工业质检图像文字匹配方法及装置与流程

1.本发明属于图像处理技术领域，具体涉及工业质检图像文字匹配方法及装置。


背景技术：

2.图像识别，是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。现阶段图像识别技术一般分为人脸识别与商品识别，人脸识别主要运用在安全检查、身份核验与移动支付中；商品识别主要运用在商品流通过程中，特别是无人货架、智能零售柜等无人零售领域。
3.图像文本匹配，顾名思义，就是度量一幅图像和一段文本的相似性，该技术是多个模式识别任务的核心算法。例如，在图像文本跨模态检索任务中，当给定查询文本，需要依据图像文本的相似性去检索内容相似的图像；在图像描述生成任务中，给定一幅图像，需要依据图像内容检索相似的文本，并以此作为(或者进一步生成)图像的文本描述；在图像问答任务中，需要基于给定的文本问题查找图像中包含相应答案的内容，同时查找的视觉内容反过来也需要检索相似文本预料作为预测答案。
4.图像文字匹配是图像文本匹配技术的一个分支，其实质就是给定一幅图像，依据图像内容判断另一段的文本或图像是否相似。图像文字匹配在工业应用中有着广泛应用并起着具足轻重的作用。如车牌识别、工业质检、文本质检等。如车牌识别，就是将图片中车牌号码提取成文字，再与计算机系统中的数据库做匹配，做进一步应用。
5.图像文字匹配在工业质检领域，如产线质检、物流质检、货物质检等，都有着广泛的应用。产线和物流质检中，往往在生产和运输环节中，需要对货物外包装上的货物信息进行判断识别，做进一步应用。比如检验同一批次货物信息是否有印刷错误。是否在物流运输中出现了不属于本批次的货物等。因此需要通过图像视觉手段，提取当前货物的货物信息，与系统内置的信息做匹配、检索等操作。
6.现有技术中所使用的图像文字匹配方法，没有考虑在工业质检领域的适配，同时也由于算法执行繁琐和算法效果单一导致出现了下列问题：只能解决单一场景问题，比如只解决去雾问题；采用多个模块叠加处理，实际应用效率偏低，计算复杂度高，不利于工业部署和成本控制；通常只考虑单帧图像处理，因此导致实际应用中在全场景中的效果不好。
7.专利号为cn108805214a的专利公开了一种基于模糊加权直方图的相似图像匹配方法，其虽然提高了相似图像匹配的准确性，可以广泛应用于图像检索领域；但在工业质检领域中出现的复杂场景问题依然没有很好的解决方案，且存在算法复杂度高和无法进行全场景处理的问题。
8.专利号为cn104199950b的专利公开了一种基于图像相似度快速匹配的学术论文搜索方法，其利用图像及图像相关信息进行论文检索，图像特征采用更小的存储介质，且检索速度快，检索精准度高。同样缺乏在工业质检领域的解决方案，且也没有很好地提出在全场景中的处理方案。


技术实现要素：

9.有鉴于此，本发明的主要目的在于提供工业质检图像文字匹配方法及装置，在进行图像处理时，引入多帧概念，解决单帧图像信息缺失带来的效果问题；同时，使用一种融合方案，针对光照环境不理想、细节不清晰、环境/镜头脏物引起的雾感等，一次性解决上述问题；另外，使用一种融合方案，而不是分步骤处理，优化处理效率，有利于工业部署和成本控制。
10.为达到上述目的，本发明的技术方案是这样实现的：工业质检图像文字匹配方法，所述方法执行以下步骤：步骤1：在目标图像中选取基准帧和融合帧；所述基准帧为清晰度最高的帧；所述融合帧为所述基准帧之前的n帧图像；其中，n为大于0的整数，为设定值；步骤2：对基准帧和融合帧进行融合处理，得到融合帧图像；步骤3：对所述融合帧图像进行细节增强，得到增强图像；步骤4：基于得到的增强图像进行图像文字匹配。
11.进一步的，步骤2中，对基准帧和融合帧进行融合处理，得到融合帧图像的方法执行以下步骤：步骤2.1：对目标图像进行图像金字塔处理；步骤2.2：对目标图像进行角点检测，得到融合帧和基准帧中每一帧的特征点；步骤2.3：对目标图像中相邻的两帧进行配准，得到每一对配准的两帧的匹配变化矩阵；步骤2.4：对配准后的基准帧和融合帧进行暗通道提取，得到基准帧的暗通道图和融合帧的暗通道图；步骤2.5：对基准帧的暗通道图和融合帧的暗通道图进行融合，得到融合后的暗通道特征图步骤2.6：基于融合后的暗通道特征图，对基准帧进行去雾，得到去雾后的基准帧；步骤2.7：将去雾后的基准帧与融合帧基于得到的匹配变化矩阵逐对地进行多帧融合，得到融合帧图像。
12.进一步的，所述步骤2.3：对目标图像中相邻的两帧进行配准的方法为：使用光流算法对目标图像中相邻的两帧进行配准。
13.进一步的，步骤2.5中使用导向滤波对基准帧进行去雾。
14.进一步的，所述步骤3中，对所述融合帧图像进行细节增强的方法包括：对融合帧图像进行锐化处理，再进行细节回复，同时对光线跳变引起的差异进行弥补，得到增强图像。
15.进一步的，所述步骤1中选取基准帧的方法执行以下步骤：获取目标图像的拍照时刻，以拍照时刻为基准，捕捉该时刻前后的目标图像的两帧图像；对拍照时刻对应的目标图像的帧，以及拍照时刻前后的目标图像的两帧进行清晰度计算，选取清晰度最高的帧作为基准帧。
16.进一步的，所述步骤1中在选取融合帧时，还包括对融合帧进行曝光时间进行修改的步骤。
17.工业质检图像文字匹配装置。
18.本发明的工业质检图像文字匹配方法及装置，具有如下有益效果：1.效率高：本发明在进行图像文字匹配，针对图像进行处理时，3）使用一种融合方案，而不是分步骤处理，优化处理效率，有利于工业部署和成本控制。
19.2.准确率高：本发明在进行图像处理时，使用一种融合方案，引入多帧概念，解决单帧图像信息缺失带来的效果问题，以此提升利用处理后的图像进行图像文字匹配的准确率；另外，本发明使用一种融合方案，针对光照环境不理想、细节不清晰、环境/镜头脏物引起的雾感等，一次性解决上述问题；通过上述过程，提升输入图像的清晰度，提升图像文字匹配的准确率。
附图说明
20.图1为本发明实施例提供的工业质检图像文字匹配方法的方法流程示意图；图2为本发明实施例提供的工业质检图像文字匹配方法的完整流程图。
21.图3为本发明实施例提供的工业质检图像文字匹配方法及装置的多帧融合的原理图。
具体实施方式
22.下面结合附图及本发明的实施例对本发明的方法作进一步详细的说明。
23.实施例1如图1和图2所示，工业质检图像文字匹配方法，所述方法执行以下步骤：步骤1：在目标图像中选取基准帧和融合帧；所述基准帧为清晰度最高的帧；所述融合帧为所述基准帧之前的n帧图像；其中，n为大于0的整数，为设定值；步骤2：对基准帧和融合帧进行融合处理，得到融合帧图像；步骤3：对所述融合帧图像进行细节增强，得到增强图像；步骤4：基于得到的增强图像进行图像文字匹配。
24.具体的，多帧融合通过前后帧的叠加，利用相邻时间微小的时间差是的变化，补齐因环境等带来的光线，等的突变引起的缺失信息，从而得到清晰的图像。
25.具体的，在选取基准帧时，对拍照触发时刻的那一帧图像，做一个选取基准帧的操作。通常相机预览帧率较快，以通常30fps为例。即一秒拍摄30帧图像（实际拍照会更高）。每帧之间的图像差距实际上是有一定差别的，但是差别较小。因此选取基准帧这一步，实际上是选取最清晰的帧作为基准帧，增加去雾等的效果收益。
26.当在时间 按下拍照键出发拍照时，选帧算法会捕捉多前后，时刻的两帧图像。并对，，时刻的帧分别进行清晰度计算，选取清晰度最高的一帧作为基准帧，如果清晰度都一样则选取原来时刻的帧。在本方案中，清晰度算法采用“频域平方差法”。
27.具体的，清晰度算法使用如下公式进行表示：；其中，表示高频分量统计均值，表示低频分量统计均值。在频域可分为两种信息，高频和低频信息。低频多为平坦区域及色块等信息，高频则是纹理信息和噪声。对于一张清晰的图片来说。高频分量统计均值和低频分量统计均值之间存在一
个差值a。但是，对于一张模糊的图片，由于有模糊噪声的存在，差值b通常会大于差值a。因此，使用差值来判断图片是否清晰。值得注意的是，通常清晰度算法不仅仅能够使用本方案的差值法，还有如梯度统计、深度学习算法等。同时频域转换方法不为一，可以采用傅立叶变换，另外，小波变换、离散余弦变换等也能够达到相同或相似的效果。
28.实施例2在上一实施例的基础上，步骤2中，对基准帧和融合帧进行融合处理，得到融合帧图像的方法执行以下步骤：步骤2.1：对目标图像进行图像金字塔处理；步骤2.2：对目标图像进行角点检测，得到融合帧和基准帧中每一帧的特征点；步骤2.3：对目标图像中相邻的两帧进行配准，得到每一对配准的两帧的匹配变化矩阵；步骤2.4：对配准后的基准帧和融合帧进行暗通道提取，得到基准帧的暗通道图和融合帧的暗通道图；步骤2.5：对基准帧的暗通道图和融合帧的暗通道图进行融合，得到融合后的暗通道特征图步骤2.6：基于融合后的暗通道特征图，对基准帧进行去雾，得到去雾后的基准帧；步骤2.7：将去雾后的基准帧与融合帧基于得到的匹配变化矩阵逐对地进行多帧融合，得到融合帧图像。
29.具体的，在对融合帧进行选取时，通常是往前取n帧图像。如图2所示，若拍照触发时刻为并且计算符合基准帧要求，则向前取n帧，如n=4，则基准帧为，{,,,}四帧为融合帧。
30.在进行图像金字塔操作时一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。其通过梯次向下采样获得，直到达到某个终止条件才停止采样。金字塔的底部是待处理图像的高分辨率表示，而顶部是低分辨率的近似。我们将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。这一步操作的意义是，不同尺度的图片得到的语义结果是不一样的，因此在进行特征点检测及匹配之前，需要在金字塔计算，才能够得到稳定的值。
31.最后，对图像进行harris角点检测，这一步的意义是获取{,,,}中每一帧的特征点。此处可以采用别的特征点检测方法，如sift等。效果相似不唯一。完成特征点检测后，需要用光流算法，对前后帧进行两两配准。得到每一对图像的匹配变化矩阵m。
32.实施例3在上一实施例的基础上，所述步骤2.3：对目标图像中相邻的两帧进行配准的方法为：使用光流算法对目标图像中相邻的两帧进行配准。
33.实施例4在上一实施例的基础上，步骤2.5中使用导向滤波对基准帧进行去雾。
34.实施例5在上一实施例的基础上，所述步骤3中，对所述融合帧图像进行细节增强的方法包括：对融合帧图像进行锐化处理，再进行细节回复，同时对光线跳变引起的差异进行弥补，
得到增强图像。
35.具体的，参考图3，需要对配准后的基准帧和融合帧，进行暗通道提取。然后对基准帧和融合帧的暗通道进行融合。基于融合后的暗通道特征图，先对基准帧进行去雾。此处可采用导向滤波等进行去雾。由于去雾通常会抹掉细节感，导致部分颜色突变。因此最后，将去雾后的基准帧和上述步骤得到的融合帧进行多帧融合，将每一对帧逐对进行融合。
36.具体的，通过矩阵变换，然后和下一帧进行多模态融合，此处采用加权平均。还有pca等方案可代替，但是计算复杂。最后会对再对图像进行锐化处理，提升整体锐度。最终，将丢失的细节进行恢复，同时弥补部分光线跳变引起的细节差异。最终得到恢复后的细节增强图像。
37.实施例6在上一实施例的基础上，所述步骤1中选取基准帧的方法执行以下步骤：获取目标图像的拍照时刻，以拍照时刻为基准，捕捉该时刻前后的目标图像的两帧图像；对拍照时刻对应的目标图像的帧，以及拍照时刻前后的目标图像的两帧进行清晰度计算，选取清晰度最高的帧作为基准帧。
38.具体的，如果需要增强多帧融合对恶劣光照环境的效果，如光线跳变，大逆光等，可以在选取融合帧步骤时，对融合帧的曝光时间进行修改。如选取基准帧后，对改变曝光时间，立即再往后多拍几张。以获取不同曝光帧带来的不同细节。
39.实施例7在上一实施例的基础上，所述步骤1中在选取融合帧时，还包括对融合帧进行曝光时间进行修改的步骤。
40.实施例8工业质检图像文字匹配装置。
41.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
42.需要说明的是，上述实施例提供的系统，仅以上述各功能单元的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能单元来完成，即将本发明实施例中的单元或者步骤再分解或者组合，例如，上述实施例的单元可以合并为一个单元，也可以进一步拆分成多个子单元，以完成以上描述的全部或者单元功能。对于本发明实施例中涉及的单元、步骤的名称，仅仅是为了区分各个单元或者步骤，不视为对本发明的不当限定。
43.所属技术领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的存储装置、处理装置的具体工作过程及有关说明，可以参考前述方法实施例中的对应过程，在此不再赘述。
44.本领域技术人员应能够意识到，结合本文中所公开的实施例描述的各示例的单元、方法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，软件单元、方法步骤对应的程序可以置于随机存储器（ram）、内存、只读存储器（rom）、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd
‑
rom、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术
方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
45.术语“第一”、“另一部分”等是配置用于区别类似的对象，而不是配置用于描述或表示特定的顺序或先后次序。
46.术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者单元/装置不仅包括那些要素，而且还包括没有明确列出的其它要素，或者还包括这些过程、方法、物品或者单元/装置所固有的要素。
47.至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术标记作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
48.以上所述，仅为本发明的较佳实施例而已，并非配置用于限定本发明的保护范围。