一种基于图像关键点匹配的线缆印字质量实时检测方法与流程

1.本发明涉及线缆印字检测技术领域，尤其涉及一种基于图像关键点匹配的线缆印字质量实时检测方法。


背景技术：

2.目前当前线缆表面字符打印速度可达1600米/秒，打印质量是线缆整体质量的重要指标之一。本发明专利利用高速摄像机结合计算机视觉算法，设计一种线缆印字质量实时检测技术，代替人工检测，提高打印质量并提高检测效率。
3.当前国内尚不存在成熟的全自动检测设备，国外则有一些成熟产品，但价格昂贵、成本较高。目前通过比对所拍摄线缆图像中的文字与数据库个文字的长度来调整挤塑装置的速度。并且使用zynq处理平台对图像数据进行处理，再利用神经网络识别字符，根据识别结果判断字符是否打印正确。
4.由于目前需要预先输入所要比对的文字形状操作繁杂，且仅能通过字符长度一种方案来判断打印效果，无法判断字符笔画残缺、扭曲变形等异常结果，从而造成检测类型单一。


技术实现要素：

5.本发明的目的在于提供一种基于图像关键点匹配的线缆印字质量实时检测方法，旨在解决现有技术中的线缆印字质量检测需要预先输入所要比对的文字形状操作繁杂，且仅能通过字符长度一种方案来判断打印效果，无法判断字符笔画残缺、扭曲变形等异常结果，从而造成检测异常类型单一的技术问题。
6.为实现上述目的，本发明采用的一种基于图像关键点匹配的线缆印字质量实时检测方法，包括如下步骤，
7.进行初始打印，并获取初始打印的视频信息；
8.算法自动从初始打印的视频信息中提取信息量最大的若干区域作为标准区域；
9.使用标准区域和后续视频帧进行匹配，保留匹配到的关键点个数多于2的区域，认为该区域与标注区域的打印内容相同；
10.计算标准区域和匹配区域之间的差异d，d大于特定阈值则认为是打印异常，否则为正常。
11.其中，在“进行初始打印，并获取初始打印的视频信息”中，所述方法还包括，
12.采用高速摄像机对线缆印字进行拍摄，每秒钟获取300帧的图像信息。
13.其中，在“采用高速摄像机对线缆印字进行拍摄，每秒钟获取300帧的图像信息”中，所述方法还包括，
14.设定相似度判定算法和阈值，采用直方图特征对比前后两帧相似度，当相似度过高达到设定的阈值，则跳过当前帧，以避免因前后帧过于相似且重复计算造成计算资源浪费。
15.其中，在“算法自动从初始打印的视频信息中提取信息量最大的若干区域作为标准区域”中，所述方法还包括，
16.使用加权平均值法，以0.299、0.587、0.114为权值对rgb值加权求和作为图片灰度值；
17.计算图片中非0区域的包围框，并进行裁剪和分割；
18.计算图像sift特征和关键点；
19.使用100*100分辨率的滑动窗口，连续遍历视频中的区域，同时计算每个区域的信息熵，得到信息熵最大的若干区域作为标准区域。
20.其中，在“计算图片中非0区域的包围框，并进行裁剪和分割”和“计算图像sift特征和关键点”之间，所述方法还包括，
21.采用最大值滤波降噪的方法去除图像的噪音点。
22.其中，在“使用标准区域和后续视频帧进行匹配，保留匹配到的点数据多余2的区域，为与标注区域相同的打印内容”中，所述方法还包括，
23.使用标准区域匹配待检测视频帧中的关键点，如果匹配到的特征点数大于2则计算两个区域的相似度。
24.其中，在“使用标准区域匹配待检测视频帧中的关键点，如果匹配到的特征点数大于2则计算两个区域的相似度”中，所述方法还包括，
25.以第一个匹配关键点位置为准，在待检测视频帧中裁剪同样大小区域作为待比对区域；
26.计算标准区域和待比对区域之间的结构相似度指数和两种颜色直方图和余弦相似度；
27.将三个相似度乘以一定权重并求和作为整体差异性。
28.其中，在“计算标准区域和匹配区域之间的差异d，d大于特定阈值则认为是打印异常，否则为正常”中，所述方法还包括，
29.设定标准区域和待对比区域的差异值的阈值；
30.计算标准区域和待对比区域的差异性大小；
31.判定差异性大于阈值则认为是异常并提出警报；如果小于阈值则认为打印正常，继续下一帧检测。
32.本发明的一种基于图像关键点匹配的线缆印字质量实时检测方法，通过算法自动从这部分视频中提取信息量最大的若干区域作为标准区域；使用标准区域和后续视频帧进行匹配，保留匹配到的关键点数量多于2的区域；计算标准区域和匹配区域之间的差异性d，如果d大于特定阈值则认为是打印异常，否则为正常，通过关键帧提取、图片灰度化、关键区域匹配；实现了多种类型的异常检测，采用的措施包括多种类特征计算、多种类差异性度量；采用打印异常检测方法采用关键区域自动提取和匹配，避免了人工输入待匹配区域以及与挤塑装置的信息互动，实现了系统之间低耦合、自动化检测。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本
发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是本发明的基于图像关键点匹配的线缆印字质量实时检测的运行框架图。
35.图2是本发明的基于图像关键点匹配的线缆印字质量实时检测方法的流程图。
36.图3是本发明的算法自动从初始打印的视频信息中提取信息量最大的若干区域作为标准区域的流程图。
37.图4是本发明的使用标准区域匹配待检测视频帧中的关键点，如果匹配到的特征点数大于2则计算两个区域的相似度的流程图。
38.图5是本发明的计算标准区域和匹配区域之间的差异d，d大于特定阈值则认为是打印异常，否则为正常的流程图。
具体实施方式
39.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
40.请参阅图2至图5，本发明提供了一种基于图像关键点匹配的线缆印字质量实时检测方法，包括如下步骤，
41.s101：进行初始打印，并获取初始打印的视频信息，采用高速摄像机对线缆印字进行拍摄，每秒钟获取300帧的图像信息，设定相似度判定算法和阈值，采用直方图特征对比前后两帧相似度，当相似度过高达到设定的阈值，则跳过当前帧；
42.s102：算法自动从初始打印的视频信息中提取信息量最大的若干区域作为标准区域；
43.s1021：使用加权平均值法，以0.299、0.587、0.114为权值对rgb值加权求和作为图片灰度值；
44.s1022：计算图片中非0区域的包围框，并进行裁剪和分割；
45.s1023：采用最大值滤波降噪的方法去除图像的噪音点；
46.s1024：计算图像sift特征和关键点；
47.s1025：使用100*100分辨率的滑动窗口，连续遍历视频中的区域，同时计算每个区域的信息熵，得到信息熵最大的若干区域作为标准区域；
48.s103：使用标准区域和后续视频帧进行匹配，保留匹配到的点数据多余2的区域，为与标注区域相同的打印内容，使用标准区域匹配待检测视频帧中的关键点，如果匹配到的特征点数大于2则计算两个区域的相似度；
49.s1031：以第一个匹配关键点位置为准，在待检测视频帧中裁剪同样大小区域作为待比对区域；
50.s1032：计算标准区域和待比对区域之间的结构相似度指数和两种颜色直方图和余弦相似度；
51.s1033：将三个相似度乘以一定权重并求和作为整体差异性；
52.s104：计算标准区域和匹配区域之间的差异d，d大于特定阈值则认为是打印异常，否则为正常；
53.s1041：设定标准区域和待对比区域的差异值的阈值；
54.s1042：计算标准区域和待对比区域的差异性大小；
55.s1043：判定差异性大于阈值则认为是异常并提出警报；如果小于阈值则认为打印正常，继续下一帧检测。
56.在本实施方式中，本专利所设计方法逻辑在于：首先，初始打印部分异常结果较少，算法自动从这部分视频中提取信息量最大的若干区域作为标准区域a
s
；然后，使用标准区域a
s
和后续视频帧进行匹配，保留匹配到的关键点数量多于2的区域a
t
，这些区域的打印内容和标准区域相同；最后，计算标准区域a
s
和匹配区域a
t
之间的差异性d，如果d大于特定阈值则认为是打印异常，否则为正常。
57.本专利解决的问题主要包括：a.实现实时检测，采取的措施包括关键帧提取、图片灰度化、关键区域匹配；b.实现多种类型的异常检测，采用的措施包括多种类特征计算、多种类差异性度量；c.实现系统之间低耦合、自动化检测，采用自动关键区域提取和匹配。
58.图1是本发明技术方案的主流程图。如图1所示，本发明提出的线缆印字质量实时检测方法包括下列步骤：
59.(1)关键帧检测。本发明所采用视频来源于高速摄像机，每秒钟获取300帧左右信息，为提高计算效率，采用直方图特征对比前后两帧相似度，当相似度过高，则跳过当前帧。
60.(2)图片灰度化：使用加权平均值法：以0.299、0.587、0.114为权值对rgb值加权求和作为图片灰度值。
61.(3)线缆边缘检测和分割：计算图片中非0区域的包围框，并进行裁剪。
62.(4)最大值滤波降噪：使用该方法去除部分噪音点。
63.(6)特征计算：计算图像sift特征和关键点。
64.(7)标准区域获取：使用100*100分辨率的滑动窗口，连续遍历视频中的区域，同时计算每个区域的信息熵，得到信息熵最大的若干区域作为标准区域。
65.(8)子区域特征点匹配：使用标准区域匹配待检测视频帧中的关键点。
66.(9)特征相似度度量：如果匹配到的特征点数大于2则计算两个区域的相似度，首先，以第一个匹配关键点位置为准，在待检测视频帧中裁剪同样大小区域作为待比对区域；然后，计算标准区域和待比对区域之间的结构相似度指数(ssim)和两种颜色直方图和余弦相似度，将三个相似度乘以一定权重并求和作为整体差异性。
67.(10)异常情况判断：根据标准区域和待对比区域的差异性大小判断打印结果是否异常，如果差异性大于一定阈值则认为是异常并提出警报；如果小于一定阈值则认为打印正常，继续下一帧检测。
68.本发明实现1600米/秒线缆打印速度下的实现实时打印异常检测，采取的措施包括：关键帧提取、图片灰度化、关键区域匹配；其次，本专利实现了多种类型的异常检测，采用的措施包括多种类特征计算、多种类差异性度量；最后，本专利所采用打印异常检测方法采用关键区域自动提取和匹配，避免了人工输入待匹配区域以及与挤塑装置的信息互动，实现了系统之间低耦合、自动化检测。
69.以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。