螺丝漏锁检测方法及系统、装置和存储介质与流程

1.本发明一般涉及图像分析领域，尤其涉及螺丝漏锁检测方法及系统、装置和存储介质。


背景技术：

2.整机组装产线中检测螺丝是否漏锁一般使用人工进行检查，存在漏检和误检现象，不仅增加了人工成本，进而还造成产品良率下降。


技术实现要素：

3.鉴于现有技术中的上述缺陷或不足，期望提供一种螺丝漏锁检测方法及系统、装置和存储介质。
4.第一方面，提供一种螺丝漏锁检测方法，包括步骤：获取需要检测的关键帧图像，所述关键帧图像上包括螺丝图像；
5.将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取，所述参考图像上制作有螺丝正样本图像和负样本图像，所述正样本图像为螺丝锁紧的状态，所述负样本图像为未设有螺丝的状态，参考所述正样本图像和所述负样本图像确定螺丝图像；
6.对所述螺丝图像进行高斯蒙版预处理；
7.对预处理后的螺丝图像进行特征提取和分类，确定未锁紧的螺丝图像。
8.第二方面，提供一种螺丝漏锁检测系统，包括：
9.图像获取模块，用于获取需要检测的关键帧图像，所述关键帧图像上包括螺丝图像；
10.精确配准模块，用于将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取，所述参考图像上制作有螺丝正样本图像和负样本图像，所述正样本图像为螺丝锁紧的状态，所述负样本图像为未设有螺丝的状态，参考所述正样本图像和所述负样本图像确定螺丝图像；
11.预处理模块，用于对所述螺丝图像进行高斯蒙版预处理；
12.处理模块，用于对预处理后的螺丝图像进行特征提取和分类，确定未锁紧的螺丝图像。
13.第三方面，提供一种装置，所述装置包括：
14.一个或多个处理器；
15.存储器，用于存储一个或多个程序，当所述一个活多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器执行上述螺丝漏锁检测方法。
16.第四方面，提供一种存储有计算机程序的计算机可读存储介质，其特征在于，该程序被处理器执行时实现上述螺丝漏锁检测方法。
17.根据本技术实施例提供的技术方案，通过获取包括螺丝图像的关键帧图像，对该
关键帧图像进行精确的配准，通过采用包括螺丝正负样本模板的图片作为精确配准的参考图，从关键帧图像上获取到螺丝的准确图像，随后根据螺丝的准确图像进行螺丝是否锁紧的判断，一方面，通过采用智能识别的方式进行螺丝状态的检测，释放人力资源，节约资源，另一方面，通过精确配准获取螺丝的准确图像，根据该图像进行螺丝是否漏锁的判断，判断更加准确和高效。
附图说明
18.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
19.图1为本实施例中螺丝漏锁检测方法流程图；
20.图2为本实施例中模板匹配原理图；
21.图3为本实施例中锁紧螺丝和未锁螺丝图像示意图；
22.图4为本实施例中高斯蒙版曲面图；
23.图5为图3预处理后的图像示意图；
24.图6为本实施例中螺丝漏锁检测系统结构示意图；
25.图7为本实施例中装置结构示意图。
具体实施方式
26.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与发明相关的部分。
27.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
28.请参考图1，本实施例提供一种螺丝漏锁检测方法，包括步骤：获取需要检测的关键帧图像，所述关键帧图像上包括螺丝图像；
29.将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取，所述参考图像上制作有螺丝正样本图像和负样本图像，所述正样本图像为螺丝锁紧的状态，所述负样本图像为未设有螺丝的状态，参考所述正样本图像和所述负样本图像确定螺丝图像；
30.对所述螺丝图像进行高斯蒙版预处理；
31.对预处理后的螺丝图像进行特征获取和分类，确定未锁紧的螺丝图像。
32.本实施例中通过对获取的包括螺丝图像的关键帧图像进行处理，确定拍摄的图像上的螺丝是否处于锁紧状态，采用智能识别的方式进行螺丝状态的检测，释放人力资源，节约资源；其中通过将关键帧图像与参考图像进行精确配准，以便于从关键帧图像上获取螺丝的准确图像，根据获取的准确图像进行螺丝是否锁紧的检查，使得判断更加准确和高效。
33.本实施例中首先获取包括螺丝图像的关键帧图像，其中通过拍摄的方式获取，将需要检测的部件放置在传送带上，相机对传送带上的部件进行拍摄，每张图片尽可能的覆盖部件上的所有螺丝，即为关键帧图像，对关键帧图像进行精确配准，获得螺丝的准确位置以及每个螺丝的准确图像，预处理后进行分类，实现快速高效的检测螺丝是否漏锁。
34.进一步的，所述“将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取”具体包括：
35.获取所述参考图像上的至少两张螺丝样本图像，所述螺丝样本图像中心为点p，至少包括螺丝正样本图像和螺丝负样本图像，
36.在所述关键帧图像上以p点为中心，获取螺丝搜索图像，所述螺丝搜索图像大小不小于所述螺丝样本图像大小；
37.采用所述螺丝正样本图像和所述螺丝负样图像本分别与所述螺丝搜索图像进行匹配，获取与所述螺丝正样本或者所述螺丝负样本最相似的感兴趣(roi，region of interest)区域；
38.以所述感兴趣区域的中心为螺丝中心，裁剪设定大小的图像作为螺丝图像。
39.本实施例中的精确配准采用模板匹配算法进行。本实施例中对获取的关键帧图像进行精确匹配，具体采用模板匹配算法，即归一化互相关算法，如图2所示为模板匹配的原理图，给定2幅图像，t为m
x
*m
y
的模板图像，s为n
x
*n
y
的匹配图像。匹配时模板在匹配图上平移，记匹配图上的搜索子图为s
i,j
，i、j为这块子图的左上角像素点在匹配图s中的位置，其中，1≤i≤n
x-m
x
1；1≤j≤n
y-m
y
1。通过寻找搜索子图与模板图的归一化相关系数最大的位置作为匹配结果。归一化相关系数的计算公式如公式：
[0040][0041]
由于螺丝面积比较小，如果按照螺丝在参考图像上的位置直接在关键帧图像上的对应位置进行截取，则会影响螺丝图像的完整性，进一步的会影响后续螺丝是否漏锁检测的准确性，为了获取精确的螺丝图像，使用上述的模板匹配算法对螺丝在关键帧图像上的位置进行精确定位，具体包括：
[0042]
设螺丝在参考图像上的位置为p(x，y)，以此点p为中心，裁剪大小为t_w，t_h的图像作为模版图像，此位置螺丝的模版图像采集两种，一种为螺丝的正样本图像pos_t，一种为螺丝的负样本图像neg_t；
[0043]
随后在关键帧图像的同样位置p处，点以p为中心，裁剪大小(s_w，s_h)的图像作为螺丝搜索图像，并且设定螺丝搜索图像大小不小于所述螺丝样本图像大小，即s_w>＝t_w，s_h>＝t_h；在搜索图像上使用螺丝的正样本图像和负样本图像均进行一次匹配操作，比较匹配结果，找到与正样本图像或者负样本图像最相似的roi区域；
[0044]
设需获取的螺丝图像大小为(screw_w，screw_h)，因此以roi区域的中心为螺丝中心，裁剪(screw_w，screw_h)大小的图像作为目标图像，即最终的螺丝图像；
[0045]
上述步骤最终获取的螺丝图像精确的表现为每个螺丝的图像，根据该图像进行螺丝漏锁的检查；
[0046]
本实施例中在关键帧图像上获取螺丝搜索图像，其中该关键帧图像是在经过粗配准后的关键帧图像，通过粗配准步骤对关键帧图像进行初步的矫正，具体说明参见下述粗配准步骤中。
[0047]
进一步的，所述“对所述螺丝图像进行高斯蒙版预处理”具体包括：对所述螺丝图
像进行高斯蒙版处理，将所述螺丝图像与高斯蒙版相乘，获取螺丝的高斯蒙版图像。
[0048]
如图3所示，其中锁紧螺丝和未锁螺丝的图像中，除了光照的影响之外，两者的差别仅仅在中心位置处有区别，因此，本实施例中对螺丝图像进行判断的时候，只需要突出中心位置的区别，削弱边缘背景部分对判断螺丝是否锁紧有一定的帮助，因此，本实施例中对获取到的螺丝图像进行高斯蒙版预处理，如图4所示为高斯蒙版曲面图，该高斯蒙版公式为：该高斯蒙版在中心位置取值较高，越往外，取值越小，因此，将该高斯蒙版函数与螺丝图像相乘，能够很好的保留螺丝图像中间的数值，进一步的减少周边像素的影响，便于后续的特征提取和判断，并且提高识别的准确率；
[0049]
使用高斯蒙版对螺丝图像进行预处理的公式为：r(x,y)＝i(x,y)*g(x,y),x∈[0,m],y∈[0,n]；其中r(x，y)为预处理结果，i为螺丝图像，g(x，y)为高斯蒙板，m，n为图像宽高，图像与高斯蒙板进行点对点相乘即为结果，采用点对点相乘，高斯蒙版宽高与螺丝图像宽高一致，如图5所示为高斯蒙版预处理后的锁紧螺丝和未锁螺丝的图像。
[0050]
本实施例中采用高斯蒙版对螺丝图像进行预处理，使得螺丝图像的特征集中在中心区域，便于后续的特征提取和分析，同时，采用的高斯蒙版函数为圆形或者椭圆形的高斯曲面，因此还可适用于圆形或者椭圆形的结构的缺陷检测。
[0051]
进一步的，所述“获取需要检测的关键帧图像”前还包括步骤：获取需要检测的图像，将需要检测的图像与所述参考图像进行粗配准，形成关键帧图像；
[0052]
所述粗配准采用sift算法。
[0053]
本实施例中在精确配准前还对图像进行粗配准，采用sift算法进行粗配准，由于获取的图像会出现歪斜等情况，影响后续的螺丝图像获取，因此通过储配准对图像进行整图调节，矫正后的图像为关键帧图像，使得粗配准后的图像中螺丝等零件的位置基本上与参考图像一致。由于粗配准获得的螺丝位置不是非常准备，还需要进行上述的精确配准，确定螺丝的图像进行特征提取。
[0054]
本实施例中随后对预处理后的螺丝图像进行特征提取和分类，确定螺丝是否锁紧，其中采用lbp(local binary pattern，局部二值模式特征提取)方法进行特征值提取；
[0055]
提取特征后采用分类器进行分类，常用的分类方法包括knn，svm等等，上述分类方法的选择可以根据样本数量的多少选择合适的分类器进行操作；其中，本实施例中可以看为二分类，识别螺丝锁紧或者未锁紧，识别数据即为预处理后的螺丝图像数据。
[0056]
本实施例通过获取包括螺丝图像的关键帧图像，对该关键帧图像进行精确的配准，通过采用包括螺丝正负样本模板的图片作为精确配准的参考图，从关键帧图像上获取到螺丝的准确图像，随后根据螺丝的准确图像进行螺丝是否锁紧的判断，一方面，通过采用智能识别的方式进行螺丝状态的检测，释放人力资源，节约资源，另一方面，通过精确配准获取螺丝的准确图像，根据该图像进行螺丝是否漏锁的判断，判断更加准确和高效。
[0057]
如图6所示，本实施例还提供一种螺丝漏锁检测系统，包括：
[0058]
图像获取模块10，用于获取需要检测的关键帧图像，所述关键帧图像上包括螺丝图像；
[0059]
精确配准模块20，用于将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取，所述参考图像上制作有螺丝正样本图像和负样本图像，
所述正样本图像为螺丝锁紧的状态，所述负样本图像为未设有螺丝的状态，参考所述正样本图像和所述负样本图像确定螺丝图像；
[0060]
预处理模块30，用于对所述螺丝图像进行高斯蒙版预处理；
[0061]
处理模块40，用于对预处理后的螺丝图像进行特征提取和分类，确定未锁紧的螺丝图像。
[0062]
本实施例中通过精确配准模块将关键帧图像与参考头像进行精确配准，以便于从关键帧图像上获取螺丝的准确图像，根据获取的准确图像进行螺丝是否锁紧的检查，使得判断更加准确和高效。
[0063]
进一步的，所述精确配准模块20包括：样本图像获取单元21，用于获取所述参考图像上的至少两张螺丝样本图像，所述螺丝样本图像中心为点p，至少包括螺丝正样本图像和螺丝负样本图像；
[0064]
搜索图像获取单元22，用于在所述关键帧图像上以p点为中心，获取螺丝搜索图像，所述螺丝搜索图像大小不小于所述螺丝样本图像大小；
[0065]
感兴趣区域获取单元23，用于采用所述螺丝正样本图像和所述螺丝负样图像本分别与所述螺丝搜索图像进行匹配，获取与所述螺丝正样本或者所述螺丝负样本最相似的感兴趣(roi)区域；
[0066]
螺丝图像获取单元24，用于以所述感兴趣区域的中心为螺丝中心，裁剪设定大小的图像作为螺丝图像。
[0067]
本实施例中采用模板匹配算法进行精确匹配，搜索图像获取单元根据中心和螺丝样本图像进行搜索图像的确定，进一步的进行螺丝图像的确定，最终获取的螺丝图像精确的表现为每个螺丝的图像，根据该图像进行螺丝漏锁的检查。
[0068]
进一步的，所述预处理模块30具体包括：高斯蒙版单元31，用于设定需要的高斯蒙版；
[0069]
计算单元32，用于将所述螺丝图像与所述高斯蒙版相乘，获取螺丝的高斯蒙版图像。
[0070]
本实施例中为了突出螺丝图像的中心位置，削弱边缘背景部分，使得对螺丝是否锁紧的判断提供有效的帮助，通过计算单元将螺丝图像进行高斯蒙版预处理，很好的保留螺丝图像中间的数值的同时减少周边像素的影响，便于后续的特征提取和判断，并且提高识别的准确率。
[0071]
进一步的，图像获取模块还用于获取需要检测的图像，
[0072]
还包括粗配准模块，用于将需要检测的图像与所述参考图像进行粗配准，形成关键帧图像。
[0073]
本实施例中在精确配准前还对图像进行粗配准获得关键帧图像，采用sift算法进行粗配准，由于获取的图像会出现歪斜等情况，影响后续的螺丝图像获取，因此通过储配准对图像进行整图调节得到关键帧图像，其中，初步获取的图像可采用相机进行拍摄，使得粗配准后的图像中螺丝等零件的位置基本上与参考图像一致。
[0074]
本实施例还提供一种装置，其特征在于，所述装置包括：
[0075]
一个或多个处理器；
[0076]
存储器，用于存储一个或多个程序，当所述一个活多个程序被所述一个或多个处
理器执行时，使得所述一个或多个处理器执行上述的盘点方法。
[0077]
本实施例提供装置如图7所示，其中示出了适用于来实现本技术实施例的装置的计算机系统300的结构示意图。
[0078]
如图7所示，计算机系统包括中央处理单元(cpu)301，其可以根据存储在只读存储器(rom)302中的程序或者从存储部分加载到随机访问存储器(ram)303中的程序而执行各种适当的动作和处理。在ram303中，还存储有系统操作所需的各种程序和数据。cpu 301、rom 302以及ram 303通过总线304彼此相连。输入/输出(i/o)接口303也连接至总线304。
[0079]
以下部件连接至i/o接口303：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分；包括硬盘等的存储部分308；以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器也根据需要连接至i/o接口303。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
[0080]
特别地，根据本发明的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本技术公开的螺丝漏锁检测的实施例，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分从网络上被下载和安装，和/或从可拆卸介质被安装。在该计算机程序被中央处理单元(cpu)301执行时，执行本技术的系统中限定的上述功能。
[0081]
需要说明的是，本发明所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0082]
而在本发明中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0083]
附图中的流程图和框图，图示了按照本技术显示设备屏幕亮度实时调控装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的
功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0084]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括第一获取模块、第二获取模块及计算模块。
[0085]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现如上述实施例中所述的螺丝漏锁检测方法，具体执行以下步骤：获取需要检测的关键帧图像，所述关键帧图像上包括螺丝图像；
[0086]
将所述关键帧图像与参考图像进行精确配准，并在所述关键帧图像上进行螺丝图像的获取，所述参考图像上制作有螺丝正样本图像和负样本图像，所述正样本图像为螺丝锁紧的状态，所述负样本图像为未设有螺丝的状态，参考所述正样本图像和所述负样本图像确定螺丝图像；
[0087]
对所述螺丝图像进行高斯蒙版预处理；
[0088]
对预处理后的螺丝图像进行特征获取和分类，确定未锁紧的螺丝图像。
[0089]
应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
[0090]
此外，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。
[0091]
通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。
[0092]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该实现如上述实施例中所述的螺丝漏锁检测方法。
[0093]
以上描述仅为本技术的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本技术中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离所述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本技术中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。