一种组装缺陷检测方法与流程

1.本发明属于检测技术领域，尤其涉及一种组装缺陷检测方法。


背景技术：

2.图形检测组装缺陷是一种有效节省人力的检测方法，现有的组装缺陷检测方法大多基 于ssd(single shot multibox detector)对象检测网络。ssd对象检测网络能够精确地实现目标 对象的真实位置检测，识别图像中的真实目标。
3.但是，现有的ssd对象检测网络大多仅用于小型元器件的高精密度检测，如手机pcb 电路板等，因为其采用工业相机拍摄的图像分辨率要求相对较低、尺寸相对较小，若用于笔 记本电脑的pcb电路板检测，则会极大程度地降低检测效率，并且检测准确性也会造成一定 的不利影响。更甚用于大尺寸电视的pcb电路板检测时，其检测效率和检测准确性会大幅度 地下降，并且大大提高用于承载ssd对象检测网络的载体的需求。
4.而为克服该缺陷，目前许多研究人员对图形检验组装缺陷的方法进行了改良。如 cn106053479b、一种基于图像处理的工件外观缺陷的视觉检测系统；又如wo2018/053031、 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类。以上的方式均能够实现图形 检验组装缺陷。但是，其对于工作环境要求高，需要强大的算力支持，并且对于图形明暗程 度需要进行精确的控制，稍有不慎便会导致实际检测效果产生明显的下降。
5.因此，如何改进现有的图像检测组装缺陷方法是目前智能检测领域的一大研究热点。


技术实现要素：

6.为解决目前采用ssd对象检测网络对组装缺陷进行检测时存在一定的缺陷，其适用性 差，用于高分辨率和/或大尺寸的图像检测时，检测效率和检测精度均会产生明显下降等问题， 本发明提供了一种组装缺陷检测方法。
7.本发明的目的在于：一、提高ssd对象检测网络用于高分辨率、大尺寸图像时的检测效率；二、确保具有较高的检测精度和准确率；三、降低对检测载体设备的需求。
8.为实现上述目的，本发明采用以下技术方案。
9.一种组装缺陷检测方法，所述方法包括：拍摄组装产品检测面的图像，作为源图像；所述源图像输入ssd对象检测网络，通过ssd对象检测网络截取单元图像；所述单元图像输入经处理获取目标区域图像后通过cnn图像分类网络提取目标区域图像并 进行分类，以判断每个目标区域是否存在产品缺陷。
10.作为优选，
所述ssd对象检测网络检测源图像中的目标单元并截图目标单元的图像形成单元图像；所述目标单元为一个或多个。
11.作为优选，所述ssd对象检测网络截取单元图像前，进行先验匹配；所述先验匹配过程设置若干先验框和预测值，基于先验框和预测值进行目标单元真实边界的 快速匹配。
12.作为优选，所述cnn图像分类网络包含用于对比分类目标区域图像的正样本库和/或负样本库，目标区 域图像至多与其中一个样本库匹配；所述目标区域图像与正样本库匹配时分类为合格；所述目标区域图像与负样本库匹配时分类为不合格；所述目标区域图像与正样本库和负样本库均不匹配时分类为不合格。
13.作为优选，所述目标区域图像与正样本库和负样本库均不匹配，或样本被错误的分类为合格/不合格时， 以该目标区域图像进行cnn图像分类网络的迭代训练并将该目标区域图像更新添加至正样 本库或负样本库。
14.作为优选，所述源图像输入ssd对象检测网络前，缩小源图像和/或降低其分辨率并形成子图像，以子图 像替代源图像输入ssd对象检测网络进行检测识别并截取子单元图像，并根据截取单元图像 的区域映射至源图像中，在源图像中截取放大的高分辨率的单元图像。
15.作为优选，所述缩小原图像时，建立坐标系并获取源图像坐标和子图像坐标，获取相对坐标关系以及宽 高比例变化关系，截取子单元图像后获得子单元图像坐标并根据相对坐标关系和宽高比例变 化关系将子单元图像映射至源图像中得到单元图像。
16.作为优选，所述缩小源图像时：在源图像建立标定原点并以该原点建立二维坐标系，基于该二维坐标系获取源图像的坐标参 数soi；soi＝(soi
cx
，soi
cy
，soiw，soih)式中：soi
cx
为源图像几何中心的横坐标，soi
cy
为源图像几何中心的纵坐标，soiw为源图像宽度， soih为源图像高度；缩小后的子图像基于所述二维坐标系获取子图像的坐标参数sui；sui＝(sui
cx
，sui
cy
，suiw，suih)式中：si
cx
为子图像几何中心的横坐标，sui
cy
为子图像几何中心的纵坐标，suiw为子图像宽度， suih为子图像高度；基于坐标参数soi和坐标参数sui建立源图像和子图像的移比参数ms；ms＝(msw，msh)；
式中：ms
cx
为几何中心横坐标偏移系数，ms
cy
为几何中心纵坐标偏移系数，msw为宽度比例系 数，msh为高度比例系数；所述在源图像中截取放大的高分辨率的单元图像时：基于上述移比参数和所述二维坐标系，获取ssd对象检测网络截取的子单元图像的坐标参数 sub；sub＝(sub
cx
，sub
cy
，subw，subh)；式中：sub
cx
为子单元图像几何中心的横坐标，sub
cy
为子单元图像几何中心的纵坐标，subw为 子单元图像宽度，subh为子单元图像高度；根据上述子单元图像的坐标参数sub移比参数ms，映射计算单元图像的坐标参数ci；ci＝(ci
cx
，ci
cy
，ci
wh
，cih))；ci
cx
＝(sub
cx-sui
cx
)msw soi
cx
；ci
cy
＝(sub
cy-sui
cy
)msh soi
cy
；ciw＝mswsubw；cih＝mshsubh；式中：ci
cx
为单元图像几何中心的横坐标，ci
cy
为单元图像几何中心的纵坐标，ciw为单元图像 宽度，cih为单元图像高度。
17.本发明的有益效果是：通过缩放处理降低了ssd对象检测网络对工作环境的需求，并且可以在相同的时间内进一步 增大其检测量，采用模糊训练的方式来高效快速地提高ssd对象检测网络的适用性，并提高 整体检测系统的鲁棒性，此外在经过ssd对象检测网络进行单元图像识别后，利用cnn图 像分类网络对每个目标单元图像内的区域图像进行精确的分类，区分每个目标单元内的每个 区域装配组装是否合格，更甚通过大量训练形成更多的数据库，可以分类装配错误类型，并 且通过cnn图像分类网络进行分类对比对工作环境需求较低，精确度较高，整体对比识别的 效率高，通过ssd对象检测网络和cnn图像分类网络的有机结合能够大幅度地降低图形检 测组装缺陷系统对于工作环境的要求，对于整体系统的鲁棒性产生显著的提升效果；此外本发明还适配采用了先验匹配系统，通过先验匹配能够提高ssd对象检测网络对于目标 单元的检测效率和检测精度，实现更快更优的检测。
附图说明
18.图1为本发明方法的流程示意图；图2为本发明先验匹配说明示意图；图3为本发明缩放坐标及坐标参数示意图；图4为以图像截取器进行图像分类处理的示意图；图中：s1获取源图像，s2对象检测，s3获取单元图像，s301第一单元图像集，s302第二单 元图像集，s4输入图像分类网络，s5图像分类处理，s501第一区域，s502第二区域，s503 第三区域，s504第四区域，s2001a第一先验框，s2001b第二先验框，s2001c第三先验框， s2002检测单元，s2003边界框。
具体实施方式
19.以下结合具体实施例和说明书附图对本发明作出进一步清楚详细的描述说明。本领域 普通技术人员在基于这些说明的情况下将能够实现本发明。此外，下述说明中涉及到的本发 明的实施例通常仅是本发明一部分的实施例，而不是全部的实施例。因此，基于本发明中的 实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都 应当属于本发明保护的范围。
20.如无特殊说明，本发明实施例所用的ssd对象检测网络和cnn图像分类网络均经过 大量有效训练，已训练得到成熟的图像检测模型。所用的具体ssd对象检测网络和cnn图 像分类网络均为已知类型的模型网络且训练采用与之相匹配的常规模型训练方法，在下述实 施例中不进行详细的阐述以减少不必要的内容。
21.实施例1
22.一种如图1所示的组装缺陷检测方法，其具体包括以下步骤：
23.s1获取源图像：获取采用4khud工业相机拍摄的超高清4k(3840
×
2160分辨率) 的照片，形成照片集作为源图像，同时每一张照片均是检测对象；
24.s2对象检测：将s1获得的源图像输入至经过训练的ssd对象检测网络，本实施例所 采用的ssd对象检测网络如图1所示为ssd mobilenet fpn网络，该网络是一种成熟的、常 用于图形对象检测的ssd对象检测网络，ssd mobilenet fpn网络经过对象检测后输出单元 图像；
25.s3获取单元图像：根据s2步骤ssd对象检测网络的对象检测结果输出s3所示的单 元图像，单元图像可单独直接输入后续的cnn图像分类网络，又或批量处理，批量处理如图 1所示针对每个目标单元构成第一单元图像集s301、第二单元图像集s302等；
26.s4输入图像分类网络：所形成的单元图像逐一或批量输入经过训练的cnn图像分类 网络，本实施例所采用的cnn图像分类网络如图1所示为mobilenet v1网络，该网络同样 是一种成熟、常用于图像分类的卷积神经网络，并且，经过训练的cnn图像分类网络中含有 若干用于图像分类对比的数据库集，数据库集中包含有数据库a、数据库b、数据库c、数 据库d等，且分为正样本库和负样本库两类，至少含有正样本库，分别用于对单元图像中各 个目标区域图像进行对比分类；
27.s5图像分类处理：上述输入至cnn图像分类网络后的单元图像，首先经过cnn图像 分类网络的特征提取器提取目标区域的图像，所述特征提取器即通过包含在cnn图像分类模 型内的截图工具，能够针对每个单元图像集设定若干固定的目标区域并对区域内的图像进行 截图获取，如图1针对每个单元图像集选定若干固定区域为目标区域，如本实施例以第一单 元图像集所含的单元图像为例，选定第一区域s501、第二区域s502、第三区域s503和第四 区域s504作为该单元图像集内的目标区域，特征提取器提取上述四个目标区域的图像特征， 并将每个目标区域与相应的数据库进行对比分类，如本实施例中数据库a、数据库b、数据 库c和数据库d均为正样本库，第一区域至第四区域分别依次与数据库a～d对应，cnn 图像分类网络提取第一区域的图像特征后与数据库a进行对比，对比成功则为其标上ok或 通过等表合格的标记，分类为合格，若第一区域所提取的图像特征与数据库a进行对比后不 吻合，则进一步与其余与第一区域对应的数据库进行对比分类，如本实施例还设定有数据库 e、数据库f和数据库g均为与第一区域对应，其中数据库e为正样本库，数据
库f和数据 库g为负样本库，若第一区域的图像特征与数据库e对比成功则为其标上ok或通过等表合 格的标记，分类为合格，若还不吻合，则进一步依次与数据库f和数据库g进行对比分类， 若与数据库f或数据库g对比成功则为其标上ng或退回等表不合格的标记，分类为不合格， 若第一区域所提取的图像特征与数据库a、数据库e～g均不吻合，则先标记并分类为不合 格，并建立与第一区域所对应的临时数据库，并将该图像特征加入至该临时数据库中，用于 cnn图像分类网络的迭代训练并在训练后加入至现有数据库中或建立新的正样本库或负样 本库，以此分类后对每个源图像的每个目标单元中所含的每个目标区域进行分类标记，若为 全部合格则表示产品组装合格，并无组装缺陷，若存在不合格，则表述产品存在组装缺陷， 以此完成组装缺陷检测。
28.另外，针对上述s4和s5中的正样本库和负样本库设定，本发明具体使用过程中还能 够采用正样本库和负样本库组合形成完整数据库的形式进行设定，以提高在样本数量较少时 的检测效率，具体如本实施例中对应第一区域的数据库a、数据库e为正样本库，数据库f 和数据库g为负样本库，但也可将数据库a、数据库e～g中所含的全部样本进行正样本、 负样本标记，并归纳全部放入至数据库a中，使得第一区域的图像特征仅需与数据库a进行 对比。此外，根据对比成功的频次和时间轴，定期对数据库中的样本对比顺序进行调整。如 设定前三日对比成功率由高至低排列样本库内的样本，使得cnn图像分类网络能够更加高效 地进行对比。
29.此外，本实施例s5步骤具体采用嵌设有特征提取器(具体为能够在固定目标区域进 行图像获取的截图工具)的cnn图像分类网络，但在实际应用过程中，还可如图4所示采用 独立的截图工具和不嵌设有特征提取器或特征提取器未训练、不采用的cnn图像分类网络配 合，通过独立的图像截取器(截图工具)先进行图像分类处理，采用独立的图像截取器配合 能够降低cnn图像分类网络的训练要求以及运行要求，并且通过人工标记的方式能够直接运 用、无需训练，使其能够更加高效地利用其分类器进行图像的标记分类，但由于独立的截图 工具通常不具备自主纠错、查错能力，因此其鲁棒性较差，实际应用场景中可根据需求进行 实际调整。
30.并且，本发明所述的cnn图像分类网络为若干小型图像分类模型构成的模型集，或 为一个高度集成化的网络。本实施例具体为一个高度集成化的网络，能够对全部的目标区域 进行图像分类，而若采用由若干小型图像分类模型构成的模型集，则是对应每个目标区域训 练若干个图像分类模型，并最终将其与目标区域对应整合形成集合网络。两者有利有弊，采 用本实施例的方式能够降低实际模型训练和检测对于工作环境的负担，通过单模型训练即可 实现，属于一种单线程识别分类的方式；而若采用模型集，则会相对增大模型训练和检测对 于工作平台的要求，但其在检测效率和检测精度上能够进一步提升，实际应用场景中可根据 需求进行实际调整。
31.实施例2
32.在实施例1的基础上，利用ssd mobilenet fpn网络对源图像中的单元图像进行截取 前，进行先匹配处理；
33.因为常规的ssd对象检测网络在进行检测时，需要对源图像的全图进行扫描，因而导 致现有的ssd对象检测网络在进行分析检测时效率较低，尤其是对于大尺寸的源图像，其扫 描检测速度慢、效率低，因此改进并有效提高ssd对象检测网络的检测效率十分有必
要；
34.本发明采用先验匹配的方式使得ssd对象检测网络能够以针对每个目标单元在一个 较小的范围区域内进行检测，避免了大面积、大范围的全图检测，并且可以多个目标单元同 时进行，大大提高了检测效率；
35.具体的，先验匹配需要对原系统模型进行一定的训练，具体的训练过程如下：
36.以图2中左侧的检测单元s2002作为对象进行说明，分别为其设置第一先验框s2001a、 第二先验框s2001b和第三先验框2001c，并定位其中心坐标和宽高，第一先验框的中心坐标 和宽高为d1＝(d
cx1，dcy1
，d
w1
，d
h1
)，其中d
cx
、d
cy
、dw和dh分别指代该先验框的中心坐标和宽 高，依次：d
cx
为几何中心横坐标，d
cy
为几何中心纵坐标，dw为该先验框在x轴上的投射宽度， dh为该先验框在y轴上的投射高度。下述的第二先验框和第三先验框与此相同。第二先验框 的中心坐标和宽高为d2＝(d
cx2
，d
cy2
，d
w2
，d
h2
)，第三先验框的中心坐标和宽高为 d3＝(d
cx3
，d
cy3
，d
w3
，d
h3
)，并通过ssd对象检测网络检测识别出该检测单元s2002的真实目 标位置和/或通过人工操作确定真实目标位置，画出边界框b＝(b
cx
，b
cy
，bw，bh)，同样b
cx
、b
cy
、 bw和bh分别指代该边界框的中心坐标和宽高，依次：b
cx
为几何中心横坐标，b
cy
为几何中心纵 坐标，bw为该边界框在x轴上的投射宽度，bh为该边界框在y轴上的投射高度。边界框的确 定在训练初期最优通过人工操作的方式得到，以提高训练效果和训练效率；
37.对比并输出每个先验框与边界框的检测值，具体检测值为l
x
，l
x
＝|l
w-lh|，，本实施 例中x＝1～3分别对应第一至第三先验框与边界框的检测值，其中lw和lh的计算公式为：
[0038][0039]
式中：lw为先验框与边界框的宽度比，lh为先验框与边界框的高度比，dw为先验框在 x轴上的投射宽度，dh为先验框在y轴上的投射高度，bw为边界框在x轴上的投射宽度，bh为 边界框在y轴上的投射高度；
[0040]
当取上述所得l
x
值越小，则相应判定置信度和/或评分越高，取最小的l
x
，具体如在本 实施例中l
x
＝(l1，l2，l3)
min
，则基于检测值、第x先验框和边界框确定预测值l，其中：
[0041]
l＝(l
cx
，l
cy
，lw，lh)；
[0042][0043]
式中：l
cx
为真实目标边框与最优先验框的几何中心横坐标的偏移系数，l
cy
为真实目标 边框与最优先验框的几何中心纵坐标的偏移系数，lw为真实目标边框与最优先验框的宽度的 差比系数，lh为真实目标边框与最优先验框的高度的差比系数，d
cx
为最优先验框的几何中心 横坐标，d
cy
为最优先验框的几何中心纵坐标，dw为最优先验框在x轴上的投射宽度，dh为最 优先验框在y轴上的投射高度，b
cx
为边界框的几何中心横坐标，b
cy
为边界框的几何中心纵坐 标，bw为边界框在x轴上的投射宽度，bh为边界框在y轴上的投射高度。
[0044]
重复若干次进行上述预测值l的计算后，得到集(l1，l2，l3......ln)，取其均值作为标准预测 值la，并取最大值和最小值构成预测值范围[i
min
，i
max
]，其中l
min
＝(l1，l2，l3......ln)
min
、 l
max
＝(l1，l2，l3......ln)
max
，通过标准预测值和预测值范围能够进一步加快ssd对象检测网络的 检测速度，以更快、更精确地实现检测单元定位并截取图像。
[0045]
具体的，获取真实目标的位置并截取检测单元图像时，通过预设先验框和预测值，
能 够快速获取其实际边界，具体如下：
[0046]bcxture
＝l
cxdcx
d
cx
；b
cyture
＝l
cydcy
d
cy
；b
wture
＝l
wdw
dw；b
hture
＝l
hdh
dh[0047]bture
＝(b
cxture
，b
cyture
，b
wture
，b
hture
)
[0048]
其中b
ture
为用于确定检测单元的真实目标边框，b
cxture
为真实目标边框的几何中心横坐 标，b
cyture
为真实目标边框的几何中心纵坐标，b
wture
为真实目标边框在x轴上的投射宽度， b
hture
为真实目标边框在y轴上的投射高度，l
cx
为真实目标边框与最优先验框的几何中心横坐 标的偏移系数，l
cy
为真实目标边框与最优先验框的几何中心纵坐标的偏移系数，lw为真实目 标边框与最优先验框的宽度的差比系数，lh为真实目标边框与最优先验框的高度的差比系数， l
cx
、l
cy
、lw和lh均取自la和[l
min
，l
max
]，d
cx
为最优先验框的几何中心横坐标，d
cy
为最优先验框的 几何中心纵坐标，dw为最优先验框在x轴上的投射宽度，dh为最优先验框在y轴上的投射高 度。
[0049]
通过上述先验匹配训练后，通过所设定的先验框能够快速实现目标单元的匹配。经试 验，在实际检验4k分辨率源图像且源图像中目标单元数为21个的图像时，ssd对象检测网 络对单个源图像进行目标单元识别截取全部21个单元图像的时长由约18s缩短至约15s，产 生了较为明显的提升效率的效果。
[0050]
实施例3
[0051]
在实施例1的基础上，利用ssdmobilenetfpn网络对源图像中的单元图像进行截取 前，对源图像进行降分辨率和/或缩小尺寸处理，具体的，如图3所示：
[0052]
在源图像建立标定原点并以该原点建立二维坐标系，基于该二维坐标系获取源图像的 坐标参数soi；
[0053]
soi＝(soi
cx
，soi
cy
，soiw，soih)
[0054]
式中：soi
cx
为源图像几何中心的横坐标，soi
cy
为源图像几何中心的纵坐标，soiw为源图 像宽度，soih为源图像高度；
[0055]
缩小后的子图像基于所述二维坐标系获取子图像的坐标参数sui；
[0056]
sui＝(sui
cx
，sui
cy
，suiw，suih)
[0057]
式中：sui
cx
为子图像几何中心的横坐标，sui
cy
为子图像几何中心的纵坐标，suiw为子 图像宽度，suih为子图像高度。
[0058]
基于坐标参数soi和坐标参数sui建立源图像和子图像的移比参数ms；
[0059]
ms＝(msw，msh)；
[0060][0061]
式中：ms
cx
为几何中心横坐标偏移系数，ms
cy
为几何中心纵坐标偏移系数，msw为宽度 比例系数，msh为高度比例系数；
[0062]
所述在源图像中截取放大的高分辨率的单元图像时：
[0063]
基于上述移比参数和所述二维坐标系，获取ssd对象检测网络截取的子单元图像的坐 标参数sub；
[0064]
sub＝(sub
cx
，sub
cy
，subw，subh)；
[0065]
式中：sub
cx
为子单元图像几何中心的横坐标，sub
cy
为子单元图像几何中心的纵坐标， subw为子单元图像宽度，subh为子单元图像高度；
[0066]
根据上述子单元图像的坐标参数sub和移比参数ms，映射计算单元图像的坐标参数ci；
[0067]
ci＝(ci
cx
，ci
cy
，ci
wh
，cih)；
[0068]
ci
cx
＝(sub
cx-sui
cx
)msw soi
cx
；ci
cy
＝(sub
cy-sui
cy
)msh soi
cy
；
[0069]
ciw＝mswsubw；cih＝mshsubh；
[0070]
式中：ci
cx
为单元图像几何中心的横坐标，ci
cy
为单元图像几何中心的纵坐标，ciw为单 元图像宽度，cih为单元图像高度。
[0071]
通过上述的缩放操作，能够使得ssd对象检测网络对于工作环境的要求产生明显的下 降，通常作为ssd对象检测网络的工作平台，需要配置高端的电子设备(电脑)，
[0072]
如直接采用4k分辨率图像检测需要i7 11700f/b560m/rtx3060 12glhr/3600mhz16g配置的高端电脑，而通过本实施例的方式将4k分辨率图像缩至原尺寸的1/2并且分辨率 降至2k(1920
×
1080分辨率)后仅需i5 10400/b560m/uhd630/2600mhz 8g配置的中低端 电脑作为其工作平台，在设备成本上能够降低75～80％，产生了非常明显的经济效益，同时ssd对象检测网络对单个源图像进行目标单元识别截取全部21个单元图像的时长由约18s 缩短至约12s，产生了非常明显的提升效率的效果。
[0073]
而将实施例2和本实施例方案相结合，将先验匹配和缩放处理结合，能够使ssd对象 检测网络对单个源图像进行目标单元识别截取全部21个单元图像的时长由约18s缩短至约8 s，极大地提升了ssd对象检测网络对于图像源的检测效率。
[0074]
同时，采用本发明实施例1、实施例2、实施例3结合所形成的技术方案，用于5000 个检测对象进行检测，每个检测对象含21个目标单元、总计106个目标区域进行组装缺陷检 测时，能够在约29小时左右完成，并且经过逐一的人工校验(总计20名校验员进行两轮复 验，平均耗时约28.3h/人)，检测准确率达到99％以上，并且针对没一个目标区域，准确率 99.98％，具有极高的准确率，并且能够有效替代人工操作。