一种基于深度学习和对象匹配的装配质量检查方法

1.本发明复杂产品装配技术领域，尤其涉及一种基于深度学习和对象匹配的装配质量检查方法。


背景技术：

2.装配是制造的一个关键过程，在现代工业生产中，高的产品复杂性和差异性大大增加了装配错误出现的概率，因此需要对装配后的产品进行质量检查。以往的装配检查方法是通过将装配好的产品与二维工艺手册或者三维模型手工进行比较。以检查是否存在零件遗漏以及零件的安装类型，位置和角度是否符合装配要求。由于装配零件颜色单一，种类繁多，装配质量检查是一项费时费力的工作。同时，以往的装配检测过程，缺乏对每个装配步骤的检测和控制，当出现漏装、错装等质量问题时，需要对装配对象进行重新拆解，严重影响装配效率和装配质量。
3.深度学习在图像处理领域取得了显著的成果，基于卷积神经网络的方法逐渐应用到装配质量检查领域中。然而，由于机械零件颜色相近、缺乏纹理，这给零件的特征提取、定位和识别带来了挑战。因此，以往基于卷积的方法通常使用大而深、结构复杂的网络，并且对硬件资源需求较高，给算法的部署带来了困难。同时，由于装配过程中相机和零件的相对位姿可能会发生旋转或者平移的变化，以往的装配检查方法，存在对相机视角敏感、鲁棒性差的缺点。因此，如何进行准确、高效且快速的产品装配监控是亟待解决的问题。


技术实现要素：

4.有鉴于此，有必要提供一种基于深度学习和对象匹配的装配质量检查方法，用以克服现有技术中难以对产品装配质量进行高效监测的问题。
5.为了解决上述技术问题，本发明提供一种基于深度学习和对象匹配的装配质量检查方法，包括：
6.获取待测的装配现场图像；
7.将所述待测的装配现场图像输入至训练完备的轻量级神经网络，确定预测关键点信息和预测定位框；
8.根据所述预测关键点信息，确定所述预测定位框与标准装配模板中的标准定位框的转换关系；
9.根据所述转换关系对预测定位框和所述标准定位框进行匹配，判断匹配质量。
10.进一步地，所述标准定位框的确定包括：利用虚拟相机采集每一装配步骤下的标准装配模板，并标注对应的标准关键点信息和标准定位框。
11.进一步地，所述轻量级神经网络的训练过程包括：
12.获取包含标注信息的装配图像样本集，其中，所述标注信息包括所述装配图像样本集的每个装配现场图像对应的实际关键点信息和实际定位框；
13.将所述装配图像样本集输入至构建的轻量级神经网络，确定预测关键点信息和预
测定位框，并根据所述实际关键点信息、所述实际定位框、所述预测关键点信息和所述预测定位框确定损失函数；
14.根据所述损失函数的值调整所述轻量级神经网络的参数至满足收敛条件，确定训练完备的轻量级神经网络。
15.进一步地，所述构建的轻量级神经网络包括编码器和解码器，其中，所述编码器用于对装配现场图像的局部特征和全局特征进行提取，所述解码器用于根据提取特征确定预测关键点信息和预测定位框。
16.进一步地，所述编码器包括多个依次连接的第一卷积结构和第二卷积结构，其中：
17.所述第一卷积结构，用于使用深度可分离卷积提取所述装配现场图像的局部特征；
18.所述第二卷积结构，用于使用transformer结构提取所述装配现场图像的全局特征。
19.进一步地，所述解码器包括卷积采样层、关键点检测结构和零件检测结构，其中：
20.所述卷积采样层，用于对所述编码器输出的提取特征进行多次卷积和采样，输出卷积特征；
21.所述关键点检测结构，用于根据所述卷积特征进行关键点检测，输出预测关键点信息；
22.所述零件检测结构，用于根据所述卷积特征进行零件检测，输出预测定位框。
23.进一步地，所述关键点检测结构包括第一分支结构和第二分支结构，其中：
24.所述第一分支结构，用于根据所述卷积特征，回归关键点热力图；
25.所述第二分支结构，用于根据所述卷积特征，对每个关键点的坐标偏移量进行回归作为补偿，输出预测关键点信息。
26.进一步地，所述零件检测结构包括第一输出分支、第二输出分支和第三输出分支，其中：
27.所述第一输出分支，用于根据所述卷积特征，输出预测定位框的中心点；
28.所述第二输出分支，用于根据所述卷积特征，输出预测定位框的宽度和高度；
29.所述第三输出分支，用于根据所述卷积特征，输出预测定位框的角度信息。
30.进一步地，所述根据所述预测关键点信息，确定所述预测定位框与标准装配模板中的标准定位框的转换关系，包括：
31.以所述预测关键点信息的像素坐标为圆心，选取预设半径内的像素区域为特征区域；
32.采用二维高斯分布，生成所述特征区域内的区域值，确定二维高斯概率分布；
33.根据所述二维高斯概率分布，确定所述预测定位框与标准装配模板中的标准定位框的转换关系。
34.进一步地，所述根据所述预测定位框和所述标准定位框进行匹配，判断匹配质量，包括：
35.根据所述预测定位框和所述标准定位框的面积和像素数目，将所述预测定位框和所述标准定位框进行iou匹配，确定iou匹配值；
36.若所述iou匹配值满足预设条件，则当前装配步骤存在质量问题。
37.与现有技术相比，本发明的有益效果包括：首先，以待测的装配现场图像作为输入，同时预测装配现场图像中的关键点和定位框信息；其次，利用关键点预测的结果，求解现场装配图像与标准模板之间的转换关系；最后，根据装配零件定位框预测的结果，将检测到的零件定位框与标准装配模板中的定位框进行基于交并比(iou)的匹配，以评估当前步骤是否存在质量问题。综上，本发明通过现场采集装配现场图像，输入到训练好的轻量化网络中，预测图像中的关键点和零件定位框，与标准装配模板进行匹配，进而判断漏装和错装问题，能够对装配漏装和错装问题进行实时地检查，确保一致的产品质量，提高装配效率。
附图说明
38.图1为本发明提供的基于深度学习和对象匹配的装配质量检查方法一实施例的流程示意图；
39.图2为本发明提供的标准装配模板图像一实施例的图像示意图；
40.图3为本发明提供的轻量级神经网络的训练过程一实施例的流程示意图；
41.图4为本发明提供的轻量级神经网络的网络结构一实施例的结构示意图；
42.图5为本发明提供的vit block网络结构一实施例的结构示意图；
43.图6为本发明提供的角度信息一实施例的结构示意图；
44.图7为本发明提供的图1中步骤s103一实施例的流程示意图；
45.图8为本发明提供的图1中步骤s104一实施例的流程示意图；
46.图9为本发明提供的iou匹配一实施例的结构示意图；
47.图10为本发明提供的基于深度学习和对象匹配的装配质量检查装置一实施例的结构示意图；
48.图11为本发明提供的电子设备一实施例的结构示意图。
具体实施方式
49.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
50.在本发明的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。此外，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
51.在本发明的描述中，提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，所描述的实施例可以与其它实施例相结合。
52.本发明提供了一种基于深度学习和对象匹配的装配质量检查方法，结合轻量级神经网络，同时确定预测关键点信息和预测定位框，并进行匹配质量的判断，为进一步实现高效的装配质量检查提供了新思路。
53.在实施例描述之前，对相关词语进行释义：
54.自编码器(autoencoder，ae)：是一种利用反向传播算法使得输出值等于输入值的
神经网络，它先将输入压缩成潜在空间表征，然后通过这种表征来重构输出。简单来说，就是可以自动实现编码与解码操作过程的网络模型，并且它的输入x与标签y相同，通过最小化标签y与输出r之间的误差，来优化自编码器模型。
55.编码器：是自编码器中的一部分，能将输入压缩成潜在空间表征，可以用编码函数h＝f(x)表示；
56.解码器，是自编码器中的一部分，能重构来自潜在空间表征的输入，可以用解码函数r＝g(h)表示。
57.基于上述技术名词的描述，现有技术中，以往的装配检查方法，存在对相机视角敏感、鲁棒性差的缺点，并且对硬件资源需求较高，给算法的部署带来了困难。同时，由于装配过程中相机和零件的相对位姿可能会发生旋转或者平移的变化。因而，本发明旨在提出一种高效准确的装配质量视觉检查方法，解决上述问题。
58.以下分别对具体实施例进行详细说明：
59.本发明实施例提供了一种基于深度学习和对象匹配的装配质量检查方法，结合图1来看，图1为本发明提供的基于深度学习和对象匹配的装配质量检查方法一实施例的流程示意图，包括步骤s101至步骤s104，其中：
60.在步骤s101中，获取待测的装配现场图像；
61.在步骤s102中，将所述待测的装配现场图像输入至训练完备的轻量级神经网络，确定预测关键点信息和预测定位框；
62.在步骤s103中，根据所述预测关键点信息，确定所述预测定位框与标准装配模板中的标准定位框的转换关系；
63.在步骤s104中，根据所述转换关系对预测定位框和所述标准定位框进行匹配，判断匹配质量。
64.在本发明实施例中，首先，以待测的装配现场图像作为输入，同时预测装配现场图像中的关键点和定位框信息；其次，利用关键点预测的结果，求解现场装配图像与标准模板之间的转换关系；最后，根据装配零件定位框预测的结果，将检测到的零件定位框与标准装配模板中的定位框进行基于交并比(iou)的匹配，以评估当前步骤是否存在质量问题。
65.作为优选的实施例，结合图2来看，图2为本发明提供的标准装配模板图像一实施例的图像示意图，所述标准定位框的确定包括：利用虚拟相机采集每一装配步骤下的标准装配模板，并标注对应的标准关键点信息和标准定位框。
66.在本发明实施例中，在cad中利用虚拟相机采集每一装配步骤下的标准装配模板，并标注关键点信息和装配零件标准定位框信息。
67.在本发明一个具体的实施例中，上述方法主要包括两个阶段，分别是离线准备阶段和在线检查阶段。在离线准备阶段，建立了用于装配质量检查的标准装配状态模板和神经网络训练数据集。训练数据集中包含用于求解标准装配模板和现场图像间的视角差异的关键点坐标信息以及用于装配零件定位的定位框信息。在数据集的构建过程中，在真实装配场景下利用相机采集装配现场图片，标注关键点信息和零件定位框信息，并对图像进行数据增强。
68.作为优选的实施例，结合图3来看，图3为本发明提供的轻量级神经网络的训练过程一实施例的流程示意图，轻量级神经网络的训练过程包括步骤s301至步骤s303，其中：
69.在步骤s301中，获取包含标注信息的装配图像样本集，其中，所述标注信息包括所述装配图像样本集的每个装配现场图像对应的实际关键点信息和实际定位框；
70.在步骤s302中，将所述装配图像样本集输入至构建的轻量级神经网络，确定预测关键点信息和预测定位框，并根据所述实际关键点信息、所述实际定位框、所述预测关键点信息和所述预测定位框确定损失函数；
71.在步骤s303中，根据所述损失函数的值调整所述轻量级神经网络的参数至满足收敛条件，确定训练完备的轻量级神经网络。
72.在本发明实施例中，对轻量级神经网络进行有效的训练。
73.在本发明一个具体的实施例中，采集标准装配模板和制作cnn-transformer训练数据集具体如下：
74.在模板图像获取方面，利用cad中的虚拟相机采集标准装配状态下每一装配步骤的图像，并标记关键点的类别、坐标以及装配零件的标准定位边界框信息；
75.在训练数据集制作方面，采集现场装配图像作为训练集。图像在真实的装配背景下，在不同角度，不同光照条件下拍摄。每张训练图片都标注了零件的关键点和定位框信息。关键点信息包括坐标和类别，定位框信息包括中心点、宽度、高度和旋转角度。为了提高模型的泛化能力，采用四种数据增强方法，包括图像旋转、图像翻转、添加噪声和颜色空间变换。
76.作为优选的实施例，结合图4来看，图4为本发明提供的轻量级神经网络的网络结构一实施例的结构示意图，所述构建的轻量级神经网络包括编码器和解码器，其中，所述编码器用于对装配现场图像的局部特征和全局特征进行提取，所述解码器用于根据提取特征确定预测关键点信息和预测定位框。
77.在本发明实施例中，本发明设计用于检测装配体关键点和零件定位框的轻量级神经网络cnn-transformer，轻量级神经网络包含编码部分和解码部分，编码部分为图像特征提取网络部分，解码部分包含关键点检测头和零件检测头。
78.在本发明一个具体的实施例中，设计一种新型的轻量级神经网络模型cnn-transformer，其中所述cnn-transformer采用编码解码结构设计。编码部分为主干特征提取网络，用来提取装配图像中的特征。检测头部分包含用于求解相机视角变换关系的关键点检测头，以及用于对装配件进行定位识别的零件检测头。
79.作为优选的实施例，仍结合图4来看，所述编码器包括多个依次连接的第一卷积结构和第二卷积结构，其中：
80.所述第一卷积结构，用于使用深度可分离卷积提取所述装配现场图像的局部特征；
81.所述第二卷积结构，用于使用transformer结构提取所述装配现场图像的全局特征。
82.在本发明实施例中，编码部分由conv block和vit block构成，conv block负责提取图像中的局部特征信息，vitblock用来捕捉图像全局特征信息。
83.在本发明一个具体的实施例中，结合图5来看，图5为本发明提供的vit block网络结构一实施例的结构示意图，编码部分由vit block和conv block堆叠而成。conv block和vit block使用深度可分离卷积和transformer结构分别学习图像中的局部特征和全局特
征；
84.其中，conv block部分采用深度可分离卷积。对于输入尺寸为h
×w×
c的特征图,首先经过一个1
×
1的点卷积将特征图映射到一个更高的维度h
×w×
4c,然后经过一个3
×
3的深度分离卷积对图像进行局部特征提取，在这个卷积中通过控制卷积的步长，来决定是否对特征图进行降采样操作，最后经过一个1
×
1的点卷积将通道维度映射回输入维度。在编码部分，conv block同时负责特征的提取以及对特征图进行下采样；
85.其中，对于vit block,利用transformer结构对输入进来的特征图进行全局处理，代替卷积操作中的局部处理。如图3所示，对于输入到vit block中的h
×w×
c的特征图，首先对特征图进行patch embedding操作。使用一个1
×
1的点卷积层，通过对输入通道进行多次线性组合将特征图的维度映射到一个更高的维度h
×w×
d。将每一个维度为h
×
w的特征图划分成n个h
×
w的小块。然后将这些小块展开，最终得到维度为(h
×
w)
×n×
d的特征图，这样就实现了patch embedding操作。然后将特征图沿着h
×
w维度方向输入到transfomer结构中，进行特征的提取操作；
86.其中，transformer编码器由多头自注意力模块(msa)和feed forward模块构成，在每个模块前应用layer norm，在每个块后应用残差连接和层归一化。feed forward块是一个多层感知机模块，将特征图的维度映射为原来的四倍后在映射回原维度。对于自注意力模块，针对每一个输入维度为n
×
d的特征图，通过与三个可学习的矩阵相乘，得到q(query)、k(key)、v(value)三个量，然后按照下式计算得到最终的自注意力输出；
[0087][0088]
其中，为了让transformer可以注意到不同子空间的信息，捕捉到更加丰富的特征信息，使用了多头注意力机制。设置多组可学习的矩阵wq,wk,wv与输入的特征图相乘。最后将得到的结果拼接起来，并通过一个全连接层将输出的维度投影到输入的维度；
[0089]
msa(q,k,v)＝concate(head
1,
head2,
…
,headh)wo[0090]
其中，将w
×
h个维度为n
×
d特征图输入到transformer结构中处理后，得到的特征图维度仍为(h
×
w)
×n×
d,然后将特征图折叠为h
×w×
d，在通过一个1
×
1的点卷积，将特征图投影回原来的h
×w×
c维度。
[0091]
作为优选的实施例，仍结合图4来看，所述解码器包括卷积采样层、关键点检测结构和零件检测结构，其中：
[0092]
所述卷积采样层，用于对所述编码器输出的提取特征进行多次卷积和采样，输出卷积特征；
[0093]
所述关键点检测结构，用于根据所述卷积特征进行关键点检测，输出预测关键点信息；
[0094]
所述零件检测结构，用于根据所述卷积特征进行零件检测，输出预测定位框。
[0095]
在本发明实施例中，根据检测任务设置关键点检测和零件检测输出头，在编码部分中共享权重参数，在解码中共享上采样部分，形成多任务学习网络，减少了网络参数。
[0096]
在本发明一个具体的实施例中，对于解码部分，输入图像经过编码部分进行特征提取后，得到的特征图尺寸为16
×
16
×
96，然后经过两次1
×
1卷积调整通道维度为384，为
了让网络实现像素到像素级别的预测，使用反卷积操作对特征图进行三次上采样，得到尺寸为128
×
128
×
64的特征图，根据检测任务设置关键点检测和零件检测输出头。它们在编码部分中共享权重参数，在解码中共享上采样部分，形成多任务学习网络，减少了网络参数。
[0097]
作为优选的实施例，仍结合图4来看，所述关键点检测结构包括第一分支结构和第二分支结构，其中：
[0098]
所述第一分支结构，用于根据所述卷积特征，回归关键点热力图；
[0099]
所述第二分支结构，用于根据所述卷积特征，对每个关键点的坐标偏移量进行回归作为补偿，输出预测关键点信息。
[0100]
在本发明实施例中，关键点检测头输出两个热力图分支，一个分支用于回归关键点热力图，另一个分支回归每个关键点的坐标偏移量，用来补偿图像下采样造成的坐标误差。
[0101]
在本发明一个具体的实施例中，在cnn-transformer解码部分中，设计了两个输出分支用于关键点检测。一个分支用于回归关键点的热力图。热力图输出尺寸为128
×
128
×
c，其中c为关键点类型。原始图像的尺寸为512
×
512，经过特征提取网络部分得到热力图时，被下采样了四倍。为了减小下采样导致的中心点坐标预测精度误差，设置另一个分支对每个关键点的坐标偏移量进行回归作为补偿。该支路输出尺寸为128
×
128
×
2,2为关键点在宽和高方向上的两个偏移量。
[0102]
作为优选的实施例，结合图6来看，图6为本发明提供的角度信息一实施例的结构示意图，所述零件检测结构包括第一输出分支、第二输出分支和第三输出分支，其中：
[0103]
所述第一输出分支，用于根据所述卷积特征，输出预测定位框的中心点；
[0104]
所述第二输出分支，用于根据所述卷积特征，输出预测定位框的宽度和高度；
[0105]
所述第三输出分支，用于根据所述卷积特征，输出预测定位框的角度信息。
[0106]
在本发明实施例中，零件检测结构输出中心点、宽高和角度三个热力图分支，分别对应于零件定位框的中心点信息、宽度和高度信息、定位框的旋转角度。
[0107]
在本发明一个具体的实施例中，在解码部分中，为cnn-transformer的零件检测头设计了三个输出分支，分别是：中心点、宽高和角度信息分支。中心点分支的输出结果为代表零件定位框中心点的热力图，尺寸为128
×
128
×
d，d是装配零件的类型数量。宽高分支的输出结果为代表零件定位框的宽度和高度信息的热力图，尺寸为128
×
128
×
2。为了使得检测出的零件包围框更加贴合零件，为检测框增加了旋转信息。如图4所示，旋转信息的定义为零件较长边与y轴的夹角，角度范围为[0,π]；
[0108]
其中，针对cnn-transformer检测器的损失函数，对于偏移量、宽度、高度和角度信息的预测，使用l1损失函数。对于关键点以及零件定位框中心点的预测，采用focal loss来减少样本类别不均衡的问题。计算公式如下：
[0109][0110]
作为优选的实施例，结合图7来看，图7为本发明提供的图1中步骤s103一实施例的流程示意图，步骤s103具体包括步骤s701至步骤s703，其中：
[0111]
在步骤s701中，以所述预测关键点信息的像素坐标为圆心，选取预设半径内的像素区域为特征区域；
[0112]
在步骤s702中，采用二维高斯分布，生成所述特征区域内的区域值，确定二维高斯概率分布；
[0113]
在步骤s703中，根据所述二维高斯概率分布，确定所述预测定位框与标准装配模板中的标准定位框的转换关系。
[0114]
在本发明实施例中，关键点的像素坐标为圆心，半径为10个像素的区域作为特征区域，采用二维高斯分布生成关键点特征区域内的值，关键点特征区域外的值设为0，在关键点特征区域，高斯概率值从中心到边缘递减。
[0115]
需要说明的是，采用透视投影的方法，求解装配现场图像与标准装配模板之间的单应性变换矩阵。
[0116]
在本发明一个具体的实施例中，根据透视变换理论，获得两幅图像之间的单应矩阵所需的最小点数为4。所以设c为4，分别对应4个关键点。以关键点的像素坐标为圆心，选取半径为10个像素的区域作为特征区域。采用二维高斯分布生成关键点特征区域内的值，关键点特征区域外的值设为0。在关键点特征区域，高斯概率值从中心到边缘递减。当图像中的关键点不可见时，将该关键点半径区域内的所有概率值设为0。关键点的二维高斯概率分布计算如下：
[0117][0118]
其中，装配现场图像和标准装配模板之间的变换矩阵利用下式计算：
[0119][0120]
作为优选的实施例，结合图8来看，图8为本发明提供的图1中步骤s104一实施例的流程示意图，步骤s104具体包括步骤s801至步骤s802，其中：
[0121]
在步骤s801中，根据所述预测定位框和所述标准定位框的面积和像素数目，将所述预测定位框和所述标准定位框进行iou匹配，确定iou匹配值；
[0122]
在步骤s802中，若所述iou匹配值满足预设条件，则当前装配步骤存在质量问题。
[0123]
在本发明实施例中，基于装配现场图像与标准装配模板之间的变换关系，将所述零件检测头检测到的装配现场图像中的零件定位框与所述标准装配模板中预先标注的零件定位框进行基于交并比的匹配，判断当前装配步骤是否存在漏装和错装问题。
[0124]
在本发明一个具体的实施例中，结合图9来看，图9为本发明提供的iou匹配一实施例的结构示意图，在获得待测零件的定位框以后，将待测零件的定位框与模板图像中的定位框进行基于iou的匹配，匹配的公式如下：
[0125][0126]
其中，如图5所示，sr是标准装配模板中零件的标准包围框的面积，sv是经过映射以后的零件实际检测框的面积。计算sr中的像素数量为sumb，sv中的像素数量为sumc，然后计
算sr∪sv中像素的数量为suma,则sr∩sv中像素的数量可以用下式求得：
[0127]
sr∩sv＝sumb sumc-suma
[0128]
其中，进行漏装、错装质量检测时，需要设定质量评分阈值，当求解的iou
2d
大于阈值时，则当前装配步骤不存在漏装、错装质量问题，当求解的iou
2d
小于阈值，则表明当前装配步骤存在质量问题。
[0129]
本发明实施例还提供了一种基于深度学习和对象匹配的装配质量检查装置，结合图10来看，图10为本发明提供的基于深度学习和对象匹配的装配质量检查装置一实施例的结构示意图，基于深度学习和对象匹配的装配质量检查装置1000包括：
[0130]
获取单元1001，用于获取待测的装配现场图像；
[0131]
处理单元1002，用于将所述待测的装配现场图像输入至训练完备的轻量级神经网络，确定预测关键点信息和预测定位框；还用于根据所述预测关键点信息，确定所述预测定位框与标准装配模板中的标准定位框的转换关系；
[0132]
匹配单元1003，用于根据所述预测定位框和所述标准定位框进行匹配，判断匹配质量。
[0133]
基于深度学习和对象匹配的装配质量检查装置的各个单元的更具体实现方式可以参见对于上述基于深度学习和对象匹配的装配质量检查方法的描述，且具有与之相似的有益效果，在此不再赘述。
[0134]
本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现如上所述的基于深度学习和对象匹配的装配质量检查方法。
[0135]
一般来说，用于实现本发明方法的计算机指令的可以采用一个或多个计算机可读的存储介质的任意组合来承载。非临时性计算机可读存储介质可以包括任何计算机可读介质，除了临时性地传播中的信号本身。
[0136]
计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0137]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言，特别是可以使用适于神经网络计算的python语言和基于tensorflow、pytorch等平台框架。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0138]
本发明实施例还提供了一种电子设备，结合图11来看，图11为本发明提供的电子
设备一实施例的结构示意图，电子设备1100包括处理器1101、存储器1102及存储在存储器1102上并可在处理器1101上运行的计算机程序，处理器1101执行程序时，实现如上所述的基于深度学习和对象匹配的装配质量检查方法。
[0139]
作为优选的实施例，上述电子设备1100还包括显示器1103，用于显示处理器1101执行如上所述的基于深度学习和对象匹配的装配质量检查方法。
[0140]
示例性的，计算机程序可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器1102中，并由处理器1101执行，以完成本发明。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序在电子设备1100中的执行过程。例如，计算机程序可以被分割成上述实施例中的各个单元，各单元的具体功能如上所述，在此不一一赘述。
[0141]
电子设备1100可以是带可调摄像头模组的桌上型计算机、笔记本、掌上电脑或智能手机等设备。
[0142]
其中，处理器1101可能是一种集成电路芯片，具有信号的处理能力。上述的处理器1101可以是通用处理器，包括中央处理器(central processing unit，cpu)、网络处理器(network processor，np)等；还可以是数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0143]
其中，存储器1102可以是，但不限于，随机存取存储器(random access memory，ram)，只读存储器(read only memory，rom)，可编程只读存储器(programmable read-only memory，prom)，可擦除只读存储器(erasable programmable read-only memory，eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，eeprom)等。其中，存储器1102用于存储程序，所述处理器1101在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流程定义的方法可以应用于处理器1101中，或者由处理器1101实现。
[0144]
其中，显示器1103可以是lcd显示屏，也可以是led显示屏。例如，手机上的显示屏。
[0145]
可以理解的是，图11所示的结构仅为电子设备1100的一种结构示意图，电子设备1100还可以包括比图11所示更多或更少的组件。图11中所示的各组件可以采用硬件、软件或其组合实现。
[0146]
根据本发明上述实施例提供的计算机可读存储介质和电子设备，可以参照根据本发明实现基于深度学习和对象匹配的装配质量检查方法具体描述的内容实现，并具有与实现如上所述的基于深度学习和对象匹配的装配质量检查方法类似的有益效果，在此不再赘述。
[0147]
本发明公开了一种基于深度学习和对象匹配的装配质量检查方法，首先，以待测的装配现场图像作为输入，同时预测装配现场图像中的关键点和定位框信息；其次，利用关键点预测的结果，求解现场装配图像与标准模板之间的转换关系；最后，根据装配零件定位框预测的结果，将检测到的零件定位框与标准装配模板中的定位框进行基于交并比(iou)的匹配，以评估当前步骤是否存在质量问题。
[0148]
本发明技术方案，是一种实时性好、准确率高、对硬件资源要求低的装配质量检查方法，采用深度学习和对象匹配算法，对装配步骤完成后的现场图像进行装配零件检测。将现场图像中当前装配对象的2d检测框与从cad中提取的标准状态模板中的2d框进行基于交并比的匹配，评估当前装配步骤是否存在装配质量问题。本发明通过现场采集装配现场图像，输入到训练好的轻量化网络中，预测图像中的关键点和零件定位框，与标准装配模板进行匹配，进而判断漏装和错装问题，能够对装配漏装和错装问题进行实时地检查，确保一致的产品质量，提高装配效率。
[0149]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。