基于深度视觉和多传感器技术的工序检测方法与流程

1.本发明涉及工业加工工序检测技术领域，具体来说，涉及基于深度视觉和多传感器技术的工序检测方法。


背景技术：

2.随着工业水平的提高，加工装配操作流程出现了多工序，多工位集成的复杂情况，因此工人在检查工序时容易出现漏检，错检等情况，造成了巨大的返工成本。与此同时，产品的质量成为了生产厂商和消费者共同关注的问题，而对工业场景来说，错检、漏检会造成极大的安全隐患，影响产品的质量和品牌形象。
3.螺栓拧紧顺序在装配车间的工序中至关重要，操作顺序不对将可能导致整个部件的装配失败，造成极大的返工和时间成本。目前大部分企业都使用人工对工序进行检测，绝大部分靠工人自检。然而人工检测一方面受到工人工作状态所影响，容易发生漏检误检的情况，另一方面，工人检测速度难以跟上机器的生产速度，为此工厂不得不扩大质检人员规模，日益上升的人力资源成本逐渐成为企业痛点。
4.针对相关技术中的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.针对相关技术中的问题，本发明提出基于深度视觉和多传感器技术的工序检测方法，以克服现有相关技术所存在的上述技术问题。
6.为此，本发明采用的具体技术方案如下：
7.基于深度视觉和多传感器技术的工序检测方法，该方法包括以下步骤：
8.s1、工程控制机输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；
9.s2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机进行判定；
10.s3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机与第二相机；
11.s4、所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序；
12.s5、所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图；
13.s6、所述工程控制机接收所述轨迹图并进行展示，实现所有螺栓的装配。
14.进一步的，所述第一相机为弹幕相机且安装在所述悬挂式打枪机底部，所述第二相机为双目相机且安装与所述悬挂式打枪机的对立面。
15.进一步的，所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序，包括以下步骤：
16.s41、所述第一相机实时检测并获取螺栓装配过程的基础图像数据；
17.s42、基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置；
18.s43、对连续帧所述基础图像数据内检测到的螺栓进行计数，判断出最新出现的螺
栓的位置；
19.s44、将判断结果上传至所述工程控制机并与预设逻辑信息进行匹配；
20.s45、若判定结果与预设逻辑信息不匹配，则所述工程控制机发生警报并进入返工流程，若判定结果与预设逻辑信息相匹配，则循环进入下一颗螺栓的判断。
21.进一步的，所述基于改进后的目标检测算法对所述基础图像数据进行检测，识别出螺栓的数量及位置，包括以下步骤：
22.s421、利用获取的基础图像数据构建数据集；
23.s422、对数据集进行类别标注；
24.s423、对基础图像数据进行增广处理；
25.s424、在目标检测算法的骨干网络中融入注意力机制模块；
26.s425、优化目标检测算法中的边框回归损失函数；
27.s426、将所述数据集进行预处理至标准尺寸并进行训练后，得到螺栓检测模型；
28.s427、将标准尺寸的基础图像数据输入至螺栓检测模型，检测得到图像内所有螺栓的数量与位置；
29.s428、将预处理到标准尺寸的需要检测与识别的垃圾图片输入至训练好的螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
30.进一步的，所述注意力机制模块包括通道注意力模块与空间注意力模块；
31.其中，通道注意力模块的计算公式为：
[0032][0033]
空间注意力模块的计算公式为：
[0034][0035]
其中，σ表示sigmoid函数，两个输入共享权重w0和w1，w0∈r
c/r
×c，w1∈rc×
c/r
，表示利用平均池化和最大池化在空间上生成的特征映射，r表示减少率，表示通道的平均池化特征和最大池化特征，f7×7表示滤波器尺寸为7x7的卷积运算。
[0036]
进一步的，所述优化目标检测算法中的边框回归损失函数的公式为：
[0037][0038]
其中，ρ表示计算两个中心点间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，w,w
gt
分别表示预测框和真实框的宽度，b,b
gt
表示预测框和真实框的中心点，h,h
gt
表示预测框和真实框的高度，iou表示预测框与真实框之间的交集和并集之比，cw和ch表示覆盖预测框和真实框的最小外接框的宽度和高度。
[0039]
进一步的，所述第二相机记录被检测物体的中心点，拟合螺栓拧紧轨迹图，包括以下步骤：
[0040]
s51、所述第二相机实时检测并获取螺栓装配过程的深度图像数据；
[0041]
s52、基于改进后的目标检测算法与深度多目标跟踪算法对所述深度图像数据进行检测，构建多目标跟踪模型；
[0042]
s53、所述第二相机记录所述工程控制机返回的真值信号时的被检测物体的中心点及其坐标信息；
[0043]
s54、将连续两个中心点坐标的进行连线，拟合螺栓装配的轨迹图。
[0044]
进一步的，所述基于改进后的目标检测算法与深度多目标跟踪算法对所述深度图像数据进行检测，构建多目标跟踪模型，包括以下步骤：
[0045]
s521、对深度图像数据进行逐帧处理，并提取关键帧；
[0046]
s522、对所述关键帧进行标注、裁剪及预处理，构建螺栓目标跟踪数据集；
[0047]
s523、利用改进后的目标检测算法结合所述目标跟踪数据集作为多目标跟踪的检测器；
[0048]
s523、所述深度多目标跟踪算法通过递归卡尔曼滤波器逐帧处理数据关联性，并使用匈牙利算法对检测器的输出进行目标筛选与跨帧匹配；
[0049]
s524、利用卷神经网络重识别目标跟踪数据集，并引入中心损失函数对重识别数据集进行训练，构建多目标跟踪模型。
[0050]
进一步的，所述递归卡尔曼滤波器的算法公式为：
[0051][0052][0053]ci,j
＝λm(i,j) (1-λ)n(i,j)；
[0054]
其中，m(i,j)表示信息匹配结果，mj表示第j个检测框的位置，yi表示第i个追踪器对目标位置的预测，si表示检测位置与平均追踪位置之间的协方差矩阵，n(i,j)表示余弦距离度量结果，rj表示对mj个检测块提取的特征向量，ri表示外观特征向量库，c
i,j
表示马氏距离与余弦距离度量进行线性加权得到的最终度量。
[0055]
进一步的，所述中心损失函数的计算公式为：
[0056]
lf＝l
c_c1
γl
c1
(h,yi)＝；
[0057][0058]
其中，l
c_c1
表示交叉熵损失函数，h表示网络特征输出，c表示分类类别，n表示样本个数，c
yi
表示第yi类所有深度特征的中心值，xi表示输入的图像特征，nb表示批大小，γ表示使用标量。
[0059]
进一步的，所述悬挂式打枪机装设于装配平台上，用于对所述拧紧螺栓进行装配操作，所述悬挂式打枪机上还设置有空间坐标定位系统，用于测量其空间位置，并传输所述
悬挂式打枪机的空间坐标至所述工程控制机，通过所述工程控制机判断移动的悬挂式打枪机的空间位置是否与所述装配平台上的所述拧紧螺栓的空间坐标重合，根据两者的位置关系控制所述悬挂式打枪机的启动与否，所述悬挂式打枪机包括固定基座、夹持装置和旋转驱动装置，所述固定基座支撑安装在所述装配平台上，所述夹持装置包括机械臂和旋转机构，所述机械臂的一端可滑动设置于所述固定基座，另一端与所述旋转机构连接。
[0060]
进一步的，还包括可以用于机器学习的样本库，所述样本库的样本采集方式如下：对所述基础图像数据内检测到的螺栓进行计数和位置记录，所述悬挂式打枪机对当前螺栓的扭矩值进行记录，将所述基础图像数据按时间标签进行图片提取，将所述图片、螺栓数量、螺栓位置、扭矩值、空间坐标位置均按照时间标签存储于所述用于机器学习的样本库。
[0061]
进一步的，所述基础图像数据为所述第一相机拍摄的俯视图rgb彩色图像以及所述第二相机拍摄的所述螺栓的装配体的灰度图像，图像处理的过程包括第一主流程和第二主流程，所述第一主流程用于处理所述rgb彩色图像，所述第二主流程用于处理所述灰度图像，判断所述第一主流程得到的所述拧紧顺序与所述第二主流程得到的所述螺栓拧紧轨迹图的逻辑是否一致，并输出螺栓拧紧顺序是否正确的判断结果。
[0062]
本发明的有益效果为：通过目标检测、跟踪及传感器轨迹拟合等方式，实现了对复杂工业环境的多工序检测，能够识别多种工序的顺序及正确性，避免人工检测带来的漏检错检风险，从而有效提高流水线的检测速度和精度，显著提生产量和质量，从根本上替代了人工检测的不确定性和不可靠性，杜绝了错检漏检的发生，减少了工厂生产开发的人力、时间成本。
[0063]
具体的，通过实时获取螺栓装配图像数据及扩充检测数据集，结合改进后的目标检测算法与注意力机制，能够实现跨通道信息的捕捉，捕获方向感知和位置感知的信息，提高网络训练的速度，从而能够大大提高螺栓的精准定位和识别精度与效率；并且通过改进边框回归损失函数能够加快计算中收敛速度，实现更高的精度。此外，通过将目标检测算法与深度多目标跟踪算法的结合与改进，能够有效提高深度图像模型的构建速率与精确度，大大提高特征分辨率，保证轨迹图拟合的精确度与平滑性。
附图说明
[0064]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0065]
图1是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的流程图；
[0066]
图2是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的逻辑流程框图；
[0067]
图3是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的悬挂式打枪机运行流程图；
[0068]
图4是根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法的工程控制机逻辑处理流程图。
具体实施方式
[0069]
根据本发明的实施例，提供了基于深度视觉和多传感器技术的工序检测方法。
[0070]
现结合附图和具体实施方式对本发明进一步说明，如图1-4所示，根据本发明实施例的基于深度视觉和多传感器技术的工序检测方法，该方法包括以下步骤：
[0071]
s1、工程控制机(caa)输出开始信号，驱动悬挂式打枪机运行对螺栓进行拧紧；
[0072]
s2、所述悬挂式打枪机将拧紧螺栓的扭矩值上传至所述工程控制机(caa)进行判定；
[0073]
s3、若判定结果不合格，则进入返工流程，若判定结果合格，则返回真值信号并同步开启第一相机(a相机)与第二相机(b相机)；
[0074]
其中，所述第一相机(a相机)为弹幕相机且安装在所述悬挂式打枪机底部，所述第二相机(b相机)为双目相机且安装与所述悬挂式打枪机的对立面。
[0075]
s4、所述第一相机实时检测当前拧紧螺栓的编号，判断拧紧顺序；
[0076]
其中，所述第一相机(a相机)实时检测当前拧紧螺栓的编号，判断拧紧顺序，包括以下步骤：
[0077]
s41、所述第一相机(a相机)实时检测并获取螺栓装配过程的基础图像数据；
[0078]
s42、基于改进后的目标检测算法(yolov5算法)对所述基础图像数据进行检测，识别出螺栓的数量及位置；
[0079]
其中，步骤s42包括以下步骤：
[0080]
s421、利用获取的基础图像数据构建数据集；
[0081]
s422、对数据集进行类别标注；
[0082]
s423、对基础图像数据进行增广处理；
[0083]
s424、在目标检测算法的骨干网络中融入注意力机制模块；
[0084]
其中，所述注意力机制模块包括通道注意力模块与空间注意力模块；
[0085]
其中，通道注意力模块的计算公式为：
[0086][0087]
空间注意力模块的计算公式为：
[0088][0089]
其中，σ表示sigmoid函数，两个输入共享权重w0和w1，w0∈r
c/r
×c，w1∈rc×
c/r
，表示利用平均池化和最大池化在空间上生成的特征映射，r表示减少率，表示通道的平均池化特征和最大池化特征，f7×7表示滤波器尺寸为7x7的卷积运算。
[0090]
s425、优化目标检测算法中的边框回归损失函数；
[0091]
其中，所述优化目标检测算法中的边框回归损失函数的公式为：
[0092][0093]
其中，ρ表示计算两个中心点间的欧式距离，c代表能够同时包含预测框和真实框的最小闭包区域的对角线距离，w,w
gt
分别表示预测框和真实框的宽度，b,b
gt
表示预测框和真实框的中心点，h,h
gt
表示预测框和真实框的高度，iou表示预测框与真实框之间的交集和并集之比，cw和ch表示覆盖预测框和真实框的最小外接框的宽度和高度。
[0094]
s426、将所述数据集进行预处理至标准尺寸并进行训练后，得到螺栓检测模型；
[0095]
s427、将标准尺寸的基础图像数据输入至螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
[0096]
s428、将预处理到标准尺寸的需要检测与识别的垃圾图片输入至训练好的螺栓检测模型，检测得到图像内所有螺栓的数量与位置。
[0097]
s43、对连续帧所述基础图像数据内检测到的螺栓进行计数，判断出最新出现的螺栓的位置；
[0098]
s44、将判断结果上传至所述工程控制机(caa)并与预设逻辑信息进行匹配；
[0099]
s45、若判定结果与预设逻辑信息不匹配，则所述工程控制机(caa)发生警报并进入返工流程，若判定结果与预设逻辑信息相匹配，则循环进入下一颗螺栓的判断。
[0100]
s5、所述第二相机(b相机)记录被检测物体的中心点，拟合螺栓拧紧轨迹图；
[0101]
其中，步骤s5包括以下步骤：
[0102]
s51、所述第二相机(b相机)实时检测并获取螺栓装配过程的深度图像数据；
[0103]
s52、基于改进后的目标检测算法(yolov5算法)与深度多目标跟踪算法(deepsort)对所述深度图像数据进行检测，构建多目标跟踪模型；
[0104]
其中，步骤s52包括以下步骤：
[0105]
s521、对深度图像数据进行逐帧处理，并提取关键帧；
[0106]
s522、对所述关键帧进行标注、裁剪及预处理，构建螺栓目标跟踪数据集；
[0107]
s523、利用改进后的目标检测算法结合所述目标跟踪数据集作为多目标跟踪的检测器；
[0108]
s523、所述深度多目标跟踪算法通过递归卡尔曼滤波器逐帧处理数据关联性，并使用匈牙利算法对检测器的输出进行目标筛选与跨帧匹配；
[0109]
其中，所述递归卡尔曼滤波器的算法公式为：
[0110][0111][0112]ci,j
＝λm(i,j) (1-λ)n(i,j)；
[0113]
其中，m(i,j)表示信息匹配结果，mj表示第j个检测框的位置，yi表示第i个追踪器
对目标位置的预测，si表示检测位置与平均追踪位置之间的协方差矩阵，n(i,j)表示余弦距离度量结果，rj表示对mj个检测块提取的特征向量，ri表示外观特征向量库，c
i,j
表示马氏距离与余弦距离度量进行线性加权得到的最终度量。
[0114]
s524、利用卷神经网络(cnn)重识别目标跟踪数据集，并引入中心损失函数对重识别数据集进行训练，构建多目标跟踪模型。
[0115]
其中，所述中心损失函数的计算公式为：
[0116][0117][0118]
其中，l
c_c1
表示交叉熵损失函数，h表示网络特征输出，c表示分类类别，n表示样本个数，c
yi
表示第yi类所有深度特征的中心值，xi表示输入的图像特征，nb表示批大小，γ表示使用标量。
[0119]
s53、所述第二相机记录所述工程控制机(caa)返回的真值信号时的被检测物体的中心点及其坐标信息；
[0120]
s54、将连续两个中心点坐标的进行连线，拟合螺栓装配的轨迹图。
[0121]
s6、所述工程控制机(caa)接收所述轨迹图并进行展示，实现所有螺栓的装配。
[0122]
进一步的，所述悬挂式打枪机装设于装配平台上，用于对所述拧紧螺栓进行装配操作，所述悬挂式打枪机上还设置有空间坐标定位系统，用于测量其空间位置，并传输所述悬挂式打枪机的空间坐标至所述工程控制机，通过所述工程控制机判断移动的悬挂式打枪机的空间位置是否与所述装配平台上的所述拧紧螺栓的空间坐标重合，根据两者的位置关系控制所述悬挂式打枪机的启动与否，所述悬挂式打枪机包括固定基座、夹持装置和旋转驱动装置，所述固定基座支撑安装在所述装配平台上，所述夹持装置包括机械臂和旋转机构，所述机械臂的一端可滑动设置于所述固定基座，另一端与所述旋转机构连接。
[0123]
进一步的，还包括可以用于机器学习的样本库，所述样本库的样本采集方式如下：对所述基础图像数据内检测到的螺栓进行计数和位置记录，所述悬挂式打枪机对当前螺栓的扭矩值进行记录，将所述基础图像数据按时间标签进行图片提取，将所述图片、螺栓数量、螺栓位置、扭矩值、空间坐标位置均按照时间标签存储于所述用于机器学习的样本库。
[0124]
进一步的，所述基础图像数据为所述第一相机拍摄的俯视图rgb彩色图像以及所述第二相机拍摄的所述螺栓的装配体的灰度图像，图像处理的过程包括第一主流程和第二主流程，所述第一主流程用于处理所述rgb彩色图像，所述第二主流程用于处理所述灰度图像，判断所述第一主流程得到的所述拧紧顺序与所述第二主流程得到的所述螺栓拧紧轨迹图的逻辑是否一致，并输出螺栓拧紧顺序是否正确的判断结果。
[0125]
综上所述，本发明通过目标检测、跟踪及传感器轨迹拟合等方式，实现了对复杂工业环境的多工序检测，能够识别多种工序的顺序及正确性，避免人工检测带来的漏检错检风险，从而有效提高流水线的检测速度和精度，显著提生产量和质量，从根本上替代了人工检测的不确定性和不可靠性，杜绝了错检漏检的发生，减少了工厂生产开发的人力、时间成本。
[0126]
具体的，通过实时获取螺栓装配图像数据及扩充检测数据集，结合改进后的目标检测算法与注意力机制，能够实现跨通道信息的捕捉，捕获方向感知和位置感知的信息，提高网络训练的速度，从而能够大大提高螺栓的精准定位和识别精度与效率；并且通过改进边框回归损失函数能够加快计算中收敛速度，实现更高的精度。此外，通过将目标检测算法与深度多目标跟踪算法的结合与改进，能够有效提高深度图像模型的构建速率与精确度，大大提高特征分辨率，保证轨迹图拟合的精确度与平滑性。
[0127]
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。