基于VisionMaster的多任务工业视觉协同检测方法
本发明涉及图像处理与模式识别领域,更具体地说,本发明涉及一种基于visionmaster的多任务工业视觉协同检测方法。
背景技术:
1、随着消费电子制造业向高精度、高速度方向发展,smt贴片产线的生产节拍已普遍提升至0.5秒每件;以手机主板和芯片模组为例,在同一工位上往往需要同时完成两项视觉检测任务:一是通过光学字符识别技术读取印刷电路板表面的序列号以实现产品追溯,二是通过目标检测算法判断焊点是否存在虚焊、偏移或漏件等缺陷以确保焊接质量;目前,这类产线广泛采用visionmaster作为上位机视觉平台,配合单台高分辨率工业相机完成图像采集与分析工作;由于相机采集帧率固定为每秒30帧,每帧图像必须在规定时间内完成全部处理流程才能跟上产线节拍。
2、在实际应用中,传统的处理方法是将编号识别与缺陷分类拆分为两个独立的visionmaster工具链流程,分别调用各自的深度学习模型;或者在同一流程内串行执行两个模型的前向推理;无论哪种方式,每帧图像均需依次经历两次完整的神经网络前向传播过程,即分别进行特征提取、分类或识别;这种重复的特征提取计算导致单帧图像的处理总时长常常超过0.5秒,无法满足产线节拍要求;究其原因,两个任务各自独立地从原始图像中提取底层特征,占用了大量图形处理器或中央处理器的算力资源,同时引发内存带宽的竞争,造成严重的计算冗余。
3、为解决上述问题,现有技术提供了若干替代方案;一种方案是采用高性能图形处理器并行运行两个独立模型,例如基于tensorrt的多流推理,但该方法受限于边缘工控机的显存容量,难以在低成本硬件上部署;另一种方案是通过模型压缩技术如剪枝或量化来减小模型体积,但这往往会牺牲单个任务的检测精度;还有一种方案是构建单一的多任务神经网络,例如将yolo目标检测网络与ocr识别网络融合,但此类定制化模型难以与visionmaster平台的现有工具链深度集成,无法充分利用该平台已有的图像定位、相机标定以及plc通信等成熟模块;因此,如何在不过度增加硬件投入的前提下,借助visionmaster平台的可编程性与工具链编排能力,设计出一种能够使一次图像采集同时产出编号识别与缺陷分类结果、且不降低原有精度的多任务协同推理架构,成为当前亟待解决的技术难题。
技术实现思路
1、本发明针对现有技术中存在的技术问题,提供一种基于visionmaster的多任务工业视觉协同检测方法,以解决上述背景技术中提出的问题。
2、本发明解决上述技术问题的技术方案如下:具体包括如下步骤:
3、步骤s1、通过visionmaster流程编辑器配置高分辨率工业相机并接收触发信号,采集pcb板图像,利用visionmaster内置的模板匹配模块自动识别并裁剪出包含序列号区域和焊点区域的感兴趣区域,对感兴趣区域进行畸变校正并执行多尺度归一化处理,得到标准化张量;
4、步骤s2、将标准化张量送入共享卷积骨干网络进行特征提取,并在共享卷积骨干网络末端嵌入通道注意力模块,通过全局平均池化和两层全连接网络学习通道权重,对共享卷积骨干网络输出的特征图进行逐通道加权,输出增强特征图;
5、步骤s3、将增强特征图同时馈入ocr识别头和目标检测头进行并行解码,其中ocr识别头通过卷积压缩高度后经双向lstm网络输出字符概率矩阵和第一置信度,对字符概率矩阵进行解码得到序列号字符串,目标检测头通过特征金字塔网络进行多尺度融合后经轻量级检测头输出缺陷列表和第二置信度,同时引入可学习的门控向量对ocr识别头对应的反向传播梯度和目标检测头对应的反向传播梯度进行动态缩放,实现自适应平衡;
6、步骤s4、通过visionmaster全局变量接口同步ocr识别头输出的序列号字符串与目标检测头输出的缺陷列表,基于预设的第一置信度阈值和预设的第二置信度阈值进行双向校验,利用空间关系相互修正后,通过visionmaster事件触发机制调用visionmaster的plc通信模块将结果打包发送至生产线控制系统,完成单次前向推理的多任务协同输出;
7、在一个优选地实施方式中,所述步骤s1中,通过visionmaster流程编辑器配置高分辨率工业相机的工作参数,包括设置曝光时间为自适应模式或固定毫秒级数值,设置增益为自动增益控制或固定分贝值,并设置触发模式为硬件上升沿触发或连续采集模式;
8、高分辨率工业相机接收来自生产线控制系统的触发信号,在pcb板到达指定工位时精确采集一幅pcb板图像;利用visionmaster内置的模板匹配模块,加载预先存储的pcb板基准模板,通过归一化互相关算法在采集的pcb板图像中搜索与pcb板基准模板最匹配的位置,返回匹配区域的中心坐标和旋转角度;基于匹配区域的中心坐标和旋转角度,自动裁剪出包含序列号区域和焊点区域的感兴趣区域。
9、在一个优选地实施方式中,所述对感兴趣区域进行畸变校正并执行多尺度归一化处理的具体操作为:
10、首先利用高分辨率工业相机标定阶段获得的径向畸变系数和切向畸变系数,通过双线性插值算法将感兴趣区域内的每个像素坐标映射至理想针孔模型下的坐标,得到校正后的感兴趣区域;然后将校正后的感兴趣区域缩放至固定的目标高度和目标宽度,缩放过程采用双线性插值算法,得到缩放后的感兴趣区域;接着对缩放后的感兴趣区域中的每个像素值进行z-score标准化,即用每个像素值减去缩放后的感兴趣区域所有像素的平均像素值后再除以缩放后的感兴趣区域所有像素的标准差,使标准化后的像素值服从均值为0、方差为1的标准正态分布,在此过程中,标准化后的像素值具体等于像素值减去平均像素值后除以标准差所得的商,得到序列号区域对应的标准化后的感兴趣区域和焊点区域对应的标准化后的感兴趣区域。
11、在一个优选地实施方式中,所述得到标准化张量的具体过程为:
12、将序列号区域对应的标准化后的感兴趣区域与焊点区域对应的标准化后的感兴趣区域沿通道维度进行拼接,形成一个具有6个通道的标准化张量,标准化张量的高度等于目标高度,宽度等于目标宽度,每个通道分别承载序列号区域对应的标准化后的感兴趣区域或焊点区域对应的标准化后的感兴趣区域在红绿蓝3个颜色通道上的标准化像素值。
13、在一个优选地实施方式中,所述步骤s2中,共享卷积骨干网络采用mobilenetv3-large结构,该mobilenetv3-large结构由多个深度可分离卷积块和线性瓶颈层首尾堆叠而成,整体包含5个下采样阶段,其中前4个下采样阶段的每个下采样阶段首部设置步长为2的可分离卷积用于降低空间分辨率并增加通道数,第5下采样阶段保持分辨率不变以提取高维特征,经过5个阶段处理后,特征图的空间尺寸缩小为输入标准化张量的1/32,通道数扩张至960维,从而提取出包含序列号区域和焊点区域全局与局部特征的共享卷积骨干网络输出的特征图。
14、在一个优选地实施方式中,所述通道注意力模块对共享卷积骨干网络输出的特征图执行通道维度的全局平均池化操作,将每个通道的二维空间特征压缩为一个标量数值,由此生成包含960个标量元素的特征向量,特征向量的每个元素代表对应通道的全局响应强度;随后将特征向量输入第一层全连接网络,通过矩阵相乘将维度由960维线性压缩至240维,并对压缩后的数值施加relu非线性变换,relu非线性变换表达式为f(x)=max(0,x),其中x为第一层全连接网络输出的任一标量;
15、接着将经relu非线性变换后的数值输入第二层全连接网络,再次通过矩阵相乘将维度由240维线性恢复至960维,并对恢复后的数值进行概率归一化处理,概率归一化处理采用sigmoid函数,表达式为f(x)=1/(1+e^{-x}),使其取值范围限制在0到1之间,由此输出通道权重,通道权重包含960个数值,每个数值对应表示共享卷积骨干网络输出的特征图中一个通道的重要程度;
16、最后将通道权重与共享卷积骨干网络输出的特征图进行逐通道相乘运算,即将特征图中的每一个通道的二维特征矩阵分别乘以通道权重中对应的数值,由此生成增强特征图。
17、在一个优选地实施方式中,所述步骤s3中,ocr识别头对增强特征图执行步长为2的卷积操作,将增强特征图的高度维度压缩至1,同时保持宽度维度不变,得到序列特征图;
18、将序列特征图沿宽度方向展开为时间步序列,每个时间步对应一个位置的特征向量;将时间步序列输入双向lstm网络,双向lstm网络由前向lstm单元和后向lstm单元组成,分别从前向后和从后向前提取序列上下文依赖,输出隐状态序列;
19、将每个隐状态通过全连接层映射至字符类别空间,并经过softmax函数归一化,得到字符概率矩阵,字符概率矩阵的行数等于宽度维度数值,列数等于字符类别总数;第一置信度定义为字符概率矩阵中所有时间步的最大概率值的几何均值,计算过程为:先获取字符概率矩阵中每一个时间步对应的最大概率数值,计算最大概率数值的自然对数,将所有时间步的自然对数结果进行累加求和,将求和结果除以总的时间步数,将除法结果取指数运算,所得数值即为第一置信度;对字符概率矩阵采用ctc贪婪解码算法,去除空白符和重复字符,得到序列号字符串。
20、在一个优选地实施方式中,所述目标检测头对增强特征图应用特征金字塔网络进行多尺度特征融合,特征金字塔网络通过自顶向下路径和横向连接生成多层金字塔特征,每层金字塔特征具有不同的空间分辨率和相同的通道数;
21、每层金字塔特征后接一个轻量级检测头,轻量级检测头包含分类子网络和回归子网络,分类子网络输出每个锚点框的类别概率,回归子网络输出边界框偏移量;对所有层级的检测结果进行非极大值抑制后,保留置信度高于预设的第二置信度阈值的检测框,形成缺陷列表,缺陷列表中每个元素包含缺陷类别、边界框坐标和第二置信度;可学习的门控向量由一个门控网络生成,门控网络以全局平均池化操作和全局最大池化操作对增强特征图进行处理得到的拼接向量为输入,通过一个全连接层映射至二维向量,再经过softmax函数归一化处理得到两个分量;
22、softmax函数归一化处理的计算过程为:将全连接层输出的二维向量中第一个元素减去二维向量中所有元素的最大值,将差值乘以一个预设的温度系数后进行指数运算得到第一个中间值,将全连接层输出的二维向量中第二个元素减去二维向量中所有元素的最大值,将差值乘以一个预设的温度系数后进行指数运算得到第二个中间值,将第一个中间值除以两个中间值之和得到第一个分量,将第二个中间值除以两个中间值之和得到第二个分量,两个分量之和为1;第一个分量对应ocr识别头反向传播梯度的缩放系数,第二个分量对应目标检测头反向传播梯度的缩放系数,从而实现两个任务梯度的动态平衡。
23、在一个优选地实施方式中,所述步骤s4中,双向校验包括第一置信度校验分支和第二置信度校验分支,在第一置信度校验分支中,当ocr识别头输出的第一置信度小于预设的第一置信度阈值时,从缺陷列表中提取焊点区域的边界框坐标,基于焊点区域与序列号区域在步骤s1中确定的相对位置关系,计算出序列号区域的推断位置,对推断位置对应的图像区域重新执行ocr识别,将重新识别得到的序列号字符串作为最终序列号字符串,并将重新识别后的置信度更新为第一置信度;
24、在第二置信度校验分支中,当目标检测头输出的第二置信度小于预设的第二置信度阈值时,利用步骤s1中匹配区域的中心坐标和旋转角度确定的序列号区域位置作为空间先验,遍历缺陷列表中的每一个检测框,删除与序列号区域重叠面积超过预设交并比阈值的检测框,保留剩余检测框形成更新后的缺陷列表,并将更新后的缺陷列表中所有检测框的第二置信度的最大值作为更新后的第二置信度;
25、若重新识别后的第一置信度仍低于预设的第一置信度阈值,则将整体可信度标志标记为待人工复核;若更新后的第二置信度仍低于预设的第二置信度阈值,同样将整体可信度标志标记为待人工复核。
26、在一个优选地实施方式中,所述利用空间关系相互修正后,将序列号字符串与缺陷列表打包为结构化数据包,结构化数据包包含序列号字符串字段、缺陷列表字段以及整体可信度标志字段;整体可信度标志字段的取值根据双向校验后的第一置信度和第二置信度确定,当第一置信度大于或等于预设的第一置信度阈值且第二置信度大于或等于预设的第二置信度阈值时,整体可信度标志设置为正常,否则设置为待人工复核;通过visionmaster事件触发机制,在单次前向推理结束后的下一个时钟周期内,调用visionmaster的plc通信模块,将结构化数据包按照modbustcp协议格式封装并发送至生产线控制系统,发送完成后清空存储序列号字符串和缺陷列表的全局变量,准备下一帧图像的处理;结构化数据包还包含时间戳字段,用于记录本次推理完成的时间。
27、本发明的有益效果是:通过共享卷积骨干网络和通道注意力模块,实现了一次图像采集同时完成序列号识别和焊点缺陷检测,避免了重复特征提取,显著提升了推理速度;可学习的门控向量动态平衡了两个任务的梯度,增强了模型对不同场景的适应性;双向校验机制利用空间关系相互修正,提高了输出结果的可靠性;整个流程在visionmaster平台内完成,无需额外硬件,降低了部署成本,满足了高速产线对实时性和准确性的双重要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com