一种基于改进YOLOv7的激光光条提取方法及系统与流程

本发明涉及机器视觉与精密测量，具体涉及一种基于改进yolov7的激光光条提取方法及系统。

背景技术：

1、近年来，随着制造业向高端化、智能化方向发展，工业现场对在线检测与精密测量技术提出了更高要求。在机械加工过程中，砂轮作为磨削系统的核心执行部件，其几何参数状态直接影响工件加工精度。然而，大尺寸砂轮的在线视觉测量面临以下技术问题：第一，训练样本获取困难，工业现场图像受背景杂散信息、局部高亮反射及边缘模糊等因素影响，人工标注效率低、一致性差；同时，异常工况随机多变，常规采样难以覆盖，导致深度学习模型训练数据不足，泛化能力受限。第二，光条中心提取不稳定，砂轮表面由磨粒、结合剂及附着物构成，具有较强的反光特性和复杂纹理分布。在激光照射下，易发生局部过曝、灰度畸变和条纹断裂等现象。传统光条提取方法（如steger算法）依赖局部灰度分布理想假设，对异常高亮、光条畸变等情况适应能力不足，难以兼顾提取精度、抗干扰能力与实时性。

2、现有研究虽已在数据构建、光条提取等方面取得一定进展，但面向大尺寸砂轮复杂工况下的在线测量任务，上述问题仍未得到有效解决。

技术实现思路

1、鉴于以上问题，本发明提出一种基于改进yolov7的激光光条提取方法及系统。

2、根据本发明的一方面，提出一种基于改进yolov7的激光光条提取方法，该方法包括以下步骤：

3、步骤s1、构建数字孪生数据集，所述数据集包含虚拟激光光条图像及同步生成的亚像素级中心线真值和二值分割掩膜标签；

4、步骤s2、构建改进的yolov7网络，所述网络在yolov7主干网络基础上，在特征融合阶段引入坐标注意力机制，并将网络末端改为分割输出分支；

5、步骤s3、利用所述数字孪生数据集对所述改进的yolov7网络进行训练；

6、步骤s4、将待提取的激光光条图像输入训练好的改进yolov7网络中，输出得到二值光条掩膜；

7、步骤s5、对所述二值光条掩膜进行后处理，得到亚像素级光条中心线。

8、进一步地，所述步骤s1中构建数字孪生数据集包括：

9、基于线结构光视觉测量的几何光学模型对相机内参和畸变系数进行参数扰动，生成虚拟相机模型；所述几何光学模型包括相机成像模型、镜头畸变模型和激光三角测量模型；

10、计算激光平面与被测工件表面交线，得到三维空间曲线；

11、利用所述虚拟相机模型将三维空间曲线投影至二维图像平面，获得不具备宽度的理想中心线；

12、对不具备宽度的理想中心线进行激光能量渲染，生成虚拟激光光条图像，以及亚像素级中心线真值和二值分割掩膜标签。

13、进一步地，所述虚拟相机模型中扰动后的相机内参为：

14、；

15、式中，表示虚拟相机在图像轴方向上的焦距参数；表示离线标定得到的基准横向焦距；表示横向焦距的相对扰动量，，表示均值为0、方差为的高斯分布，为表示温度漂移剧烈程度的焦距尺度扰动系数；表示虚拟相机在图像轴方向上的焦距参数；表示离线标定得到的基准纵向焦距；表示纵向焦距的相对扰动量，；表示虚拟相机主点在图像中的横坐标；表示离线标定得到的基准主点横坐标；表示主点横坐标的加性扰动量，，表示均值为0、方差为的高斯分布，为表示振动强度的平移偏差标准差；表示虚拟相机主点在图像中的纵坐标；表示离线标定得到的基准主点纵坐标；表示主点纵坐标的加性扰动量，；

16、所述虚拟相机模型中扰动后的畸变系数包括径向畸变系数和切向畸变系数，分别为：

17、；

18、式中，表示虚拟相机的第个径向畸变系数；表示虚拟相机的第个切向畸变系数；表示均匀分布；表示第个径向畸变系数的最小采样值；表示第个径向畸变系数的最大采样值；表示第个切向畸变系数的最小采样值；表示第个切向畸变系数的最大采样值。

19、进一步地，所述对不具备宽度的理想中心线进行激光能量渲染，生成虚拟激光光条图像，以及亚像素级中心线真值和二值分割掩膜标签包括：

20、对于待生成的灰度图像平面上的每一个像素点，计算该像素点到理想中心线的最短法向距离；基于高斯分布模型计算该像素点的灰度值，具体公式为：

21、；

22、其中，表示图像中像素点的灰度值；表示激光光条中心处的最大亮度值；表示高斯分布的标准差，用于控制光条宽度和模糊程度；表示环境背景光强或背景灰度分量；从而得到具有灰度分布特征的虚拟激光光条图像；

23、对于理想中心线上的每一个点，以其二维图像坐标为基础，由虚拟相机光心出发构建一条经过该点的空间射线，建立空间射线方程；将所述空间射线方程与激光平面方程联立，求解二者的空间交点，解析确定该交点的三维坐标及深度值；利用虚拟相机模型将该交点的三维坐标重新投影回二维图像平面，计算得到对应的二维浮点坐标，该二维浮点坐标即为该点在虚拟激光光条图像平面上的亚像素级中心线真值；对理想中心线上的所有点依次执行上述操作，得到完整的亚像素级中心线真值；

24、基于亚像素级中心线真值，计算虚拟激光光条图像上每一个像素点到最近亚像素级中心线真值的欧氏距离；设定一个像素阈值，当某像素点到中心线真值的欧氏距离小于或等于该阈值时，将该像素标记为前景，赋值为1；当欧氏距离大于该阈值时，将该像素标记为背景，赋值为0；得到与虚拟激光光条图像尺寸相同的二值分割掩膜标签。

25、进一步地，对待生成的灰度图像进行沿理想中心线渲染时，将激光中心的最大亮度与用来控制光束宽窄的参数沿光条走向设置为随弧长参数变化的连续随机函数：

26、

27、式中，表示沿光条方向弧长位置处的局部最大亮度；表示沿光条方向弧长位置处的局部光条宽度参数；表示光条的基准亮度值；表示光条的基准宽度参数；表示沿光条方向缓慢变化的亮度扰动函数，用于模拟局部过曝导致的亮度突变；表示沿光条方向缓慢变化的宽度扰动函数，用于模拟由于工件抖动引起的离焦模糊与线宽展宽。

28、进一步地，所述改进的yolov7网络在训练过程中的联合损失函数为：

29、；

30、其中，和为平衡权重系数；表示二值交叉熵损失；表示dice损失。

31、进一步地，所述步骤s5中对所述二值光条掩膜进行后处理，得到亚像素级光条中心线包括：对所述二值光条掩膜进行连通区域筛选与局部噪点去除；沿光条延展方向对前景区域进行逐列扫描，根据每一扫描截面内前景像素的坐标集合计算像素级中心位置；结合原始待提取的激光光条图像中的局部灰度分布，对所述像素级中心位置进行亚像素级修正，得到亚像素级光条中心线。

32、进一步地，所述步骤s1中构建数字孪生数据集还包括域随机化增强步骤：在数据生成阶段，引入泊松-高斯联合噪声模型并加入散斑噪声，以模拟传感器电子噪声特性和激光相干散射；生成随机掩膜分别模拟局部高光过曝光与遮挡物引起的光条断裂；对外参与光平面参数施加随机扰动，以模拟安装误差与振动影响。

33、根据本发明的另一方面，提出一种基于改进yolov7的激光光条提取系统，所述系统用于实现上述所述的一种基于改进yolov7的激光光条提取方法；所述系统包括：

34、虚拟数据集构建模块，其配置成构建数字孪生数据集，所述数据集包含虚拟激光光条图像及同步生成的亚像素级中心线真值和二值分割掩膜标签；

35、网络构建模块，其配置成构建改进的yolov7网络，所述网络在yolov7主干网络基础上，在特征融合阶段引入坐标注意力机制，并将网络末端改为分割输出分支；

36、模型训练模块，其配置成利用所述数字孪生数据集对所述改进的yolov7网络进行训练；

37、光条提取模块，其配置成将待提取的激光光条图像输入训练好的改进yolov7网络中，输出得到二值光条掩膜；对所述二值光条掩膜进行后处理，得到亚像素级光条中心线。

38、本发明的有益技术效果是：

39、本发明提出一种基于改进yolov7的激光光条提取方法及系统。首先针对大尺寸砂轮在线视觉测量中训练样本获取困难、真实场景标注成本高和复杂工况覆盖不足等问题，构建了包含虚拟相机扰动、激光光条和标签自动导出的数据生成模型，同时结合域随机化策略，对噪声、遮挡、高光和运动模糊等工况进行模拟，完成了更接近真实场景的虚拟数据集构建，最终生成了包含5000组样本的数据集，并实现了亚像素级中心线真值、分割掩膜标签和相关参数真值的同步输出。灰度分布对比结果表明，所构建的虚拟图像在主要亮度结构上与真实图像具有一定相似性，能够为后续光条提取网络训练和在线标定方法设计提供数据基础。

40、在真实工业现场条件下，激光光条仍易受强反光、局部过曝和遮挡断裂等因素影响，导致光条区域提取和中心定位面临较大困难。针对上述问题，本发明以生成的虚拟数据集为基础，通过改进网络结构实现光条区域的稳定提取，随后在分割结果基础上，完成光条中心定位，并进行亚像素级修正。具体地，结合激光光条细长、连续延展且局部易退化的结构特点，对yolov7网络进行了任务适配，引入注意力机制，并采用二值交叉熵损失与dice损失相结合的联合监督方式，构建了面向像素级分割的改进yolov7-gca网络。随后通过消融实验和不同方法对比实验对所提方法进行了验证。结果表明，改进模型的iou达到83.72%，f1-score达到91.14%，在保持较高推理效率的同时取得了更优的分割精度，说明本发明方法能够较好适应复杂表面条件下的激光光条提取任务。