一种基于图像预处理与YOLO识别的元器件定位方法与流程

本发明涉及图像识别与图像处理，具体涉及一种基于图像预处理与yolo识别的元器件定位方法，尤其适用于废旧电路板回收场景下，对表面存在污损、丝印干扰及底色不均的元器件进行高精度定位。

背景技术：

1、随着电子产品更新换代速度的加快，每年产生的废旧电路板数量巨大。废旧电路板中含有大量的贵金属、稀散金属以及可回收的电子元器件，对其进行资源化回收具有良好的经济效益与环保价值。其中，对电路板上完好的电子元器件进行拆解与再利用是回收产业链的重要环节。要实现元器件的自动化拆解（如采用机械臂进行精准加热、拔取），首先需要解决的核心技术问题便是：在复杂视觉环境下，对元器件进行快速、准确的定位。

2、现有的元器件定位方法主要分为三类：基于传统图像处理的方法、基于深度学习的目标检测方法，以及二者的结合。

3、第一，基于传统图像处理的方法。这类方法通常利用边缘检测（如canny算子）、形态学处理、轮廓提取与形状匹配等技术。然而，废旧电路板具有以下显著特点：板面普遍存在焊锡飞溅、助焊剂残留、氧化变色等污损；板面底色（基板颜色）不均匀，且不同厂商的电路板颜色差异巨大；板面上存在大量密集的丝印字符、导线、过孔等伪边界。这些因素会严重干扰传统算法的边缘提取与轮廓拟合，导致定位结果出现偏移、断裂或包含大量噪点，精度难以满足自动化拆解的要求。

4、第二，基于深度学习的目标检测方法。以yolo、faster r-cnn为代表的深度学习方法在通用目标检测任务上取得了巨大成功。但将其直接应用于废旧电路板元器件定位时，存在如下问题：深度学习网络对输入图像的整体特征进行抽象，输出的是目标的大致边界框。该边界框具有旋转不变性差的特点，通常只输出轴对齐的矩形框，无法精确贴合元器件的真实姿态（特别是存在任意旋转角度的元器件）；同时，网络预测的边界框往往包含部分背景区域，在元器件边缘被污损覆盖时，边界框更是难以收敛到真实的物理边界上。单纯依赖检测网络的输出，无法满足亚像素级或高精度的定位需求。

5、第三，现有结合深度学习与图像处理的方法。现有技术中，有方案尝试利用目标检测网络输出的检测框来裁剪出感兴趣区域（roi），然后在roi内进行传统的边缘提取与拟合。这种方法在一定程度上缩小了处理范围，但仍然无法有效解决上述roi内部的污损、丝印与底色不均问题。因为roi内同样存在复杂的背景干扰，传统的局部边缘检测依然会将丝印边缘、污渍边缘等误识别为元器件边界，导致拟合出的四边形畸变或不准确。此外，现有方法缺乏对定位结果的自我评估与纠错机制，一旦局部处理失败，将直接输出错误结果，缺乏鲁棒性。

6、综上所述，在废旧电路板这种高度复杂、非结构化的视觉环境下，现有技术无法有效区分元器件真实边界与污渍、丝印等伪边界，难以同时满足定位的高精度、强鲁棒性和实时性要求。因此，亟需一种能够克服上述缺陷的新型元器件定位方法。

技术实现思路

1、本发明的目的在于提供一种基于图像预处理与yolo识别的元器件定位方法及系统，以解决现有技术在复杂背景下难以区分真实边界与伪边界、定位精度不足、对污损和底色不均敏感的技术问题。具体技术方案如下：

2、一种基于图像预处理与yolo识别的元器件定位方法，包括以下步骤：

3、图像预处理步骤：获取包含元器件的原始图像，对所述原始图像进行灰度归一化处理，并通过滑动窗口统计方法构建全局板面底色估计图，基于所述原始图像与所述全局板面底色估计图生成反差响应图；

4、目标初定位步骤：将所述反差响应图输入至预训练的yolo目标检测网络中，获取所述元器件的初始定向检测框；

5、局部背景差分步骤：在所述初始定向检测框对应的局部图像区域内进行二次底色建模，基于局部背景样本生成背景替代图，并通过所述局部图像区域与所述背景替代图的差分运算，得到目标显著残差图；

6、精确定位与重构步骤：计算所述初始定向检测框的主方向，结合所述主方向对所述目标显著残差图进行方向约束的边缘拟合与几何重构，得到所述元器件的精确定位轮廓；

7、可信度判定与回退步骤：根据所述精确定位轮廓与所述初始定向检测框的参数变化率以及边缘点的连续性，计算定位可信度，当所述可信度低于预设阈值时，执行回退处理，输出所述初始定向检测框作为最终定位结果。

8、进一步地，所述图像预处理步骤包括：采用指定尺寸的滑动窗口遍历整幅灰度图像，计算每个窗口内所有像素的灰度平均值与灰度方差，将所有窗口的灰度平均值进行曲面拟合，以拟合得到的曲面作为所述全局板面底色估计图；

9、所述反差响应图的生成方式为：针对原始灰度图像中的每一个像素点，用该像素点的灰度值减去全局板面底色估计图中对应位置像素点的灰度值，得到第一差值；将全局板面底色估计图中对应位置像素点的灰度值加上一个预设的极小正数，得到第一和值；将所述第一差值与所述第一和值的比值作为反差响应图在该像素点的灰度值。

10、进一步地，所述局部背景差分步骤包括：在所述初始定向检测框内，选取靠近检测框边缘区域的像素点作为局部背景样本集，对所述局部背景样本集进行曲面拟合或插值运算，生成一幅与所述局部图像区域尺寸完全相同的背景替代图；所述目标显著残差图的生成方式为：将所述局部图像区域与所述背景替代图对应位置的像素灰度值进行相减并取绝对值，得到每个像素点的灰度差值，构成目标显著残差图。

11、进一步地，所述精确定位与重构步骤包括：对所述初始定向检测框内的所有像素点坐标进行主成分分析，将第一主成分的方向确定为所述元器件的估算主方向；在所述目标显著残差图上，沿垂直于所述估算主方向的方向设置多条平行的搜索线，在每条搜索线上查找灰度值发生最大跳变的位置点作为候选边缘点；将属于元器件同一条边界的候选边缘点归为一组，分别对四个边界点组进行最小二乘直线拟合，得到元器件的四条边界线；计算所述四条边界线两两相交的交点，得到所述元器件的四个顶点坐标，完成几何重构。

12、进一步地，所述可信度判定与回退步骤中，所述定位可信度的计算方式为：

13、计算精定位轮廓与初始检测框的面积变化率，以及精定位轮廓的主方向与初始检测框的参考方向之间的角度变化率；

14、计算精定位轮廓上相邻边缘点之间的平均连续程度，得到边缘连续度；

15、将1与面积变化率的差值与预设的第一权重系数相乘获得第一项，将边缘连续度与预设的第二权重系数相乘获得第二项，将角度变化率与预设的第三权重系数相乘获得第三项；

16、对第一项与第二项进行加权求和，并将加权求和的结果与第三项的差值作为定位可信度。

17、进一步地，所述yolo目标检测网络为yolov5、yolov8或yolox中的一种，其训练数据集包含多种姿态、光照条件及污染程度下的元器件图像样本。

18、进一步地，所述回退处理包括：当所述可信度低于所述预设阈值时，放弃所述精确定位轮廓，将所述初始定向检测框作为最终定位结果输出，并向系统上层发送定位降级提示信息。

19、进一步地，所述方法还包括在所述图像预处理步骤之前执行的图像质量评估步骤：计算所述原始图像的全局对比度与信噪比，当质量指标低于阈值时，对所述原始图像执行直方图均衡化或自适应伽马校正。

20、一种基于图像预处理与yolo识别的元器件定位系统，用于执行上述任一项所述的方法，包括：

21、图像采集模块，用于获取包含元器件的原始图像；

22、图像预处理模块，用于进行灰度归一化、全局底色估计及反差响应图生成；

23、目标检测模块，内置yolo网络，用于提取元器件的初始定向检测框；

24、局部差分模块，用于进行二次底色建模与差分运算，生成目标显著残差图；

25、几何重构模块，用于进行方向约束的边缘拟合与几何重构；

26、可信度评估模块，用于计算定位可信度并执行回退处理决策。

27、进一步地，所述系统还包括交互与输出模块，用于可视化输出最终定位结果，并将元器件的定位参数发送至下游的机械臂控制系统。

28、与现有技术相比，本发明提供的技术方案具有以下有益效果：

29、（一）通过全局与局部结合的“分阶段”底色反演约束，有效抑制伪边界干扰

30、本发明首先通过全局滑动窗口统计，构建出整块电路板的底色估计图，并通过反差响应图将元器件前景从整体背景中初步凸显出来，削弱了全局性的光照不均和底色差异。进一步，在yolo网络给出的初始检测框内，进行“二次”精细化底色建模：仅利用局部区域内的边缘背景样本生成高保真的背景替代图，通过差分运算将局部背景（如丝印、污渍导致的灰度变化）近乎完美地减去，只留下元器件本身的显著残差。通过“全局粗消除、局部细消除”的策略，区别于现有“仅用全局预处理”或“仅在roi内做常规边缘检测”，极大地提高了对复杂背景的抗干扰能力。

31、（二）yolo初定位与方向约束几何重构的协同机制，实现高精度任意角度定位

32、现有yolo等检测网络只能输出轴对齐的边界框，无法精确描述任意旋转角度的元器件。本发明充分利用了yolo输出的初定位框：一方面，利用该框确定需要进行精细处理的局部区域，极大地减少了计算量；另一方面，利用该框内的像素点分布，通过主成分分析（pca）计算出元器件的大致主方向。在该主方向的约束下，对目标显著残差图进行正交方向上的边缘搜索与拟合，使得边缘提取具有明确的“先验方向”，能够有效排除同方向上的干扰点，最终拟合出能够精确贴合元器件真实物理边界的最小外接四边形。该协同机制定位精度可达亚像素级别。

33、（三）引入可信度判定与回退机制，保证了系统整体的鲁棒性

34、本发明的系统根据精定位轮廓与初始检测框的面积变化率、角度变化率以及边缘连续性，构建一个定量的可信度指标。当发现精定位结果畸变过大（例如由于元器件本身严重破损或极端光照导致）时，系统自动执行回退处理，输出鲁棒性更强但精度略低的yolo初始检测框，并发送提示信息。通过“高精度优先，鲁棒性兜底”的设计，确保了整个定位系统在生产线上不会因为个别异常情况而崩溃或输出严重错误的结果，极大提升了实际部署的可靠性。

35、（四）针对废旧电路板场景的特定优化，降低了对数据集的依赖

36、本发明通过大量的图像预处理与后处理逻辑，弥补了纯深度学习方案对海量、高质量标注数据的依赖。即使yolo网络本身在少量、有噪的训练样本上训练，其输出的检测框只要能大致框住元器件，后续的精细化流程便能够通过物理模型驱动的方式，纠正检测框的偏差并精确定位边界。由此，本发明在标注样本有限的工业场景下，也能快速部署并达到相应效果。