一种条纹反射图像时空关联融合方法及系统

本发明涉及数字图像处理，涉及条纹反射图像处理及跨型号缺陷检测，尤其是一种条纹反射图像时空关联融合方法及系统。

背景技术：

1、镜面或高光表面零件（如抛光金属件、玻璃件、喷涂件等）的表面质量检测中，局部凹坑、凸起、划伤等缺陷会引起表面微观法向的局部变化，从而改变镜面反射所形成的条纹图案（如屏幕上显示的条纹经零件表面反射后在相机中的成像）的局部形态。通过分析反射条纹的局部形态变化，可以实现对表面缺陷的非接触、无损伤检测。

2、现有技术中，为获取同一表面位置在不同条纹状态下的多幅图像，一种做法是固定零件，通过改变屏幕显示图案，使同一位置在不同条纹照明下被相机多次拍摄。这种方式虽然可以获得同一位置的互补条纹信息，但每次改变屏幕图案后需停件并等待系统稳定，增加了生产节拍，难以满足产线高速检测的需求。

3、另一类方案是保持屏幕图案和相机固定，通过输送零件（如传送带、直线模组或转盘），使零件表面依次通过固定的照明和相机的检测范围，从不同输送位置获取反射图像。该方式无需停件等待，节拍优势明显。然而，当采用多相机布置以提供互补观察视场时，同一局部表面区域在不同相机、不同输送位置下，其在图像中的坐标以及对应的反射外观（条纹形态、亮度分布等）均不相同，且随输送距离和观察角度的变化而变化。

4、在上述条件下进行多图像融合时，若仅以相同帧号、相同像素坐标或相似条纹外观作为对应关联依据，容易将不同表面区域的反射图案错误地合并为同一区域的观测，导致检测结果的污染与误判。此外，受相机视场、零件姿态及有效反射范围的限制，图像中不可避免地存在背景区域、遮挡区域以及未形成可用条纹的区域（如反射光线未进入相机或条纹对比度不足的区域），若这些无效区域参与后续的采样与融合，将进一步降低融合结果的质量。

5、对于宏观起伏较小、处于受限工作高度范围内的镜面零件，其检测目标通常以特征块为处理粒度，而非逐点重建。因此，逐型号建立精确的表面几何模型并非此类特征块级处理所必需。真正需要解决的问题在于：在反射外观与有效区域随观察条件显著变化的多幅图像之间，如何利用设备级标定结果（相机内外参、屏幕位置等）以及已知的输送运动信息，建立带有有界误差的候选对应关系，并保证背景、遮挡等无效图像区域不进入采样与融合过程。

技术实现思路

1、为了解决在零件连续输送、显示装置与成像装置固定且条纹静态的采集条件下，同一局部表面区域在不同成像装置及不同采集时刻的图像坐标和反射外观不同、有效反射范围随观察条件变化，导致图像关联错误及无效观察污染融合结果的技术问题，本发明提出一种条纹反射图像时空关联融合方法及系统。

2、本发明解决其技术问题所采用的技术方案是：一种条纹反射图像时空关联融合方法，包括如下步骤：

3、步骤1，获取具有对齐时间信息的多视角反射图像序列；其中，所述多视角反射图像序列由固定设置的至少两个成像装置在待测零件保持朝向沿预定输送路径连续移动的过程中采集，所述反射图像为所述待测零件表面对固定显示装置所显示的静态条纹的反射图像；

4、步骤2，确定各反射图像中的有效条纹反射区域；其中，所述有效条纹反射区域包括能够呈现所述静态条纹反射的亮暗分布的表面成像区域；

5、步骤3，根据预先建立的成像装置与输送参考坐标系之间的设备级标定映射、输送速度及采集时间，建立不同成像装置及不同采集时刻之间的图像位置映射，并根据所述图像位置映射确定同一局部表面区域的候选对应区域；

6、步骤4，以各采集时刻对应的所述有效条纹反射区域约束所述候选对应区域中的特征采样范围，对图像特征进行空间采样，并关联属于所述同一局部表面区域的有效观察特征，形成有效观察特征集合；其中，所述有效观察特征集合包含至少两个成像装置以及至少两个不同输送位置的观察特征；

7、步骤5，对所述有效观察特征集合进行联合融合，得到供缺陷识别与定位使用的融合特征，并根据所述融合特征识别及定位所述待测零件的表面缺陷；其中，所述联合融合在生成缺陷位置之前执行，缺少有效条纹反射支持的观察不作为表面无缺陷的证据参与融合。

8、上述的一种条纹反射图像时空关联融合方法，所述步骤3中设备级标定映射基于各成像装置的内参、外参以及一共用输送参考平面建立；针对表面高度偏离共用输送参考平面处于预设高度范围内的不同待测零件，共用设备级标定映射，并通过候选邻域容纳所述表面高度偏离引起的位置误差，而不针对各待测零件建立精确表面模型。

9、上述的一种条纹反射图像时空关联融合方法，还包括确定所述待测零件的入场参考时刻及初始参考位置；

10、根据预先建立的成像装置与输送参考坐标系之间的设备级标定映射、输送速度及采集时间，建立不同成像装置及不同采集时刻之间的图像位置映射，包括：

11、根据恒定输送速度与采集时刻相对于入场参考时刻的时间差，确定待测零件的输送位移；

12、将输送位移引入共用输送参考平面至各所述成像装置图像平面的映射，建立跨成像装置、跨采集时刻的候选位置关系；其中，所述候选位置关系保留候选位置对应的成像装置编号和输送位移信息。

13、上述的一种条纹反射图像时空关联融合方法，所述候选邻域根据预设高度范围、标定误差及输送位置误差确定；在各候选邻域内，根据有效条纹反射区域筛选采样位置，并将无效位置的特征采样权重设为零；对于候选邻域内有效条纹反射支持程度不足的观察，将该观察标记为缺失观察。

14、上述的一种条纹反射图像时空关联融合方法，所述步骤2中有效条纹反射区域由反射图像的局部条纹方向、局部亮暗周期响应或条纹区域检测结果确定；在形成有效条纹反射区域时，保留反射条纹中的亮条、暗条以及亮暗边界，并通过局部区域连接或孔洞修补保留位于有效条纹反射区域内部的局部条纹畸变，而非仅选取亮条像素或条纹边缘像素。

15、上述的一种条纹反射图像时空关联融合方法，所述步骤4具体为：依据候选对应区域对原图像特征进行空间采样，保留不同成像装置及不同输送位置的观察身份，附加有效性信息后按预定的视角顺序及输送位置顺序堆叠，并通过跨越不同观察对应通道的卷积运算生成融合特征。

16、上述的一种条纹反射图像时空关联融合方法，所述步骤5中融合特征生成具体为：以同一局部表面区域的参考特征或参考查询向量形成查询，以同一局部表面区域的候选对应区域内有效采样位置的特征形成键和值；其中，无效条纹区域的采样位置从注意力归一化范围中排除；

17、根据所述查询与所述键计算注意力权重，并利用所述注意力权重聚合所述值，得到所述融合特征。

18、上述的一种条纹反射图像时空关联融合方法，所述方法还包括：针对各所述局部表面区域记录有效观察的成像装置数量及不同输送位置数量；

19、在不满足预设有效覆盖条件时，输出覆盖不足标识；在满足所述预设有效覆盖条件时，输出缺陷结果；其中，所述缺陷结果中的缺陷位置采用参考图像坐标、输送参考平面坐标或零件区域索引表示。

20、一种条纹反射图像时空关联融合系统，基于上述的一种条纹反射图像时空关联融合方法，包括控制处理装置、输送装置、固定显示装置及至少两个固定成像装置；所述输送装置用于使待测零件在保持朝向的条件下连续移动，所述固定显示装置用于在采集期间显示静态条纹，所述固定成像装置用于采集待测零件表面的条纹反射图像；所述控制处理装置用于对齐采集时间，确定各图像的有效条纹反射区域，根据设备级标定映射、输送速度及采集时间建立跨相机、跨时刻的图像位置映射和候选对应区域，以所述有效条纹反射区域约束候选区域中的特征空间采样，将同一局部表面区域的至少两个成像装置及至少两个不同输送位置的有效观察特征进行联合融合，并根据融合特征完成缺陷识别与定位。

21、上述的一种条纹反射图像时空关联融合系统，还包括限定零件朝向及入场位置范围的导向或承载结构、产生入场参考时间信息的触发装置，以及用于降低环境光干扰的遮光结构；所述控制处理装置存储供处于预设高度范围内的不同零件共用的参考平面标定映射，并对超出所述高度范围、姿态范围或有效观察覆盖范围的检测任务输出适用性或覆盖不足标识。

22、本发明的有益效果是，通过设备级标定映射与输送速度、采集时间相结合建立跨成像装置、跨采集时刻的图像位置映射，并以候选对应区域的形式容纳有界误差，本发明在零件不停件连续输送的条件下正确建立了同一局部表面区域的时空关联，解决了按相同帧号或相同像素坐标关联导致的错误区域合并问题。通过以各采集时刻的有效条纹反射区域约束候选对应区域中的特征采样范围，并将缺少有效条纹反射支持的观察排除在融合证据之外，本发明从采样与判定两个层面阻断了背景、遮挡及未形成可用条纹区域对融合结果的污染，避免了将无效观察误认为正常表面。

23、通过对包含至少两个成像装置及至少两个不同输送位置的有效观察特征集合进行缺陷输出前的联合融合，本发明充分利用了不同视角、不同条纹反射状态下的互补观察信息，有助于提高镜面零件表面缺陷识别与定位的准确性，同时因无需停件及稳定等待而保持了生产节拍。针对处于预设高度范围内的低起伏零件，共用输送参考平面的设备级标定与候选邻域的配合，使设备级标定得以在不同零件间复用，免除了逐型号精确表面建模的成本，实现了允许预设误差的区域级候选关联。