一种基于X射线与机器视觉多模态融合的食品异物检测方法与流程

本发明涉及食品异物检测领域，具体涉及一种基于x射线与机器视觉多模态融合的食品异物检测方法。

背景技术：

1、在食品加工与自动化生产领域，异物检测是保障食品安全和提升产品质量的关键环节。随着生产线速度的提升以及食品包装形态的复杂化，对异物检测设备的准确度与鲁棒性提出了更高的要求。

2、在异物检测手段上，当前主要采用x射线检测方法，其原理是依靠密度差成像。具体的表现为：当异物密度比产品高时，其在x射线图像上的灰度暗，从而能被检测到，这种单一模态的检测方式在面对金属、玻璃、高密度骨骼等硬质异物时具有良好的检测效果。然而，在实际生产中，这种方式对软塑料（pe/pp）、橡胶密封圈碎屑、木屑、软骨、生物组织碎片等低密度异物检测的漏检率较高，由于这些物质的密度和食品背景比较接近，导致在x射线图像上的灰度差较小，异物特征往往淹没在食品纹理或复杂背景造成的灰度梯度噪声中，进而引发严重漏检。

3、为了克服单模态x射线的固有缺陷，现有方法通过引入机器视觉技术以捕捉低密度异物的特征。然而，现有的多模态融合方案在应对高速流水线的复杂工况时，存在以下问题：

4、首先，x射线成像本质上是光源到探测器的锥形束透射投影，而机器视觉是平面的表面反射捕捉，两者在光学几何上存在视差，同时，在高速运动的流水线上，非刚性的食品（如散装生鲜肉类、软包装食品）极易发生微小的粘弹性形变和位移，现有的多模态融合算法大多基于像素级或边界框的刚性绝对对齐逻辑，当同一异物的特征坐标在两路图像中发生漂移而无法重合时，系统往往会判定为非同一目标，导致原本可能互补的有效特征在融合计算中相互抵消。

5、其次，现有多模态系统多采用固定的置信度加权比例，针对低密度异物，其x射线端的信噪比极低甚至完全处于噪声级，在此工况下，静态融合权重会导致x射线的强背景噪声直接稀释掉视觉端提取的有效纹理特征，使得多模态系统在面对低密度材料时，其检测灵敏度反而不如单一的视觉检测。

6、同时，现有的自动化分拣系统普遍采用“剔除或放过”的二元决策，由于低密度异物特征极其微弱，算法输出的置信概率往往在剔除阈值附近震荡，若为降低漏检率而调低阈值，流水线上的光照波动或正常水渍反射便会导致大量合格产品被误剔除，若为保产量调高阈值，则会过多放过低密度异物。

技术实现思路

1、为了解决如何在目标异物特征微弱且异构模态间存在非刚性形变的复杂工况下，实现多模态信号的有效融合，从而防止有效特征在融合过程中被相互抵消或被背景噪声稀释导致食品异物漏检或误检的技术问题，本发明的目的在于提供一种基于x射线与机器视觉多模态融合的食品异物检测方法，所采用的技术方案具体如下：

2、本发明提出了一种基于x射线与机器视觉多模态融合的食品异物检测方法，所述方法包括：

3、同步采集待测食品的视觉图像和x射线图像，并对两路图像进行空间映射对齐；

4、分别从对齐后的所述视觉图像和所述x射线图像中提取异常区域，生成视觉候选框及其视觉置信度，以及生成密度候选框及其x射线置信度；

5、对所述视觉候选框和所述密度候选框进行膨胀匹配，并计算膨胀重合度，进而归类得到匹配成功框对、孤立视觉框和孤立密度框；

6、针对所述匹配成功框对，计算密度候选框的局部信号背景比；基于所述局部信号背景比分配x射线分支和视觉分支的权重分配系数，并对所述视觉置信度和所述x射线置信度进行加权融合，并结合所述膨胀重合度计算匹配成功框对所对应区域的最终置信度；分别基于预设的模态信任衰减系数和模态保留系数，计算所述孤立视觉框和所述孤立密度框所对应区域的最终置信度；

7、基于各区域的最终置信度所处的阈值区间，执行三档决策。

8、进一步地，所述对两路图像进行空间映射对齐包括：

9、利用包含黑白棋盘格及嵌于方格中心的铅珠的双模态标定板，分别提取视觉图像中的角点坐标集合与x射线图像中的铅珠中心坐标集合；

10、以x射线图像坐标系为全局基准坐标系，通过最小二乘法求解由两路坐标集合点对构成的仿射变换矩阵，并利用所述仿射变换矩阵对实时采集的视觉图像进行空间对齐。

11、进一步地，所述生成视觉候选框及其视觉置信度包括：

12、利用梯度算子提取视觉图像中每个像素点的梯度幅值;

13、利用灰度共生矩阵计算以每个像素点为中心的局部窗口的纹理对比度，作为每个像素点的局部纹理对比度，并计算视觉图像正常背景的局部纹理对比度的均值。

14、将局部纹理对比度超过正常背景的局部纹理对比度的均值的预设倍数的像素点，标记为视觉异常点，经连通域分析并取最小外接矩阵，生成多个视觉候选框；

15、从数值1、视觉候选框中所有像素点的梯度幅值的平均值和视觉梯度显著性阈值的比值这二者中，选取最小值，作为视觉候选框的视觉置信度。

16、进一步地，所述生成密度候选框及其x射线置信度包括：

17、计算每个像素点以自身为中心的邻域窗口经过邻域平滑滤波后的背景灰度值，并计算每个像素点的灰度相对衰减率，所述灰度相对衰减率等于背景灰度值与所述像素点的灰度值之差，除以所述背景灰度值；

18、将所述灰度相对衰减率大于零的像素点标记为密度异常点，经连通域分析并取最小外接矩形，生成多个密度候选框；

19、所述x射线置信度等于数值1减去自然常数的幂，所述自然常数的幂的指数为负的密度敏感系数与每个密度候选框中所有像素点的所述灰度相对衰减率的平均值的乘积。

20、进一步地，所述计算膨胀重合度，进而归类得到匹配成功框对、孤立视觉框和孤立密度框包括：

21、分别利用预设宽度容差系数和预设高度容差系数，对视觉候选框和密度候选框的宽度和高度进行膨胀，其中预设高度容差系数大于预设宽度容差系数；

22、将膨胀后的每个视觉候选框和每个密度候选框之间的交集面积与并集面积的比值，作为两两候选框之间的膨胀重合度；

23、若所述膨胀重合度大于或等于重合阈值，则将对应的视觉候选框和密度候选框标记为匹配成功框对；若所述膨胀重合度小于重合阈值，则将对应的视觉候选框标记为孤立视觉框，以及将对应的密度候选框标记为孤立密度框。

24、进一步地，所述计算密度候选框的局部信号背景比包括：

25、在所述x射线图像中，将匹配成功框对中的密度候选框向外均匀膨胀预设数量的像素点，形成背景感知环；

26、分别计算所述密度候选框内部所有像素点的灰度均值，以及所述背景感知环内所有像素点的灰度均值和灰度方差；

27、所述局部信号背景比等于所述密度候选框的灰度均值与所述背景感知环的灰度均值之差，除以所述背景感知环的灰度方差与预设调节参数之和。

28、进一步地，所述基于所述局部信号背景比分配x射线分支和视觉分支的权重分配系数包括：

29、将所述局部信号背景比与信噪比阈值的差值乘以曲线平滑系数的结果经过sigmoid函数映射后，乘以基础最高权重与基础最低权重的差值，然后加上基础最低权重，获得x射线分支在密度候选框的权重分配系数；

30、所述视觉分支在视觉候选框的权重分配系数等于数值1减去所述x射线分支在密度候选框的权重分配系数。

31、进一步地，所述计算匹配成功框对所对应区域的最终置信度包括：

32、利用x射线分支在密度候选框的权重分配系数和视觉分支在视觉候选框的权重分配系数，分别对所述x射线置信度和所述视觉置信度进行加权求和，得到匹配成功框对所对应区域的基础融合置信度；

33、匹配成功框对所对应区域的最终置信度等于所述基础融合置信度，加上奖励增益系数、所述膨胀重合度、数值1与所述基础融合置信度的差值这三者的乘积。

34、进一步地，所述计算所述孤立视觉框和所述孤立密度框所对应区域的最终置信度包括：

35、将孤立视觉框的视觉置信度乘以预设的视觉模态信任衰减系数，得到孤立视觉框对应区域的最终置信度；

36、将孤立密度框的x射线置信度乘以预设的x射线模态保留系数，得到孤立密度框对应区域的最终置信度。

37、进一步地，所述基于各区域的最终置信度所处的阈值区间，执行三档决策包括：

38、预先设定低位放过阈值和高位剔除阈值，其中，所述低位放过阈值小于所述高位剔除阈值；

39、当所述最终置信度大于或等于所述高位剔除阈值时，输出剔除指令；

40、当所述最终置信度小于所述低位放过阈值时，输出放过指令；

41、当所述最终置信度大于或等于所述低位放过阈值，且小于所述高位剔除阈值时，输出复检指令。

42、本发明具有如下有益效果：

43、1.现有技术主要采用x射线检测方法，其原理是依靠密度差成像，这会导致低密度异物检测的漏检率较高，本发明通过两路信号分别量化置信度并引入动态权重机制，当x射线遭遇极低信噪比工况时，系统能够自动倾斜权重，依托机器视觉识别低密度异物的轮廓纹理特征，这一机制成功弥补了x射线成像灰度差不足的缺陷，防止了微弱的异物特征被复杂背景噪声稀释，从而实现了多模态信息互补，有效降低低密度异物的漏检率。

44、2.针对传统多模态融合技术在高速流水线上因视觉物理视差和食品非刚性形变导致的有效特征在融合过程中被相互抵消的问题，本发明引入了iou重叠奖励机制，该机制打破了传统多模态融合必须进行像素级绝对刚性对齐的约束，允许两路信号在空间上存在合理的形变容差，只要异物特征在弹性空间内发生重叠，系统不仅不会相互抵消置信度，反而会给予置信度奖励，从而在复杂工况下保障了多模态信息互补机制的有效运转。

45、3.针对低密度材料在信噪比低时容易引发置信度在“剔除或放过”临界点剧烈震荡，进而导致较高误废率的问题，本发明摒弃了传统的二元判决，设置了三档决策（剔除/复检/放过）机制，该机制为处于模糊边界的低置信度样本提供了一个容错缓冲区（复检档位），既避免了为了保漏检率而盲目调低阈值引发的产线高损耗，又杜绝了为了保良率而直接放过可疑异物的风险，提升了整体异物检测的准确度。