面向透明瓶装液体的异物与液位智能视觉检测方法、系统与流程

摘要: 本技术涉及图像处理,具体为一种面向透明瓶装液体的异物与液位智能视觉检测方法及系统。背景技术:1、透明瓶装液体广泛应用于食品、饮料、药品及日化产品等领域,灌装完成...
面向透明瓶装液体的异物与液位智能视觉检测方法、系统与流程

本技术涉及图像处理,具体为一种面向透明瓶装液体的异物与液位智能视觉检测方法及系统。

背景技术:

1、透明瓶装液体广泛应用于食品、饮料、药品及日化产品等领域,灌装完成后,通常需要对瓶内玻璃屑、金属屑、纤维等异物以及液位是否符合灌装要求进行在线检测,现有检测方式多采用人工灯检或基于单相机、单一照明条件的机器视觉检测。人工灯检受人员经验、疲劳程度及检测节拍影响,难以长期保持稳定;常规视觉检测则主要依据灰度、形状或帧间变化识别目标。

2、由于透明瓶体存在曲面折射、瓶壁纹理、划痕和局部反光,且液体中气泡与部分异物在图像中的尺寸、亮度及运动状态相近,容易产生误检,对于沉积于瓶底、附着于瓶壁或运动幅度较小的异物,仅依赖运动信息也容易漏检,另一方面,瓶体旋转或输送过程中液面会发生晃动和倾斜,瓶体姿态变化、弯月面及气泡均会影响液面边缘提取,采用单视角像素高度估算液位时,难以准确反映实际灌装高度。现有方案还常将异物检测与液位检测分别处理,缺少对目标类别、空间位置和检测置信度的统一复核,难以兼顾检测精度、稳定性和生产线实时性。

技术实现思路

1、本技术的目的在于提供一种面向透明瓶装液体的异物与液位智能视觉检测方法及系统,以解决上述背景技术中提出的问题。

2、根据本技术一方面,提供了一种面向透明瓶装液体的异物与液位智能视觉检测方法,包括如下步骤:

3、采集瓶体背光图像,根据瓶体轮廓和液面候选边缘确定初始液体区域;对瓶体旋转并制动,制动后采集动态图像序列、角度响应图像组、光谱图像组和同步多视角图像组;

4、由动态图像序列生成候选区域,将候选区域与角度响应图像组和光谱图像组的对应区域关联为目标记录,提取运动特征、多角度光强响应特征和光谱特征,将目标记录划分为动态异物、气泡、成像干扰或待复核目标,并舍弃成像干扰;

5、根据初始液体区域和光谱图像组生成光谱差异图,以光谱差异图的异常点和待复核目标对应位置为种子点执行形态学重建,获得静态异物候选区域;

6、在同步多视角图像组中排除动态异物、气泡和静态异物候选区域的图像区域后,估计瓶体姿态并拟合液面平面,获得最终等效液位和最终液体区域;

7、根据最终液体区域复核动态异物和静态异物候选区域的位置,结合最终等效液位生成综合判定结果。

8、优选地,所述确定初始液体区域包括:校正所述瓶体背光图像,提取瓶体左右轮廓和瓶底轮廓,以左右轮廓中点形成瓶体投影轴线,以瓶底轮廓形成高度零点;在瓶体内部区域提取纵向灰度梯度,将横向连续且梯度方向一致的像素形成候选边缘,根据候选边缘与预设灌装区域的距离、横向连续性及其与两侧瓶壁交点的一致性确定所述液面候选边缘;围绕所述液面候选边缘建立具有标定安全余量的初始液位范围,将初始液位范围下方且位于瓶壁内边界以内的区域确定为所述初始液体区域。

9、优选地,所述动态图像序列、角度响应图像组、光谱图像组和同步多视角图像组按照动态观察段、角度响应段、光谱增强段和液位精测段依次采集;动态观察段在固定照明条件下按固定帧间隔采集图像,角度响应段在每次曝光时单独开启一个侧向频闪光源,光谱增强段分别在可见光照明和近红外光照明下采集同一视角的成对图像,液位精测段以同一触发信号采集多个视角的同步图像;每幅图像关联采集时刻、相机标识、照明方向和光谱波段。

10、优选地,所述生成候选区域并关联为目标记录包括:以瓶体轮廓建立瓶型坐标,对动态图像序列进行畸变校正和瓶型坐标归一化,分别计算当前图像与预先建立的对应背景图像的背景差异以及相邻图像的帧间差异,在初始液体区域内合并两类差异区域并执行连通域处理,形成候选区域;根据预测位置、区域重叠、面积变化和灰度相似度关联相邻时刻的候选区域,根据采集时刻、瓶型坐标、区域重叠和极线约束,将角度响应图像组及光谱图像组中的对应区域并入同一目标记录。

11、优选地,所述运动特征包括由目标记录中相邻时刻的中心坐标获得的速度、纵向速度符号保持率、速度衰减率、轨迹曲率和轨迹持续时间;所述多角度光强响应特征通过分别计算各照明方向下目标区域与其背景环带的归一化灰度差异并按照照明方向排列获得;所述光谱特征通过对配准后的可见光图像和近红外光图像分别计算目标区域的归一化平均灰度、灰度方差及其相对背景的对比度获得。

12、优选地,将目标记录中的感兴趣区域图像、所述运动特征、所述多角度光强响应特征和所述光谱特征输入多分支时序特征融合模型;所述多分支时序特征融合模型包括图像编码分支、运动序列分支、物理响应分支、特征融合层和分类输出层;图像编码分支依次连接卷积层、四个残差卷积模块、全局平均池化层和门控循环单元,并接收所述感兴趣区域图像;运动序列分支包括两层门控循环单元,并接收所述运动特征;物理响应分支包括两层全连接层,并接收所述多角度光强响应特征和所述光谱特征;三个分支的输出在特征融合层连接,并经分类输出层生成气泡概率、异物概率和成像干扰概率。

13、优选地,所述生成光谱差异图并执行形态学重建包括:对光谱图像组中的可见光图像和近红外光图像进行畸变校正、瓶型坐标对准和亚像素配准;将近红外光图像背景灰度中位数与可见光图像同一背景区域灰度中位数之比确定为背景比例系数,以近红外光图像减去背景比例系数与可见光图像的乘积,得到有符号光谱差异图,并对有符号光谱差异图取绝对值得到所述光谱差异图;根据光谱差异图在初始液体区域内的灰度中位数、中位绝对偏差和经标定确定的阈值系数确定异常点,将异常点和待复核目标对应位置设置为种子点,以光谱差异图作为掩模图像,迭代执行灰度膨胀并逐像素取膨胀结果与掩模图像的最小值,直至相邻两次迭代结果一致。

14、优选地,从同步多视角图像组中确定液位精测图像组,包括:获取初始液体区域上边界附近的纵向光流绝对值中位数、液面候选边缘位置变化量和气泡区域占比,分别以对应标定尺度归一化,并按照各自标定方差的倒数归一化加权,得到液面运动量;在液面运动量连续达到预设帧数且低于稳定阈值时,选择最早满足条件的同步多视角图像作为液位精测图像组;在最大检测周期内未满足所述条件时,选择液面运动量最小的连续同步多视角图像作为液位精测图像组,并生成低置信度标记。

15、优选地,所述估计瓶体姿态并拟合液面平面包括:从液位精测图像组的各视角图像提取瓶体外轮廓、瓶底轮廓和瓶肩轮廓,将预先建立的瓶型几何模型投影至各视角图像,并以各视角共享的空间姿态参数调整投影轮廓,获得瓶体姿态;在初始液体区域上边界附近排除动态异物、气泡和静态异物候选区域后提取液面特征点,按照极线约束、局部灰度描述和瓶型坐标高度匹配不同视角的液面特征点并进行三角测量;将测得的三维液面点转换至瓶体坐标系,拟合液面平面,并联合调整瓶体姿态参数和液面平面参数;将液面平面与瓶体中心轴线的交点高度确定为最终等效液位,将液面平面投影至各视角图像后位于瓶壁内边界以内且处于液面平面投影线下方的区域确定为最终液体区域。

16、本技术另一方面,还提供一种面向透明瓶装液体的异物与液位智能视觉检测系统,包括:

17、多源图像采集模块,用于采集瓶体背光图像,根据瓶体轮廓和液面候选边缘确定初始液体区域;对瓶体旋转并制动,制动后采集动态图像序列、角度响应图像组、光谱图像组和同步多视角图像组;

18、动态目标识别模块,用于由动态图像序列生成候选区域,将候选区域与角度响应图像组和光谱图像组的对应区域关联为目标记录,提取运动特征、多角度光强响应特征和光谱特征,将目标记录划分为动态异物、气泡、成像干扰或待复核目标,并舍弃成像干扰;

19、静态异物检测模块,用于根据初始液体区域和光谱图像组生成光谱差异图,以光谱差异图的异常点和待复核目标对应位置为种子点执行形态学重建,获得静态异物候选区域;

20、液位确定模块,用于在同步多视角图像组中排除动态异物、气泡和静态异物候选区域的图像区域后,估计瓶体姿态并拟合液面平面,获得最终等效液位和最终液体区域;

21、综合判定模块,用于根据最终液体区域复核动态异物和静态异物候选区域的位置,结合最终等效液位生成综合判定结果。

22、本技术另一方面还提供了一种电子设备,该电子设备包括:至少一个处理器;以及与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行如上所述的面向透明瓶装液体的异物与液位智能视觉检测方法。

23、本技术的另一方面,提供一种存储介质,其上存储有计算机程序指令,所述计算机程序指令可被处理器执行以实现如上所述的面向透明瓶装液体的异物与液位智能视觉检测方法。

24、本技术的另一方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现的如上所述的面向透明瓶装液体的异物与液位智能视觉检测方法。

25、本技术通过对瓶体旋转制动后的动态图像、不同照明方向图像、可见光与近红外图像以及同步多视角图像进行关联处理,使同一待检目标的运动状态、光强响应和光谱差异能够在统一目标记录中综合分析,从而降低气泡、瓶壁纹理、划痕及局部反光对异物识别结果的干扰。基于光谱差异图和形态学重建对静止、附着或运动不明显的低对比度异物进行补充检测,可减少仅依赖帧间变化造成的漏检;液位检测过程中,在排除已识别异物和气泡区域后,根据瓶体姿态及多视角液面特征拟合液面平面,并以瓶体中心轴线上的交点高度确定等效液位,可减小瓶体偏移、液面倾斜和晃动对测量结果的影响。最终利用液体区域对异物位置进行复核,使异物判定与液位判定采用一致的瓶体坐标基准,有利于提高透明瓶装液体在线检测的准确性和稳定性。