一种基于机器视觉的花生智能分拣方法及系统与流程

摘要: 本技术属于计算机视觉,具体为一种基于机器视觉的花生智能分拣方法及系统。背景技术:1、花生作为重要的油料与经济作物,其加工品质直接关系到食用安全与市场价值,分拣环...
一种基于机器视觉的花生智能分拣方法及系统与流程

本技术属于计算机视觉,具体为一种基于机器视觉的花生智能分拣方法及系统。

背景技术:

1、花生作为重要的油料与经济作物,其加工品质直接关系到食用安全与市场价值,分拣环节是保障花生品质的关键工序。花生表面的霉变斑点、破损裂纹等缺陷往往随机分布于花生本体的不同侧面,是分拣时需要重点识别与剔除的对象。

2、在现有技术中,花生的自动化缺陷检测通常采用单一固定角度的相机采集图像,再对采集到的二维图像进行阈值分割与特征提取以识别缺陷区域。由于花生为不规则的三维物体,且在传送带上以随机姿态高速运动,单视角采集只能捕获花生朝向相机一侧的表面信息;当缺陷恰好位于相机视野之外的背面或侧面时,系统无法从缺失的数据中还原真实表面状况,从而将存在缺陷的花生误判为合格品并放行。

3、因此,上述现有技术存在因视觉盲区导致的漏检问题,难以在花生高速运动且姿态随机的条件下实现对其全表面的无死角缺陷检测,有必要提出一种新的基于机器视觉的花生智能分拣方法及系统,以消除视觉盲区并提升缺陷检测的完整性与准确性。

技术实现思路

1、针对以上问题,本技术提供一种基于机器视觉的花生智能分拣方法及系统,用于解决现有技术存在因视觉盲区导致的漏检问题。

2、为实现上述目的,本技术采用的技术方案是:

3、根据本技术的第一方面,提供一种基于机器视觉的花生智能分拣方法,包括:

4、s1:从线阵相机获取传送带上滚动花生连续帧图像,根据相邻帧位置偏移计算滚动的角速度,当角速度波动小于稳定性阈值时提取覆盖不同侧面多帧图像,得到原始图像序列;

5、s2:对所述原始图像序列逐帧自适应阈值分割分离花生本体与背景,经形态学闭运算填充空洞得到掩模图像,提取边缘轮廓坐标点集合;

6、s3:对所述边缘轮廓坐标点集合采用曲率尺度空间算法提取特征点,计算相邻帧的特征点空间对应关系,当匹配精度与覆盖率达标时启动点云配准,得到特征点对;

7、s4:根据特征点对建立相邻帧空间变换矩阵,采用迭代最近点算法确定累积传播抑制参数,依据累积传播抑制参数加权融合多帧深度重建三维表面模型;

8、s5:采用圆柱投影展开所述三维表面模型,使圆柱轴向与花生长轴对齐并调整投影半径使纹理偏离角最小,得到消除视觉盲区全景展开图像;

9、s6:对所述全景展开图像局部直方图均衡化,提取灰度局部方差特征,通过卷积神经网络识别局部方差异常区域,确定边界像素坐标;

10、s7:根据所述边界像素坐标计算缺陷区域像素面积与内部平均灰度值,当缺陷区域像素面积大于面积阈值且内部平均灰度值低于灰度基准值预设倍数时,判定花生霉变缺陷并生成气动推杆剔除指令。

11、优选地,所述s1包括:对所述连续帧图像进行灰度化处理后采用连通域分析提取花生区域,以相邻帧花生区域质心的位置偏移量确定滚动的角速度;

12、计算预设时间段内连续多帧角速度的方差作为角速度波动值,当所述角速度波动值小于稳定性阈值时,判定花生处于匀速滚动状态并提取该时间段内覆盖花生不同侧面的多帧图像。

13、优选地,所述s2包括:提取所述原始图像序列中图像帧的单通道灰度图,采用局部自适应阈值分割确定区分前景与背景的分割值并进行二值化,分离出传送带背景区与花生本体区;

14、对花生本体区采用椭圆形结构元素进行形态学闭运算,将花生表面凹陷处的内部空洞点像素值由零修改为非零,得到边界连续的花生掩模图;对所述花生掩模图进行边缘追踪,逐像素记录外围边缘线得到所述坐标点集合。

15、优选地,所述s3包括:采用曲率尺度空间算法对所述坐标点集合进行多尺度平滑并计算各点曲率值得到特征点集合,计算相邻特征点之间的曲率变化梯度,当曲率变化梯度超过梯度阈值时标记对应特征点为拐点;

16、计算相邻两帧图像中拐点之间的空间距离以确定空间对应关系及匹配精度,当匹配精度高于匹配阈值且相邻两帧图像的重叠区域覆盖率达到预设覆盖率要求时,启动所述点云配准。

17、优选地,所述s4包括:根据配准的特征点对采用奇异值分解计算旋转矩阵与平移向量以构建所述空间变换矩阵;

18、在迭代最近点算法逐帧配准过程中,当相邻帧间的配准误差超过预设误差时动态减小所述累积传播抑制参数以降低历史帧权重,抑制配准误差随帧数增加而发散;

19、根据相机视线与花生表面法向量的夹角余弦值确定融合权重,依据所述融合权重与累积传播抑制参数加权融合多帧深度信息,重建网格拓扑连续的花生三维表面模型。

20、优选地,所述加权融合多帧深度信息包括:计算每一帧的融合权重,所述融合权重与当前帧相机视线方向与花生表面法向量之间的夹角余弦值成正比,并对所有帧的余弦值进行归一化处理,使各帧权重之和为1;

21、所述累积传播抑制参数在迭代最近点算法的逐帧配准过程中,当相邻帧间的配准误差超过预设误差时,将所述累积传播抑制参数减小,以降低历史帧深度信息对当前帧重建的贡献比例,从而抑制配准误差的累积传播。

22、优选地,所述s5包括:采用主成分分析算法对所述三维表面模型的顶点坐标计算协方差矩阵,以最大特征值对应的特征向量作为花生长轴方向,将圆柱投影的圆柱轴向与所述花生长轴方向对齐;

23、在预设半径区间内迭代调整投影半径,每次迭代计算展开图像中纹理方向相对花生长轴的偏离角,当所述偏离角收敛至极小值时锁定投影半径,并对展开映射产生的像素空洞进行插值填补,得到所述全景展开图像。

24、优选地,所述s6包括:采用对比度受限的自适应直方图均衡化处理所述全景展开图像得到对比度增强图像,在所述对比度增强图像上以滑动窗口逐像素计算窗口内灰度值的方差得到局部方差矩阵;

25、将所述局部方差矩阵输入卷积神经网络模型,输出各像素属于异常区域的概率,当概率超过概率阈值时判定为局部方差异常区域;

26、对所述局部方差异常区域采用边缘检测算子提取边界像素坐标,并根据边界的周长与面积计算形态复杂度参数。

27、优选地,所述s7包括:根据所述边界像素坐标对闭合轮廓进行积分运算得到缺陷区域的像素面积,并提取缺陷区域的最小外接矩形得到长宽比例特征;

28、沿缺陷区域长轴等距采样提取内部灰度的空间连续性分布曲线,将缺陷边界向外扩张预设像素形成环形区域并统计其像素均值作为周围正常区域的灰度基准值;

29、当所述像素面积大于面积阈值且缺陷内部平均灰度值低于所述灰度基准值的预设倍数时,判定花生存在表面霉变缺陷,并根据花生质心坐标与传送带运行速度计算到达时间后向执行机构输出气动推杆剔除指令。

30、根据本技术的第二方面,提供一种基于机器视觉的花生智能分拣系统,包括线阵相机、图像处理设备与气动推杆执行机构,所述图像处理设备包括:

31、图像序列获取模块,被配置为从线阵相机获取滚动花生连续帧图像,根据相邻帧偏移计算转动角速度,当角速度波动小于稳定性阈值时提取覆盖不同侧面多帧图像得到图像序列;

32、分割与轮廓提取模块,被配置为对所述图像序列逐帧自适应阈值分割,经形态学闭运算填充空洞得到掩模图像,提取边缘轮廓坐标点集合;

33、特征配准启动模块,被配置为对所述坐标点集合以曲率尺度空间算法提取特征点并计算相邻帧对应关系,当匹配精度与覆盖率达标时启动配准;

34、三维表面重建模块,被配置为建立相邻帧变换矩阵,以迭代最近点算法确定累积传播抑制参数并加权融合多帧深度重建三维表面模型;

35、圆柱投影展开模块,被配置为以圆柱投影展开三维表面模型,使圆柱轴向与长轴对齐并调整投影半径使纹理偏离角最小,得到消除盲区的全景展开图像;

36、局部方差异常识别模块,被配置为对所述全景展开图像局部直方图均衡化,提取灰度局部方差特征,以卷积神经网络识别异常区域并确定边界坐标;

37、缺陷判定与剔除模块,被配置为根据所述边界坐标计算缺陷区域像素面积与内部平均灰度值,当面积大于面积阈值且该灰度值低于基准值预设倍数时判定霉变并生成气动推杆剔除指令。

38、根据本技术的一个实施例,采用本基于机器视觉的花生智能分拣方法的有益效果在于:

39、通过对滚动花生连续帧图像进行三维表面重建与圆柱投影全景展开,将分布于花生不同侧面的表面信息映射到同一幅全景展开图像中,消除了单视角采集的视觉盲区,使背面与侧面的霉变缺陷同样可被检测;

40、在角速度波动小于稳定性阈值的匀速滚动时段提取多帧图像,保证了多帧图像对花生表面的完整覆盖与帧间配准的可靠性;

41、采用迭代最近点算法确定累积传播抑制参数并据此加权融合多帧深度,抑制了配准误差随帧数增加而发散,提高了三维表面模型的拓扑连续性;

42、基于局部方差特征与卷积神经网络的模式识别,结合缺陷区域的像素面积与内部平均灰度值进行判定,提高了霉变缺陷识别的准确性并据此生成气动推杆剔除指令实现自动分拣。