一种智能化机器视觉物料识别系统及方法与流程

摘要: 本发明涉及机器视觉与工业自动化,具体为一种智能化机器视觉物料识别系统及方法。背景技术:1、随着工业自动化技术的深入应用,机器人抓取与分拣作业面临的场景日益复杂,...
一种智能化机器视觉物料识别系统及方法与流程

本发明涉及机器视觉与工业自动化,具体为一种智能化机器视觉物料识别系统及方法。

背景技术:

1、随着工业自动化技术的深入应用,机器人抓取与分拣作业面临的场景日益复杂,对非结构化环境中物料识别的精度要求不断提高;目前,常规的物料识别技术通常依赖于刚性匹配算法,即假设待识别目标在空间中保持几何形态不变,通过比对观测数据与标准模板来确定物料位置;然而,实际生产场景中存在大量柔性物料,其在堆叠存放或流转过程中极易发生弯曲、折叠、扭曲等非刚性形变,且物料间往往存在相互遮挡现象;传统算法难以有效表征此类复杂的非线性形变,导致在面对形态多变的柔性对象时,特征匹配偏差大,识别准确率显著下降,系统的鲁棒性无法满足工业现场的需求;

2、因此,如何在非结构化堆叠及非刚性形变环境下实现对柔性物料的高精度、高鲁棒性识别,成为本领域亟需解决的问题。

技术实现思路

1、为解决上述技术问题,本发明提供一种智能化机器视觉物料识别系统及方法,具体而言,本发明的技术方案如下:

2、一种智能化机器视觉物料识别方法,包括:

3、利用多维视觉传感器阵列,采集目标监测区域内非结构化堆叠物料的高分辨率rgb纹理数据与深度点云数据;

4、步骤1,基于rgb纹理数据,通过高斯差分算子提取关键特征点集合;基于关键特征点集合与深度点云数据,构建局部特征拓扑图;利用预设的节点拓扑势能方程,计算节点拓扑势能值;

5、步骤2,将局部特征拓扑图与预设的标准模板库中的参考拓扑图进行子图同构匹配,获取候选匹配子图对;基于节点拓扑势能值与基于深度点云数据计算出的表面法向量,通过结构相似度度量模型计算拓扑结构相似度得分;

6、步骤3,针对候选匹配子图对,利用薄板样条变换模型构建非线性形变场;建立总能量函数并对总能量函数进行最小化求解,获取空间映射函数;基于空间映射函数,计算重投影残差;

7、步骤4,结合重投影残差、拓扑结构相似度得分及特征丢失率,通过置信度决策模型计算最终识别置信度;根据最终识别置信度,生成机器人控制信号。

8、优选的,构建局部特征拓扑图,包括:

9、利用高斯差分算子对rgb纹理数据进行多尺度空间极值检测,提取具备尺度不变性的点集,将点集确定为关键特征点集合;

10、将关键特征点集合映射为无向加权图的图节点;

11、基于深度点云数据,计算图节点之间的点云表面最短路径,将点云表面最短路径确定为测地线距离;

12、利用测地线距离定义图节点之间的连接权重,生成局部特征拓扑图。

13、优选的,计算节点拓扑势能值,包括:

14、获取关键特征点集合中每个特征点在高斯差分算子输出的极值响应幅度的归一化值,将归一化值确定为质量因子;

15、利用k-近邻算法,基于深度点云数据确定每个特征点的邻域节点集合;

16、基于邻域节点集合中各邻域节点的质量因子以及各邻域节点与该特征点之间的测地线距离,叠加计算数值,将数值确定为该特征点的节点拓扑势能值;

17、其中,节点拓扑势能值用于表征特征点在局部邻域内的稳定程度。

18、优选的,计算拓扑结构相似度得分,包括:

19、通过图匹配算法,从候选匹配子图对中提取匹配点对集合;

20、计算匹配点对集合中观测点与参考点之间的节点拓扑势能值的比值,将比值确定为拓扑属性约束;

21、计算匹配点对集合中观测点与参考点处的单位法向量的点积,将点积确定为几何属性约束;

22、基于预设的权重系数,对拓扑属性约束和几何属性约束进行加权组合,生成拓扑结构相似度得分;

23、其中,权重系数依据物料材质的硬度特性进行设定。

24、优选的,利用薄板样条变换模型构建非线性形变场,包括:

25、建立包含数据拟合项与弯曲能量惩罚项的函数,将函数确定为总能量函数;

26、其中,数据拟合项用于表征参考点经空间映射函数变换后与观测点之间的欧氏距离平方和;

27、其中,弯曲能量惩罚项用于利用二阶导数限制空间映射函数的变换剧烈程度;

28、利用预设的物理刚度系数对弯曲能量惩罚项进行加权,平衡数据拟合精度与形变能量。

29、优选的,计算重投影残差,包括:

30、对总能量函数进行最小化求解,获取包含仿射分量与非仿射分量的函数,将函数确定为空间映射函数;

31、利用空间映射函数,将参考特征点投影至观测空间;

32、计算所有投影后的参考特征点与对应观测特征点之间的距离偏差的平方和,将平方和确定为重投影残差。

33、优选的,计算最终识别置信度,包括:

34、确定参考模板中的总特征点数,并统计未匹配到的被遮挡点数;

35、计算被遮挡点数与总特征点数的比值,将比值确定为特征丢失率;

36、利用重投影残差、拓扑结构相似度得分、预设的残差容忍度方差以及特征丢失率,构建基于指数衰减的联合概率模型;

37、通过联合概率模型计算概率值,将概率值确定为最终识别置信度;

38、其中,最终识别置信度随重投影残差增加而衰减,随拓扑结构相似度得分增加而增强。

39、优选的,生成机器人控制信号,包括:

40、响应于最终识别置信度大于预设的决策阈值,生成抓取指令,将抓取指令确定为机器人控制信号,以驱动机器人执行抓取操作;

41、响应于最终识别置信度小于或等于预设的决策阈值,生成报警指令,将报警指令确定为机器人控制信号,以提示人工介入处理。

42、一种智能化机器视觉物料识别系统,包括:

43、数据采集模块,用于利用多维视觉传感器阵列,采集目标监测区域内非结构化堆叠物料的高分辨率rgb纹理数据与深度点云数据;

44、拓扑构建模块,用于基于rgb纹理数据,通过高斯差分算子提取关键特征点集合;基于关键特征点集合与深度点云数据,构建局部特征拓扑图;利用预设的节点拓扑势能方程,计算节点拓扑势能值;

45、相似度度量模块,用于将局部特征拓扑图与预设的标准模板库中的参考拓扑图进行子图同构匹配,获取候选匹配子图对;基于节点拓扑势能值与基于深度点云数据计算出的表面法向量,通过结构相似度度量模型计算拓扑结构相似度得分;

46、形变分析模块,用于针对候选匹配子图对,利用薄板样条变换模型构建非线性形变场;建立总能量函数并对总能量函数进行最小化求解,获取空间映射函数;基于空间映射函数,计算重投影残差;

47、决策控制模块,用于结合重投影残差、拓扑结构相似度得分及特征丢失率,通过置信度决策模型计算最终识别置信度;根据最终识别置信度,生成机器人控制信号。

48、与现有技术相比,本发明具备以下有益效果:

49、1.本发明在构建局部特征拓扑图时,利用深度点云数据计算图节点间的测地线距离,并以此定义连接权重;相较于传统的欧氏距离,测地线距离能够更好地反映物料表面的几何连续性,在物料发生弯曲变形时保持长度不变性;同时,引入节点拓扑势能来表征特征点在局部邻域内的稳定程度,确保了拓扑结构在非刚性形变下的鲁棒性,从而显著提升了对柔性物料的识别能力;

50、2.针对非结构化环境中物料可能发生的折叠、扭曲等复杂形变,本发明采用了薄板样条变换模型构建非线性形变场;通过建立包含数据拟合项与弯曲能量惩罚项的总能量函数,并利用物理刚度系数平衡拟合精度与形变能量,该方法能够获取精确描述物料形变的空间映射函数;这不仅克服了传统刚性匹配算法无法适应非仿射变换的缺陷,还能通过计算重投影残差量化几何一致性,大幅提高了识别算法的准确率;

51、3.本发明融合了rgb纹理数据与深度点云数据,在计算拓扑结构相似度时,创新性地结合了节点拓扑势能差异与表面法向量一致性;这种双重验证机制既考虑了纹理特征在拓扑结构上的分布规律,又校验了空间几何表面的法向特征,有效避免了单一维度特征匹配可能产生的误报,显著增强了在复杂工业场景下的抗干扰能力;

52、4.针对物料堆叠导致的相互遮挡问题,本发明构建了包含重投影残差、拓扑结构相似度得分及特征丢失率的置信度决策模型;通过统计被遮挡点数计算特征丢失率,并结合残差容忍度方差计算最终识别置信度,系统能够自适应地评估识别结果的可靠性;根据置信度自动切换抓取或报警指令,避免了在低置信度下盲目抓取造成的设备损毁或物料破坏,满足了工业现场对自动化作业安全性的严苛要求。