基于图像识别的柔性抓取自适应分拣方法及系统与流程

本发明涉及智能制造与高端装备，更具体地说，它涉及基于图像识别的柔性抓取自适应分拣方法及系统。

背景技术：

1、在现有的针对透明及高反光脆性目标（如玻璃试管、塑封果蔬等）的自动化分拣场景中，主要存在以下技术缺陷：首先，高照度流水线环境极易导致视觉传感器产生高光假轮廓与深度点云空洞，造成目标三维空间定位失效与特征提取偏差；其次，现有末端执行器缺乏融合材质先验的安全受力推断机制，且难以克服柔性气动材料自身的非线性膨胀迟滞与静摩擦干扰，导致接触瞬间力控失稳，极易直接压碎目标；最后，多协作机械臂在流水线高速调度与急停时会引入强烈的环境震荡与机械冲击，现有控制方法缺乏基于目标抗压物理极限的全局安全速度约束，以及基于动态接触力的末端阻抗自适应补偿，极易在高速搬运过程中造成脆性目标的二次破损，严重制约了无损分拣的成功率与系统可靠性。

2、由此，本发明提供了基于图像识别的柔性抓取自适应分拣方法及系统，改善了上述技术问题。

技术实现思路

1、本公开实施例旨在针对现有技术的不足，提供基于图像识别的柔性抓取自适应分拣方法及系统，本发明采用硬件级视觉抗扰定位与多模态安全受力推断，结合静力学电-气分配、触觉闭环降噪及末端阻抗自适应补偿技术，实现了复杂流水线环境下对透明及高反光脆性目标的精准定位与全程自适应无损分拣。

2、为实现上述目的，本公开实施例提出以下技术方案：

3、第一方面，本公开实施例提出基于图像识别的柔性抓取自适应分拣方法，应用于包含rgb-d深度相机、多台六自由度协作机械臂及刚柔耦合气动夹爪的自动化流水线，包括以下步骤：

4、步骤s1，基于反射掩码抑制的抗干扰二维特征提取：通过边缘计算节点调用预置的抗反射空间滤波算子对多尺度视觉特征张量进行高光抑制生成抗反射掩码矩阵，结合初始分类置信度矩阵得到真实分类置信度矩阵，提取连通区域内的有效特征像素齐次坐标列向量及归一化真实置信度权重；

5、步骤s2，基于相机内参转换的三维物理坐标共线还原：通过空间解析协处理器基于有效点云生成物理旋转矩阵并拟合出局部物理接触法向单位向量，提取目标等效半径，且基于光学共线约束原理，以所述归一化真实置信度权重为惩罚项执行迭代寻优反向推导缺失的三维深度，得到目标几何中心绝对三维物理坐标列向量；

6、步骤s3，融合示教先验的多模态安全抓取力推断：通过神经网络加速器利用多模态自适应力网络基于所述绝对三维物理坐标列向量进行前向推理，输出允许承受的最大物理压力预测均值与目标材质类别编码，执行物理降额计算出初始安全需求抓取力标量指令；

7、步骤s4，受控于目标脆性的多臂空间调度：通过中央多臂调度服务器基于所述最大物理压力预测均值执行脆性-速度惩罚机制设定协作机械臂的安全执行线速度上限，计算时间与空间综合代价指派最优机械臂，并发送包含抓取位姿与接触法向量的移动指令；

8、步骤s5，刚柔耦合执行器的静力学电-气分配与预抓取：通过夹爪微控制器根据所述目标材质类别编码查表获取动摩擦系数并结合所述目标等效半径计算薄膜包络接触中心角，遵循电粘附优先承载原则提前解算交变驱动电压幅值与绝对压强差指令并缓存，在机械臂到达抓取位姿后驱动所述刚柔耦合气动夹爪闭合并接触目标；

9、步骤s6，基于硬件ip的触觉卡尔曼闭环降噪校准：内侧压阻传感阵列检测到接触应力产生硬件中断时，通过触觉信号处理ip核根据所述绝对压强差指令计算气动充气迟滞状态缩放标量因子，基于稳态卡尔曼滤波算法融合多维法向压力观测列向量，输出真实物理抓取力标量；

10、步骤s7，受制于动态接触法向量的末端阻抗力矩补偿执行：利用机械臂伺服控制器根据所述真实物理抓取力标量对三轴基准阻抗刚度进行降额调整，结合位置偏差及局部物理接触法向单位向量解算末端阻抗补偿力矩向量，控制机械臂执行闭环运动完成目标转移。

11、作为本发明的一种优选技术方案，所述步骤s1中，生成抗反射掩码矩阵与真实分类置信度矩阵的逻辑为：

12、将多尺度视觉特征张量与预载入的抗反射滤波算子卷积核权重矩阵执行二维空间卷积运算，并经由非线性激活函数生成表征高光反射概率的抗反射掩码矩阵；将该抗反射掩码矩阵取反后与主干检测网络输出的初始分类置信度矩阵执行逐像素哈达玛乘积运算，得到真实分类置信度矩阵；

13、所述步骤s2中，推导得到目标几何中心绝对三维物理坐标列向量的逻辑为：

14、通过主成分分析生成从目标局部坐标系到相机坐标系的物理旋转矩阵，并将对应的特征向量作为局部物理接触法向单位向量；构建包含视觉传感器逆内参标定矩阵、深度空间缩放标量以及局部物理偏移向量的射线-点云距离最小二乘迭代代价函数，以所述归一化真实置信度权重为惩罚项最小化该代价函数，迭代寻优解出所述目标几何中心绝对三维物理坐标列向量。

15、作为本发明的一种优选技术方案，所述步骤s3中，计算初始安全需求抓取力标量指令的逻辑为：

16、将所述最大物理压力预测均值，减去单侧安全置信度系数与多模态自适应力网络输出的材质视觉预测标准差的乘积，对预测均值执行物理降额，得到预留安全裕度的所述初始安全需求抓取力标量指令；

17、所述步骤s4中，设定安全执行线速度上限及指派最优机械臂的逻辑为：

18、将预设的脆性-速度映射惩罚常数与所述最大物理压力预测均值相乘，并与各协作机械臂标定的平均最大线速度进行对比，取两者的较小值作为所述安全执行线速度上限；将各机械臂任务控制器中积压动作的物理等待排队耗时，以及其末端法兰当前实时三维物理坐标至所述绝对三维物理坐标列向量的空间距离除以所述安全执行线速度上限的时间代价进行加和，选取综合耗时最小的协作机械臂作为所述最优机械臂。

19、作为本发明的一种优选技术方案，所述步骤s5中解算交变驱动电压幅值与绝对压强差指令的逻辑为：

20、计算薄膜包络接触中心角，该中心角为所述目标等效半径与夹爪固定极距常数比值的反正弦值的两倍；

21、计算最大安全额定电压下的电粘附最大静摩擦力，该电粘附最大静摩擦力与电粘附系数、绝缘层相对介电常数、真空电容率、电极有效面积及最大安全额定电压的平方成正比，与薄膜厚度的平方成反比，并引入由动摩擦系数和薄膜包络接触中心角构成的指数包络摩擦补偿因子进行衰减补偿；

22、当所述电粘附最大静摩擦力大于或等于所述初始安全需求抓取力标量指令时，仅驱动电粘附离合器，此时所述绝对压强差指令为零，并根据所述初始安全需求抓取力标量指令反向求解所需的交变驱动电压幅值；

23、当所述电粘附最大静摩擦力小于所述初始安全需求抓取力标量指令时，将交变驱动电压幅值直接设为最大安全额定电压，并将所述初始安全需求抓取力标量指令与所述电粘附最大静摩擦力的差值，结合气动等效力臂与腔室推力系数计算得出所需补充的所述绝对压强差指令。

24、作为本发明的一种优选技术方案，所述步骤s6中输出真实物理抓取力标量的逻辑为：

25、根据所述绝对压强差指令与微型气泵额定最大物理极限压强常数计算负指数项，得出气动充气迟滞状态缩放标量因子；

26、将所述初始安全需求抓取力标量指令设为零时刻先验状态估计变量，基于状态估计稳态误差协方差常数、测量噪声协方差矩阵以及物理接触传递矩阵，结合所述气动充气迟滞状态缩放标量因子自动执行稳态增益计算更新动态触觉卡尔曼增益；利用该动态触觉卡尔曼增益与所述多维法向压力观测列向量修正上一时刻最优安全抓取力状态估计标量，输出消除机械迟滞后的当前时刻真实物理抓取力标量；

27、所述步骤s7中解算末端阻抗补偿力矩向量的逻辑为：

28、利用所述真实物理抓取力标量与预标定的基准受力标量的比值，对三轴刚度常数构成的基准阻抗刚度进行降额调整得到动态目标刚度参数矩阵；将该动态目标刚度参数矩阵与笛卡尔空间位置修正向量相乘，叠加所述真实物理抓取力标量沿所述局部物理接触法向单位向量的前馈力补偿，左乘机械臂当前位姿状态下的雅可比矩阵转置矩阵，解算出控制关节电机的末端阻抗补偿力矩向量。

29、第一方面，本公开实施例提出基于图像识别的柔性抓取自适应分拣系统，包含rgb-d深度相机、多台六自由度协作机械臂及集成电粘附薄膜与内侧分布式压阻传感阵列的刚柔耦合气动夹爪，所述系统还包含部署于各工业计算单元的虚拟装置模块，具体包括：

30、抗干扰二维特征提取模块，部署于边缘计算节点，用于调用预置的抗反射空间滤波算子对多尺度视觉特征张量进行高光抑制生成抗反射掩码矩阵，结合初始分类置信度矩阵得到真实分类置信度矩阵，提取连通区域内的有效特征像素齐次坐标列向量及归一化真实置信度权重；

31、三维物理坐标共线还原模块，部署于空间解析协处理器，用于基于有效点云生成物理旋转矩阵并拟合出局部物理接触法向单位向量，提取目标等效半径，且基于光学共线约束原理，以所述归一化真实置信度权重为惩罚项执行迭代寻优反向推导缺失的三维深度，得到目标几何中心绝对三维物理坐标列向量；

32、多模态安全抓取力推断模块，部署于神经网络加速器，用于利用多模态自适应力网络基于所述绝对三维物理坐标列向量进行前向推理，输出允许承受的最大物理压力预测均值与目标材质类别编码，执行物理降额计算出初始安全需求抓取力标量指令；

33、多臂空间调度模块，部署于中央多臂调度服务器，用于基于所述最大物理压力预测均值执行脆性-速度惩罚机制设定协作机械臂的安全执行线速度上限，计算时间与空间综合代价指派最优机械臂，并发送包含抓取位姿与接触法向量的移动指令；

34、静力学电-气分配与预抓取模块，部署于夹爪微控制器，用于根据所述目标材质类别编码查表获取动摩擦系数并结合所述目标等效半径计算薄膜包络接触中心角，遵循电粘附优先承载原则提前解算交变驱动电压幅值与绝对压强差指令并缓存，在机械臂到达抓取位姿后驱动所述刚柔耦合气动夹爪闭合并接触目标；

35、触觉稳态卡尔曼降噪校准模块，部署于触觉信号处理ip核，用于在内侧压阻传感阵列检测到接触应力产生硬件中断时，根据所述绝对压强差指令计算气动充气迟滞状态缩放标量因子，基于稳态卡尔曼滤波算法融合多维法向压力观测列向量，输出真实物理抓取力标量；

36、末端阻抗力矩补偿执行模块，部署于机械臂伺服控制器，用于根据所述真实物理抓取力标量对三轴基准阻抗刚度进行降额调整，结合位置偏差及局部物理接触法向单位向量解算末端阻抗补偿力矩向量，控制机械臂执行闭环运动完成目标转移。

37、作为本发明的一种优选技术方案，所述抗干扰二维特征提取模块具体配置为执行所述的生成抗反射掩码矩阵与真实分类置信度矩阵的运算逻辑。

38、作为本发明的一种优选技术方案，所述三维物理坐标共线还原模块具体配置为执行所述的推导目标几何中心绝对三维物理坐标列向量的最小二乘迭代寻优运算逻辑。

39、作为本发明的一种优选技术方案，所述多模态安全抓取力推断模块具体配置为执行所述的计算初始安全需求抓取力标量指令的物理降额逻辑；所述多臂空间调度模块具体配置为执行所述的设定安全执行线速度上限及指派最优机械臂的综合代价运算逻辑。

40、作为本发明的一种优选技术方案，所述静力学电-气分配与预抓取模块具体配置为执行所述的解算交变驱动电压幅值与绝对压强差指令的分段计算逻辑；所述触觉稳态卡尔曼降噪校准模块及末端阻抗力矩补偿执行模块具体配置为执行所述的计算真实物理抓取力标量及末端阻抗补偿力矩向量的运算逻辑。

41、综上所述，本发明具有以下有益效果：

42、其一，本发明通过调用预置的抗反射空间滤波算子对视觉特征张量进行硬件级抑制，并基于光学共线约束原理，以置信度权重为惩罚项执行最小二乘迭代寻优反向推导缺失的三维深度。该设计有效克服了高照度流水线环境下透明及高反光目标易产生高光假轮廓与深度点云空洞的问题，提升了目标几何中心绝对三维物理坐标与局部物理接触法向单位向量的提取准确度，为后续的无损抓取提供了可靠的空间定位基础；

43、其二，本发明通过多模态自适应力网络融合人类捏取示教数据库推理出最大承受物理压力预测均值，进而降额计算出初始安全需求抓取力，并在夹爪端遵循“电粘附优先承载”原则提前解算电-气分配参数；同时，在抓取接触时结合驱动气压计算气动充气迟滞状态缩放标量因子，利用稳态卡尔曼滤波算法融合压阻阵列观测值以剥离摩擦噪音。该设计有效克服了柔性气动材料的非线性膨胀迟滞与机械静摩擦干扰，实现了真实物理抓取力的精准闭环校准，避免了在物理接触瞬间压碎脆性目标；

44、其三，本发明通过中央多臂调度服务器基于目标的抗压物理极限执行脆性-速度惩罚机制，将最大承受物理压力预测均值转化为机械臂的安全线速度上限，并且在抓取稳态建立后，伺服控制器利用真实物理抓取力标量对三轴基准阻抗刚度进行自适应降额调整，结合位置偏差与局部物理接触法向单位向量解算末端阻抗补偿力矩向量。该设计有效吸收了多协作机械臂在高速调度与搬运急停时引入的环境震荡与机械冲击，使机械臂在保持垂直恒定握力与柔顺避障的状态下平稳转移目标，降低了脆性目标在搬运过程中的二次破损风险，提升了系统的自适应无损分拣可靠性。