一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法及系统

摘要: 本发明涉及农业机器人视觉感知与智能抓取,特别是涉及一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法及系统。背景技术:1、党参、黄芪等根茎类中药材普遍采用育苗...
一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法及系统

本发明涉及农业机器人视觉感知与智能抓取,特别是涉及一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法及系统。

背景技术:

1、党参、黄芪等根茎类中药材普遍采用育苗后大田移栽方式,主产区又多位于丘陵山地,地块分散、坡度与整地质量差异明显,大型通用农机的作业组织和适应性受到限制。现有移栽机大多采用半机械化作业方式,需由操作人员在田间完成理苗、分苗和投苗,作业效率较低。结合机器人技术,在可控环境中自动识别、抓取中药材种苗并定向编织成卷带,再于田间整卷铺放,可将高劳动强度的投苗环节前移,是提升中药材移栽效率和质量的有效路径。在机器人作业时,存在弯曲、分叉的种苗以随机朝向进入视觉区域,种苗的定向识别是苗带制备能否连续稳定运行的关键。而中药材根苗的长度、粗细、弯曲与分叉位置差异显著,苗头和根端不能互换,抓取点则由夹爪能否稳定夹持所决定,不对应统一的生物学特征点。

2、现有技术 “一种基于显著性目标检测技术的甘薯抓取点定位方法”、“a study onthe optimal grasping angle algorithm for plug seedlings based on machinevision”公开了基于轮廓、几何特征或多模态信息的抓取点定位的方法;song 等于 2022年发表的“a novel vision-based multi-task robotic grasp detection method formulti-object scenes”提出基于faster r-cnn的解耦单阶段多任务抓取检测方法、ma 等于2025年发表的“straw-yolo: a detection method for strawberry fruits targetsand key points”以yolov8-pose为基础联合检测草莓果实和果梗采摘关键点,并结合深度数据进行三维定位,公开了多任务视觉抓取与农业关键点定位的方法;现有技术“bim 与视觉观测信息融合的砌墙机器人抓取识别方法及系统”公开了旋转框主轴与机器人抓取姿态的方法。

3、然而现有技术存在以下缺陷:

4、(1)标准obb只能表达相差180°等价的无向几何轴线。当末端执行器需要判断目标的“头端”和“尾端”,并据此调整夹爪开口方向或投放朝向时,仅用obb角度不能形成完整的0-360°执行指令。

5、(2)将抓取点表示为obb局部归一化坐标,再通过预测obb的中心、尺度和角度反变换到图像平面,会使obb的检测误差再次传递并放大抓取点定位误差,尤其不利于细长、弯曲目标。

6、(3)单点坐标回归仅给出一个数值位置,难以同时表达人工选择的优选夹持点和该点附近沿主干延展的可夹持结构;若直接把整条骨架作为硬约束,又容易将概率质心拉离人工核验点。

7、(4)常规各向同性卷积对细长目标的主轴连续性、端部差异和局部弯曲缺少显式建模,弯曲、分叉、相连和相邻干扰条件下容易出现漏检、端向错误或抓取点偏移。

8、(5)现有种苗视觉方法与机器人运动控制常被分开设计,视觉结果缺少确定的实例归属和抓取时刻位置补偿,难以直接转换为运动输送带上的机器人抓取位姿和定向投放动作。

技术实现思路

1、本发明的目的是提供一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法及系统,在保持obb对细长苗头紧凑描述能力的同时,消除obb轴线的180°方向歧义,输出可用于末端旋转和定向投放的0-360°真实端向;避免抓取点对预测obb几何反变换的依赖,使抓取点在图像坐标系中直接预测,并保持与对应苗头实例的一一关联;把人工核验抓取点的精确性和种苗主干骨架附近的可夹持结构统一到同一个可学习目标中,同时抑制整条骨架引起的场质心漂移;以较低额外计算量增强细长种苗的主轴、端部和局部弯曲特征,提高复杂形态和多目标干扰下的联合感知稳定性;将视觉输出、相机标定、输送编码器位移和机器人到达时间结合,生成运动目标的抓取位置、夹爪方向和定向释放指令。

2、为实现上述目的,本发明提供了如下方案:

3、一种方向解耦与骨架感知抓取场的种苗抓取及定向投放方法,包括:

4、s1.获取包含柔性细长目标的rgb图像,对每一目标实例建立唯一实例索引并进行标注,构建训练图像,其中,所述柔性细长目标为根类中药材裸根种苗;

5、s2.对所述训练图像中每一目标实例提取目标轮廓,计算人工核验抓取点的峰值场、骨架软区域场和上下文门控场并进行融合和归一化,获取目标场概率,若所述目标实例不能形成有效最长主骨架,则所述目标场概率由人工核验抓取点的峰值场确定;

6、s3.将所述训练图像和所述目标场概率输入旋转目标框、端向角和抓取场的多任务模型,对所述多任务模型进行训练,其中,所述多任务模型通过共享主干网络和多尺度颈部提取特征和融合特征;

7、s4.同步采集待抓取柔性细长目标的rgb图像和编码器位置并进行预处理后,输入训练后多任务模型,预测同一实例对应关系的旋转目标框、端向角和抓取场;

8、s5.根据同一实例对应关系的旋转目标框、端向角和抓取场,执行旋转框抑制与可执行性候选筛选,若存在可执行候选,则进入s6对当前候选解码图像抓取点,若未获得可执行候选,则记录无候选原因并返回s4进入下一采集周期;

9、s6.将解码后的抓取点进行坐标标定变换和编码器动态补偿,获取补偿后的机器人基坐标位置,若补偿后目标已超出抓取窗口,则返回s5选择备选候选或返回s4重新采集;

10、s7.根据所述补偿后的机器人基坐标位置和预测的端向角生成机器人位姿,控制机器人完成对所述待抓取柔性细长目标的抓取、转移和定向释放。

11、本实施例还公开了一种方向解耦与骨架感知抓取场的种苗抓取及定向投放系统,用于实现所述的方向解耦与骨架感知抓取场的种苗抓取及定向投放方法,包括:

12、数据采集与同步模块,共享特征提取与多尺度融合模块,图像坐标骨架感知抓取场模块,实例关联与候选筛选模块,坐标变换与输送动态补偿模块,机器人抓取与定向投放模块。

13、本发明的有益效果为:(1)本发明把obb的无向几何轴线与目标的有向端向分开建模:obb长轴继续保留180°等价性,独立方向分支输出具有端点语义的有符号单位向量。通过“有符号方向监督+对无向长轴的符号不敏感共线约束”,在不破坏旋转框几何稳定性的前提下解决“几何框正确但头尾方向错误”的问题,并可直接得到0-360°真实端向。

14、(2)本发明在图像坐标系中预测概率抓取场,并通过soft-argmax解码连续抓取点。抓取点定位不依赖预测obb的中心、尺度和角度反变换,切断了旋转框误差向抓取点的二次传播链路。

15、(3)骨架感知抓取场同时保留人工核验点的精确峰值和最长主骨架附近的局部可夹持结构,并以人工点上下文门控限制骨架先验的作用范围,避免整条骨架上的概率质量使场质心沿主干漂移。由“点峰值+主骨架软区域+上下文门控”形成的场目标兼顾定位精度、结构容差和可执行性,比单一点坐标回归或硬骨架区域约束更适合柔性细长目标。

16、(4)方向解耦与骨架感知抓取场不是彼此孤立的输出:二者与obb共享特征并维持同一候选、同一实例分配关系,使“抓哪个位置”和“目标真实端向是什么”在同一实例上闭合,降低多目标场景中的抓取点、目标类别及端向错配风险。该组合同时保留方向解耦子算法和抓取场子算法分别独立实施的可能性。

17、(5)轮廓、骨架和人工核验点仅用于训练期构造监督目标,推理阶段只需rgb图像,即可输出obb、真实端向和图像坐标抓取点,不增加在线骨架提取和点云处理链路,便于在工业控制计算机或边缘计算设备上部署。

18、(6)作为增强性结构,aafem以水平、垂直和膨胀深度卷积构成轻量方向敏感基函数,并通过空间门控和残差连接增强细长主轴、端部和局部弯曲特征,可与不同主干和多尺度颈部组合,而不改变前述方向解耦及抓取场的核心表示关系。

19、(7)在算法输出的应用层,本发明可把图像坐标抓取点、真实端向、编码器累计位移、相机到机器人标定关系和预计抓取时刻统一起来,将静态视觉结果转化为运动输送带上的动态机器人位姿,并完成定向释放或定距摆放;该执行链路不构成对前述视觉算法独立保护范围的必要限定。