一种基于可采摘性判别的蟠桃采摘机器人及采摘方法

本发明涉及农业自动化装备与计算机视觉，具体涉及一种融合深度学习实例分割与机械旋拧抓取的蟠桃采摘机器人及采摘方法。

背景技术：

1、蟠桃果实具有皮薄多汁、果梗短、果形扁平等特性，且在自然果园环境中易受枝叶遮挡及果实簇生重叠的干扰，这对采摘机器人的目标识别精度与无损抓取能力提出了更高要求。现有基于深度学习的实例分割模型（如mask r-cnn、yolo-seg系列）虽已广泛应用于果实检测任务，但在蟠桃采摘场景中仍存在以下显著局限：其一，严重遮挡条件下分割掩膜易出现断裂、凹陷或连通区域误判等问题，无法输出连续可靠的果实轮廓信息，进而难以准确判定果实是否具备抓取条件；其二，现有方法大多仅输出类别标签、位置坐标及成熟度信息，缺乏对遮挡类型（如枝遮挡、叶遮挡）、遮挡程度及轮廓完整度的量化分析，识别结果仅停留在"有无果实"层面，难以满足精细采摘的决策需求；其三，轻量化模型为兼顾计算效率，往往弱化对弱边界及细长遮挡区域的特征提取能力，导致在复杂光照与复杂背景条件下识别鲁棒性不足。上述缺陷致使采摘机器人无法有效区分完全暴露、轻度遮挡与严重遮挡的果实，抓取决策缺乏量化风险依据，从而引发漏摘、误摘、抓取失败及机械损伤等问题。

2、针对上述遮挡场景，已有研究尝试通过引入边界增强模块、多尺度特征融合或注意力机制等方式改进实例分割模型，以提升分割掩膜的连续性，但仍存在以下不足：（1）视觉感知输出与采摘执行动作之间缺乏有效衔接。分割所得的果实掩膜未能进一步转化为“可采摘概率”或分级判别策略，机器人无法依据遮挡类型（如枝叶遮挡、果实重叠）及轮廓完整程度自主调整抓取姿态或末端执行器的动作模式；（2）现有末端执行器多采用固定策略（如平行夹爪或真空吸盘），缺乏面向不同遮挡场景的协同作业能力，难以实现“先气吹散除叶片遮挡、再气吸辅助定位、最后旋拧包络抓取”的分段式协同操作。对于轻度遮挡但轮廓仍可恢复的果实，现有系统往往直接放弃或强行拉扯，导致抓取成功率低、机械损伤率高；（3）现有技术缺少"感知—决策—执行"的闭环反馈机制，视觉系统无法依据实际抓取结果自适应调整可采摘性判别标准，因而难以形成持续优化的采摘策略。

技术实现思路

1、针对上述技术的不足，本发明的目的是提供一种基于可采摘性分级判别的蟠桃采摘机器人及采摘方法，通过算法与机械结构的深度融合，解决自然果园环境下蟠桃识别率低、遮挡果实采摘困难、机械损伤率高的技术问题。

2、为实现上述目的，本发明提供了如下的技术方案：

3、一种基于可采摘性判别的蟠桃采摘机器人，其特征在于，包括：

4、行走底盘模块：底盘（41）、行走轮（45）、激光雷达及深度相机（39）； 机械臂及其连接部件：末端执行器整体结构（29）、末端执行器与机械臂连接通信控制模块（30）、深度相机（31）、深度相机连接板（32）、六轴联动机械臂（33）、机械臂主轴（34）、机械臂固定模块（35）、承重装置（36）、升降平台（37）；

5、末端执行器：压触传感器（1）、硅胶材质（2）、真空气嘴（3）、旋拧固定模块（4）、轴承滑块（5）、第一连杆结构（6）、旋拧凸轮滑块（7）、螺母m6（8）、螺栓m6（9）、底座法兰结构（10）、步进电机（11）、与机械臂连接控制模块（12）、固定螺钉（13）、电机固定底座（14）、通信模块（15）、第二连杆结构固定模块（16）、第二连杆结构（17）、联轴器模块（18）、减速齿轮保护罩（19）、凸轮导向槽（20）、手指连接固定模块（21）、柔性手指部分（22）、真空气嘴固定连接板（23）、气嘴固定螺栓（24）、减速齿轮从动轮（25）、减速齿轮主动轮（26）、传动轴（27）、气缸（28）；

6、控制模块：pc端显示器（38）、pc端控制模块（40）、plc控制模块（42）、电源控制模块（43）、保护罩（44）；

7、收集反馈模块：重量感应装置（46）、收集箱（47）。

8、其中，所述激光雷达及深度相机（39）设置在底盘（41）前部上方，用于果园环境三维感知与果树粗定位；所述深度相机（31）设置在末端执行器整体结构（29）底端，用于近距离蟠桃精确识别与可采摘性判别；所述pc端控制模块（40）内置yolo-bams实例分割模型与可采摘性分级判别算法，接收双阶段视觉数据并输出采摘决策；所述气缸（28）控制真空气嘴（3）实现气吹散叶与气吸辅助的协同作业；所述步进电机（11）通过传动轴（27）、减速齿轮主动轮（26）与减速齿轮从动轮（25）啮合，驱动旋拧凸轮滑块（7）在凸轮导向槽（20）内运动，带动柔性手指部分（22）实现旋拧包络抓取；所述重量感应装置（46）设置在收集箱（47）底部，用于判断采摘是否成功的闭环反馈。

9、所述双阶段视觉感知包括：

10、第一阶段：激光雷达及深度相机（39）获取果园环境rgb图像与深度点云数据，实现果树位置粗定位，pc端控制模块（40）控制底盘（41）移动至目标区域；第二阶段：深度相机（31）采集近距离rgb-d图像，输入yolo-bams实例分割模型，输出蟠桃成熟度标签、边界框坐标及分割掩码，结合深度信息转换至机器人坐标系，实现待采摘蟠桃抓取中心点精定位。

11、所述yolo-bams实例分割模型基于yolov12n-seg架构改进，包括：

12、主干网络，采用边界-局部感知初始特征融合模块对多尺度初始特征进行提取与融合；该模块配置于网络前端，采用双分支并行结构：第一分支经sobelconv算子显式提取边缘信息，以实现果实精准分割；第二分支经零填充最大池化层捕获局部区域最大响应，用于强化对纹理、色泽及形态细节的感知能力，从而辅助识别果面红晕、底色渐变、果皮光泽等成熟度指标以及枝叶遮挡等可采摘状态信息。两分支输出按通道维度拼接后，经步长为2的卷积层实现复合特征的二次融合与空间下采样，最后通过1×1卷积映射至目标通道数。

13、所述主干网络还依次包括c3k2-faster-ema模块与adown模块。其中，c3k2-faster-ema模块利用pconv部分卷积实现低冗余空间混合，仅对部分通道执行卷积计算，在保留局部纹理与边缘细节的同时降低冗余计算量；随后通过由1×1卷积构成的轻量mlp实现通道交互；最后引入ema高效多尺度注意力机制，对多尺度空间通道响应进行自适应重标定，以增强果实主体与边缘区域的显著性，抑制复杂背景干扰；该模块整体采用残差连接，以保持原始信息流与训练稳定性。所述adown模块首先经2×2平均池化（步长为1）进行预平滑降噪，维持空间尺寸不变；然后在通道维度上均分为两支路：支路a采用3×3卷积实现学习式下采样，提取深层特征；支路b以步长为2的最大池化保留显著纹理与边界信息，并经1×1卷积调整通道数；两支路输出拼接后，实现学习型与规则型下采样的多路径融合，从而增强模型对尺度的适应性。

14、颈部网络，采用a2c2f模块进行多尺度特征融合，并通过上采样与拼接操作实现跨层特征聚合。

15、头部网络，采用多任务分层分割检测头，用于实现实例分割、成熟度分类及可采摘状态预测的联合输出。所述多任务分层分割检测头基于共享卷积特征，保留原型生成分支与掩码系数预测分支，同时将分类分支解耦为两个并行子任务：其一为成熟度三分类，即划分为未成熟、半成熟与成熟三类；其二针对成熟期蟠桃划分为可采摘与不可采摘两种状态，从而实现实例级别的多任务输出。

16、综上，所述边界与局部感知初始特征融合模块通过并行处理与多层次融合，整合低级边缘信息与中级局部上下文特征，为实例分割网络提供对果实边界及表面细节高敏感的初始特征表征；所述c3k2-faster-ema模块在较低计算代价下提升遮挡场景中特征的可分性与边界表达能力；所述adown模块结合最大池化的强响应保留能力与平均池化加卷积的背景细节捕获能力，实现分辨率降低与信息整合的均衡；所述多任务分层分割检测头通过原型-系数分离预测策略降低计算开销、提升推理效率。

17、所述可采摘性分级判别算法采用四级递进策略：第一级：成熟度判别。基于yolo-bams实例分割模型输出的特征，仅对成熟果实执行后续判定；第二级：轮廓连通性分析。计算轮廓完整度，其中

a

c为果实外接轮廓面积，

a

h为内接最大凸包面积；

η≥0.85时判定基本连通，直接进入采摘决策；

η<0.85时进入遮挡类型判别；第三级：遮挡类型判别。对分割掩码

m经形态学闭运算得

m'，差异区域；计算离心率，其中

a

d为差异区域面积，

l

d为差异区域周长；

e<0.6时判定为枝遮挡，触发机械臂视角切换机制；

e≥0.6时判定为叶遮挡，进入遮挡程度量化；第四级：遮挡程度量化。计算果实可见率

r

v，

ρ为果实填充系数取0.785；

r

v>0.7时判定为可采摘，反之不可采摘；多果实重叠时按

r

v降序确定采摘优先级。

18、所述可采摘状态

s由综合决策函数定义：

19、当轮廓完整度时，，判定为可采摘；当离心率且果实可见率时，，判定为可采摘；其他情况均输出为，判定为不可采摘。对于被树枝遮挡的成熟期蟠桃需要机械臂移动切换视角重新判断是否可以进行采摘。

20、所述末端执行器的气吹-气吸协同作业包括：

21、气吹阶段：末端执行器靠近待采摘蟠桃时，气缸（28）控制真空气嘴（3）执行气吹动作，吹散蟠桃表面叶片遮挡，提升深度相机（31）识别精度与抓取中心点定位准确性；气吸阶段：柔性手指部分（22）旋拧包络蟠桃过程中，气缸（28）切换真空气嘴（3）至气吸模式，吸附蟠桃果实表面，增加脱落力并减少机械接触损伤。

22、所述旋拧包络机构包括：

23、凸轮导向槽（20）由四个互成90°的导轨组成，旋拧凸轮滑块（7）沿导轨运动；步进电机（11）驱动传动轴（27），经减速齿轮主动轮（26）与减速齿轮从动轮（25）啮合传递扭矩至凸轮转轴；凸轮滑块（7）带动第二连杆结构（17）、第一连杆结构（6）及柔性手指部分（22），实现四指旋拧包络动作；柔性手指部分（22）内侧设置压触传感器（1）与硅胶材质（2），旋拧抓取时沿蟠桃果实缝合线方向、从果实底端凹陷处包络，贴合蟠桃扁平形态。

24、所述闭环反馈控制包括：

25、末端执行器将抓取蟠桃放置于收集箱（47）后，重量感应装置（46）检测重量变化并反馈至pc端控制模块（40）；pc端控制模块（40）判定重量增量是否达到预设阈值，确认采摘成功后发送指令控制六轴联动机械臂（33）回退至初始位置；若重量无变化，判定采摘失败，触发重新识别与抓取流程。

26、一种基于上述机器人的蟠桃采摘方法，其特征在于，包括以下步骤：

27、s1：远距离粗定位：激光雷达及深度相机（39）获取果园环境数据，pc端控制模块（40）识别果树位置并规划路径，控制底盘（41）移动至目标区域；

28、s2：近距离精确识别：通过六轴联动机械臂（33）调整位姿使深度相机（31）靠近目标，采集rgb-d图像输入yolo-bams模型，输出成熟度标签、分割掩码及中心点坐标；

29、s3：可采摘性判别：pc端控制模块（40）运行可采摘性分级判别算法，依次执行成熟度判别→连通性分析→遮挡类型判别→遮挡程度量化，输出采摘决策s；

30、s4：抓取执行：若

s=1，机械臂控制末端执行器运动至抓取点，气缸（28）执行气吹散叶，步进电机（11）驱动柔性手指（22）旋拧包络，同时真空气嘴（3）切换气吸辅助脱落；

31、s5：放置反馈：机械臂将蟠桃放置于收集箱（47），重量感应装置（46）检测重量变化反馈至pc端控制模块（40），确认成功后回退至初始位置，完成单次采摘。

32、所述步骤

s2中yolo-bams模型的训练与部署包括：构建自然果园环境下的蟠桃rgb图像数据集，使用x-anylabeling工具进行数据标注，采用最小外接矩形标注方式减少背景干扰；对数据集进行数据增强操作，包括随机旋转、亮度对比度调整、添加噪声、mosaic增强，扩充数据集规模并提升模型泛化能力；将标注的json文件格式转化为xml格式文件，再转换为yolo模型训练所需的txt文本格式；通过特定比例划分训练集、验证集和测试集，训练改进模型yolo-bams检测模型，并进行模型验证；通过使用transform加速以及中间模型转换，在机器人的移动端进行模型部署。

33、所述步骤

s2中抓取中心点坐标转换包括：通过调用机器人端口的深度相机实现空间坐标系转换；输出的结果包括目标置信度的信息，对应机器人坐标系中的抓取中心点的空间坐标，以实现机器人的控制末端执行器的运动定位；设置通信协议与机械臂moveit!控制程序，实现蟠桃的识别与抓取。

34、根据本发明提供的具体实施例，本发明公开了以下的技术效果：

35、双阶段视觉驱动机械臂运动：远距离激光雷达及深度相机（39）实现果树粗定位，控制底盘（41）移动；近距离末端执行器深度相机（31）结合yolo-bams模型精确识别，输出抓取中心点坐标驱动机械臂（33）运动；

36、可采摘性判别指导末端执行器动作：算法输出的可采摘状态s直接决定末端执行器动作模式——

s=0时机械臂切换视角或跳过；

s=1时启动气吹-旋拧-气吸协同抓取；

37、气吹散叶提升算法精度，算法输出优化抓取时机：气吹阶段清除叶片遮挡，提高深度相机（31）识别精度；可采摘性判别中的遮挡类型（枝/叶）决定末端执行器气吹强度与旋拧角度；

38、重量反馈闭环验证算法-执行一致性：重量感应装置（46）验证采摘成败，反馈至pc端控制模块（40）优化后续识别阈值。