一种丘陵山地茶园的采茶机器人控制方法以及机器人与流程

本发明涉及农业机器人，具体而言，涉及一种丘陵山地茶园的采茶机器人控制方法以及机器人。

背景技术：

1、丘陵山地茶园普遍存在地形起伏大、茶垄形态不规则、雨后湿滑、作业道路狭窄、茶冠高度和密度不一致等问题，名优茶采摘对嫩芽等级、采摘部位、损伤控制和漏采控制要求较高，传统人工方式劳动强度大且季节性用工紧张，常规轮式或履带式设备难以适应复杂坡地和狭窄茶垄，因此需要一种能够在丘陵山地茶园中实现稳定移动、精细识别、低损采摘和质量可追溯的采茶机器人系统。

2、相关技术中，采茶机器人通常采用固定相机识别茶芽、规则路径规划和预设末端动作，该类方案在标准化平地茶园中具有一定效果，如公开的采茶机器人多采用视觉识别加机械臂采摘的方式，通过目标检测得到茶芽位置后由机械臂执行固定采摘动作，也有方案采用云边协同架构，由云端负责任务规划、边缘端负责实时控制和执行。

3、然而，上述相关技术在进入坡地和强遮挡场景后存在以下不足，其一，处理过程中通常只输出目标框或中心点，缺少对目标可达性、损伤风险和作业策略的表达，识别结果与执行策略之间缺少结构化关联，采摘效率较低；其二，底盘、机械臂和感知系统之间缺少统一状态表达，语言指令难以精确描述轻拨后视野、末端到达姿态和采后状态等空间状态，感知结果与执行动作之间缺少目标状态参考，识别成功不等于执行成功；其三，系统难以利用采摘结果、失败数据和人工接管数据持续优化，长期部署后仍高度依赖人工调整。

技术实现思路

1、本发明所要解决的问题是感知输出缺少可达性、损伤风险和作业策略表达，感知结果与执行动作之间缺少结构化关联和目标状态参考，识别成功不等于执行成功，且采摘结果难以反馈至后续作业，长期部署后仍高度依赖人工调整中至少一个技术问题。

2、为解决上述问题，第一方面，本发明提供了一种丘陵山地茶园的采茶机器人控制方法，包括：

3、获取多模态观测数据以及预先构建的茶园语义地图，对所述多模态观测数据以及所述茶园语义地图进行多模态感知处理，得到嫩芽候选目标及其采摘可作业结构化数据，其中，所述茶园语义地图用于表征与机器人作业相关的茶园动态环境状态，

4、根据所述采摘可作业结构化数据确定各所述嫩芽候选目标的候选排序；

5、根据各所述嫩芽候选目标的所述采摘可作业结构化数据、所述候选排序、采摘任务数据以及机器人的安全控制和约束数据进行上下文编码处理，得到统一上下文；

6、根据所述统一上下文，通过预设图像生成方式生成近未来多视角子目标图像；其中，当出现遮挡、末端靠近或采摘后确认场景，刷新所述近未来多视角子目标图像；

7、将更新后的所述统一上下文输入预设的策略网络，得到所述机器人多个执行部位的候选动作块；

8、将所述候选动作块进行约束检查与安全可行域投影，得到安全动作或拒绝执行指令；

9、根据所述安全动作驱动所述机器人的底盘和机械臂执行稳定协同采摘；

10、对采摘结果进行采后质量判定，并将所述采后质量判定的判定结果与对象级作业记录进行数据回灌，以更新所述候选排序、所述统一上下文和所述策略网络中的至少一种，形成作业闭环。

11、本发明提供的丘陵山地茶园的采茶机器人控制方法，通过多模态感知与茶园语义地图融合得到嫩芽候选目标及其采摘可作业结构化数据并确定候选排序，使机器人获得目标结构化描述和作业顺序，避免在遮挡严重和损伤风险高的目标上浪费作业时间，通过上下文编码得到统一上下文，使基础模型接收包含观测任务约束和排序的多模态条件，从而解决传统采茶机器人只依赖目标坐标而缺少策略可控性的问题，通过生成并刷新近未来多视角子目标图像，用图像表达语言难以描述的空间细节，从而弥补自然语言对轻拨后视野和末端到达姿态表达不足的问题，通过策略网络得到多个执行部位的候选动作块，使底盘和机械臂在同一策略框架下生成协同动作，从而避免识别成功而执行失败的问题，通过约束检查与安全可行域投影得到安全动作或拒绝执行指令，使策略意图与安全边界分离，从而在保留策略网络泛化能力的同时保证动作可执行，通过安全动作驱动底盘和机械臂执行稳定协同采摘，使机器人在整机稳定状态下完成采摘，通过采后质量判定与对象级作业记录数据回灌形成作业闭环，使采摘结果反馈至下一轮作业，从而减少人工调参并提高长期运维能力。

12、第二方面，本发明还提供了一种机器人，应用如上述任一项所述的丘陵山地茶园的采茶机器人控制方法，包括：

13、多模态感知模块，用于：获取多模态观测数据以及预先构建的茶园语义地图，对所述多模态观测数据以及所述茶园语义地图进行多模态感知处理，得到嫩芽候选目标及其采摘可作业结构化数据；

14、候选排序模块，用于：根据所述采摘可作业结构化数据确定各所述嫩芽候选目标的候选排序；

15、上下文编码模块，用于：根据各所述嫩芽候选目标的所述采摘可作业结构化数据、所述候选排序、采摘任务数据以及机器人的安全控制和约束数据进行上下文编码处理，得到统一上下文；

16、子目标图像生成模块，用于：根据所述统一上下文，通过预设图像生成方式生成近未来多视角子目标图像；其中，当出现遮挡、末端靠近或采摘后确认场景，刷新所述近未来多视角子目标图像；

17、策略生成模块，用于：将更新后的所述统一上下文输入预设的策略网络，得到所述机器人多个执行部位的候选动作块；

18、安全屏障模块，用于：将所述候选动作块进行约束检查与安全可行域投影，得到安全动作或拒绝执行指令；

19、采摘执行模块，用于：根据所述安全动作驱动所述机器人的底盘和机械臂执行稳定协同采摘；

20、质量回灌模块，用于：对采摘结果进行采后质量判定，并将所述采后质量判定的判定结果与对象级作业记录进行数据回灌，以更新所述候选排序、所述统一上下文和所述策略网络中的至少一种，形成作业闭环。

21、第三方面，本发明提供了一种电子设备，包括存储器和处理器；

22、所述存储器，用于存储计算机程序；

23、所述处理器，用于当执行所述计算机程序时，实现如第一方面所述的丘陵山地茶园的采茶机器人控制方法。

24、第四方面，本发明提供了一种计算机可读存储介质，所述存储介质上存储有计算机程序，当所述计算机程序被处理器执行时，实现如第一方面所述的丘陵山地茶园的采茶机器人控制方法。

25、本发明提供的机器人、电子设备以及计算机可读存储介质，相对现有技术具有的有益效果与丘陵山地茶园的采茶机器人控制方法相对现有技术具有的有益效果相同，在此不再赘述。

1.一种丘陵山地茶园的采茶机器人控制方法，其特征在于，包括：

2.根据权利要求1所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述根据各所述嫩芽候选目标的所述采摘可作业结构化数据、所述候选排序、采摘任务数据以及机器人的安全控制和约束数据进行上下文编码处理，得到统一上下文包括：

3.根据权利要求2所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述安全与农艺约束数据包括农艺规则数据，所述采茶机器人控制方法还包括：

4.根据权利要求2所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述根据所述统一上下文，通过预设图像生成方式生成近未来多视角子目标图像包括：

5.根据权利要求1-4任一项所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述将所述候选动作块进行约束检查与安全可行域投影，得到安全动作或拒绝执行指令包括：

6.根据权利要求5所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述根据所述当前待执行动作和所述约束函数，进行约束检查与安全可行域投影，得到所述安全动作或所述拒绝执行指令包括：

7.根据权利要求1-4任一项所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述根据所述安全动作驱动所述机器人的底盘和机械臂执行稳定协同采摘包括：

8.根据权利要求1-4任一项所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述对采摘结果进行采后质量判定，并将所述采后质量判定的判定结果与对象级作业记录进行数据回灌，以更新所述候选排序、所述统一上下文和所述策略网络中的至少一种，形成作业闭环包括：

9.根据权利要求1-4任一项所述的丘陵山地茶园的采茶机器人控制方法，其特征在于，所述根据所述采摘可作业结构化数据确定各所述嫩芽候选目标的候选排序包括：

10.一种机器人，其特征在于，应用如权利要求1-9任一项所述的丘陵山地茶园的采茶机器人控制方法，包括：