一种基于VLA模型的作物叶片光合作用参数检测方法及系统

摘要: 本发明涉及设施农业与农业机器人,具体涉及一种基于vla模型的作物叶片光合作用参数检测方法及系统。背景技术:1、随着设施农业和智能温室的发展,对番茄、辣椒等高价值...
一种基于VLA模型的作物叶片光合作用参数检测方法及系统

本发明涉及设施农业与农业机器人,具体涉及一种基于vla模型的作物叶片光合作用参数检测方法及系统。

背景技术:

1、随着设施农业和智能温室的发展,对番茄、辣椒等高价值温室作物的生长状态监测需求日益精细化。叶片光合作用参数(叶绿素荧光或光合作用相关参数,例如eff、f0、fm等)是反映作物光合生理状态的关键指标,对于指导环境调控和栽培管理至关重要。目前,此类参数的检测主要依赖手持式光合作用检测仪,由人工逐片选取叶片并操作仪器完成。这种方式存在以下显著缺点:第一,人工选择叶片和检测点的主观性强,导致数据重复性和一致性差;第二,温室叶片柔软易动,人工难以在检测过程中保持探头与叶片的稳定接触,影响测量精度;第三,效率低下,难以满足规模化温室连续、高通量检测的需求。

2、现有的一些自动化尝试多采用“视觉识别叶片—规则筛选目标—独立规划位姿”的串联技术路线。然而,在复杂的温室场景下,叶片常存在重叠、遮挡、姿态多变等情况,传统视觉算法通常只能提供叶片识别或分割结果,难以直接判断“哪片叶子最适合检测”、“叶片上哪个区域最适宜测量”以及“机器人如何安全、稳定地抵达并固定该位置”。这一决策过程仍需依赖人工经验或复杂规则,系统智能化程度有限,鲁棒性不足。

3、此外,现有检测系统还存在软硬件异构的集成问题。商业化光合作用检测仪的上位机软件通常运行于windows系统,而机器人控制、高级视觉算法(如深度学习模型)多在ubuntu等linux环境下运行。二者之间缺乏高效、自动化的数据桥梁,导致检测动作执行、参数采集、数据记录环节脱节,无法形成“感知、决策、执行、反馈”的完整闭环。

4、因此,亟需一种能够实现温室环境下叶片自动选择、稳定夹持、自动检测与数据闭环的智能化解决方案。

技术实现思路

1、本发明的目的在于克服现有技术的不足,提供一种基于vla模型的作物叶片光合作用参数检测方法及系统。该方法旨在上层利用部署于计算与控制模块的vla模型,根据视觉模块采集的叶片图像、检测任务指令和机器人状态,完成叶片选择和粗接近动作生成,机械执行模块根据粗接近动作执行粗接近操作;满足交接条件后,在下层调用参数化夹取控制程序完成叶片的柔性夹持,实现了基于vla候选叶片自动选择与粗接近、交接条件切换及参数化夹取控制程序的协同控制方法,突出学习策略与确定性技能的分层协同,实现从视觉感知到机器人动作的智能映射,并结合柔性夹持与异构系统数据闭环技术,提高检测的自动化、一致性和可靠性。

2、本发明解决上述技术问题的技术方案如下:

3、一种基于vla模型的作物叶片光合作用参数检测方法,包括如下步骤:

4、s1.针对目标温室作物构建叶片检测专用数据集,其中,所述专用数据集包括检测任务指令、叶片图像、机器人状态和包含机器人示教动作的episode数据;其中,所述机器人示教动作至少包括叶片选择示教动作、靠近叶片的示教动作、把叶片送入机器人的机械臂末端的夹持装置的示教动作;

5、s2.使用步骤s1构建的专用数据集对vla模型进行训练;

6、s3.将步骤s2训练后的vla模型部署于主控系统,利用视觉采集装置采集目标区域的实时叶片图像,将检测任务指令、所述实时叶片图像及机器人当前状态输入所述vla模型,以从多个候选叶片中确定目标叶片并输出朝向目标叶片的粗接近动作信息;其中,所述粗接近动作信息至少包括使所述夹持装置接近目标叶片的连续动作信息或末端位姿增量;确定所述目标叶片为所述vla模型根据叶片可见面积、叶片遮挡程度、叶片姿态、机械臂可达性及夹持空间中的至少一项,从候选叶片中确定;

7、s4.根据所述连续动作信息或末端位姿增量执行vla策略,以使所述夹持装置移动至目标叶片的预接近位姿;并判断是否满足预设交接条件,若满足所述预设交接条件,则执行控制交接策略,以停止采用vla策略控制机械臂,并记录满足交接条件时,所述夹持装置的实际位姿及已选目标叶片信息作为交接状态,并继续执行步骤s5,若不满足所述预设交接条件,则返回执行步骤s3;其中,所述预设交接条件包括已选目标叶片的连续多帧所述叶片图像均稳定进入预设区域、所述夹持装置进入预设交接空间范围或所述夹持装置的位姿与所述预接近位姿之间的差值小于或等于距离阈值、所述夹持装置的速度低于速度阈值中的至少两项;

8、s5.主控系统停止执行所述vla策略,以满足预设交接条件时机械臂末端的实际位姿为参考位姿,调用参数化夹取控制程序,待目标叶片的叶尖进入所述夹持装置后,以当前所述夹持装置的位姿为起点,控制所述机械臂依次执行所述夹持装置的上抬、前移、低速夹持的柔性夹持操作,并采用柔性传感器采集夹持信息,以通过夹持信息判断柔性夹持是否夹稳;

9、s6.在确定柔性夹持夹稳后,由主控系统向检测端发送检测触发指令,使光合作用检测软件执行光合作用检测;

10、s7.获取所述光合作用检测软件在执行光合作用检测后生成的检测结果文件或由检测端返回的检测结果数据,解析所述检测结果文件或所述检测结果数据,以获得光合作用参数检测数据。

11、本发明的有益效果是:利用vla模型,将复杂的选择适合检测的叶片并规划机器人动作这一任务进行统一建模,以通过vla模型从多个候选叶片中自动确定目标叶片,并形成vla粗接近、交接判定和参数化夹取控制程序精确执行的协同控制流程。实现vla模型的初始移动、预设交接条件判断及采用参数化夹取控制程序的精确柔性夹持,提高柔性夹持的精确性和安全性。模型通过任务指令驱动,直接输出使机械臂进入预设交接范围的粗接近动作。最终对准、插入、调整和夹持由参数化夹取控制程序执行,以提高实现成功率和重复性,显著提高了在复杂、非结构化温室环境中提高候选叶片选择和粗接近的适应性,以及交接和精确夹持的重复性与稳定性。通过预接近及低速靠拢的柔顺轨迹规划,结合末端夹爪的力控或行程控制实现柔性夹持,并引入柔性传感器进行实时接触反馈。这套组合策略能有效减少叶片晃动和位置偏移,在确保叶片不受损的前提下,为光合作用检测探头提供稳定可靠的接触条件,从而保障测量数据的准确性和可重复性。利用检测软件自动保存文本文件的特点,通过约定固定路径和文件格式,实现了windows检测软件与ubuntu机器人主控系统之间的无缝数据流通。无需修改商用仪器的底层软件,即可将检测结果自动拉回主控系统,并与任务id、叶片信息、机器人位姿等丰富上下文数据进行关联,真正实现了从任务下发到数据回收的全流程自动化闭环,工程实用性强。

12、在上述技术方案的基础上,本发明还可以做如下改进。

13、进一步,所述叶片图像包括不同光照、不同遮挡、不同叶片姿态、不同生长时期和不同相机视角下的叶片图像;所述叶片图像还包括同一视野内具有多个候选叶片、不同候选叶片数量及不同候选叶片相对位置的图像。

14、进一步,所述vla模型的训练包括联合和优化以下损失函数:语言条件动作预测损失或行为克隆损失。

15、进一步,对目标叶片的柔性夹持过程中,通过集成于所述夹持装置的柔性传感器采集夹持力及接触状态;其中,所述接触状态为接触或分离;

16、若所述夹持力处于预设压力范围内,且所述接触状态为接触,则判定为柔性夹持成功;若所述夹持力小于或等于所述预设压力范围的下限值,或所述接触状态为分离,则继续执行低速夹持或做夹持调整操作;

17、若所述夹持力大于或等于所述预设压力范围的上限值,或所述夹持力及所述接触状态采集异常,则停止执行所述柔性夹持,并执行夹持释放操作或执行机械臂回撤操作。

18、进一步,所述夹持装置为夹爪;所述柔性传感器包括压力传感器或视觉传感器,所述压力传感器和所述视觉传感器分别用于采集所述夹爪的所述夹持力和所述接触状态。

19、进一步,步骤s7之后还包括:

20、s8.将解析得到的光合作用参数检测数据与本次检测任务的关联信息进行绑定;其中,所述关联信息至少包括任务或episode数据的编号、vla策略的执行信息、执行所述控制交接策略时的执行信息、执行所述控制交接策略时的机械臂的末端位姿、执行柔性夹持的信息、夹爪状态信息及所述柔性传感器采集的信息;

21、s9.判断所述光合作用参数检测数据是否满足预设的判定条件;若满足,则保存完整的检测记录;若不满足,则触发对同一目标叶片的再次检测流程。

22、为解决上述技术问题,本发明还提供一种基于vla模型的作物叶片光合作用参数检测系统,包括:

23、视觉模块,包括视觉采集装置,用于采集目标温室作物的实时叶片图像;

24、计算与控制模块,运行于第一操作系统,部署有经训练的vla模型,用于接收所述实时叶片图像和检测任务指令,并根据所述检测任务指令、所述实时叶片图像及机器人当前状态通过训练后的所述vla模型输出粗接近动作信息,根据所述粗接近动作信息生成粗移动指令,以执行vla策略;并在停止执行所述vla策略后,通过调用参数化夹取控制程序,输出夹持控制指令;

25、机械执行模块,包括机械臂和设置于其末端的夹持装置,用于先根据所述计算与控制模块输出的粗移动指令使所述夹持装置移动至目标叶片的预接近位姿;再根据所述夹持控制指令按照预设相对位移、速度和动作顺序完成对目标叶片的柔性夹持;

26、检测模块,包括光合作用检测仪和运行于第二操作系统的检测软件,用于在接收到触发指令后执行光合作用参数检测并将结果输出至结果文件;

27、数据闭环模块,用于从所述结果文件中读取检测结果,并与本次检测任务信息进行关联与判定。

28、进一步,所述夹持装置为夹爪,且在所述夹爪的夹持面集成有柔性传感器,所述柔性传感器与所述计算与控制模块通信连接,用于采集所述夹爪的夹持力。

29、进一步,所述第一操作系统为ubuntu系统,所述第二操作系统为windows系统;所述检测结果包括windows系统生成的结果文件或windows系统返回的结果数据;所述数据闭环模块运行于所述ubuntu系统。

30、进一步,所述vla模型经训练后,将任务指令、视觉场景与动作输出统一建模,直接输出服务于光合作用参数检测任务的机械臂动作相关结果;其中,所述机械臂动作相关结果包括控制所述夹持装置移动至目标叶片的预接近位姿的预接近方向、机械臂的末端位姿增量、机械臂的关节动作、速度中至少一种。