一种面向选择性采摘的果实成熟度决策方法及系统

摘要: 本发明涉及农业机器人采摘决策,尤其涉及一种面向选择性采摘的果实成熟度决策方法及系统。背景技术:1、目前,基于视觉的果实成熟度识别方法主要包括以下几类:基于目标检...
一种面向选择性采摘的果实成熟度决策方法及系统

本发明涉及农业机器人采摘决策,尤其涉及一种面向选择性采摘的果实成熟度决策方法及系统。

背景技术:

1、目前,基于视觉的果实成熟度识别方法主要包括以下几类:基于目标检测网络(如yolo、faster r-cnn等)的成熟度识别方案,将各成熟度等级直接设置为检测类别,由检测网络同时输出目标框和成熟度类别,适合在标注较充分的单一场景中实现快速检测;基于普通分类网络或裁剪图像分类器的成熟度判断方案,先检测或裁剪果实区域,再将裁剪图像输入mobilenet、resnet等轻量分类器进行成熟度分类,可增强局部属性判断能力;基于颜色、纹理或人工特征的成熟度分级方案,通常提取rgb、hsv、红色占比、绿色占比、表面纹理等特征,再通过规则阈值或传统机器学习分类器判断成熟度,实现简单、解释性较强;基于光谱、多模态传感器或专用硬件的成熟度检测方案,通过高光谱、近红外、深度相机等传感器获取果实成熟度相关信息,可提供比普通rgb图像更丰富的物理信息,但硬件成本、标定复杂度和田间部署难度较高。

2、然而,上述现有方案均存在明显不足。一方面,果实成熟是一个从未成熟到成熟的连续变化过程,转色期样本具有天然模糊性,而现有多类别检测或分类方案将连续过程强制离散化为固定类别,容易在转色边界附近产生不稳定预测。另一方面,农业场景中不同品种、季节、光照和栽培环境差异明显,重新训练检测器或分类器需要大量数据采集和标注成本。

技术实现思路

1、本发明提供一种面向选择性采摘的果实成熟度决策方法及系统,用以解决现有技术中因将连续成熟过程强制离散为固定类别导致边界附近预测不稳定,导致果实被错误采摘的问题。

2、一方面,本发明提供一种面向选择性采摘的果实成熟度决策方法,包括:

3、获取同类果实的待识别果实图像、样本支持集和校准集;

4、通过冻结参数的特征编码器,提取所述待识别果实图像和所述样本支持集中各样本的特征向量;

5、根据所述样本支持集中各成熟度类别样本的特征向量,构建成熟度类别原型;

6、确定所述待识别果实图像的特征向量与各成熟度类别原型的相似度,并对相似度进行归一化处理,得到待识别果实属于各成熟度类别的成熟度概率分布;

7、将所述成熟度概率分布映射为连续的可采摘性端点;

8、基于所述校准集,确定等待阈值和采摘阈值;

9、根据所述可采摘性端点、所述等待阈值和所述采摘阈值,生成所述待识别果实的作业状态决策。

10、可选的,所述根据所述样本支持集中各成熟度类别样本的特征向量,构建成熟度类别原型,包括:

11、确定所述样本支持集中同一成熟度类别的各样本特征向量的均值;

12、对所述均值进行归一化处理,得到该成熟度类别的成熟度类别原型。

13、可选的,所述基于所述校准集,确定等待阈值和采摘阈值,包括:

14、在所述校准集上,从候选阈值组合中搜索满足预设约束条件的阈值作为等待阈值和采摘阈值;其中,所述等待阈值低于所述采摘阈值;

15、所述预设约束条件包括误采率上限、采摘覆盖率下限和重访负担上限中的至少一个。

16、可选的,所述根据所述可采摘性端点、所述等待阈值和所述采摘阈值,生成所述待识别果实的作业状态决策,包括:

17、当可采摘性端点大于或等于采摘阈值时,所述作业状态决策为可采摘状态;

18、当可采摘性端点小于或等于等待阈值时,所述作业状态决策为等待状态;

19、当可采摘性端点大于等待阈值,且小于采摘阈值时,所述作业状态决策为待重访状态。

20、可选的,在所述生成所述待识别果实的作业状态决策之后,还包括:

21、对于所述待重访状态的果实样本,分别确定其可采摘性端点到所述等待阈值的第一距离以及到所述采摘阈值的第二距离;

22、选取所述第一距离和所述第二距离中较小的一个作为最终距离;

23、基于所述最终距离,确定重访优先级;

24、其中,所述最终距离越小,所述重访优先级越高。

25、可选的,还包括:

26、通过改变所述等待阈值和所述采摘阈值,得到多个操作点;

27、统计各操作点下的误采风险和采摘覆盖率;

28、基于各操作点的误采风险和采摘覆盖率,生成误采风险与采摘覆盖率之间的权衡关系。

29、可选的,所述将所述成熟度概率分布映射为连续的可采摘性端点,包括:

30、将各成熟度类别的成熟度概率分别加权求和,得到连续的可采摘性端点。

31、可选的,所述成熟度类别包括成熟类别、转色类别和未成熟类别;

32、成熟类别、转色类别和未成熟类别的权重依次降低。

33、可选的,所述特征编码器为预训练视觉语言模型或图像编码器;

34、其中,所述预训练视觉语言模型为clip、openclip或siglip;

35、所述图像编码器为dinov2或mae;

36、所述样本支持集中每个成熟度类别的样本数量为1至16个。

37、另一方面,本发明还提供一种面向选择性采摘的果实成熟度决策系统,所述系统使用上述中任一项所述的方法,所述系统包括:

38、数据获取模块,用于获取同类果实的待识别果实图像、样本支持集和校准集;

39、特征提取模块,用于通过冻结参数的特征编码器,提取所述待识别果实图像和所述样本支持集中各样本的特征向量;

40、原型构建模块,用于根据所述样本支持集中各成熟度类别样本的特征向量,构建成熟度类别原型;

41、概率生成模块,用于确定所述待识别果实图像的特征向量与所述成熟度类别原型的相似度,并基于所述相似度得到成熟度概率分布;

42、端点映射模块,用于将所述成熟度概率分布映射为连续的可采摘性端点;

43、阈值校准模块,用于基于所述校准集,确定等待阈值和采摘阈值;

44、决策输出模块,用于根据所述可采摘性端点、所述等待阈值和所述采摘阈值,生成所述待识别果实的作业状态决策。

45、本发明提供的一种面向选择性采摘的果实成熟度决策方法及系统,通过冻结参数的特征编码器提取特征并基于样本支持集构建成熟度类别原型,无需针对新场景重新训练或微调模型,仅需少量带标签样本即可完成场景适配,降低了数据采集和标注成本,实现了快速场景迁移;通过将待识别果实图像的相似度转换为成熟度概率分布后映射为连续的可采摘性端点,将原本离散的成熟度类别转化为能够精细表达成熟过渡状态的连续值,避免了硬分类在转色边界附近的预测不稳定问题;通过基于校准集确定等待阈值和采摘阈值,并根据可采摘性端点与二者的比较结果生成作业状态决策,从而降低了未达到采摘要求的果实被错误采摘的风险。

1.一种面向选择性采摘的果实成熟度决策方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述样本支持集中各成熟度类别样本的特征向量,构建成熟度类别原型,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述校准集,确定等待阈值和采摘阈值,包括:

4.根据权利要求1所述的方法,其特征在于,所述根据所述可采摘性端点、所述等待阈值和所述采摘阈值,生成所述待识别果实的作业状态决策,包括:

5.根据权利要求4所述的方法,其特征在于,在所述生成所述待识别果实的作业状态决策之后,还包括:

6.根据权利要求1所述的方法,其特征在于,还包括:

7.根据权利要求1所述的方法,其特征在于,所述将所述成熟度概率分布映射为连续的可采摘性端点,包括:

8.根据权利要求7所述的方法,其特征在于,所述成熟度类别包括成熟类别、转色类别和未成熟类别;

9.根据权利要求1所述的方法,其特征在于,所述特征编码器为预训练视觉语言模型或图像编码器;

10.一种面向选择性采摘的果实成熟度决策系统,其特征在于,所述系统使用权利要求1至9中任一项所述的方法,所述系统包括: