抗遮挡视觉引导的香梨无损采摘协同控制方法及系统

摘要: 本发明涉及采摘协同控制,具体的是抗遮挡视觉引导的香梨无损采摘协同控制方法及系统。背景技术:1、香梨在生长过程中容易受到多种病虫害影响,例如梨木虱、蚜虫、红蜘蛛、...
抗遮挡视觉引导的香梨无损采摘协同控制方法及系统

本发明涉及采摘协同控制,具体的是抗遮挡视觉引导的香梨无损采摘协同控制方法及系统。

背景技术:

1、香梨在生长过程中容易受到多种病虫害影响,例如梨木虱、蚜虫、红蜘蛛、食心虫、梨锈病、黑星病、轮纹病、叶斑病等。病虫害发生初期通常表现为叶片颜色变化、斑点、卷曲、局部坏死、冠层温度异常、植被活力下降、枝条结构异常等,因此需要对香梨的病虫害进行检测。

2、现有的香梨病虫害智能检测方法由于不同类别的病虫害对颜色、纹理、光谱、温度、结构特征响应不同,使得在特征融合处理时效果差,导致病虫害检测结果准确率较低,使得针对香梨进行采摘时无法做到无损耗的处理。

技术实现思路

1、为解决上述背景技术中提到的不足,本发明的目的在于提供抗遮挡视觉引导的香梨无损采摘协同控制方法及系统,用于解决现有对于不同类别的病虫害对不同特征响应不同时,特征融合处理效果较差。

2、第一方面,本发明的目的可以通过以下技术方案实现:抗遮挡视觉引导的香梨无损采摘协同控制方法,方法包括以下步骤:

3、获取多源图像数据及定位数据,基于定位数据对多源图像数据进行配准处理,得到配准后的多源图像数据,其中,所述多源图像数据包括可见光图像、多光谱图像、热红外图像以及深度图像,所述定位数据包括三维坐标数据和姿态数据;

4、基于配准后的多源图像数据划定目标冠层区域,对目标冠层区域进行多维特征提取,得到多维特征集合,将多维特征集合内的各维度特征的病虫害敏感度与对应维度特征进行融合,得到多维度融合特征,所述多维特征集合包括颜色特征、纹理特征、光谱响应特征、温度异常特征和冠层结构特征,病虫害敏感度用于表征对应维度特征对不同类别病虫害的区分能力;

5、将多维度融合特征输入至预先建立的病虫害检测模型内,输出得到病虫害检测结果,所述病虫害检测结果包括病虫害类别及病虫害发生位置。

6、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述基于定位数据对多源图像数据进行配准处理包括初始配准和精确配准。

7、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述初始配准为基于三维坐标数据和姿态数据构建单株香梨树坐标系,以建立不同源的图像数据与单株香梨树坐标系之间的空间对应关系;

8、所述精确配准过程:

9、基于多源图像数据对初始配准后的多源图像数据进行参考,在多源图像的重叠区域中提取共同特征,将共同特征以重投影误差最小为目标,对初始配准后的多源图像数据之间的旋转和平移参数进行优化,输出配准后的多源图像数据。

10、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述对目标冠层区域进行多维特征提取的过程,包括:

11、对于可见光图像,提取颜色特征和纹理特征,对于多光谱图像,提取光谱响应特征,对于热红外图像,提取温度异常特征,对于深度图像,提取冠层结构特征。

12、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述各维度特征的病虫害敏感度的计算公式如下:

13、

14、式中,

s

k,y为第k类维度特征对y类病虫害的敏感度,为健康样本的特征均值,为患病样本的特征均值,为健康样本的特征标准差,为患病样本的特征标准差,为预设常数。

15、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述多维度特征集合表示为:

16、

17、其中,fcolor为颜色特征,ftexture为纹理特征,fspec为光谱响应特征,ftemp为温度异常特征,fstruct为冠层结构特征;

18、多维度特征的病虫害敏感度表示为:

19、

20、其中,scolor为颜色特征的病虫害敏感度,stexture为纹理特征的病虫害敏感度,sspec为光谱响应特征的病虫害敏感度,stemp为温度异常特征的病虫害敏感度,sstruct为冠层结构特征的病虫害敏感度。

21、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述将多维特征集合内的各维度特征的病虫害敏感度与对应维度特征进行融合的过程,包括:

22、对各维度特征的病虫害敏感度进行归一化处理,得到各维度特征的融合权重,公式如下:

23、

24、式中,为第k类维度特征的融合权重,sk为第k类维度特征的病虫害敏感度,为预设调节系数,sj为第j类索引维度特征的病虫害敏感度;

25、基于各维度特征的融合权重对多维特征集合内的各维度特征进行加权求和,得到多维度融合特征。

26、结合第一方面,在第一方面的某些实现方式中,该方法还包括:所述病虫害检测模型包括特征输入层、特征编码层、自注意力交互层及多任务输出层,

27、其中,通过将多维度融合特征通过特征输入层进行维度统一和归一化处理,得到处理后的多维度融合特征;

28、将处理后的多维度融合特征通过特征编码层进行维度映射,被映射至更高维度的语义空间,通过非线性变换提取处理后的多维度融合特征内更深层次的病虫害信息,得到编码特征;

29、将编码特征通过自注意力交互层进行特征转换,得到高层特征,所述高层特征包括查询向量、键向量和值向量;

30、将高层特征通过多任务输出层进行处理输出,通过多任务输出层的分类输出头输出病虫害类别,通过定位输出头输出病虫害发生位置。

31、第二方面,为了达到上述目的,本发明公开了抗遮挡视觉引导的香梨无损采摘协同控制系统,包括:

32、数据获取模块,用于获取多源图像数据及定位数据,基于定位数据对多源图像数据进行配准处理,得到配准后的多源图像数据,其中,所述多源图像数据包括可见光图像、多光谱图像、热红外图像以及深度图像,所述定位数据包括三维坐标数据和姿态数据;

33、数据处理模块,用于基于配准后的多源图像数据划定目标冠层区域,对目标冠层区域进行多维特征提取,得到多维特征集合,将多维特征集合内的各维度特征的病虫害敏感度与对应维度特征进行融合,得到多维度融合特征,所述多维特征集合包括颜色特征、纹理特征、光谱响应特征、温度异常特征和冠层结构特征;

34、检测输出模块,用于将多维度融合特征输入至预先建立的病虫害检测模型内,输出得到病虫害检测结果,所述病虫害检测结果包括病虫害类别及病虫害发生位置。

35、本发明的有益效果:

36、本发明通过获取的定位数据对多源图像数据进行配准处理得到配准后的多源图像数据,然后基于配准后的多源图像数据划定目标冠层区域,对目标冠层区域进行多维特征提取,得到多维特征集合,再将多维特征集合内的各维度特征的病虫害敏感度与对应维度特征进行融合,得到多维度融合特征,最后将多维度融合特征输入至预先建立的病虫害检测模型内,输出得到病虫害检测结果,实现了将香梨的多维度特征与不同类别病虫害进行响应结合后进行检测,提高了检测结果的准确性。