基于多模态数据融合与大语言模型的农业病虫害检测方法

摘要: 本发明涉及人工智能,特别是指一种基于多模态数据融合与大语言模型的农业病虫害检测方法及装置。背景技术:1、农业病虫害是影响农作物产量和质量的关键因素之一。传统的病...
基于多模态数据融合与大语言模型的农业病虫害检测方法

本发明涉及人工智能,特别是指一种基于多模态数据融合与大语言模型的农业病虫害检测方法及装置。

背景技术:

1、农业病虫害是影响农作物产量和质量的关键因素之一。传统的病虫害检测主要依赖人工巡查和田间诊断,不仅耗时耗力,而且主观性强,容易错失最佳防治时机。随着计算机视觉技术的发展,基于深度学习的图像识别方法被广泛应用于病虫害检测,但这些方法大多依赖单一的rgb(可见光)图像,在处理复杂背景、早期病变或特征相似的病害时,准确性和鲁棒性有限。

2、为了提升检测性能,研究人员开始尝试引入多模态数据。例如,高光谱(hsi)图像能够提供rgb图像无法捕捉的丰富光谱信息,有助于识别作物的生理胁迫;文本描述则能提供与病害相关的先验知识。然而,现有的多模态融合方法面临诸多挑战:1)在真实农业场景中,获取配对完整的rgb、hsi以及文本数据集非常困难,模型需要具备处理部分模态数据缺失的能力;2)模型可能过度依赖信息丰富的文本描述,形成“模态捷径”,而忽略了对视觉特征的深度学习;3)如何有效融合不同模态的异构特征,并利用最新的大型语言模型(llm)强大的知识理解和逻辑推理能力来辅助诊断,尚无成熟的解决方案。

技术实现思路

1、为了解决现有技术存在的技术问题,本发明实施例提供了一种基于多模态数据融合与大语言模型的农业病虫害检测方法及装置。所述技术方案如下:

2、一方面,提供了一种基于多模态数据融合与大语言模型的农业病虫害检测方法,该方法由基于多模态数据融合与大语言模型的农业病虫害检测设备实现,该方法包括:

3、s1、获取待检测作物的rgb图像、高光谱图像以及与图像相关的文本描述信息;

4、s2、构建基于农业病虫害检测模型;其中,所述模型包括:rgb编码器、hsi编码器、文本编码器、跨模态对齐模块、多模态深度融合模块、特征适配器、经过参数高效微调的大语言模型以及分类头;

5、s3、将所述rgb图像输入rgb编码器中,获得rgb图像特征序列;将所述高光谱图像输入hsi编码器中,获得hsi图像特征序列;将所述文本描述信息输入文本编码器中,获得文本特征序列;

6、s4、将rgb图像特征序列、hsi图像特征序列和文本特征序列输入跨模态对齐模块中,采用跨模态注意力机制进行不同模态特征对齐,通过计算对比学习损失优化特征对齐过程,输出对齐后的三种模态特征向量;

7、s5、将对齐后的三种模态特征向量输入多模态深度融合模块中进行信息融合,生成一个统一的多模态特征表示;

8、s6、将所述多模态特征表示输入特征适配器中,将所述多模态特征表示转换为大语言模型能够处理的输入嵌入序列;

9、s7、将所述嵌入序列输入一个经过参数高效微调的大语言模型中进行推理,通过分类头输出最终的病虫害类别。

10、另一方面,提供了一种基于多模态数据融合与大语言模型的农业病虫害检测装置,该装置应用于基于多模态数据融合与大语言模型的农业病虫害检测方法,该装置包括:

11、获取模块,用于获取待检测作物的rgb图像、高光谱图像以及与图像相关的文本描述信息;

12、构建模块,用于构建基于农业病虫害检测模型;其中,所述模型包括:rgb编码器、hsi编码器、文本编码器、跨模态对齐模块、多模态深度融合模块、特征适配器、经过参数高效微调的大语言模型以及分类头;

13、特征提取模块,用于将所述rgb图像输入rgb编码器中,获得rgb图像特征序列;将所述高光谱图像输入hsi编码器中,获得hsi图像特征序列;将所述文本描述信息输入文本编码器中,获得文本特征序列;

14、特征对齐模块,用于将rgb图像特征序列、hsi图像特征序列和文本特征序列输入跨模态对齐模块中,采用跨模态注意力机制进行不同模态特征对齐,通过计算对比学习损失优化特征对齐过程,输出对齐后的三种模态特征向量;

15、特征融合模块,用于将对齐后的三种模态特征向量输入多模态深度融合模块中进行信息融合,生成一个统一的多模态特征表示;

16、特征转换模块,用于将所述多模态特征表示输入特征适配器中,将所述多模态特征表示转换为大语言模型能够处理的输入嵌入序列;

17、推理模块,用于将所述嵌入序列输入一个经过参数高效微调的大语言模型中进行推理,通过分类头输出最终的病虫害类别。

18、另一方面,提供一种基于多模态数据融合与大语言模型的农业病虫害检测设备,所述基于多模态数据融合与大语言模型的农业病虫害检测设备包括:处理器;存储器,所述存储器上存储有计算机可读指令,所述计算机可读指令被所述处理器执行时,实现如上述基于多模态数据融合与大语言模型的农业病虫害检测方法中的任一项方法。

19、另一方面,提供了一种计算机可读存储介质,所述存储介质中存储有至少一条指令,所述至少一条指令由处理器加载并执行以实现上述基于多模态数据融合与大语言模型的农业病虫害检测方法中的任一项方法。

20、本发明实施例提供的技术方案带来的有益效果至少包括:

21、本发明实施例结合多种数据源的互补信息,利用大语言模型的强大推理能力,并能鲁棒地处理模态数据缺失问题,显著提高了复杂农业场景下病虫害检测的准确性与鲁棒性。

1.一种基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述s3的将所述rgb图像输入rgb编码器中,获得rgb图像特征序列;将所述高光谱图像输入hsi编码器中,获得hsi图像特征序列;将所述文本描述信息输入文本编码器中,获得文本特征序列,包括:

3.根据权利要求1所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述s4的将rgb图像特征序列、hsi图像特征序列和文本特征序列输入跨模态对齐模块中,采用跨模态注意力机制进行不同模态特征对齐,通过计算对比学习损失优化特征对齐过程,输出对齐后的三种模态特征向量,包括:

4.根据权利要求3所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述计算两个模态之间的对比学习损失的过程通过下述公式(1)表示:

5.根据权利要求1所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述s6的将所述多模态特征表示输入特征适配器中,将所述多模态特征表示转换为大语言模型能够处理的输入嵌入序列;

6.根据权利要求1所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述基于农业病虫害检测模型采用联合损失函数端到端进行优化训练;其中,联合损失由分类交叉熵损失与对比学习损失加权求和构成,通过平衡超参数调控两项损失权重,同步优化分类精度与模态对齐效果。

7.根据权利要求1所述的基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述多模态深度融合模块包含多模态transformer层;其中,融合方式包括层次化融合或门控融合;

8.一种基于多模态数据融合与大语言模型的农业病虫害检测装置,所述基于多模态数据融合与大语言模型的农业病虫害检测装置用于实现如权利要求1-7任一项所述基于多模态数据融合与大语言模型的农业病虫害检测方法,其特征在于,所述装置包括:

9.一种基于多模态数据融合与大语言模型的农业病虫害检测设备,其特征在于,所述基于多模态数据融合与大语言模型的农业病虫害检测设备包括:

10.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1至7任一项所述的方法。