一种基于跨模态文本引导的小麦病害识别方法

摘要: 本发明公开一种基于跨模态文本引导的小麦病害识别方法,属于计算机视觉。背景技术:1、小麦是全球最重要的主粮作物之一,其病害识别在农业生产管理中具有关键意义。精准的...
一种基于跨模态文本引导的小麦病害识别方法

本发明公开一种基于跨模态文本引导的小麦病害识别方法,属于计算机视觉。

背景技术:

1、小麦是全球最重要的主粮作物之一,其病害识别在农业生产管理中具有关键意义。精准的病害识别不仅有助于制定有效的防控策略,还直接影响作物的产量与品质。随着计算机视觉技术的快速发展,基于深度学习的植物病害识别方法成为研究热点。现有技术中主要包括基于cnn的方法和基于transformer的方法。植物病害图像在实际田间场景中存在多样化的视觉表现,同一病害在不同生育阶段或光照、环境条件下存在显著类内差异,不同病害类别之间则可能表现出较小的视觉差异,使得病害识别呈现细粒度区分难、阶段变化大等挑战。基于cnn的识别方法主要依赖局部感受野与纹理特征提取,在处理细粒度病斑区分和病害形态变化方面表现不足,导致识别准确率受限。基于transformer的识别方法虽通过自注意力机制建模全局长程依赖,以提升病害表征能力,但其对病斑细节与纹理特征的建模能力有限,且容易受到环境背景的干扰。上述技术仅依赖视觉特征进行病害识别,缺乏对植物病害语义的显式建模,不利于细粒度病害区分和病程阶段变化的理解,难以从视觉中构建解释性强、区分性高的病害特征。

2、近年来,预训练视觉语言模型(contrastive language image pre-training,clip)通过大规模图像-文本对的对比学习方式,展现出较强的图像与文本语义对齐能力和特征表征能力,使模型能够在统一的嵌入空间中有效表示视觉信息与语言信息。然而,现有基于 clip 的方法主要面向自然图像进行训练,其预训练语义空间与农业病害等专业应用领域之间仍存在一定的领域差异。因此,如何在充分发挥预训练视觉语言模型跨模态语义优势的同时,构建具有稳定性和准确性的病害识别模型,成为亟需研究的问题。

技术实现思路

1、本发明的目的在于提供一种基于跨模态文本引导的小麦病害识别方法,以解决现有技术中,如何在充分发挥预训练视觉语言模型跨模态语义优势的同时,构建具有稳定性和准确性的病害识别模型的问题。

2、一种基于跨模态文本引导的小麦病害识别方法,包括:

3、准备数据集,构建基于跨模态文本引导的小麦病害识别模型,进行神经网络训练,构建整体损失函数监督训练并优化网络参数,设置训练轮次阈值,训练完毕后输出小麦病害识别结果;

4、基于跨模态文本引导的小麦病害识别模型包括阶段级残差适配器模块、文本引导的病害特征细化模块和全局双重蒸馏模块;

5、阶段级残差适配器模块包括clip图像编码器和适配器,文本引导的病害特征细化模块包括位置感知的可学习文本、文本编码器和跨模态表征细化模块,双重蒸馏模块包括两个平行的分类器;

6、阶段级残差适配器模块接收数据集,输出全局特征和局部特征;文本引导的病害特征细化模块利用位置感知的可学习文本构建文本特征,并接收局部特征,将文本特征和局部特征输入跨模态表征细化模块,输出全局细化特征;全局双重蒸馏模块接收全局特征和全局细化特征,输出小麦病害识别结果。

7、准备小麦病害图像作为数据集,输入阶段级残差适配器模块,输出全局特征和局部特征,,,为图像块数量,为图像通道维度;

8、阶段级残差适配器模块将clip图像编码器划分为四个阶段,包括图像编码器第一阶段、图像编码器第二阶段、图像编码器第三阶段和图像编码器第四阶段,获取、和输出的中间图像特征,,为图像编码器每个阶段的索引,,输出和;

9、在clip图像编码器各阶段之间引入阶段级残差适配器:

10、;

11、;

12、式中,为经过阶段级残差适配器处理后得到的特征,,为经过残差融合后的特征,,为阶段级残差适配器的可学习参数,,为激活函数,为残差融合比重系数。

13、文本引导的病害特征细化模块利用位置感知的可学习文本构建文本特征,将与文本特征输入跨模态表征细化模块进行跨模态表征细化,包括将与文本特征分别输入线性层,然后输入交叉注意力模块进行处理,处理结果输入残差前馈网络,输出全局细化特征。

14、设置位置感知的可学习文本提示对每一病害类别的表示为:

15、;

16、式中,为第个可学习向量,为可学习向量的索引,,为clip文本编码器的分词器;

17、对添加位置信息,并输入至clip文本编码器进行文本特征提取:

18、;

19、式中,为对应的文本特征,,⨁为逐元素相加,为文本特征提取操作;

20、对所有进行聚合,得到聚合后的文本特征,;

21、构建文本提示视觉对齐损失增强跨模态一致性:

22、;

23、式中,为图像真实标签的独热向量,为图像真实标签的独热向量的第个分量,,时表示当前图像属于第类图像类别,时表示当前图像不属于第类图像类别,为文本与视觉特征之间余弦相似度,和为病害类别的索引,,,为第类病害的文本提示特征,为第类病害的文本提示特征,为病害类别数量,为自然指数函数。

24、将作为查询,将作为键和值,输入跨模态表征细化模块进行处理,包括将和分别输入线性层,然后输入交叉注意力模块进行处理,处理结果输入残差前馈网络,输出全局细化特征:

25、;

26、;

27、;

28、;

29、;

30、式中,为通过线性投影矩阵得到的查询,为通过线性投影矩阵得到的键,为通过线性投影矩阵得到的值,为交叉注意力机制输出的特征,,为全局细化特征,,为softmax函数,为线性层,为激活函数,为转置。

31、将作为教师特征,将作为学生特征,构建学生端学习到教师端的特征分布:

32、;

33、式中,为相对熵。

34、将和分别输入分类器,将经过分类器输出的概率分布作为教师特征,将经过分类器输出的概率分布作为学生特征,构建引导学生端学习教师端的类别区分能力:

35、;

36、式中,为作用于的分类器,为作用于的分类器,为基于跨模态文本引导的小麦病害识别模型的输出结果。

37、将和加权聚合,得到全局双重蒸馏损失:

38、;

39、式中,为加权系数。

40、对和的分类器输出结果施加交叉熵损失:

41、;

42、;

43、式中,为对应的交叉熵损失,为对应的交叉熵损失。

44、将、、和进行聚合,构建整体损失函数:

45、。

46、相对比现有技术,本发明具有以下有益效果:本发明利用阶段级残差适配器使具有强大表征能力的clip图像编码器对小麦病害敏感;利用文本语义显式引导模型关注病害形态差异,从而获得具有更强病害判别性的全局细化特征表示;在此基础上,本发明进一步设计全局双重蒸馏机制,将病害感知能力与文本描述能力有效注入至图像编码器,使视觉端具备病害特征表达与隐式文本理解能力,从而赋予模型在推理阶段无需文本辅助即可独立完成植物病害识别的能力。