一种基于多模态融合的交互式植物病害诊断方法及系统
本发明涉及植物病害识别,特别是涉及一种基于多模态融合的交互式植物病害诊断方法及系统。
背景技术:
1、植物病害的准确识别是保障农作物产量和品质的重要环节。传统植物病害诊断方式主要依赖农业技术人员通过观察植物叶片、果实以及茎秆等部位的病斑形态、颜色变化、分布特征等表观症状进行人工判断。随着计算机视觉技术和深度学习技术的发展,基于图像识别的植物病害诊断方法逐渐应用于农业生产场景。现有技术通常利用卷积神经网络、视觉注意力模型等特征学习方法,对植物病害图像中的纹理、颜色、形态以及空间分布特征进行提取,并根据提取的图像特征完成病害类别识别。例如,邵明月等在《深度学习在植物叶部病害检测与识别的研究进展》,《智慧农业(中英文)》2022年第4卷第1期第29-46页中,对深度学习方法在植物叶部病害检测与识别中的应用进行了总结,指出深度学习模型能够有效提升植物病害图像自动识别能力。但是,在实际农业生产环境中,植物病害图像容易受到光照变化、拍摄角度、叶片遮挡以及背景复杂程度等因素影响,使得病斑区域特征提取存在不稳定性。
2、为了进一步提高植物病害识别准确性,现有研究开始引入文本语义信息,将植物病害症状描述、病害类别描述等文本信息与图像特征进行联合分析,通过视觉信息和语义信息之间的关联关系增强病害识别能力。例如,杨森等在《多模态引导视觉transformer的小样本农作物病害识别》,《农业工程学报》2025年第41卷第6期第195-203页中,提出利用视觉特征和文本语义特征进行跨模态匹配,以提高小样本条件下农作物病害识别性能;叶鹏林等在《农作物病虫害自监督适应性多模态特征融合识别方法》,《智慧农业(中英文)》2026年第8卷第1期第72-84页中,研究了基于图像特征和文本特征融合的病虫害识别方法,通过不同模态信息之间的关联关系提升病虫害识别效果。上述研究表明,将植物病害图像信息与症状语义信息进行融合,能够利用不同类型信息之间的互补关系,提高病害识别过程中的特征表达能力。
3、然而,现有多模态植物病害识别方法通常基于通用视觉语义模型或预先构建的图文样本进行特征学习,通用模型所学习的特征分布与植物病害领域中的病斑细粒度变化、症状描述差异存在一定偏差,导致视觉特征与症状语义特征之间难以保持稳定对应关系。同时,在实际诊断过程中,植物病害图像可能存在病斑区域较小、特征信息不完整等情况,用户输入的症状描述也可能存在表达方式不同、描述内容不充分等问题,使得不同模态信息在诊断过程中的贡献程度发生变化。现有固定方式的特征融合方法难以根据植物病害领域特征差异调整视觉信息和语义信息之间的关联关系,容易影响多模态融合诊断结果的准确性。因此,需要针对植物病害领域特征分布特点,对视觉特征和语义特征进行领域适配,并建立更加适应植物病害场景的多模态融合诊断方法。
技术实现思路
1、为了克服现有技术的不足,本发明的目的是提供一种基于多模态融合的交互式植物病害诊断方法及系统,本发明解决了现有植物病害多模态识别方法存在领域特征适配能力不足的问题。
2、为实现上述目的,本发明提供了如下方案:
3、一种基于多模态融合的交互式植物病害诊断方法,包括:
4、获取待诊断植物的病害图像以及与所述病害图像对应的症状描述文本;
5、对所述病害图像进行视觉特征提取,获得病害视觉特征,并对所述症状描述文本进行语义特征提取,获得症状语义特征;
6、根据所述病害视觉特征与所述症状语义特征之间的特征分布差异,确定用于表征植物病害领域特征差异的领域调整参数;
7、基于所述领域调整参数,对所述病害视觉特征和所述症状语义特征进行特征迁移调整,获得领域适配视觉特征和领域适配语义特征;
8、根据所述领域适配视觉特征与所述领域适配语义特征之间的关联程度,确定用于约束跨模态一致性的第一融合约束参数以及用于增强病害类别区分性的第二融合约束参数;
9、基于所述第一融合约束参数和所述第二融合约束参数确定融合参数,并根据所述融合参数对所述领域适配视觉特征和所述领域适配语义特征进行融合,获得融合诊断特征;
10、根据所述融合诊断特征确定植物病害诊断结果。
11、一种基于多模态融合的交互式植物病害诊断系统,包括:
12、病害信息获取模块,用于获取待诊断植物的病害图像以及与所述病害图像对应的症状描述文本;
13、多模态特征提取模块,用于对所述病害图像进行视觉特征提取,获得病害视觉特征,并对所述症状描述文本进行语义特征提取,获得症状语义特征;
14、领域特征调整模块,用于根据所述病害视觉特征与所述症状语义特征之间的特征分布差异,确定用于表征植物病害领域特征差异的领域调整参数;
15、特征迁移适配模块,用于基于所述领域调整参数,对所述病害视觉特征和所述症状语义特征进行特征迁移调整,获得领域适配视觉特征和领域适配语义特征;
16、融合约束参数确定模块,用于根据所述领域适配视觉特征与所述领域适配语义特征之间的关联程度,确定用于约束跨模态一致性的第一融合约束参数以及用于增强病害类别区分性的第二融合约束参数;
17、多模态融合诊断模块,用于基于所述第一融合约束参数和所述第二融合约束参数确定融合参数,并根据所述融合参数对所述领域适配视觉特征和所述领域适配语义特征进行融合,获得融合诊断特征;
18、诊断结果确定模块,用于根据所述融合诊断特征确定植物病害诊断结果。
19、本发明公开了以下技术效果:
20、本发明提供了一种基于多模态融合的交互式植物病害诊断方法及系统,本发明通过获取植物病害图像以及对应的症状描述文本,并对图像信息和文本信息分别进行特征提取,获得病害视觉特征和症状语义特征;进一步根据两类特征之间的特征分布差异确定领域调整参数,并利用所述领域调整参数对病害视觉特征和症状语义特征进行特征迁移调整,获得适用于植物病害场景的领域适配视觉特征和领域适配语义特征,从而降低不同模态特征之间的领域差异;同时,通过确定用于约束跨模态一致性的第一融合约束参数以及用于增强病害类别区分性的第二融合约束参数,对不同模态特征的融合过程进行调整,提高融合诊断特征对植物病害信息的表征能力,进而提高植物病害诊断结果的准确性和可靠性。
1.一种基于多模态融合的交互式植物病害诊断方法,其特征在于,包括:
2.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述对所述病害图像进行视觉特征提取,获得病害视觉特征,并对所述症状描述文本进行语义特征提取,获得症状语义特征,包括:
3.根据权利要求2所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述对所述病害图像进行视觉信息解析,获得图像基础特征,包括:
4.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述根据所述病害视觉特征与所述症状语义特征之间的特征分布差异,确定用于表征植物病害领域特征差异的领域调整参数,包括:
5.根据权利要求4所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述根据所述跨模态分布差异信息确定特征迁移方向,包括:
6.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述基于所述领域调整参数,对所述病害视觉特征和所述症状语义特征进行特征迁移调整,获得领域适配视觉特征和领域适配语义特征,包括:
7.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述根据所述领域适配视觉特征与所述领域适配语义特征之间的关联程度,确定用于约束跨模态一致性的第一融合约束参数以及用于增强病害类别区分性的第二融合约束参数,包括:
8.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述基于所述第一融合约束参数和所述第二融合约束参数确定融合参数,并根据所述融合参数对所述领域适配视觉特征和所述领域适配语义特征进行融合,获得融合诊断特征,包括:
9.根据权利要求1所述的一种基于多模态融合的交互式植物病害诊断方法,其特征在于,所述根据所述融合诊断特征确定植物病害诊断结果,包括:
10.一种基于多模态融合的交互式植物病害诊断系统,其特征在于,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com