基于RAG的果园叶片病害跨模态语义对齐与智能问答方法

本发明涉及病虫害图像识别，具体提供一种基于rag的果园叶片病害跨模态语义对齐与智能问答方法。

背景技术：

1、在精准农业领域，利用无人机对果园进行巡检已成为一种高效的手段。现有技术通常采用无人机采集果园的叶片图像或视频，并结合图像识别技术对苹果叶片的病害（如叶斑病、锈病等）进行诊断。为了提升诊断的准确性，部分方案引入了多模态数据处理技术，例如结合文本描述或环境数据构建知识图谱，以辅助病虫害的识别与问答。

2、然而，现有的多模态果园病害监测技术在实际应用中仍存在以下缺陷：

3、1.跨模态语义对齐困难，实体关联精度低：无人机巡检过程中，视频帧数据与操作日志往往存在时间戳偏移和格式异构的问题。现有技术缺乏有效的机制将视频中的“叶片病斑”与日志中的“飞行坐标/时间”进行精确的语义对齐。这导致在构建知识图谱时，视觉实体与操作实体往往割裂存储，难以形成统一的关联网络，导致检索时无法准确定位病害发生的具体时空位置。

4、2.端侧计算资源受限，模型轻量化不足：果园巡检通常要求端侧实时处理数据以保护隐私并降低延迟。然而，现有的跨模态对齐算法，如大型transformer或复杂的gnn网络计算开销巨大，难以在端侧设备上高效运行。缺乏针对端侧优化的轻量化图神经网络，导致现有系统在处理大规模视频流与日志数据时，响应速度慢，难以满足实时巡检的需求。

5、3.动态数据更新滞后，缺乏增量学习机制：果园环境是动态变化的，新的病害样本和巡检日志会不断产生。现有技术通常采用离线训练或全量更新的方式构建图谱，当新增视频帧或日志变更时，无法实现低成本的增量更新。这导致知识图谱的时效性差，且重复训练消耗大量算力，无法适应果园环境的实时变化。

技术实现思路

1、本发明的目的在于提供一种基于rag的果园叶片病害跨模态语义对齐与智能问答方法，以解决现有技术中因视频帧与操作日志的模态异构及时间偏移导致的实体对齐精度低、端侧计算开销大以及图谱更新滞后的技术问题。

2、第一方面，本发明提供了一种基于rag的果园叶片病害跨模态语义对齐与智能问答方法，包括以下步骤：

3、获取无人机拍摄的叶片视频帧和对应的操作日志，并进行端侧预处理；

4、对预处理后的数据进行跨模态病害信息转化，分别构建操作日志知识图谱、叶片视频帧知识图谱以及病害实体键值对；

5、利用轻量化图神经增强网络lite-gnner，基于时间戳和空间坐标，对所述操作日志知识图谱和叶片视频帧知识图谱进行跨模态语义对齐，构建统一的跨模态知识图谱；

6、当监测到新增视频帧或操作日志变更时，采用dere-sta-cel机制对所述跨模态知识图谱进行增量学习更新；

7、响应用户的病害查询，基于更新后的跨模态知识图谱进行自适应检索，并生成包含病害截图与巡检摘要的多模态问答结果。

8、优选地，对预处理后的数据进行跨模态病害信息转化，具体包括：

9、利用轻量化多模态模型phi-3-vision-mini，结合lite-lora和disease-sft策略，将叶片视频帧转化为图谱结构；

10、其中，节点表示病害区域与叶片状态，边表示空间邻接与病害传播关系；

11、从视频帧与操作日志中联合抽取病害实体，生成键值对存储；

12、其中，键为病害实体唯一标识，值包含时间戳、果园空间坐标及病害标签。

13、优选地，利用轻量化图神经增强网络lite-gnner，基于时间戳和空间坐标，对所述操作日志知识图谱和叶片视频帧知识图谱进行跨模态语义对齐，构建统一的跨模态知识图谱，具体包括：

14、对操作日志知识图谱和叶片视频帧知识图谱执行轻量化图拉普拉斯平滑以优化拓扑结构；

15、通过lite-gnner的消息传递机制融合时间戳、果园空间坐标与病害语义特征，更新节点嵌入；

16、在优化后的嵌入空间中，基于余弦相似度实现叶片视频帧实体与操作日志实体的语义匹配与融合。

17、优选地，采用dere-sta-cel机制对所述跨模态知识图谱进行增量学习更新，具体包括：

18、采用densenet结合sta提取新增视频帧的视觉特征，采用regnet结合sta提取新增操作日志的文本特征；

19、对提取的视觉特征和文本特征执行双线性池化，生成跨模态联合嵌入；

20、采用上下文嵌入损失cel优化嵌入一致性，并对新增子图执行lite-gnner前向传播与局部优化，实现图谱扩展。

21、优选地，所述上下文嵌入损失cel的损失函数为：

22、

23、其中，y表示新增病害实体的真实病害标签，表示模型对新增病害实体的预测结果，λ表示正则化系数，h表示新增节点的嵌入表示，c表示受影响子图中与新增节点相关的上下文嵌入表示；crossentropy(y,)用于约束新增节点的病害语义预测，||h-c||2用于约束新增节点与原有知识图谱上下文之间的嵌入一致性。

24、优选地，响应用户的病害查询，基于更新后的跨模态知识图谱进行自适应检索，并生成包含病害截图与巡检摘要的多模态问答结果，具体包括：

25、利用phi-3-mini生成查询嵌入，在跨模态知识图谱索引中执行k-nn检索，提取相关病害实体与巡检关系子图；

26、将所述相关病害实体与巡检关系子图分别输入轻量化语言模型phi-3-mini生成巡检摘要，以及输入多模态模型生成病害截图；

27、采用加权融合方式整合所述巡检摘要、所述病害截图，生成最终输出报告。

28、优选地，进行端侧预处理，具体为：

29、采用mobilenet-ocr结合distilbert对视频帧进行关键帧提取与ocr识别，对操作日志进行结构化解析，生成包含病害实体、时空坐标与语义描述的结构化多模态数据。

30、第二方面，本发明一种基于rag的果园叶片病害跨模态语义对齐与智能问答系统，包括：

31、数据预处理模块，用于获取并预处理无人机叶片视频帧和操作日志；

32、图谱构建模块，用于构建操作日志知识图谱、叶片视频帧知识图谱及病害实体键值对；

33、语义对齐模块，用于利用lite-gnner网络进行跨模态语义对齐并构建统一跨模态知识图谱；

34、增量更新模块，用于基于dere-sta-cel机制对跨模态知识图谱进行实时更新；

35、智能问答模块，用于基于更新后的图谱进行检索并生成多模态问答结果。

36、本发明的有益效果为：

37、1.通过获取无人机拍摄的叶片视频帧和对应的操作日志，并分别构建操作日志知识图谱、叶片视频帧知识图谱，利用轻量化图神经增强网络lite-gnner，基于时间戳和空间坐标进行跨模态语义对齐，构建统一的跨模态知识图谱。这一过程有效解决了视频与日志因时序偏移和模态异构导致的实体对齐难题，将割裂的视觉实体与操作实体在统一的语义空间中进行关联，显著提升了病害实体检索的准确性和时空定位的精确性。

38、2.通过采用轻量化图神经增强网络lite-gnner进行语义对齐，并利用phi-3-vision-mini等轻量化模型进行图谱构建，大幅降低了模型的计算复杂度和参数量。这使得整个病害诊断流程能够在端侧设备上高效运行，避免了将敏感数据上传至云端，既保护了数据隐私，又实现了低延迟的实时病害诊断与问答。

39、3.通过采用dere-sta-cel机制对跨模态知识图谱进行增量学习更新，当监测到新增视频帧或操作日志变更时，无需对整个图谱进行重新训练，仅对新增子图进行局部优化和扩展。这极大地降低了模型更新的计算开销，确保了知识图谱能够实时反映果园病害的最新变化，保持了诊断知识的时效性。

40、4.通过采用densenet结合sta提取视觉特征，regnet结合sta提取文本特征，并通过双线性池化生成联合嵌入，实现了视觉与文本特征的深度融合。采用上下文嵌入损失cel优化嵌入一致性，确保了新增数据与原有知识图谱在语义空间上的一致性，提高了增量更新的质量。