基于多模型融合的荔枝果园遥感图像决策分析系统

本发明涉及人工智能与精准农业交叉，更具体的说是涉及一种基于多模型融合的荔枝果园遥感图像决策分析系统。

背景技术：

1、目前，无人机遥感技术已在果园管理中广泛应用，可通过非接触方式获取高分辨率荔枝冠层图像，在5-15米飞行高度下可达到毫米级地面分辨率，足以分辨花朵、果实、枝梢等精细结构。但果园农艺分析聚焦于图像中的精细目标区域（roi），荔枝的花苞、果实、梢芽等目标尺度差异极大，且不同物候期需监测的核心指标不同，对检测模型的细粒度识别能力提出了较高要求。

2、yolo系列目标检测模型凭借速度与精度的平衡优势，已应用于荔枝开花率估算、果实检测等场景，但现有研究均针对单一农艺指标训练独立模型，不同模型之间无法通用。荔枝果园管理需覆盖开花率、果实成熟度、梢芽生长、秋冬梢识别等多类指标，且用户在获取图像前无法预判场景类型，无法预先选择匹配的检测模型，形成多模型的后验选择困境。若将图像输入全部模型，不适用场景的模型会因视觉特征相似性产生系统性误检，且误检置信度多处于0.5-0.7区间，无法通过简单的置信度阈值有效过滤，人工筛选与汇总不仅效率低，还存在信息损失。

3、现有将目标检测与大语言模型结合的农业诊断方案，均基于单一检测模型与大模型的集成，仅实现检测结果到决策的转化，无法解决多专用目标检测模型的场景匹配与噪声过滤问题，难以适配荔枝果园多物候期、多指标的监测需求。

4、因此，如何提供一种能够适配荔枝果园不同物候期的多维度监测需求，且能够独立推理的遥感图像决策分析系统，是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于多模型融合的荔枝果园遥感图像决策分析系统。

2、为了实现上述目的，本发明采用如下技术方案：

3、本发明涉及一种基于多模型融合的荔枝果园遥感图像决策分析系统，包括：

4、多目标并行检测模块：将同一帧荔枝果园原始无人机遥感图像并行输入多个预先训练的专用目标检测模型，各专用目标检测模型独立进行推理运算，分别输出异构格式的结构化检测结果。

5、结构化文本融合模块：接收全部专用目标检测模型输出的异构格式的结构化检测结果，将异构格式的结构化检测结果转换为统一格式的结构化文本，生成与原始无人机遥感图像一一对应的统一格式的结构化文本，并与原始无人机遥感图像建立关联映射。

6、多模态大语言模型决策引擎模块：将原始无人机遥感图像与结构化文本共同输入至经低秩适配处理后的多模态大语言模型，由多模态大语言模型执行多阶段思维链推理，结合荔枝物候期领域知识库，输出荔枝果园的结构化决策报告。

7、优选的，多目标并行检测模块中多个预先训练的专用目标检测模型为四个基于yolo架构的专用目标检测模型，分别为开花率检测模型、果实成熟度检测模型、梢芽长度测量模型和秋冬梢识别模型。

8、四个模型分别针对荔枝花器官分类计数、果实成熟度分级、梢芽长度测量、枝梢类型分类共四类检测任务进行独立训练与部署。

9、优选的，各专用目标检测模型输出与其检测任务对应的结构化检测结果，结构化检测结果包含检出目标总数、置信度数据与状态标记，具体包括：

10、开花率检测模型：用于检测原始无人机遥感图像中花苞检测数量、盛开花朵检测数量、开花率计算值、各检测目标的置信度数据及空间位置信息。

11、果实成熟度检测模型：用于检测原始无人机遥感图像中青果、转色果和红果的分级检测数量、成熟率计算值、各检测目标的置信度数据及空间位置信息。

12、梢芽长度测量模型：用于检测原始无人机遥感图像中梢芽检测数量、单梢芽像素长度值、长度统计量、各检测目标的置信度数据及空间位置信息。

13、秋冬梢识别模型：用于检测原始无人机遥感图像中秋梢检测数量、冬梢检测数量、秋冬梢检测数量占比、各检测目标的置信度数据及空间位置信息。

14、未检出对应目标的专用目标检测模型输出零检出标识和无效应答信息。

15、优选的，结构化文本融合模块还包括：

16、构建检测结果汇总表，记录转换为统一格式的结构化文本，对检出目标总数低于预设最低阈值，且置信度数据低于预设置信度阈值的专用目标检测模型标注待验证状态标记。

17、在检测结果汇总表中为每个专用目标检测模型生成独立的信息块，信息块记录对应的专用目标检测模型的结构化检测结果。

18、保留全部检测目标的置信度数据，检出目标为零的专用目标检测模型在检测结果汇总表中对应信息块标注未检出有效目标的状态标记。

19、优选的，多模态大语言模型决策引擎模块中的多阶段思维链推理，依次包括场景识别阶段、置信度评估阶段、交叉验证阶段和决策生成阶段共四个推理阶段。

20、优选的，场景识别阶段包括：

21、以原始无人机遥感图像为视觉输入，不依赖结构化检测结果，由多模态大语言模型输出场景判断结果，场景判断结果包括对应的荔枝物候期场景类型、目标密集程度与图像质量。

22、优选的，置信度评估阶段包括：

23、以场景判断结果为基准，与结构化检测结果进行逐一比对，为每个模型输出对应的置信度标签。

24、其中，专用目标检测模型的检测目标与场景类型匹配，且结构化检测结果满足与视觉观察一致，将对应专用目标检测模型的结构化检测结果置信度标签标注为高置信度。

25、专用目标检测模型的检测目标与场景类型明显不符，将对应专用目标检测模型的结构化检测结果置信度标签标注为低置信度。

26、专用目标检测模型的检测目标零检出且场景判断结果中不存在与模型对应的检测目标，将对应专用目标检测模型的结构化检测结果置信度标签标注为场景确认无此类目标。

27、专用目标检测模型的检测目标的检出量与检出目标数低于预设最低阈值且置信度数据低于预设置信度阈值，则将对应专用目标检测模型的结构化检测结果置信度标签标注为噪声输出。

28、将标注为待验证状态的模型输出需重点进行场景匹配校验，标注为高置信度与场景确认无此类目标的统计信息和状态标记输出进入下一推理阶段。

29、优选的，交叉验证阶段包括：

30、筛选出的高置信度检测结果与场景确认无此类目标的结果为输入，利用预置的荔枝物候期领域知识库中的检测指标间约束关系进行相互验证，约束关系包括花期与成熟果实不共存于同一枝梢、开花率与果实成熟度的物候时序错位、秋梢比例与果实产量的负相关关系。

31、当检测到不同专用目标检测模型的结构化检测结果之间存在矛盾时，重新比对场景判断结果与对应专用目标检测模型的检测置信度分布，若确认某专用目标检测模型误检则调整其置信度标签为低置信度；若视觉上存在同株异枝、局部物候差异特征，则判定为特殊场景，保留结构化检测结果并标注异常。

32、若检测指标间约束符合对应的专用目标检测模型，则提升检测置信度，输出交叉验证后的可靠检测信息。

33、优选的，决策生成阶段包括：

34、以交叉验证后的可靠检测信息为输入，结合荔枝物候期领域知识库，生成结构化决策报告。

35、荔枝物候期领域知识库包含各物候期的标准指标范围、异常判定规则、农事操作规范与注意事项。

36、结构化决策报告包含果园当前状态评估结果、各农艺指标详评、异常警示信息与分级农事操作建议，每条农事操作建议附带对应的来源推理依据。

37、经由上述的技术方案可知，与现有技术相比，本发明的有益效果至少包括：

38、①端到端消除人工环节的信息损失，实现全流程自动化。本发明通过多模型并行运行与多模态大模型的后验场景仲裁，无需人工预判图像场景即可自动筛选可信检测结果，消除了人工选择模型、人工汇总解读结果两个环节的信息损耗与效率瓶颈，实现从原始无人机遥感图像到决策建议的全自动端到端推理。

39、②多指标协同覆盖与交叉验证提升决策可靠性。四个专用yolo模型可同时输出开花、果实、梢芽、枝梢四类农艺指标，结合荔枝物候学的内在约束关系进行交叉验证，通过多源信息互证降低单一模型误检的影响，避免单一数据源的偏差传导至最终决策。

40、③参数高效微调降低适配成本，支持快速迭代。采用低秩适配技术对多模态大模型进行领域微调，仅需训练极少量参数即可提升模型对结构化检测文本与思维链推理格式的适配性，训练成本低。