一种作物病害图像自适应检索截断与拒识诊断方法及系统

摘要: 本发明涉及计算机视觉领域,特别涉及一种作物病害图像自适应检索截断与拒识诊断方法及系统。背景技术:1、植物病虫害的快速、精准识别是智慧农业、智能农药施用及作物健康...
一种作物病害图像自适应检索截断与拒识诊断方法及系统

本发明涉及计算机视觉领域,特别涉及一种作物病害图像自适应检索截断与拒识诊断方法及系统。

背景技术:

1、植物病虫害的快速、精准识别是智慧农业、智能农药施用及作物健康管理的核心支撑技术之一。随着计算机视觉与大语言模型技术的飞速发展,结合检索增强生成(retrieval-augmented generation, rag)与视觉语言模型(vision-language model,vlm)的作物病害自动诊断系统逐渐成为农业智能化领域的研究热点。通过在诊断过程中引入已知病害样本库的视觉及文本元数据作为参考上下文,能够显著提升大模型对复杂田间病害的诊断准确性。

2、在现有的实施方案中(例如中国专利公开号为 cn121882102a 的文献),通常采用轻量级视觉分类网络、元数据匹配、多模态生成的两阶段诊断架构。该方案首先利用预先训练的轻量级视觉分类网络对待识别图像进行推理,输出具体的病害类别标签;随后,利用该病害类别标签去匹配背景知识库中的文本元数据,进行两级过滤检索并召回参考样本;最后,将召回的参考样本与待识别图像一同拼接为提示词上下文,输入生成式大模型中获得最终诊断结果。

3、然而,发明人在实现本发明的过程中发现,上述技术过度依赖前端类别预测,零样本泛化能力极其匮乏。现有两阶段检索方法的起点完全建立在轻量级视觉分类网络的输出结果之上。当田间出现训练集中未涵盖的新型病害、变异病害或跨作物病理特征时(即零样本场景),前端分类网络要么强行将其误分类为已知的错误类别,要么输出置信度极低的不稳定标签。这直接导致后续的元数据标签匹配检索在入口处即发生方向性偏差,无法准确召回真正相关的参考图像,使得整个诊断链路瘫痪。

4、其次还存在检索截断参数硬编码,缺乏基于相似度分布形态的自适应调节能力。现有检索增强方法普遍采用固定阈值或固定数量的经验截断策略(例如设置固定的相似度阈值 0.55 或固定召回 topk=5)。这些参数通常是在特定实验数据集上通过人工调优确定的常量。然而,在实际应用中,不同特征提取模型的向量空间分布形态存在巨大差异,且样本库在不同病害类别下的分布密度分布极不均衡。采用固定的截断阈值,在样本分布稠密时极易引入低相似度的噪声样本,稀释有效信息;而在样本分布稀疏或特征判别力较低时,又容易导致真正相关的参考样本被错误剔除。

5、除此之外还存在缺乏前端置信度校准与拒识机制,存在高误诊与大模型幻觉风险。现有诊断系统默认"无论检索召回何种质量的参考样本,均强制送入视觉语言模型进行推理生成"。当样本索引库中完全缺失与待识别图像相似的可信参考样本时,现有系统无法在推理前识别该知识盲区,导致视觉语言模型在缺乏可信上下文支撑的情况下强行"猜想",进而产出逻辑严密但结论错误的幻觉诊断结果,极大误导农户与田间技术人员,造成严重的经济损失。

6、综上,现在急需一种能够摆脱对前端病害类别标签预测的依赖,实现基于纯视觉特征向量近邻的直接检索;并能够克服固定硬编码阈值无法适应向量分布形态变化的问题;建立可靠的前端置信度校准与拒识分流机制,在样本库无可信参考上下文时主动中断盲目推理并转入人工审核的作物病害图像自适应检索截断与拒识诊断方法及系统。

技术实现思路

1、本发明提供了一种作物病害图像自适应检索截断与拒识诊断方法及系统,能够摆脱对前端病害类别标签预测的依赖,实现基于纯视觉特征向量近邻的直接检索;并能够克服固定硬编码阈值无法适应向量分布形态变化的问题;建立可靠的前端置信度校准与拒识分流机制,在样本库无可信参考上下文时主动中断盲目推理并转入人工审核,从根本上降低系统的误诊率与幻觉风险。

2、为了解决上述技术问题,本技术提供如下技术方案:

3、一种作物病害图像自适应检索截断与拒识诊断方法,包括以下步骤:

4、s1. 获取待识别作物病害图像,利用图像特征提取模型将待识别作物病害图像编码为待识别视觉特征向量;

5、s2. 在预先构建的样本特征向量索引库中进行纯视觉向量近邻检索,得到按相似度降序排列的预设前 topk 个候选样本及其对应的相似度得分序列;检索基于视觉特征向量距离进行,独立于病害类别预测结果;

6、s3. 对 topk 个候选样本的相似度得分序列施加绝对下界保护过滤,并对过滤后的相似度得分序列计算相邻样本间的相似度差值序列,基于相似度差值序列的最大值与平均值的相对突出度比值判定相似度分布的陡崖陡峭程度(即骤降分界/突降程度),据此动态确定保留的参考样本数量,对候选样本进行自适应截断,得到目标参考样本集合;

7、s4. 计算目标参考样本集合的统计特征,基于统计特征判断是否触发拒识机制;若目标参考样本集合为空、或目标参考样本集合中的最高相似度得分低于预设的第一阈值、或目标参考样本集合中的平均相似度得分低于预设的第二阈值,则触发拒识机制,跳过大模型推理并输出引导至人工审核的拒识诊断结果;

8、s5. 当未触发拒识机制时,将待识别作物病害图像、目标参考样本集合中的参考样本图像及其绑定的病害描述信息组装为多模态上下文,输入视觉语言模型进行推理,输出待识别作物病害图像的病虫害诊断结果。

9、基础方案原理及有益效果如下:本发明步骤 s1、s2 采用纯视觉向量近邻检索,高维视觉特征向量直接捕捉病斑形态、颜色分布、纹理结构及病变边缘等细粒度视觉病理特征,摒弃了"分类预测→标签匹配元数据"的中间环节,彻底摆脱了对前端分类模型训练类别的依赖。面对训练集之外的零样本新型病害、变异株病害或跨作物病理特征图像,仍能基于纯视觉表观相似性准确召回知识库中表观最相近的参考样本,避免了分类网络误分类导致的检索入口方向性瘫痪,显著增强了诊断系统在复杂田间零样本场景下的泛化能力与召回鲁棒性。

10、步骤 s3 利用最大差值与平均差值的相对突出度比值捕捉相似度分布的陡崖特征。若存在真正相关的参考样本,相似度序列在相关簇与非相关背景簇之间必然出现陡峭的相似度骤降陡崖;若缺乏强相关样本,相似度序列则呈平缓下降态势。由此消除了传统方法强烈依赖人工调优硬编码阈值的弊端:在样本分布稠密或高相似度簇清晰时,精准切除骤降点之后的噪声样本,确保召回上下文的纯净度;在样本分布稀疏或相似度平缓下降时,配合上下界约束自适应收紧参考图数量。

11、步骤 s4 将检索截断与拒识判断建立为严格的先后依赖关系,在视觉语言模型推理之前设立置信度安全闸门。当截断后目标参考样本集合为空、或最高相似度与平均相似度低于安全基线时,说明样本索引库存在知识盲区,系统主动拦截盲目推理并将异常流量精准分流至人工专家审核,从根本上解决了现有技术"听起来合理但无依据"的幻觉误诊问题;而在通过拒识检查的优质上下文中,视觉语言模型能够在可信参考信息的引导下产出高准确度、高可解释性的诊断报告。

12、通过步骤 s3 的最大间隙自适应截断,目标参考样本数量由传统的固定 top-5精简至动态的平均 2.7~3.0 张。实验数据证明,在不降低端到端视觉语言模型诊断准确率的前提下,显著减少了输入给大模型的无效文本与图像 token 数量,降低了单次推理时延与计算 api 消耗成本。

13、整个诊断链路无需重新训练庞大的分类模型,仅需标准图像特征提取器与向量索引后端配合本发明的自适应截断与拒识逻辑即可部署运行,算法逻辑轻量,与现有的通用计算机视觉及大模型工程栈完全兼容,易于在智慧农业移动端及云端服务中快速落地。

14、综上,本发明实现了摆脱对前端病害类别标签预测的依赖,基于纯视觉特征向量近邻的直接检索;并能够克服固定硬编码阈值无法适应向量分布形态变化的问题;建立可靠的前端置信度校准与拒识分流机制,在样本库无可信参考上下文时主动中断盲目推理并转入人工审核,从根本上降低系统的误诊率与幻觉风险的效果。

15、进一步,步骤 s3 中基于相似度差值序列的最大值与平均值的相对突出度比值动态确定保留的参考样本数量的具体过程包括:

16、若相似度差值序列的平均值大于零且最大值与平均值的比值大于或等于预设的相对突出度阈值,则判定相似度分布存在显著分界,将最大差值对应的相邻位置确定为截断点,截断点之前的候选样本数量即为截断数量;

17、若相似度差值序列的平均值小于或等于零、或比值小于预设的相对突出度阈值,则判定相似度分布为平滑下降,将预设的最大截断数量与过滤后有效样本数量的最小值确定为截断数量,其中,所述预设的相对突出度阈值取值范围为1.5~3.0。。

18、进一步,步骤 s3 中还包括对确定的截断数量施加上下界约束:

19、将确定后的截断数量约束在预设的最小截断数量与预设的最大截断数量之间;

20、当经绝对下界保护过滤后的有效样本数量为0时,直接输出目标参考样本集合为空;当过滤后的有效样本数量为1时,直接保留该单条样本作为目标参考样本集合,跳过比值计算。

21、进一步,步骤 s4 中触发拒识机制的判断条件还包括:若目标参考样本集合中的样本数量小于预设的最小截断数量,亦触发拒识机制;拒识诊断结果中包含拒识状态标识、具体的拒识原因文本以及包含重新拍照指引、补充症状描述指引或人工农技专家联系方式的引导分流信息。

22、进一步,步骤 s1 中对编码得到的视觉特征向量进行 l2 归一化处理;步骤 s2中的纯视觉向量近邻检索为计算归一化后的待识别视觉特征向量与样本特征向量索引库中各预存归一化向量的向量内积,并将向量内积结果作为余弦相似度得分;

23、步骤 s5 中的多模态上下文组装包含按提示词架构依次拼接的系统角色指示文本、按相似度降序排列的目标参考样本集合中各参考样本的图像指针与病害元数据文本对、以及待识别作物病害图像指针与诊断格式要求文本。

24、进一步,步骤 s4 中触发拒识机制后,还包括基于拒识向量流的未知新病害自动聚类预警与演化分析步骤:

25、实时收集触发拒识机制的多个待识别视觉特征向量,形成拒识向量流,并基于预设的时间窗口或数量窗口对拒识向量流进行动态缓存;

26、在缓存的拒识向量流上应用无监督密度聚类算法,识别出向量空间中密度高于预设密度阈值的聚类簇,其中每个聚类簇代表一种潜在的未知新病害或已知病害的新型变异株;

27、对识别出的聚类簇计算簇中心向量与簇内散度,当聚类簇的样本数量达到预设预警阈值且簇内散度低于预设收敛阈值时,自动提取该聚类簇对应的多张待识别作物病害图像的视觉显著性特征区域,生成新病害预警工单并推送到专家终端;

28、响应于专家终端对新病害预警工单的确认与命名指令,自动将该聚类簇的簇中心向量或全量成员向量及其专家命名元数据批量更新至样本特征向量索引库中,完成病害知识图谱自发性的拓扑结构扩增与演化。

29、进一步,步骤 s3 中的绝对下界保护阈值、以及步骤 s4 中的预设第一阈值与预设第二阈值,根据所使用的图像特征提取模型的向量空间分布特性进行自适应标定;对于基于通用图像特征提取模型的向量空间,绝对下界保护阈值取值范围为 0.05 至 0.30,第一阈值取值范围为 0.05 至 0.90,第二阈值取值范围为 0.05 至 0.70。

30、进一步,还包括基于拒识分流的闭环增量更新步骤:

31、将触发拒识机制的待识别作物病害图像及其待识别视觉特征向量存入待审数据库;

32、获取人工专家对待审数据库中图像标定的真实病害类型与描述信息;

33、将标定后的视觉特征向量与对应的描述信息作为新增样本记录直接追加写入样本特征向量索引库与元数据数据库中,实现免重新训练的增量索引重构。

34、进一步,步骤 s2 之后且步骤 s3 之前,还包括基于农业多维时空与宿主属性约束的动态相似度加权重排步骤:

35、获取待识别作物病害图像采集时的环境时空数据以及宿主作物器官类型数据,其中环境时空数据包含采集季节、地理区域及环境温湿度,宿主作物器官类型数据包含叶片、果实、茎秆或根部;

36、将待识别作物病害图像的环境时空数据与宿主作物器官类型数据分别与索引库中各候选样本的预存时空元数据及器官元数据进行匹配,计算时空匹配度得分与器官匹配度得分;

37、利用预设的时空权重系数与器官权重系数,将步骤 s2 检索得到的原始视觉余弦相似度得分与时空匹配度得分、器官匹配度得分进行加权融合,生成多维综合相似度得分,并基于多维综合相似度得分对 topk 个候选样本重新进行降序排列,以更新相似度得分序列;

38、同时,在步骤 s5 中将目标参考样本集合输入视觉语言模型时,根据目标参考样本集合中最高相似度得分与第二阈值的差值比率,动态调节视觉语言模型的生成采样温度参数:当最高相似度得分远高于第二阈值时降低温度参数以提高诊断结果的确定性,当最高相似度得分接近第二阈值时适当提高温度参数以增强模型对复杂症状的推理发散度。

39、一种作物病害图像自适应检索截断与拒识诊断系统,包括:

40、图像特征提取模块,用于获取待识别作物病害图像,利用图像特征提取模型将待识别作物病害图像编码为待识别视觉特征向量;

41、向量检索模块,用于在预先构建的样本特征向量索引库中进行纯视觉向量近邻检索,得到按相似度降序排列的预设前 topk 个候选样本及其对应的相似度得分序列,检索基于视觉特征向量距离进行,独立于病害类别预测结果;

42、自适应截断模块,用于对 topk 个候选样本的相似度得分序列施加绝对下界保护过滤,并对过滤后的相似度得分序列计算相邻样本间的相似度差值序列,基于相似度差值序列的最大值与平均值的相对突出度比值判定相似度分布的陡崖陡峭程度,据此动态确定保留的参考样本数量,对候选样本进行自适应截断,得到目标参考样本集合;

43、置信度拒识模块,用于计算目标参考样本集合的统计特征,基于统计特征判断是否触发拒识机制;若目标参考样本集合为空、或目标参考样本集合中的最高相似度得分低于预设的第一阈值、或目标参考样本集合中的平均相似度得分低于预设的第二阈值,则触发拒识机制,跳过大模型推理并输出引导至人工审核的拒识诊断结果;

44、多模态诊断模块,用于在未触发拒识机制时,将待识别作物病害图像、目标参考样本集合中的参考样本图像及其绑定的病害描述信息组装为多模态上下文,输入视觉语言模型进行推理,输出待识别作物病害图像的病虫害诊断结果。