时间先验约束与多模态视觉融合的甘蔗发育期识别方法与流程

本发明涉及智慧农业与计算机视觉交叉，一种结合物候先验知识、多模态语义大模型（clip）以及视觉图像特征提取技术的甘蔗全生命周期发育阶段图像识别方法。

背景技术：

1、随着智慧农业的发展，利用计算机视觉进行甘蔗等农作物全生命周期监测已成为研究热点。然而，现有的甘蔗发育期识别技术主要存在以下缺陷：

2、（1）单一数据驱动的不可靠性： 传统的深度学习模型大多处于黑盒状态，在非典型气候条件或跨季候场景下极易产生严重偏离常理的幻觉误判。

3、（2）环境干扰适应性差： 单纯依靠rgb视觉特征的识别系统在面对不同光照、拍摄距离以及复杂田间背景时，鲁棒性较低。

4、（3）缺乏决策可解释性： 现有算法往往只输出发育期的最终概率，无法提供符合农业逻辑的溯源链路，难以满足农业生产对智能决策系统的信任度要求。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于时间先验约束与多模态视觉融合的甘蔗发育期识别方法，以解决现有技术中模型解释性差、易产生跨季节幻觉误判以及在复杂环境下泛化能力不足的问题。

2、本发明解决上述技术问题的技术方案如下：时间先验约束与多模态视觉融合的甘蔗发育期识别方法，包括如下的步骤：

3、步骤1，解析待测图像时间信息并转换为年内序数，结合甘蔗基准发育期时间区间计算当前日期与物候边界的最小距离，依据20 天阈值与给定公式判定作物处于稳定期或交界期，生成对应合法候选阶段集合；

4、步骤2，针对步骤 1 判定的交界期图像，利用计算机视觉技术 opencv 结合颜色空间、傅里叶变换、边缘检测技术，提取植被颜色占比、纹理方向、覆盖率、边缘密度等物理视觉特征，形成底层视觉特征数据；

5、步骤3，在交界期场景下，依托步骤 1 限定的候选范围、步骤 2 提取的视觉特征，并行运行 k最邻近算法向量检索、clip 多模态图文匹配、视觉启发式规则判定三类算法，同步保留时间基准结果，输出多路初步识别结果；

6、步骤4，以步骤 1 生成的非对称合法候选阶段集合为校验标准，筛选步骤 3 中多路算法的输出结果，剔除超出候选范围的无效结果，保留合规结果进入投票环节；

7、步骤5，为步骤 4 保留的各路有效结果分配固定权重，进行加权累加计票，选取累计得分最高的发育期作为单图最终识别结论；

8、步骤6，汇总同一监测站点下所有图像的步骤 5 单图识别结果，采用多数投票法过滤离群异常值，输出该站点整体主导发育期；

9、步骤7，基于步骤 5 单图结果与步骤 6 站点聚合结果，绑定单图推理逻辑链、站点结果、地理坐标等信息，生成带完整溯源链路的 shapefile 空间矢量文件，完成结果空间化输出。

10、在一些可能实现的方式中，步骤1具体为：

11、步骤1.1，提取待测图像文件名中的时间戳，解析年、月、日并转换为年内序数；预设甘蔗播种期、出苗期、分蘖期、茎伸长期、工艺成熟期五大发育期对应的基准上下边界、及各阶段时间区间；

12、步骤1.2，计算当前日期年内序数与基准发育期上下边界的最小距离，按照下述公式判定状态并生成合法候选集合：

13、；

14、若最小距离＞20 天：判定为发育稳定期，合法候选集仅包含当前目标发育期；若最小距离≤20 天：判定为发育交界期，合法候选集包含当前目标发育期与相邻发育期；

15、步骤1.3，稳定期直接输出当前发育期结果，终止流程；交界期保留合法候选集，进入下一视觉分析流程。

16、步骤1依托甘蔗物候先验知识构建时间门控规则，以 20 天为阈值划分发育状态，通过数学公式硬性约束候选范围。有益效果为：实现稳定期零误差锁定，稳定期无需调用视觉算法，减少算力消耗；交界期仅保留相邻阶段作为候选，从底层截断跨季节、跨阶段的幻觉误判。

17、在一些可能实现的方式中，步骤2具体为：

18、步骤2.1，基于 hsv 颜色空间统计像素占比：划定绿色区间 [25, 40, 40]-[95,255, 255]，计算绿色植被比例；截取图像感兴趣区域，统计黄褐色像素占比，得到枯黄叶片比例；

19、步骤2.2，对图像执行二维傅里叶变换进行频域分析，计算垂直方向与水平方向频谱能量比值，得到植株垂直度/纹理方向特征；

20、步骤2.3，结合绿色植被比例与枯黄叶片比例计算植被覆盖率，通过 canny 边缘检测提取边缘密度特征，整合所有特征形成物理视觉特征集。

21、步骤2依托图像底层像素、频域、边缘的物理属性，建立与甘蔗不同生长形态对应的量化特征体系。有益效果为：以客观物理特征作为规则判定依据，弥补纯 ai 语义识别的随机性，为后续规则推理提供基础约束，提升复杂田间光照、拍摄环境下的识别鲁棒性。

22、在一些可能实现的方式中，步骤3具体为：

23、步骤3.1，k 最邻近算法检索：使用 clip 模型提取待测图像与参考图库图像的特征向量，计算向量相似度完成近邻检索，输出发育期识别结果；结合 clip 模型识别图像近景/远景视角，采用懒加载机制动态调用对应视角参考图库，避免图库冗余；

24、步骤3.2，clip 多模态图文匹配：加载预设甘蔗各发育期、拍摄视角对应的英文文本提示词 prompt，将图像张量与文本特征映射至同一个512 维语义空间，通过零样本zero-shot 余弦相似度匹配，输出图文识别结果；

25、步骤3.3，基于步骤 2 提取的绿色占比、枯黄占比、频域纹理等物理特征，结合预设经验阈值规则引擎，逻辑推理得到识别结果；

26、步骤3.4，沿用步骤 1 的时间推断结果作为时间基准保底结果，汇总四路初步识别结果。

27、步骤3融合少样本 knn 检索、零样本多模态大模型、传统机器视觉规则三类异构算法，形成互补的竞争推理架构。有益效果为：摆脱对大规模标注数据的依赖，实现低标注高泛化识别；大模型负责高维语义理解，传统视觉规则负责物理常识纠偏，综合提升复杂场景识别精度。

28、在一些可能实现的方式中，步骤4具体为：

29、步骤4.1，读取步骤 1 确定的当前交界期合法候选阶段列表，作为唯一有效结果范围；

30、步骤4.2，逐一校验步骤 3 中 k 最邻近算法检索、clip、视觉规则三类算法的识别结果：若结果属于合法候选集，则保留；若超出候选范围，判定为逻辑越界，直接剔除，不参与后续投票；

31、步骤4.3，时间基准保底结果默认属于合法候选集，直接保留。

32、步骤4以物候时间先验作为硬性逻辑约束，过滤 ai 算法产生的违背农时规律的异常结果。有益效果为：进一步杜绝跨阶段、跨季节误判，保证所有参与决策的结果均符合甘蔗生长规律，强化识别逻辑合理性。

33、在一些可能实现的方式中，步骤5具体为：

34、步骤5.1，预设各算法模块固定权重： k 最邻近算法检索权重 1.5、clip 多模态匹配权重 1.2、视觉启发式规则权重 1.0、时间基准保底权重 0.8；

35、步骤5.2，对校验通过的每一类识别结果，按照对应权重累加计算各发育期总得分；

36、步骤5.3，对比所有候选发育期的累计得分，将得分最高的阶段判定为单图像最终识别结果。

37、步骤5根据不同算法的可信度差异化配置权重，通过加权投票融合多源结果，弱化单一算法缺陷。有益效果为：提升交界期等模糊场景下的识别稳定性；加权投票过程透明化，实现识别流程白盒化，具备可解释性。

38、在一些可能实现的方式中，步骤6具体为：

39、步骤6.1，收集同一站点全部图像的单图最终识别结果，统计各发育期结果的出现频次；

40、步骤6.2，采用多数投票规则，剔除频次极低的离群异常结果，选取出现频次最高的发育期作为站点主导发育期。

41、步骤6利用同站点多帧图像的结果冗余性，通过统计投票抵消单张图像拍摄角度、光照带来的偶然误差。有益效果为：提升区域尺度甘蔗发育期识别的整体稳定性，降低单样本干扰造成的局部误判。

42、在一些可能实现的方式中，步骤7具体为：

43、步骤7.1，整理逻辑溯源信息：记录时间窗口判定结果、交界期标识、k 最邻近算法检索/clip/视觉规则/时间基准四路原始结果、加权投票计票明细、单图最终结论，形成完整推理链路；

44、步骤7.2，结合图像对应的站点 id、wgs84 坐标系地理坐标，使用 geopandas 构建空间数据对象；

45、步骤7.3，将单图识别结果、逻辑溯源链、站点主导发育期、地理信息统一封装，导出为 esri shapefile空间矢量文件。

46、步骤7将 ai 识别的推理过程、判定结果与地理空间信息结合，标准化输出农业空间数据格式。有益效果为：识别结果全程可追溯、可复核，解决传统深度学习黑盒问题；空间化文件可直接对接智慧农业 gis 平台，支撑区域农情时空分析，满足农业智能决策的可信性要求。

47、本发明的有益效果是：

48、（1）误差的时间域截断与阶段锁定机制

49、本发明首创稳定期零误差锁定与交界期非对称候选集的时间门控机制。基于时间与甘蔗物候窗口的相对天数距离构面判定规则，如公式（1）所示：

50、                      （1）

51、其中，为当前日期的年内序数，和为当前基准发育期的上下边界，为合法候选集合。在占全年大部分时间的发育稳定期，距离边界超过20天，绕过不必要的视觉干扰，误差直接被锁定为0；在发育交界期，利用动态时间偏向生成的候选集合s将最大可能误差物理阶段在相邻的一个物候期内，从算法底层彻底杜绝了跨季节、跨阶段的离谱误判。

52、（2）低标注高泛化的识别能力

53、本方法摒弃了单一且依赖大量标注数据的黑盒深度学习模型，创新性地采用多源算法竞争架构。融合了多模态大模型clip与动态提示词工程，通过多模态图文匹配实现零样本zero-shot识别，同时利用knn算法实现参考图库的少样本few-shot向量检索，以及提取绿度、枯黄度、频域垂直度的物理启发式视觉规则。该方法既具备大模型的高维语义泛化能力，又有传统视觉的物理底座支撑，即使在缺乏大规模新站点标注数据的情况下，依然能保持极高的识别鲁棒性。

54、（3）可解释的白盒化仲裁与空间化输出

55、本方法不仅实现了精准的自动识别，更保障了农业决策所需的高度可解释性。通过设置加权仲裁模块（如knn权重1.5、多模态1.2、物理视觉1.0、时间保底0.8），将每一次诊断过程转换为可视化的多路加权投票博弈。最终输出的基准gis空间矢量文件（.shp格式）中，完整封装了单图维度的逻辑溯源特征串（logic trace，如time[月.日]->knn(期)->mm(期)->vis(期)->votes{计票}）。这使得识别结果具备完全透明的逻辑白盒特性，便于人工复核，为智慧农业平台的时空大数据分析提供了高度可信的数据底座。