一种多层级协同的农业物联网感知异常数据检测与恢复方法

本发明涉及农业物联网与智能信息处理，具体涉及一种多层级协同的农业物联网感知异常数据检测与恢复方法。

背景技术：

1、智慧农业系统中，环境感知数据的质量直接决定了自动化决策与控制指令的可靠性。然而，农业现场环境复杂多变，传感器节点长期暴露于温湿度剧烈波动、电磁干扰、物理遮挡及生物活动等不利因素下，采集到的时序数据极易混入高频噪声、突发性离群点、持续性偏移或卡死失真等异常。若不经过有效的检测与恢复，这些异常数据将直接流入决策层，可能导致灌溉、通风、补光等执行设备误动作，甚至引发生产事故。

2、目前针对农业物联网感知数据的异常处理方法主要分为以下几类：

3、基于统计阈值的检测方法，如移动平均法，3σ原则等。此类方法简单易部署，但难以适应农业环境的非线性、非平稳变化，对持续性微弱漂移及复杂模式异常几乎无效。

4、基于传统机器学习的检测方法，如孤立森林、单类支持向量机等。虽然能够捕获一定的数据分布特征，但其特征工程依赖于人工设计，且模型复杂度受限，在资源紧张的感知节点上难以实时运行。

5、基于深度学习的方法，如自动编码器、长短期记忆网络等。这些方法在时间序列异常检测中表现出较强的特征提取能力，但通常需要集中的计算资源，无法直接部署于边缘感知节点；同时，现有方法多仅利用单一数值模态，忽略了现场图像等丰富的环境上下文信息，在遇到传感器自身故障与环境物理骤变（如突降冰雹、叶片遮光）共存的复杂场景时，往往无法准确区分异常根因，导致误报或漏报。

6、分层处理架构在工业物联网中已有研究，但现有分层方案多件不同算法简单地分配到不同层级（如端侧轻量、云侧重），缺乏层间反馈与动态协同机制，未能充分发挥算力梯度和多模态信息的互补优势。

7、因此，如何在算力、存储、通信均受限的农业物联网环境下，构建一种能够兼顾实时性、精准性和鲁棒性的异常数据检测与恢复方法，并充分利用多模态信息消除语义歧义，是当前亟需解决的技术问题。

技术实现思路

1、本发明的目的在于：针对目前存在的上述问题，提供了一种多层级协同的农业物联网感知异常数据检测与恢复方法。

2、本发明的技术方案如下：

3、一种多层级协同的农业物联网感知异常数据检测与恢复方法，包括以下步骤：

4、在感知层，根据感知节点的计算能力与存储约束，将异常值检测算法dbscan执行轻量化适配策略，并通过线性插值算法实现高频流数据的异常初筛与数据填补；

5、在边缘层，部署物理感知深度异常检测模型pa-dmoe，引入多尺度时频双专家网络、动态路由机制及残差门控模块，针对农业长周期时序数据进行精准重构与异常鉴别；

6、在云端，引入具有解耦视觉编码特性的多模态大语言模型，结合结构化提示词与跨模态逻辑校验，并通过低秩适配建立图像信息与传感器数值的关联，完成复杂场景下的异常处理。

7、通过感知-边缘-云三层协同架构，将算力资源与处理任务精准适配：感知层过滤明显离群点，边缘层重构复杂模式异常，云端利用跨模态信息校验疑难样本，逐级提升数据置信度。与单一节点集中处理相比，整体数据清洗效率显著提升，有效避免异常数据流入决策层，增强了农业生产自动化调控的可靠性与稳定性。

8、进一步的，所述引入具有解耦视觉编码特性的多模态大语言模型，结合结构化提示词与跨模态逻辑校验，具体包括：

9、将边缘层处理后的时序数据与同步采集的现场视觉图像数据协同上传至云端，并按照结构化提示词格式组织，构建多模态农业异常分析输入；

10、采用低秩适配技术对预训练的多模态大语言模型janus-pro-7b进行领域微调，建立跨模态特征映射基准；

11、利用微调后的多模态大语言模型，通过解耦视觉编码器提取现场环境的语义特征，消除单一数值模态的语义歧义，实现对复杂故障场景下的数据异常判定与精确恢复；

12、生成最终清洗后的高置信度感知数据，反馈至智慧农业决策层，完成全链路异常防线的闭环控制。

13、在云端引入具有解耦视觉编码特性的多模态大语言模型，通过结构化提示词与lora低秩适配微调，建立了图像语义与传感器数值之间的跨模态逻辑关联。当传感器读数异常时，模型可同步分析现场图像中的环境上下文（如云层厚度、叶片状态、土壤湿度表象等），准确判别异常根因（是传感器自身故障还是环境骤变），从而消除单一数值模态的语义歧义。实验表明（参见图15、图16），微调后的多模态模型在探头遮挡、环境介质异常、硬件老化、微气象骤变等典型农业异常场景下的判定准确率显著优于微调前或纯数值模态模型。最终生成的高置信度数据反馈至决策层，形成全链路闭环。

14、进一步的，所述边缘层中还包括动态残差门控机制：

15、引入可学习的动态残差控制参数，经激活后与全局动态突变权重相乘，得到动态门控系数：

16、，

17、其中，用于自适应调节异常特征与正常季节性特征之间的残差传递比例，为局部标准差；

18、最终将动态残差调制后的季节项与趋势项进行融合，得到完整重构结果：

19、，

20、其中，为季节项重构结果，为反映局部波动的季节项，为自适应残差调制。

21、引入可学习的动态残差控制参数，并与动态路由权重相乘生成动态门控系数，能够自适应调节异常特征与正常季节性特征之间的残差传递比例。当某段数据被路由权重判定为高突变概率时，动态门控系数增大，允许更多原始季节项直接通过，保留真实的物理波动；反之则更多依赖重构的季节项，截断异常透传路径。该机制使得最终重构序列在保持正常周期性模式的同时，有效抑制各类异常畸变。实验表明（参见图10-12），本模型在多类混合异常注入条件下的重构误差显著低于单一lstm-autoencoder或标准moe模型。

22、进一步的，所述动态路由机制具体包括：

23、提取序列的局部标准差、一阶差分及二阶差分作为统计路由特征，并生成动态路由权重：

24、，

25、，

26、其中表示物理统计特征映射结果；

27、基于动态路由权重，对时域专家输出与频域专家输出进行自适应融合，得到单一分支季节项重构结果：

28、，

29、其中，为时域专家输出结果，为频域专家输出结果。

30、提取序列的局部标准差、一阶差分及二阶差分作为物理统计路由特征，通过softmax生成动态路由权重，实现对时域专家（擅长捕获瞬时突变）和频域专家（擅长捕获周期性能量分布）输出的自适应融合。当序列呈现剧烈瞬时波动时，路由权重偏向时域专家；当序列呈现周期性噪声或漂移时，路由权重偏向频域专家。这种物理特征驱动的动态路由机制，使得模型无需人为选择专家，即可对不同隐蔽异常进行有效捕捉，显著提升了复杂异常场景下的重构鲁棒性。

31、进一步的，所述多尺度时频双专家网络具体包括：

32、构建并行分支，对于时域专家，通过编码器与门控机制提取局部时序突变特征：

33、，

34、，

35、其中，为对输入时序数据进行编码和非线性映射后获得的潜在时域特征表示，为激活函数，为编码层；为的门控权重向量，为sigmoid激活函数，为中的门控线性映射层；

36、输出为：

37、，

38、其中，为中的解码层；

39、对于频域专家，通过快速傅里叶变换提取周期频率特征：

40、，

41、生成频域门控权重：

42、，

43、其中，为中的门控线性映射层；

44、将输入季节项序列映射至隐空间特征表示，并结合频域门控信息对隐特征进行动态调制：

45、，

46、其中，为中的编码层；

47、得到频域专家输出结果：

48、，

49、其中，为中的解码层，为正则化模块。

50、时域专家通过编码器与门控机制提取局部时序突变特征，对瞬时脉冲类异常敏感；频域专家通过快速傅里叶变换（fft）提取周期频率特征，并生成频域门控权重，实现对异常频率分量的动态抑制与正常周期分量的增强。双专家并行结构结合门控调制，使得模型能够同时利用时域和频域的互补信息，克服了单一域特征提取不全面的缺陷。实验表明（参见图10-12），本模型对持续性数据漂移、连续高频噪声以及卡死迟滞等复杂异常样本的检测准确率均优于单一域模型。

51、进一步的，所述边缘层中还包括趋势项分解与重构：

52、将感知层上传的原始数据序列分解为表征长周期变化的趋势项和反映局部波动的季节项，即：

53、，

54、输入趋势项映射至低维隐空间进行特征压缩，并经解码器恢复至原始时序维度，得到初步趋势重构结果：

55、，

56、其中，为解码层；

57、利用多尺度专家网络生成的动态路由权重对原始趋势信息进行自适应残差调制：

58、。

59、首先将原始序列分解为趋势项和季节项，实现了长周期变化与局部波动的解耦。趋势项通过编码器-解码器压缩重建后，进一步利用动态路由权重进行自适应残差调制。当序列处于稳定趋势阶段时，允许较多原始趋势信息通过，保留真实的长期演变；当序列处于高突变阶段时，减少原始趋势的贡献，避免异常趋势污染重构结果。该机制使得趋势项重构既能跟随真实物理演变，又能抵抗异常干扰。

60、进一步的，所述边缘层中，通过计算原始输入序列与重构序列之间的重构误差判定异常：

61、，

62、当重构误差超过预设阈值时，判定对应时间位置存在异常数据，并输出异常检测结果及对应恢复后的重构序列。

63、本发明基于重构误差进行异常判定，其中为经过趋势-季节分解、双专家动态融合、残差门控调制后得到的完整重构序列。由于该重构过程充分考虑了时序数据的多尺度特征和异常类型多样性，正常数据的重构误差远小于异常数据，因此可采用固定阈值或动态分位数阈值实现高精度异常定位。实验表明，本方法对复合异常的时间位置检出率显著高于基于移动平均或孤立森林的方法。

64、进一步的，所述感知层中具体包括以下步骤：

65、利用环形缓冲区实现数据存储与窗口滑动，将传统dbscan的高维欧氏距离简化为一维标量绝对值差分，定义两数据点、在邻域半径内的满足条件为：

66、，

67、通过消除浮点运算，仅利用整数减法与逻辑比较指令确定数据点间的密度连接关系；

68、利用长度为的环形缓冲区承载流式数据，当新数据点进入窗口时，通过环形指针覆盖最旧数据点，并更新邻域基数：旧数据剥离阶段：若，则对存留点执行基数递减；新数据融合阶段：若，则对存留点执行基数递增；

69、以密度阈值作为异常判定标准，若新数据点的邻域基数，则判定为异常离群点，针对该点执行线性插值重构：

70、，

71、其中、为滑动窗口内有效的邻近正常数据点，为待重构异常数据点对应的时间戳，为正常数据点对应的时间戳，为正常数据点对应的时间戳。

72、将传统dbscan的高维欧氏距离简化为一维绝对值差分，消除浮点运算，仅利用整数减法与逻辑比较指令；同时利用环形缓冲区实现o(n)复杂度的增量式邻域基数更新（旧数据剥离、新数据融合），避免了每次新数据到达时重新扫描整个窗口。实验数据表明，改进后的dbscan算法执行耗时下降约81.7%，内存消耗由384bytes缩减至112bytes，能够在mcu级别节点上实时运行。线性插值公式利用窗口内邻近正常点进行即时恢复，防止异常数据向上层扩散。

73、进一步的，所述轻量化适配策略使得异常检测算法的计算复杂度为，其中为环形缓冲区长度，且改进后的dbscan算法执行耗时下降81.7%，内存消耗由384bytes缩减至112bytes。

74、本技术在保证检测精度的前提下，将算法计算复杂度严格控制在o(n)（n为环形缓冲区长度），实际测试中执行耗时下降81.7%，内存消耗仅112bytes。这使得资源极度受限的农业物联网感知节点（如8位mcu、kb级内存）也能够部署有效的异常初筛与恢复功能，填补了现有技术在“极致资源约束下高精度检测”方面的空白。

75、进一步的，还包括层间协同处理架构：感知层处理后的数据上传至边缘层，边缘层处理后的时序数据与同步采集的现场视觉图像数据协同上传至云端，云端生成的高置信度感知数据反馈至智慧农业决策层，形成感知-边缘-云全链路闭环处理。

76、构建了感知→边缘→云端→决策层的全链路闭环处理架构，不仅实现了算力梯度适配的任务卸载，更重要的是形成了逐级精化与反馈校验的协同机制：感知层初筛结果降低边缘层计算负载，边缘层重构结果提升云端输入质量，云端多模态校验结果反馈至决策层避免误动作。该闭环结构确保了异常数据无法流入最终决策，显著增强了农业生产自动化调控的稳定性与安全性。

77、与现有的技术相比本发明的有益效果是：

78、1、本技术构建的感知-边缘-云的三层协同架构，依据各层节点的计算与存储能力差异，将异常检测与恢复任务进行合理分配：感知层执行轻量化初筛，边缘层进行深度特征重构，云端完成跨模态智能校验。通过任务卸载与层间协同，避免了单一节点算力瓶颈，整体数据处理延迟大幅降低。实验表明，感知层改进后的轻量化dbscan算法执行耗时较传统dbscan下降约81.7%，内存消耗由384bytes缩减至112bytes，能够满足农业物联网高频流数据的实时处理需求。

79、2、针对农业感知节点计算资源极度受限的特点，本技术将传统dbscan算法进行一维距离简化与环形缓冲区增量更新，彻底消除了高维欧氏距离计算中的浮点运算，仅利用整数减法与逻辑比较指令即可完成密度判定。该设计使得在资源有限的mcu级别节点上即可实时运行异常初筛，同时通过线性插值完成异常数据的即时填补，有效防止异常数据向上层扩散，降低了边缘端和云端的不必要计算负载。

80、3、针对农业长周期时序数据中异常类型多样（瞬时脉冲、持续性漂移、高频噪声、卡死迟滞等）且共存耦合的难题，本技术提出的pa-dmoe模型通过趋势-季节解耦、时频双专家网络与动态路由机制，实现了对不同物理特征异常的自适应捕捉。时域专家擅长捕获瞬时突变，频域专家基于fft提取周期性分布特征，动态路由依据局部标准差、差分等物理统计特征自动调节两者融合比例。结合残差门控模块截断异常透传路径，显著提升了复杂异常场景下的重构精度与鲁棒性。实验对比表明，本模型在多类混合异常注入条件下的检测准确率和恢复精度均优于单一lstm-autoencoder、标准moe等对比模型。

81、4、针对现有方法仅依赖数值模态、无法区分传感器自身故障与环境物理骤变（如突降冰雹、叶片遮挡）的痛点，本技术在云端引入具有解耦视觉编码特性的多模态大语言模型。通过结构化提示词与lora低秩适配微调，建立了图像语义与传感器数值之间的跨模态逻辑关联。当传感器读数异常时，模型可同步分析现场图像中的环境上下文（如云层厚度、叶片状态、土壤湿度表象等），准确判别异常根因，从而实现高置信度的数据恢复。实验表明，微调后的多模态模型在探头遮挡、介质异常、硬件老化、微气象骤变等典型农业异常场景下的判定准确率显著优于纯数值模态或未微调的通用模型。

82、5、本技术的三层架构并非简单的功能堆叠，而是通过任务卸载与逐级精化的协同机制，构建了从数据采集到最终输出的全链路异常防线。感知层过滤明显离群点，边缘层重构复杂模式异常，云端利用跨模态信息校验疑难样本，逐级提升数据置信度。最终输出的高可靠性感知数据直接服务于智慧农业决策层，有效避免了因异常数据引发的灌溉、通风、补光等执行设备误动作，显著增强了农业生产自动化调控的稳定性与安全性。