一种基于分层解耦与冷热数据分流的物联网系统的制作方法

本发明涉及物联网数据传输与边缘存储管理，具体为一种基于分层解耦与冷热数据分流的物联网系统。

背景技术：

1、随着物联网终端数量的持续增加，边缘网关需要长期接收并处理大量来自传感节点的监测数据，这些数据既包含告警类、异常类的关键优先级信息，也包含周期采集形成的常规数据；在网络带宽波动、链路异常频发以及本地存储资源受限的应用情景下，如何在有限缓存和不稳定上行条件下优先保障关键数据的留存与传输，已经成为物联网系统设计中需要解决的重要问题；

2、传统的物联网数据上传与缓存管理目前主要依赖于如下方式：按照统一队列顺序进行数据缓存和上送、按照固定优先级进行数据发送、在存储空间不足时进行简单覆盖或统一压缩处理；

3、但是统一队列缓存、固定优先级发送，以及简单覆盖或统一压缩等方式都存在一定的缺陷，例如统一队列方式难以区分告警数据与普通数据，容易导致关键数据在链路拥塞时发生排队延迟；固定优先级方式对带宽变化、缓存占用变化和网络异常状态的适应能力不足，难以兼顾实时性和总体保全率；简单覆盖或统一压缩方式则容易在网络中断或存储退化时造成重要上下文数据丢失，难以满足复杂物联网情景下对关键数据优先传输、分级缓存和自适应调度的需求。

技术实现思路

1、本发明的目的在于提供一种基于分层解耦与冷热数据分流的物联网系统，避免传统物联网数据处理中统一队列和简单覆盖造成的关键数据排队延迟与重要上下文数据丢失，且能够在网络波动和本地存储资源受限等复杂工况下优先保障关键数据的留存与自适应调度传输，从而降低关键告警数据的排队时延，并有效提高有限缓存条件下的总体保全率。

2、本发明的目的可以通过以下技术方案实现：

3、一种基于分层解耦与冷热数据分流的物联网系统，包括本地存储单元、数据采集与链路探测模块、热度计算与分区缓存模块、状态汇总与自适应调度模块及结果反馈与策略调整模块；

4、本地存储单元划分为热区、温区和冷区；

5、数据采集与链路探测模块用于获取终端发送的至少含时间戳、数据源标识和数据类型标识的数据帧，确定当前时间窗口有效带宽，依链路探测结果生成网络异常标志，并生成含探测时刻、有效带宽和该网络异常标志的链路观测记录；

6、热度计算与分区缓存模块用于基于数据值偏差、事件出现频次和数据源优先级计算数据热度，据此将数据帧写入热区、温区或冷区，输出各分区的分区占用率和队列长度信息；

7、状态汇总与自适应调度模块用于据有效带宽、网络异常标志、分区占用率和队列长度信息生成含分区发送优先级、发送速率和重试限制策略的差异化调度规则，并依该规则发送各分区数据帧；

8、结果反馈与策略调整模块用于接收云端确认应答与校准参数，确定热数据确认超时率，依存储介质校验失败记录和坏块增加比例中至少一项生成本地存储异常标志，并据该超时率和本地存储异常标志调整差异化调度规则及热度计算基准。

9、在一些可能的实现方式中，热度计算与分区缓存模块用于获取偏差因子、时间集中因子和预设优先级因子，并根据偏差因子、时间集中因子和预设优先级因子加权求和得到综合热度值，其中各因子的权重为预先存储的非负系数，且各权重之和为一；

10、偏差因子为当前数据值与针对该数据源确定的局部基准之差的绝对值经归一化处理后得到的数值，时间集中因子为预设时间窗内基于预设事件规则判定的同类事件出现频次经归一化处理后得到的数值，预设优先级因子为依据数据源类型映射表确定的归一化优先级数值；

11、综合热度值大于或等于预设的热数据阈值时，将数据帧写入热区；当综合热度值大于或等于预设的温数据阈值且小于热数据阈值时，将数据帧写入温区；

12、当综合热度值小于温数据阈值时，将数据帧写入冷区，其中热数据阈值大于温数据阈值。

13、在一些可能的实现方式中，状态汇总与自适应调度模块根据热区、温区和冷区的队列长度信息及有效带宽确定发送优先级，并按照所确定的发送优先级发送各分区数据帧；

14、当热区非空时，优先发送热区中的数据帧；当温区的分区占用率大于或等于预设的第一占用率阈值且有效带宽大于或等于预设的第一最小带宽阈值时，在发送热区数据帧的过程中按照差异化调度规则插入发送温区中的数据帧；

15、当热区清空且温区队列长度大于零时，优先发送温区中的数据帧；当热区清空、温区的分区占用率小于第一占用率阈值且在连续预设时间窗口内有效带宽的剩余比例持续大于预设的剩余带宽比例阈值时，执行冷区数据帧的限速后台回传，其中有效带宽的剩余比例为当前时间窗口内未被已分配发送速率占用的带宽与当前有效带宽的比值，限速后台回传的发送速率不高于当前有效带宽的预设比例。

16、在一些可能的实现方式中，结果反馈与策略调整模块用于在连续探测失败次数超过预设限制且判定网络处于完全中断状态时，停止非告警数据帧的上传重试，其中完全中断状态为连续探测失败次数超过预设限制且当前时间窗口内未获得有效带宽；

17、热区仅保留最新告警数据帧、与最新告警数据帧具有相同事件标识的数据帧以及相对于最新告警数据帧所在时间窗口的前一时间窗口和后一时间窗口内的关联数据帧，并对冷区数据执行基于数据帧变化幅度和时效性的选择性保留处理；

18、当连续探测失败次数达到带宽探测失效阈值时，将有效带宽锁定为设备预配置链路带宽的固定预设比例，并停止温区数据帧的主动发送。

19、在一些可能的实现方式中，当冷区的分区占用率达到高占用阈值时，热度计算与分区缓存模块根据同一统计窗口内各数据帧的偏差程度、相邻数据帧变化幅度和基于数据帧时效性确定的时效修正值加权求和确定保留优先级；

20、按照保留优先级执行选择性保留，仅保留保留优先级排名前预设比例的数据帧；

21、其中，相邻数据帧变化幅度为相邻数据帧之间测量值差值的绝对量与对应数据类型全量程跨度的比值；对未保留数据帧中保留优先级低于预设保留阈值且相邻数据帧变化幅度低于预设压缩阈值的数据帧合并为统计摘要信息，其余未保留数据帧丢弃，其中统计摘要信息至少包括统计窗口标识、数据类型标识、数据帧数量、最大值、最小值和平均值。

22、在一些可能的实现方式中，结果反馈与策略调整模块用于在设定时间窗口内接收到云端返回的校准参数时，依据校准参数更新局部基准和参考周期参数；

23、当连续未收到校准参数的时间超过设定时长时，启用本地校准流程，并选取最近预设时间段内历史数据帧对应数据值的中位数作为新的局部基准。

24、在一些可能的实现方式中，结果反馈与策略调整模块用于在本地存储异常标志表征存在存储介质校验失败记录和坏块增加比例中的至少一项时，依据热区、温区和冷区在异常状态下的可用存储空间生成各分区的有效容量更新结果，其中有效容量更新结果至少包括热区有效容量、温区有效容量和冷区有效容量；

25、当热区的有效容量低于最小安全容量阈值时，在保证温区保留容量不低于其最小保留容量的前提下，从温区的可分配容量中划拨容量至热区，并根据更新后的有效容量重新确定分区占用率，状态汇总与自适应调度模块基于重新确定的分区占用率调整差异化调度规则。

26、本发明的有益效果：

27、1、本发明通过综合数据值偏差、事件出现频次和数据源优先级计算数据热度，将数据精准分流至热区、温区或冷区，打破了传统物联网网关统一队列缓存的局限；配合状态汇总与自适应调度模块，系统能够根据实时探测的有效带宽和各分区占用率动态调整发送顺序与速率；在链路拥塞或带宽波动时，不仅能优先保障关键告警数据免受排队延迟影响，还能在带宽富余时通过穿插发送和限速后台回传充分利用网络资源，有效兼顾了关键数据的实时性与整体带宽的利用率；

28、2、本发明针对网络完全中断或存储空间紧张导致的简单覆盖与统一压缩痛点，本发明设计了精细化的降级处理机制；在网络中断时停止无效重试，热区仅定向保留最新告警帧及其前后关联上下文；同时在冷区高占用时，依据数据帧的偏差程度、变化幅度和时效性进行选择性保留，并将未保留的常规平稳数据合并为统计摘要信息；这一机制有效防止了本地有限存储被大量重复平稳数据耗尽，在极限工况下最大程度保全了异常事件的完整发展过程与长期数据变化趋势，显著提高了网络恢复后的有效信息补传量；

29、3、本发明针对恶劣环境下传感器基线漂移和本地存储介质老化的问题，本发明引入了本地校准与存储异常动态划拨机制；在长时间未收到云端校准参数时，系统可自主利用历史数据中位数更新局部基准，防止因基线漂移导致的热度误判；在检测到存储校验失败或坏块增加时，系统能够基于真实可用空间重算有效容量，并在必要时跨分区将温区容量划拨给热区；该机制确保了即使在底层硬件退化的情况下，系统仍能优先守住关键告警数据的最小安全缓存底线，大幅增强了设备在长期运行中的可靠性与自愈能力。