基于大数据辅助决策的多源数据一致性校验方法与流程

本发明涉及大数据处理，具体涉及一种基于大数据辅助决策的多源数据一致性校验方法。

背景技术：

1、在工业物联网与大数据辅助决策领域，多源异构数据的深度融合是实现高可靠决策的基础。这些数据来自各类传感器、控制器及业务数据库，需要通过采集、清洗、融合到校验的完整链路，才能转化为有效的决策依据。

2、其中，多源时序数据的一致性校验是保证融合质量的关键环节。现有技术通常采用统一授时或简单时差比对进行时间同步，并基于固定的采集时间差评估数据新鲜度，最后通过固定粒度的重采样和固定阈值完成一致性校验。

3、然而，在复杂的工业现场环境下，设备硬件差异与网络波动会从物理层面破坏这一静态流程的准确性，导致偏差计算失真与融合校验误判，难以满足高实时性与高可靠性的决策需求。

技术实现思路

1、为了解决现有技术因设备硬件差异与网络波动，导致多源数据一致性校验过程中存在精度失准与误判率高的技术问题，本发明的目的在于提供一种基于大数据辅助决策的多源数据一致性校验方法，所采用的技术方案具体如下：

2、第一方面，提供一种基于大数据辅助决策的多源数据一致性校验方法，包括：获取多个数据源的时间戳序列和网络传输延迟序列，以及传感器观测值序列；根据每个数据源的时间戳序列分析数据源的时钟源物理稳定性，确定每个数据源的动态信任权重，并根据多个数据源的动态信任权重确定数据源之间的时间同步偏差度；根据每个数据源的网络传输延迟序列分析网络传输延迟波动程度，确定用于表征数据有效性受网络抖动侵蚀程度的新鲜度衰减系数；根据时间同步偏差度和每个数据源的新鲜度衰减系数，构建时序一致性指标；根据时序一致性指标和时间同步偏差度对传感器观测值序列执行时序对齐与自适应重采样，并根据时间同步偏差度和新鲜度衰减系数，完成重采样对齐后的传感器观测值序列的一致性校验并输出一致性校验结果。

3、基于上述技术方案，在本发明提供的一种基于大数据辅助决策的多源数据一致性校验方法中，通过量化各数据源时钟源物理稳定性与网络传输延迟波动对时序对齐的深层影响，构建了以动态信任权重、时间同步偏差度和新鲜度衰减系数为核心的多维量化指标体系，并在此基础上构建时序一致性指标，驱动时序对齐与自适应重采样，再以时间同步偏差度与新鲜度衰减系数动态调整校验阈值以完成一致性校验，使得多源数据在异步与抖动工况下的时序对齐精度与一致性校验准确率显著提升，有效降低了因低精度时钟源权重失配与网络延迟波动侵蚀数据有效性所导致的校验误判。

4、结合上述第一方面，在一种可能的实现方式中，上述根据每个数据源的时间戳序列分析数据源的时钟源物理稳定性，确定每个数据源的动态信任权重的方法，具体包括：统计每个数据源的时间戳序列中相邻时间戳的时间间隔；统计每个数据源对应的时间间隔的稳定参数；稳定参数用于表征数据源的时钟源物理稳定性；根据稳定参数确定每个数据源的动态信任权重。

5、结合上述第一方面，在一种可能的实现方式中，上述根据多个数据源的动态信任权重确定数据源之间的时间同步偏差度的方法，具体包括：从多个数据源中选取动态信任权重最大的数据源作为参考基准数据源；统计每个数据源的时间戳序列与参考基准数据源的时间戳序列之间的差值，并结合每个数据源的动态信任权重进行加权和归一化处理，得到时间同步偏差度。

6、结合上述第一方面，在一种可能的实现方式中，上述在确定每个数据源的动态信任权重之前，该方法还包括：对每个数据源的时间戳序列进行局部方差检测，剔除时间戳序列中与历史平均间隔的偏差超出预设间隔阈值的跳变时间戳；若时间同步偏差度在连续多个周期内均超出预设偏差阈值，则减小预设间隔阈值。

7、结合上述第一方面，在一种可能的实现方式中，上述根据每个数据源的网络传输延迟序列分析网络传输延迟波动程度，确定用于表征数据有效性受网络抖动侵蚀程度的新鲜度衰减系数的方法，具体包括：提取网络传输延迟序列的波动参数；通过预设的指数衰减模型，以网络传输延迟序列中数据采集与接收之间的延迟时间为基准衰减输入，以波动参数作为加速衰减因子，解算得到新鲜度衰减系数。

8、结合上述第一方面，在一种可能的实现方式中，上述根据时间同步偏差度和每个数据源的新鲜度衰减系数，构建时序一致性指标的方法，具体包括：根据每个数据源的时间间隔的稳定参数，确定表征系统时钟噪声干扰程度的噪声干扰度；根据噪声干扰度和时间同步偏差度，确定稳态置信度分量；稳态置信度分量用于表征系统内部稳态置信度；根据新鲜度衰减系数和时间同步偏差度，确定动态韧性分量；动态韧性分量用于表征系统外部动态鲁棒性；将稳态置信度分量和动态韧性分量融合，得到时序一致性指标。

9、结合上述第一方面，在一种可能的实现方式中，上述根据时序一致性指标和时间同步偏差度对传感器观测值序列执行时序对齐与自适应重采样的方法，具体包括：根据时序一致性指标，对传感器观测值序列执行时序对齐策略，得到对齐后的传感器观测值序列；时序对齐策略包括：若时序一致性指标大于或等于预设一致性阈值，则采用精准时间戳对齐策略；若时序一致性指标小于预设一致性阈值，则采用动态时间窗口对齐策略，动态时间窗口的宽度根据时间同步偏差度确定；根据时间同步偏差度调整重采样粒度；根据调整后的重采样粒度对对齐后的传感器观测值序列进行重采样和插值，得到重采样对齐后的传感器观测值序列。

10、结合上述第一方面，在一种可能的实现方式中，上述根据时间同步偏差度和新鲜度衰减系数，完成重采样对齐后的传感器观测值序列的一致性校验并输出一致性校验结果的方法，具体包括：分析重采样对齐后的传感器观测值序列之间的数值相关性特征和趋势相似性特征；根据时间同步偏差度和新鲜度衰减系数，动态调整一致性校验阈值；将数值相关性特征和趋势相似性特征分别与调整后的一致性校验阈值进行比较，根据比较结果生成一致性校验结果并输出。

11、结合上述第一方面，在一种可能的实现方式中，上述根据时间同步偏差度和新鲜度衰减系数，动态调整一致性校验阈值的方法，具体包括：若新鲜度衰减系数大于或等于预设新鲜度下限且时间同步偏差度大于或等于预设偏差下限、小于或等于预设偏差上限，或者，若时间同步偏差度小于或等于预设偏差上限且新鲜度衰减系数大于或等于预设新鲜度下限、小于或等于预设新鲜度上限，按照预设的插值映射关系，在常规校验值与收紧校验值之间调整一致性校验阈值。

12、结合上述第一方面，在一种可能的实现方式中，上述根据时间同步偏差度调整重采样粒度的方法，具体包括：根据时间同步偏差度和预设场景敏感系数，确定粒度增量倍数；根据预设基准采样周期与粒度增量倍数，确定调整后的重采样粒度。

13、第二方面，提供一种基于大数据辅助决策的多源数据一致性校验装置，包括处理器和存储器，存储器存储有计算机程序，计算机程序被处理器执行时，能够实现如第一方面或第一方面的任一种可能的实现方式中所描述的动作。

14、本发明具有如下有益效果：

15、通过量化各数据源时钟源物理稳定性与网络传输延迟波动对时序对齐的深层影响，构建了以动态信任权重、时间同步偏差度和新鲜度衰减系数为核心的多维量化指标体系，并在此基础上构建时序一致性指标，驱动时序对齐与自适应重采样，再以时间同步偏差度与新鲜度衰减系数动态调整校验阈值以完成一致性校验，使得多源数据在异步与抖动工况下的时序对齐精度与一致性校验准确率显著提升，有效降低了因低精度时钟源权重失配与网络延迟波动侵蚀数据有效性所导致的校验误判。