一种多源异构数据动态路由与自适应清洗采集方法及系统与流程

本发明涉及新能源场站数据采集，尤其涉及一种一种多源异构数据动态路由与自适应清洗采集方法及系统方法及系统。

背景技术：

1、新能源数据采集作为场站集中监控的核心支撑，广泛应用于风电与光伏领域。随着装机规模扩张，相关技术通过时序数据库、大数据平台与采集网关的协同作业，构建了多源异构数据汇聚体系。具体地，该体系涵盖了从设备感知、协议解析到分层存储的全过程，包括实时流式写入、历史批量聚合及跨源数据同步等关键环节，旨在满足高频监测与经营分析的双重需求。

2、然而，现有采集方法中，直接采用静态路由与通用时间戳去重策略，并没有结合新能源业务语义进行动态适配。由于缺乏对测点生命周期属性的识别，导致实时数据被迫执行聚合逻辑而增加延迟，且无法区分人工补录修正与重复上报，极易引发电量统计偏差。此外，僵化的并发机制难以感知后端负载波动，在数据源响应异常时缺乏自适应降级能力，从而可能导致系统雪崩，严重影响监控数据的准确性与系统运行稳定性。

技术实现思路

1、本发明的主要目的在于提供一种多源异构数据动态路由与自适应清洗采集方法。

2、本发明的另一个目的在于提出多源异构数据动态路由与自适应清洗采集装置。

3、本发明的第三个目的在于提出一种电子设备。

4、本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

5、为达上述目的，本发明第一方面实施例提出了多源异构数据动态路由与自适应清洗采集方法，包括：

6、s1，加载测点配置文件，解析各测点显式定义的生命周期模式属性，根据生命周期模式属性将待采集测点动态映射至流式采集通道或批处理采集通道，并加载与生命周期模式属性对应的物理约束规则；

7、s2，对各数据源执行定期探针测试，获取实时响应时间和吞吐量指标，并计算各数据源的调度权重，并调整历史采集任务的分片粒度及并发资源分配；

8、s3，通过流式采集通道直接获取实时运行数据，通过批处理采集通道依据预设聚合策略和时间窗口获取历史累计数据，得到原始采集数据；

9、s4，将原始采集数据载入基于设备标识划分的滑动时间窗口，并检索是否存在时间重叠的旧数据，若重复则丢弃，若为有效修正数据则标记保留，将清洗后的数据批量写入目标库，自适应调整下一轮调度权重及任务分片。

10、可选的，加载测点配置文件，解析各测点显式定义的生命周期模式属性，根据生命周期模式属性将待采集测点动态映射至流式采集通道或批处理采集通道，并加载与生命周期模式属性对应的物理约束规则，包括：

11、读取测点配置文件中显式定义的生命周期模式属性，当所述生命周期模式属性标识为实时态时，将待采集测点映射至绑定高并发内存队列的流式采集通道，并加载强制禁用聚合函数及开启物理突变检测的物理约束规则；

12、当所述生命周期模式属性标识为历史态时，将待采集测点映射至绑定批处理线程池的批处理采集通道，并加载包含聚合策略、时间窗及时区对齐规则的物理约束规则。

13、可选的，对各数据源执行定期探针测试，获取实时响应时间和吞吐量指标，并计算各数据源的调度权重，并调整历史采集任务的分片粒度及并发资源分配，包括：

14、定期向各数据源发送轻量级查询作为探针测试，记录各数据源的实时响应时间和吞吐量，采用滑动窗口计算平滑值以消除瞬时波动；

15、基于所述实时响应时间和所述吞吐量计算归一化后的响应时间得分和吞吐量得分：

16、

17、

18、其中，为当前所有数据源中的最小响应时间，为当前所有数据源中的最大吞吐量；

19、利用可配置的权重系数和计算综合得分：

20、

21、并将所述综合得分归一化为总和为1的调度权重；

22、根据所述调度权重动态调整分配给各数据源的采集点数，设总任务量为，则分配给数据源的任务量为：

23、。

24、可选的，通过流式采集通道直接获取实时运行数据，通过批处理采集通道依据预设聚合策略和时间窗口获取历史累计数据，得到原始采集数据，包括：

25、若通过所述流式采集通道执行采集，则直接连接时序数据库的最新写入接口拉取最新数据，执行格式标准化处理且不应用任何聚合函数；

26、若通过所述批处理采集通道执行采集，则根据配置文件中绑定的聚合策略和时间窗，构造包含时区转换逻辑和预聚合函数的查询语句，从大数据平台或时序数据库中拉取经过聚合计算的历史累计数据作为原始采集数据。

27、可选的，将原始采集数据载入基于设备标识划分的滑动时间窗口，并检索是否存在时间重叠的旧数据，若重复则丢弃，若为有效修正数据则标记保留，将清洗后的数据批量写入目标库，自适应调整下一轮调度权重及任务分片，包括：

28、在内存中维护基于设备id分片的滑动时间窗口，窗口长度为配置文件中定义的最大物理延迟阈值；

29、当新数据进入时，检索窗口内是否存在时间戳的旧数据，若存在时间重叠的旧数据，则计算数值变化率：

30、

31、其中，和分别为新数据和旧数据的数值，和分别为新数据和旧数据的时间戳；

32、将所述数值变化率与动态调整的变化率阈值进行比较，若则判定为重复补录并丢弃新数据，若则判定为有效修正并保留新数据同时触发数据修正告警，若数据违反物理规律，直接拦截并报错；

33、将清洗后的数据批量写入目标库，记录本次采集的耗时和成功率，更新负载感知模型，用于下一轮的任务分片调整。

34、为达上述目的，本发明第二方面实施例提出了一种多源异构数据动态路由与自适应清洗采集装置，包括：

35、映射模块，用于加载测点配置文件，解析各测点显式定义的生命周期模式属性，根据生命周期模式属性将待采集测点动态映射至流式采集通道或批处理采集通道，并加载与生命周期模式属性对应的物理约束规则；

36、测试模块，用于对各数据源执行定期探针测试，获取实时响应时间和吞吐量指标，并计算各数据源的调度权重，并调整历史采集任务的分片粒度及并发资源分配；

37、采集模块，用于通过流式采集通道直接获取实时运行数据，通过批处理采集通道依据预设聚合策略和时间窗口获取历史累计数据，得到原始采集数据；

38、检索模块，用于将原始采集数据载入基于设备标识划分的滑动时间窗口，并检索是否存在时间重叠的旧数据，若重复则丢弃，若为有效修正数据则标记保留，将清洗后的数据批量写入目标库，自适应调整下一轮调度权重及任务分片。

39、关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

40、为达上述目的，本技术第三方面实施例提出了一种电子设备，包括：处理器和存储器；其中，所述处理器通过读取所述存储器中存储的可执行程序代码来运行与所述可执行程序代码对应的程序，以用于实现如第一方面实施例所述的一种多源异构数据动态路由与自适应清洗采集方法。

41、为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面实施例所述的一种多源异构数据动态路由与自适应清洗采集方法。

42、本发明实施例的具有以下有益效果：

43、本发明通过双模态动态路由与负载感知调度，显著降低数据采集延迟并防止系统雪崩，提升多源异构环境下的处理效率与稳定性；结合业务语义约束的时空归一化去重机制，有效区分重复补录与有效修正数据，解决了新能源场景下因人工干预导致的统计偏差问题，提高了数据准确性。