一种工业互联网边缘端数据预处理与云端协同治理方法与流程

摘要: 本发明涉及工业互联网数据处理与数据质量治理,尤其涉及一种工业互联网边缘端数据预处理与云端协同治理方法。背景技术:1、在工业互联网数据处理领域,工业设备、传感器和...
一种工业互联网边缘端数据预处理与云端协同治理方法与流程

本发明涉及工业互联网数据处理与数据质量治理,尤其涉及一种工业互联网边缘端数据预处理与云端协同治理方法。

背景技术:

1、在工业互联网数据处理领域,工业设备、传感器和物联网数采终端产生的设备运行数据、设备状态数据及传感器监测数据,通常先由工业网关或边缘端平台进行协议转换、数据清洗、异常数据处理和数据标准化,再根据数据类型、告警等级或允许同步延时,将实时数据写入消息队列并发送至云端平台,将非实时数据写入边缘缓存并按照时间阈值或数据量阈值进行批量上传。云端平台接收数据后,通常执行字段映射、数据标准化、数据库存储和接收确认。

2、现有方案多按照实时数据与非实时数据的分类结果或者固定优先级规则确定传输方式,数据清洗形成的数据质量状态与后续传输准入之间缺少连续对应关系。当设备标识缺失、数据类型不一致、规则版本变化或者数据标准化失败时,边缘端平台难以根据数据的实际质量状态分别控制实时消息队列、批量缓存和待重新处理数据;部分接收确认仅表示消息或数据批次已经到达云端平台,不能直接反映批次内各条数据是否完成完整性校验、数据标准化和持久化。

3、在批量传输过程中,现有方案通常以整个数据批次作为确认或重传单位。当数据批次发生部分缺失,或者部分数据已经接收但因字段映射失败、规则版本失效而未完成持久化时,边缘缓存中的数据状态难以与云端平台的实际处理状态逐条对应,容易出现已持久化数据重复发送、未持久化数据对应缓存提前释放以及拒收数据不能返回数据清洗环节的情况。因此,需要围绕工业现场数据的边云同步过程,解决云端处理结果与边缘缓存中的数据序列难以对应,以及边缘缓存释放、缺失数据补传和拒收数据重新处理之间衔接不连续的问题。

技术实现思路

1、为了解决上述技术问题,本发明提供了一种工业互联网边缘端数据预处理与云端协同治理方法,包括:

2、s100、边缘端平台获取工业现场原始数据和规则记录;依据所述规则记录校验并清洗所述工业现场原始数据,生成数据质量状态和业务分类信息,并将处理后的数据与规则版本和数据序列关联;

3、s200、根据所述数据质量状态、业务分类信息和允许同步延时确定传输状态;所述数据质量状态为有效时,将实时传输的数据写入实时消息队列,将批量传输的数据写入批量缓存;所述数据质量状态不为有效时,将数据更新为待重新处理状态;

4、s300、将所述实时消息队列中的数据及其数据序列生成实时消息;所述批量缓存满足批次触发条件时,生成包括批次标识、数据序列范围、数据数量和校验值的批次清单;云端平台根据所述批次清单对接收数据进行完整性对比、数据标准化和持久化,确定已确认数据序列范围、缺失数据序列范围、拒收数据标识和对应处理状态,生成同步结果记录;

5、s400、根据所述同步结果记录释放所述已确认数据序列范围对应的边缘缓存;提取所述缺失数据序列范围对应的数据生成补传任务并重新发送;将所述拒收数据标识对应的数据更新为待重新处理状态,并依据适用的规则记录重新校验和清洗。

6、进一步地,所述规则记录包括数据清洗规则、字段映射规则、优先级规则、规则版本和规则适用范围;

7、所述校验包括字段完整性校验、数据类型校验、数值范围校验、数据源标识校验、原始时间戳校验和重复数据校验;

8、将各项校验结果与所述数据清洗规则匹配,生成有效、待修正或无效的数据质量状态。

9、进一步地,将清洗后的数据、数据源标识、标准时间戳、数据质量状态、业务分类信息、规则版本和数据序列关联存储于所述边缘缓存;

10、所述数据序列按照边缘端平台接收所述工业现场原始数据的顺序分配。

11、进一步地,所述数据质量状态为有效,且所述业务分类信息为安全告警或设备状态变化时,所述传输状态为实时传输;

12、所述数据质量状态为有效,且所述业务分类信息为普通运行数据或日志数据时,所述传输状态为批量传输;

13、所述数据质量状态为待修正或无效时,将对应数据更新为待重新处理状态。

14、进一步地,为所述实时消息分配消息序列号,并在发送后将对应数据更新为待确认状态;

15、所述云端平台完成数据标准化和持久化后返回关联所述消息序列号的接收确认;

16、所述边缘端平台根据所述接收确认更新确认状态,确认时限届满且未接收到所述接收确认时,保留对应边缘缓存并重新发送所述实时消息。

17、进一步地,所述批次触发条件符合下列任一条件:

18、距离上一次批量上传达到时间阈值;

19、所述批量缓存中的数据数量达到数据量阈值;

20、所述批量缓存的缓存占用达到预设值;

21、网络状态由网络拥塞更新为可用;

22、所述云端平台下发数据序列范围。

23、进一步地,所述批次清单还包括规则版本和字段映射规则的规则版本;

24、所述数据批次包括所述数据序列范围对应的数据;

25、对所述数据批次进行压缩,并将压缩数据包和所述批次清单发送至所述云端平台。

26、进一步地,所述云端平台根据所述批次清单确定应接收的数据序列范围;

27、将实际接收且完成持久化的数据对应的数据序列确定为已确认数据序列;

28、将所述应接收的数据序列范围中未取得有效数据的数据序列确定为缺失数据序列;

29、将已接收但未通过字段映射、数据标准化或规则适用范围校验的数据确定为拒收数据。

30、进一步地,所述对应处理状态包括字段映射失败、数据标准化失败、规则版本失效和数据类型不一致;

31、根据所述对应处理状态获取适用的字段映射规则、数据清洗规则或规则版本,对所述拒收数据标识对应的数据重新校验和清洗,并重新确定数据质量状态和传输状态。

32、进一步地,将多个不连续的缺失数据序列范围分别生成补传任务;

33、所述补传任务关联原数据批次的批次标识、缺失数据序列范围和规则版本;

34、所述云端平台根据所述数据序列对补传数据与已持久化数据进行一致性对比,对重复数据生成已确认数据序列范围。

35、以下为其主要的有益效果:

36、(1)针对现有方案中数据清洗结果与传输准入相互脱节的问题,通过将数据质量状态、业务分类信息和允许同步延时共同用于传输状态匹配,使进入实时消息队列、批量缓存或者待重新处理状态的数据分别对应其实际数据质量状态,未通过校验或清洗的数据不直接进入数据传输过程。

37、(2)针对数据批次通常仅以整体成功或整体失败进行确认的问题,通过数据序列和批次清单表示应接收的数据范围,并依据云端平台实际完成完整性对比、数据标准化和持久化的结果生成同步结果记录,使同一数据批次内已经完成持久化的数据、未取得有效内容的数据以及已接收但未通过处理的数据分别形成对应的处理状态。

38、(3)针对云端处理结果与边缘缓存后续处理衔接不连续的问题,通过同步结果记录分别控制缓存释放、缺失数据补传和拒收数据重新处理,使补传任务限定于缺失数据序列范围,已确认数据不重复进入补传过程,拒收数据按照对应处理状态重新调用适用的规则记录,并在原数据序列下重新形成数据质量状态和传输状态。