一种面向物联网场景的数据采集与边云协同处理系统的制作方法

摘要: 本发明涉及物联网数据处理,尤其涉及一种面向物联网场景的数据采集与边云协同处理系统。背景技术:1、随着物联网终端数量增加,传感设备持续产生具有时间连续性的运行数据...
一种面向物联网场景的数据采集与边云协同处理系统的制作方法

本发明涉及物联网数据处理,尤其涉及一种面向物联网场景的数据采集与边云协同处理系统。

背景技术:

1、随着物联网终端数量增加,传感设备持续产生具有时间连续性的运行数据。现有物联网数据处理系统多采用边缘计算与云计算协同架构,由边缘节点完成数据筛选、压缩、特征提取或局部分析,再将处理结果上传云端,由云端完成跨设备数据汇总、关联分析与业务处理。部分方案在云端处理结果异常或信息不足时,从边缘节点重新获取原始数据或差分数据,以补充云端计算所需的数据内容。

2、现有边云协同处理方式在数据回补环节多按照设备、任务或固定数据窗口确定回传范围,云端处理位置与边缘处理结果、原始采集窗口之间缺少细粒度依赖追踪。当某一云端处理位置缺少必要数据时,容易扩大原始数据回传范围,已经能够满足处理要求的数据也会参与重复传输或重新计算。对于具有若干数据来源的云端处理任务,不同数据来源所需的回补深度存在差异,统一扩大回补范围会增加边云通信量和云端重复处理量。现有技术还缺少针对不同数据依赖支路分别确定回补边界,并在局部恢复仍不足时仅继续扩展对应支路的数据处理机制。

3、因此,如何提供一种面向物联网场景的数据采集与边云协同处理系统是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种面向物联网场景的数据采集与边云协同处理系统,本发明采用改进appnp模型沿处理依赖关系反向传播,通过传播支路锁定、定向数据回补与局部重新处理,实现边云数据协同恢复,具备减少数据回传量、降低重复计算量和保持连续数据处理稳定性的优点。

2、根据本发明实施例的一种面向物联网场景的数据采集与边云协同处理系统,包括:

3、数据采集模块,用于获取连续采集数据,划分采集窗口,连接相邻采集窗口形成时序关系;

4、边缘处理模块,用于处理采集窗口形成边缘处理结果,保留边缘处理结果未覆盖采集内容形成的差分数据,关联边缘处理结果与采集窗口;

5、云端协同模块,用于处理边缘处理结果形成云端处理结果,锁定未完成的云端处理位置,连接云端处理位置、边缘处理结果与采集窗口,串接时序关系构成处理依赖关系;

6、回补确定模块,用于将云端处理位置与处理依赖关系输入改进appnp模型,沿处理依赖关系反向传播形成传播支路,在传播支路首次到达保留差分数据的采集窗口时锁定采集窗口,终止锁定传播支路,保留未锁定传播支路继续传播;

7、数据恢复模块,用于汇集锁定采集窗口形成数据回补范围,组合对应差分数据与边缘处理结果,恢复锁定采集窗口内的连续采集数据;

8、局部处理模块,用于重新处理关联于锁定采集窗口内连续采集数据的云端处理位置,更新云端处理结果,对仍未完成的云端处理位置解除对应采集窗口及传播支路锁定,继续反向传播;

9、结果输出模块,用于汇总边缘处理结果与云端处理结果,输出边云协同处理结果。

10、可选的,所述数据采集模块中形成时序关系,具体包括:

11、按采集顺序排列连续采集数据,将连续采集数据分段形成采集窗口;

12、锁定相邻采集窗口的末端采集数据与首端采集数据,以末端采集数据为边界,将首端采集数据向前一采集窗口折返,保持首端采集数据的原采集顺序;

13、将折返后仍与前一采集窗口保持连续采集顺序的首端采集数据扣合至前一采集窗口,将未扣合的首端采集数据回送至后一采集窗口;

14、重新连接前一采集窗口与后一采集窗口,形成时序关系。

15、可选的,所述边缘处理模块中保留边缘处理结果未覆盖采集内容形成的差分数据,具体包括:

16、处理采集窗口形成边缘处理结果,将边缘处理结果对应至采集窗口中的采集数据位置;

17、锁定相邻两个边缘处理结果覆盖的采集数据位置,截取两个采集数据位置之间未被边缘处理结果覆盖的采集内容;

18、将截取的采集内容从两端分别向相邻采集数据位置收缩,保持收缩前的原采集顺序,将两端收缩后的采集内容分别关联至对应边缘处理结果;

19、对未关联至边缘处理结果的剩余采集内容继续向相邻采集数据位置收缩,直至全部未覆盖采集内容完成关联,将关联后的采集内容形成差分数据。

20、可选的,所述云端协同模块中构成处理依赖关系,具体包括:

21、锁定未完成的云端处理位置,将参与云端处理位置处理的边缘处理结果连接至对应云端处理位置;

22、将各边缘处理结果连接至对应采集窗口,沿时序关系连接相邻采集窗口;

23、对连接至同一采集窗口的边缘处理结果保留各自与云端处理位置的独立连接,使各独立连接在同一采集窗口汇合;

24、保留各独立连接及采集窗口之间的时序关系,构成处理依赖关系。

25、可选的,所述回补确定模块中沿处理依赖关系反向传播形成传播支路,具体包括:

26、以未完成的云端处理位置作为传播起点,沿处理依赖关系反向传递至对应边缘处理结果;

27、由边缘处理结果继续反向传递至对应采集窗口,使到达同一采集窗口的反向传递路径在采集窗口处汇合,分别保留各反向传递路径;

28、沿采集窗口之间的时序关系向前序采集窗口继续反向传递;

29、将各反向传递路径确定为传播支路。

30、可选的,所述回补确定模块中在传播支路首次到达保留差分数据的采集窗口时锁定采集窗口,具体包括:

31、沿传播支路依次核对到达的采集窗口,未到达保留差分数据的采集窗口的传播支路沿处理依赖关系继续传播;

32、当传播支路首次到达保留差分数据的采集窗口时,锁定当前采集窗口及对应传播支路,终止锁定传播支路;

33、将未到达保留差分数据的采集窗口的传播支路保留为未锁定传播支路。

34、可选的,所述回补确定模块中保留未锁定传播支路继续传播,具体包括:

35、完成一轮反向传播后,从下一轮传播中剔除锁定传播支路,仅保留未锁定传播支路;

36、以未锁定传播支路当前到达的采集窗口作为下一轮传播起点,沿处理依赖关系继续反向传播;

37、当不同未锁定传播支路到达同一未保留差分数据的采集窗口时,分别保留各未锁定传播支路,不合并各未锁定传播支路;

38、对到达时序关系中首个采集窗口的未锁定传播支路终止传播并剔除,重复反向传播,直至不存在未锁定传播支路。

39、可选的,所述数据恢复模块中恢复锁定采集窗口内的连续采集数据,具体包括:

40、汇集锁定采集窗口,沿时序关系排列锁定采集窗口,形成数据回补范围;

41、提取数据回补范围内各锁定采集窗口对应的差分数据与边缘处理结果;

42、定位边缘处理结果在锁定采集窗口中的采集数据位置,将差分数据填充至边缘处理结果未覆盖的采集数据位置;

43、按照采集数据位置恢复锁定采集窗口内的连续采集数据。

44、可选的,所述局部处理模块中更新云端处理结果,具体包括:

45、沿处理依赖关系定位关联于锁定采集窗口内连续采集数据的云端处理位置,冻结除关联于锁定采集窗口内连续采集数据的云端处理位置之外的云端处理位置;

46、将锁定采集窗口内连续采集数据回送至关联于锁定采集窗口内连续采集数据的云端处理位置,重新处理关联于锁定采集窗口内连续采集数据的云端处理位置,更新云端处理结果;

47、对仍未完成的云端处理位置解除对应采集窗口及对应传播支路锁定;

48、沿对应传播支路从解除锁定的采集窗口继续反向传播。

49、可选的,所述结果输出模块中输出边云协同处理结果,具体包括:

50、将云端处理结果对应至关联于锁定采集窗口内连续采集数据的云端处理位置,确定对应锁定采集窗口;

51、以云端处理结果替换对应云端处理位置连接的边缘处理结果,保留未被替换的边缘处理结果;

52、沿对应采集窗口的时序关系连接云端处理结果与边缘处理结果;

53、汇集云端处理结果与边缘处理结果,输出边云协同处理结果。

54、本发明的有益效果是:

55、(1)本发明以未完成的云端处理位置作为反向传播起点,沿处理依赖关系逐支路追溯,在传播支路首次到达保留差分数据的采集窗口时锁定采集窗口并终止对应传播,仅保留未锁定传播支路继续传播,使不同数据来源分别获得与处理需求对应的数据回补边界,避免按照设备、任务或固定窗口整体扩大回补范围,降低无关采集数据参与边云传输的范围。

56、(2)本发明对到达同一采集窗口的传播支路保持独立,不执行传播支路合并,并在锁定采集窗口后利用差分数据与边缘处理结果恢复对应连续采集数据,使同一云端处理任务中的不同依赖支路能够按照各自缺失程度完成数据恢复,避免单一支路的数据缺失牵连其他已满足处理条件的支路,增强多来源物联网数据回补过程的针对性。

57、(3)本发明在数据恢复后仅重新处理关联于锁定采集窗口内连续采集数据的云端处理位置,冻结其余云端处理位置;重新处理仍未完成时,仅解除对应采集窗口及传播支路锁定并继续反向传播,使数据回补范围随实际处理结果逐支路扩展,避免云端整体回算和重复恢复,保持边缘处理结果与云端处理结果之间的连续衔接。