基于云边协同的多源异构数据的管理系统的制作方法

1.本发明属于云边协同技术领域，具体是基于云边协同的多源异构数据的管理系统。


背景技术：

2.高端成形装备的工作现场条件相对较差，强电磁、强震动、强电流/电压等影响数据采集质量的因素广泛存在、高频率的大规模采集数据的实时传输会对服务器的并发处理能力产生较大的考验。同时，由于plc协议兼容不一致，成形装备的状态监控数据和故障诊断分析数据均来自于工业生产线设备、环境、产品等多方面数据，给边缘侧数据的实时采集和传输也带来了一定的难度。
3.为了能够有效的利用边缘设备的计算能力以及降低服务器的底层业务处理压力，本发明提出了基于云边协同的多源异构数据的管理系统。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出基于云边协同的多源异构数据的管理系统，该基于云边协同的多源异构数据的管理系统解决了在采集和处理多源异构数据时，边缘设备存在计算资源浪费以及云服务器处理数据压力大的问题。
5.为实现上述目的，根据本发明的实施例提出基于云边协同的多源异构数据的管理系统，包括：云端、边缘端以及服务端；
6.所述云端设置有逻辑资源中心，所述逻辑资源中心包括多个逻辑资源定义，所述逻辑资源中心用于对所有的逻辑资源定义进行分发管理和版本控制；
7.所述边缘端设置有多个数据采集终端，用于对工业上多源异构数据进行采集；多个所述数据采集终端可通过自主选举产生中继终端；所述中继终端用于完成并发数据流的并行处理及响应的分发；所述数据采集终端还设置有计算任务代理和容器仓库，所述计算任务代理用于对数据采集终端启动的容器进行管理监测，所述容器仓库含有从服务端的镜像仓库拉取的镜像和对应生成的容器；
8.所述服务端部署有解析服务，依据中继终端发送的并行数据流的协议号和版本号从云端逻辑资源中心中拉取逻辑资源定义文件，并进行定义文件的解析，再对并行数据流进行分流转发至相应的服务接口；所述服务端还设置有镜像仓库和任务清单服务模块，所述镜像仓库中包括多个镜像，所述镜像打包有对应的计算任务；所述任务清单服务模块包含计算任务清单，并将计算任务清单发送至边缘端。
9.进一步地，所述逻辑资源定义用于对所有需要使用的工业协议分配唯一的资源逻辑地址。
10.进一步地，每一个数据采集终端都包含一个唯一的设备id。
11.进一步地，数据采集终端设置有通信代理，用于将蓝牙、rfid、wifi、以太网、串口
以及4g等抽象为统一资源定位符(url)，数据采集终端任何需要进行的主动通信只需向通信代理提供url即可进行通信，同时通信代理将监听到的通信进行转发。
12.进一步地，中继终端对来自不同数据采集终端的同类型数据进行统计，从云端逻辑资源中心中拉取相应的逻辑资源定义，并进行数据流解析，以字节为单位进行合并，最终将合并后的处理结果发送到服务端。
13.进一步地，所述计算任务代理从服务端的计算任务清单服务模块获取计算任务清单，根据计算任务清单，从镜像仓库中拉取相应的镜像，并生成或启动相应的容器；所述计算任务代理根据计算任务清单中的优先级，为每一个生成的容器分配资源，并定时检测每一个容器的健康状况，将其中异常容器移除并重新启动或生成容器，计算任务代理定时检测当前数据采集终端整体资源使用状况，当资源无法满足所有任务时，将对优先级较低的容器进行现场保留和停止。
14.进一步地，计算任务代理进行任务调度的策略允许用户自定义，用户通过编写配置文件保存在配置服务器中，数据采集终端自动获取指定配置文件并进行配置更新，及时响应调度策略的变化。
15.与现有技术相比，本发明的有益效果是：
16.本发明中的云端设置有逻辑资源中心，用于存放所有的逻辑资源定义，其中逻辑资源定义对所有需要使用的工业协议分配唯一的资源逻辑地址，提供了更高层次的兼容大部分工业协议的逻辑抽象，使得动态兼容协议变成了现实，除了生成逻辑资源定义，不需因兼容其他协议而进行的个性化定制，大大降低了工作量；逻辑资源中心保证了逻辑资源定义的重复利用，极大的降低了逻辑资源定义的工作强度。
17.边缘端设置有多个数据采集终端，多个数据采集终端通过自主选举产生中继终端；通过中继终端完成并发数据流的并行处理及响应的分发；减少与服务端的请求连接数，同时保持扁平化的数据采集终端集群结构；服务端设置有解析服务，依据发送过来的并行数据流的协议号和版本号从逻辑资源中心中拉取逻辑资源定义文件，并进行定义文件的解析，再对并行数据流进行分流并转发至相应的服务接口；服务端还设置有镜像仓库和任务清单服务模块，镜像仓库中包括多个镜像，镜像打包有对应的计算任务；任务清单服务模块包含计算任务清单，并将计算任务清单发送至边缘端；数据采集终端还设置有计算任务代理和容器仓库，计算任务代理从服务端的计算任务清单服务模块获取计算任务清单，根据计算任务清单，从镜像仓库中拉取相应的镜像，并生成或启动相应的容器；使得数据采集终端直接对数据进行处理，避免了因数据过多而加大云端的处理压力，以及造成数据采集终端计算资源的浪费。
附图说明
18.图1为本发明的系统结构示意图。
具体实施方式
19.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的
范围。
20.如图1所示，基于云边协同的多源异构数据的管理系统，包括：云端、边缘端以及服务端；
21.所述云端设置有逻辑资源中心，所述逻辑资源中心包括多个逻辑资源定义，所述逻辑资源定义用于对所有需要使用的工业协议分配唯一的资源逻辑地址；该资源逻辑地址实际上为一个xml/json配置文件，在配置文件中对协议的所有属性、约束、长度、必要性、依赖等进行定义；这样的逻辑资源定义提供了更高层次的兼容大部分工业协议的逻辑抽象，使得动态兼容协议变成了现实，除了生成逻辑资源定义，不需因兼容其他协议而进行的个性化定制，大大降低了工作量；
22.所述逻辑资源中心用于对所有的逻辑资源定义进行分发管理和版本控制；将其部署于数据采集终端可以访问的网络环境中(私有云、公有云、混合云均可支持)；保证了逻辑资源定义的重复利用，一种协议的一个版本只需要一次定义，极大的降低了逻辑资源定义的工作强度；
23.所述边缘端设置有多个数据采集终端，每一个数据采集终端都包含一个唯一的设备id；所述数据采集终端用于对各种工业设备产生的多源异构数据进行采集；
24.具体地，数据采集终端设置有通信代理，用于将蓝牙、rfid、wifi、以太网、串口以及4g等抽象为统一资源定位符(url)，数据采集终端任何需要进行的主动通信只需向通信代理提供url即可进行通信，同时通信代理将监听到的通信进行转发；
25.当多个数据采集终端所采集的数据需要上传至云端时，多个所述数据采集终端可通过自主选举产生中继终端；具体地，可达范围内所有数据采集终端计算自己的资源使用情况以及与网关距离最近或延迟最少，自动选举其中性能最优的数据采集终端作为中继终端；所述中继终端将用来完成并发数据流的并行处理及响应的分发；
26.需要说明的是，数据采集终端在采集数据的过程中，指定参数敏感范围(属性的参数范围)和最大采样区间(时间区间)参数，选定起始点(一般为设备开启时间)进行记录，在采样区间的数据以起始点数据为基准，记录相对于基准的变化，若无异常情况计算最大采样区间数据的均值作为记录数据，若发生异常情况，进行采样截断(即异常点以前数据作为一个采样区间，异常点之后的紧邻正常采样点为下一个采样区间的起始点)，将截断后的数据发送至中继终端，中继终端对各个终端的采样区间按照时间和敏感范围合并，发送至对象存储服务器，对象存储服务器负责底层数据存储和调用时的逻辑复原(即将按照基准点相对差值的数据恢复为绝对值，并依据时间将平均数据转化为瞬时数据进行使用)；
27.中继终端对接收到的数据流进行并行处理，具体地，中继终端对来自不同的数据采集终端的同类型数据进行统计，从云端逻辑资源中心中拉取相应的逻辑资源定义(即相关协议定义，若中继终端中拥有该定义的副本则不进行拉取)，并进行数据流解析(解析后的逻辑对象若使用频繁会驻留在内存中)，以字节为单位进行合并，最终将合并后的处理结果发送到服务端；
28.所述服务端部署有解析服务，依据中继终端发送的处理结果所包含的并行数据流的协议号和版本号从云端逻辑资源中心中拉取逻辑资源定义文件，并进行定义文件的解析，再对并行数据流进行分流转发至相应的服务接口；
29.为避免因数据过多而加大云端的处理压力，以及造成数据采集终端计算资源的浪
费，数据采集终端可直接处理采集获取的数据；
30.具体地，所述服务端还设置有镜像仓库和任务清单服务模块，所述镜像仓库中包括多个镜像，所述镜像打包有对应的计算任务；所述任务清单服务模块包含计算任务清单，并将计算任务清单发送至边缘端；
31.数据采集终端还设置有计算任务代理和容器仓库，所述计算任务代理用于对数据采集终端启动的容器进行管理监测，所述容器仓库含有从服务端的镜像仓库拉取的镜像和对应生成的容器；具体地，所述计算任务代理从服务端的计算任务清单服务模块获取计算任务清单，根据计算任务清单，从镜像仓库中拉取相应的镜像，并生成或启动相应的容器；所述计算任务代理根据计算任务清单中的优先级，为每一个生成的容器分配资源，并定时检测每一个容器的健康状况，将其中异常容器移除并重新启动或生成容器，计算任务代理定时检测当前数据采集终端整体资源使用状况，即对cpu、内存、端口暂用情况、通信通道使用情况等进行检测；当资源无法满足所有任务时，将对优先级较低的容器进行现场保留和停止；需要说明的是，计算任务代理进行任务调度的策略允许用户自定义，用户通过编写配置文件保存在配置服务器中，数据采集终端自动获取指定配置文件并进行配置更新，及时响应调度策略的变化。
32.在本发明所提供的实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方法的目的。
33.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。