数据处理方法、系统及计算机可读存储介质与流程

1.本发明实施例涉及工业控制技术，尤其是涉及一种数据处理方法、系统及计算机可读存储介质。


背景技术：

2.工业4.0的提出，工业互联网的应用更加广泛。工业控制领域中，常常存在不同领域，不同种类的工业设备，而不同领域，不同种类的工业设备采用的通信协议都不同，无法达成一致。而现有技术中，单一网关不能采集多个领域、多个种类的设备的感知数据。导致兼容性差，企业在构建物联网系统时需要开发定制通信程序，增加了成本，另外，由于不同厂家、协议之间的设备没有统一的数据格式，不同时期，不同系统，不同企业之间的数据共享性差，降低了感知数据的利用率。


技术实现要素：

3.鉴于以上内容，有必要提供一种数据处理方法、服务器及计算机可读存储介质，解决单一网关不能采集多领域、多设备种类的问题。
4.本发明实施例提供了一种数据处理方法，应用于网关，所述方法包括：从所述网关的设备驱动库中选择与目标设备匹配的通信协议；根据所述匹配的通信协议与所述目标设备建立连接；与所述目标设备建立连接后，获取所述目标设备的感知数据；将获取的感知数据进行数据清洗处理；将处理后的数据共享给第三方平台。
5.优选地，所述方法还包括：配置所述网关的网络地址、系统参数及内核参数；管理用户账户，分配用户操作权限，配置异常事件处理责任人。
6.优选地，所述方法还包括：记录并分析所述网关运行中的日志事件，并在所述日志事件中出现异常事件时，启动报警程序并通知相应的异常事件处理责任人。
7.优选地，所述获取所述目标设备的感知数据包括：在所述网关的设备驱动库中查找所述目标设备对应的设备模板；调用所述对应的设备模板，获取所述目标设备最终的感知数据。
8.优选地，所述方法还包括：当所述网关的设备驱动库中不存在所述目标设备对应的设备模板时，对所述目标设备的感知数据进行特征提取；根据业务需求及提取的特征，新增目标设备对应的设备模板；将所述设备模板储存在所述网关的设备驱动库中。
9.优选地，所述方法还包括：根据业务需求变更时，还可以修改或者删除所述目标设备对应的设备模板。
10.优选地，根据获取的目标设备的感知数据进行数据分析，根据分析结果对所述目标设备进行预测性维护。
11.优选地，对目标设备进行远端网络检测，配置文件下发，以及文件下载。
12.本发明实施例还提供了一种数据处理系统，所述数据处理系统还包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序，所述数据处理程序
processing unit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片等。
22.参阅图2所示，是本发明数据处理系统10较佳实施例的程序模块图。
23.所述数据处理系统10包括匹配模块101、连接模块102、获取模块103、处理模块104、共享模块105、网关管理模块106、用户管理模块107、报警模块108、预测模块109及远程管理模块110。所述模块被配置成由一个或多个处理器(本实施例为一个处理器30)执行，以完成本发明。本发明所称的模块是完成一特定指令的计算机程序段。存储器20用于存储数据采集系统10的程序代码等资料。所述处理器30用于执行所述存储器20中存储的程序代码。
24.匹配模块101，用于从所述网关1的设备驱动库中选择与目标设备匹配的通信协议。
25.本实施例中，工业设备与网关建立连接时，根据设备种类不同采用不同的通信协议，例如，modbus通信协议，串口通信协议，tcp/ip 协议，mqtt协议等。网关1还包括设备驱动库(图中未示出)，网关1的设备驱动库中存储着多个领域，多个种类设备可能用到的通信协议，当有目标设备需要建立连接时，匹配模块101从网关1的设备驱动库中选择与目标设备匹配的通信协议。
26.连接模块102，用于根据所述匹配的通信协议与所述目标设备建立连接。
27.本实施例中，连接模块102根据匹配模块101匹配的通信协议与所述目标设备建立连接。
28.在优选的实施例中，所有与网关1建立连接的设备均被称作子设备，所述连接模块102还用于通过列表的形式显示网关1所有的子设备及子设备信息。当目标设备不在子设备列表中时，所述连接模块 102还用于在子设备列表中新增子设备。另外，根据实际需求，在子设备列表中删除子设备，或者修改子设备信息。
29.获取模块103，用于与所述目标设备建立连接后，获取所述目标设备的感知数据。具体地，设备驱动库为网关1提供提取目标设备感知数据的设备模板，通过设备驱动库的设备模板，网关1获取目标设备的感知数据种类。
30.在获取目标设备的感知数据的过程中，获取模块103，在所述网关的设备驱动库中查找所述目标设备对应的设备模板，然后调用所述对应的设备模板，获取所述目标设备最终的感知数据。
31.获取模块103，还用于当所述网关的设备驱动库中不存在所述目标设备的对应的设备模板时，对所述目标设备的感知数据进行特征提取；根据业务需求及提取的特征，新增目标设备对应的设备模板，并将所述设备模板储存在所述网关的设备驱动库中。业务需求由开发人员或者管理人员根据实际生产或生活需要预先定义。
32.进一步地，获取模块103，还用于：当业务需求变更时，还可以修改或者删除所述目标设备对应的设备模板。
33.举个例子，网关的设备库驱动中存储了现有的工业设备获取感知数据的模板，比如电表需要采集电流，电压等数据，smt设备需要采集元器件型号、漏件信息、各元器件在pcb板的位置等，当需要采集smt设备的数据时，调用网关存储的设备驱动库中smt设备的设备模板，去采集元器件型号、漏件信息、各元器件在pcb板的位置。
34.当有新的工业设备连接时，例如，温湿度传感器，网关的设备驱动库中并不存在温
湿度传感器的设备模板，获取模块103对温湿度传感器的数据进行特征提取，例如，温度，湿度，时间等信息。当业务需求信息中只需要采集温度，湿度信息时，获取模块103根据业务需求及提取的特征数据，新增关于温湿度传感器的模板，并将该模板储存在模板数据库中，这样，当下次需要采集温湿度传感器的感知数据时，获取模块103直接调用对应的设备模板即可。
35.另外，当业务需求有变更时，例如，除温度、湿度外，需要获取温湿度传感器的温湿度的获取时间，这样获取模块103还需要根据变更后的需求修改温湿度传感器对应的设备模板，并用变更后的模板替代旧的模板。当温湿度传感器的数据不需要采集时，为了节约存储空间，获取模块103还可以删除温湿度传感器对应的设备模板。
36.处理模块104，用于将获取的感知数据进行数据清洗处理。
37.处理模块104获取第三方平台的数据转发需求，根据需要将从工业设备获取的原生的感知数据进行清洗，转化成第三方平台能够识别的数据。作为举例，从电表上获取的电压为二进制数据，当需要转发给服务器、云平台或者监控平台时，可以通过数据清洗转换为16进制的数据，当然，针对不同的数据的清洗方法并不仅限于此，本实施例中不再赘述。
38.共享模块105，用于将处理后的数据共享给第三方平台。
39.进一步地，所述数据处理系统10，还包括：
40.网关管理模块106，用于配置所述网关的网络地址、系统参数及内核参数。
41.具体地，系统参数包括网关型号、位置、接入设备数量等基本信息，内核参数包括内存、网络硬盘等系统信息。网关管理模块106还用于对网关进行重启和恢复出厂设置操作。
42.用户管理模块107，用于用户账户管理，用户操作权限分配，异常事件处理责任人配置。
43.其中，用户账户管理包括创建用户，删除用户等。
44.报警模块108，用于记录并分析所述网关运行中的日志事件，并在所述日志事件中出现异常事件时，启动报警程序并通知相应的异常事件处理责任人。
45.例如，当网关的日志事件中显示温湿度传感器的温度超过设置的阈值时，启动报警程序并通知给用户管理模块107配置的异常事件处理责任人。其中，通知方式不限于邮件或者短信等方式。另外，报警程序的形式也不限于声光、电话、短信、文字等方式。
46.进一步地，所述数据处理系统10，还包括：
47.预测模块109，用于根据获取的目标设备的感知数据进行数据分析，根据分析结果对所述目标设备进行预测性维护。
48.例如，气缸的寿命为5万小时，分析气缸的摩擦参数，当摩擦力强时，将气缸的寿命调整为4.5万小时。
49.远程管理模块110，用于对目标设备进行远端网络检测，配置文件下发，以及文件下载。
50.具体地，当需要目标设备打开或者禁用特定服务时，通过远程管理模块110将配置文件下发给目标设备。
51.本实施例中，通过建立设备模板，快速将缩短了软体开发时间，提高了感知数据的共享性。另外，通过分析日志事件，达到预测性维护以及及时预警。
52.参阅图3所示，是本发明较佳实施例之数据采集方法的流程图。所述数据采集方法应用于数据采集系统10，可通过所述处理器30执行图2所示的模块101～102而实现。
53.步骤s300，从所述网关的设备驱动库中选择与目标设备匹配的通信协议。
54.本实施例中，工业设备与网关建立连接时，根据设备种类不同采用不同的通信协议，例如，modbus通信协议，串口通信协议，tcp/ip 协议，mqtt协议等。网关1的设备驱动库中存储着多个领域，多个种类设备可能用到的通信协议，当有目标设备需要建立连接时，匹配模块101从网关1的设备驱动库中选择与目标设备匹配的通信协议。
55.步骤s301，根据所述匹配的通信协议与所述目标设备建立连接。
56.本实施例中，网关1还包括设备驱动库(图中未示出)，用于存储不同领域，不同种类的多个设备的通信协议。网关1根据与目标设备匹配的通信协议与目标设备建立连接。
57.在优选的实施例中，所有与网关1建立连接的设备均被称作子设备，网关1通过列表的形式显示所有的子设备及子设备信息。当目标设备不在子设备列表中时，在子设备列表中新增子设备。另外，根据实际需求，还可以在子设备列表中删除子设备，或者修改子设备信息。
58.步骤s302，与所述目标设备建立连接后，获取所述目标设备的感知数据。具体地，设备驱动库还为网关1提供提取目标设备的感知数据的设备模板，也叫参考数据，通过设备驱动库的设备模板，网关 1获取目标设备的感知数据种类。
59.在获取目标设备的感知数据的过程中，网关1在设备驱动库中查找所述目标设备对应的设备模板，然后调用所述对应的设备模板，获取所述目标设备最终的感知数据。
60.当所述网关的设备驱动库中不存在所述目标设备的对应的设备模板时，网关1对所述目标设备的感知数据进行特征提取；根据预先定义的业务需求及提取的特征，新增目标设备对应的设备模板，并将所述设备模板储存在所述网关1的设备驱动库中。
61.进一步地，当业务需求变更时，网关1还可以修改或者删除所述目标设备对应的设备模板。
62.举个例子，网关的设备驱动库中存储了现有的工业设备获取感知数据的模板，比如电表需要采集电流，电压等数据，smt设备需要采集元器件型号、漏件信息、各元器件在pcb板的位置等，当需要采集smt设备的数据时，调用网关存储的设备驱动库中smt设备的模板，去采集元器件型号、漏件信息、各元器件在pcb板的位置。
63.当有新的工业设备连接时，例如，温湿度传感器，网关的设备驱动库中并不存在温湿度传感器的设备模板，网关1对温湿度传感器的数据进行特征提取，例如，温度，湿度，时间等信息。当业务需求信息中只需要采集温度，湿度信息时，网关1根据业务需求及提取的特征数据，新增关于温湿度传感器的模板，并将该模板储存在模板数据库中，这样，当下次需要采集温湿度传感器的感知数据时，网关1直接调用对应的设备模板即可。
64.另外，当业务需求有变更时，例如，除温度、湿度外，需要获取温湿度传感器的温湿度的获取时间，这样网关1还需要根据变更后的需求修改温湿度传感器对应的设备模板，并用变更后的设备模板替代旧的设备模板。当温湿度传感器的数据不需要采集时，为了节约存储空间，网关1还可以删除温湿度传感器对应的设备模板。
65.步骤s303，将获取的感知数据进行数据清洗处理。
66.网关1获取第三方平台的数据转发需求，根据需要将从工业设备获取的原生的感
知数据进行清洗，转化成第三方平台能够识别的数据。作为举例，从电表上获取的电压为二进制数据，当需要转发给服务器、云平台或者监控平台时，可以通过数据清洗转换为16进制的数据，当然，针对不同的数据的清洗方法并不仅限于此，本实施例中不再赘述。
67.步骤s304，将处理后的数据共享给第三方平台。
68.进一步地，在采集目标设备的通信协议前，所述方法还包括：配置所述网关的网络地址、系统参数及内核参数；管理用户账户，分配用户操作权限，配置异常事件处理责任人。
69.具体地，系统参数包括网关型号、位置、接入设备数量等基本信息，内核参数包括内存、网络硬盘等系统信息。网关1还可以进行重启和恢复出厂设置操作。其中，用户账户管理包括创建用户，删除用户等。
70.进一步地，所述方法还包括：记录并分析所述网关运行中的日志事件，并在所述日志事件中出现异常事件时，启动报警程序并通知相应的异常事件处理责任人。
71.例如，当网关的日志事件中显示温湿度传感器的温度超过设置的阈值时，启动报警程序并通知给预先配置的异常事件处理责任人。其中，通知方式不限于邮件或者短信等方式。另外，报警程序的形式也不限于声光、电话、短信、文字等方式。
72.进一步地，所述方法还包括：
73.根据获取的目标设备的感知数据进行数据分析，根据分析结果对所述目标设备进行预测性维护。
74.例如，气缸的寿命为5万小时，分析气缸的摩擦参数，当摩擦力强时，将气缸的寿命调整为4.5万小时。
75.进一步地，所述方法还包括：
76.对目标设备进行远端网络检测，配置文件下发，以及文件下载。
77.具体地，当需要目标设备打开或者禁用特定服务时，将配置文件下发给目标设备。
78.通过将上述方法应用于上述系统，通过将多种设备协议转换为标准协议，能够开发拓展新的采集协议，且通过建立设备模板，快速将缩短了软体开发时间，提高了感知数据的共享性。另外，通过分析日志事件，达到预测性维护以及及时预警。
79.值得注意的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。