一种数据的解析方法、装置及相关设备与流程

1.本发明涉及计算机技术领域，尤其涉及一种数据的解析方法、装置及相关设备。


背景技术：

2.现有的工业数据采集采用采集设备与工业设备直连或者将采集设备接入工业设备所处在的网络中，采集设备通过协议适配程序与工业设备进行通信，采集工业设备中的实时数据信息。
3.现有的工业数据采集的方式对采集的条件有一定的限制，如图1所示，只在采集设备能够接入工业设备网络中或者能够通过工业设备中多余的网口进行通讯时才能实施。但实际工业生产环境中存在很多特殊的环境无法使用现有方式，例如以下几种情况：
4.1)可编程逻辑控制器(programmable logic controller，plc)通信口已被占用，且只支持单路连接。
5.2)plc扩展口已用完，无法新增通信模块。
6.3)plc当前型号已停产，无法购买扩展模块，或者扩展模块特别昂贵。
7.4)plc已加密，无法修改通信参数。


技术实现要素：

8.本发明提供一种数据的解析方法、装置及相关设备，以解决现有技术中只能够是采集设备接入工业设备网络中或者采集设备能够通过工业设备中多余的网口进行通讯时，才能实施工业数据采集的问题。
9.第一方面，提供了一种数据的解析方法，包括：获取第一通讯流量数据，其中，所述第一通讯流量数据与第一设备的第二通讯流量数据互为镜像数据；提取所述第一通讯流量数据中的目标报文；提取所述目标报文中的数据包，并对所述数据包采用动态插件的方式进行解析。
10.第二方面，提供了一种数据的解析装置，包括：获取模块，用于获取第一通讯流量数据，其中，所述第一通讯流量数据与第一设备的第二通讯流量数据互为镜像数据；提取模块，用于提取所述第一通讯流量数据中的目标报文；处理模块，用于提取所述目标报文中的数据包，并对所述数据包采用动态插件的方式进行解析。
11.本发明中，对第一设备的第二通讯流量数据的镜像数据，第一通讯流量数据中的报文进行提取，并对报文中的数据包进行解析。由于是基于第一设备的第二通讯流量数据的镜像数据进行数据采集与解析，即使采集设备未接入工业设备网络中或工业设备中没有多余的网口可以进行通讯时，也可以实现对工业数据采集和解析，从而解决了现有技术中只能够是采集设备接入工业设备网络中或者采集设备能够通过工业设备中多余的网口进行通讯时，才能实施工业数据采集的问题。
附图说明
12.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
13.图1是现有技术中采集工业数据的结构示意图；
14.图2是本发明实施例提供的数据的解析方法的流程图；
15.图3是本发明实施例提供的采集工业数据的结构示意图；
16.图4是本发明实施例提供的数据的解析装置的结构示意图。
具体实施方式
17.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
18.参见图2，图2是本发明实施例提供的数据的解析方法的流程图，用于网关设备，如图2所示，所述方法包括以下步骤：
19.步骤202，获取第一通讯流量数据，其中，第一通讯流量数据与第一设备的第二通讯流量数据互为镜像数据；
20.步骤204，提取第一通讯流量数据中的目标报文；
21.步骤206，提取目标报文中的数据包，并对数据包采用动态插件的方式进行解析。
22.通过步骤202至步骤206，对第一设备的第二通讯流量数据的镜像数据，第一通讯流量数据中的报文进行提取，并对报文中的数据包进行解析。由于是基于第一设备的第二通讯流量数据的镜像数据进行数据采集与解析，即使采集设备未接入工业设备网络中或工业设备中没有多余的网口可以进行通讯时，也可以实现对工业数据采集和解析，从而解决了现有技术中只能够是采集设备接入工业设备网络中或者采集设备能够通过工业设备中多余的网口进行通讯时，才能实施工业数据采集的问题。
23.也就是说，在本技术中，由于基于第一设备的第二通讯流量数据的镜像数据进行数据采集与解析，即使在plc通信口已被占用，且只支持单路连接的情况下，也是能够对工业数据进行解析的。当然，在其他采集设备未接入工业设备网络中或工业设备中没有多余的网口可以进行通讯的场景，例如：plc扩展口已用完，无法新增通信模块；plc当前型号已停产，无法购买扩展模块，或者扩展模块特别昂贵；plc已加密，无法修改通信参数。
24.需要说明的是，本技术实施例中的网关设备，在具体应用场景中可以是侦听报文的网关。此外，在本技术中可以是通过镜像交换机第一设备的通讯流量数据镜像至侦听报文网关中。可选地，本技术实施例中的第一设备可以是工业设备，或其他终端设备。在本技术中对此并不限定。
25.以第一设备为工程机械设备为例，对上述步骤202至步骤206进行举例说明，结合图3，首先，对工程机械设备的plc型号和plc走线进行梳理，在具体环境中，可配合寻线仪梳理。进一步地，将plc至上位机的直连网线，桥接到镜像交换机中，若对方是串口直连，可先
接入串口转网口设备，再桥接到镜像交换机中。镜像交换机将该工程机械设备的工业数据镜像至侦听报文的网关，由于是镜像数据，即镜像至侦听报文的网关的数据相当于是该工程机械设备的工业数据的副本，两者是相同的。其中，从镜像数据中的目标报文中找出plc的ip地址和端口，以配置到采集平台的具体设备中。在具体解析过程中可以根据现场接线图纸或者plc程序，配置到采集平台的相关测点；如果无plc程序，需要分析数据包中的数据地址和数据值，并调整数据类型，直到能成功获取正确数值。因此，即使采集设备未接入工业设备网络中或者工业设备中没有多余的网口进行通讯时也是可以基于该镜像数据进行后续的提取和解析。
26.在本技术实施例的可选实施方式中，本技术步骤204中涉及到的对第一通讯流量数据中的目标报文进行提取的方式，进一步可以包括：
27.步骤204-11，确定待侦听的目标网卡；
28.其中，该目标网卡的型号，例如eth0，eth1。
29.步骤204-12，基于目标过滤器对目标网卡中的目标报文进行提取。
30.其中，可以通过具体代码来表示需要提取的报文，例如，“port 6000and tcp”表示只抓取6000端口上的tcp报文。上述仅仅是举例说明，可以根据实际情况进行相应的设置以提取当前需要的报文。
31.在本技术实施例的可选实施方式中，本技术步骤206中涉及到的对目标报文中的数据包进行提取的方式，进一步可以包括：
32.步骤206-11，提取目标报文中网络接口层的第一数据包；
33.其中，与第一数据包对应的代码，在具体应用场景中可以是：var packet＝packetdotnet.packet.parsepacket(p.linklayertype,p.data)。
34.步骤206-12，提取目标报文中网络互连层的第二数据包；
35.其中，与第二数据包对应的代码，在具体应用场景中可以是：var ethernetpacket＝(packetdotnet.ethernetpacket)packet。
36.步骤206-13，提取目标报文中传输层的第三数据包。
37.其中，与第三数据包对应的代码，在具体应用场景中可以是：tcppacket jtcp＝(tcppacket)packet.extract(typeof(tcppacket))；
38.ipv4packet jtcpv4＝(ipv4packet)packet.extract(typeof(ipv4packet))。
39.需要说明的是，前两层的数据包(第一数据包和第二数据包)的提取作为传输层包提取采用何种方式的依据，例如，网络接口层是串口还是网口，网络互联层是采用tcp还是udp，这些因素都决定了传输层如何解析。也就是说，通过上述步骤206-11至步骤206-13，在本技术中采用逐层提取数据包的方式以提取传输层数据包。进一步地，传输层的第三数据包可以包括以下至少一项：数据包长度、源ip地址、源端口、目的ip地址、目的端口、应用层数据包。
40.在本技术实施例的可选实施方式中，对于步骤208中涉及到的对数据包采用动态插件的方式进行解析的方式，进一步可以包括：
41.步骤208-11，对数据包进行解析得到目标数据信息，其中，目标数据信息包括基础属性数据和协议数据；
42.步骤208-12，根据基础属性数据确定对应的通信协议类型；
43.步骤208-13，基于通信协议类型确定对应的协议解析模板；
44.步骤208-14，通过协议解析模板对协议数据进行转换；
45.步骤208-15，将转换后的协议数据与基础属性数据组合。
46.其中，基础属性数据包括以下至少一项：帧头、网络编号、可编程逻辑控制器plc编号、输入输出io编号、网络站号。协议数据包括以下至少一项：数据长度、数值。
47.需要说明的是，不同的通信协议类型对应了不同的协议解析模板。
48.可见，在本技术实施例中，基于侦听的方式实现数据的采集，通过在设备原有的通讯链路中增设镜像交换机、侦听报文网关，将设备的通讯流量镜像至侦听报文网关中，侦听报文网关侦听数据包后对数据包中的数据进行提取，之后采用动态插件的方式解析通信协议，提取协议的相关参数属性数据，最后将采集的数据以统一的架构封装输出，以便实时的调试、分析、监控。
49.如图4所示，本技术实施例还提供了一种数据的解析装置，该装置包括：
50.获取模块42，用于获取第一通讯流量数据，其中，第一通讯流量数据与第一设备的第二通讯流量数据互为镜像数据；
51.提取模块44，用于提取第一通讯流量数据中的目标报文；
52.处理模块46，用于提取目标报文中的数据包，并对数据包采用动态插件的方式进行解析。
53.通过本技术实施例的装置，对第一设备的第二通讯流量数据的镜像数据，第一通讯流量数据中的报文进行提取，并对报文中的数据包进行解析。由于是基于第一设备的第二通讯流量数据的镜像数据进行数据采集与解析，即使采集设备未接入工业设备网络中或工业设备中没有多余的网口可以进行通讯时，也可以实现对工业数据采集和解析，从而解决了现有技术中只能够是采集设备接入工业设备网络中或者采集设备能够通过工业设备中多余的网口进行通讯时，才能实施工业数据采集的问题。
54.可选地，本技术实施例中的提取模块44进一步可以包括：确定单元，用于确定待侦听的目标网卡；第一提取单元，用于基于目标过滤器对目标网卡中的目标报文进行提取。
55.可选地，本技术实施例中的处理模块46进一步可以包括：第二提取单元，用于提取目标报文中网络接口层的第一数据包；第三提取单元，用于提取目标报文中网络互连层的第二数据包；第四提取单元，用于提取目标报文中传输层的第三数据包。
56.可选地，本技术实施例中的第三数据包包括以下至少一项：数据包长度、源ip地址、源端口、目的ip地址、目的端口、应用层数据包。
57.可选地，本技术实施例中的处理模块46进一步可以包括：解析单元，用于对数据包进行解析得到目标数据信息，其中，目标数据信息包括基础属性数据和协议数据；第一确定单元，用于根据基础属性数据确定对应的通信协议类型；第二确定单元，用于基于通信协议类型确定对应的协议解析模板；转换单元，用于通过协议解析模板对协议数据进行转换；组合单元，用于将转换后的协议数据与基础属性数据组合。
58.可选地，基础属性数据包括以下至少一项：帧头、网络编号、可编程逻辑控制器plc编号、输入输出io编号、网络站号；协议数据包括以下至少一项：数据长度、数值。
59.本发明实施例还提供了一种电子设备，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现上述指示方法实施
例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
60.本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述指示方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等。
61.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
62.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
63.上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。