基于移动代理的工业控制网络数据采集系统的制作方法

1.本发明属数据采集技术领域，涉及一种基于移动代理的工业控制网络数据采集系统。


背景技术：

2.可编程逻辑控制器(programmable logic controller，plc)、通用标准(standard，std)总线和pc工业总线控制等新型控制手段已经广泛应用到工业控制系统中，在严峻的网络安全形势下，使得这些看似属于“隔离系统”的平台，极有可能成为高级持续性威胁(advanced persistent threat，apt)攻击的目标。为提高信息化设备的生存能力，信息化设备的安全性测试工作显得尤为重要。相比于传统ip网络，工业控制系统网络中数据采集具有网络层次化、异构性、数据多源化的特点。工业控制系统底层设备的通信协议包括现场总线协议和工业以太网协议，协议复杂多样且识别与解析难度大，协议报文数据捕获较困难且捕获方法差别大。移动代理的移动性、异构、异步、分布、并行和可扩展等技术优势，可为提高控制系统网络安全数据采集能力提供有力支撑。
3.当前针对工业控制网络的数据采集系统的研究和应用急需从以下两个方面进行突破：一是在异构工业设备采集接口的适配方面，工业控制领域常用的接口包括rs485、rs422、rs232、ttl、rj45、光口、i/o等，而现有的数据采集对象主要以工业以太网为主，缺少对其他类型通信接口的适配，致使数据来源单一，没有考虑同一数据源不同接口数据之间以及不同数据源各数据之间的关联性和冗余性，而信息化设备安全性测试测试效果评估应该依赖于全方位全过程的数据采集和综合评价；二是在工业控制系统自身特殊性方面，工业控制系统的设计要求高度的安全性、鲁棒性，若采用传统代理进行数据采集，可能会造成个别代理需要承担的负荷过重，影响采集效率。
4.移动代理是一段具有独立性的代码程序，它按照用户在其部署前所设定的目标在网络中迁移，其运行目的是为了寻找合适的数据或使用本地主机的资源来完成某向特定的任务。与传统的分布式技术相比，移动代理技术可以避免网络中数据包的大量收发，这是因为代理实体被动态迁移至目标主机，在目标主机上执行任务，代理开发者将直面需要访问的主机资源，而不用考虑如何摆脱网络性能的约束。利用移动代理的移动性、异构、异步、分布、并行和可扩展等技术优势，可以解决层次化、异构性、数据多源化的工业控制网络数据采集困难，工控协议复杂多样且捕获解析难度大的问题。


技术实现要素：

5.为解决上述技术问题，本发明提出了一种基于移动代理的工业控制网络数据采集系统，所述系统包括移动代理平台，所述移动代理平台包括：生命周期管理模块、目录服务模块、任务分解模块、事件服务模块、安全服务模块和移动代理节点；上述各模块分别与移动代理节点连接，所述移动代理节点包括：信使移动代理装置、驻留采集代理装置、资源监测代理装置和数据库；
6.所述生命周期管理模块构建移动代理节点的运行环境，完成移动代理节点的创建、派遣、激活、召回、销毁和管理；
7.所述目录服务模块，提供数据采集任务、所采集的数据目录和当前工业控制网络状态信息的录入和查询服务；
8.所述任务分解模块接收对用户发布的数据采集任务，并对所述数据采集任务进行分解、制定数据采集计划、决定派遣的信使移动代理的数量和根据目录服务模块提供的信息形成初始路由策略；
9.所述事件服务模块，为信使移动代理装置提供传输协议和通信协议的支持，完成移动代理节点包含的各代理装置之间的消息传递和各代理装置的数据的传输；
10.所述安全服务模块提供对主机文件资源、网络资源、系统属性的访问控制，提供用户权限控制、系统消息响应控制和身份认证；
11.所述的信使移动代理装置包括：第一环境交互模块、任务发布模块、动态路由模块、迁移模块和第一通信模块；
12.第一环境交互模块，用于从资源监测代理装置获取当前环境信息；
13.所述任务发布模块，用于根据移动代理平台下的任务分解模块制定的数据采集计划，将具体的数据采集子任务发布给驻留采集代理装置；
14.所述动态路由模块，为信使移动代理装置提供动态路由；
15.所述迁移模块，根据动态路由模块提供的路由表完成信使移动代理装置的迁移；
16.所述第一通信模块与驻留采集代理装置的第二通信模块执行双向通信；
17.所述的驻留采集代理装置包括：第二通信模块、数据采集模块和数据处理与传输模块；
18.所述数据采集模块接收信使移动代理装置发布的数据采集子任务，通过外部工业主机的多种接口采集目标数据；
19.所述数据处理与传输模块接收数据采集模块采集的数据，将所述的数据执行统一格式化处理后上传至数据库，数据库存储所采集的数据；
20.所述的资源监测代理装置包括第二环境交互模块、信息暂存模块和信息采集模块；
21.所述的第二环境交互模块接收第一环境交互模块传送来的请求消息，并从信息暂存模块获取上述请求消息对应的采集信息，将该信息反馈给信使移动代理装置；
22.所述信息暂存模块，用于暂存当前采集主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟；
23.所述信息采集模块以一定时间间隔采集当前采集主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟，并定时刷新信息暂存模块中数据。
24.进一步的，所述目录服务模块的目录包含：当前工业控制网络的拓扑结构、所有采集主机的ip地址、各数据采集接口的工作参数、各采集主机所采集的数据类型、运行的驻留采集代理装置的名称和数量。
25.进一步的，所述动态路由模块提供动态路由包括：根据采集主机工作状态、网络延迟、网络吞吐量、驻留采集代理工作状态和采集任务完成情况信息，实时制定新的路由选择。
26.进一步的，所述采集主机是数据采集源节点，驻留采集代理装置包括以下接口：系统api、工业以太网数据采集接口、现场总线数据采集接口、i/o数据采集接口，驻留采集代理装置能够通过上述任一种接口和采集主机链接并采集数据。
27.进一步的，所述的i/o数据采集接口包括：rs232、rs422、rs485、rj45、光接口。
28.进一步的，所述的数据采集子任务包括：主机状态信息采集，支持工业以太网报文采集、profibus现场总线报文采集、can现场总线报文采集和modbus现场总线报文采集，支持模拟i/o和数字i/o数据采集。
29.进一步的，所述主机状态信息采集包括采集下列信息：cpu利用率、内存利用率、网卡状态、磁盘状态、进程信息、键鼠输入信息、文件信息、系统日志信息、软件列表、注册表信息和系统服务列表。
30.进一步的，移动代理平台根据自身各模块提供的信息和采集任务需求，给信使移动代理装置和驻留采集代理装置制定知识集和约束条件，知识集为信使移动代理装置和驻留采集代理装置提供执行采集任务所需要的各种信息；约束条件用以约束信使移动代理装置和驻留采集代理装置的运行，保障整个数据采集系统的性能。
31.进一步的，所述知识集包括：各采集主机ip地址列表、当前环境中所有驻留采集代理目录、各采集主机上驻留采集代理的类型和数量、各采集主机上可以采集的数据类型、各采集主机上驻留采集代理的状态、数据采集任务、实时网络状况、各驻留采集代理的任务完成情况和路由表。
32.进一步的，所述的约束条件包括：信使移动代理强制返回时间、信使移动代理在采集主机的最长驻留时间、采集任务完成度、系统控制指令、环境约束条件、采集时间段。
33.采用本发明的方法，解决了层次化、异构性、数据多源化的工业控制网络数据采集困难，工控协议复杂多样且捕获解析难度大的问题。提高了工业控制网络数据采集能力，可以为工业控制系统安全性测试提供全方位全过程的数据支持。且本系统采用信使移动代理与驻留采集代理协同的系统架构，占用网络资源少、效率高，且具有良好的可扩展性，方便对其他多种类型接口和协议的扩展，进一步增强本系统的数据采集能力。
附图说明
34.图1是基于移动代理的工业控制系统数据采集系统架构图；
35.图2是移动代理节点的架构图；
36.图3是基于移动代理的工业控制系统数据采集系统的基本工作机制图；
37.图4是基于移动代理的工业控制系统数据采集系统的实施流程图。
具体实施方式
38.本发明的目的在于提出一种基于移动代理的工业控制网络数据采集系统，以提高工业控制网络的数据采集能力，为工业控制网络安全性测试提供有力支撑。
39.本发明所采用的技术方案是：
40.一种基于移动代理的工业控制网络数据采集系统，包括：
41.移动代理平台、该平台通过移动代理节点链接信使移动代理装置、驻留采集代理装置和资源监测代理装置；
42.所述的移动代理平台，包括生命周期管理模块、目录服务模块、任务分解模块、事件服务模块、安全服务模块和移动代理节点；
43.所述生命周期管理模块，实现移动代理的创建、派遣、激活、召回、销毁和管理，为移动代理提供运行环境；
44.所述目录服务模块，提供当前工业控制网络拓扑结构、所有采集主机的ip地址、所拥有的数据采集接口、可采集的数据类型、运行的驻留采集代理名称及数量的记录和查询；
45.所述任务分解模块，用于对用户发布的数据采集任务进行分解处理，制定数据采集计划，决定派遣的信使移动代理的数量，并根据目录服务模块提供的信息形成初始路由策略；
46.所述事件服务模块，用于为移动代理提供传输协议和通信协议的支持，实现完成移动代理节点链接的各代理装置之间的消息传递和各代理装置的数据的传输；所述消息是指沟通各代理装置之间的消息响应；所述数据是指采集的数据。
47.所述安全服务模块，用于保障移动代理、移动代理平台和主机的安全性，提供对主机文件资源的访问控制、对网络资源的访问控制、对系统属性的访问控制、用户权限控制、系统消息响应控制和身份认证等安全策略；
48.信使移动代理装置，包括环境交互模块、任务发布模块、动态路由模块、迁移模块和通信模块；
49.所述环境交互模块，用于从资源监测代理获取当前环境信息；
50.所述任务发布模块，用于根据移动代理平台制定的数据采集计划，将具体的数据采集子任务发布给驻留采集代理；
51.所述动态路由模块，为信使移动代理提供动态路由功能，根据采集主机工作状态、网络延迟、网络吞吐量、驻留采集代理工作状态和采集任务完成情况等信息，实时制定新的路由选择；
52.所述迁移模块，根据动态路由模块提供的路由表完成信使移动代理迁移过程；
53.所述通信模块，负责与驻留采集代理之间的通信，完成信息交互；
54.驻留采集代理装置，包括通信模块、数据采集模块和数据处理与传输模块；
55.所述数据采集模块，用于接收信使移动代理发布的数据采集子任务，通过系统api、工业以太网、现场总线或者数字i/o采集目标数据；
56.所述数据处理与传输模块，用于接收数据采集模块采集的数据，进行统一格式处理后上传至集中数据库；
57.资源监测代理，包括环境交互模块、信息暂存模块和信息采集模块；
58.所述环境交互模块，用于接收信使移动代理的环境状态信息请求消息，并从信息暂存模块获取相应需求信息，反馈给信使移动代理；
59.所述信息暂存模块，用于暂存当前主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟；
60.所述信息采集模块，用于以一定时间间隔采集当前主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟，并更新信息暂存模块中数据。
61.进一步地，所述移动代理节点，负责驻留采集代理的派遣和维护，同时接受用户的采集任务，进行任务分解，分配给不同的信使移动代理，为信使移动代理制定知识集、约束
条件、迁移策略等，并将信使移动代理派遣至采集主机；
62.所述采集主机是数据采集源节点，采集主机可以通过rs232、rs422、rs485、rj45等多种接口接入工业以太网和各种现场总线网络；
63.进一步地，所述驻留采集代理负责完成具体的数据采集任务，其根据“数据采集元任务”设计，每个驻留采集代理对应于一个“数据采集元任务”，能够容易地适配异构网络环境，当采集主机所处的采集环境发生变化时，通过向采集主机派遣新的驻留采集代理，并召回旧的驻留采集代理即可。这里的“数据采集元任务”包括网络配置信息采集、设备基本信息采集、设备运行状态信息采集、网络状态信息采集、以太网报文数据采集、各种总线报文数据采集等。
64.进一步地，所述驻留采集代理拥有主机状态信息采集接口、工业以太网数据采集接口、现场总线数据采集接口、i/o数据采集接口，支持cpu利用率、内存利用率、网卡状态、磁盘状态、进程信息、键鼠输入信息、文件信息、系统日志信息、软件列表、注册表信息和系统服务列表等主机状态信息采集，支持工业以太网报文采集，支持profibus、can和modbus等现场总线报文采集，支持模拟i/o和数字i/o数据采集。
65.进一步地，所述驻留采集代理拥有数据采集功能，代码量大移动性弱，派遣至采集主机后，除采集功能更新或采集环境发生变化外一般不再移动，网络中所有驻留采集代理在信使移动代理的驱动下共同完成数据采集任务；所述信使移动代理代码量小移动性强，每次执行数据采集任务时，在所有目标采集主机间迁移。
66.进一步地，所述移动代理节点为信使移动代理制定知识集，知识集为信使移动代理提供执行采集任务所需要的各种信息，具体包括：各采集主机ip地址列表、当前环境中所有驻留采集代理目录、各采集主机上驻留采集代理的类型和数量、各采集主机上可以采集的数据类型、各采集主机上驻留采集代理的状态、数据采集任务、实时网络状况、各驻留采集代理的任务完成情况和路由表等。
67.进一步地，所述移动代理节点为信使移动代理制定约束条件，以约束信使移动代理的行为，保障整个数据采集系统的性能，具体包括：信使移动代理强制返回时间、信使移动代理在采集主机的最长驻留时间、采集任务完成度、系统控制指令、环境约束条件、采集时间段等。
68.进一步地，所述信使移动代理使用动态搜索迁移策略：信使移动代理始终选择网络延迟最低的主机作为下一个迁移目标，迁移至采集主机后，从资源监测代理获取当前主机状态信息，若不超过设定阈值则下发当前采集主机的采集任务，否则优先迁移至网络延迟最低的下一个采集主机，迁移过程中记录并更新每个采集主机的任务完成情况。
69.进一步地，所述移动代理平台的任务分解模块，基于主机之间的跳数，使用遗传算法对用户制定的采集任务中包含的采集主机ip地址进行均衡分组，为每个分组派遣一个信使移动代理负责组内数据采集，每个分组内信使移动代理迁移所花费的时间基本均衡；所述跳数，定义为主机之间网络交换设备的数量。
70.以下结合附图对本发明的具体实施方式作出详细说明。
71.图1为本发明实施例提供的基于移动代理的工业控制系统数据采集系统架构图，如图1和图2所示，本发明实施例提供一种基于移动代理的工业控制网络数据采集系统，移动代理平台101，所述的移动代理平台，包括生命周期管理模块、目录服务模块、任务分解模
块、事件服务模块、安全服务模块和移动代理节点。
72.所述生命周期管理模块，实现移动代理的创建、派遣、激活、召回、销毁和管理，为移动代理提供运行环境。
73.所述目录服务模块，提供当前工业控制网络拓扑结构、所有采集主机的ip地址、所拥有的数据采集接口、可采集的数据类型、运行的驻留采集代理名称及数量的记录和查询。在本实施例中，将当前工业控制网络中n个主机的拓扑结构存储为矩阵m_(n
×
n)，m_ij取值为从主机i到主机j的最短路径所经过网络交换设备的数量，定义为跳数，网络交换设备包括交换机和路由器；将每个采集主机的ip地址、数据采集接口、可采集数据类型、运行的驻留采集代理名称及数量信息存储为五元组形式：
74.《tag,ip,list_interface,list_datatype,list_stayagent》
75.所述任务分解模块，用于对用户发布的数据采集任务进行分解处理，制定数据采集计划，决定派遣的信使移动代理的数量，并根据目录服务模块提供的信息形成初始路由策略。作为一种可选实施例，数据采集任务为二元组形式：
76.《〖list〗_ip,〖list〗_datatype》
77.任务分解处理及制定数据采集计划的具体实施方式如下：
78.1)使用遗传算法根据目录服务代理提供的网络拓扑矩阵m_(n
×
n)求解〖list〗_ip的一个均衡的分组方案，保证每个分组内最短路径的跳数总和相对均衡；
79.2)根据目录服务代理提供的采集主机信息将数据采集任务分解为每台采集主机上的数据采集计划，即需要调用的驻留采集代理名称，如以下列表所示：
80.《〖ip〗_1,〖selectlist〗_stayagent》
81.《〖ip〗_2,〖selectlist〗_stayagent》
82.…
83.《〖ip〗_n,〖selectlist〗_stayagent》
84.3)根据〖list〗_ip的分组结果，为每个分组派遣一个信使移动代理，信使移动代理的初始路由表即为所指派分组的主机顺序，并根据所指派采集主机分组，为每个信使移动代理指定数据采集计划。
85.所述事件服务模块，用于为移动代理提供传输协议和通信协议的支持，实现移动代理之间消息传递和移动代理的数据传输。
86.所述安全服务模块，用于保障移动代理、移动代理平台和主机的安全性，提供对主机文件资源的访问控制、对网络资源的访问控制、对系统属性的访问控制、用户权限控制、系统消息响应控制和身份认证等安全策略。
87.信使移动代理102，包括环境交互模块、任务发布模块、动态路由模块、迁移模块和通信模块。
88.所述环境交互模块，用于从资源监测代理获取当前环境信息，包括网络吞吐量、内存利用率、cpu利用率和与网络中其他主机之间的网络延迟。在本实施例中，信使移动代理与资源监测代理的通信格式为：
89.请求消息：《infotype,iplist》
90.应答消息：《infotype,cpustate,memstate,throughput,delaylist》
91.其中，infotype表示消息类型，有“request”和“response”2种类型，iplist是信使
移动代理未访问的采集主机ip地址列表，cpustate是当前采集主机的cpu利用率，memstate是当前采集主机的内存利用率，throughput是当前采集主机的网络吞吐量，delaylist是当前主机与iplist中各个主机之间的网络延迟列表。
92.所述任务发布模块，用于根据移动代理平台制定的数据采集计划，调用采集主机上的驻留采集代理，发布具体的数据采集子任务。
93.所述动态路由模块，为信使移动代理提供动态路由功能，根据采集主机工作状态、网络延迟、网络吞吐量、驻留采集代理工作状态和采集任务完成情况等信息，实时制定新的路由选择。在本实施例中，信使移动代理始终选择网络延迟最低的采集主机作为下一个迁移目标，迁移至采集主机后，通过“资源监测代理”获取当前主机的运行状况(包括网络吞吐量、内存利用率、cpu利用率)，若低于设定阈值则下发采集任务，否则，优先迁移至下一采集主机。
94.所述迁移模块，根据动态路由模块提供的路由表，调用移动代理平台事件服务模块提供的传输接口事件完成信使移动代理迁移过程。
95.所述通信模块，负责与驻留采集代理之间的通信，调用移动代理节点提供的通信接口完成信息交互。
96.驻留采集代理103，包括通信模块、数据采集模块和数据处理与传输模块。
97.所述数据采集模块，用于接收信使移动代理发布的本机数据采集计划，通过系统api、工业以太网、现场总线或i/o采集目标数据。在本实施例中，通过系统api可采集cpu利用率、内存利用率、网卡状态、磁盘状态、进程信息、键鼠输入信息、文件信息、系统日志信息、软件列表、注册表信息和系统服务列表等主机状态信息；利用rj45接口或光口，可从工业以太网交换机镜像端口处采集以太网报文数据；利用rs232、rs422、rs485等接口，可从各现场总线上采集profibus、can和modbus总线报文数据；通过i/o接口，可采集数字量和模拟量数据。
98.所述数据处理与传输模块，用于接收数据采集模块采集的数据，进行统一格式处理后上传至集中数据库。在本实施例中，数据库使用mongodb，以键值对的形式存储大量结构松散的数据。
99.资源监测代理104，包括环境交互模块、信息暂存模块和信息采集模块；
100.所述环境交互模块，用于接收信使移动代理的环境状态信息请求消息，并从信息暂存模块获取相应需求信息，反馈给信使移动代理，通信格式如前所述。
101.所述信息暂存模块，用于暂存当前主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟，存储格式为：
102.《cpustate,memstate,throughput,alldelaylist》
103.其中，cpustate是当前采集主机的cpu利用率，memstate是当前采集主机的内存利用率，throughput是当前采集主机的网络吞吐量，alldelaylist是当前主机与网络其他所有采集主机之间的网络延迟列表。
104.所述信息采集模块，用于以一定时间间隔采集当前主机的cpu利用率、网卡状态、内存利用率和与其他主机之间的网络延迟，并更新信息暂存模块中数据。
105.图3为本发明实施例提供的基于移动代理的工业控制网络数据采集系统的基本工作机制图，如图3所示，本发明实施例提供一种基于移动代理的工业控制网络数据采集系
统，其基本工作机制为：
106.1)管理主机上移动代理平台接收用户的数据采集任务；
107.2)管理主机上移动代理节点派遣具有数据采集功能的驻留采集代理到与数据采集功能相对应的采集主机上，并负责驻留采集代理的后期维护，例如当采集环境发生变化或者采集功能需要升级时，召回原有的驻留采集代理，并派遣更新的驻留采集代理；
108.3)管理主机上的移动代理节点，派遣信使移动代理携带数据采集任务访问每一个采集主机，在采集主机之间迁移；
109.4)信使移动代理迁移至采集主机后，向驻留采集代理发布当前采集主机的数据采集子任务，调用驻留采集代理完成数据采集；
110.5)驻留采集代理完成数据采集任务后，进行格式处理并上传至数据库。
111.图4为本发明实施例提供的基于移动代理的工业控制网络数据采集系统的实施流程图，如图4所示，本发明实施例提供的一种基于移动代理的工业控制网络数据采集系统，其具体实施流程为：
112.1)系统初始化，生成整个工业控制网络的拓扑结构，形成采集主机ip列表，记录每台采集主机上拥有的接口类型以及可采集的数据类型；
113.2)系统初始化完成后，移动代理平台根据当前工业控制网络环境中每台采集主机可采集的数据类型，创建并定向派遣具有各种功能的驻留采集代理至相应的采集主机，添加驻留采集代理信息至系统目录服务列表；
114.3)用户在移动代理平台发布数据采集任务，平台接收数据采集任务并根据目录服务列表分解成数据采集子任务，创建相应数量的信使移动代理，并根据目录服务列表为每个信使移动代理制定数据采集计划、知识集、约束条件和初始路由表；
115.4)派遣所有信使移动代理；
116.5)信使移动代理根据平台制定的初始路由表迁移至第一个采集主机，若该采集主机和驻留采集代理满足约束条件，则向该采集主机上的驻留采集代理发布数据采集子任务，否则迁移至下一个采集主机。约束条件判断具体步骤如下：
117.5.1)根据资源监测代理反馈的信息，判断该采集主机的cpu利用率cpustate、内存利用率memstate、网卡状态throughput是否低于预设阈值。cpustate《threshold_cpu：cpu空闲；memstate《threshold_mem：内存空闲；throughput《threshold_throughput：网卡空闲。threshold_cpu、threshold_mem、threshold_throughput分别为cpu利用率阈值、内存利用率阈值、网络吞吐量阈值；
118.5.2)若所有状态指标都低于预设阈值，则判断该采集主机上驻留采集代理是否处于“繁忙”状态；
119.6)驻留采集代理根据数据采集子任务的需求调用自身对应的数据采集接口，执行数据采集子任务，随后更新自身状态为“繁忙”；
120.7)驻留采集代理对采集到的数据进行简单的格式统一处理后上传至数据库，随后更新自身状态为“空闲”；
121.8)信使移动代理根据资源监测代理反馈的网络延迟信息，选择网络延迟最低的下一个采集主机，更新路由表；
122.9)信使移动代理迁移至下一个采集节点主机，执行下一个数据采集子任务；
123.10)总体数据采集任务完成后，信使移动代理被召回移动代理平台，结束一次完整的数据采集任务。
124.最后应说明的是，以上实施方式仅用以说明本发明实施例的技术方案而非限制，尽管参照以上较佳实施方式对本发明实施例进行了详细说明，本领域的普通技术人员应当理解，可以对本发明实施例的技术方案进行修改或等同替换都不应脱离本发明实施例的技术方案的精神和范围。