数据采集方法及数字孪生网络与流程

1.本发明涉及通信技术领域，尤其是指一种数据采集方法及数字孪生网络。


背景技术：

2.数字孪生网络是一个具有物理网络实体及虚拟孪生体，且二者可进行实时交互映射的网络系统。其中，数据是构建数字孪生网络的基石，构建数字孪生网络需要实时采集物理网络的数据，进行孪生网络建模及实时驱动孪生网络状态。但是实时采集大量的数据至孪生网络，需要孪生网络具备大量的存储空间，且在孪生网络建模中进行数据处理、知识表征需要强大的算力支撑，再者，数据的实时传输占用大量的带宽资源。
3.目前现有方案的基于数字孪生的工程装备故障智能诊断与自愈控制系统及方法中涉及了数据采集模块处理，其主要功能是实时采集物理实体模块中工程装备运行的信息数据，并将数据传送到数字孪生模块中进行工程装备的数字孪生模拟仿真。此种采集方式是从物理系统中采集全量数据进行建模，并未考虑孪生网络中可能会面临的由于采集大量数据导致的存储资源不足、算力资源紧张、计算效率低及带宽资源浪费等问题。


技术实现要素：

4.本发明的目的在于提供一种数据采集方法及数字孪生网络，以解决现有数字孪生网络在物理网络中采集全量数据进行建模导致孪生网络的存储资源不足、算力资源紧张、计算效率低及带宽资源浪费等问题。
5.为了解决上述问题，本发明实施例提供一种基于数字孪生网络的数据采集方法，所述数字孪生网络包括：物理网络和孪生网络，所述数据采集方法包括：
6.所述孪生网络根据数据采集请求向所述物理网络发送数据采集指令；
7.所述物理网络对所述数据采集指令进行解析，对所述数据采集指令对应的原始数据进行数据处理和/或知识表征；
8.所述物理网络将进行数据处理和/或知识表征后得到的目的数据发送至所述孪生网络。
9.其中，所述孪生网络包括：指令管理中心以及至少一个第一数据存储中心；所述物理网络包括：至少一个第二数据存储中心；
10.所述孪生网络根据数据采集请求向所述物理网络发送数据采集指令，包括：
11.所述指令管理中心接收所述第一数据存储中心发送的数据采集请求；所述数据采集请求中携带孪生网络请求采集的数据参数信息；
12.所述指令管理中心根据所述数据采集请求配置所述数据采集指令；
13.所述指令管理中心根据所述数据参数信息在物理网络的注册信息中进行寻址，确定目标第二数据存储中心；
14.所述指令管理中心向所述目标第二数据存储中心发送所述数据采集指令。
15.其中，所述指令管理中心根据所述数据参数信息在物理网络的注册信息中进行寻
址，确定目标第二数据存储中心之前，所述方法还包括：
16.所述指令管理中心接收并存储所述至少一个第二数据存储中心发送的注册信息；其中，所述注册信息包括下述至少一项：
17.第二数据存储中心的地址；
18.第二数据存储中心的数据类型；
19.第二数据存储中心的数据的指标名称；
20.第二数据存储中心的数据源名称；
21.第二数据存储中心的数据大小。
22.其中，所述数据采集指令携带下述至少一项：
23.基于规则的数学表达式；
24.可执行文件；
25.数据的动态采集频率；
26.数据参数列表；
27.m格式的程序文本文件；
28.带参数配置的文本文件；
29.ai模型。
30.其中，所述物理网络对所述数据采集指令进行解析，对所述数据采集指令对应的原始数据进行数据处理和/或知识表征，包括：
31.所述目标第二数据存储中心解析所述数据采集指令，获取所述数据采集指令对应的原始数据；
32.所述目标第二数据存储中心根据所述数据采集指令对所述原始数据进行数据处理和/或知识表征。
33.其中，所述数据处理包括数据清洗、数据去重、缺失值填充、数据归一化、数据关联、标签自动标注以及冲突验证中的至少一项。
34.其中，所述物理网络将进行数据处理和/或知识表征后得到的目的数据发送至所述孪生网络，包括：
35.所述目标第二数据存储中心将所述目的数据发送至所述孪生网络的第一数据存储中心；
36.所述第一数据存储中心根据所述目的数据进行孪生网络的构建。
37.本发明实施例还提供一种数字孪生网络，所述数字孪生网络包括：物理网络和孪生网络；
38.所述孪生网络用于：根据数据采集请求向所述物理网络发送数据采集指令；
39.所述物理网络用于：对所述数据采集指令进行解析，对所述数据采集指令对应的原始数据进行数据处理和/或知识表征；
40.所述物理网络还用于：将进行数据处理和/或知识表征后得到的目的数据发送至所述孪生网络。
41.其中，所述孪生网络包括：指令管理中心以及至少一个第一数据存储中心；所述物理网络包括：至少一个第二数据存储中心；
42.所述指令管理中心用于：
43.接收所述第一数据存储中心发送的数据采集请求；所述数据采集请求中携带孪生网络请求采集的数据参数信息；
44.根据所述数据采集请求配置所述数据采集指令；
45.根据所述数据参数信息在物理网络的注册信息中进行寻址，确定目标第二数据存储中心；
46.向所述目标第二数据存储中心发送所述数据采集指令。
47.其中，所述指令管理中心进一步用于：
48.接收并存储所述至少一个第二数据存储中心发送的注册信息；其中，所述注册信息包括下述至少一项：
49.第二数据存储中心的地址；
50.第二数据存储中心的数据类型；
51.第二数据存储中心的数据的指标名称；
52.第二数据存储中心的数据源名称；
53.第二数据存储中心的数据大小。
54.其中，所述数据采集指令携带下述至少一项：
55.基于规则的数学表达式；
56.可执行文件；
57.数据的动态采集频率；
58.数据参数列表；
59.m格式的程序文本文件；
60.带参数配置的文本文件；
61.ai模型。
62.其中，所述目标第二数据存储中心用于：
63.解析所述数据采集指令，获取所述数据采集指令对应的原始数据；
64.根据所述数据采集指令对所述原始数据进行数据处理和/或知识表征。
65.其中，所述数据处理包括数据清洗、数据去重、缺失值填充、数据归一化、数据关联、标签自动标注以及冲突验证中的至少一项。
66.其中，所述目标第二数据存储中心还用于：
67.将所述目的数据发送至所述孪生网络的第一数据存储中心；
68.所述第一数据存储中心还用于：根据所述目的数据进行孪生网络的构建。
69.本发明实施例还提供一种数字孪生网络，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序，所述处理器执行所述程序时实现如上所述的基于数字孪生网络的数据采集方法。
70.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于数字孪生网络的数据采集方法中的步骤。
71.本发明的上述技术方案至少具有如下有益效果：
72.本发明实施例的数据采集方法及数字孪生网络中，孪生网络按需发送数据采集指令至物理网络，物理网络进行自动化指令解析，根据指令完成数据处理和/或知识表征操作，再将数据处理和/或知识表征后的数据返回给孪生网络，从而实现孪生网络的构建。
附图说明
73.图1表示本发明实施例提供的基于数字孪生网络的数据采集方法的步骤流程图；
74.图2表示本发明实施例提供的基于数字孪生网络的数据采集方法的示例图；
75.图3表示本发明实施例提供的基于数字孪生网络的结构示意图。
具体实施方式
76.为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。
77.如图1所示，本发明实施例提供一种基于数字孪生网络的数据采集方法，所述数字孪生网络包括：物理网络和孪生网络，所述数据采集方法包括：
78.步骤101，所述孪生网络根据数据采集请求向所述物理网络发送数据采集指令；
79.步骤102，所述物理网络对所述数据采集指令进行解析，对所述数据采集指令对应的原始数据进行数据处理和/或知识表征；
80.步骤103，所述物理网络将进行数据处理和/或知识表征后得到的目的数据发送至所述孪生网络。
81.本发明实施例中，数字孪生网络是由物理网络与孪生网络组成。其中，孪生网络按需发送数据采集指令至物理网络，物理网络进行自动化指令解析，根据指令的指示完成数据处理和/或知识表征操作，再将数据处理和/或知识表征后的数据返回给孪生网络，从而实现孪生网络的构建。
82.该数据采集方法减少了孪生网络中数据存储压力，孪生网络通过发送数据采集指令，一定程度上降低了孪生网络对算力的需求，对孪生网络而言，数据处理、知识表征等都可以在物理网络中完成，在物理网络中因为数据一般都是分布式存储的，可以在数据采集时在物理网络中进行分布式计算，这样极大降低了孪生网络的算力要求，同时能很大程度上提升数据处理及知识表征的效率；且物理网络与孪生网络之间传输的是数据处理和知识表征后的数据，很大程度上减少了数据传输所消耗的带宽资源。
83.在本发明的至少一个实施例中，所述孪生网络包括：指令管理中心以及至少一个第一数据存储中心；所述物理网络包括：至少一个第二数据存储中心；相应的，步骤101包括：
84.所述指令管理中心接收所述第一数据存储中心发送的数据采集请求；所述数据采集请求中携带孪生网络请求采集的数据参数信息；
85.所述指令管理中心根据所述数据采集请求配置所述数据采集指令；
86.所述指令管理中心根据所述数据参数信息在物理网络的注册信息中进行寻址，确定目标第二数据存储中心；
87.所述指令管理中心向所述目标第二数据存储中心发送所述数据采集指令。
88.本发明实施例中，在孪生网络中构建指令管理中心和第一数据存储中心，该指令管理中心具有如下两方面功能：
89.第一，指令管理中心可根据数据采集请求，按需生成、修改、组合、删除数据采集指令，即实现数据采集指令的灵活可编程操作。
90.第二，可管理物理网络中第二数据存储中心的注册信息，且根据数据采集请求智
能化搜索注册信息进行寻址确定数据采集请求对应的第二数据存储中心(即目标第二数据存储中心)。
91.本发明实施例中，物理网络中存储数据单元均定义为第二数据存储中心，第二数据存储中心一方面可存储物理网络中的拓扑结构、性能指标、运行状态、日志、流量调度、业务需求等数据，另一方面，新增指令解析功能，可自动化解析孪生网络中指令管理中心发送的数据采集指令，并基于本地数据执行数据采集指令，进行数据处理与知识表征。
92.作为一个可选实施例，所述指令管理中心根据所述数据参数信息在物理网络的注册信息中进行寻址，确定目标第二数据存储中心之前，所述方法还包括：
93.所述指令管理中心接收并存储所述至少一个第二数据存储中心发送的注册信息；其中，所述注册信息包括下述至少一项：
94.第二数据存储中心的地址；
95.第二数据存储中心的数据类型；
96.第二数据存储中心的数据的指标名称；
97.第二数据存储中心的数据源名称；
98.第二数据存储中心的数据大小。
99.需要说明的是，物理网络包括的各个第二数据存储中心可以分别向指令管理中心发送各自的注册信息。
100.作为另一个可选实施例，所述数据采集指令携带下述至少一项：
101.基于规则的数学表达式；
102.可执行文件；
103.数据的动态采集频率；
104.数据参数列表；
105.m格式的程序文本文件；
106.带参数配置的文本文件；
107.ai模型。
108.可选的，数据采集指令中携带的可执行文件为exe格式的可执行模型。本发明实施例中提及的数据采集指令可根据数据采集需求灵活创建、修改、组合、删除等，在此不做具体限定。
109.在本发明的至少一个实施例中，步骤102包括：
110.所述目标第二数据存储中心解析所述数据采集指令，获取所述数据采集指令对应的原始数据；
111.所述目标第二数据存储中心根据所述数据采集指令对所述原始数据进行数据处理和/或知识表征。
112.其中，所述数据处理包括数据清洗、数据去重、缺失值填充、数据归一化、数据关联、标签自动标注以及冲突验证中的至少一项。
113.可选的，知识表征是指将原始数据通过指令模型表征为一种可用于高效计算的数据结构，这样的表征结果更接近于机器语言，有利于模型的快速、精准构建。
114.在本发明的另一个可选实施例中，步骤103包括：
115.所述目标第二数据存储中心将所述目的数据发送至所述孪生网络的第一数据存
储中心；
116.所述第一数据存储中心根据所述目的数据进行孪生网络的构建。
117.本发明实施中，孪生网络的指令管理中心一方面主要用于管理物理网络中第二数据存储中心的注册信息，其注册信息主要包括物理网络数据存储中心的ip地址、数据类型、数据中各指标名称、数据源名称、数据大小等关键信息；另一方面，主要用于根据孪生网络中第一数据存储中心的数据采集需求自适应配置数据采集指令，并寻址进行数据采集指令发送。该数据采集指令携带信息包括基于规则的数学表达式、可执行文件、动态采集频率、参数列表、.m格式的程序文本文件、带参数配置的文本文件等类型文件。数据采集指令具备灵活可编程性，可随时根据需求创建、修改、组合、删除等操作。
118.孪生网络的第一数据存储中心向指令管理中心发起数据采集请求时，指令管理中心根据数据采集请求对应的数据类型、数据名称等关键信息在注册信息中搜索需求物理网络的第二数据存储中心地址，并按需配置可实现数据处理、知识表征功能的数据采集指令，按照地址将数据采集指令发送到物理网络中的第二数据存储中心。
119.孪生网络的第一数据存储中心主要用于存储物理网络中的第二数据存储中心返回的数据处理和知识表征后的有效信息。
120.本发明实施中物理网络中存储数据单元均定义为第二数据存储中心，第二数据存储中心一方面可存储物理网络中的拓扑结构、性能指标、运行状态、日志、流量调度、业务需求等数据，另一方面，新增指令解析功能，可自动化解析孪生网络中指令管理中心发送的指令，根据指令需求配置执行指令的运行环境，并基于指令模型和数据进行数据处理与知识表征。数据处理主要包括数据清洗、去重、缺失值填充、归一化、关联、冲突验证等，知识表征是指将原始数据通过指令模型表征为一种可用于高效计算的数据结构，这样的表征结果更接近于机器语言，有利于模型的快速、精准构建。
121.为了更清楚的描述本发明实施例提供的数据采集方法，下面结合图2进行详细说明。
122.步骤1，物理网络中的第二数据存储中心向孪生网络中的指令管理中心注册，注册信息包括数据存储中心地址、数据类型、数据中各指标名称、数据源名称、数据大小等；
123.步骤2，孪生网络中的第一数据存储中心向指令管理中心发送数据采集请求；
124.步骤3，指令管理中心根据数据采集请求智能搜索注册信息进行寻址，并配置数据采集指令，数据采集指令携带信息包括基于规则的数学表达式、可执行文件、动态采集频率、参数列表、.m格式的程序文本文件、带参数配置的文本文件等类型文件等，可根据需求灵活创建、修改、组合、删除。
125.步骤4，孪生网络中的指令管理中心按照地址发送相应指令到物理网络的第二数据存储中心；
126.步骤5，物理网络中的第二数据存储中心接收指令后，进行解析，并按照指令执行，如进行数据缺失填充、数据关联、标签自动标注、知识表征等。
127.步骤6，物理网络的第二数据存储中心将处理、表征完的数据发送给孪生网络中的第一数据存储中心。
128.综上，本发明实施例中，孪生网络按需发送数据采集指令至物理网络，物理网络进行自动化指令解析，根据指令完成数据处理和/或知识表征操作，再将数据处理和/或知识
表征后的数据返回给孪生网络，从而实现孪生网络的构建。
129.如图3所示，本发明实施例还提供一种数字孪生网络，所述数字孪生网络包括：物理网络300和孪生网络310；
130.所述孪生网络310用于：根据数据采集请求向所述物理网络发送数据采集指令；
131.所述物理网络300用于：对所述数据采集指令进行解析，对所述数据采集指令对应的原始数据进行数据处理和/或知识表征；
132.所述物理网络300还用于：将进行数据处理和/或知识表征后得到的目的数据发送至所述孪生网络。
133.作为一个可选实施例，所述孪生网络包括：指令管理中心以及至少一个第一数据存储中心；所述物理网络包括：至少一个第二数据存储中心；
134.所述指令管理中心用于：
135.接收所述第一数据存储中心发送的数据采集请求；所述数据采集请求中携带孪生网络请求采集的数据参数信息；
136.根据所述数据采集请求配置所述数据采集指令；
137.根据所述数据参数信息在物理网络的注册信息中进行寻址，确定目标第二数据存储中心；
138.向所述目标第二数据存储中心发送所述数据采集指令。
139.作为一个可选实施例，所述指令管理中心进一步用于：
140.接收并存储所述至少一个第二数据存储中心发送的注册信息；其中，所述注册信息包括下述至少一项：
141.第二数据存储中心的地址；
142.第二数据存储中心的数据类型；
143.第二数据存储中心的数据的指标名称；
144.第二数据存储中心的数据源名称；
145.第二数据存储中心的数据大小。
146.作为一个可选实施例，所述数据采集指令携带下述至少一项：
147.基于规则的数学表达式；
148.可执行文件；
149.数据的动态采集频率；
150.数据参数列表；
151.m格式的程序文本文件；
152.带参数配置的文本文件；
153.ai模型。
154.作为一个可选实施例，所述目标第二数据存储中心用于：
155.解析所述数据采集指令，获取所述数据采集指令对应的原始数据；
156.根据所述数据采集指令对所述原始数据进行数据处理和/或知识表征。
157.其中，所述数据处理包括数据清洗、数据去重、缺失值填充、数据归一化、数据关联、标签自动标注以及冲突验证中的至少一项。
158.作为一个可选实施例，所述目标第二数据存储中心还用于：
159.将所述目的数据发送至所述孪生网络的第一数据存储中心；
160.所述第一数据存储中心还用于：根据所述目的数据进行孪生网络的构建。
161.本发明实施例中，孪生网络按需发送数据采集指令至物理网络，物理网络进行自动化指令解析，根据指令完成数据处理和/或知识表征操作，再将数据处理和/或知识表征后的数据返回给孪生网络，从而实现孪生网络的构建。
162.需要说明的是，本发明实施例提供的数字孪生网络是能够执行上述数据采集方法的数字孪生网络，则上述数据采集方法的所有实施例均适用于该数字孪生网络，且均能达到相同或相似的有益效果。
163.本发明实施例还提供一种数字孪生网络，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上所述的基于数字孪生网络的数据采集方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
164.本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的基于数字孪生网络的数据采集方法实施例中的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁碟或者光盘等。
165.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
166.本技术是参照根据本技术实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其它可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其它可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或一个方框或多个方框中指定的功能的装置。
167.这些计算机程序指令也可存储在能引导计算机或其它可编程数据处理设备以特定方式工作的计算机可读存储介质中，使得存储在该计算机可读存储介质中的指令产生包括指令装置的纸制品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
168.这些计算机程序指令也可装载到计算机或其它可编程数据处理设备上，使得计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他科编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
169.以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。