一种通信网络分布式数据采集方法及系统与流程

1.本发明涉及计算机技术领域，具体为一种通信网络分布式数据采集方法及系统。


背景技术：

2.现有数据采集系统，通常采用的是中心化信息系统建设思路，由一个指挥枢纽为中心，采集终端个体连接到指挥中心进行信息交互与协同，采集终端个体之间的信息交互需要由指挥中心进行转发。
3.上述中心化的数据采集系统可以实现复杂环境通信，但是却面临极大的安全隐患，采集器损坏，将无法进行采集工作，且采集器进行采集的信息上传至终端时，也无法进行标记何种位置上的采集器进行采集的数据，为后期增设采集器进行采集大量优质的数据带来不便。


技术实现要素：

4.本发明的目的在于提供一种通信网络分布式数据采集方法及系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：一种通信网络分布式数据采集系统，包括计算机大数据平台、控制器、任务分配节点模块、采集节点传输模块、采集节点模块、追溯设备和评估设备，所述计算机大数据平台与控制器、追溯设备和评估设备通过电连接，所述控制器与任务分配节点模块通过通信连接，所述任务分配节点模块与采集节点传输模块通过通信连接，所述采集节点传输模块与采集节点模块通过通信连接。
6.所述计算机大数据平台将用于进行储存计算后的最终注册信息。
7.所述控制器将用于进行控制统一储存和分类化管理的注册信息与计算机大数据平台进行对比和计算。
8.优选的，所述任务分配节点模块包括任务分配采集器、任务分配管理器和任务分配传输器，所述任务分配采集器输出端和输入端与任务分配管理器输出端和输入端电性连接，所述任务分配管理器输出端和输入端与任务分配传输器输出端和输入端电性连接。
9.所述任务分配传输器用于将进一步分类注册地址的注册信息进行传输。
10.所述任务分配管理器用于将进一步分类注册地址的注册信息进行储存和分类管理。
11.所述任务分配采集器用于将任务分配管理器处理好的分类管理注册信息进行分别采集获取。
12.优选的，所述采集节点传输模块包括远端采集从设备和近端采集从设备，所述远端采集从设备的输出端和输入端均电性连接有如干个采集分线箱二，所述近端采集从设备的输出端和输入端均电性连接有如干个采集分线箱一。
13.所述采集分线箱一用于将初步分类的近端过滤的注册信息进行采集获取，传输至近端采集从设备。
14.所述近端采集从设备用于将初步分类的近端过滤的注册信息储存和标记，以免发生注册信息后期进行传输时丢失部分信息。
15.所述采集分线箱二用于将初步分类的远端过滤的注册信息进行采集获取，传输至远端采集从设备。
16.所述近端采集从设备用于将初步分类的远端过滤的注册信息储存和标记，以免发生注册信息后期进行传输时丢失部分信息。
17.优选的，所述采集节点模块包括传输器、过滤器和采集器，所述采集器的输出端和输入端与过滤器的输出端和输入端电性连接，所述过滤器的输出端和输入端与传输器的输出端和输入端电性连接。
18.所述采集器的数量为如干个，所述采集器可以是采集平台或者是采集计算机等设备。
19.所述采集器用于将注册信息进行采集。
20.所述过滤器用于将采集注册的信息进行初步的筛选，筛选出不符合规定的注册信息和注册信息的地址与总端口之间的远近。
21.所述传输器用于将过滤器初步筛选的注册信息进行采集获取，并储存标记至对应的采集器采集的注册信息，且用于传输至相应的采集分线箱一和采集分线箱二。
22.优选的，所述控制器的输出端和输入端与任务分配采集器的输出端和输入端通讯连接，所述任务分配传输器的输出端和输入端均与近端采集从设备和远端采集从设备的输出端和输入端通讯连接，所述采集分线箱一的输出端和输入端和采集分线箱二的输出端和输入端均与传输器的输出端和输入端通讯连接。
23.优选的，所述追溯设备将用于根据采集的最终注册信息对数据进行溯源，以判断出每一项最终注册的信息对应的每一个采集器。
24.优选的，所述评估设备将用于对采集的数据的效益及价值进行评估，并与追溯设备进行相互配合，以判断出相对应采集器所处的位置，并合理安排更多的采集器在相应位置上进行采集有效益和价值的注册信息。
25.一种通信网络分布式数据采集方法，包括以下步骤：
26.s1、对系统进行初始化设置；
27.s2、根据实际需要配置所需的现场设备，并依次开启所配置的现场设备并依次开启每个采集器；
28.s3、每个采集器开启后自动向过滤器发送注册信息，过滤器按照注册是否有效和注册地址的远近对采集器进行过滤，按照一定的频率与采集器进行通信以获取在线采集信息，将采集的注册信息发送至各个采集分线箱内部进行处理；
29.s4、各个采集分线箱获取采集的注册信息后，根据过滤注册地址的远近进行分别传输至近端采集从设备和远端采集从设备，近端采集从设备和远端采集从设备采集的注册信息统一传输至任务分配传输器进行传输；
30.s5、任务分配传输器将获取的注册信息传输至任务分配管理器中进行统一的储存和分类化管理，而这时任务分配采集器将获取统一储存和分类化管理的注册信息采集并传送至控制器；
31.s6、而控制器获取统一储存和分类化管理的注册信息采集后，并与计算机大数据
平台、追溯设备和评估设备同时连线，控制器进行控制统一储存和分类化管理的注册信息与计算机大数据平台进行对比和计算；
32.s7、这时计算和对比出的注册信息数据被计算机大数据平台进行储存；
33.s8、评估设备进行开启，获取被计算机大数据平台进行储存的注册信息数据，并对计算机大数据平台储存的数据进行评估，用以确定出采集器采集的注册信息可用性能和参考性能；
34.s9、追溯设备进行开启，获取被计算机大数据平台进行储存的注册信息数据，对采集的注册信息可用性能和参考性能高的采集器进行溯源，以便放置更多的采集器在此处。
35.与现有技术相比，本发明的有益效果是：
36.1、本发明包括计算机大数据平台、控制器、任务分配节点模块、采集节点传输模块、采集节点模块、追溯设备和评估设备，即本发明将数据收集、整理、发送、管理集成于一个采集系统内，整个通信网络分布式数据采集系统均由这一种采集系统组成，使得整个系统的架构简单灵活，便于布置，并且由于每个采集器均可单独工作，即使出现某一个采集器出现故障的情况，其他采集器也能够完成数据采集工作，减小了单个采集器故障对整个系统的影响，尽可能保证了整个系统的正常工作，提高了系统的可靠性。
37.2、本发明设置的追溯设备和评估设备，可以使得控制器由任务分配节点模块对采集任务进行统一的规划和储存，同时可以使得追溯哪些位置上的采集器所采集的数据更加完善更具效益，并用以标记，为后期增设采集器提供便利，而且具有一定的灵活性，而控制器、任务分配管理器、近端采集从设备和传输器均有储存和标记的功能，用以防止传输时产生数据丢失风险，使得各数据的传输更加的安全，当某一个或某几个传输数据故障时，也可以进行追溯到原始数据，只需再次进行传输即可，从而保证了采集任务执行的长期可靠性，解决了数据传输不稳定、甚至无法正常传输的问题。
38.3、本发明还提供了基于上述系统的分布式数据采集方法，也具有上述优点，在此不再赘述，从而能提高数据采集系统的安全性。
附图说明
39.图1为本发明一种通信网络分布式数据采集系统的结构示意图；
40.图2为本发明一种通信网络分布式数据采集系统的任务分配节点模块的结构示意图；
41.图3为本发明一种通信网络分布式数据采集系统的采集节点传输模块的结构示意图；
42.图4为本发明一种通信网络分布式数据采集系统的采集节点模块的结构示意图；
43.图5为本发明一种通信网络分布式数据采集方法的流程图；
44.图6为本发明一种通信网络分布式数据采集方法的部分流程图；。
45.1、计算机大数据平台；2、控制器；3、任务分配节点模块；31、任务分配采集器；32、任务分配管理器；33、任务分配传输器；4、采集节点传输模块；41、远端采集从设备；411、采集分线箱一；412、采集分线箱二；42、近端采集从设备；5、采集节点模块；51、传输器；52、过滤器；53、采集器；6、追溯设备；7、评估设备。
具体实施方式
46.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.请参阅图1
‑
4，本发明提供一种技术方案：包括计算机大数据平台1、控制器2、任务分配节点模块3、采集节点传输模块4、采集节点模块5、追溯设备6和评估设备7，计算机大数据平台1与控制器2、追溯设备6和评估设备7通过电连接，控制器2与任务分配节点模块3通过通信连接，任务分配节点模块3与采集节点传输模块4通过通信连接，采集节点传输模块4与采集节点模块5通过通信连接，控制器2的输出端和输入端与任务分配采集器31的输出端和输入端通讯连接，任务分配传输器33的输出端和输入端均与近端采集从设备42和远端采集从设备41的输出端和输入端通讯连接，采集分线箱一411的输出端和输入端和采集分线箱二411的输出端和输入端均与传输器51的输出端和输入端通讯连接。
48.如图1所示，参考步骤s6
‑
s7，优选的，计算机大数据平台1将用于进行储存计算后的最终注册信息，控制器2将用于进行控制统一储存和分类化管理的注册信息与计算机大数据平台1进行对比和计算。
49.如图2所示，参考步骤s5,优选的，任务分配节点模块3包括任务分配采集器31、任务分配管理器32和任务分配传输器33，任务分配采集器31输出端和输入端与任务分配管理器32输出端和输入端电性连接，任务分配管理器32输出端和输入端与任务分配传输器33输出端和输入端电性连接；
50.任务分配传输器33用于将进一步分类注册地址的注册信息进行传输；
51.任务分配管理器32用于将进一步分类注册地址的注册信息进行储存和分类管理；
52.任务分配采集器31用于将任务分配管理器32处理好的分类管理注册信息进行分别采集获取。
53.如图3所示，参考步骤s4,优选的，采集节点传输模块4包括远端采集从设备41和近端采集从设备42，远端采集从设备41的输出端和输入端均电性连接有如干个采集分线箱二411，近端采集从设备42的输出端和输入端均电性连接有如干个采集分线箱一412；
54.采集分线箱一412用于将初步分类的近端过滤的注册信息进行采集获取，传输至近端采集从设备42；
55.近端采集从设备42用于将初步分类的近端过滤的注册信息储存和标记，以免发生注册信息后期进行传输时丢失部分信息；
56.采集分线箱二411用于将初步分类的远端过滤的注册信息进行采集获取，传输至远端采集从设备41；
57.近端采集从设备42用于将初步分类的远端过滤的注册信息储存和标记，以免发生注册信息后期进行传输时丢失部分信息。
58.如图4所示，参考步骤s1
‑
s3，优选的，采集节点模块5包括传输器51、过滤器52和采集器53，采集器53的输出端和输入端与过滤器52的输出端和输入端电性连接，过滤器52的输出端和输入端与传输器51的输出端和输入端电性连接；
59.采集器53的数量为如干个，采集器53可以是采集平台或者是采集计算机等设备；
60.采集器53用于将注册信息进行采集；
61.过滤器52用于将采集注册的信息进行初步的筛选，筛选出不符合规定的注册信息和注册信息的地址与总端口之间的远近；
62.传输器51用于将过滤器52初步筛选的注册信息进行采集获取，并储存标记至对应的采集器采集的注册信息，且用于传输至相应的采集分线箱一412和采集分线箱二411。
63.如图1所示，参考步骤s8
‑
s9，优选的，追溯设备6将用于根据采集的最终注册信息对数据进行溯源，以判断出每一项最终注册的信息对应的每一个采集器53。
64.如图1所示，参考步骤s8
‑
s9，评估设备7将用于对采集的数据的效益及价值进行评估，并与追溯设备6进行相互配合，以判断出相对应采集器53所处的位置，并合理安排更多的采集器53在相应位置上进行采集有效益和价值的注册信息。
65.如图5和图6所示，一种通信网络分布式数据采集方法，包括以下步骤：
66.s1、对系统进行初始化设置；
67.s2、根据实际需要配置所需的现场设备，并依次开启所配置的现场设备并依次开启每个采集器53；
68.s3、每个采集器53开启后自动向过滤器52发送注册信息，过滤器52按照注册是否有效和注册地址的远近对采集器53进行过滤，按照一定的频率与采集器53进行通信以获取在线采集信息，将采集的注册信息发送至各个采集分线箱内部进行处理；
69.s4、各个采集分线箱获取采集的注册信息后，根据过滤注册地址的远近进行分别传输至近端采集从设备42和远端采集从设备41，近端采集从设备42和远端采集从设备41采集的注册信息统一传输至任务分配传输器33进行传输；
70.s5、任务分配传输器33将获取的注册信息传输至任务分配管理器32中进行统一的储存和分类化管理，而这时任务分配采集器31将获取统一储存和分类化管理的注册信息采集并传送至控制器2；
71.s6、而控制器2获取统一储存和分类化管理的注册信息采集后，并与计算机大数据平台1、追溯设备6和评估设备7同时连线，控制器2进行控制统一储存和分类化管理的注册信息与计算机大数据平台1进行对比和计算；
72.s7、这时计算和对比出的注册信息数据被计算机大数据平台1进行储存；
73.s8、评估设备7进行开启，获取被计算机大数据平台1进行储存的注册信息数据，并对计算机大数据平台1储存的数据进行评估，用以确定出采集器53采集的注册信息可用性能和参考性能；
74.s9、追溯设备6进行开启，获取被计算机大数据平台1进行储存的注册信息数据，对采集的注册信息可用性能和参考性能高的采集器53进行溯源，以便放置更多的采集器53在此处。
75.本发明提供了一种通信网络分布式数据采集方法及系统具有如下优点：
76.1、本发明包括计算机大数据平台1、控制器2、任务分配节点模块3、采集节点传输模块4、采集节点模块5、追溯设备6和评估设备7，即本发明将数据收集、整理、发送、管理集成于一个采集系统内，整个通信网络分布式数据采集系统均由这一种采集系统组成，使得整个系统的架构简单灵活，便于布置，并且由于每个采集器53均可单独工作，即使出现某一个采集器53出现故障的情况，其他采集器53也能够完成数据采集工作，减小了单个采集器
53故障对整个系统的影响，尽可能保证了整个系统的正常工作，提高了系统的可靠性。
77.2、本发明设置的追溯设备6和评估设备7，可以使得控制器2由任务分配节点模块3对采集任务进行统一的规划和储存，同时可以使得追溯哪些位置上的采集器53所采集的数据更加完善更具效益，并用以标记，为后期增设采集器53提供便利，而且具有一定的灵活性，而控制器2、任务分配管理器32、近端采集从设备42和传输器51均有储存和标记的功能，用以防止传输时产生数据丢失风险，使得各数据的传输更加的安全，当某一个或某几个传输数据故障时，也可以进行追溯到原始数据，只需再次进行传输即可，从而保证了采集任务执行的长期可靠性，解决了数据传输不稳定、甚至无法正常传输的问题。
78.3、本发明还提供了基于上述系统的分布式数据采集方法，也具有上述优点，在此不再赘述，从而能提高数据采集系统的安全性。
79.一种通信网络分布式数据采集方法的具体使用步骤：
80.当开始进行采集工作时，先对系统进行初始化设置，根据实际需要配置所需的现场设备，并依次开启所配置的现场设备并依次开启每个采集器53，每个采集器53开启后自动向过滤器52发送注册信息，过滤器52按照注册是否有效和注册地址的远近对采集器53进行过滤，按照一定的频率与采集器53进行通信以获取在线采集信息，将采集的注册信息发送至各个采集分线箱内部进行处理，各个采集分线箱获取采集的注册信息后，根据过滤注册地址的远近进行分别传输至近端采集从设备42和远端采集从设备41，近端采集从设备42和远端采集从设备41采集的注册信息统一传输至任务分配传输器33进行传输，任务分配传输器33将获取的注册信息传输至任务分配管理器32中进行统一的储存和分类化管理，而这时任务分配采集器31将获取统一储存和分类化管理的注册信息采集并传送至控制器2，而控制器2获取统一储存和分类化管理的注册信息采集后，并与计算机大数据平台1、追溯设备6和评估设备7同时连线，控制器2进行控制统一储存和分类化管理的注册信息与计算机大数据平台1进行对比和计算，这时计算和对比出的注册信息数据被计算机大数据平台1进行储存，评估设备7进行开启，获取被计算机大数据平台1进行储存的注册信息数据，并对计算机大数据平台1储存的数据进行评估，用以确定出采集器53采集的注册信息可用性能和参考性能，追溯设备6进行开启，获取被计算机大数据平台1进行储存的注册信息数据，对采集的注册信息可用性能和参考性能高的采集器53进行溯源，以便放置更多的采集器53在此处。
81.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。