基于物联网技术多路数据采集及存储系统的制作方法

1.本发明涉及互联网大数据技术领域，具体为一种基于物联网技术多路数据采集及存储系统。


背景技术：

2.传统的数据采集后全部都会传输到服务器中，然后在服务器中进行数据的清洗、处理再进行存储，这种方式会在数据的传输过程中，造成数据的堵塞，也会造成服务器数据库假死，使得传输效率大大的降低。
3.而在数据的传输过程中，人为干涉也不会找到最优的传输路线和途径。


技术实现要素：

4.有鉴于此，本发明的目的在于提供一种基于物联网技术多路数据采集及存储系统，以解决上述背景技术中提出的问题。
5.为实现上述目的，本发明提供如下技术方案：基于物联网技术多路数据采集及存储系统，包括：数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；数据服务器，所述数据服务器和暂存设备之间设置有多个传输通道组合，所述传输通道组合基于控制模块的配置用作对应于不同分块的多种组合形式传输；所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置；存储模块，基于接收到的分块，获取分块的属性值并进行解析，将具有相同属性值的分块存储在同一数据模块中。
6.优选的，所述数据采集器集合由多个数据采集器连接，每一数据采集器对应与一个数据设备端连接，用于获取数据设备端所产生的基础数据。
7.优选的，所述暂存设备具有：时序控制单元；多个由存储单元构成的存储阵列；多个接收单元，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；处理器，所述处理器具有：多个并行的处理单元，每一处理单元用于对接一接收单元，所述处理单元用于对
接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。
8.优选的，所述存储阵列由多个连续的存储单元构成。
9.优选的，所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据分进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
10.优选的，所述暂存设备还包括传输单元和分配单元；所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；所述分配单元用于基于每一分块的属性值将选择将分块随机的分配到至少一个传输通道传输。
11.优选的，所述控制模块用于依据同一存储阵列下的至少一个分块来配置至少一个分块的至少一个传输通道的组合形式传输。
12.优选的，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置至少一个用于同一存储阵列下的不同属性值的分块的传输通道；或者，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置多个用于同一存储阵列下的不同属性值的多个传输通道的组合形式传输。
13.本发明中，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据分进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
14.同一分块在一个传输通道中，或者不同分块在一个传输通道中传输，或者多个分块在至少两个传输通道中进行传输的效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
附图说明
15.图1本发明的方法流程图；图2为本发明的框架原理图。
具体实施方式
16.以下结合附图对本发明进行详细的描述，参照图1至图2。
17.参照图1，本发明提供了基于物联网技术多路数据采集及存储系统，包括：
数据采集系统，所述数据采集系统具有以不同采集端组成的数据采集器集合和对应数据采集器集合的暂存设备，所述数据采集器集合由多个数据采集器连接，每一数据采集器对应与一个数据设备端连接，用于获取数据设备端所产生的基础数据；所述暂存设备被配置为基于设定的时序接收数据采集器从数据设备端采集的基础数据，并将所述基础数据按照采集时序进行分块处理，每一分块具有设定的属性值；数据服务器，所述数据服务器和暂存设备之间设置有多个传输通道组合，所述传输通道组合基于控制模块的配置用作对应于不同分块的多种组合形式传输；所述数据服务器内设置有评估模块，所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置；存储模块，基于接收到的分块，获取分块的属性值并进行解析，将具有相同属性值的分块存储在同一数据模块中。
18.本发明中，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据分进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
19.同一分块在一个传输通道中，或者不同分块在一个传输通道中传输，或者多个分块在至少两个传输通道中进行传输的效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
20.在上述中，所述暂存设备具有：时序控制单元；多个由存储单元构成的存储阵列，所述存储阵列由多个连续的存储单元构成；多个接收单元，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；处理器，所述处理器具有：多个并行的处理单元，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。
21.所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据分进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。
22.所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；在上述中，所述分配单元用于基于每一分块的属性值将选择将分块随机的分配到至少一个传输通道传输。
23.所述控制模块用于依据同一存储阵列下的至少一个分块来配置至少一个分块的至少一个传输通道的组合形式传输。
24.所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置至少一个用于同一存储阵列下的不同属性值的分块的传输通道；或者，所述控制模块用于依据同一存储阵列下的不同属性值的分块来配置多个用于同一存储阵列下的不同属性值的多个传输通道的组合形式传输。
25.由于在数据传输时，数据的格式多种多样，数据大小也不相同，在同一传输资源下，不同格式、不同大小的数据在传输时会对传输资源利用产生很大的影响，比如在视频数据传输时，就会占用很大的带宽，这样在设定大小的传输资源下，带宽如果被占用大多数，其他数据在传输时就会排队，造成数据堵塞，这样服务器再处理时，也会占用很大的处理线程，造成大量的数据积累无法实现存储，本发明的目的在于，在数据采集器采集数据的过程中，并不是所有的数据采集器都工作，而是将数据采集器基于时序控制单元按照设定的时序从数据设备端接收基础数据，这种设计是将不同的数据采集器进行间隔工作，当有一个数据采集器工作时，其他的数据采集器不工作，从而设定好每一个数据采集器的工作时间，数据采集器将基础数据采集后，传输到暂存设备，在暂存设备中，所述接收单元用于与对应的数据采集器连接，所述接收单元基于时序控制单元按照设定的时序利用数据采集器从数据设备端接收基础数据；然后利用多个并行的处理单元处理基础数据，其中，每一处理单元用于对接一接收单元，所述处理单元用于对接收的基础数据进行处理，并通过分类单元将基础数据进行分类并对应的存储在对应的存储单元中。所述分类单元用于获取基础数据的属性值，按照属性值的不同将基础数据分进行分类，分类后按照属性值对应的存储在存储单元中，以形成一个分块。所述传输单元用于基于时序控制单元设定的每一存储阵列下的分块的传输周期，将同一存储阵列下一个分块或者多个分块建立与传输通道的连接；所述分配单元用于基于每一分块的属性值将选择将分块随机的分配到至少一个传输通道传输。
26.在上述中，暂存设备在进行数据存储时，相同属性值的基础数据会集中的存储在同一个存储单元中，知道存储满形成一个分块后再与服务器建立传输，这样，将杂乱无章的数据统一了格式后压缩传输，忽略不同大小文件的同步传输。这也形成了前端间隔采集，暂存设备不会同时处理大量的基础数据，不会造成数据积累，同时，暂存设备已经完成了数据的处理、分类，服务器就不需要做相同的工作了，传输完毕后就可以进行对应的存储。
27.在上述中，在暂存设备中对基础数据进行处理，这样，不用暂用服务器的处理线程，且暂存设备在处理过程中，一次也是针对一个或者小数的几个数据采集器采集到的基础数据进行处理，基础数据的总量不会太大，且同时可以利用多个处理单元进行处理，处理过程被优化。在处理过程中，已经将不同格式的基础数据进行了统一分类，分类后将统一类型的或者标有相同属性值的基础数据存储在统一存储单元中，当存储单元被存储满后，就行了一个分块，此时，在开启暂存设备和服务器之间的传输通道，将一个分块作为一个传输量来计算，在同一个传输通道中可以进行一个分块的传输，或者将不同的分块在同一个传
输通道中传输，或者将多个分块分配在多个传输通道中进行传输。在传输过程中，不同的传输通道所组成的组合形式传输的传输效率是不同的，通过所述评估模块用于以响应接收到的多种组合形式传输的分块，评估由不同组合形式传输的分块至数据服务器时的传输效率，并且作为响应，以评估得到的传输效率的最佳组合作为控制模块用作数据服务器和暂存设备之间的传输通道的配置。
28.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实例的说明只是用于帮助理解本发明的方法及其核心思想。以上所述仅是本发明的优选实施方式，应当指出，由于文字表达的有限性，而客观上存在无限的具体结构，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进、润饰或变化，也可以将上述技术特征以适当的方式进行组合；这些改进润饰、变化或组合，或未经改进将发明的构思和技术方案直接应用于其它场合的，均应视为本发明的保护范围。