一种基于Netty框架的终端设备数据采集系统的制作方法

一种基于netty框架的终端设备数据采集系统
技术领域
1.本发明属于数据采集技术领域，具体是一种基于netty框架的终端设备数据采集系统。


背景技术：

2.netty是由jboss提供的一个java开源框架，现为github上的独立项目，netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。
3.针对于与netty框架相连的终端设备，需外部的数据采集系统对终端设备内部的数据进行采集，在进行数据采集过程中，因数据过多，未对所采集的数据包进行区分处理，很容易导致传输数据容量大，导致系统运行缓慢，从而导致数据采集效果变差。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一；为此，本发明提出了一种基于netty框架的终端设备数据采集系统，用于解决因数据过多，未对所采集的数据包进行区分处理，很容易导致传输数据容量大，导致系统运行缓慢的技术问题。
5.为实现上述目的，根据本发明的第一方面的实施例提出一种基于netty框架的终端设备数据采集系统，包括：
6.操控端，用于操作人员对服务器下达操作指令，所述操作指令包括数据采集指令和数据调用指令，所述服务器根据不同的操作指令对不同的处理器进行调用；
7.服务器，包括命令区分器、采集处理器和调用处理器，采集处理器包括优先级处理单元和采集数据处理单元，命令区分器用于对操控端下达的操作指令进行区分，采集处理器对区分后的操作指令进行处理，优先级处理单元用于对不同阶段所下达的操作指令进行优先级排列处理，并将排列处理结果输送至采集数据处理单元内，采集数据处理单元根据排列处理结果对不同优先级的数据进行采集。
8.优选的，还包括数据采集端和数据存储端，数据采集端用于对netty框架的终端设备数据进行采集，其中所采集的数据包括ftp、smtp和http协议文件，数据采集端所采集的数据传输至服务器内；数据存储端内部设置有识别单元和三组存储区域，三组存储区域分别对应ftp、smtp和http协议文件，不同存储区域对不同的协议文件进行存储。
9.优选的，调用处理器包括数据调用单元以及调用处理单元，数据调用单元对数据调用指令进行接收，调用处理单元对数据调用指令进行处理，从数据存储端内进行数据调用。
10.优选的，调用处理器对数据调用指令进行处理的步骤如下：
11.s1、调用处理器接收到数据调用指令，数据调用单元对数据调用指令内部调用数据协议进行提取，所提取的数据协议分别为ftp、smtp以及http；
12.s2、调用处理单元根据数据调用指令对数据存储端内部所存储的协议文件进行提
取，将对应的文件提取完毕后，调用处理单元将所提取的文件进行标记，调用处理器再生成记忆端子，记忆端子对标记进行识别并同时对带有相同标记的文件进行整合，生成对应的数据包。
13.优选的，调用处理单元将所调取的文件采用4组不同的网络通道传输至外部终端，其中3组不同的网络通道用于对ftp、smtp以及http协议文件进行传输，1组网络通道用于对记忆端子进行传输，记忆端子对所传输的协议文件内部的标记进行识别，并进行整合。
14.优选的，采集处理器对区分后的操作指令进行处理的步骤如下：
15.w1、采集处理器接收到对应的数据采集指令时，进行数据采集，并将所采集的数据包进行整合，提取每组数据包内部的容量并标记为ri，提取采集处理器与外部终端输送通道的带宽值，并标记为di，数据采集指令进行下达时，外部人员可绑定优先采集指令，采集处理器对优先采集指令进行优先识别并进行采集，并将采集数据包通过输送通道进行传输；
16.w2、采用得到优先值yxi，其中为修正因子，取值为0.97856，其中c1和c2均为预设的固定系数因子，并将计算所得的优先值yxi输送至采集数据处理单元内；
17.w3、采集数据处理单元对优先值yxi进行处理，将数值最低的优先值yxi标记为最高优先级，从低至高，优先级逐渐降低；
18.w4、将排列位于最高优先级的数据采集指令进行处理，通过输送通道传输至外部终端。
19.优选的，数据采集端根据数据采集指令对终端设备进行数据采集，并将所采集的数据传输至操控端以及数据存储端。
20.优选的，步骤w3中以十组优先值yxi为整合处理包，对十组对应的优先值yxi进行比对。
21.与现有技术相比，本发明的有益效果是：操控端下达指令，通过命令区分器对下达的不同命令进行区分，采集处理器接收到对应的数据采集指令，对采集数据进行采集处理时，预先对所采集的数据进行优先级排列，根据优先级排列结果，对不同的数据进行优先级采集，对数据容量小的预先采集，将容量较大的数据排列在后采集，通过采集处理器，可使数据进行排序处理，通过依次排列的效果可对数据进行整合，避免数据出现混乱，同时对数据进行处理时，可达到较好的处理效果；
22.调用处理器接收到数据调用指令，对不同协议的文件进行调取，同时将不同协议的文件，采用不同的网络通道进行传输，并同时采用对应记忆端子对协议文件进行识别整合，可有效避免文件在传输过程中，发生数据混乱，同时也保证了所调取的数据传输过程中的安全性，保证数据传输过程中，不会被盗取，提升数据传输的整体效果。
附图说明
23.图1为本发明原理框图。
具体实施方式
24.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
25.请参阅图1，本技术提供了一种基于netty框架的终端设备数据采集系统，包括数据采集端，操控端、服务器以及数据存储端；
26.数据采集端输出端与服务器输入端电性连接，操控端输出端与服务器输入端电性连接，服务器与数据存储端之间双向连接；
27.服务器内部包括命令区分器、优先级处理单元、采集数据处理单元、数据调用单元以及调用处理器；
28.命令区分器输出端分别与不同的处理器电性连接，采集处理器用于对数据进行采集，调用处理器用于对数据进行调用，采集处理器包括优先级处理单元和采集数据处理单元，调用处理器包括数据调用单元以及调用处理单元；
29.命令区分器用于对操控端下达的操作指令进行区分，其中所区分的操作指令分别为数据采集指令和数据调用指令，数据采集指令传输至采集处理器内，数据调用指令传输至调用处理器内，优先级处理单元用于对不同阶段所下达的数据采集指令进行优先级排列处理，并将排列处理结果输送至采集数据处理单元内，采集数据处理单元根据处理结果对不同优先级的数据进行采集，数据调用单元对数据调用指令进行接收，调用处理器对数据调用指令进行处理，从数据存储端内进行数据调用；
30.操控端，用于操作人员进行下达指令操作，操作人员可向服务器下达数据采集指令或者数据调用指令，服务器根据不同的指令调用不同的处理器进行处理，避免数据过多造成混乱；
31.数据采集端，用于对netty框架的终端设备的数据进行采集，其中所采集的数据包括ftp、smtp、http各种二进制数据，数据采集端所采集的数据传输至服务器内；
32.数据存储端，内部设置有识别单元和三组存储区域，三组存储区域对应ftp、smtp和http协议的文件，不同的区域对不同协议的文件进行存储，识别单元对三种协议文件进行识别，并将识别后的文件传输至对应存储区域内进行存储。
33.服务器，对操控端所下达的指令进行识别，通过不同的下达指令采用不同的处理器进行处理，其中处理步骤如下：
34.s1、命令区分器对数据采集指令以及数据调用指令进行区分，数据采集指令输送至采集处理器内，采集处理器对采集数据进行处理，数据调用指令输送至调用处理器内，调用处理器对数据存储端内部的数据进行调取；
35.s11、采集处理器接收到对应的数据采集指令时，便进行数据采集，并将所采集的数据包进行整合，提取每组数据包内部的容量并标记为ri，提取采集处理器与外部终端输送通道的带宽值，并标记为di，其中i代表不同的数据采集指令，同时，数据采集指令进行下达时，外部人员可绑定优先采集指令，采集处理器对优先采集指令进行优先识别并进行采集，并将采集数据包通过输送通道进行传输；
36.s110、采用得到优先值yxi，其中为修正因子，取值为0.97856，其中c1和c2均为预设的固定系数因子，并将计算所得的优先值yxi输送至采集数据处理单元内；
37.s111、采集数据处理单元对优先值yxi进行处理，以十组优先值yxi为一处理单元，对十组对应的优先值yxi进行比对，从最低的数值至最高的数值进行依次排列，将数值最低的优先值yxi标记为最高优先级，从低至高，优先级逐渐降低；
38.s112、将排列位于最高优先级的数据包进行处理传输，并将所采集的数据包传输至操控端以及数据存储端，数据存储端对所采集的数据包进行存储处理；
39.s12、调用处理器接收到数据调用指令，数据调用单元对数据调用指令内部调用数据协议进行提取，所提取的数据协议分别为ftp、smtp以及http；
40.s120、调用处理单元根据数据调用指令对数据存储端内部所存储的协议文件进行提取，将对应的文件提取完毕后，调用处理单元调用处理器将所提取的文件进行标记，调用处理器再生成记忆端子，记忆端子对标记进行识别并同时对带有相同标记的文件进行整合；
41.s121、调用处理单元将所调取的文件采用4组不同的网络通道进行传输，其中3组不同的网络通道用于为ftp、smtp以及http协议文件进行传输，1组网络通道用于对记忆端子进行传输，记忆端子以及ftp、smtp以及http三组不同的协议文件传输完毕后，记忆端子对所传输的协议文件内部的标记进行识别，并进行整合，生成对应的数据包。
42.将不同协议的文件，采用不同的网络通道进行传输，并同时采用对应记忆端子对协议文件进行识别整合，可有效避免文件在传输过程中，发生数据混乱，同时也保证了所调取的数据传输过程中的安全性，保证数据传输过程中，不会被盗取，提升数据传输的整体效果。
43.针对不同的指令，采用不同的处理器进行处理，不同的处理器处理不同的指令，可有效提升整个服务器的使用性能，有效避免整个服务器出现瘫痪，提升整个服务器的数据处理效果；
44.其中，采集处理器对采集数据进行采集处理时，预先对所采集的数据进行优先级排列，根据优先级排列结果，对不同的数据进行优先级采集，对数据容量小的预先采集，将容量较大的数据排列在后采集，通过采集处理器，可使数据进行排序处理，通过依次排列的效果可对数据进行整合，避免数据出现混乱，同时对数据进行处理时，可达到较好的处理效果。
45.上述公式中的部分数据均是去除量纲取其数值计算，公式是由采集的大量数据经过软件模拟得到最接近真实情况的一个公式；公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者通过大量数据模拟获得。
46.本发明的工作原理：操控端下达指令，通过命令区分器对下达的不同命令进行区分，采集处理器接收到对应的数据采集指令，对采集数据进行采集处理时，预先对所采集的数据进行优先级排列，根据优先级排列结果，对不同的数据进行优先级采集，对数据容量小的预先采集，将容量较大的数据排列在后采集，通过采集处理器，可使数据进行排序处理，通过依次排列的效果可对数据进行整合，避免数据出现混乱，同时对数据进行处理时，可达
到较好的处理效果；
47.调用处理器接收到数据调用指令，对不同协议的文件进行调取，同时将不同协议的文件，采用不同的网络通道进行传输，并同时采用对应记忆端子对协议文件进行识别整合，可有效避免文件在传输过程中，发生数据混乱，同时也保证了所调取的数据传输过程中的安全性，保证数据传输过程中，不会被盗取，提升数据传输的整体效果。
48.以上实施例仅用以说明本发明的技术方法而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方法进行修改或等同替换，而不脱离本发明技术方法的精神和范围。