一种运维数据采集系统及其方法与流程

1.本发明涉及数据采集技术领域，尤其涉及一种运维数据采集系统及其方法。


背景技术：

2.数据采集，是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到上位机中进行分析，处理，而数据采集系统是结合基于计算机或者其他专用测试平台的测量软硬件产品来实现灵活的、用户自定义的测量系统，在运维数据采集的过程中，极其容易出现采集数据重复造成的冗余现象，这些数据在服务器中不断缓存，容易造成服务器的负荷，同时也出现的空间的占用。


技术实现要素：

3.本发明的目的是为了解决现有技术中存在的缺点，而提出的一种运维数据采集系统及其方法。
4.为了实现上述目的，本发明采用了如下技术方案：一种运维数据采集系统，所述运维数据采集系统包括：
5.服务器，服务器中的数据库用于接收各个模块提交上来的数据，响应终端的服务请求，并进行处理，并且对接收后的数据进行备份存储：
6.数据处理单元，与服务器相连接，数据处理单元中包含多个日志节点，用于对数据的采集以及分类适配，同时对处理后的数据进行数据处理分析和优化，最后发出操控命令；
7.通讯单元，与服务器和数据处理单元相连接，通讯单元用于获取并执行数据处理单元发出的命令，并且执行后将数据更新至服务器中；
8.计算单元，与通讯单元相连接，对通讯单元更新的数据进行采集，并对其进行统一归类计算，计算后的数据存储至数据采集区中发送至消息队列，最后返回通讯单元接收：
9.数据冗余单元，与服务器相连接，包括至少一组冗余数据存放区，当通讯单元将数据更新后，数据冗余单元向服务器发送查询请求，对服务器中的数据统计内容进行查看，通过判断同一数据的更新时间以及数据之间的相似度，对较旧时间数据进行备份更替处理，而相似度重合的数据进行删除操作。
10.为了存储数据，本发明改进有，所述服务器分为nginx服务单元、lua扩展单元以及lua脚本服务单元，nginx服务单元接收http请求，通过lua扩展单元获取后将http请求转发至lua脚本服务单元，最后lua脚本服务单元对数据进行分析，并获取目标数据。
11.为了采集数据，本发明改进有，所述数据处理单元中的日志文件通过多线程采集方式，分别对日志文件进行采集，采集后添加标记字段，通过标记字段能够判断日志更新时间以及优先级。
12.为了实现数据传输，本发明改进有，所述通讯单元以实时以太网络应用层协议格式或can网络应用层协议格式为基础实现数据通讯。
13.为了与数据采集单元连通，本发明改进有，所述通讯单元通过zigbee协议或者蓝
牙技术与所述数据采集单元进行通讯。
14.为了归类数据，本发明改进有，所述的归类计算包括乘累加运算、指数计算、sigmoid、relu及softmax，所述的数据采集区包括：hbase数据库、关系型数据库、hive以及redis缓存模块。
15.为了统计数据内容，本发明改进有，所述的统计内容分别是虚拟机资源占用表和请求进程表。
16.为了备份旧数据，本发明改进有，所述旧数据备份在冗余数据存放区，并附上物理地址值，当旧数据资源处于可用状态时，根据预先建立的冗余数据存放区与物理地址值之间的映射关系，获得所述需冗余数据的物理地址值即可。
17.一种运维数据采集方法，包括以下步骤：
18.s1：数据处理单元将数据采集优化，同时发出命令传递通讯单元，通讯单元再根据此命令解释成相应时序信号从而对数据进行控制：
19.s2：通讯单元将数据传输至计算单元，对数据进行统一归类计算，计算后的数据存储至数据采集区中发送至消息队列，最后返回通讯单元接收；
20.s3：接收后的数据更新至服务器中，并且数据冗余单元向服务器发送查询请求，判断服务器中的数据是否重复，从而对相似度较高的数据进行删除处理，处理后的数据再次返回服务器中。
21.与现有技术相比，本发明的优点和积极效果在于，
22.本发明中，通过数据处理单元对数据进行预处理，实现了数据的初步优化，同时，在通讯单元将数据接收后，计算单元则会对相同类型的数据进行归类计算，使采集后的不同数据能够得到分类，再通过数据冗余单元对服务器不断访问校验，使服务器数据库中的冗余数据能够快速清理，避免重复的数据缓存保存在数据库中造成冗余的现象，冗余控制准确实时，减少了服务器的负荷负担。
附图说明
23.图1为本发明提出一种运维数据采集系统的工作流程图。
具体实施方式
24.为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和实施例对本发明做进一步说明。需要说明的是，在不冲突的情况下，本技术的实施例及实施例中的特征可以相互组合。
25.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用不同于在此描述的其他方式来实施，因此，本发明并不限于下面公开说明书的具体实施例的限制。
26.实施例一，请参阅图1，本发明提供一种技术方案：一种运维数据采集系统，运维数据采集系统包括：
27.服务器，服务器中的数据库用于接收各个模块提交上来的数据，响应终端的服务请求，并进行处理，并且对接收后的数据进行备份存储：
28.数据处理单元，与服务器相连接，数据处理单元中包含多个日志节点，用于对数据
的采集以及分类适配，同时对处理后的数据进行数据处理分析和优化，最后发出操控命令；
29.通讯单元，与服务器和数据处理单元相连接，通讯单元用于获取并执行数据处理单元发出的命令，并且执行后将数据更新至服务器中；
30.计算单元，与通讯单元相连接，对通讯单元更新的数据进行采集，并对其进行统一归类计算，计算后的数据存储至数据采集区中发送至消息队列，最后返回通讯单元接收：
31.数据冗余单元，与服务器相连接，包括至少一组冗余数据存放区，当通讯单元将数据更新后，数据冗余单元向服务器发送查询请求，对服务器中的数据统计内容进行查看，通过判断同一数据的更新时间以及数据之间的相似度，对较旧时间数据进行备份更替处理，而相似度重合的数据进行删除操作。
32.服务器分为nginx服务单元、lua扩展单元以及lua脚本服务单元，nginx服务单元接收http请求，通过lua扩展单元获取后将http请求转发至lua脚本服务单元，最后lua脚本服务单元对数据进行分析，并获取目标数据。
33.数据处理单元中的日志文件通过多线程采集方式，分别对日志文件进行采集，采集后添加标记字段，通过标记字段能够判断日志更新时间以及优先级。
34.通讯单元以实时以太网络应用层协议格式或can网络应用层协议格式为基础实现数据通讯。
35.通讯单元通过zigbee协议或者蓝牙技术与数据采集单元进行通讯，zigbee协议适应无线传感器的低花费、低能量、高容错性等的要求，而蓝牙是基于低成本的近距离无线连接，为固定和移动设备建立通信环境的一种特殊的近距离无线技术连接。
36.归类计算包括乘累加运算、指数计算、sigmoid、relu及softmax，数据采集区包括：hbase数据库、关系型数据库、hive以及redis缓存模块。
37.统计内容分别是虚拟机资源占用表和请求进程表，当进程在运行中需要访问某部分程序和数据时，若发现其所在的页面不在内存，便立即提出请求，由os将其所需页面调入内存。
38.旧数据备份在冗余数据存放区，并附上物理地址值，当旧数据资源处于可用状态时，根据预先建立的冗余数据存放区与物理地址值之间的映射关系，获得需冗余数据的物理地址值即可。
39.一种运维数据采集方法，包括以下步骤：
40.s1：数据处理单元将数据采集优化，同时发出命令传递通讯单元，通讯单元再根据此命令解释成相应时序信号从而对数据进行控制：
41.s2：通讯单元将数据传输至计算单元，对数据进行统一归类计算，计算后的数据存储至数据采集区中发送至消息队列，最后返回通讯单元接收；
42.s3：接收后的数据更新至服务器中，并且数据冗余单元向服务器发送查询请求，判断服务器中的数据是否重复，从而对相似度较高的数据进行删除处理，处理后的数据再次返回服务器中。
43.本发明中，通过数据处理单元对数据进行预处理，实现了数据的初步优化，同时，在通讯单元将数据接收后，计算单元则会对相同类型的数据进行归类计算，使采集后的不同数据能够得到分类，再通过数据冗余单元对服务器不断访问校验，使服务器数据库中的冗余数据能够快速清理，避免重复的数据缓存保存在数据库中造成冗余的现象，冗余控制
准确实时，减少了服务器的负荷负担。
44.以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例应用于其它领域，但是凡是未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。