设备数据采集平台的制作方法

1.本发明涉及数据采集领域，特别涉及一种设备数据采集平台。


背景技术：

2.目前，基本的数据采集过程结构相对稳定，一般分为数据采集端和服务器端，所述数据采集端利用各传感器对设备的实时数据进行采集，然后借助通信手段将采集的数据通过数据传输通道传输至服务器端，所述服务器端采取相应的措施对采集的数据进行存储，这种数据采集方式未与知识库进行融合，因此无法针对某一特定领域问题求解的需要，采取某种知识表示方式对采集到的数据进行分析处理，很容易获得无关数据或是错误数据，并且由于数据量较大不利于寻找目标数据，从而导致运维人员无法获得可靠和安全的知识和信息以提高决策的质量。


技术实现要素：

3.本发明提供一种设备数据采集平台，用以解决数据在采集过程中无法针对某一特定领域问题进行求解以及无法在数据采集过程中快速寻找目标数据的情况。
4.一种设备数据采集平台，包括：
5.数据采集层：用于采集设备的实时运行数据，并将所述实时运行数据存储至临时数据库中；
6.数据分析层：用于按照数据类型构建知识库，并通过所述知识库对所述临时数据库中的数据进行分析，确定分析结果；
7.数据整合层：用于对所述分析结果进行整合，并在整合过程中对所述数据进行分类标注。
8.在一个实施例中：所述数据采集层包括：
9.数据读取模块：用于预先设置所述采集设备的采集参数，并在所述采集设备运行时，采集实时运行数据；
10.数据转换模块：用于根据数模转换将所述设备采集的模拟信号转换为数字信号，并根据所述数字信号确定实时运行数据；
11.数据传输模块：用于获取存储指令，并根据所述数据存储指令将所述实时运行数据通过总线接口传输至临时数据库。
12.在一个实施例中：所述的总线接口包括：pci总线、eisa总线、pci-e总线、fsb前端总线、pxi总线、usb总线。
13.在一个实施例中：所述数据分析层包括：
14.知识库管理模块：用于预先设置数据划分规则，并根据所述数字划分规则构建知识库；
15.数据分析模块：用于根据所述知识库，对所述临时数据库中的实时运行数据按照数据类型进行分析，确定分析结果；其中，所述分析结果包括：数据种类划分、数据容量划分
和数据类型划分。
16.在一个实施例中：所述知识库管理模块还包括如下规则：
17.知识创建规则：用于通过云端网络获取数据划分行为，并将所述数据行为转化为数据划分规则；
18.知识审核规则：用于依据所述数据划分规则对所述知识库中的新知识进行审核；
19.知识验证规则：用于动态抽取所述知识库中的数据作为候选知识集，并验证所述候选知识集的正确性；
20.知识废弃规则：用于获取不符合审核标准或者所述候选知识集的验证为错误的知识，并将所述知识进行移除作废处理；
21.知识发布规则：用于确定正确候选知识集中的知识，并将所述知识进行发布。
22.在一个实施例中：所述数据分析模块包括：
23.数据排序单元：用于根据所述临时数据库中的数据列表对所述数据进行排序；
24.数据清洗单元：用于根据所述排序结果检测所述临时数据库中是否包含异常数据，并对所述异常数据进行标注，其中，所述异常数据包括：不准确、已损坏或者重复的数据；
25.数据预处理单元：用于针对所述标注数据建立动态调整模型，并依据所述动态调整模型对所述临时数据库中的数据进行预处理；
26.数据优化单元：用于针对所述预处理后获取的冗余或者缓存数据依据特定编码方式对所述数据进行优化处理；
27.数据预测单元：用于依据所述知识库中的数据信息主动预测并获取将来可能被访问的数据，并将所述可能被访问的数据存储至优先选择模块。
28.在一个实施例中：所述数据清洗单元包括：
29.属性分析：用于对所述临时数据库中数据的字段进行拆分处理，并分析所述字段属性；
30.清洗：用于对不满足预先定义规则的字段属性进行清洗。
31.在一个实施例中：所述数据整合层包括：
32.数据整合模块：用于对所述设备采集的数据和所述知识库中的数据进行整合；
33.数据分类模块：用于依据所述知识库中的内容将所述临时数据库中的数据按指定规则进行分类处理；
34.数据标记模块：用于依据所述动态调整模型对所述分类处理的数据进行自动标记；
35.数据查找模块：用于针对数据标记自动查找目标数据。
36.在一个实施例中：所述数据分析层还包括：
37.数据报警单元：用于针对所述临时数据库或者所述知识库中的异常数据进行主动报警，具体运行步骤如下：
38.步骤一：在对设备进行数据采集前依据所述设备的各项数据特性对所述数据设定阈值；
39.步骤二：将所述临时数据库中的数据与所述设定阈值进行比较，若所述数据超过所述阈值范围，对所述数据进行标注；
40.步骤三：遍历经过数据优化后的数据列表，查找所述列表中是否包含标注数据；
41.步骤四：若所述列表中不包含所述标注数据，则所述知识库中不包含错误数据；若所述列表中包含所述标注数据，则所述知识库在进行数据清洗时有遗漏，进行主动报警；
42.步骤五：对所述知识库中的数据进行迭代清洗，直至所述知识库中不包含标注数据。
43.在一个实施例中：所述数据预测单元的运行步骤包括：
44.步骤一：在大数据分析平台中获取与所述设备相关联的数据需求，并将所述数据需求存储至第一数据列表；
45.步骤二：对所述第一数据列表中的数据进行分类整理，获取对应需求的应用场景；
46.步骤三：依据所述知识库中包含的数据信息获取与所述设备相关的需求数据，并将所述数据需求存储至第二数据列表；
47.步骤四：比较所述第一数据列表与所述第二数据列表中的数据，在所述第一数据列表中标注未重复的数据，并将所述未重复的数据存储至第二数据列表的末尾部分；
48.步骤五：将所述第二数据列表中的数据存储至所述优先选择模块。
49.本发明有益效果在于：本发明中将数据采集过程与知识库进行融合，其中，知识库负责对采集的数据进行分析，因此可以针对某一特定领域问题求解的需要，采取某种知识表示方式对采集到的数据进行分析处理，在数据分析过程中，去除异常数据，对数据进行分类标注，有利于快速获取目标数据，提升数据库的空间利用率，并且工作人员可以获得可靠和安全的知识和信息并且提高决策的质量。
50.本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书以及附图中所特别指出的结构来实现和获得。
51.下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
52.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
53.图1为本发明实施例中一种设备数据采集平台的结构图；
54.图2为本发明实施例中一种设备数据采集平台的整体结构框图；
55.图3为本发明实施例中一种设备数据采集平台中数据预测单元运行步骤。
具体实施方式
56.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
57.如附图1和2所示，本发明实施例提供了一种设备数据采集平台，包括：
58.数据采集层：用于采集设备的实时运行数据，并将所述实时运行数据存储至临时数据库中；
59.数据分析层：用于按照数据类型构建知识库，并通过所述知识库对所述临时数据库中的数据进行分析，确定分析结果；
60.数据整合层：用于对所述分析结果进行整合，并在整合过程中对所述数据进行分类标注；
61.上述技术方案的工作原理为：在本领域的现有技术中，在进行数据采集时，未将知识库与数据采集过程融合，本发明中将知识库与数据采集过程融合，设备数据采集平台将设备数据采集平台分为三层结构，分别为：数据采集层、数据分析层、数据整合层，所属数据采集层负责采集设备的实时运行数据，数据分析层通过按照所采集数据的数据类型，融合知识库对采集的实时运行数据进行分析，最终对分析的结果进行整合，并在整合过程中对数据进行分类标注；
62.上述技术方案的有益效果为：本发明中将知识库的内容与数据采集技术融合在一起，数据采集层负责所述设备的数据采集工作，所述知识库负责对采集的数据进行分析，为了能够快速查找目标数据，进行数据整合时，对采集的数据进行分类标注，用于可以依据分类的标签信息快速查找目标数据。
63.在一个实施例中，所述数据采集层包括：
64.数据读取模块：用于预先设置所述采集设备的采集参数，并在所述采集设备运行时，采集实时运行数据；
65.数据转换模块：用于根据数模转换将所述设备采集的模拟信号转换为数字信号，并根据所述数字信号确定实时运行数据；
66.数据传输模块：用于获取存储指令，并根据所述数据存储指令将所述实时运行数据通过总线接口传输至临时数据库；
67.上述技术方案的工作原理为：在本领域的现有技术中，在进行数据读取时，未提前预先设置采集设备的采集参数，在进行数据传输时，未通过总线接口传输数据，本发明中的数据采集层内容包括：数据读取模块、数据转换模块、数据传输模块，所述数据读取模块通过预先采集需要进行采集的参数，当设备开始运行时，对所述设备的实时运行数据进行采集，数据读取模块读取所述设备的实时运行参数，由于采集设备的实时运行数据均为模拟信号，因此还需要通过数模转换将所述模拟信号转换为数字信号，从而确定所述设备的实时运行数据，数据传输模块接收设备运行的数字信号，通过数据总线接口将所述设备的实时运行数据传输至临时数据库中；
68.上述技术方案的有益效果为：本发明在数据采集层开设多个功能模块，首先读取设备的实时运行数据，然后通过模数转换获取设备的数字信号，最后通过总线接口将数据传送至临时数据库中，提高数据传输速度和效率，并且在数据传输过程中，数据传输的错误率和丢包率都降低，最大程度上保障数据的传输有效性。
69.在一个实施例中，所述的总线接口包括：pci总线接口、eisa总线接口、pci-e总线接口、fsb前端总线接口、pxi总线接口、usb总线接口；
70.上述技术方案的工作原理为：在本领域的现有技术中，在传输数据时，未通过总线接口传输数据，本发明中的数据传输模块中存储设备的实时运行数据，并将设备的实时运行数据通过总线接口方式存储至临时数据库中，其中总线接口方式包括pci总线接口、eisa总线接口、pci-e总线接口、fsb前端总线接口、pxi总线接口、usb总线接口；
71.上述技术方案的有益效果为：本发明中通过pci总线接口、eisa总线接口、pci-e总线接口、fsb前端总线接口、pxi总线接口、usb总线接口方式将设备的实时运行数据发送至
临时数据库中，提高数据传输速度和效率，并且在数据传输过程中，数据传输的错误率和丢包率都降低，最大程度上保障数据的传输有效性。
72.在一个实施例中，所述数据分析层包括：
73.知识库管理模块：用于预先设置数据划分规则，并根据所述数字划分规则构建知识库；
74.数据分析模块：用于根据所述知识库，对所述临时数据库中的实时运行数据按照数据类型进行分析，确定分析结果；其中，所述分析结果包括：数据种类划分、数据容量划分和数据类型划分；
75.上述技术方案的工作原理为：在本领域的现有技术中，在进行数据采集时，未将知识库与数据采集过程融合，并且不对数据进行分析，本发明的数据分析层中分为知识库管理模块和数据分析模块，在所述知识库管理模块中，依据用户预先设置的数据划分规则，建立对应知识库，在数据分析模块根据知识库中的内容对临时数据库中设备的实时运行数据的数据类型进行分析，确定分析结果，对所述数据类型进行分析时，按照数据种类、数据容量、数据类型几方面进行划分，在数据分析层中，将数据采集过程与知识库相融合，所述知识库用于对数据进行分析，并提取目标数据；
76.上述技术方案的有益效果为：本发明中将数据分析层分为知识库管理模块和数据分析模块，所述知识库管理模块用于依据所述设备的实时运行数据构建对应知识库，在所述数据分析模块负责完成数据的分析工作，在所述数据分析层中融合了知识库和数据分析功能，有利于在对设备进行数据采集时对所述设备的实时运行数据进行分析处理，增加设备的运行效率，同时也有利于提高对设备的管理效率。
77.在一个实施例中，所述知识库管理模块还包括如下规则：
78.知识创建规则：用于通过云端网络获取数据划分行为，并将所述数据行为转化为数据划分规则；
79.知识审核规则：用于依据所述数据划分规则对所述知识库中的新知识进行审核；
80.知识验证规则：用于动态抽取所述知识库中的数据作为候选知识集，并验证所述候选知识集的正确性；
81.知识废弃规则：用于获取不符合审核标准或者所述候选知识集的验证为错误的知识，并将所述知识进行移除作废处理；
82.知识发布规则：用于确定正确候选知识集中的知识，并将所述知识进行发布；
83.上述技术方案的工作原理为：在本领域的现有技术中，在进行数据采集时，未将知识库与数据采集过程融合，本发明中知识库负责对设备的实时运行数据进行分析，其中，在构建知识库时包括多种规则，分别为：知识创建规则、知识审核规则、知识验证规则、知识废弃规则、知识发布规则，通过接收设备的实时运行数据构建对应的知识库，在构建知识库时，首先需要通过对设备的数据进行划分，依据划分的数据类型创建新知识，新知识创建完成后，依据预先设定的审核标准对所述新知识进行审核，审核过程完毕后，动态抽取事件管理模块中的知识作为候选知识集，验证所述候选知识集的正确性，对于不符合审核标准和对应候选知识集为错误的知识进行废弃处理，最终通过知识验证步骤的知识按照知识发布规则进行发布；
84.上述技术方案的有益效果为：本发明依据设备的实时运行数据构建对应知识库，
在构建知识库的过程中遵循规则，因此，有利于所述知识库中的知识正确性，增加数据分析过程中的有效性，有利于对目标数据进行分类和快速查找。
85.在一个实施例中，所述数据分析模块包括：
86.数据排序单元：用于根据所述临时数据库中的数据列表对所述数据进行排序；
87.数据清洗单元：用于根据所述排序结果检测所述临时数据库中是否包含异常数据，并对所述异常数据进行标注，其中，所述异常数据包括：不准确、已损坏或者重复的数据；
88.数据预处理单元：用于针对所述标注数据建立动态调整模型，并依据所述动态调整模型对所述临时数据库中的数据进行预处理；
89.数据优化单元：用于针对所述预处理后获取的冗余或者缓存数据依据特定编码方式对所述数据进行优化处理；
90.数据预测单元：用于依据所述知识库中的数据信息主动预测并获取将来可能被访问的数据，并将所述可能被访问的数据存储至优先选择模块；
91.上述技术方案的工作原理为：在本领域的现有技术中，在进行数据采集时，不对所采集数据进行分析，也不包括对所述数据进行排序、清洗、预处理、优化、预测功能，本发明中的数据分析模块中首先对所述临时数据库中的数据进行排序处理，检测排序的数据中是否包含模糊数据、已损坏数据和重复数据，并对这些数据进行标注处理，通过建立动态调整模型对所述排序数据进行预处理，将获取的冗余数据或者缓存数据依据特定的编码方式进行优化处理，接着在单元中对优化结果进行主动预测，并获取将来可能被访问的数据，并将所述可能被访问的数据存放至优先选择模块，用户在知识库中查询时，优先遍历所述优先选择模块中的数据；
92.上述技术方案的有益效果为：本发明在数据分析模块中对数据库中的数据进行清洗、排序，去除模糊数据、已损坏数据和重复数据，增加了数据库的空间利用率，有利于增加数据查询的速度和效率，使工作人员快速获得可靠和安全的知识和信息并且提高决策的质量。
93.在一个实施例中，所述数据清洗单元包括：
94.属性分析：用于对所述临时数据库中数据的字段进行拆分处理，并分析所述字段属性；
95.清洗：用于对不满足预先定义规则的字段属性进行清洗；
96.上述技术方案的工作原理为：在本领域的现有技术中，数据采集平台不对所采集数据进行属性分析和清洗过程，本发明中详细叙述了数据清洗的具体过程即首先将临时数据库中设备对应的实时运行数据对应的字段进行拆分处理，并检查被拆分字段对应的属性，依据数据定义规则判断当前的字段属性是否符合规则要求，若符合即数据满足规则要求，给予保留，若所述字段属性不符合规则要求，则将该数据进行清洗；
97.上述技术方案的有益效果为：本发明在进行数据清洗时有利于去除临时数据库中设备实时运行数据中的脏数据，使得知识库中对数据进行分析时提高数据分析效率，减少进行数据查找的时间，使工作人员快速获得可靠和安全的知识和信息并且提高决策的质量。
98.在一个实施例中，所述数据整合层包括：
99.数据整合模块：用于对所述设备采集的数据和所述知识库中的数据进行整合；
100.数据分类模块：用于依据所述知识库中的内容将所述临时数据库中的数据按指定规则进行分类处理；
101.数据标记模块：用于依据所述动态调整模型对所述分类处理的数据进行自动标记；
102.数据查找模块：用于针对数据标记自动查找目标数据；
103.上述技术方案的工作原理为：在本领域的现有技术中，设备的数据采集平台不对所采集的数据进行整合，本发明中包含对数据进行整合，其中，数据整合层包括几大功能模块，分别为数据整合模块，数据分类模块，数据标记模块，数据查找模块，首先在数据整合模块中，负责对知识库和临时数据库中的数据进行整合，并在分类模块中对数据按照指定规则进行分类存放，在对数据分类存放过程中对数据进行自动标记，用户根据查找的标签快速获取目标数据；
104.上述技术方案的有益效果为：本发明通过对数据进行整合、分类、标记，有利于快速获取目标数据，提高临时数据库的空间利用率，使工作人员快速获得可靠和安全的知识和信息并且提高决策的质量。
105.在一个实施例中，所述数据分析层还包括：
106.数据报警单元：用于针对所述临时数据库或者所述知识库中的异常数据进行主动报警，具体运行步骤如下：
107.步骤一：在对设备进行数据采集前依据所述设备的各项数据特性对所述数据设定阈值；
108.步骤二：将所述临时数据库中的数据与所述设定阈值进行比较，若所述数据超过所述阈值范围，对所述数据进行标注；
109.步骤三：遍历经过数据优化后的数据列表，查找所述列表中是否包含标注数据；
110.步骤四：若所述列表中不包含所述标注数据，则所述知识库中不包含错误数据；若所述列表中包含所述标注数据，则所述知识库在进行数据清洗时有遗漏，进行主动报警；
111.步骤五：对所述知识库中的数据进行迭代清洗，直至所述知识库中不包含标注数据；
112.上述技术方案的工作原理为：在本领域的现有技术中，设备数据采集平台，不对所采集的数据进行分析，对所采集的数据也不包含异常数据报警功能，本发明在数据分析层中增设数据报警单元，用于针对数据库或者知识库中存在异常数据时进行主动报警，首先对设备的各项参数特性设定阈值，将采集的数据与阈值进行比较，若所述数据超过阈值范围，即该数据为异常数据，对所述异常数据进行标注处理，对所有数据进行优化处理，待优化处理结束后，遍历数据库中的所有数据，查找列表中是否包含标注数据，若包含标注数据说明该异常数据未被清洗掉，开启主动报警，对所述标注数据进行迭代清洗；
113.上述技术方案的有益效果为：本发明中加入数据报警单元，用于针对数据库中未被清洗的异常数据进行二次清洗的过程，有利于保持数据库中数据的正确性，增加数据库的空间利用率，可以快速获取目标数据，有利于工作人员快速获得可靠和安全的知识和信息并且提高决策的质量。
114.在一个实施例中，如附图3所示。所述数据预测单元的运行步骤包括：
115.步骤一：在大数据分析平台中获取与所述设备相关联的数据需求，并将所述数据需求存储至第一数据列表；
116.步骤二：对所述第一数据列表中的数据进行分类整理，获取对应需求的应用场景；
117.步骤三：依据所述知识库中包含的数据信息获取与所述设备相关的需求数据，并将所述数据需求存储至第二数据列表；
118.步骤四：比较所述第一数据列表与所述第二数据列表中的数据，在所述第一数据列表中标注未重复的数据，并将所述未重复的数据存储至第二数据列表的末尾部分；
119.步骤五：将所述第二数据列表中的数据存储至所述优先选择模块；
120.上述技术方案的工作原理为：在本领域的现有技术中，设备的数据采集平台不包含知识库，也不涉及数据的预测。
121.本发明利用回归预测算法主动预测将来可能被访问的数据，所述算法的基本思想是：利用最小均方误差作为数据划分规则，通过该数据被访问的次数以及在所述大数据平台中，与该数据关联的需求的数据
122.进行结合，对将来可能被再次访问的可能性进行估计，在这个过程中：
123.从临时数据库中随机抽取的候选知识集和预测函数表示为：
[0124][0125]
其中，da表示在a时刻被访问的m维向量；la表示在a时刻的n维预测向量，δ
a,a-1
表示m
×
m维状态矩阵；na表示n
×
m维增益矩阵；ja表示m维数据采集过程中的噪声数据；pa表示随机噪声数据；
[0126]
当数据采集平台的输入信号为0时，da表示a时刻(a＝1,2,3
…
)的最优预测数据，d
a,a-1
表示a-1时刻的预测数据，
[0127]da,a-1
＝δ
a,a-1da-1
[0128]
假设最优预测数据与实际数据之间的误差为δda，则可以得到：
[0129]
δda＝d
a-d
a,a-1
＝d
a-nad
a,a-1
[0130]
最优预测的数据可以表示为：
[0131]
da＝d
a,a-1
jaδda＝d
a,a-1
ja(d
a-nad
a,a-1
)
[0132]
通过上述预测，能够确定最优预测的数据。
[0133]
上述技术方案的有益效果为：本发明利用数据预测单元中的优先选择模块有利于快速获取目标数据，并且结合大数据技术平台预测可能将被访问的数据，减少知识库的反应时间，增加数据分析的效率，使得工作人员快速获得可靠和安全的知识和信息并且提高决策的质量。
[0134]
在一个实施例中，所述数据清洗单元包括：
[0135]
属性分析：用于对所述临时数据库中数据的对应字段进行拆分处理，并判断所述字段对应的属性；
[0136]
清洗：用于依据所述字段对应的属性对不满足所述预先定义的规则的数据进行清洗；
[0137]
上述技术方案的工作原理为：在本领域的现有技术中，设备数据采集平台不包括知识库的内容，只涉及对设备运行过程中数据的采集过程，本发明中在对设备的实时运行
数据进行采集时融入知识库的内容，知识库负责对设备的实时运行数据进行分析，将设备采集的数据存放至临时数据库中，所述数据库中的数据未按顺序进行存放，因此，当对临时数据库中的数据进行清洗时，由于相似的数据距离较远因此无法清洗，从而产生遗漏，
[0138]
在实际实施的时候，在数据清洗时，需要预先对数据库中的数据进行排序，即设置在第i条数据仅与第i-1和第i-2条数据有关，当数据列表中第i条数据出现的概率非随机出现，将每一条数据出现的概率计算乘积，进而可以确定数据库中每一条数据出现的概率为：
[0139]
p(β1β2…
βi)＝p(β1)p(β1|β2)p(β3|β1β2)
…
p(βi|β1β2…
β
i-1
)
[0140]
p(a)＝
[0141]
p(β1β2…
βi)
[0142]
p(β1)p(β2|β1)p(β3|β1β2)
…
p(βi|β1β2…
β
i-1
)；
[0143]
p表示概率；βi表示第i条数据的数据特征；
[0144]
根据该式可以计算出出现概率较高的数据，接着，将获取的出现概率较高的数据对应字段进行拆分，并匹配字段属性，计算相似度，字段属性的相似度计算公式如下所示：
[0145][0146]
其中，a
i-1
,b
j-1
分别表示拆分后的数据字段特征，|a|和|b|分别表示字段拆分的段数，针对相似度较高的数据进行单独清洗；
[0147]
上述技术方案的有益效果为：本发明中通过计算每一条数据出现的概率，再提取出出现概率较高的数据，并进行相似度计算获取数据之间的相似度，对于高相似度的数据进行单独清洗，增加数据清洗效率和有效性，有利于提升临时数据库的空间利用率，去除重复数据，提高目标数据查找速度。
[0148]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。