一种面向大型旋转机组健康管理的数据处理方法及系统

1.本发明涉及设备信息监测及大数据技术领域，具体涉及一种面向大型旋转机组健康管理的数据处理方法及系统。


背景技术：

2.随着对机械设备安全性和可靠性的要求日益提高，健康管理和智能运维技术的重要性不断提升，面向大型旋转机组的健康管理智能运维技术发展愈发迅速。大型旋转机组健康管理智能运维即通过收集旋转机组运行过程数据，利用深度学习的方法对机械设备进行故障预测、寿命预测和维修决策。传统的深度学习方式往往要经过繁琐的数据处理流程，形成大量中间数据，健康管理智能运维数据存在耦合性强的特点，难以针对多种算法模型进行数据复用，造成大量的人力、时间成本浪费。因此，有必要建立面向大型旋转机组的健康管理的数据仓库，构建具有高复用性的健康管理数据。
3.传统数据仓库采用维度建模，通常分为数据准备层，数据明细层，数据汇总层，数据集市层，数据应用层。传统数据仓库领域建模往往以业务流程为导向进行数据分层，面向业务需求进行统计分析，而大型旋转机组健康管理智能运维所需数据主要面向不同深度学习模型的不同需求，因此传统的数据仓库建模方式在大型旋转机组健康管理智能运维中难以适用，需要针对大型旋转机组健康管理智能运维的特点建立面向大型旋转机组健康管理智能运维的数据仓库。


技术实现要素：

4.针对上述现有技术的不足，本发明实际需要解决的问题是：如何一种面对大型旋转机组健康管理智能运维的数据处理方法及系统，以解决目前旋转机组健康管理智能运维过程中所使用的数据耦合性强，数据复用率低，人力、时间成本浪费高的问题。
5.为解决上述技术问题，本发明采用了如下的技术方案：一种面向大型旋转机组健康管理的数据处理方法，包括如下步骤：步骤1：获取旋转机组运转过程中的运行状态数据；步骤2：将获得的运行状态数据进行数据清洗修复处理，得到数据明细表；步骤3：将清洗修复后的运行状态数据进行维度扩展处理和维度信息匹配处理，得到增维且信息匹配后的全量明细数据宽表；步骤4：对全量明细数据宽表中各个维度的运行状态数据，分别匹配对应的深度学习算法模型进行数据计算和聚合统计分析，并对数据计算和聚合统计分析结果进行可视化展示。
6.上述面向大型旋转机组健康管理的数据处理方法中，作为优选，所述步骤2具体为：对获得的运行状态数据按照不同的数据维度进行数据切片处理，得到运行状态数据在不同数据维度的数据明细；
对各维度的运行状态数据进行数据清洗处理，清除掉其中的无效数据；对各维度的运行状态数据进行异常数据排查，并对排查到的异常数据进行修复处理；对清洗修复后的各维度的运行状态数据进行整理，得到数据明细表。
7.上述面向大型旋转机组健康管理的数据处理方法中，作为优选，所述步骤3具体为：对清洗修复后的运行状态数据进行时频分析和参数指标提取，将时频分析所得的数据维度和参数指标提取所得的数据维度均添加至数据明细表中，进行维度扩展处理，得到增维数据宽表；匹配与运行状态数据相关联的其它设备，将与运行状态数据相关联的其它设备参数信息作为新的数据维度，添加至增维数据宽表中，得到全量明细数据宽表。
8.上述面向大型旋转机组健康管理的数据处理方法中，作为优选，所述步骤4具体为：从全量明细数据宽表读取各维度的运行状态数据，分别针对每个维度的运行状态数据从深度学习算法库中查找相匹配的深度学习算法模型，从而调用相匹配的深度学习算法模型分别对各个维度的运行状态数据进行数据计算；分别对每个维度的运行状态数据的数据计算结果进行聚合统计分析；对所述运行状态数据的数据计算结果和聚合统计分析结果进行可视化展示。
9.相应的，本发明提供了一种面向大型旋转机组健康管理的数据处理系统，包括源数据层，数据明细层，数据增维层和算法应用展示层；所述源数据层用于对获取的旋转机组运转过程中的运行状态数据进行存储；所述数据明细层用于将获得的运行状态数据进行数据清洗修复处理，得到数据明细表；所述数据增维层用于将清洗修复后的运行状态数据进行维度扩展处理和维度信息匹配处理，得到增维且信息匹配后的全量明细数据宽表；所述算法应用展示层用于对全量明细数据宽表中各个维度的运行状态数据，分别匹配对应的深度学习算法模型进行数据计算和聚合统计分析，并对数据计算和聚合统计分析结果进行可视化展示。
10.上述面向大型旋转机组健康管理的数据处理系统中，作为优选，所述数据明细层包括数据切片模块，数据清洗模块，数据修复模块和数据整理模块；所述数据切片模块用于对获得的运行状态数据按照不同的数据维度进行数据切片处理，得到运行状态数据在不同数据维度的数据明细；所述数据清洗模块用于对各维度的运行状态数据进行数据清洗处理，清除掉其中的无效数据；所述数据修复模块用于对各维度的运行状态数据进行异常数据排查，并对排查到的异常数据进行修复处理；所述数据整理模块用于对清洗修复后的各维度的运行状态数据进行整理，得到数据明细表。
11.上述面向大型旋转机组健康管理的数据处理系统中，作为优选，所述数据增维层
包括信号处理模块，指标提取模块和维度扩展模块；所述信号处理模块用于对清洗修复后的运行状态数据进行时频分析；所述指标提取模块用于对清洗修复后的运行状态数据进行参数指标提取；所述维度扩展模块用于将时频分析所得的数据维度和参数指标提取所得的数据维度均添加至数据明细表中，进行维度扩展处理，得到增维数据宽表；并匹配与运行状态数据相关联的其它设备，将与运行状态数据相关联的其它设备参数信息作为新的数据维度，添加至增维数据宽表中，得到全量明细数据宽表。
12.上述面向大型旋转机组健康管理的数据处理系统中，作为优选，所述算法应用展示层包括深度学习算法库模块、聚合统计模块和可视化模块；所述深度学习算法库模块设有深度学习算法库，所述深度学习算法库中存储有与旋转机组不同维度的运行状态数据相匹配的多个深度学习算法模型；深度学习算法库模块用于从全量明细数据宽表读取各维度的运行状态数据，分别针对每个维度的运行状态数据从深度学习算法库中查找相匹配的深度学习算法模型，从而调用相匹配的深度学习算法模型分别对各个维度的运行状态数据进行数据计算；所述聚合统计模块用于分别对每个维度的运行状态数据的数据计算结果进行聚合统计分析；所述可视化模块用于对所述运行状态数据的数据计算结果和聚合统计分析结果进行可视化展示。
13.相比于现有技术，本发明的有益效果在于：1、本发明面向大型旋转机组健康管理的数据处理方法及系统，该系统包括源数据层，数据明细层，数据增维层和算法应用展示层，分别用于获取旋转机组运转过程中的运行状态数据；将获得的运行状态数据进行数据清洗修复处理，得到数据明细表；将清洗修复后的运行状态数据进行维度扩展处理和维度信息匹配处理，得到增维且信息匹配后的全量明细数据宽表；对全量明细数据宽表中各个维度的运行状态数据，分别匹配对应的深度学习算法模型进行数据计算和聚合统计分析，并对数据计算和聚合统计分析结果进行可视化展示；由此使得本发明面向大型旋转机组健康管理的数据处理系统能够将大量旋转机组运行数据按不同主题存入数据源，便于调用不同主题数据进行健康管理分析，解决了大型旋转机组运行过程中数据主题类别多，数据分类复杂的问题。
14.2、本发明面向大型旋转机组健康管理的数据处理系统，通过系统分层，使得大型旋转机组健康管理的源数据是经过数据分层处理，使各层数据能够进行多次数据复用，且各个系统分层也能够分别并行运行，解决了大型旋转机组健康管理智能运维过程中数据耦合性强的问题，减少了处理源数据的时间和人力成本。
15.3、本发明面向大型旋转机组健康管理的数据处理方法及系统中，将深度学习算法模型所需求数据按多维度进行匹配，从而得到算法所需数据以进行计算，传统数据仓库通常往往只是按业务流程进行数据分层和聚合统计而不是按照特定深度学习模型进行数据分层，因此本方法解决及系统了大型旋转机组健康管理智能运维过程中数据与深度学习算法匹配进行计算的问题，更能适用于旋转机组健康管理智能运维。
附图说明
16.为了使发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步的详细描述，其中：图1是本发明面向大型旋转机组健康管理的数据处理方法的流程图。
17.图2是本发明面向大型旋转机组健康管理的数据处理系统的构架结构图。
18.图3是本发明面向大型旋转机组健康管理的数据处理系统的一个实施例示例图。
具体实施方式
19.下面结合说明书附图对本发明的具体实施方式作进一步的详细说明。
20.本发明所提出的针对大型旋转机组健康管理智能运维数据处理的方法，解决了旋转机组健康管理过程中不同深度学习模型算法调度数据耦合性强、数据复用率低，时间、人力耗费大的问题。
21.如图1所示，本发明面向大型旋转机组健康管理的数据处理方法包括如下步骤：步骤1：获取旋转机组运转过程中的运行状态数据。
22.步骤2：将获得的运行状态数据进行数据清洗修复处理，得到数据明细表。
23.步骤3：将清洗修复后的运行状态数据进行维度扩展处理和维度信息匹配处理，得到增维且信息匹配后的全量明细数据宽表。
24.步骤4：对全量明细数据宽表中各个维度的运行状态数据，分别匹配对应的深度学习算法模型进行数据计算和聚合统计分析，并对数据计算和聚合统计分析结果进行可视化展示。
25.相应的，如图2所示，本发明也提供了一种面向大型旋转机组健康管理的数据处理系统，包括源数据层，数据明细层，数据增维层和算法应用展示层；源数据层用于对获取的旋转机组运转过程中的运行状态数据进行存储；数据明细层用于将获得的运行状态数据进行数据清洗修复处理，得到数据明细表；数据增维层用于将清洗修复后的运行状态数据进行维度扩展处理和维度信息匹配处理，得到增维且信息匹配后的全量明细数据宽表；算法应用展示层用于对全量明细数据宽表中各个维度的运行状态数据，分别匹配对应的深度学习算法模型进行数据计算和聚合统计分析，并对数据计算和聚合统计分析结果进行可视化展示。
26.首先，将大型旋转机组工作运行时所采集数据导入源数据层，得到原始数据事实表。源数据是指旋转机组在运转过程中通过不同采集方式所获取的设备运行状态数据，大型旋转机组数据来源分为多种主题，如振cms（condition monitoring system，风电机组状态监控系统）振动数据，scada（supervisory control and data acquisition，数据采集与监视控制系统）监测数据等，不同主题源数据后续有不同的数据处理方式，也对应了不同的深度学习算法。如图3所示，本实施例以cms振动数据为主题对象进行介绍。
27.源数据层用用存放源数据，如cms振动数据是旋转机组运转过程中较为常见的数据，振动数据包含了多种不同的维度，如风场名，风机号，齿轮箱编号，测点，测点类型，采样时间等，按照多维度统计cms振动数据事实表导入源数据层。
28.数据明细层主要是对数据进行预处理，包括数据切片、数据清洗、数据修复等，对应的功能模块有数据切片模块，数据清洗模块和数据修复模块。cms数据由于采集频率高，具有数据量大的特点，因此需要在数据明细层调用数据切片模块对其进行切片，切片后的数据能够更好地应用于深度学习。
29.具体而言，所述数据明细层包括数据切片模块，数据清洗模块，数据修复模块和数据整理模块；所述数据切片模块用于对获得的运行状态数据按照不同的数据维度进行数据切片处理，得到运行状态数据在不同数据维度的数据明细；所述数据清洗模块用于对各维度的运行状态数据进行数据清洗处理，清除掉其中的无效数据；所述数据修复模块用于对各维度的运行状态数据进行异常数据排查，并对排查到的异常数据进行修复处理；所述数据整理模块用于对清洗修复后的各维度的运行状态数据进行整理，得到数据明细表。
30.数据明细层中的不同模块可针对不同的主题数据特点以及不同的数据清洗、修复需求进行分别调用。
31.因此，本发明面向大型旋转机组健康管理的数据处理方法的步骤2具体为：对获得的运行状态数据按照不同的数据维度进行数据切片处理，得到运行状态数据在不同数据维度的数据明细；对各维度的运行状态数据进行数据清洗处理，清除掉其中的无效数据；对各维度的运行状态数据进行异常数据排查，并对排查到的异常数据进行修复处理；对清洗修复后的各维度的运行状态数据进行整理，得到数据明细表。
32.数据增维层主要是根据深度学习算法需求对数据明细层的数据进行进一步处理，包括信号处理、指标提取、维表匹配等方式进行维度扩展，所包含的模块有信号处理模块，指标提取模块，维度扩展模块等。举例来说，由于深度学习模型算法对cms振动信号的维度要求有所差异，因此有必要对cms数据采取多种处理方式以满足不同深度学习算法的需求。
33.具体而言，数据增维层包括信号处理模块，指标提取模块和维度扩展模块；信号处理模块用于对清洗修复后的运行状态数据进行时频分析；指标提取模块用于对清洗修复后的运行状态数据进行参数指标提取；维度扩展模块用于将时频分析所得的数据维度和参数指标提取所得的数据维度均添加至数据明细表中，进行维度扩展处理，得到增维数据宽表；并匹配与运行状态数据相关联的其它设备，将与运行状态数据相关联的其它设备参数信息作为新的数据维度，添加至增维数据宽表中，得到全量明细数据宽表。
34.因此，本发明面向大型旋转机组健康管理的数据处理方法的步骤3具体为：对清洗修复后的运行状态数据进行时频分析和参数指标提取，将时频分析所得的数据维度和参数指标提取所得的数据维度均添加至数据明细表中，进行维度扩展处理，得到增维数据宽表；匹配与运行状态数据相关联的其它设备，将与运行状态数据相关联的其它设备参数信息作为新的数据维度，添加至增维数据宽表中，得到全量明细数据宽表。
35.例如，针对cms振动数据，首先需调用信号处理模块对cms振动数据进行时频分析处理，包括小波包变换、包络等时频分析方法，不同的信号时频分析处理方法代表事实表的
一个维度，将经过信号时频分析处理的信号数据按照不同维度增加到数据明细层的事实表中形成数据增维表；然后，对已经进行了信号处理的增维事实表进行参数指标提取，调用指标提取模块指标提取方法对前述数据增维表进行参数指标提取处理，获得包括峭度、斜度、均值等数据，不同指标代表一个维度，将经过指标提取的指标数据增加到前述数据增维表当中继续扩充事实表维度；最后，上述增维后的事实表经过整理得到的得到增维数据宽表还需要进行维度扩充，以得到信息全面的全量明细数据宽表，调用维度扩展模块中维度表对上述增维数据宽表表进行维度扩展，匹配与运行状态数据相关联的其它设备，提取与运行状态数据相关联的其它设备参数信息，由于cms振动信号中与齿轮箱联系十分紧密，因此可以将齿轮箱维表与前述cms运行状态数据的事实表相匹配，将齿轮箱名称及其他映射信息等齿轮箱的参数信息作为新的数据维度，添加至上述增维数据宽表中，形成全量明细数据宽表。
36.算法应用展示层主要是运用算法模块当中的深度学习算法，与前述的全量明细事实宽表相匹配，即每一个算法都需指明所需匹配的数据维度信息，即算法维表需包括风场号，风机号，测点信息，传感器编码，采样频率，切片长度，信号处理方式，所需指标等维度，同时还需要包括算法所在的地址用于调用。
37.具体而言，算法应用展示层包括深度学习算法库模块、聚合统计模块和可视化模块；深度学习算法库模块设有深度学习算法库，所述深度学习算法库中存储有与旋转机组不同维度的运行状态数据相匹配的多个深度学习算法模型；深度学习算法库模块用于从全量明细数据宽表读取各维度的运行状态数据，分别针对每个维度的运行状态数据从深度学习算法库中查找相匹配的深度学习算法模型，从而调用相匹配的深度学习算法模型分别对各个维度的运行状态数据进行数据计算；聚合统计模块用于分别对每个维度的运行状态数据的数据计算结果进行聚合统计分析；可视化模块用于对所述运行状态数据的数据计算结果和聚合统计分析结果进行可视化展示。
38.因此，本发明面向大型旋转机组健康管理的数据处理方法的步骤4具体为：从全量明细数据宽表读取各维度的运行状态数据，分别针对每个维度的运行状态数据从深度学习算法库中查找相匹配的深度学习算法模型，从而调用相匹配的深度学习算法模型分别对各个维度的运行状态数据进行数据计算；分别对每个维度的运行状态数据的数据计算结果进行聚合统计分析；对所述运行状态数据的数据计算结果和聚合统计分析结果进行可视化展示。
39.具体实施中，深度学习算法库模块中的算法维表需要手动维护，当深度学习算法库模块中不同深度学习算法模型与全量数据明细宽表中的数据维度一一匹配，就可以获得相应的数据，进行计算运用深度学习测试数据时往往会进行多次计算测试模型的准确率求取平均值，并且会对比多种方法的计算结果，因此有必要对深度学习的计算结果进行聚合汇总统计，并且对进行可视化展示。
40.综上所述，本发明面向大型旋转机组健康管理的数据处理系统，通过系统分层，使得大型旋转机组健康管理的源数据是经过数据分层处理，使各层数据能够进行多次数据复
用，且各个系统分层也能够分别并行运行，解决了大型旋转机组健康管理智能运维过程中数据耦合性强的问题，减少了处理源数据的时间和人力成本；同时，本发方法及系统中，将深度学习算法模型所需求数据按多维度进行匹配，从而得到算法所需数据以进行计算，传统数据仓库通常往往只是按业务流程进行数据分层和聚合统计而不是按照特定深度学习模型进行数据分层，因此本方法解决及系统了大型旋转机组健康管理智能运维过程中数据与深度学习算法匹配进行计算的问题，更能适用于旋转机组健康管理智能运维。
41.最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管通过参照本发明的优选实施例已经对本发明进行了描述，但本领域的普通技术人员应当理解，可以在形式上和细节上对其作出各种各样的改变，而不偏离所附权利要求书所限定的本发明的精神和范围。