一种基于云边协同的设备故障声纹监测系统的制作方法

1.本发明涉及一种故障声纹监测技术，尤其涉及一种基于云边协同的设备故障声纹监测系统。


背景技术：

2.电力设备在运行过程中，由于机身与固件、零件之间或零件自身之间会发生振动并产生机械波，从而使设备发出声音，这种声音我们称之为设备的语言表达(以下简称声纹)。设备运行状态发生变化时声纹也随之变化，尤其是当设备发生缺陷或故障后，内部组件或结构发生机械形变，会使其语言改变，因此，声纹包含了大量的设备状态信息，它可以作为诊断设备及故障的重要特征参量。另一方面，基于振动声学信号的声纹识别方法与许多传统检测识别方法相比，可以实现在设备外部对其运行状态进行不停电检测，与电气设备没有任何电气连接，不影响系统的正常运行。基于振动声音信号的设备检测预警能够及时掌握设备运行状况及周围环境的变化，发现设备缺陷和危及安全的隐患，快速采取有效措施，保证电力设备的安全和系统稳定。
3.电力行业具有链条长、业务多等特点，导致数据规范化、数据内容、数据标注等缺乏严重。而现有技术对于设备声纹的识别方式，存在对于设备声纹数据价值挖掘不够的技术缺陷，现有技术中基本上采用人力方式缓慢积累原始数据，效率低下、采集标准规范不统一，并且许多数据是难以获得和采集的，尤其是故障与异常数据(如局部放电、绕组变形)、复杂外观环境下的数据，依次往往造成故障数据的不全、不统一而使得识别准确率的低下；且由于识别的数据模板数据量极大，而现有技术往往是基于边端的单方面的识别方式，系统开销极大。


技术实现要素：

4.本发明的主要目的在于提出一种基于云边协同的设备故障声纹监测系统，旨在解决现有技术中设备故障声纹识别系统开销极大以及故障与异常数据、复杂外观环境下的数据获取难度大的问题，达到提升系统分析、识别能力。
5.为了实现上述目的，一种基于云边协同的设备故障声纹监测系统，包括：
6.云端库模块，建立设备声纹故障数据云端样本库、模板库；
7.获取模块，获取设备音频数据，并进行预处理操作，提取第一音频声纹特征；
8.声纹异常监测模块，基于编码网络获取所述第一音频声纹特征对应的第一高维表示数据，并将所述第一音频声纹特征对应的第一高维表示数据与正常声纹的高维表示数据进行比较，得到两者的特异度得分；若所述特异度得分超过设定的异常监测阈值，则确定该音频数据为故障音频数据；
9.边端故障识别分析模块，连接云端库模块和声纹异常监测模块；提取所述故障音频数据对应的声纹特征；将所述设备音频数据对应的声纹特征的特征向量与模板库中的声纹特征故障模板进行比对，确定对应的故障类型。
10.优选地，所述云端库模块预先注册设备声纹特征故障模板形成模板库；
11.从所述云端模板库中下发故障模型至所述边端故障识别分析模块；
12.所述边端故障识别分析模块还包括：通过比较所述设备音频数据对应的声纹特征的特征向量与模板库中的每一种故障类型对应的声纹特征故障模板，得到每一种故障类型的相似度得分，则将相似度得分最高对应的故障类型作为所述设备故障类型，得到识别结果；
13.所述边端故障识别分析模块将识别结果并上送故障信息和样本到云端样本库。
14.优选地，所述声纹异常监测模块还包括网络训练子模块，所述网络训练子步骤包括：
15.通过输入设备正常音频的声纹特征；编码网络将声纹特征通过神经网络编码为高维表示；解码网络将高维特征解码为音频的声纹特征，通过编码前的声纹特征和解码后的声纹特征进行比较来训练网络结构；保存训练后的网络结构。
16.优选地，所述边端故障识别分析模块还包括模型训练子模块，所述模型训练子模块包括：
17.在训练阶段，输入数据为声纹数据的频率压缩之后k维关键频率向量集合v
input
；输出层e8输出数据为集合v
output
,训练梯度反向传递时使用的每一批数据的损失函数表示如下：
[0018][0019][0020]
其中n为每一批数据的数量，v
input
∈v
input
,v
output
∈v
output
，其中αk为维度损失权重，β为损失敏感度系数，其中αk为一个有限非线性均衡函数，抑制低维权重，提高高维权重，一般使用基于对数的函数：
[0021]
αk＝alog(k) b
[0022]
其中a与b为补偿系数，根据具体精度与敏感度要求进行调整；输出层c输出预测差异度s，自监督状况下预期差异度为0，使用交叉熵损失函数进行训练；
[0023]
所述边端故障识别分析模块在验证阶段，输入数据为声纹数据频率压缩之后的k维关键频率向量集合v
input
，输出为输出层c的差异度，作为声纹数据异常监测结果。
[0024]
优选地，所述云端库模块还包括算法更新子模块；所述算法更新子模块，包括：
[0025]
通过将所述故障音频数据上传至所述云端的模板库、样本库，以扩充数据库；从所述云端模板库中下发故障模型至所述边端故障识别分析模块，通过更新模板进行算法迭代优化；
[0026]
将异常频率特征向量集合v
abn
划分为50hz倍频向量及其他频率向量集合，记为和
[0027]
人工对声纹数据定位出的异常进行标注，并整理为标准异常标注文件；
[0028]
将和及异常标准文件合并为异常声纹压缩频率特征标准数据集；
[0029]
在异常声纹注册阶段，将异常声纹压缩频率特征标准数据集根据两个不同的集合，分别注册为异常声纹本征频率特征字典及异常声纹非本征频率特征字典；
[0030]
所述边端故障识别分析模块在验证阶段，输入为验证频率特征向量，将其划分为50hz倍频特征向量与其他频率特征向量，并分别与异常声纹本征频率特征字典和异常声纹非本征频率特征字典进行模板匹配算法比较，获得与当前验证特征向量最相似的本征异常与非本征异常类别。
[0031]
本发明所提供的基于云边协同的设备故障声纹监测系统，通过建立设备声纹故障数据云端样本库、模板库；获取设备音频数据，并进行预处理操作，提取第一音频声纹特征；基于编码网络获取所述第一音频声纹特征对应的第一高维表示数据，并将所述第一音频声纹特征对应的第一高维表示数据与正常声纹的高维表示数据进行比较，得到两者的特异度得分；若所述特异度得分超过设定的异常监测阈值，则确定该音频数据为故障音频数据；边端故障识别分析模块连接云端库模块和声纹异常监测模块；提取所述故障音频数据对应的声纹特征；将所述设备音频数据对应的声纹特征的特征向量与模板库中的声纹特征故障模板进行比对，确定对应的故障类型。本发明不依赖现有故障样本库，可以在前期标记样本库稀少的情况下，部署设备故障声纹监测深度学习算法并持续优化算法准确度，从而解决了故障数据采集的难度也提高了识别准确度；且基于边端故障识别分析模块只需分析上传的异常声纹，大大减少服务器开销，并通过云边协同机制优化自身算法。
附图说明
[0032]
图1为本发明基于云边协同的设备故障声纹监测系统的结构示意图；
[0033]
图2为本发明声纹异常监测模块具体的结构示意图；
[0034]
图3为本发明边端故障识别分析模块具体的结构示意图；
[0035]
图4为本发明系统操作流程示意图。
具体实施方式
[0036]
以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
[0037]
参照图1，图1是本发明基于云边协同的设备故障声纹监测系统第一实施例的结构示意图，本实施例中，所述基于云边协同的设备故障声纹监测系统包括：
[0038]
云端库模块，建立设备声纹故障数据云端样本库、模板库；
[0039]
其中，云端样本库收集站端收集的声纹数据，并可按照设备类型、电压等级、异常类型、发生时间等将声纹数据进行灵活管理和展示，具备样本统计和样本分类等功能；云端模板库收集故障模板，通过人工标记或者算法将故障样本学习为故障模板并保存在模板库，同时具备故障模板下发功能。
[0040]
具体地，本实施例，云端样本库用以收集站端收集的声纹数据，并进行保存和分类管理，同时具备样本统计和样本分类下载功能；云端模板库用以收集故障模板，所述模块具备迭代优化功能，通过人工标记或者算法将故障样本学习为故障模板并保存在模板库，随着数据库的扩充可同步扩充模板库，并细化故障模板特征库，同时具备故障模板下发功能。
[0041]
获取模块，获取设备音频数据，并进行预处理操作，提取第一音频声纹特征。
[0042]
具体地，借助超声传导设备、骨传导设备以及空气传导设备收集音频数据。
[0043]
如图2所示，本实施例，声纹异常监测模块，基于编码网络获取所述第一音频声纹特征对应的第一高维表示数据，并将所述第一音频声纹特征对应的第一高维表示数据与正常声纹的高维表示数据进行比较，得到两者的特异度得分；若所述特异度得分超过设定的异常监测阈值，则确定该音频数据为故障音频数据；
[0044]
具体地，声纹异常监测模块收集音频采集设备上传的音频文件，并进行实时的有无异常分析，将分析的异常声纹文件上传至边端，支持设备自学习功能。
[0045]
优选地，所述云端库模块预先注册设备声纹特征故障模板形成模板库；
[0046]
从所述云端模板库中下发故障模型至所述边端故障识别分析模块；
[0047]
边端故障识别分析模块，连接云端库模块和声纹异常监测模块；提取所述故障音频数据对应的声纹特征；将所述设备音频数据对应的声纹特征的特征向量与模板库中的声纹特征故障模板进行比对，确定对应的故障类型。
[0048]
具体地，如图3所示为本发明的边端故障识别分析模块的示意图，本实施例，边端故障识别分析模块连接云端样本库、模板库模块和边端声纹异常监测模块，可接受声纹异常监测模块上传的实时异常声纹数据和云端下发的故障模板，通过故障模板匹配算法实现设备故障的声纹识别，并上送故障信息和样本到云端样本库，边端故障识别分析模块只需分析上传的异常声纹，大大减少服务器开销。
[0049]
云端模板库中下发故障数据模型至边端故障识别分析模块，迭代训练深度学习模型，优化声纹故障识别算法，并细化不同参数对算法准确度的影响。
[0050]
优选地，所述声纹异常监测模块还包括网络训练子模块，所述网络训练子步骤包括：通过输入设备正常音频的声纹特征；编码网络将声纹特征通过神经网络编码为高维表示；解码网络将高维特征解码为音频的声纹特征，通过编码前的声纹特征和解码后的声纹特征进行比较来训练网络结构；保存训练后的网络结构。
[0051]
具体地，本实施例以变压器为例，可以针对变压器压缩频率特征，设计一个自监督的多层神经网络模型，并自监督学习变压器工作声纹特征，判断声纹之间的差异，具体步骤如下：
[0052]
构建多层全连接神经网络模型，每层依次表示为[e1,e2,e3,e4,e5,e6,e7,e8]，具体参数如下：
[0053]
输入层e1包含k个神经元，k为特征向量维度，训练阶段随机放弃20％神经元进行训练；
[0054]
隐藏层e2包含300个神经元，训练阶段随机放弃20％神经元进行训练；
[0055]
隐藏层e3包含64个神经元，训练阶段随机放弃10％神经元进行训练；
[0056]
隐藏层e4包含32个神经元，训练阶段随机放弃10％神经元进行训练；
[0057]
隐藏层e5包含32个神经元，训练阶段随机放弃10％神经元进行训练；
[0058]
隐藏层e6包含64个神经元，训练阶段随机放弃10％神经元进行训练；
[0059]
隐藏层e7包含300个神经元，训练阶段随机放弃20％神经元进行训练；
[0060]
输出层e8包含300个神经元，输出为k维特征向量维度。
[0061]
输出层c连结在隐藏层e4之后，包含32个神经元，输出为1维差异度。
[0062]
异常监测模块应用阶段：导入实时的设备音频声纹特征，通过编码网络获取声纹特征的高维表示并和正常声纹的高维表示进行比较；计算两者的特异度得分，得分超过设定的异常监测阈值触发异常告警。
[0063]
进一步，在监测任务中，当输入连续的声纹数据特征时，神经网络模型将输出连续的声纹异常监测差异度结果s＝[s1,s2,...,sn]。为了获得自适应的检测报警，进行以下步骤：
[0064]
步骤1：设定一个报警触发差异度阈值τs，使用二分法，超过该阈值则输出异常监测报警，未超过该阈值则认为当前未出现异常；
[0065]
步骤2：设定一个报警触发频率阈值τf，当一段时间t中，报警触发频率超过阈值，则自动调高差异度阈值，使触发频率与触发阈值成负相关，表示为，
[0066][0067]
步骤3：设定报警触发差异度最大值作为触发差异度调节的最大值，如果差异度阈值达到最大值，即使触发频率超过阈值，也不再进行自适应调节；
[0068]
步骤4：经过自适应调节，监测算法输出自适应差异度结果
[0069]
步骤5：根据自适应差异度结果，获得对应出现异常报警的帧位置，根据输入的关键频率向量集合v
input
，获得异常频率特征向量集合v
abn
，实现异常声纹时间定位与特征获取。
[0070]
本实施例，所述边端故障识别分析模块还包括：通过比较所述设备音频数据对应的声纹特征的特征向量与模板库中的每一种故障类型对应的声纹特征故障模板，得到每一种故障类型的相似度得分，则将相似度得分最高对应的故障类型作为所述设备故障类型，得到识别结果；
[0071]
具体地，本实施例，通过模板匹配方法实现故障类型的确定：设通过备实时的特征向量与模板库中的声纹特征故障模板进行比对，得到每一种故障类型输出最高的相似度得分，结果按照每故障的相似度由高到底排列，默认比对方法为余弦相似度，余弦相似度数值越高相似度越高。
[0072]
优选的，所述边端故障识别分析模块将识别结果并上送故障信息和样本到云端样本库。
[0073]
具体地，如图4所示为本实施例的系统操作流程示意图，可以通过借助超声传导设备、骨传导设备以及空气传导设备收集音频数据，将所述的音频数据经汇聚层处理后上传至所述声纹异常检测系统处理得到异常音频数据；云端样本库模块收集站端收集的声纹数据，具备样本统计和样本分类等功能；云端模板库模块收集故障模板，通过人工标记或者算法将故障样本学习为故障模板并保存在模板库；声纹异常检测模块收集音频采集设备上传的音频文件，并进行实时的有无异常分析，将分析的异常声纹文件上传至边端；边端故障识别分析模块连接云端样本库、模板库模块和边端声纹异常监测模块，可接受声纹异常监测模块上传的实时异常声纹数据和云端下发的故障模板，通过故障模板匹配算法实现设备故
障的声纹识别并上送故障信息和样本到云端样本库，边端故障识别分析模块只需分析上传的异常声纹；云端模板库中下发故障数据模型至边端故障识别分析模块，迭代训练深度学习模型，优化声纹故障识别算法，并细化不同参数对算法准确度的影响。
[0074]
优选地，所述边端故障识别分析模块还包括模型训练子模块，所述模型训练子模块包括：
[0075]
在训练阶段，输入数据为声纹数据的频率压缩之后k维关键频率向量集合v
input
；输出层e8输出数据为集合v
output
,训练梯度反向传递时使用的每一批数据的损失函数表示如下：
[0076][0077][0078]
其中n为每一批数据的数量，v
input
∈v
input
,v
output
∈v
output
，其中αk为维度损失权重，β为损失敏感度系数，其中αk为一个有限非线性均衡函数，抑制低维权重，提高高维权重，一般使用基于对数的函数：
[0079]
αk＝alog(k) b
[0080]
其中a与b为补偿系数，根据具体精度与敏感度要求进行调整；输出层c输出预测差异度s，自监督状况下预期差异度为0，使用交叉熵损失函数进行训练；
[0081]
所述边端故障识别分析模块在验证阶段，输入数据为声纹数据频率压缩之后的k维关键频率向量集合v
input
，输出为输出层c的差异度，作为声纹数据异常监测结果。
[0082]
优选地，所述云端库模块还包括算法更新子模块；所述算法更新子模块，包括：
[0083]
通过将所述故障音频数据上传至所述云端的模板库、样本库，以扩充数据库；从所述云端模板库中下发故障模型至所述边端故障识别分析模块，通过更新模板进行算法迭代优化；
[0084]
具体地，本实施例，通过将所述异常音频数据上传至故障识别分析模块进行分析得到故障音频数据；将所述故障音频数据上传至所述云端的模板库、样本库以扩充数据库；从所述云端模板库中下发故障模型至所述故障识别分析模块通过更新模板进行算法迭代优化，进一步提高该分析模块的识别能力。
[0085]
使用模板匹配算法进行异常频率特征向量的识别检测，通过对异常频率特征分分离注册，实现泛化性的识别检测，具体步骤如下：
[0086]
将异常频率特征向量集合v
abn
划分为50hz倍频向量及其他频率向量集合，记为和
[0087]
人工对声纹数据定位出的异常进行标注，并整理为标准异常标注文件；
[0088]
将和及异常标准文件合并为异常声纹压缩频率特征标准数据集；
[0089]
在异常声纹注册阶段，将异常声纹压缩频率特征标准数据集根据两个不同的集合，分别注册为异常声纹本征频率特征字典及异常声纹非本征频率特征字典；
[0090]
本实施例，所述边端故障识别分析模块在验证阶段，输入为验证频率特征向量，将
其划分为50hz倍频特征向量与其他频率特征向量，并分别与异常声纹本征频率特征字典和异常声纹非本征频率特征字典进行模板匹配算法比较，获得与当前验证特征向量最相似的本征异常与非本征异常类别。
[0091]
具体地，本实施例，在验证阶段，通过输入为验证频率特征向量，将其划分为50hz倍频特征向量与其他频率特征向量，并分别与异常声纹本征频率特征字典和异常声纹非本征频率特征字典进行模板匹配算法比较。可以使用如动态时间规整方法、余弦相似度方法、混合高斯模型方法等。最终获得与当前验证特征向量最相似的本征异常与非本征异常类别。
[0092]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。