球磨机负荷测量方法、装置、电子设备和介质与流程

1.本发明涉及磨矿技术领域，尤其是涉及一种球磨机负荷测量方法、装置、电子设备和介质。


背景技术：

2.由于磨机所具有的长滞后特性以及入磨物料物理性能（诸如粒度、湿度和易磨性等变化，以及磨机衬板和研磨体变化），使磨机负荷（也即磨内填充量）控制变更加复杂和困难。
3.目前，在进行磨机负荷测量时，由于工作环境的噪声影响、工况的变化，使得磨机负荷的测量变的很难。传统的方法都是基于人工听声音的方式进行，但是测量准确度不能满足要求，因此影响产品的质量，造成电耗的增加以及原材料的浪费。虽然目前有很多方法优化磨内填充量的测量，例如改进安装传感器的问题，以及使用算法优化，还有进行多传感器融合方法，但是都没有全面解决噪声带来的上述影响。


技术实现要素：

4.本发明的目的在于提供一种球磨机负荷测量方法、装置、电子设备和介质，可以准确有效测量球磨机填充量，为球磨机的填充量的实时控制提供可能性，并且可以提高球磨机的工作效率，降低电耗和原材料消耗。
5.第一方面，本发明提供一种球磨机负荷测量方法，方法包括：获取球磨机的振动信号数据和音频信号数据；对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据；获取预先训练好的多模态神经网络模型，将振动imf分量特征数据和音频mfcc特征数据输入多模态神经网络模型中，得到球磨机负荷测量结果；预先训练好的多模态神经网络模型包括特征提取网络，以及与特征提取网络连接的两层全连接bp神经网络；其中，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络。
6.在可选的实施方式中，预先训练好的多模态神经网络模型在云端训练，预先训练好的多模态神经网络模型的训练步骤，包括：获取标签数据和特征数据；特征数据包括振动imf分量特征数据和音频mfcc特征数据；对特征数据进行数据增强处理，并对数据增强处理后的振动imf分量特征数据和音频mfcc特征数据进行数据截断处理，得到多个截断数据；将每个截断数据作为一个样本加入至训练样本数据，并对训练样本数据添加白噪声数据进行数据扩充处理，得到目标训练样本数据；采用目标训练样本数据对多模态神经网络模型进行训练。
7.在可选的实施方式中，振动信号cnn子网络包括依次连接的批量标准化层、5*5 卷积层、池化层、3*3 卷积层、池化层、批量标准化层；音频信号cnn子网络包括依次连接的批量标准化层、11*11 卷积层、池化层、5*5 卷积层、池化层、3*3 卷积层、池化层、全连接层、批量标准化层。
8.在可选的实施方式中，获取球磨机的振动信号数据和音频信号数据的步骤，包括：
获取通过采集装置基于预先设定的采集频率采集的球磨机的振动信号数据和音频信号数据，得到初始采集数据；对初始采集数据进行采样和带通滤波处理；其中，针对振动信号数据的第一滤波范围和针对音频信号数据的第二滤波范围不同。
9.在可选的实施方式中，对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据的步骤，包括：对振动信号数据进行预设个数的经验模态分解，得到振动imf分量特征数据；对音频信号数据进行mfcc 特征提取，得到音频mfcc特征数据。
10.在可选的实施方式中，对振动信号数据进行预设个数的经验模态分解，得到振动imf分量特征数据的步骤，包括：步骤s1，确定振动信号数据所有的局部极大值点和局部极小值点，通过三次样条插值函数拟合形成原始数据的上包络线和下包络线；步骤s2，计算上包络线和下包络线的均值，确定新数据序列；新数据序列为去掉低频的序列；步骤s3，判断新数据序列是否满足imf成立的条件，如果满足，确定为振动信号数据的第一个imf分量，如果不满足则重复步骤s1和步骤s2，得到；其中，为第一次重复操作后确认的新数据序列；为第一次重复操作后得到的上包络线和下包络线的均值；步骤s4，判断是否满足imf成立的条件，如果不满足，则将上述步骤s1至步骤s3重复k次，直至得到，最终满足imf条件，为第一个imf分量，记作：；其中，为第k次重复操作后确认的新数据序列；为第k
‑
1次重复操作后确认的新数据序列；为第k次重复操作后得到的上包络线和下包络线的均值；为第一个imf分量；步骤s5，从振动信号数据减去得到第一个残余分量，将作为待分解的信号，执行上述步骤s1至步骤s4，得到第二个imf分量，并确定第二个残余分量，重复上述步骤s1至步骤s4，直至得到第n个imf分量和第n个残余分量，以得到将振动信号数据分解后的n个imf分量和n个残余分量。
11.在可选的实施方式中，对音频信号数据进行mfcc 特征提取，得到音频mfcc特征数据的步骤，包括：对音频信号数据进行分帧处理，得到多个帧数据；相邻两帧之间的帧数据包含重复数据；对每一帧的帧数据进行数字信号处理；其中，数字信号处理包括加海明窗、傅里叶变换、计算功率谱、三角带通滤波；针对数字信号处理后的帧数据计算滤波器输出的对数能量，并进行离散余弦变换后得到音频mfcc特征数据。
12.第二方面，本发明实施例提供一种球磨机负荷测量装置，装置包括：信号获取模块，用于获取球磨机的振动信号数据和音频信号数据进行采集；特征提取模块，用于对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据；负荷测量模块，用于获取预先训练好的多模态神经网络模型，将振动imf分量特征数据和音频mfcc特征数据输入多模态神经网络模型中，得到球磨机负荷测量结果；预先训练好的多模态神经网络模型包括特征提取网络，以及与特征提取网络连接的两层全连接bp神经网络；其中，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络。
13.第三方面，本发明提供一种电子设备，包括处理器和存储器，存储器存储有能够被处理器执行的机器可执行指令，处理器执行机器可执行指令以实现前述实施方式任一项的球磨机负荷测量方法。
14.第四方面，本发明提供一种机器可读存储介质，机器可读存储介质存储有机器可
执行指令，机器可执行指令在被处理器调用和执行时，机器可执行指令促使处理器实现前述实施方式任一项的球磨机负荷测量方法。
15.本发明提供的球磨机负荷测量方法、装置、电子设备和介质，该方法首先获取球磨机的振动信号数据和音频信号数据，然后对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据，进而获取预先训练好的多模态神经网络模型，将振动imf分量特征数据和音频mfcc特征数据输入多模态神经网络模型（预先训练好的多模态神经网络模型包括特征提取网络，以及与特征提取网络连接的两层全连接bp神经网络；其中，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络）中，得到球磨机负荷测量结果。上述方式通过获取球磨机的振动信号和音频信号，通过对振动信号和音频信号进行特征提取，提取获取的原始信号（也即振动信号和音频信号）的有用信息，使得预测模型准确度增加，同时减少了训练样本的数量；通过训练好的多模态神经网络模型进行球磨机负荷测量，可以准确有效测量球磨机填充量，为球磨机的填充量的实时控制提供可能性，并且可以提高球磨机的工作效率，降低电耗和原材料消耗。
附图说明
16.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的一种球磨机负荷测量方法的流程示意图；图2为本发明实施例提供的一种神经网络的结构示意图；图3为本发明实施例提供的一种具体的球磨机负荷测量方法流程示意图；图4为本发明实施例提供的一种球磨机负荷测量装置的结构示意图；图5为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
19.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
21.下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
22.考虑到如若能保持磨机负荷或磨内填充量为一定值或某一范围，则可使磨机台时
产量达到最高，单位电耗最低，节能效果最佳，使磨机长期稳定运行最佳工况，防止空磨和饱磨。针对目前磨机负荷测量存在的问题，本实施例采用振动传感器、音频传感器以及高级信号处理的dsp芯片用于到多传感器数据进行算法提取和分析，云端服务器用来训练模型和保存历史数据。该实施例采用一套设备一个模型的方法，有效解决不同环境噪声工况不一致带来结果不一致的问题。核心部分是基于多模态的深度学习模型，多模态融合负责联合多个模态的信息（本实施例为振动信号和音频信号两种模态），进行球磨机负荷测量结果的预测。
23.为便于理解，首先对本发明实施例提供的一种球磨机负荷测量方法进行详细说明，参见图1所示的一种球磨机负荷测量方法的流程示意图，该方法主要包括以下步骤s102至步骤s106：步骤s102，获取球磨机的振动信号数据和音频信号数据。
24.上述获取的球磨机的振动信号数据和音频信号数据可以通过采集装置进行采集，并通过采集装置上传数据的方式进行获取。其中，采集装置可以包括振动采集装置和音频采集装置。
25.步骤s104，对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据。
26.该特征提取为针对采集的振动信号数据和音频信号数据进行的预处理操作，在实际应用时，可以通过边缘侧设备（诸如dsp信号处理芯片）进行特征提取处理。
27.mfcc的物理含义就是——在语音识别领域，将语音物理信息（频谱包络和细节）进行编码运算得到的一组特征向量。
28.步骤s106，获取预先训练好的多模态神经网络模型，将振动imf分量特征数据和音频mfcc特征数据输入多模态神经网络模型中，得到球磨机负荷测量结果。
29.多模态神经网络模型为在云端（也可成为服务器、云服务中心）预先训练得到的，该多模态神经网络模型诸如可以为通过卷积神经网络cnn改进后得到的网络模型，多模态也即模型的输入为多种模态的数据。预先训练好的多模态神经网络模型包括特征提取网络，以及与特征提取网络连接的两层全连接bp神经网络；其中，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络。
30.本发明实施例提供的球磨机负荷测量方法，通过获取球磨机的振动信号和音频信号，并对振动信号和音频信号进行特征提取，提取原始信号（也即振动信号和音频信号）的有用信息，使得预测模型准确度增加，同时减少了训练样本的数量；通过训练好的多模态神经网络模型进行球磨机负荷测量，可以准确有效测量球磨机填充量，为球磨机的填充量的实时控制提供可能性，并且可以提高球磨机的工作效率，降低电耗和原材料消耗。
31.在一种实施方式中，由于原始振动信号和音频信号的相关性很弱，因此本实施例采用晚期特征融合的方式进行多传感器信息融合。此外，振动信号和音频信号的特征融合方式可以由目前双层全连接神经网络更换为其它方式，例如lstm预测或者提取主成分之后的线性回归。网络部分的细化可以根据情况进行调整，例如添加或者更改dropout的比例，attention架构的添加，损失函数正则化的修改等。
32.考虑到将所有的传感器数据全部回传到云端服务器才能进行负荷计算以及机器学习鲁棒性，稳定性较差，因此本实施例采用首先在云端进行模型训练，并将该训练好的模
型（也即神经网络）发送至边缘测设备（也即dsp信号处理芯片），采用在边缘侧设备上应用深度学习算法来测量球磨机负荷。在一种实施方式中，上述预先训练好的多模态神经网络模型在云端训练的步骤，在具体实施时，可以包括以下步骤2.1）至步骤2.4）：步骤2.1），获取标签数据和特征数据；特征数据包括振动imf分量特征数据和音频mfcc特征数据；获取的标签数据为通过人工标注后给定的标签数据。
33.步骤2.2），对特征数据进行数据增强处理，并对数据增强处理后的振动imf分量特征数据和音频mfcc特征数据进行数据截断处理，得到多个截断数据；步骤2.3），将每个截断数据作为一个样本加入至训练样本数据，并对训练样本数据添加白噪声数据进行数据扩充处理，得到目标训练样本数据；步骤2.4），采用目标训练样本数据对神经网络模型进行训练。
34.针对步骤2.4），在实际应用中，可以将目标训练样本数据分为两个部分，诸如可以使目标训练样本数据中的75%用于训练，25%用于验证，并将75%的训练数据加入到训练模型中进行训练。对训练数据和验证数据进行结果验证，根据训练数据和验证数据的均方根误差来评判模型效果，均方根误差计算公式如下：
35.上述预先训练好的多模态神经网络模型包括依次连接的特征提取网络和两层全连接bp神经网络，参见图2所示的一种神经网络的结构示意图。具体的，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络；其中，振动信号cnn子网络包括依次连接的批量标准化层（batch normalization，bn）、5*5 卷积层、池化层、3*3 卷积层、池化层、批量标准化层；音频信号cnn子网络包括依次连接的批量标准化层、11*11 卷积层、池化层、5*5 卷积层、池化层、3*3 卷积层、池化层、全连接层、批量标准化层。其中，振动信号cnn子网络的第一层批量标准化的输入为振动imf矩阵（也即振动imf分量特征数据），音频信号cnn子网络的第一层批量标准化的输入为音频mfcc矩阵（也即音频mfcc特征数据）。振动信号cnn子网络的最后一层批量标准化层和音频信号cnn子网络的最后一层批量标准化层分别连接依次连接的两层全连接bp神经网络，并在第二层全连接bp神经网络之后进行输出。
36.上述获取球磨机的振动信号数据和音频信号数据，在具体实施时，可以包括以下步骤：步骤3.1），获取通过采集装置基于预先设定的采集频率采集的球磨机的振动信号数据和音频信号数据，得到初始采集数据。
37.步骤3.2），对初始采集数据进行采样和带通滤波处理；其中，针对振动信号数据的第一滤波范围和针对音频信号数据的第二滤波范围不同。
38.针对上述步骤3.1），采集装置包括振动采集装置和音频采集装置，在实际应用时，采集频率保持一致，例如5分钟一次采集。
39.针对上述步骤3.2），振动信号按照给定的采样频率进行采样，并对信号进行带通滤波，第一滤波范围为100
‑
12000hz，音频信号按照给定的采用频率进行采用，对信号进行带通滤波，第二滤波范围为500
‑
4000hz。
40.此外，可以将温度和电流数据保存最近点的数据进行滤波，从而去除数据不稳定
性和采样误差。
41.进一步，在采用在边缘侧设备（也即dsp信号处理芯片）应用深度学习算法来测量球磨机负荷时，首先可以基于dsp信号处理芯片对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据。在具体实施时，可以基于dsp信号处理芯片对振动信号数据进行预设个数的经验模态分解，得到振动imf分量特征数据，同时可以基于dsp信号处理芯片对音频信号数据进行mfcc 特征提取，得到音频mfcc特征数据。
42.为便于理解，针对振动信号数据和音频信号数据分别采用不同的处理方法进行处理，以下进行详细说明：针对振动信号数据，在基于dsp信号处理芯片对振动信号数据进行预设个数的经验模态分解时，可以采用以下步骤：步骤s1，确定振动信号数据所有的局部极大值点和局部极小值点，通过三次样条插值函数拟合形成原始数据的上包络线和下包络线；步骤s2，计算上包络线和下包络线的均值，确定新数据序列；新数据序列为去掉低频的序列；步骤s3，判断新数据序列是否满足imf成立的条件，如果满足，确定为振动信号数据的第一个imf分量，如果不满足则重复步骤s1和步骤s2，得到；其中，为第一次重复操作后确认的新数据序列；为第一次重复操作后得到的上包络线和所述下包络线的均值；步骤s4，判断是否满足imf成立的条件，如果不满足，则将上述步骤s1至步骤s3重复k次，直至得到，最终满足imf条件，为第一个imf分量，记作：；其中，为第k次重复操作后确认的新数据序列；为第k
‑
1次重复操作后确认的新数据序列；为第k次重复操作后得到的上包络线和所述下包络线的均值；为第一个imf分量；步骤s5，从振动信号数据减去得到第一个残余分量，将作为待分解的信号，执行上述步骤s1至步骤s4，得到第二个imf分量，并确定第二个残余分量，重复上述步骤s1至步骤s4，直至得到第n个imf分量和第n个残余分量，以得到将振动信号数据分解后的n个imf分量和n个残余分量。
43.针对音频信号数据，在基于dsp信号处理芯片对音频信号数据进行mfcc 特征提取时，可以采用以下步骤4.1）至步骤4.3）：步骤4.1），对音频信号数据进行分帧处理，得到多个帧数据；相邻两帧之间的帧数据包含重复数据；步骤4.2），对每一帧的帧数据进行数字信号处理；其中，数字信号处理包括加海明窗、傅里叶变换、计算功率谱、三角带通滤波；步骤4.3），针对数字信号处理后的帧数据计算滤波器输出的对数能量，并进行离散余弦变换后得到音频mfcc特征数据。
44.针对上述步骤4.1），为了得到信号的局部细节信息，本实施例忽略常规的预加重处理步骤，直接对音频信号数据x(t)进行分帧处理。为了考虑帧之间连续性，帧之间需要有
连续的重复数据。在一种实施方式中，可以取帧大小为256，重叠区域为85。
45.进一步，将上述确定的音频mfcc 特征数据和振动imf分量特征数据输入到训练好的神经网络模型（诸如卷积神经网络）中得到最终的测量结果，并将结果上传云端，云端保存负荷结果并展示。
46.上述所有经过特征提取的部分拼接在一起，接入两层全连接bp神经网络输出负荷计算结果。云端（也即云数据服务中心）包括数据库、数据增强模块、振动信号imf提取模块、音频信号mfcc 提取模块、模型训练模块、模型评估模块、模型下发管理模块。数据库包括历史振动数据，音频数据以及负荷数据的保存，以及模型管理，用于管理模型与设备的关系。将模型与设备对应起来，一个设备对应一套模型；数据增强模块用于对训练数据做截取，添加噪声，拟合新样本等内容。模型训练模块用于对模型进行训练给出模型训练结果，评估模块用于对模型进行评估验证和保存；模型下发模块用于将设备对应的模型下发到边缘设备。
47.为便于理解，本实施例还提供了一种具体的球磨机负荷测量方法，该方法具体可以包括以下步骤：步骤一：在球磨机的轴承上安装标准的振动传感器，在球磨机上方中心位置安装麦克风电耳传感器，安装电流和温度传感器，其它相关位置需要的工况数据（工况数据可以不用配置），在服务器上控制采集传感器的采样频率和采样间隔以及采样点数；采集传感器按照服务器要求进行采集数据，并将数据发送边缘设备。
48.步骤二：配置边缘设备对应的采集装置，配置边缘设备对应的深度学习模型；边缘设备对接受的信号进行预处理，振动信号提取imf分量，音频信号提取mfcc特征，将处理后的特征传入深度学习模型，给出结果，发送给服务端。
49.步骤三：服务器端配置模型更新周期以及训练数据采集方式以及设置标签。
50.步骤四：振动传感器和音频传感器的滤波方式采用有限冲激响应滤波器分别对振动及振声信号进行带通滤波。
51.其中，在进行滤波时，采用；式中：为滤波器系数；为滤波器在m点的输出；原始数据m
‑
n点的值；为采样时刻，n=0,1,2,...,n
‑
1；振动信号采用频率范围为100～12000hz的带通滤波器；振声信号则采用500
‑
4000hz的带通滤波器。
52.步骤五：振动信号的imf的分量提取确定为10个分量，第一为了训练样本的数据对齐，第二为了充足的提取imf分量。
53.步骤六：音频信号mfcc 特征提取阶数为40。
54.步骤七：基于cnn的测量模型参数优化采取前向传递和后向传递的方式优化振动特征提取和音频特征提取部分对应的参数。
55.进一步，本实施例还提供了一种具体的实施方式，参见图3所示，首先给定球磨机，然后采集数据（振动、音频），分别对振动数据和音频数据进行带通滤波，并对带通滤波之后的振动数据进行经验模态分解( empirical mode decomposition，emd)，对带通滤波之后的音频数据提取mfcc特征，进而对数据归一化处理以后合并数据，并按照模型学习到的特征提取参数，最终给出预测结果。其中，针对模型，首先根据通用cnn深度学习模型初始化标
签值，并验证标签是否正确，如果当前标签不正确，则重新给数据打上标签值，并进一步给每个球磨机建立单独的深度学习cnn模型（诸如可以利用通用模型参数作为初始化，减少训练时间）；如果验证标签正确，则直接给每个球磨机建立单独的深度学习cnn模型，最终将模型保存mongodb。在上述数据归一化处理以后合并数据后，通过udp协议传输给服务器（由于模型是在服务器训练，因此将传输的数据发送给服务器以使服务器给该数据打上标签值），并由模型通过udp协议下传模型参数，以便按照模型学习到的特征提取参数得到预测结果，并通过udp协议将预测结果上传，并将预测结果数据保存mongodb。
56.通过上述方式，本实施例可以达到以下效果：第一：目前常见的球磨机负荷测量都是采用数据采集装置，将本地采集到的数据发送到云中心，计算分析得到预测结果，但是随着传感器数量增多，采集装置增加，数据的实时传输和存储面临巨大挑战，一旦传输延迟，影响后续的自动控制的效果。本发明采用在云中心训练cnn卷积神经网络模型，并将训练好的模型，下发到边缘侧设备上，通过在边缘侧设备计算就可对负荷进行实时测量，对于测量有偏差的可以更新模型数据，优化模型，保证模型预测准确度。
57.第二：本实施例通过采集球磨机的振动信号，音频信号，通过预处理的方法对原始数据进行处理，提取原始信号的有用信息，使得预测模型准确度增加，同时减少了训练样本的数量；第三：通过采用深度学习模型，减少了机器学习需要专家提取特征，控制预处理和算法参数，从而准确度低的问题，同时由于模型利用工况信息，因此可以应对不同工况情况下负荷测量情况。
58.第四：由于采用一台设备一套模型，因此克服了不同设备不同环境带来的测量结果误差问题。
59.本发明实施例解决了同一设备在不同噪声环境不同工况情况下负荷测量不准确的问题，特点在于多传感器数据融合，同时采集球磨机的振动和音频数据，统一将传感器数据传输到dsp处理芯片上进行数据的预处理，并且dsp 芯片可以定时从服务器端下载模型，利用模型和预处理之后的数据进行特征提取，最后结合其他工况信息给出测量结果。
60.针对上述球磨机负荷测量，本发明实施例提供一种球磨机负荷测量装置，参见图4所示的一种球磨机负荷测量装置的结构示意图，该装置主要包括以下部分：信号获取模块41，用于获取球磨机的振动信号数据和音频信号数据；特征提取模块42，用于对振动信号数据和音频信号数据进行特征提取，得到振动imf分量特征数据和音频mfcc特征数据；负荷测量模块43，用于获取云端上预先训练好的多模态神经网络模型，将振动imf分量特征数据和音频mfcc特征数据输入多模态神经网络模型中，得到球磨机负荷测量结果；预先训练好的多模态神经网络模型包括特征提取网络，以及与特征提取网络连接的两层全连接bp神经网络；其中，特征提取网络包括振动信号cnn子网络、音频信号cnn子网络。
61.本发明实施例提供的球磨机负荷测量装置，通过采集球磨机的振动信号和音频信号，通过数字信号处理的方法对原始数据进行处理，提取原始信号的有用信息，使得预测模型准确度增加，同时减少了训练样本的数量；通过云端训练好的神经网络模型进行负荷测量，可以准确有效测量球磨机填充量，为球磨机的填充量的实时控制提供可能性，并且可以
提高球磨机的工作效率，降低电耗和原材料消耗。
62.在一种实施方式中，预先训练好的多模态神经网络模型在云端训练，上述装置还包括，模型训练模块，用于获取标签数据和特征数据；特征数据包括振动imf分量特征数据和音频mfcc特征数据；对特征数据进行数据增强处理，并对数据增强处理后的振动imf分量特征数据和音频mfcc特征数据进行数据截断处理，得到多个截断数据；将每个截断数据作为一个样本加入至训练样本数据，并对训练样本数据添加白噪声数据进行数据扩充处理，得到目标训练样本数据；采用目标训练样本数据对多模态神经网络模型进行训练。
63.在一种实施方式中，振动信号cnn子网络包括依次连接的批量标准化层、5*5 卷积层、池化层、3*3 卷积层、池化层、批量标准化层；音频信号cnn子网络包括依次连接的批量标准化层、11*11 卷积层、池化层、5*5 卷积层、池化层、3*3 卷积层、池化层、全连接层、批量标准化层。
64.在一种实施方式中，上述信号获取模块41，还用于获取通过采集装置基于预先设定的采集频率采集的球磨机的振动信号数据和音频信号数据，得到初始采集数据；对初始采集数据进行采样和带通滤波处理；其中，针对振动信号数据的第一滤波范围和针对音频信号数据的第二滤波范围不同。
65.在一种实施方式中，上述特征提取模块42，还用于对振动信号数据进行预设个数的经验模态分解，得到振动imf分量特征数据；对音频信号数据进行mfcc 特征提取，得到音频mfcc特征数据。
66.在一种实施方式中，上述特征提取模块42，还用于步骤s1，确定振动信号数据所有的局部极大值点和局部极小值点，通过三次样条插值函数拟合形成原始数据的上包络线和下包络线；步骤s2，计算上包络线和下包络线的均值，确定新数据序列；新数据序列为去掉低频的序列；步骤s3，判断新数据序列是否满足imf成立的条件，如果满足，确定为振动信号数据的第一个imf分量，如果不满足则重复步骤s1和步骤s2，得到；其中，为第一次重复操作后确认的新数据序列；为第一次重复操作后得到的上包络线和所述下包络线的均值；步骤s4，判断是否满足imf成立的条件，如果不满足，则将上述步骤s1至步骤s3重复k次，直至得到，最终满足imf条件，为第一个imf分量，记作：；其中，为第k次重复操作后确认的新数据序列；为第k
‑
1次重复操作后确认的新数据序列；为第k次重复操作后得到的上包络线和所述下包络线的均值；为第一个imf分量；步骤s5，从振动信号数据减去得到第一个残余分量，将作为待分解的信号，执行上述步骤s1至步骤s4，得到第二个imf分量，并确定第二个残余分量，重复上述步骤s1至步骤s4，直至得到第n个imf分量和第n个残余分量，以得到将振动信号数据分解后的n个imf分量和n个残余分量。
67.在一种实施方式中，上述特征提取模块42，还用于对每一帧的帧数据进行数字信号处理；其中，数字信号处理包括加海明窗、傅里叶变换、计算功率谱、三角带通滤波；针对数字信号处理后的帧数据计算滤波器输出的对数能量，并进行离散余弦变换后得到音频mfcc特征数据。
68.本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相
同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。
69.本发明实施例提供了一种电子设备，具体的，该电子设备包括处理器和存储装置；存储装置上存储有计算机程序，计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法 。
70.图5为本发明实施例提供的一种电子设备的结构示意图，该电子设备100包括：处理器50，存储器51，总线52和通信接口53，所述处理器50、通信接口53和存储器51通过总线52连接；处理器50用于执行存储器51中存储的可执行模块，例如计算机程序。
71.其中，存储器51可能包含高速随机存取存储器（ram，random access memory），也可能还包括非不稳定的存储器（non
‑
volatile memory），例如至少一个磁盘存储器。通过至少一个通信接口53（可以是有线或者无线）实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
72.总线52可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
73.其中，存储器51用于存储程序，所述处理器50在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器50中，或者由处理器50实现。
74.处理器50可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器50中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器50可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processing，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现成可编程门阵列(field
‑
programmable gate array，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器51，处理器50读取存储器51中的信息，结合其硬件完成上述方法的步骤。
75.本发明实施例所提供的球磨机负荷测量方法、装置、电子设备和介质的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
76.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。
77.本发明实施例所提供的可读存储介质的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
78.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read
‑
only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
79.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。