一种旋转体轴心轨迹振动位移视觉测量方法、系统

1.本发明涉及一种旋转体轴心轨迹振动位移视觉测量方法，属于人工智能振动检测和计算机视觉追踪领域。


背景技术：

2.振动位移场测量作为旋转体等精密零部件健康检测前期必备手段，可有效诊断轴、轴承和转子等机械结构的服役寿命、故障类型和动平衡特性。
3.结构体的位移测量主要包含接触式测量和非接触式测量，如加速度传感器是一种高频响应的接触式测量手段，需要吸附和粘贴等手段实现无间隙接触，因旋转体本身状态特性而无法实施本体安装；作为非接触式线性量化工具电涡流传感器在安装时需要考虑合适的初始间隙，此外由于量程和振点数量等问题，无法以单个传感器测量旋转体多维振动位移信号。因此有必要研究一种能够减小多个传统传感器测量时不可避免的时间、位置误差，并实现远距离、非接触和多维数据测量的新型测量方法。


技术实现要素：

4.本发明提供了一种旋转体轴心轨迹振动位移视觉测量方法、系统，以用于构建不同网络深度系数下的深度学习跟踪网络实现视觉测量旋转体轴心轨迹振动位移。
5.本发明的技术方案是：一种旋转体轴心轨迹振动位移视觉测量方法，包括：
6.构建旋转体轴心轨迹振动位移数据集；
7.构建不同网络深度系数下的深度学习跟踪网络；
8.依据旋转体轴心轨迹振动位移数据集中训练集对选择的深度系数下的深度学习跟踪网络进行训练，获得最优权重参数；
9.依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移。
10.还包括验证步骤：
11.将获得的测试集的旋转体轴心轨迹振动位移与旋转体轴心轨迹振动位移数据集中对比测试数据作对比，判断旋转体轴心轨迹振动位移是否通过测试，若测试未通过，则选择更大网络深度系数的深度学习跟踪网络重新训练，直至测试通过，获得测试通过的旋转体轴心轨迹振动位移。
12.所述构建旋转体轴心轨迹振动位移数据集，包括：
13.step1.1、利用高速工业相机采集旋转体目标图像，利用标注工具对旋转体目标图像中的旋转体目标信息进行标注，得到训练集；其中，标注包括：旋转体目标信息中心位置的横、纵坐标，采用长宽尺寸相同的边界框对旋转体目标信息进行标注；
14.step1.2、采集step1.1同种工况下旋转体振动视频；其中振动视频作为测试集。
15.通过电涡流传感器采集电压数据；其中，旋转体振动视频及电涡流传感器采集电压数据为同步采集step1.1同种工况下的数据；两个电涡流传感器分别采集的旋转体目标
纵向电压数据和横向电压数据作为对比测试数据；将电涡流传感器采集的电压数据归一化处理作为标准信号。
16.所述构建不同网络深度系数下的深度学习跟踪网络，包括：
17.step2.1、搭建不同网络深度系数下的特征提取模块，构成组合特征提取模块；其中，组合特征提取模块中的每个特征提取模块均包括transformer、深度卷积、两个1
×
1卷积，第一个1
×
1卷积的输出作为transformer的输入、第二个1
×
1卷积的输入，transformer的输出作为深度卷积的输入，深度卷积的输出作为第二个1
×
1卷积的输入；
18.step2.2、搭建目标跟踪模块；其中，目标跟踪模块包含目标检测器、卡尔曼滤波器、匈牙利匹配器、交并比匹配器；
19.step2.3、依据搭建的组合特征提取模块、目标跟踪模块构成深度学习跟踪网络。
20.所述搭建不同网络深度系数下的特征提取模块，具体为：构建4层特征提取模块，各层特征提取模块的深度相同/不同。
21.所述目标跟踪模块，具体为：
22.依据组合特征提取模块提取旋转体目标特征，目标检测器将旋转体目标框选；
23.首先利用卡尔曼滤波器预测旋转体目标，接着利用匈牙利匹配器将当前视频帧通过卡尔曼滤波器预测的旋转体目标与前一视频帧通过目标检测器框选的旋转体目标相匹配；再利用交并比匹配器过滤低分框，使得每一帧中旋转体目标都能被从一而终的跟踪。
24.所述依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移，包括：
25.利用获得的最优权重参数对输入到深度学习跟踪网络中的测试集进行测试；通过深度学习跟踪网络在跟踪完测试集的视频帧中每个旋转体目标后，根据第一帧目标位置回归出后续帧相对于第一帧的位置信息自动生成位移偏差信号，并将位移偏差信号做归一化处理，获得旋转体轴心轨迹振动位移信号。
26.根据本发明的另一方面，还提供了一种旋转体轴心轨迹振动位移视觉测量系统，包括：
27.第一构建模块，用于构建旋转体轴心轨迹振动位移数据集；
28.第二构建模块，用于构建不同网络深度系数下的深度学习跟踪网络；
29.第一获得模块，用于依据旋转体轴心轨迹振动位移数据集中训练集对选择的深度系数下的深度学习跟踪网络进行训练，获得最优权重参数；
30.第二获得模块，用于依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移。
31.还包括验证模块，用于将获得的测试集的旋转体轴心轨迹振动位移与旋转体轴心轨迹振动位移数据集中对比测试数据作对比，判断旋转体轴心轨迹振动位移是否通过测试，若测试未通过，则选择更大网络深度系数的深度学习跟踪网络重新训练，直至测试通过，获得测试通过的旋转体轴心轨迹振动位移。
32.本发明的有益效果是：本发明通过高速工业相机采集旋转体振动图像和视频，并同步收集同种工况下电涡流传感器采集的电压信号作为标准信号；将具有高效率的卷积网络和具有高性能的transformer分别作为特征提取模块的前后端学习旋转体目标特征，并
组合跟踪模块得到深度学习跟踪网络训练学习后跟踪旋转体轴心轨迹振动位移。通过本发明公开的方法，有效解决当前传感器无法突破量程并同时测量多维旋转体振动位移数据的问题，能自动生成轴心轨迹减少传统传感器后续信号处理流程，提高设备检测时效性，并且为旋转体设备健康监测提供新方案。
附图说明
33.图1为本发明的流程图；
34.图2为一张旋转体目标图像；
35.图3为旋转体目标标注图像；
36.图4为电涡流传感器下获得的旋转体纵向和横向的标准位移信号图；
37.图5为图4的标准轴心轨迹；
38.图6为一个特征提取模块结构图；
39.图7为目标跟踪模块结构图；
40.图8为深度学习跟踪网络训练框图；
41.图9为本发明方法与电涡流传感器下旋转体纵向和横向的标准位移信号对比图；
42.图10为本发明方法与电涡流传感器下轴心轨迹对比图。
具体实施方式
43.下面结合附图和实施例，对发明做进一步的说明，但本发明的内容并不限于所述范围。
44.实施例1：如图1-10所示，一种旋转体轴心轨迹振动位移视觉测量方法，包括：构建旋转体轴心轨迹振动位移数据集；构建不同网络深度系数下的深度学习跟踪网络；依据旋转体轴心轨迹振动位移数据集中训练集对选择的深度系数下的深度学习跟踪网络进行训练，获得最优权重参数；依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移。
45.可选地，还包括验证步骤：
46.将获得的测试集的旋转体轴心轨迹振动位移与旋转体轴心轨迹振动位移数据集中对比测试数据做对比，判断旋转体轴心轨迹振动位移是否通过测试，若测试未通过，则选择更大网络深度系数的深度学习跟踪网络重新训练，直至测试通过，获得测试通过的旋转体轴心轨迹振动位移。比如，初始设置了5种不同网络深度系数，第一次训练时，选择最小网络深度系数的深度学习跟踪网络参与训练，如果测试不通过，则逐步选择较上一次更大网络深度系数的深度学习跟踪网络进行再次训练。
47.可选地，所述构建旋转体轴心轨迹振动位移数据集，包括：
48.step1.1、利用高速工业相机采集旋转体目标图像，利用标注工具yolo-mark对旋转体目标图像中的旋转体目标信息进行标注，得到训练集；其中，标注包括：旋转体目标信息中心位置的横、纵坐标，采用长宽尺寸相同的边界框对旋转体目标信息进行标注；可以减少人工标注误差；
49.step1.2、采集step1.1同种工况下旋转体振动视频；其中振动视频作为测试集。
50.可选地，通过电涡流传感器采集电压数据；其中，旋转体振动视频及电涡流传感器采集电压数据为同步采集step1.1同种工况下的数据；其中，两个电涡流传感器分别采集的旋转体目标纵向电压数据和横向电压数据作为对比测试数据；将电涡流传感器采集的电压数据归一化处理作为标准信号。
51.可选地，所述构建不同网络深度系数下的深度学习跟踪网络，包括：
52.step2.1、搭建不同网络深度系数下的特征提取模块，构成组合特征提取模块；其中，组合特征提取模块中的每个特征提取模块均包括transformer、深度卷积、两个1
×
1卷积，第一个1
×
1卷积的输出作为transformer的输入、第二个1
×
1卷积的输入，transformer的输出作为深度卷积的输入，深度卷积的输出作为第二个1
×
1卷积的输入；
53.进一步地，所述搭建不同网络深度系数下的特征提取模块，具体为：构建4层深度相同/不同的特征提取模块。需要说明的是，深度相同特征提取模块指的是，4层特征提取模块中每层的深度均相同，如[2,2,2,2]组合所代表的深度系数为0.25，每层的深度均相同，取值为2。深度不同特征提取模块，指的是4层特征提取模块中每层的深度不完全相同，即可以部分相同，也可以完全不同。比如[2,3,3,2]组合为部分相同，[2,3,4,5]组合为完全不同。
[0054]
本发明的特征提取模块中具有高效率的深度卷积用于提取图像局部特征，具有良好性能优势的transformer提取图像全局特征；进一步地，将transformer设计在前端，深度卷积网络设计在transformer后，即获取全局信息后再接着对局部进行提炼，一方面可以最大限度地提高效率和性能之间的平衡，另一方面利用大小为3
×
3卷积核有利于更好地保持图像性质，减少训练过程特征漂移问题。再进一步地，通过控制深度系数，构建多层不同深度的特征提取模块，一方面保持灵活多变的网络深度，从而可以调整特征提取模块学习能力，即深度系数越大，学习能力越强；另外4层特征提取模块输出大小一定的特征分辨率，较好的保持旋转体目标特征；
[0055]
step2.2、搭建目标跟踪模块；其中，目标跟踪模块包含目标检测器、卡尔曼滤波器、匈牙利匹配器、交并比匹配器；
[0056]
进一步地，所述目标跟踪模块，具体为：依据组合特征提取模块提取旋转体目标特征，目标检测器将旋转体目标框选；为强化视频帧之间目标关联性，首先利用卡尔曼滤波器预测旋转体目标，接着利用匈牙利匹配器将当前视频帧通过卡尔曼滤波器预测的旋转体目标与前一视频帧通过目标检测器框选的旋转体目标相匹配；同时为防止旋转体目标相似出现匹配错误，再利用交并比匹配器过滤低分框，使得每一帧中旋转体目标都能被从一而终的跟踪；在本发明的实施例中，交并比匹配器中设置过滤低分框的阈值是0.6，即将框选的旋转体目标置信用小于阈值的进行过滤。
[0057]
step2.3、依据搭建的组合特征提取模块、目标跟踪模块构成深度学习跟踪网络；
[0058]
可选地，所述依据旋转体轴心轨迹振动位移数据集中训练集对选择的深度系数下的深度学习跟踪网络进行训练，获得最优权重参数，包括：
[0059]
step3.1、正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括深度系数、抽取图片数和迭代次数，其余超参数为默认值；
[0060]
step3.2、调用训练集和配置文件在pytorch环境下对深度学习跟踪网络进行训练；根据配置文件的超参数，选取适当的网络深度系数并依次顺序抽取训练集中的多张图
像放入深度学习跟踪网络中进行训练，对网络权重参数进行更新，达到设定迭代次数权重参数更新结束生成最优的权重参数；所述最优权重参数为训练完成时损失值最小的训练次数；其中，选取适当的网络深度系数依据设定的网络深度系数按照从小到大依次选取，其中，对于深度学习跟踪网络，深度系数越小，表示对应深度学习跟踪网络中特征提取模块的数量越少，训练速度和检测速度都会快。
[0061]
可选地，所述依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移，包括：利用获得的最优权重参数对输入到深度学习跟踪网络中的测试集进行测试；通过深度学习跟踪网络在跟踪完测试集的视频帧中每个旋转体目标后，根据第一帧目标位置回归出后续帧相对于第一帧的位置信息自动生成位移偏差信号，并将位移偏差信号做归一化处理，获得旋转体轴心轨迹振动位移信号。
[0062]
可选地，利用时间翘曲函数计算测试集的旋转体轴心轨迹振动位移与相对应的标准信号的相似度，根据相似度程度判断视觉测量旋转体轴心轨迹的振动位移是否通过测试。
[0063]
示例性地，结合实验数据给出本发明一种可选的具体实施方式如下：
[0064]
依据高速旋转体振动实验台，进行轴心轨迹振动实验，工况信息如下：实验台中旋转体的转速50r/s。
[0065]
依据本发明的方法，给出如下实施过程：
[0066]
step1.1、利用高速工业相机采集旋转体目标图像作为训练集；如附图2所示，旋转体目标图像共计300张作为训练集；其中高速工业相机为千眼狼5f01，设置曝光时间为258μs，采集帧率为2000fps，图像分辨率为512
×
512，采集时间为1s，实施例中，取采集时间内采集的前300张作为训练集；
[0067]
step1.2、同步采集step1.1同种工况下旋转体振动视频及电涡流传感器采集电压数据；其中振动视频作为测试集共计10000帧，两个电涡流传感器分别采集的旋转体目标纵向和横向电压数据作为对比测试数据；其中为保证两种传感器采样率相同，设置高速工业相机为千眼狼5f01，设置曝光时间为258μs，采集帧率为2000fps，图像分辨率为512
×
512，采集时间为5s；设置电涡流传感器采样率为2000，采样时间为5s；
[0068]
step1.3、利用标注工具yolo-mark对旋转体目标图像中的旋转体目标信息进行标注，得到训练集；其中，标注包括：旋转体目标信息中心位置的横、纵坐标，采用长宽尺寸相同的边界框对旋转体目标信息进行标注；标注时标注框均为统一大小，可以减少人工标注误差；如附图3所示标注旋转体目标信息；
[0069]
step1.4、将step1.2中电涡流传感器采集的电压数据归一化处理作为标准信号，从而方便电涡流传感器与本发明方法进行实验对比。如附图4所示为电涡流采集纵向和横向电压信号归一化处理后的标准位移信号；将图4的横向数据作为图5的横坐标，纵向数据作为图5的纵坐标，从而获得纵向和横向标准位移信号生成的轴心轨迹图，如图5所示；需要说明的是，通常非接触式传感器对于旋转体轨迹位移的测量较比接触式精度更高，而电涡流传感器属于非接触式中精度较高的一种，因此采用电涡流传感器来作对比实验能体现本发明的优势。
[0070]
step2.1、搭建不同网络深度系数下的特征提取模块，构成组合特征提取模块；其
中，组合特征提取模块中的每个特征提取模块均包括transformer、深度卷积、两个1
×
1卷积，第一个1
×
1卷积的输出作为transformer的输入、第二个1
×
1卷积的输入，transformer的输出作为深度卷积的输入，深度卷积的输出作为第二个1
×
1卷积的输入；其中，激活函数采用relu激活函数。如附图6所示为一个深度卷积和transformer组合下的特征提取模块，多个累加为组合特征提取模块；通过深度系数调整组合的深度改变特征提取模块的特征学习能力；如表1所示深度系数与网络层数之间的关系，在本实施例中选择深度系数为1。
[0071]
表1特征提取模块深度系数和组合之间的关系
[0072]
系数0.250.511.251.5组合[2,2,2,2][2,3,3,2][3,4,4,3][3,5,5,4][4,6,6,4]
[0073]
以0.25系数所代表的组合[2,2,2,2]为例进行说明，[2,2,2,2]中，第一个位置上的2表示两个特征提取模块输入图像的特征大小为512
×
512，第二个位置上的2表示二个特征提取模块输入图像的特征大小为256
×
256，第三个位置上的2表示二个特征提取模块输入图像的特征大小为128
×
128，第四个位置上的2表示两个特征提取模块输入图像的特征大小为64
×
64。
[0074]
以0.5系数所代表的组合[2,3,3,2]为例进行说明，[2,3,3,2]中，第一个位置上的2表示两个特征提取模块输入图像的特征大小为512
×
512，第二个位置上的3表示三个特征提取模块输入图像的特征大小为256
×
256，第三个位置上的3表示三个特征提取模块输入图像的特征大小为128
×
128，第四个位置上的2表示两个特征提取模块输入图像的特征大小为64
×
64。其它同理。
[0075]
本发明中通过系数来指代不同的组合，从而便于深度学习跟踪网络调用。
[0076]
step2.2、参见附图7，搭建目标跟踪模块；所述目标跟踪模块包含目标检测器、卡尔曼滤波器、匈牙利匹配器、交并比匹配器；依据组合特征提取模块提取旋转体目标特征，目标检测器将旋转体目标框选；为强化视频帧之间目标关联性，首先利用卡尔曼滤波器预测旋转体目标，接着利用匈牙利匹配器将当前视频帧通过卡尔曼滤波器预测的旋转体目标与前一视频帧通过目标检测器框选的旋转体目标相匹配；同时为防止旋转体目标相似出现匹配错误，再利用交并比匹配器过滤低分框，使得每一帧中旋转体目标都能被从一而终的跟踪；在本发明的实施例中，交并比匹配器中设置过滤低分框的阈值是0.6，即将框选的旋转体目标置信度小于阈值的进行过滤。
[0077]
step2.3、组合step2.1特征提取模块、step2.2目标跟踪模块构成深度学习跟踪网络。
[0078]
step3.1、参见附图8，正式训练之前，修改配置文件的超参数，其中配置文件的超参数主要包括深度系数、抽取图片数和迭代次数，其余超参数为默认值；在本实施例中深度系数为1、抽取图片数为10、迭代次数为2000，其余超参数均为默认值。实验设备台式机系统为ubuntu，gpu为geforce gtx 3090ti，内存为32g，cpu为intel i7；
[0079]
step3.2、调用训练集和配置文件在pytorch环境下对深度学习跟踪网络进行训练；根据配置文件的超参数，选取深度系数为0.25并依次顺序抽取训练集中的10张图像放入深度学习跟踪网络中进行训练，对网络权重参数进行更新，达到设定迭代次数2000时权重参数更新结束根据损失值选择生成最优的权重参数；
[0080]
step4.1、利用step3.2获得的最优权重参数，将step1.2中采集的振动视频输入到
深度学习跟踪网络中测试；所述深度学习跟踪网络在跟踪完视频帧中每个旋转体后，根据第一帧目标位置回归出后续帧相对于第一帧的位置信息将自动生成位移偏差信号，并将信号做归一化处理得到深度学习跟踪网络回归旋转体中心纵向和横向振动位移信号以及轴心轨迹；比如，对于第二帧来说，根据第一帧目标位置回归出第二帧相对于第一帧的位置信息将自动生成位移偏差信号，即利用第二帧的旋转体中心的横轴减去第一帧的旋转体中心的横轴作为轴心轨迹位移的第二帧的横坐标，利用第二帧的旋转体中心的纵轴减去第一帧的旋转体中心的纵轴作为轴心轨迹位移的第二帧的纵坐标，第一帧的目标位置作为轴心轨迹位移的原点。需要说明的是，目标位置是基于当前目标所在的图像坐标系下所得，对于当前目标所在的图像，以图像的左上角作为坐标原点，向右增大，向下增大构建坐标系，向右为横轴，向下为纵轴。
[0081]
step4.2、将获得的测试集的旋转体轴心轨迹振动位移与旋转体轴心轨迹振动位移数据集中对比测试数据作对比，判断旋转体轴心轨迹振动位移是否通过测试，若测试未通过，则选择更大网络深度系数的深度学习跟踪网络重新训练，直至测试通过，获得测试通过的旋转体轴心轨迹振动位移。
[0082]
参见图9、10，其中附图9、图10深度学习跟踪网络为深度系数取1时的效果图，从视觉角度进行判断，两条曲线拟合程度基本相似，因此表明测试通过。
[0083]
再进一步地，可以利用时间翘曲函数计算测试集的旋转体轴心轨迹振动位移与相对应的标准信号的相似度，根据相似度程度判断视觉测量旋转体轴心轨迹的振动位移是否通过测试。
[0084]
与现有技术相比，本发明以高速工业相机作为采集媒介，通过单个相机可以测量多个旋转体多维(横纵)数据，有效解决了现阶段单个振动传感器在测量旋转体轴心轨迹位移时受限于量程和振点数量等问题，能够减小多个传感器测量时不可避免的时间、位置误差；再者本发明方法在权衡精度和速度基础上，组合深度卷积和transformer学习旋转体特征，利用深度学习目标跟踪方法对旋转体轴心轨迹位移跟踪并输出振动位移曲线，为当前旋转体设备状态健康监测提供新思路。
[0085]
实施例2：
[0086]
根据本发明的另一方面，还提供了一种旋转体轴心轨迹振动位移视觉测量系统，包括：
[0087]
第一构建模块，用于构建旋转体轴心轨迹振动位移数据集；
[0088]
第二构建模块，用于构建不同网络深度系数下的深度学习跟踪网络；
[0089]
第一获得模块，用于依据旋转体轴心轨迹振动位移数据集中训练集对选择的深度系数下的深度学习跟踪网络进行训练，获得最优权重参数；
[0090]
第二获得模块，用于依据最优权重参数对输入至选择的深度系数下的深度学习跟踪网络的旋转体轴心轨迹振动位移数据集中的测试集进行测试，获得旋转体轴心轨迹振动位移。
[0091]
可选地，还包括验证模块，用于将获得的测试集的旋转体轴心轨迹振动位移与旋转体轴心轨迹振动位移数据集中对比测试数据作对比，判断旋转体轴心轨迹振动位移是否通过测试，若测试未通过，则选择更大网络深度系数的深度学习跟踪网络重新训练，直至测试通过，获得测试通过的旋转体轴心轨迹振动位移。
[0092]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0093]
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0094]
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。