一种基于多模态融合的筛分机姿态监测方法与流程

本发明涉及筛分设备智能监测，尤其涉及一种基于多模态融合的筛分机姿态监测方法。

背景技术：

1、随着选煤厂智能化改造和筛分设备连续稳定运行需求的不断增长，针对筛分机姿态变化、煤流偏载及支撑状态异常的多源监测技术受到广泛关注。现有筛分机状态监测方式主要依赖人工巡检、单摄像机视觉检测、振动阈值报警或空气弹簧支撑参数监测进行异常判断，但是在实际应用中普遍存在以下问题：

2、传统钢制弹簧或普通橡胶减震结构隔振能力有限，长期运行后容易出现疲劳失效、噪音增大和支撑状态不稳定问题，难以适应满负荷工况下筛分机高频振动和偏载冲击；入料煤流受给料量、含水率和物料粒径变化影响较大，容易形成局部堆积和单侧偏载，导致筛体倾斜、激振器受力异常、筛板磨损加快和筛分效率下降，而人工巡检通常只能在异常已经明显发生后进行处理，预警滞后；单摄像机视觉检测在煤尘遮挡、振动模糊和局部遮挡条件下容易发生目标丢失或角度误判，难以稳定获得筛体姿态和煤流分布信息；单一振动或温度阈值报警只能反映局部运行异常，无法区分煤流偏载、支撑异常和姿态异常之间的关联关系，导致报警结果缺少可信度校验和异常来源判断，影响筛分机姿态监测的准确性与可追溯性。

3、因此，如何提供一种基于多模态融合的筛分机姿态监测方法是本领域技术人员亟需解决的问题。

技术实现思路

1、本发明的一个目的在于提出一种基于多模态融合的筛分机姿态监测方法，本发明采用改进rt-detr网络、itransformer模型与物理一致性残差判断相结合的方法，通过第一矿用本安型摄像机和第二矿用本安型摄像机采集双视角图像数据，并融合筛分机支撑状态数据和运行监测数据，实现筛体姿态变化和煤流偏载状态的实时监测；在此基础上，通过双视角一致性约束降低单一视角遮挡和误检影响，通过煤尘遮挡退化样本增强提高复杂煤尘环境下的特征提取稳定性，并利用itransformer模型对姿态角度、煤流偏载、支撑状态和运行状态进行时序融合建模，结合物理一致性残差区分姿态异常、煤流偏载异常、支撑异常和运行监测异常，具有监测实时性强、异常识别准确、报警可信度高以及适用于选煤厂筛分机连续运行监测的优点。

2、根据本发明实施例的一种基于多模态融合的筛分机姿态监测方法，包括如下步骤：

3、s1、同步采集筛分机运行过程中的多模态运行数据，所述多模态运行数据包括由第一矿用本安型摄像机和第二矿用本安型摄像机采集的图像数据，以及筛分机支撑状态数据和运行监测数据；

4、s2、对多模态运行数据进行姿态基准化处理，生成标准化姿态监测数据集；

5、s3、将标准化姿态监测数据集中的图像数据输入改进rt-detr网络，基于双视角一致性约束和煤尘遮挡退化样本增强提取视觉姿态特征和煤流偏载特征，生成第一姿态角度、第二姿态角度和煤流偏载信息；

6、s4、对第一姿态角度、第二姿态角度和煤流偏载信息进行数据有效性判断和双机一致性校验，生成姿态数据可信度，并根据姿态数据可信度生成筛分机主姿态角度；

7、s5、将筛分机主姿态角度、煤流偏载信息、筛分机支撑状态数据和运行监测数据输入itransformer模型，进行多变量时序建模，生成筛分机姿态融合特征向量；

8、s6、基于筛分机姿态融合特征向量进行姿态趋势预测，并引入物理一致性残差判断，生成姿态异常识别结果；

9、s7、根据姿态异常识别结果生成筛分机姿态监测结果，并将筛分机姿态监测结果发送至plc或集控平台，同时存储筛分机姿态监测结果和对应的历史运行数据。

10、可选的，所述s1具体为：

11、根据筛分机的筛体可视区域和煤流通过区域，分别设置第一矿用本安型摄像机和第二矿用本安型摄像机，使第一矿用本安型摄像机和第二矿用本安型摄像机从不同方向采集筛分机运行过程中的图像数据；

12、所述图像数据包括用于表征筛体姿态变化的筛体图像数据和用于表征煤流分布变化的煤流图像数据；

13、获取筛分机支撑状态数据，所述筛分机支撑状态数据由空气弹簧压力检测信号和空气弹簧高度检测信号生成；

14、获取运行监测数据，所述运行监测数据由筛分机运行过程中的振动检测信号、温度检测信号和位移检测信号生成；

15、将图像数据、筛分机支撑状态数据和运行监测数据按照同一采集时间进行绑定，形成筛分机运行过程中的多模态运行数据。

16、可选的，所述s2具体为：

17、获取第一矿用本安型摄像机和第二矿用本安型摄像机对应的相机标定参数，所述相机标定参数由内参标定和外参标定得到，用于确定图像数据中筛分机与图像坐标之间的映射关系；

18、根据图像数据中的筛体可视区域和煤流通过区域配置姿态监测区域，所述姿态监测区域用于限定后续视觉姿态特征和煤流偏载特征的提取范围；

19、在筛分机正常运行状态下，从图像数据、筛分机支撑状态数据和运行监测数据中提取基准状态数据，所述基准状态数据包括与筛分机正常姿态对应的图像基准信息、支撑基准信息和运行基准信息；

20、以同一采集时间为对齐基准，对多模态运行数据进行时间对齐和格式统一，并将相机标定参数、姿态监测区域和基准状态数据写入对齐后的多模态运行数据，生成标准化姿态监测数据集。

21、可选的，所述s3具体为：

22、从所述标准化姿态监测数据集中读取所述图像数据，并按照采集来源将所述图像数据划分为第一图像数据和第二图像数据，所述第一图像数据为第一矿用本安型摄像机采集的图像数据，所述第二图像数据为第二矿用本安型摄像机采集的图像数据；

23、将所述第一图像数据和所述第二图像数据输入所述改进rt-detr网络，由所述改进rt-detr网络基于双视角一致性约束和煤尘遮挡退化样本增强，对所述图像数据中的筛体可视区域和煤流通过区域进行目标定位和特征提取；

24、根据所述筛体可视区域的目标定位和特征提取结果，生成所述视觉姿态特征，所述视觉姿态特征用于表征筛分机运行过程中的筛体姿态变化；

25、根据所述煤流通过区域的目标定位和特征提取结果，生成所述煤流偏载特征，所述煤流偏载特征用于表征筛分机运行过程中的煤流分布偏移；

26、基于所述第一图像数据对应的视觉姿态特征生成所述第一姿态角度，基于所述第二图像数据对应的视觉姿态特征生成所述第二姿态角度，并基于所述煤流偏载特征生成所述煤流偏载信息。

27、可选的，所述将所述第一图像数据和所述第二图像数据输入所述改进rt-detr网络，具体为：

28、将所述第一图像数据和所述第二图像数据输入所述改进rt-detr网络，得到双视角目标特征图，所述双视角目标特征图用于表征所述筛体可视区域和所述煤流通过区域在不同采集视角下的目标位置、边缘结构和区域分布；

29、所述改进rt-detr网络包括双视角输入嵌入层、共享多尺度特征提取层、双视角一致性约束解码层、退化鲁棒目标检测层和姿态煤流联合输出层；

30、所述双视角输入嵌入层用于分别接收所述第一图像数据和所述第二图像数据，并对所述第一图像数据和所述第二图像数据进行尺度归一化和位置编码，生成第一视角嵌入特征和第二视角嵌入特征；

31、所述共享多尺度特征提取层用于对所述第一视角嵌入特征和所述第二视角嵌入特征进行共享参数的多尺度特征提取，生成第一视角多尺度特征和第二视角多尺度特征；

32、所述双视角一致性约束解码层中嵌入所述双视角一致性约束，将所述第一视角多尺度特征和所述第二视角多尺度特征中的同一筛体目标、同一煤流目标进行几何对应匹配，并根据匹配结果约束目标查询向量的解码方向，生成双视角一致目标特征；

33、所述退化鲁棒目标检测层基于经所述煤尘遮挡退化样本增强后的训练样本训练得到，用于在煤尘遮挡、局部遮挡和振动模糊条件下对所述双视角一致目标特征进行目标检测，生成退化鲁棒目标检测结果；

34、所述姿态煤流联合输出层根据所述退化鲁棒目标检测结果输出所述视觉姿态特征和所述煤流偏载特征，并将所述视觉姿态特征和所述煤流偏载特征用于生成所述第一姿态角度、所述第二姿态角度和所述煤流偏载信息。

35、可选的，所述s4具体为：

36、读取所述第一姿态角度、所述第二姿态角度和所述煤流偏载信息，并根据预设角度有效范围对所述第一姿态角度和所述第二姿态角度进行数据有效性判断，所述预设角度有效范围由筛分机允许姿态变化范围确定；

37、根据所述煤流偏载信息在连续采集时间内的变化状态进行数据有效性判断，当所述煤流偏载信息存在突变、缺失或与图像数据对应关系异常时，判定所述煤流偏载信息不满足有效性要求；

38、计算所述第一姿态角度和所述第二姿态角度之间的角度偏差，并将所述角度偏差与预设双机一致性阈值进行比较，完成双机一致性校验，所述预设双机一致性阈值由第一矿用本安型摄像机和第二矿用本安型摄像机的安装位置及相机标定参数确定；

39、根据所述第一姿态角度的数据有效性判断结果、所述第二姿态角度的数据有效性判断结果、所述煤流偏载信息的数据有效性判断结果和所述双机一致性校验结果，生成所述姿态数据可信度；

40、当所述姿态数据可信度满足预设可信度阈值时，根据所述第一姿态角度和所述第二姿态角度生成所述筛分机主姿态角度；

41、当所述姿态数据可信度不满足预设可信度阈值时，保留上一采集时间对应的筛分机主姿态角度，或输出姿态数据无效状态。

42、可选的，所述s5具体为：

43、读取所述筛分机主姿态角度、所述煤流偏载信息、所述筛分机支撑状态数据和所述运行监测数据，并按照同一采集时间构建姿态时序样本，所述姿态时序样本为连续采集时间内与筛分机姿态变化相关的数据集合；

44、对所述姿态时序样本进行变量划分，得到姿态角度变量、煤流偏载变量、支撑状态变量和运行监测变量，所述姿态角度变量由所述筛分机主姿态角度生成，所述煤流偏载变量由所述煤流偏载信息生成，所述支撑状态变量由所述筛分机支撑状态数据生成，所述运行监测变量由所述运行监测数据生成；

45、将所述姿态角度变量、所述煤流偏载变量、所述支撑状态变量和所述运行监测变量转换为变量令牌序列，所述变量令牌序列用于表征不同变量在连续采集时间内的变化关系；

46、将所述变量令牌序列输入所述itransformer模型，所述itransformer模型包括倒置变量嵌入层、变量相关建模层、时序变化编码层和融合输出层；

47、通过所述倒置变量嵌入层对所述变量令牌序列进行嵌入表示，通过所述变量相关建模层学习所述姿态角度变量、所述煤流偏载变量、所述支撑状态变量和所述运行监测变量之间的关联关系，通过所述时序变化编码层提取连续采集时间内的姿态变化趋势特征，并通过所述融合输出层生成所述筛分机姿态融合特征向量。

48、可选的，所述将所述姿态角度变量、所述煤流偏载变量、所述支撑状态变量和所述运行监测变量转换为变量令牌序列，具体为：

49、按照连续采集时间对所述姿态角度变量、所述煤流偏载变量、所述支撑状态变量和所述运行监测变量进行滑动窗口划分，生成多个时间窗口变量片段；

50、对每个时间窗口变量片段进行数值归一化和缺失补齐处理，生成标准化变量片段，所述标准化变量片段用于消除不同变量量纲差异；

51、为所述姿态角度变量、所述煤流偏载变量、所述支撑状态变量和所述运行监测变量分别配置变量标识编码，所述变量标识编码用于区分不同变量来源；

52、为所述标准化变量片段配置时间位置编码，所述时间位置编码用于表征所述标准化变量片段在连续采集时间内的先后顺序；

53、将所述标准化变量片段、所述变量标识编码和所述时间位置编码进行拼接，生成与所述姿态角度变量对应的姿态角度变量令牌、与所述煤流偏载变量对应的煤流偏载变量令牌、与所述支撑状态变量对应的支撑状态变量令牌以及与所述运行监测变量对应的运行监测变量令牌；

54、按照变量来源顺序和连续采集时间顺序，对所述姿态角度变量令牌、所述煤流偏载变量令牌、所述支撑状态变量令牌和所述运行监测变量令牌进行排列，生成所述变量令牌序列。

55、可选的，所述s6具体为：

56、读取所述筛分机姿态融合特征向量，并从所述筛分机姿态融合特征向量中解析与所述筛分机主姿态角度、所述煤流偏载信息、所述筛分机支撑状态数据和所述运行监测数据对应的时序关联特征；

57、基于所述时序关联特征进行姿态趋势预测，得到姿态趋势预测结果，所述姿态趋势预测结果用于表征筛分机在后续采集时间内的姿态变化方向和姿态变化幅度；

58、根据筛分机正常运行状态下的姿态响应关系构建物理约束基准关系，所述物理约束基准关系由筛分机主姿态角度、筛分机支撑状态数据和运行监测数据之间的对应关系得到；

59、基于所述物理约束基准关系，对所述姿态趋势预测结果进行物理一致性残差判断，计算所述姿态趋势预测结果与所述物理约束基准关系之间的偏离程度，生成物理一致性残差；

60、当所述物理一致性残差未超过预设残差阈值时，根据所述姿态趋势预测结果生成姿态异常识别结果；

61、当所述物理一致性残差超过预设残差阈值时，结合所述煤流偏载信息、所述筛分机支撑状态数据和所述运行监测数据，对异常来源进行区分，生成包含姿态异常、煤流偏载异常、支撑异常或运行监测异常中至少一种类型的姿态异常识别结果。

62、可选的，所述s7具体为：

63、读取所述姿态异常识别结果，并根据所述姿态异常识别结果确定筛分机在当前采集时间对应的姿态状态、异常类型和异常等级；

64、根据所述姿态状态、所述异常类型、所述异常等级、所述筛分机主姿态角度、所述煤流偏载信息和所述姿态数据可信度，生成所述筛分机姿态监测结果；

65、当所述姿态异常识别结果表征筛分机处于正常姿态状态时，将所述筛分机姿态监测结果标记为正常监测状态；

66、当所述姿态异常识别结果表征筛分机存在异常姿态状态时，将所述筛分机姿态监测结果标记为报警监测状态，并根据所述异常类型和所述异常等级生成对应的报警信息；

67、将所述筛分机姿态监测结果按照预设通信格式发送至plc或集控平台，所述预设通信格式由plc或集控平台的数据接收规则确定；

68、将所述筛分机姿态监测结果、所述多模态运行数据、所述标准化姿态监测数据集、所述姿态异常识别结果和对应的采集时间进行关联存储，生成所述历史运行数据。

69、本发明的有益效果是：

70、本发明通过双视角图像采集、支撑状态监测和运行监测数据融合，针对筛分机在运行过程中存在的煤流偏载难以及时发现、单一视觉受煤尘遮挡影响大、姿态角度判断不稳定以及异常来源难以区分的问题，采用第一矿用本安型摄像机和第二矿用本安型摄像机同步采集图像数据，并结合筛分机支撑状态数据和运行监测数据构建多模态运行数据，实现筛分机姿态监测信息的完整获取；在视觉特征提取环节，本发明引入改进rt-detr网络，通过双视角一致性约束对同一筛体目标和同一煤流目标进行几何对应校验，并结合煤尘遮挡退化样本增强，提高煤尘遮挡、局部遮挡和振动模糊条件下视觉姿态特征和煤流偏载特征的提取稳定性；在姿态角度确定环节，通过数据有效性判断和双机一致性校验生成姿态数据可信度，并基于姿态数据可信度生成筛分机主姿态角度，减少单一视角误检造成的角度偏差；在时序融合环节，本发明采用itransformer模型对筛分机主姿态角度、煤流偏载信息、筛分机支撑状态数据和运行监测数据进行变量级时序建模，生成筛分机姿态融合特征向量，并引入物理一致性残差判断，使姿态异常识别结果同时满足数据趋势关系和筛分机实际支撑响应关系。最终实现筛分机姿态监测结果的实时输出、异常来源区分、报警推送和历史数据追溯，具有监测实时性强、识别准确率高、抗干扰能力强以及适用于选煤厂连续运行工况的优点。