一种基于光流异常检测的卷扬乱绳视觉检测方法及系统与流程

本发明属于起重机安全监测，尤其涉及一种基于光流异常检测的卷扬乱绳视觉检测方法及系统。

背景技术：

1、卷扬系统是起重机的核心执行部件，其钢丝绳在卷筒上的有序缠绕状态直接决定设备运行安全与作业效率。目前，行业内对卷扬状态的监控普遍依赖人工通过后视镜或电子屏幕进行目视观察。该方式效率低下，且过度依赖操作人员的注意力与经验，难以满足现代化施工对连续、实时、智能化安全监测的需求。

2、为替代人工监控，现有技术已提出多种自动化检测方案。专利cn105438983a公开了一种工程机械及其卷扬乱绳监测装置和方法，通过获取卷扬起吊重量和卷筒旋转信息，计算钢丝绳拉力与速度，并辅以摄像头采集图像进行钢丝绳平行度分析，当拉力或角度超出阈值时触发报警。专利cn112634592a公开了结合摄像头的识别卷扬乱绳的方法及装置，采用目标检测网络定位卷绳区域，再通过分类网络对区域图像进行正常或乱绳状态识别，并结合多帧统计结果进行分级预警。专利cn114057106a公开了一种双卷扬乱绳识别方法、装置和计算机可读存储介质，基于主、副卷扬编码器采样差值的偏移程度来判断是否发生乱绳及乱绳类型。

3、然而，上述现有技术均存在检测滞后性这一根本缺陷。它们本质上都是对已发生的乱绳进行事后识别或判断，当系统触发报警时，钢丝绳往往已发生挤压变形，造成不可逆的损伤。更重要的是，导致乱绳的根源性先兆事件，即钢丝绳在绳槽间发生的毫秒级跳绳或跳槽瞬态过程，现有方案无法有效捕捉。此外，乱绳属于小概率事件，正样本匮乏导致基于深度学习的分类模型泛化能力差，难以实现从事后报警到事前主动防御的技术跨越。

技术实现思路

1、发明目的：本发明的目的是提供一种基于光流异常检测的卷扬乱绳视觉检测方法及系统，旨在通过光流异常检测技术实时捕捉卷扬钢丝绳跳绳或跳槽这一导致乱绳的根源性瞬态先兆事件，缓解现有技术仅能事后识别已发生乱绳所导致的检测滞后性、无法捕捉毫秒级瞬态异常以及小概率故障样本匮乏的问题，实现卷扬乱绳的主动式事前预警。

2、技术方案：本发明所述的基于光流异常检测的卷扬乱绳视觉检测方法，包括以下步骤：

3、获取包含卷筒及钢丝绳的连续卷扬视频帧以及与所述卷扬视频帧对应的上车can报文，从所述上车can报文中获取卷扬速度和载荷；

4、对所述卷扬视频帧进行前景与背景分割，获得包含卷筒和钢丝绳像素位置信息的分割掩码，并基于所述分割掩码确定卷筒区域和钢丝绳牵引区域，对所述钢丝绳牵引区域进行形态学处理，获得钢丝绳方向向量和中心位置，并根据所述中心位置的帧间变化确定波动等级；

5、利用所述分割掩码中与钢丝绳对应的掩码区域对相应的卷扬视频帧进行掩膜处理，提取保留钢丝绳原始像素信息的钢丝绳前景图像区域，采用farneback稠密光流算法计算所述钢丝绳前景图像区域内各像素点的瞬时光流矢量，由各像素点的所述瞬时光流矢量构成稠密光流场，并以所述钢丝绳方向向量为动态基准，将各像素点的所述瞬时光流矢量分解为沿绳方向的纵向收放速度分量和垂直于绳方向的横向跳动速度分量；

6、按照所述卷扬速度和所述载荷划分工况区间，将每一工况区间内钢丝绳未发生跳绳或跳槽、卷筒表面未出现乱绳且未出现异常横向跳动时采集的横向跳动速度分量及其短时横向加速度作为阈值基准数据；对所述阈值基准数据进行在线统计，采用指数移动平均和滑动标准差，动态生成横向速度阈值和横向加速度阈值；将当前检测得到的横向跳动速度分量和短时横向加速度分别与所述横向速度阈值和所述横向加速度阈值进行比较，当所述横向跳动速度分量超过所述横向速度阈值并持续预设帧数，或者所述短时横向加速度超过所述横向加速度阈值时，确定发生跳绳或跳槽先兆事件；

7、将所述纵向收放速度分量的全局平均值与所述上车can报文解析得到的绳速进行一致性校验，并根据所述波动等级调节所述横向速度阈值和所述横向加速度阈值的灵敏度；根据所述横向跳动速度分量生成与所述卷筒区域空间对齐的横向跳动速度热力图，将所述卷筒区域的彩色图像与所述横向跳动速度热力图堆叠为多通道输入数据，并将所述多通道输入数据输入无监督异常检测模型，获得卷筒表面异常得分，其中，所述无监督异常检测模型仅利用钢丝绳未发生跳绳或跳槽且卷筒表面未出现乱绳时采集的所述多通道输入数据进行训练；

8、融合所述波动等级、所述跳绳或跳槽先兆事件、所述一致性校验的结果及所述卷筒表面异常得分，确定正常状态、注意状态和报警状态中的一种，并输出对应的显示信息和报警信息。

9、优选的，所述对所述钢丝绳牵引区域进行形态学处理，获得钢丝绳方向向量和中心位置包括：

10、对所述分割掩码中对应钢丝绳牵引区域的掩码部分进行腐蚀操作以去除噪点，然后进行骨架提取，获得钢丝绳中心线；

11、对所述钢丝绳中心线所构成的区域计算最小外接矩形，根据所述最小外接矩形的长轴方向确定所述钢丝绳方向向量，根据所述最小外接矩形的中心点确定所述钢丝绳中心位置；

12、计算所述钢丝绳中心线的曲率或折线角度变化，当所述曲率变化超过预设曲率阈值时，或当所述折线角度变化超过预设角度阈值时，输出跳绳倾向预警信号。

13、优选的，将所述瞬时光流矢量记为v，并按照如下公式将各像素点的所述瞬时光流矢量分解为沿绳方向的纵向收放速度分量和垂直于绳方向的横向跳动速度分量：

14、

15、

16、其中，为沿所述钢丝绳方向向量的单位向量， 为垂直于所述钢丝绳方向向量的单位向量，为所述纵向收放速度分量，为所述横向跳动速度分量。

17、优选的，将各像素点的所述瞬时光流矢量分解为沿绳方向的纵向收放速度分量和垂直于绳方向的横向跳动速度分量之后，还包括：

18、根据所述横向跳动速度分量的幅值生成与所述卷筒区域空间对齐的横向跳动速度热力图，并输出至显示设备；

19、所述横向跳动速度热力图中每一像素的灰度值或颜色值表征该位置处的横向跳动速度幅值大小。

20、优选的，所述对所述阈值基准数据进行在线统计，采用指数移动平均和滑动标准差，动态生成横向速度阈值和横向加速度阈值包括：

21、按如下公式计算所述横向速度阈值和所述横向加速度阈值：

22、

23、

24、其中，为横向速度阈值，为横向加速度阈值，为所述阈值基准数据中横向跳动速度分量的指数移动平均值，为所述阈值基准数据中横向跳动速度分量的滑动标准差，为所述阈值基准数据中短时横向加速度的指数移动平均值，为所述阈值基准数据中短时横向加速度的滑动标准差，和为根据预设安全策略调整的安全系数。

25、优选的，所述将所述纵向收放速度分量的全局平均值与所述上车can报文解析得到的绳速进行一致性校验包括：

26、计算所述钢丝绳前景图像区域内所有像素点的纵向收放速度分量的平均值，得到全局平均纵向速度；获取所述上车can报文解析得到的卷扬绳速 ；当满足时，判定一致性校验不通过，触发传感器或报文异常预警；其中，为根据所述卷扬绳速的量级自适应调整的预设容许偏差。

27、优选的，所述根据所述波动等级调节所述横向速度阈值和所述横向加速度阈值的灵敏度包括：

28、将相邻卷扬视频帧中所述钢丝绳中心位置之间的距离确定为中心位置帧间变化量；

29、设置第一波动阈值和大于所述第一波动阈值的第二波动阈值，当所述中心位置帧间变化量不大于所述第一波动阈值时，确定所述波动等级为基准波动状态；当所述中心位置帧间变化量大于所述第一波动阈值且不大于所述第二波动阈值时，确定所述波动等级为一级波动状态；当所述中心位置帧间变化量大于所述第二波动阈值时，确定所述波动等级为二级波动状态；

30、分别为所述基准波动状态、所述一级波动状态和所述二级波动状态设置对应的安全系数k1和k2，其中，所述一级波动状态和所述二级波动状态对应的安全系数k1均小于所述基准波动状态对应的安全系数k1，所述一级波动状态和所述二级波动状态对应的安全系数k2均小于所述基准波动状态对应的安全系数k2；

31、根据所确定的波动等级选取对应的安全系数k1和k2，并将选取的安全系数k1和k2分别用于计算所述横向速度阈值和所述横向加速度阈值。

32、优选的，所述无监督异常检测模型包括efficientnet-b5特征提取网络和高斯混合模型；所述将所述多通道输入数据输入无监督异常检测模型，获得卷筒表面异常得分包括：

33、将所述多通道输入数据输入所述efficientnet-b5特征提取网络，提取多尺度特征向量；将所述多尺度特征向量输入所述高斯混合模型，计算所述多尺度特征向量对应于所述高斯混合模型所表征的特征分布的马氏距离或负对数似然概率，将所述马氏距离或负对数似然概率作为所述卷筒表面异常得分；将所述异常得分与动态阈值进行比较，所述动态阈值根据所述无监督异常检测模型在训练样本上输出的异常得分的极值分布按照预设分位数在线确定。

34、优选的，所述融合所述波动等级、所述跳绳或跳槽先兆事件、所述一致性校验的结果及所述卷筒表面异常得分，确定正常状态、注意状态和报警状态中的一种包括：

35、从所述上车can报文中获取卷扬运动方向，根据所述卷扬运动方向确定卷筒速度方向；以所述横向跳动速度分量的方差或峰值表征横向跳动强度，获取光流主方向与所述卷筒速度方向的夹角、所述最小外接矩形的倾角帧间变化量和所述卷筒表面异常得分；分别为所述横向跳动强度、所述夹角、所述倾角帧间变化量和所述卷筒表面异常得分设置第一融合阈值和高于所述第一融合阈值的第二融合阈值；当各判断项均低于对应的第一融合阈值时输出所述正常状态，当不存在达到对应第二融合阈值的判断项且任一判断项达到对应的第一融合阈值时输出所述注意状态，当任一判断项达到对应的第二融合阈值时输出所述报警状态。

36、本发明所述的基于光流异常检测的卷扬乱绳视觉检测系统，包括：

37、图像获取模块，用于获取包含卷筒及钢丝绳的连续卷扬视频帧以及与所述卷扬视频帧对应的上车can报文，从所述上车can报文中获取卷扬速度和载荷；

38、分割与形态学分析模块，用于对所述卷扬视频帧进行前景与背景分割，获得包含卷筒和钢丝绳像素位置信息的分割掩码，并基于所述分割掩码确定卷筒区域和钢丝绳牵引区域，对所述钢丝绳牵引区域进行形态学处理，获得钢丝绳方向向量和中心位置，并根据所述中心位置的帧间变化确定波动等级；

39、光流分析模块，用于利用所述分割掩码中与钢丝绳对应的掩码区域对相应的卷扬视频帧进行掩膜处理，提取保留钢丝绳原始像素信息的钢丝绳前景图像区域，采用farneback稠密光流算法计算所述钢丝绳前景图像区域内各像素点的瞬时光流矢量，由各像素点的所述瞬时光流矢量构成稠密光流场，并以所述钢丝绳方向向量为动态基准，将各像素点的所述瞬时光流矢量分解为沿绳方向的纵向收放速度分量和垂直于绳方向的横向跳动速度分量；

40、自适应阈值生成模块，用于按照所述卷扬速度和所述载荷划分工况区间，将每一工况区间内钢丝绳未发生跳绳或跳槽、卷筒表面未出现乱绳且未出现异常横向跳动时采集的横向跳动速度分量及其短时横向加速度作为阈值基准数据；对所述阈值基准数据进行在线统计，采用指数移动平均和滑动标准差，动态生成横向速度阈值和横向加速度阈值；将当前检测得到的横向跳动速度分量和短时横向加速度分别与所述横向速度阈值和所述横向加速度阈值进行比较，当所述横向跳动速度分量超过所述横向速度阈值并持续预设帧数，或者所述短时横向加速度超过所述横向加速度阈值时，确定发生跳绳或跳槽先兆事件；

41、无监督异常检测模块，用于将所述纵向收放速度分量的全局平均值与所述上车can报文解析得到的绳速进行一致性校验，并根据所述波动等级调节所述横向速度阈值和所述横向加速度阈值的灵敏度；根据所述横向跳动速度分量生成与所述卷筒区域空间对齐的横向跳动速度热力图，将所述卷筒区域的彩色图像与所述横向跳动速度热力图堆叠为多通道输入数据，并将所述多通道输入数据输入无监督异常检测模型，获得卷筒表面异常得分，其中，所述无监督异常检测模型仅利用钢丝绳未发生跳绳或跳槽且卷筒表面未出现乱绳时采集的所述多通道输入数据进行训练；

42、综合决策输出模块，用于融合所述波动等级、所述跳绳或跳槽先兆事件、所述一致性校验的结果及所述卷筒表面异常得分，确定正常状态、注意状态和报警状态中的一种，并输出对应的显示信息和报警信息。

43、有益效果：与现有技术相比，本发明具有如下显著优点：1、本发明将监测重点下沉至导致乱绳的跳绳或跳槽根源性事件，通过光流技术量化钢丝绳毫秒级的横向异常跳动，有效缓解了传统事后检测的滞后性及小概率故障样本匮乏的问题，实现卷扬作业的主动式事前风险防控；2、依托can报文中的速度与载荷信息精细划分工况区间，采用在线统计方法动态生成横向速度与加速度阈值，避免固定阈值在多变工况下的适配性不足，有效提升了异常判定对复杂作业环境的自适应性；3、将视觉解算的绳速与can报文进行一致性校验以排除传感器干扰，并结合波动等级调节阈值灵敏度，构建正常、注意、报警三级递进式预警策略，为运维人员提供了精准且层次化的风险评估依据；4、仅利用正常工况下的数据训练无监督异常检测模型，无需依赖大量稀有的乱绳故障样本，有效缓解了故障数据匮乏问题，同时使系统对卷扬不同机型与复杂工况具备良好的泛化能力。