基于多模态视觉风致摆动解耦的吊车动态失稳预警方法与流程

本公开涉及图像识别和处理，具体涉及一种基于多模态视觉风致摆动解耦的吊车动态失稳预警方法。

背景技术：

1、起重机广泛应用于电力施工、建筑安装和设备吊运等场景。吊装过程中，吊物通过钢丝绳柔性悬挂，在阵风、持续风及风向变化作用下容易产生横向或复合摆动；当摆幅持续增大时，可能造成吊物碰撞、载荷偏摆和作业半径变化，严重时影响整机稳定。现有吊装安全监测通常采用风速仪、力矩限制器、吊臂角度传感器及现场人员观察，并依据风速门限、额定载荷或允许工作幅度进行停机判断。上述方式能够反映环境风况或整机受载状态，但风速与吊物实际摆动还受迎风面积、绳长、载荷形状及作业姿态等因素影响，难以仅凭风速判断吊物是否进入持续失稳过程。部分系统采用惯性传感器或机器视觉测量吊物摆幅，但附加传感器存在安装、供电及通信维护要求；视觉监测又易受摄像头安装平台振动、吊臂臂端位移、目标遮挡及光照变化影响。同时，吊车回转、起升和变幅操作本身也会引起瞬态摆动，现有方法通常难以将其与风致摆动有效区分。若仅依据单时刻摆幅或固定阈值预警，容易产生操作阶段误报，或在摆幅接近安全边界时才报警，难以及时识别风致摆动持续增长形成的动态失稳风险。

技术实现思路

1、本申请的目的在于提供一种基于多模态视觉风致摆动解耦的吊车动态失稳预警方法，以解决上述背景技术中提出的问题。

2、根据本申请第一方面，提供了一种基于多模态视觉风致摆动解耦的吊车动态失稳预警方法，包括如下步骤：对摄像头采集的吊车作业视频进行稳定化处理，消除相机安装平台振动引起的画面虚假位移；在稳定化视频中分别跟踪吊臂臂端和吊物的位置，以吊物位置与臂端位置的坐标差值作为吊物相对于悬挂点的相对摆动位移；根据吊车控制器输出的各动作机构的操作信号，识别全部动作机构均处于非工作状态且持续时长不短于设定的最短窗口时长的连续时间段，将该连续时间段作为操作静默窗口；在每个所述操作静默窗口内，跳过窗口起始后的设定等待时长，从所述相对摆动位移中提取跳过后时段内的摆动幅值，作为该窗口的风致摆动幅值样本；按时间顺序排列各所述操作静默窗口对应的风致摆动幅值样本，计算相邻两个所述风致摆动幅值样本之间的幅值增长率；当连续设定次数的所述幅值增长率均大于1时，判定风致摆动处于持续增长状态并发出失稳预警。

3、优选地，所述稳定化处理包括：在摄像头视野范围内的固定刚性结构表面，采用角点检测方法提取参考特征点；在后续每一帧中，采用稀疏光流法跟踪所述参考特征点的帧间位移；以所述参考特征点在相邻两帧中的对应坐标为约束，采用随机采样一致性方法估计当前帧到前一帧的单应性矩阵；对当前帧施加所述单应性矩阵的逆变换，得到所述稳定化视频中的对应帧。

4、优选地，所述操作信号包括回转机构角速度、起升机构线速度和变幅机构角速度；当所述回转机构角速度、所述起升机构线速度和所述变幅机构角速度的绝对值同时低于各自对应的停机判定门限时，判定所述全部动作机构处于非工作状态；各所述停机判定门限基于对应动作机构空载爬行速度确定，所述空载爬行速度从吊车技术参数表中查取或在现场以最低挡位空载运行标定得到。

5、优选地，所述最短窗口时长和所述设定等待时长均设定为吊物自然摆动周期的2倍；所述自然摆动周期根据吊钩处绳索的有效悬垂长度按单摆周期关系确定，所述有效悬垂长度从吊车力矩限制器系统读取或由视觉方法根据臂端与吊钩的像素距离结合相机标定参数估算得到。

6、优选地，所述提取跳过后时段内的摆动幅值包括：对所述相对摆动位移的水平分量和竖直分量取模，得到合成摆动幅度的时间序列；在所述合成摆动幅度的时间序列中检测各峰值点；取所述各峰值点的中位数作为该窗口的所述风致摆动幅值样本。

7、优选地，所述失稳预警包括一级预警和二级预警两个级别，二级预警的优先级高于一级预警；当连续设定次数的所述幅值增长率均大于1、且当前的所述风致摆动幅值样本小于允许摆幅与第一比例系数的乘积时，发出所述一级预警；当当前的所述风致摆动幅值样本达到或超过所述允许摆幅与所述第一比例系数的乘积时，发出所述二级预警。

8、优选地，所述允许摆幅为当前工况下最大允许工作幅度与当前实际工作幅度之差乘以安全系数，所述最大允许工作幅度和所述当前实际工作幅度从吊车力矩限制器系统读取，所述安全系数取值范围为0.5至0.8。

9、优选地，当连续设定次数的所述幅值增长率均小于1、且当前的所述风致摆动幅值样本低于所述允许摆幅与第二比例系数的乘积时，解除已发出的所述一级预警或所述二级预警。

10、优选地，在取所述各峰值点的中位数之前，还包括对所述各峰值点进行标定可信度判定：计算相邻两个峰值点之间的单周期衰减率；当所述单周期衰减率小于设定衰减阈值时，将该窗口的所述风致摆动幅值样本标记为低可信度样本，在计算所述幅值增长率时降低该低可信度样本的权重。

11、本申请第二方面，还提供一种基于多模态视觉风致摆动解耦的吊车动态失稳预警系统，包括：视频稳定化模块，用于对摄像头采集的吊车作业视频进行稳定化处理，消除相机安装平台振动引起的画面虚假位移；相对摆动位移确定模块，用于在稳定化视频中分别跟踪吊臂臂端和吊物的位置，以吊物位置与臂端位置的坐标差值作为吊物相对于悬挂点的相对摆动位移；操作静默窗口识别模块，用于根据吊车控制器输出的各动作机构的操作信号，识别全部动作机构均处于非工作状态且持续时长不短于设定的最短窗口时长的连续时间段，将该连续时间段作为操作静默窗口；风致摆动幅值提取模块，用于在每个所述操作静默窗口内，跳过窗口起始后的设定等待时长，从所述相对摆动位移中提取跳过后时段内的摆动幅值，作为该窗口的风致摆动幅值样本；失稳预警模块，用于按时间顺序排列各所述操作静默窗口对应的风致摆动幅值样本，计算相邻两个所述风致摆动幅值样本之间的幅值增长率；当连续设定次数的所述幅值增长率均大于1时，判定风致摆动处于持续增长状态并发出失稳预警。

12、本申请通过对吊车作业视频进行稳定化处理，并以吊物位置与吊臂臂端位置之间的坐标差确定相对摆动位移，能够降低摄像头安装平台振动及吊臂受风变形对摆幅测量结果的影响。在此基础上，根据回转、起升和变幅机构的操作信号识别操作静默窗口，并在跳过操作结束后的残余摆动衰减时段后提取风致摆动幅值，使吊车操作引起的瞬态摆动与风持续作用形成的摆动得到有效区分。通过比较连续操作静默窗口对应的风致摆动幅值及其增长率，可在摆幅尚未达到危险限值时识别持续增长趋势，减少仅依据单次摆幅或固定风速门限判断造成的误报和预警滞后。同时，结合当前实际工作幅度、最大允许工作幅度和安全系数确定允许摆幅，并实施分级预警，使预警结果能够适应吊臂姿态和作业工况变化，为操作人员采取停止动作、落钩或降臂措施提供较为充分的处置时间。

13、应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

1.一种基于多模态视觉风致摆动解耦的吊车动态失稳预警方法，其特征在于，包括如下步骤：对摄像头采集的吊车作业视频进行稳定化处理，消除相机安装平台振动引起的画面虚假位移；在稳定化视频中分别跟踪吊臂臂端和吊物的位置，以吊物位置与臂端位置的坐标差值作为吊物相对于悬挂点的相对摆动位移；根据吊车控制器输出的各动作机构的操作信号，识别全部动作机构均处于非工作状态且持续时长不短于设定的最短窗口时长的连续时间段，将该连续时间段作为操作静默窗口；在每个所述操作静默窗口内，跳过窗口起始后的设定等待时长，从所述相对摆动位移中提取跳过后时段内的摆动幅值，作为该窗口的风致摆动幅值样本；按时间顺序排列各所述操作静默窗口对应的风致摆动幅值样本，计算相邻两个所述风致摆动幅值样本之间的幅值增长率；当连续设定次数的所述幅值增长率均大于1时，判定风致摆动处于持续增长状态并发出失稳预警。

2.根据权利要求1所述的方法，其特征在于，所述稳定化处理包括：在摄像头视野范围内的固定刚性结构表面，采用角点检测方法提取参考特征点；在后续每一帧中，采用稀疏光流法跟踪所述参考特征点的帧间位移；以所述参考特征点在相邻两帧中的对应坐标为约束，采用随机采样一致性方法估计当前帧到前一帧的单应性矩阵；对当前帧施加所述单应性矩阵的逆变换，得到所述稳定化视频中的对应帧。

3.根据权利要求1所述的方法，其特征在于，所述操作信号包括回转机构角速度、起升机构线速度和变幅机构角速度；当所述回转机构角速度、所述起升机构线速度和所述变幅机构角速度的绝对值同时低于各自对应的停机判定门限时，判定所述全部动作机构处于非工作状态；各所述停机判定门限基于对应动作机构空载爬行速度确定，所述空载爬行速度从吊车技术参数表中查取或在现场以最低挡位空载运行标定得到。

4.根据权利要求1所述的方法，其特征在于，所述最短窗口时长和所述设定等待时长均设定为吊物自然摆动周期的2倍；所述自然摆动周期根据吊钩处绳索的有效悬垂长度按单摆周期关系确定，所述有效悬垂长度从吊车力矩限制器系统读取或由视觉方法根据臂端与吊钩的像素距离结合相机标定参数估算得到。

5.根据权利要求1所述的方法，其特征在于，所述提取跳过后时段内的摆动幅值包括：对所述相对摆动位移的水平分量和竖直分量取模，得到合成摆动幅度的时间序列；在所述合成摆动幅度的时间序列中检测各峰值点；取所述各峰值点的中位数作为该窗口的所述风致摆动幅值样本。

6.根据权利要求1所述的方法，其特征在于，所述失稳预警包括一级预警和二级预警两个级别，二级预警的优先级高于一级预警；当连续设定次数的所述幅值增长率均大于1、且当前的所述风致摆动幅值样本小于允许摆幅与第一比例系数的乘积时，发出所述一级预警；当当前的所述风致摆动幅值样本达到或超过所述允许摆幅与所述第一比例系数的乘积时，发出所述二级预警。

7.根据权利要求6所述的方法，其特征在于，所述允许摆幅为当前工况下最大允许工作幅度与当前实际工作幅度之差乘以安全系数，所述最大允许工作幅度和所述当前实际工作幅度从吊车力矩限制器系统读取，所述安全系数取值范围为0.5至0.8。

8.根据权利要求6所述的方法，其特征在于，当连续设定次数的所述幅值增长率均小于1、且当前的所述风致摆动幅值样本低于所述允许摆幅与第二比例系数的乘积时，解除已发出的所述一级预警或所述二级预警。

9.根据权利要求5所述的方法，其特征在于，在取所述各峰值点的中位数之前，还包括对所述各峰值点进行标定可信度判定：计算相邻两个峰值点之间的单周期衰减率；当所述单周期衰减率小于设定衰减阈值时，将该窗口的所述风致摆动幅值样本标记为低可信度样本，在计算所述幅值增长率时降低该低可信度样本的权重。

10.一种基于多模态视觉风致摆动解耦的吊车动态失稳预警系统，其特征在于，包括：视频稳定化模块，用于对摄像头采集的吊车作业视频进行稳定化处理，消除相机安装平台振动引起的画面虚假位移；相对摆动位移确定模块，用于在稳定化视频中分别跟踪吊臂臂端和吊物的位置，以吊物位置与臂端位置的坐标差值作为吊物相对于悬挂点的相对摆动位移；操作静默窗口识别模块，用于根据吊车控制器输出的各动作机构的操作信号，识别全部动作机构均处于非工作状态且持续时长不短于设定的最短窗口时长的连续时间段，将该连续时间段作为操作静默窗口；风致摆动幅值提取模块，用于在每个所述操作静默窗口内，跳过窗口起始后的设定等待时长，从所述相对摆动位移中提取跳过后时段内的摆动幅值，作为该窗口的风致摆动幅值样本；失稳预警模块，用于按时间顺序排列各所述操作静默窗口对应的风致摆动幅值样本，计算相邻两个所述风致摆动幅值样本之间的幅值增长率；当连续设定次数的所述幅值增长率均大于1时，判定风致摆动处于持续增长状态并发出失稳预警。