基于视频AI与流媒体预缓存的岸桥双箱钩联检测方法及系统与流程

摘要: 本技术涉及港口自动化与工业安全监测,具体涉及一种基于视频ai与流媒体预缓存的岸桥双箱钩联检测方法及系统。背景技术:1、集装箱码头是全球供应链的核心枢纽,岸边集装...
基于视频AI与流媒体预缓存的岸桥双箱钩联检测方法及系统与流程

本技术涉及港口自动化与工业安全监测,具体涉及一种基于视频ai与流媒体预缓存的岸桥双箱钩联检测方法及系统。

背景技术:

1、集装箱码头是全球供应链的核心枢纽,岸边集装箱起重机(简称“岸桥”)作为船岸交互的关键设备,其作业效率与安全性直接关系到港口的运营绩效。在岸桥的高强度作业循环中,“双箱钩联”,即在起吊目标集装箱时,下层集装箱意外未分离而被一同提起的现象,是业界公认的重大安全隐患。

2、现阶段,造成双箱钩联的主要原因有:旋锁与连接件故障、结构性粘连、环境因素等。若未能及时检测出双箱钩联,将引发严重后果,如超载与结构损伤、高空坠物风险等。目前,针对双箱钩联的检测技术主要分为接触式传感、重量监测和传统视觉监测三类,均存在明显的技术瓶颈。虽然近年来计算机视觉在港口得到应用,但在动态安全监测方面仍面临挑战,如高延迟、误报率高、标定困难等。

3、综上所述,行业迫切需要一种无需硬件改造、低延迟、高鲁棒性的智能检测方案。

技术实现思路

1、为解决上述问题,本发明提供一种基于视频ai与流媒体预缓存的岸桥双箱钩联检测方法及系统,解决现有技术中传感器易损、改造困难及响应滞后的问题。

2、第一方面,本发明就技术方案提供一种基于视频ai与流媒体预缓存的岸桥双箱钩联检测方法,包括以下步骤:

3、s1、建立原始视频数据的环形内存缓冲区;在非作业状态下,对所述缓冲区的数据进行背景运动监测;当接收到起吊信号或监测到预设的垂直起吊运动时,触发从所述缓冲区提取并解码触发时刻及其前序时刻的原始视频数据,得到连续图像帧序列;

4、s2、基于所述连续图像帧序列,依据消失点原理在线建立图像像素与物理空间坐标的映射关系;

5、s3、基于所述连续图像帧序列,识别并跟踪吊具与集装箱,为每个被跟踪目标持续计算其垂直运动速度;通过比较目标间的垂直运动速度;将垂直运动速度一致的吊具-集装箱对或相邻集装箱对,标记为疑似粘连目标对;

6、s4、针对所述疑似粘连目标对,执行以下至少一种验证:

7、(a) 基于s2的映射关系,计算目标对之间的垂直物理间隙进行判定;

8、(b) 对目标对之间的区域进行像素级语义分割和/或提取追踪局部特征点运动,根据分割形态连续性或特征点运动一致性进行判定;

9、s5、仅当s4验证确认的粘连状态在连续多帧中持续存在时,判定为双箱钩联异常,并输出停机控制信号。

10、在非作业状态下仅进行低频背景监测,仅在接收到起吊信号或检测到垂直起吊运动时才触发从环形缓冲区提取历史数据进行全速解码与分析,消除了传统全时解码方案的计算资源浪费和网络握手延迟,提升了系统的实时响应能力。

11、通过基于消失点原理在线建立图像像素与物理空间坐标的映射关系,无需任何人工标定靶标或现场测量,利用集装箱本身的结构特征即可自动完成相机参数解算与空间映射,解决了岸桥监控相机因振动、变焦、安装角度不规范导致的几何测量误差问题。

12、以高效的运动分析快速定位潜在粘连目标,继而通过物理间隙测量、语义分割形态分析、局部特征点运动追踪等多种独立且互补的验证手段进行精确确认,再结合连续多帧时序滤波策略,在保证检测灵敏度的同时,将因遮挡、光影变化、瞬时干扰导致的误报率降至低水平。

13、作为本发明技术方案的优选,s1中,在非作业状态下进行背景运动监测,是通过一独立的背景监测线程执行如下步骤:

14、s1a、从环形内存缓冲区中,按固定时间间隔抽取原始视频数据并进行解码,获得抽样关键帧图像;

15、s1b、对连续的抽样关键帧图像进行处理,计算画面中的全局运动矢量;

16、s1c、判断所述全局运动矢量是否在垂直方向的分量超过预设阈值;若是,则判定为监测到预设的垂直起吊运动;

17、其中,计算画面中的全局运动矢量的步骤包括:计算连续抽样关键帧之间的稠密光流场,并对光流场进行统计,得到平均运动矢量,即全局运动矢量;或计算连续抽样关键帧的帧间差分,通过识别差分区域的重心移动来计算主导运动方向与速度,得到全局运动矢量。

18、避免因非垂直运动触发误解码,确保流媒体预缓存模块仅在真正的起吊作业阶段启动全速解码,进一步优化系统资源分配。

19、作为本发明技术方案的优选,s1中,触发从所述缓冲区提取并解码触发时刻及其前序时刻的原始视频数据,得到连续图像帧序列的步骤包括:

20、响应于触发信号,确定环形内存缓冲区中与触发时刻对应的最新数据包写入位置,并将该位置定义为解码起始点;同时,根据预设的前序时刻时长,向前计算并锁定一段连续的历史数据包存储区域;

21、从锁定的历史数据包存储区域的起始点开始,启动解码器对所述原始视频数据进行全速、连续解码,并按解码顺序输出图像帧,形成所述连续图像帧序列;

22、所述触发信号包括:来自可编程逻辑控制器的数字量起升信号,或来自背景监测线程的、指示检测到垂直起吊运动的中断信号。

23、通过定位缓冲区最新数据包位置与锁定历史数据包区域的解码启动方式,确保系统能完整提取起吊时刻及前序时段的视频数据,实现对起吊瞬间集装箱分离状态的全流程分析,弥补了传统检测技术无法捕捉起吊初期异常的技术短板;明确了plc数字量起升信号、背景监测线程中断信号两种触发方式,实现被动触发与主动触发的双重保障,即使plc信号传输出现短暂异常,系统也能通过视觉监测主动识别起吊运动并触发分析,避免检测漏判,提升了检测方法的可靠性与环境适应性,确保在各类作业场景下均能实现起吊异常的及时捕捉。

24、作为本发明技术方案的优选,s2的步骤包括:

25、s21、从所述连续图像帧序列的至少一帧中,检测并提取代表集装箱三维空间结构的直线段集合;

26、s22、从所述直线段集合中,筛选出在三维空间中相互垂直的方向上的直线组,并基于透视投影模型,分别估算对应于正交方向的消失点在图像中的坐标;

27、s23、利用消失点坐标之间的几何约束关系,解算相机的内部参数,并结合已知的集装箱标准尺寸,计算图像像素单位与实际物理尺寸单位之间的比例关系,从而建立从图像像素坐标到物理空间坐标的映射关系。

28、利用集装箱自身的三维结构特征完成相机在线自标定,无需人工参与标定过程,解决了岸桥相机因变焦、抖动、安装角度不规范导致的几何测量误差问题;同时结合已知的集装箱标准尺寸,将图像像素间距转化为实际物理距离,为后续垂直间隙计算提供了量化、精准的物理判定依据,替代了传统视觉检测中不稳定的像素阈值判定,大幅提升了间隙检测的准确性与一致性。

29、作为本发明技术方案的优选,s3的步骤包括:

30、s31、对于所述连续图像帧序列中的每一帧图像,使用经训练的深度学习目标检测模型进行推理,输出包含吊具与集装箱的旋转边界框及其类别置信度;

31、s32、将当前帧检测到的旋转边界框与已有目标轨迹进行关联匹配,为每个被持续跟踪的目标分配并维护一个唯一的身份id,并记录其在不同帧中的位置序列;

32、s33、在目标跟踪过程中,基于目标的位置序列持续计算并更新每个目标id的垂直运动速度;

33、s34、在每一帧中,遍历所有目标id,根据目标间的空间位置关系确定存在潜在粘连风险的目标对,并直接比较这些目标对所对应的、已计算好的垂直运动速度;若某目标对的两个垂直运动速度之差的绝对值小于预设的速度一致性阈值,则将该目标对标记为当前帧的疑似粘连目标对。

34、通过使用旋转边界框的深度学习目标检测模型,紧密贴合岸桥作业中摇摆、扭转的集装箱与吊具边缘,避免背景像素干扰,提升目标识别的精准度;通过空间位置关系筛选潜在风险目标对与速度差值阈值判定的初筛逻辑,仅对速度一致的目标对进行后续深度验证,大幅减少后续验证环节的计算量,提升系统整体检测效率。

35、作为本发明技术方案的优选,s4中,基于s2的映射关系,计算目标对之间的垂直物理间隙进行判定的步骤包括:

36、s4a1、对于所述疑似粘连目标对中的两个目标,根据其旋转边界框的几何参数,分别确定每个目标在彼此相邻侧的边缘特征点;对于吊具-集装箱对,选取吊具旋转边界框的底部边缘中点和下方集装箱旋转边界框的顶部边缘中点;对于相邻集装箱对,选取上方集装箱旋转边界框的底部边缘中点和下方集装箱旋转边界框的顶部边缘中点;

37、s4a2、利用s2建立的从图像像素坐标到物理空间坐标的映射关系,将所述选取的两个边缘特征点的图像像素坐标,分别转换到统一的物理世界坐标系中,得到它们的三维物理坐标;

38、s4a3、在物理世界坐标系中,计算两个特征点在垂直方向上的距离,得到所述目标对之间的垂直物理间隙;

39、s4a4、若垂直物理间隙小于预设的物理间隙阈值,且根据s3计算得到的目标对之间的相对垂直速度的绝对值小于预设的速度阈值,则判定该目标对处于物理接触的粘连状态。

40、通过通过垂直物理间隙阈值与相对垂直速度阈值的双重判定,精准识别目标对的物理接触状态,能有效区分视觉上靠近但实际未接触与真正物理粘连的场景,降低因视觉透视效果导致的误判,提升粘连状态判定的准确性。

41、作为本发明技术方案的优选,s4中,对目标对之间的区域进行像素级语义分割,根据分割形态连续性进行判定的步骤包括:

42、s4b1、根据所述疑似粘连目标对的两个旋转边界框,定义并裁剪出包含两者相邻边缘区域的图像块;

43、s4b2、将所述图像块输入经训练的像素级语义分割模型,获得前景目标二值掩膜;前景目标包括集装箱/吊具;

44、s4b3、分析所述二值掩膜在两个目标相邻区域的形态连通性,若呈现连接两者的连续桥接形态,则判定为支持粘连。

45、通过裁剪疑似目标对相邻区域图像块的方式,将语义分割模型的分析范围聚焦于粘连风险区域,减少背景干扰,提升分割效率与精准度;利用前景目标二值掩膜对目标轮廓进行像素级提取,能清晰呈现两个目标相邻区域的连接状态;通过分析掩膜的连续桥接形态判定粘连状态,从视觉轮廓的角度实现对双箱刚性连接状态的精准识别,能有效捕捉集装箱堆叠腰部特征等粘连视觉特征,与物理间隙判定形成互补,提升粘连判定的全面性与准确性。

46、作为本发明技术方案的优选,s4b3的步骤包括:

47、s4b3a、对所述前景目标二值掩膜进行连通域标记,识别出其中所有相互连通的前景像素区域;

48、s4b3b、将所述疑似粘连目标对的两个旋转边界框在所述图像块内的对应区域,映射到所述二值掩膜上,分别定义为第一目标区域与第二目标区域;

49、s4b3c、检查所述第一目标区域与第二目标区域内的前景像素是否属于同一个连通域;若属于同一个连通域,则判定为所述二值掩膜呈现连接两者的连续桥接形态,支持粘连状态;计算连接所述第一目标区域与第二目标区域的桥接部分的最小宽度;若所述最小宽度小于预设的桥接宽度阈值,则即使属于同一连通域,也判定为不支持粘连。

50、通过连通域标记与目标区域映射的方式,实现对掩膜桥接形态的量化分析,替代了人工视觉判断的模糊性,让粘连判定更具标准化与客观性;通过引入桥接宽度阈值,能有效区分真正的刚性粘连与因图像噪点、轻微遮挡导致的虚假桥接,即使两个目标区域的前景像素属于同一连通域,若桥接部分过窄,也判定为非粘连,进一步过滤语义分割环节的误判,提升了基于语义分割的粘连判定的精准度与鲁棒性。

51、作为本发明技术方案的优选,s4中,对目标对之间的区域提取追踪局部特征点运动,根据特征点运动一致性进行判定的步骤包括:

52、s4b4、在所述疑似粘连目标对的相邻边缘区域,从当前帧图像中提取一组局部特征点;

53、s4b5、在后续帧的对应区域追踪所述特征点的位置,并计算其在垂直方向上的相对位移;

54、s4b6、计算所有相对位移的平均值和标准差;若所述平均值的绝对值小于预设的平均位移阈值,且所述标准差小于预设的离散度阈值,则判定为运动一致,支持粘连状态。

55、该判定方式能有效区分背景中静止的集装箱与被带起的粘连集装箱,弥补了物理间隙、语义分割判定的不足,从运动特征的角度实现对双箱钩联的深度验证,进一步提升整体检测方法的精准度,有效过滤各类背景干扰导致的误报。

56、第二方面,本发明技术方案提供一种基于视频ai与流媒体预缓存的岸桥双箱钩联检测系统,包括:

57、前端采集单元,安装于岸桥小车架上,用于采集包含吊具与集装箱的原始视频数据;

58、流媒体处理与智能分析单元,部署于岸桥电气房内,与所述前端采集单元通信连接,其包括:

59、流媒体预缓存与触发模块,被配置为:建立原始视频数据的环形内存缓冲区;在非作业状态下对所述缓冲区的数据进行背景运动监测;当接收到起吊信号或监测到预设的垂直起吊运动时,触发从所述缓冲区提取并解码触发时刻及其前序时刻的原始视频数据,得到连续图像帧序列;

60、在线视觉标定模块,被配置为:基于所述连续图像帧序列,依据消失点原理在线建立图像像素与物理空间坐标的映射关系;

61、动态目标分析与初筛模块,被配置为:基于所述连续图像帧序列,识别并跟踪吊具与集装箱,计算其垂直运动速度;将垂直运动速度一致的吊具-集装箱对或相邻集装箱对,标记为疑似粘连目标对;

62、多模态粘连验证模块,被配置为:针对所述疑似粘连目标对,执行以下至少一种验证:(a)基于所述映射关系计算目标对之间的垂直物理间隙进行判定;(b)对目标对之间的区域进行像素级语义分割和/或提取追踪局部特征点运动,根据分割形态连续性或特征点运动一致性进行判定;

63、时序决策与报警输出模块,被配置为:仅当验证确认的粘连状态在连续多帧中持续存在时,判定为双箱钩联异常,并生成停机控制信号;

64、通信接口单元,与所述流媒体处理与智能分析单元及岸桥的可编程逻辑控制器通信连接,用于接收起吊状态信号并向所述可编程逻辑控制器发送所述停机控制信号。

65、从以上技术方案可以看出,本技术具有以下优点:(1)能在集装箱刚离地甚至起升初期识别异常并制动,有效防止了事故扩大化,避免了钢丝绳断裂或集装箱高空坠落的风险。

66、(2)方案无需在岸桥前段安装任何传感器或线缆,实现非侵入式改造,仅需在电气房部署一台工控机并接入现有网络。单台岸桥改造时间从数天缩短至数小时,且无需停产施工,降低港口设备改造成本与运维难度。有效解决了现有接触式传感、重量监测技术响应滞后、轻量级粘连无法识别、传感器易损的技术缺陷,提升岸桥起吊作业的本质安全性。

67、(3)视觉系统采用非接触式测量,避免了在吊具上安装传感器,从而消除了因高频振动和冲击导致的传感器频繁损坏问题。相机自标定技术使得系统在相机轻微移位或变焦后能自动恢复精度,减少了运维人员的标定工作量。

68、(4)通过流媒体预缓存的触发式解码机制,摒弃了传统全时解码的资源浪费与延迟问题,实现起吊瞬间视频数据的零延迟调取与分析;依托消失点原理的在线坐标映射,无需人工标定相机参数,解决了岸桥相机视角多变、畸变带来的测量误差问题;仅在连续多帧确认异常时输出停机信号,实现了岸桥起吊作业中双箱钩联异常的毫秒级实时检测与预警,避免了瞬时干扰导致的误停机,保障港口作业效率。