集装箱吊装异常行为识别及动态安全预警方法与系统

本发明属于港口智能安全监测，涉及集装箱吊装异常行为识别及动态安全预警方法与系统，具体涉及一种基于作业状态约束与多源行为融合的集装箱吊装异常行为识别及动态安全预警方法及系统。

背景技术：

1、目前，港口作业安全监测主要采用人工巡检、视频监控以及固定区域安全检测等方式。人工巡检方式依赖工作人员经验，存在监测范围有限、实时性不足以及容易受到环境因素影响的问题。

2、为解决上述问题，中国发明专利cn120308843a提出了一种基于解析法的门式与门座起重机防碰撞系统。该系统利用大车编码器、小车编码器等绝对值编码器结合rfid置位装置获取起重机在轨道上的位置信息，并通过回转角度传感器和变幅角度传感器实时采集起重机的姿态数据，传感器数据经plc通信模块传输后，由碰撞检测和预警控制模块生成实时坐标数据并评估碰撞风险，进而输出预警信号至控制系统，实现防碰撞功能。然而，该专利主要侧重于起重机设备本体位置监测与机间防碰撞预警，未能充分考虑作业区域内人员、车辆与吊装设备之间的动态交互关系，也缺乏对吊装作业不同阶段风险差异的量化分析，难以实现对人员异常进入危险区域等行为的精准识别与提前预警。在堆场作业安全方面，中国发明专利cn120297722a提出了一种基于bert-bilstm-crf的自动化集装箱码头异常与风险分析方法。该方法通过构建bert-bilstm-crf深度学习模型，对码头作业相关文本数据进行实体识别与关系抽取，并将抽取结果整理为实体-关系三元组，实现对集装箱码头作业过程中潜在异常与风险的自动识别与分析。然而，该专利主要关注基于文本数据的作业风险识别，未涉及多源数据融合的异常行为识别方法，特别是在结合吊装作业阶段变化对人员与设备交互风险进行动态评估方面仍有待完善。

3、综上所述，如何提供一种基于作业状态约束与多源行为融合的集装箱吊装异常行为识别及动态安全预警方法与系统，能够融合多源作业信息、结合吊装作业状态变化和多主体动态交互关系，对潜在危险行为进行准确判断和提前预警，也成为了亟待解决的技术问题。

技术实现思路

1、为了在解决现有技术在集装箱吊装作业安全监测中存在的不足，特别是在固定危险区域模型不能适应动态作业环境、单一数据源分析导致信息不足、缺少作业阶段约束的行为判断以及无法实现主动预测等方面的问题。本发明提供集装箱吊装异常行为识别及动态安全预警方法与系统，具体是一种基于作业状态约束与多源行为融合的集装箱吊装异常行为识别及动态安全预警方法与系统，能够识别复杂作业环境下的异常行为，实现安全风险的动态评估与提前预警，从而提高港口作业安全智能化水平。

2、为了实现上述目的，本发明采用的技术方案为：

3、集装箱吊装异常行为识别及动态安全预警方法，包括以下步骤：

4、第一步，采集多源作业数据，包括视频数据、设备运行数据和作业任务数据；具体的：

5、步骤1.1，采集视频数据，包括rgb图像、深度图像或多摄像机融合数据中的一种或多种，用于获取作业区域内人员、集卡以及吊装设备的位置坐标、运动轨迹和行为状态。

6、步骤1.2，采集设备运行数据，包括吊具高度、起升速度、水平移动速度、吊具负载状态以及设备运行状态参数。

7、步骤1.3，采集作业任务数据，包括当前吊装任务类型、目标位置以及作业阶段信息。

8、第二步，基于第一步采集的多源作业数据，进行吊装作业状态识别，建立吊装作业状态模型，将当前吊装作业过程划分为不同阶段，即确定当前吊装作业状态，为后续动态危险区域生成和风险计算提供作业状态约束；具体的：

9、步骤2.1，根据采集的作业任务数据和设备运行状态数据，建立吊装作业状态模型，将当前作业过程划分为：准备阶段、起升阶段、运输阶段、下降阶段以及完成阶段。

10、步骤2.2，通过分析设备运行参数变化确定当前作业状态：

11、（1）

12、其中，表示当前作业状态；表示前一时刻的作业状态；表示当前时刻采集的多源特征数据；为作业状态变化函数，具体形式根据设备实际运行参数确定。

13、步骤2.3，作业状态识别通过分析设备运行参数的综合变化规律实现，设备运行参数包括吊具高度变化率、起升速度、水平移动速度；

14、当设备启动吊具开始上升时判定为准备解答；当吊具高度持续上升且起升速度大于零时判定为起升阶段；当吊具水平位移持续变化且高度基本稳定时判定为运输阶段；当吊具高度持续下降且下降速度大于零时判定为下降阶段；当吊具下降速度为0且任务完成时为完成阶段。

15、第三步，基于第一步采集的视频数据和第二步确定的当前吊装作业状态，提取多主体行为特征，对视频数据中的人员、车辆和吊装设备进行目标识别和轨迹跟踪，分别构建人员、车辆和吊装设备的行为特征，为风险计算提供定量化输入；具体的：

16、步骤3.1，对视频数据中的人员、车辆和吊装设备进行目标识别和轨迹跟踪。所述目标识别采用基于深度学习的目标检测算法实现人员、车辆及吊装设备的实时检测与分类；所述轨迹跟踪采用多目标跟踪算法实现连续帧间目标的关联与轨迹生成。

17、步骤3.2，构建人员行为特征：

18、（2）

19、其中，为人员目标空间位置的横坐标；为人员目标空间位置的纵坐标；为人员目标的运动速度；

20、步骤3.3，构建车辆行为特征：

21、（3）

22、其中，为车辆目标空间位置的横坐标；为车辆目标空间位置的纵坐标；为车辆目标的运动速度；

23、步骤3.4，构建吊装设备行为特征：

24、（4）

25、其中，、表示空间位置；表示运动速度；表示吊具高度。

26、第四步，基于第二步确定的当前吊装作业状态和第三步提取的人员行为特征、车辆行为特征及吊装设备行为特征，进行异常行为风险计算，分别计算空间距离风险、相对运动风险与作业状态风险，并通过多因素加权融合建立综合风险评价模型，得到当前作业场景下的综合异常行为风险值；具体的：

27、步骤4.1，计算空间距离风险。空间距离风险用于表征人员或车辆与吊装设备之间的空间接近程度所引发的碰撞或挤压危险。

28、设人员或车辆目标的空间位置为，吊具或吊载货物的空间位置为，两者之间的水平距离为：

29、（5）

30、空间距离风险值按下式计算：

31、（6）

32、其中，为动态危险距离阈值，其取值根据当前吊装设备类型、集装箱尺寸、吊具高度以及港口安全作业规范综合设定，并允许根据不同作业场景进行动态调整。当趋近于1时，表示目标已极度接近危险区域。

33、步骤4.2，计算相对运动风险。相对运动风险用于衡量人员或车辆与吊装设备之间的相对运动趋势，反映瞬时碰撞风险的动态变化。

34、通过连续帧视频分析或设备运动传感器获得目标的运动速度和吊具的运动速度，计算相对速度：

35、（7）

36、相对运动风险值按下式计算：

37、（8）

38、其中，为允许的最大相对运动速度阈值，其根据吊装设备额定速度、作业环境空间限制及安全规程预先设定。当相对速度越大，表明碰撞风险越高。

39、步骤4.3，计算作业状态风险值。作业状态风险用于反映当前吊装作业阶段对危险程度的基础影响。同一空间距离和相对速度，在不同作业阶段下的实际风险差异显著。

40、所述作业状态风险值也为状态风险系数，其通过专家经验、历史事故统计或行业安全规范进行初始化，并可根据实际应用场景进行修正和更新。

41、进一步的，根据第二步确定的当前吊装作业状态准备阶段、起升阶段、运输阶段、下降阶段、完成阶段，从预设的风险规则库中匹配对应的状态风险系数。规则库形式如下：

42、当为准备阶段时，作业状态风险值为0.2；当为起升阶段时，作业状态风险值为0.8；当为运输阶段时，作业状态风险值为0.7；当为下降阶段时，作业状态风险值为0.9；当为完成阶段时，作业状态风险值为0.1；

43、步骤4.4，构建综合风险评价模型。将空间距离风险值、相对运动风险值、作业状态风险值进行加权融合，构建综合异常行为风险值：

44、（9）

45、其中，为空间距离风险值、相对运动风险值、作业状态风险值的权重系数，满足：

46、（10）

47、权重系数反映不同风险因素在整体评价中的相对重要性。所述权重系数通过专家评价法、层次分析法（ahp）、历史数据学习方法中的一种或多种方式确定。进一步地，所述权重系数支持基于实际运行数据的自适应调整，根据历史预警准确率动态更新权重，以适配不同港口作业环境特征。

48、步骤4.5，动态生成危险区域。根据当前吊装作业状态和吊具空间位置，动态生成危险区域。所述动态危险区域以吊具位置为中心，以动态危险距离阈值为半径的圆形区域，或以吊具运动方向为轴向的椭圆区域，如公式（11）所示：

49、（11）

50、其中，为与作业状态相关的危险区域缩放系数，值与作业状态一一对应，具体为：准备阶段取0.6、起升阶段取1.2、运输阶段取1.0、下降阶段取1.2、完成阶段取0.5，并允许根据实际应用场景修正。不同作业状态下值不同。当人员或车辆进入动态危险区域时，空间距离风险开始大于零，系统自动触发风险计算与评估流程。其中，(m,n)表示动态危险区域内任意点的水平坐标。

51、步骤4.6，根据综合异常行为风险值用于判断当前作业场景中是否存在以下异常行为类型：人员进入动态危险区域；车辆在吊装区域异常停留；吊装设备运行速度异常变化；作业行为与当前任务状态不匹配。上述四类异常行为的判定条件分别为：当人员目标的空间位置落入步骤4.5生成的动态危险区域内、且运动方向朝向吊具所在位置时，判定为人员进入动态危险区域；当车辆目标的空间位置落入动态危险区域内、且停留时间超过预设停留时长阈值时，判定为车辆在吊装区域异常停留；当吊装设备的运动速度变化量超过预设速度波动阈值、且空间距离风险或相对运动风险大于零时，判定为吊装设备运行速度异常变化；当人员、车辆或吊装设备的行为特征所对应的作业阶段信息与第二步确定的当前吊装作业状态不一致、且持续时长超过预设时长阈值时，判定为作业行为与当前任务状态不匹配。

52、第五步，基于第四步得到的综合异常行为风险值及其历史数据进行风险趋势预测与分级预警，通过计算风险变化率实现危险行为的早期发现与主动预警，并根据综合异常行为风险值及其变化趋势生成不同等级的安全预警信号；具体的：

53、步骤5.1，计算综合异常行为风险值的变化率：

54、（12）

55、其中，为当前时刻的综合异常行为风险值；为前一时刻的综合异常行为风险值；

56、当时，表示风险呈上升趋势；当时，表示风险呈下降趋势。当算综合异常行为风险值持续上升且超过预设变化率阈值时，即使当前算综合异常行为风险值未达到报警阈值，系统仍提前生成预测预警信号，实现危险行为的早期发现与主动预警。所述预设变化率阈值根据历史风险统计数据及港口安全作业规范设定。

57、步骤5.2，根据综合异常行为风险值及其变化率，综合生成风险等级：

58、当低于第一阈值时，判定为正常状态，系统维持常规监测；

59、当达到第一阈值且时，生成提示预警，即一级预警，通知现场管理人员关注；

60、当达到第二阈值时，生成高风险报警，即二级预警，触发声光报警装置，其中；

61、当超过第三阈值或算综合异常行为风险值持续升高且持续为正超过设定时长时，生成危险报警，即三级预警，触发设备控制接口，采取减速、停止等安全控制措施，其中。

62、所述第一阈值、第二阈值、第三阈值根据港口安全作业规范、历史事故数据及设备类型进行设定，并支持现场运维人员根据实际运行情况进行调整。

63、集装箱吊装异常行为识别及动态安全预警系统，采用集装箱吊装异常行为识别及动态安全预警系统实现上述集装箱吊装异常行为识别及动态安全预警方法，包括多源数据采集模块、多主体识别与跟踪模块、作业状态分析模块、动态危险区域生成模块、状态约束风险评估模块、风险趋势预测模块及分级预警输出模块；具体为：

64、所述多源数据采集模块：用于采集视频数据、设备运行数据以及作业任务数据；包括部署于作业区域的摄像装置、与吊装设备控制系统通信连接的设备数据接口、以及与港口作业管理系统通信连接的任务数据接口；涵盖数据采集、格式化和分类存储三个功能单元，对多源异构数据进行预处理，确保数据完整准确，并为后续模块提供高质量的输入数据。

65、所述多主体识别与跟踪模块：用于接入多源数据采集模块，输入视频数据，用于识别人员、车辆以及吊装设备目标，并提取运动轨迹；采用基于深度学习的目标检测算法与多目标跟踪算法实现，涵盖目标检测、轨迹生成与索引建立三个功能单元，输出各目标的类别、位置坐标、运动速度及轨迹信息。

66、所述作业状态分析模块：用于多源数据采集模块，输入设备运行数据和作业任务数据，用于根据设备运行数据和作业任务数据确定当前吊装作业阶段；涵盖参数解析、状态判定与状态转换三个功能单元，输出当前作业状态及状态风险系数。

67、所述动态危险区域生成模块：用于接入作业状态分析模块和多主体识别与跟踪模块，用于根据当前作业状态和吊具空间位置动态生成危险区域；涵盖区域计算、动态更新与索引建立三个功能单元，输出以吊具为中心的动态危险区域范围。

68、所述状态约束风险评估模块：用于接入多主体识别与跟踪模块、作业状态分析模块和动态危险区域生成模块，用于根据多主体交互关系、作业状态约束及动态危险区域计算异常风险值；涵盖参数融合、风险计算与综合加权三个功能单元，最终输出综合异常行为风险值。

69、所述风险趋势预测模块：用于接入状态约束风险评估模块，用于根据算综合异常行为风险值的历史变化趋势计算风险变化率，生成预测预警信号；涵盖趋势计算、阈值比较与预测信号生成三个功能单元。

70、所述分级预警输出模块：用于接入风险趋势预测模块，用于根据风险等级输出报警信息，包括声光报警、远程通知及设备控制指令；涵盖等级判定、报警输出与反馈记录三个功能单元。

71、本发明的有益效果为：

72、（1）本发明通过第一步采集并融合视频数据、设备运行数据和作业任务数据，使风险计算同时具备视觉信息、设备状态信息和任务上下文信息，克服了单一数据源分析导致信息不足的问题，从而提高了异常行为识别的准确性。

73、（2）本发明通过第二步将吊装作业过程划分为准备阶段、起升阶段、运输阶段、下降阶段及完成阶段，并在步骤4.3中引入与作业状态关联的风险规则库确定状态风险系数，使同一空间距离在不同作业阶段下得到不同的风险评价结果，克服了固定阈值方法在作业阶段切换时产生误报的问题，从而降低了误报率。

74、（3）本发明通过步骤4.5根据当前吊装作业状态和吊具空间位置动态生成危险区域，危险区域半径随缩放系数k的变化而自适应调整，克服了固定危险区域模型不能适应动态作业环境的问题，从而使人员、车辆的入侵判定与真实风险分布保持一致。

75、（4）本发明通过步骤4.4将空间距离风险、相对运动风险和作业状态风险加权融合为综合异常行为风险值，且权重系数支持基于历史预警准确率的自适应调整，使风险评价结果量化可比并适配不同港口作业环境，从而为分级预警提供统一的输入。

76、（5）本发明通过第五步计算风险变化率并进行趋势判定，在综合异常行为风险值尚未达到报警阈值时即可提前生成预测预警信号，将风险发现时机由事后报警前移至事前预警，从而为现场人员预留避让和处置时间，降低安全事故发生概率。