一种基于大数据的港口全景作业安全AI监控方法及系统与流程

本发明涉及港口无人机巡检领域，具体为一种基于大数据的港口全景作业安全ai监控方法及系统。

背景技术：

1、现有港口作业安全监控主要依赖固定摄像头与人工操控无人机巡检相结合的方式。固定摄像头通常布设于港口的关键节点，用于对局部区域进行人工监视；对于固定摄像头难以覆盖的区域，则通过人工操作无人机进行临时性、补充性的飞行巡查，由操作人员根据现场情况和经验判断飞行路径与拍摄角度，并将采集到的图像或视频回传至监控中心进行人工查看和判断。

2、然而，上述方式在实际应用中存在明显不足。首先，固定摄像头覆盖范围有限，难以形成对港口作业尤其是堆叠箱体的全景感知。其次，人工操作无人机飞行高度、航线、悬停位置和采集过程缺乏标准化和自动化，巡检结果受操作人员经验和主观判断影响较大。再次，现有的视频监控和无人机巡检主要依靠人工观看和事后回放进行异常发现，缺乏实时自动的分析能力，无法及时、准确地识别作业中的财产损失或环境异常。此外，异常事件判定标准不统一，后果严重度等级难以量化，导致预警和处置缺乏针对性，无法根据后果严重度等级自动触发差异化的预警动作。

3、因此，目前亟需一种基于大数据的港口全景作业安全ai监控方法及系统。

技术实现思路

1、为克服现有的技术问题，本发明提供了一种基于大数据的港口全景作业安全ai监控方法及系统。

2、本发明采用了以下的技术方案。

3、一种基于大数据的港口全景作业安全ai监控方法，包括以下步骤：

4、s1、基于标准作业规范以及预设的港口运营规范，构建具有后果严重度等级的港口作业安全规则库；

5、s2、通过服务器获取无人机沿预设航线飞行采集的多模态巡检数据，以及获取设于港口内的环境传感器采集的环境传感器数据；

6、s3、服务器基于港口作业安全规则库对多模态巡检数据和环境传感器数据进行异常状态计算，输出包含异常编号以及对应异常编号的后果严重度等级的异常集；

7、s4、服务器基于后果严重度等级，触发对应的预警动作。

8、作为本发明的进一步改进，s1的具体步骤包括：

9、s11、通过预训练语言模型以及预设的触发词规则、或者通过人工检索，在多个标准作业规范和预设的港口运营规范中选取多个候选句子，并通过预训练语言模型或人工提取和生成包含原因特征、结果特征和规则来源的结构化规则；

10、s12、基于预设的后果严重度等级和对应的严重度等级含义，根据预训练语言模型或人工判断生成对应每个结果特征的后果严重度等级和异常编号,整合后果严重度等级、异常编号和结构化规则得到港口作业安全规则库。

11、作为本发明的进一步改进，预设航线包括多个依次设置的悬停点、多个分别连接在两个悬停点之间的区间路线、飞行高度、飞行速度、云台角度和悬停时长；

12、无人机沿预设航线飞行的同时通过无人机的机载避障传感器执行自动避障检测，判断无人机在预设的安全避障范围内是否存在障碍物，若存在，则执行悬停等待、或者水平绕行、或者竖直绕行中的一种或多种并记录避障行为上传至服务器。

13、作为本发明的进一步改进，无人机的云台上设有完成联合标定和采集频率调整的可见光相机和红外热像仪，多模态巡检数据包括具有无人机位姿数据、云台姿态数据和时间戳的可见光图像序列和红外热图序列，环境传感器数据包括具有环境传感位置数据和时间戳的气体浓度序列和风速数值。

14、作为本发明的进一步改进，服务器能够通过港口tos系统获取所有箱位编号、港口坐标系下与箱位编号对应的箱位坐标、与箱位编号对应的当前箱位状态、以及与箱位编号对应的箱体类型尺寸，并构建包含理论层数的理论箱位表；

15、异常状态计算的具体步骤包括：根据箱体识别方法和多模态巡检数据生成实际箱位检测表，根据实际箱位检测表和理论箱位表输出几何异常集；

16、通过可见光图像序列和红外热图序列进行红外温度异常检测输出温度异常集；

17、通过气体浓度序列和风速数值进行浓度风速异常检测，输出环境异常集。

18、作为本发明的进一步改进，生成实际箱位检测表的具体步骤包括：

19、s301、对多模态巡检数据中的可见光图像序列运行箱体检测模型结合理论箱位表，输出每个竖直堆叠箱体的顶面中心像素坐标和底面中心像素坐标；

20、s302、根据联合标定得到的可见光相机内参标定数据和可见光相机安装参数标定数据，结合无人机位姿数据和云台姿态数据，将顶面中心像素坐标投影得到港口坐标系下的射线起点和顶面射线方向，将底面中心像素坐标投影得到港口坐标系下的底面射线方向；

21、s303、根据港口地面平面方程、射线起点和底面射线方向求交点得到港口坐标系下的堆叠箱体底部中心坐标；

22、s304、通过堆叠箱体底部中心坐标构建竖直直线参数方程，根据射线起点和顶面射线方向构建顶面射线参数方程，求解竖直直线参数方程与顶面射线参数方程的最短距离，得到实测顶部高度，输出港口坐标系下的堆叠箱体顶部中心坐标；

23、s305、根据堆叠箱体底部中心坐标在理论箱位表中选取每一层的箱体类型尺寸，结合实测顶部高度计算实测层数；

24、s306、整合对应每个竖直堆叠箱体的实测层数、堆叠箱体顶部中心坐标、堆叠箱体底部中心坐标和可见光图像序列的时间戳得到实际箱位检测表。

25、作为本发明的进一步改进，根据实际箱位检测表和理论箱位表输出几何异常集的具体步骤包括：若实际箱位检测表中的实测层数小于理论层数，则判断为货物丢失，输出包含对应货物丢失的异常编号、对应的箱位编号和对应异常编号的后果严重度等级的几何异常数据；

26、若实际箱位检测表中的实测层数大于理论层数，则判断为堆码高度异常，输出包含对应堆码高度异常的异常编号、对应的箱位编号和对应异常编号的后果严重度等级的几何异常数据；

27、若堆叠箱体底部中心坐标与对应箱位编号的箱位坐标的差值大于预设的最大忍受阈值，则判断为位置异常，输出包含对应位置异常的异常编号、对应的箱位编号和对应异常编号的后果严重度等级的几何异常数据；

28、整合全部几何异常数据得到几何异常集。

29、作为本发明的进一步改进，通过可见光图像序列和红外热图序列进行红外温度异常检测输出温度异常集的具体步骤包括：

30、s311、对可见光图像序列和红外热图序列进行时间戳对齐处理；

31、s312、根据红外热图序列的红外图像，生成原始温度矩阵；

32、s313、对同一时间戳下的可见光图像进行高反射区域检测，生成表征红外不可靠区域的反射二值掩膜；

33、s314、根据反射二值掩膜调整原始温度矩阵，生成有效温度矩阵，根据有效温度矩阵计算中位数，根据中位数计算稳健标准差，根据中位数和稳健标准差计算生成候选热点，得到候选热点集，若不存在候选热点则跳过红外温度异常检测；

34、s315、根据候选热点集调整有效温度矩阵，生成背景温度矩阵，根据背景温度矩阵计算背景均值，根据背景均值和预设的温度差阈值对每一个候选热点进行判断确认，若确认，则视为热点像素，整合热点像素得到热点像素集；

35、s316、对热点像素集进行连通域分析，得到热点区域集，对热点区域集中的每个热点区域进行多帧一致性校验，若校验失败则删除对应的热点区域，剩余的热点区域记为温度异常区域并判断为温度异常；

36、s317、通过可见光图像识别每个温度异常区域的异常中心点，根据异常中心点生成异常射线方程并计算得到异常坐标，整合异常坐标和对应的温度异常区域得到温度异常区域集，输出包含对应温度异常的异常编号、对应的温度异常区域集和对应异常编号的后果严重度等级的温度异常集。

37、本发明还提出了一种基于大数据的港口全景作业安全ai监控系统，采用如上所述的一种基于大数据的港口全景作业安全ai监控方法，包括：无人机、环境传感器和服务器；

38、无人机用于沿预设航线飞行并采集多模态巡检数据传输至服务器；

39、环境传感器固定设置在港口内，用于采集环境传感器数据传输至服务器；

40、服务器包括：

41、规则库构建模块，用于基于标准作业规范以及预设的港口运营规范，构建具有后果严重度等级的港口作业安全规则库；

42、数据获取模块，用于获取无人机采集的多模态巡检数据以及环境传感器采集的环境传感器数据；

43、异常状态计算模块，用于基于港口作业安全规则库对多模态巡检数据和环境传感器数据进行异常状态计算，输出包含异常编号以及对应异常编号的后果严重度等级的异常集；

44、预警模块，用于基于后果严重度等级，触发对应的预警动作。

45、本发明的有益效果为：有效弥补固定摄像头覆盖范围有限、易受遮挡以及人工操控无人机飞行路径随意、数据一致性差的问题。同时，基于标准作业规范及预设的港口运营规范构建具有后果严重度等级的港口作业安全规则库，为异常识别提供了统一、量化的判定标准，避免传统人工判断的主观性和不一致性。服务器基于该港口作业安全规则库对多模态巡检数据和环境传感器数据进行异常状态计算，实时输出包含异常编号及对应后果严重度等级的异常集，实现对港口作业异常的智能识别，克服了传统人工观看和事后回放时效性差、漏检率高的缺陷。根据对应的后果严重度等级自动触发对应的预警动作，实现异常事件的分级预警和差异化处置，使不同后果严重度等级的事件得到相匹配的响应措施；整体上降低了对人工巡检和人工监控的依赖，提升了港口全景作业安全监控的自动化水平和智能化水平。