基于视频分析的光热现场作业安全行为识别与预警方法及系统与流程

本发明涉及人工智能与智能安防，具体而言，涉及一种基于视频分析的光热现场作业安全行为识别与预警方法及系统。

背景技术：

1、随着工业自动化与人工智能技术的发展，基于计算机视觉的作业现场安全管控逐渐成为研究热点。传统的现场安全监管主要依赖人工巡检或简单的传感器报警，存在监管盲区大、响应滞后及人力成本高等问题。近年来，虽然已有技术尝试引入深度学习模型（如yolo、faster r-cnn及st-gcn）进行视频分析，但仍存在以下显著缺陷：

2、环境适应性差：作业现场常面临低照度、强光干扰及复杂背景，常规的图像预处理手段难以有效增强关键特征，导致检测与姿态估计精度大幅下降。

3、行为识别浅层化：现有方案多局限于单一的人体骨架分析或目标检测，缺乏对人-物交互深层语义的理解，难以识别渐进式、隐蔽性的违规操作（如缓慢靠近带电体）。

4、跟踪稳定性不足：在多人作业场景下，目标遮挡或快速运动易导致id切换频繁；且传统卡尔曼滤波未引入安全语义，无法根据行为风险动态调整跟踪策略。

5、训练样本失衡：现有的损失函数对困难样本（如小目标、严重遮挡目标）的关注度不够，且缺乏利用推理阶段的轨迹反馈来优化训练过程的闭环机制。

6、因此，亟需一种能够融合多模态特征、具备时序因果推理能力且抗干扰性强的安全行为识别与预警方法。

技术实现思路

1、现有技术中存在以下缺陷：一是作业现场低照度、复杂背景导致目标检测与骨骼关键点提取精度低；二是传统规则引擎难以处理人-物交互的渐进式风险，误报率高；三是单一跟踪算法无法兼顾单人精细作业与多人协同作业的动态需求；四是训练过程中对遮挡、小目标等困难样本挖掘不足，模型鲁棒性差。本发明旨在提供一种通过多模态特征融合、度量时序逻辑推理及闭环优化来解决上述问题的技术方案。

2、第一方面，本申请实施例提供一种基于视频分析的光热现场作业安全行为识别与预警方法，所述方法包括：

3、对作业视频帧进行clahe与高斯金字塔增强后，并行输入至回归与候选区域双检测网络，经加权融合输出检测结果，同时采用canny边缘辅助的骨骼回归提取关键点，经重采样后输入至引入注意力机制的时序图神经网络，输出基础行为类别；

4、将检测结果中的物理属性与基础行为类别融合构建原子行为三元组，经滑动窗口回归及fft频域滤波修正趋势因子，动态修正度量时序逻辑规则的时间区间约束，判定交互行为类别；

5、根据交互行为类别在单目标与多目标跟踪间自适应切换，利用稀疏光流场约束卡尔曼滤波预测误差，并在状态向量中引入安全语义状态位生成轨迹序列；

6、利用轨迹序列统计困难样本分布，采用融合交并比、遮挡比例及面积占比的联合权重函数对损失函数自适应加权，并反向传播至检测网络及时序图神经网络；

7、融合检测结果、基础行为类别、交互行为类别及轨迹序列，当度量时序逻辑规则在修正后的时间区间内持续满足时判定为不安全行为并触发预警。

8、第二方面，本申请实施例提供一种基于视频分析的光热现场作业安全行为识别与预警系统，应用于如第一方面所述的方法，所述系统包括：

9、视频预处理与多模态检测模块，用于对作业视频帧进行clahe与高斯金字塔增强后，并行输入至回归与候选区域双检测网络，经加权融合输出检测结果，同时采用canny边缘辅助的骨骼回归提取关键点，经重采样后输入至引入注意力机制的时序图神经网络，输出基础行为类别；

10、原子行为构建与时序推理模块，用于将检测结果中的物理属性与基础行为类别融合构建原子行为三元组，经滑动窗口回归及fft频域滤波修正趋势因子，动态修正度量时序逻辑规则的时间区间约束，判定交互行为类别；

11、自适应跟踪与轨迹生成模块，用于根据交互行为类别在单目标与多目标跟踪间自适应切换，利用稀疏光流场约束卡尔曼滤波预测误差，并在状态向量中引入安全语义状态位生成轨迹序列；

12、困难样本闭环优化模块，用于利用轨迹序列统计困难样本分布，采用融合交并比、遮挡比例及面积占比的联合权重函数对损失函数自适应加权，并反向传播至检测网络及时序图神经网络；

13、多模态融合预警模块，用于融合检测结果、基础行为类别、交互行为类别及轨迹序列，当度量时序逻辑规则在修正后的时间区间内持续满足时判定为不安全行为并触发预警。

14、第三方面，本申请实施例提供一种电子设备，包括：

15、处理器；

16、用于存储处理器可执行指令的存储器；

17、其中，所述处理器被配置为执行所述指令时实现如第一方面所述的基于视频分析的光热现场作业安全行为识别与预警方法。

18、第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有程序，所述程序指示设备执行如第一方面所述的基于视频分析的光热现场作业安全行为识别与预警方法。

19、有益效果：通过clahe增强、canny边缘辅助及fft频域滤波，有效克服了现场光照变化、图像噪声及抖动带来的干扰，提升了底层特征的可靠性。通过构建原子行为三元组并结合度量时序逻辑（mtl），实现了从看见行为到理解意图的跨越，能够精准识别隐蔽性、渐进式的不安全交互行为。根据行为类别动态切换跟踪模式，并利用光流约束与安全语义状态位，显著降低了复杂场景下的id切换率，保证了轨迹的连续性。利用轨迹反馈构建困难样本分布图并实施联合权重加权，形成了推理、训练闭环，增强了模型对极端工况的适应能力，降低了漏报率。

1.一种基于视频分析的光热现场作业安全行为识别与预警方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述采用canny边缘辅助的骨骼回归提取关键点，具体包括：

3.根据权利要求1所述的方法，其特征在于，所述经重采样后输入至引入注意力机制的时序图神经网络，具体包括：

4.根据权利要求1所述的方法，其特征在于，所述构建原子行为三元组，具体包括：

5.根据权利要求4所述的方法，其特征在于，所述经滑动窗口回归及fft频域滤波修正趋势因子，具体包括：

6.根据权利要求1所述的方法，其特征在于，所述根据交互行为类别在单目标与多目标跟踪间自适应切换，具体包括：

7.根据权利要求6所述的方法，其特征在于，所述利用稀疏光流场约束卡尔曼滤波预测误差，并在状态向量中引入安全语义状态位，具体包括：

8.根据权利要求1所述的方法，其特征在于，所述利用轨迹序列统计困难样本分布，具体包括：

9.根据权利要求1所述的方法，其特征在于，所述采用融合交并比、遮挡比例及面积占比的联合权重函数对损失函数自适应加权，具体包括：

10.一种基于视频分析的光热现场作业安全行为识别与预警系统，应用于如权利要求1至9任一项所述的方法，其特征在于，所述系统包括：