基于机器视觉的施工人员安全行为识别系统的制作方法

摘要: 本发明涉及图像处理领域,具体是指基于机器视觉的施工人员安全行为识别系统。背景技术:1、施工人员安全行为识别系统是通过采集施工现场视频数据,对施工人员的动作、姿态...
基于机器视觉的施工人员安全行为识别系统的制作方法

本发明涉及图像处理领域,具体是指基于机器视觉的施工人员安全行为识别系统。

背景技术:

1、施工人员安全行为识别系统是通过采集施工现场视频数据,对施工人员的动作、姿态及作业环境信息进行分析,自动识别施工人员当前行为类别并判断是否存在不符合安全规范的作业行为的信息化系统。但是常规施工人员安全行为识别系统存在受施工现场受室内外光照变化、遮挡以及设备曝光差异影响,容易导致施工人员图像区域定位不稳定的问题;常规施工人员安全行为识别系统存在难以完整表达人体姿态变化过程中的空间结构信息,导致行为识别准确性差的问题;常规施工人员安全行为识别系统存在人体动作信息与施工环境信息难以自适应融合,无法对施工人员连续变化特征进行准确约束的问题。

技术实现思路

1、针对上述情况,为克服现有技术的缺陷,本发明提供了基于机器视觉的施工人员安全行为识别系统,针对常规施工人员安全行为识别系统存在受施工现场受室内外光照变化、遮挡以及设备曝光差异影响,容易导致施工人员图像区域定位不稳定的问题,本方案通过计算当前帧亮度均值与训练数据亮度中心之间的偏移关系,构建亮度状态变量,结合当前帧亮度空间变化程度动态计算光照校正参数,根据不同亮度状态自适应调整全局亮度增强方向;减少复杂光照环境对施工人员安全行为识别的影响;针对常规施工人员安全行为识别系统存在难以完整表达人体姿态变化过程中的空间结构信息,导致行为识别准确性差的问题,本方案针对施工人员动作变化具有多方向轮廓变化特点,对施工人员图像区域进行灰度转换,并分别计算人体轮廓变化响应,获得多方向人体边缘变化特征,构建人体结构特征,将人体头部、躯干以及四肢变化信息转换为结构化特征表示,进而提高最终施工人员安全行为识别准确性;针对常规施工人员安全行为识别系统存在人体动作信息与施工环境信息难以自适应融合,无法对施工人员连续变化特征进行准确约束的问题,本方案分别提取人体行为特征和全局场景特征,通过计算人体特征和场景特征的响应权重获得人体信息贡献比例,进而构建融合行为特征,使人体动作信息和施工场景信息根据特征响应结果进行动态组合;同时计算相邻帧之间的特征变化距离,并根据行为变化强度构建时序约束权重,根据不同时间位置的人体行为变化程度调整时序约束强度,减少连续帧间无效特征波动,进而提高施工人员安全行为识别效果。

2、本发明采取的技术方案如下:本发明提供的基于机器视觉的施工人员安全行为识别系统,包括施工视频获取模块、状态施工视频增强模块、施工人员目标检测模块、人体结构特征构建模块、施工安全行为分类模块和施工人员安全行为识别模块;

3、所述施工视频获取模块采集施工视频,并对采集得到的施工视频进行帧级解析,对各视频帧进行统一空间尺寸调整,并进行像素归一化处理,得到标准化施工图像;

4、所述状态施工视频增强模块基于标准化施工图像的亮度统计信息构建动态光照校正参数,对标准化施工图像进行全局亮度增强和局部细节增强,通过加权融合生成状态增强施工图像;

5、所述施工人员目标检测模块将状态增强施工图像输入施工人员目标检测模型,得到施工人员图像区域序列;

6、所述人体结构特征构建模块对施工人员图像区域序列进行灰度转换和多方向梯度计算,提取人体轮廓变化特征,并通过卷积特征提取得到人体结构特征;

7、所述施工安全行为分类模块以人体结构特征和标准化施工图像为输入,分别通过3d卷积网络、transformer编码网络和resnet-50场景特征提取网络获取人体行为特征与场景特征,通过特征响应融合构建融合行为特征,并输入安全行为分类网络输出施工人员行为类别;

8、所述施工人员安全行为识别模块基于安全行为分类网络对实时施工视频进行施工人员安全行为识别。

9、进一步地,所述状态施工视频增强模块工作流程包括:

10、将标准化施工图像转换至lab颜色空间,计算当前帧平均亮度;基于帧平均亮度,计算所有帧平均亮度的均值以及亮度离散程度;以所有帧平均亮度的均值为训练数据亮度中心,计算当前帧相对于训练数据亮度中心的位置,得到亮度偏离量;

11、利用sigmoid函数将亮度偏离量转换为亮度状态变量;

12、根据当前亮度状态构建动态光照校正参数;

13、基于动态光照校正参数对rgb图像进行全局亮度调整,获得全局亮度增强图像;

14、同时采用限制对比度自适应直方图均衡化方法clahe进行局部细节增强,得到局部细节增强图像;使用加权融合算法将全局亮度增强图像和局部细节增强图像进行像素级融合,得到状态增强施工图像。

15、进一步地,所述施工人员目标检测模块将状态增强施工图像输入yolov8目标检测模型,通过目标检测网络提取图像中的施工人员目标区域,并输出每一帧中检测到的施工人员位置和尺度信息;根据检测得到的边界框位置,从状态增强施工图像中裁剪对应施工人员图像区域,通过跨帧关联得到施工人员图像区域序列。

16、进一步地,所述人体结构特征构建模块将施工人员图像区域转换为灰度图,随后采用不同方向梯度算子对人体轮廓变化进行计算,分别提取水平方向、垂直方向以及两个斜方向上的结构信息;得到不同方向的人体轮廓变化特征;

17、将各方向的人体轮廓变化特征进行通道拼接,再通过两个3×3卷积块提取结构特征,得到人体结构特征。

18、进一步地,所述施工安全行为分类模块工作流程包括:

19、将连续t帧人体结构特征作为输入,采用两层3d卷积网络对人体动作特征进行提取,得到人体时空特征;

20、对人体时空特征进行全局平均池化,将空间维度特征转换为时间序列特征,并加入时间位置编码;采用4层transformer encoder对人体行为序列进行时间关系构建,最终得到表示当前人员轨迹的人体行为特征;

21、将标准化施工图像输入resnet-50,取最后一个卷积阶段输出通过1×1卷积降维得到全局场景特征;分别对人体行为特征和全局场景特征进行全局平均池化,构建人体行为特征向量和全局场景特征向量;

22、基于人体行为特征向量和全局场景特征向量计算特征响应权重,最终构建融合特征;

23、最后构建安全行为分类网络,对融合特征进行类别预测,根据最大概率类别确定当前施工人员行为类别;

24、采用加权交叉熵损失作为训练损失,并对标签相同的相邻训练帧增加动态时序一致性损失:对于连续训练视频片段,获取transformer输出的人体时序行为特征,基于l2范数计算相邻帧行为特征变化距离,并对整个视频片段中的特征变化距离进行归一化,得到第t帧相对行为变化强度;根据相对行为变化强度构建时序约束权重,构建动态时序一致性损失。

25、采用上述方案本发明取得的有益效果如下:

26、(1)针对常规施工人员安全行为识别系统存在受施工现场受室内外光照变化、遮挡以及设备曝光差异影响,容易导致施工人员图像区域定位不稳定的问题,本方案通过计算当前帧亮度均值与训练数据亮度中心之间的偏移关系,构建亮度状态变量,结合当前帧亮度空间变化程度动态计算光照校正参数,根据不同亮度状态自适应调整全局亮度增强方向;减少复杂光照环境对施工人员安全行为识别的影响。

27、(2)针对常规施工人员安全行为识别系统存在难以完整表达人体姿态变化过程中的空间结构信息,导致行为识别准确性差的问题,本方案针对施工人员动作变化具有多方向轮廓变化特点,对施工人员图像区域进行灰度转换,并分别计算人体轮廓变化响应,获得多方向人体边缘变化特征,构建人体结构特征,将人体头部、躯干以及四肢变化信息转换为结构化特征表示,进而提高最终施工人员安全行为识别准确性。

28、(3)针对常规施工人员安全行为识别系统存在人体动作信息与施工环境信息难以自适应融合,无法对施工人员连续变化特征进行准确约束的问题,本方案分别提取人体行为特征和全局场景特征,通过计算人体特征和场景特征的响应权重获得人体信息贡献比例,进而构建融合行为特征,使人体动作信息和施工场景信息根据特征响应结果进行动态组合;同时计算相邻帧之间的特征变化距离,并根据行为变化强度构建时序约束权重,根据不同时间位置的人体行为变化程度调整时序约束强度,减少连续帧间无效特征波动,进而提高施工人员安全行为识别效果。