一种基于状态空间的轻量级煤矿场景人体姿态估计方法

摘要: 本发明涉及计算机视觉,特别是涉及一种基于状态空间的轻量级煤矿场景人体姿态估计方法。背景技术:1、人体姿态估计(humanposeestimation,hpe)旨...
一种基于状态空间的轻量级煤矿场景人体姿态估计方法

本发明涉及计算机视觉,特别是涉及一种基于状态空间的轻量级煤矿场景人体姿态估计方法。

背景技术:

1、人体姿态估计(human pose estimation, hpe)旨在从图像或视频中定位人体关键点(如头、肩、肘、腕、髋、膝、踝等),是行为识别、动作分析、安全监控等下游任务的核心基础。随着深度学习技术的发展,基于卷积神经网络(convolutional neural network,cnn)和transformer的人体姿态估计方法在公开数据集(如coco、mpii)上已取得较高精度,但现有方法普遍存在以下缺陷,无法直接适配煤矿井下场景:

2、(1)参数量与计算复杂度过大,无法适配边缘设备。

3、主流高精度人体姿态估计模型(如hrnet-w48、vitpose-large)参数量超过100m,计算量超过30 gflops,即使轻量化版本如hrnet-w18,参数量仍超过20m,计算量超过7gflops。而煤矿井下的安全监控系统普遍采用低功耗边缘计算设备(如矿用本安型监控终端),无法承载大模型的推理需求。现有公开的轻量姿态估计模型(如mobilenetv2-basedhpe、litehrnet)为了压缩参数量和计算量,大量采用下采样和通道剪枝,直接导致关键点细节信息丢失,在遮挡、光照不均的煤矿复杂场景下,关键点定位误差达无法满足安全生产监测需求。

4、(2)全局上下文建模能力不足,人体结构依赖捕捉缺失。

5、传统cnn模型基于局部滑窗进行特征提取,感受野有限,难以捕捉人体骨骼结构的长程依赖关系。例如,矿工佩戴安全帽遮挡头部后,现有cnn模型无法通过肢体位置关联推理定位头部关键点,容易出现关键点漏检和错位。近年来兴起的transformer模型采用自注意力机制建模全局上下文,理论上可以解决长程依赖问题,但自注意力机制的计算复杂度随图像尺寸呈二次增长,图像尺寸从256×192提升至512×384,计算量增长近4倍,进一步加剧了计算开销,完全无法适配轻量化边缘部署需求。

6、(3)场景适配性差,煤矿井下泛化能力不足。

7、现有公开人体姿态数据集多聚焦于日常户外场景,针对煤矿井下矿工的标注数据稀缺,且现有模型未针对煤矿场景的特有干扰(水雾遮挡、低光照、设备反光、大面积肢体遮挡)进行优化,模型在真实煤矿场景下的泛化能力差,误检率和漏检率较高,无法满足煤矿安全生产对姿态监测准确性与实时性的双重要求。

8、近年全国煤矿生产安全事故中,因人员姿态异常(跌倒、攀爬失衡、违规进入危险区域)未被及时发现导致的伤亡事故占比达37%。目前主流煤矿监控系统依赖人工值守,存在监管盲区,而现有人体姿态估计算法要么精度不足误报率高,要么计算量大无法部署,因此亟需一种精度高、计算量小、适配煤矿场景的轻量化人体姿态估计方法以提升姿态估计下游任务的准确性。

技术实现思路

1、本发明的目的是提供一种基于状态空间的轻量级煤矿场景人体姿态估计方法,旨在解决或改善上述技术问题中的至少之一。

2、为实现上述目的,本发明提供了如下方案:

3、一种基于状态空间的轻量级煤矿场景人体姿态估计方法,包括:

4、获取待测煤矿监控图像,并对所述待测煤矿监控图像进行预处理和底层特征提取,得到底层特征图;

5、将所述底层特征图输入基于unet架构的多尺度骨干网络,得到多尺度特征图;所述多尺度骨干网络包括四级编码器下采样阶段,每一级由mobilevmamba模块堆叠而成,依次输出四个尺度级别的多尺度特征图;其中,所述mobilevmamba模块包括并行的cnn路径和线性状态空间ssm路径,所述cnn路径用于提取局部空间特征,所述ssm路径用于通过线性状态空间模型建模全局上下文依赖,两路径输出融合后作为模块输出特征;

6、将所述多尺度特征图输入迭代多尺度动态加权融合的imff模块,对各尺度特征进行自适应对齐、坐标注意力加权生成动态权重,并按层级从浅至深逐级迭代融合,输出细粒度融合特征;

7、将所述细粒度融合特征输入输出头,经上采样和卷积生成热力图,根据热力图最大值定位人体关键点的坐标。

8、可选地,所述预处理包括将图像缩放至统一尺寸,并通过连续三个3×3标准卷积堆叠的stem卷积层提取底层特征,输出尺寸为原图1/4的底层特征图。

9、可选地,所述cnn路径采用深度可分离卷积结构,具体为:将输入的特征图依次经1×1点卷积进行通道升维、3×3深度可分离卷积提取局部空间特征以及1×1点卷积进行通道降维,并添加残差连接。

10、可选地,所述ssm路径具体为:将输入的特征图沿水平和垂直方向双向扫描,展平为一维序列输入线性状态空间模型,通过隐状态传递捕捉序列长程依赖,再经一维卷积将隐状态映射回原始特征空间。

11、可选地,所述imff模块的融合过程包括:

12、对所述多尺度特征图进行自适应平均池化对齐至最低分辨率,沿通道拼接得到融合张量;

13、对所述融合张量进行坐标注意力运算,沿水平和垂直方向池化并生成空间注意力权重,增强空间-通道联合特征;

14、将增强后的特征经轻量化映射函数生成各尺度动态权重图;其中权重值域为[0,1];

15、对低分辨率权重图进行近邻插值上采样还原至对应原始特征的空间尺寸;

16、将各原始特征图与对应还原后的权重逐元素相乘后沿通道拼接,输出融合特征;

17、从浅层至深层逐级迭代融合,在第二级编码器输出端融合两个尺度,在第三级融合三个尺度,在第四级融合四个尺度,输出细粒度融合特征。

18、可选地,所述输出头包括两个3×3反卷积层进行上采样,将特征图分辨率提升至输入图像的1/4,再经1×1卷积层输出通道数等于人体关键点数量的热力图。

19、可选地,所述四级编码器下采样阶段的各级输出特征图尺寸分别为输入图像的1/4、1/8、1/16、1/32。

20、可选地,所述人体关键点包括头部、肩部、肘部、手腕、髋部、膝部和踝部。

21、根据本发明提供的具体实施例,本发明公开了以下技术效果:

22、本发明公开了一种基于状态空间的轻量级煤矿场景人体姿态估计方法,所述方法包括先对图像进行预处理并提取底层特征,再输入unet架构的多尺度骨干网络,经四级编码器下采样,每级由mobilevmamba模块输出多尺度特征图;随后经imff模块迭代多尺度动态加权融合,自适应对齐并生成坐标注意力权重,逐级融合得到细粒度特征;最后由输出头上采样生成热力图,根据最大值定位关键点坐标。该方法兼顾局部与全局上下文,实现精准鲁棒的人体姿态估计。本发明在保证线性复杂度全局建模能力的同时,弥补ssm对局部细节建模的不足,实现模型参数量、计算量与检测精度的最优平衡,能够适配煤矿低算力边缘设备的部署要求,提升高遮挡、低光照、强粉尘干扰场景下人体关键点的检测精度与估计结果稳定性,解决现有技术精度与效率无法兼顾、复杂场景鲁棒性差的技术问题。