一种面向鱼眼图像的人体姿态估计方法及相关装置
本技术涉及人体姿态估计,尤其涉及一种面向鱼眼图像的人体姿态估计方法及相关装置。
背景技术:
1、人体姿态估计是指从给定的图像或视频中估计人体各部位的位置和朝向,通常用一组关键点坐标来表示。这些关键点包括头部、颈部、肩膀、肘部、手腕、髋部、膝盖和脚踝等主要关节点,有时还包括手指、脚趾等精细部位。人体姿态估计的准确实现对于人机交互、运动分析、康复医疗、增强现实、安防监控和自动驾驶等许多应用都至关重要,因此,人体姿态估计领域吸引了大量研究者的持续关注。
2、相比传统的透视投影镜头,鱼眼镜头能够提供更广阔的视场覆盖。它可以捕捉到更多的环境信息,将更多的场景纳入图像中。这对于一些需要全景观察或者广角视野的应用非常有意义,例如监控系统、虚拟现实和增强现实应用等。
3、然而,传统的人体姿态估计方法大多是针对常规的、无失真的直线图像进行研究。而目前从鱼眼图像中估计人体姿态大多采用“两步法”,即先对鱼眼图像进行矫正,再从矫正图像中估计人体姿态,此类方法中人体姿态估计的准确性严重依赖于图像矫正的质量,而现有图像矫正的技术难以完全消除图像中的畸变,进而导致人体姿态估计准确度受限。使用相机参数可以获得最优的矫正效果,但相机标定过程繁琐,标定成本高,不够灵活。
技术实现思路
1、为了解决上述问题,本技术实施例提供了一种面向鱼眼图像的人体姿态估计方法及相关装置,能够解决上述技术问题中的至少一种。
2、根据本技术实施例的一方面,提出了一种面向鱼眼图像的人体姿态估计方法,所述方法包括:
3、构建初始的端到端人体姿态估计网络;
4、获取包含目标人体的多张鱼眼图像,对所述多张鱼眼图像进行人像边界框检测、标准化裁剪与坐标相对归一化处理,得到预处理后的多张鱼眼图像,并从每张预处理后的鱼眼图像中获取所述目标人体的关键骨骼点的真实坐标值;
5、将所述预处理后的多张鱼眼图像作为同一目标批次的训练样本,输入至所述初始的端到端人体姿态估计网络当中,得到与所述预处理后的多张鱼眼图像分别一一对应的人体关键骨骼点的坐标预测值;
6、针对每一预处理后的鱼眼图像,根据与所述预处理后的鱼眼图像对应的坐标预测值和与所述预处理后的鱼眼图像对应的真实坐标值确定所述预处理后的鱼眼图像的坐标预测误差;
7、根据各张所述预处理后的鱼眼图像的坐标预测误差确定所述目标批次的平均空间损失,并根据所述平均空间损失训练所述初始的端到端人体姿态估计网络,得到训练后的端到端人体姿态估计网络;
8、将待测鱼眼图像输入至所述训练后的端到端人体姿态估计网络,输出所述待测鱼眼图像当中的人体的各个关键骨骼点的坐标预测值,以根据所述待测鱼眼图像当中的人体的各个关键骨骼点的坐标预测值对所述人体进行姿态估计。
9、在上述方案中,所述构建初始的端到端人体姿态估计网络,包括:
10、搭建基于轻量化残差网络的骨干特征提取模块,所述骨干特征提取模块用于提取鱼眼图像的高维空间特征;
11、搭建多级级联回归头部,所述多级级联回归头部用于将高维空间特征直接映射为一维密集预测向量;
12、在所述多级级联回归头部的最末端连接张量形状重塑算子,所述张量形状重塑算子用于将所述一维密集预测向量转换为三维空间坐标张量,所述三维空间坐标张量的张量形状对应多个训练样本、所述目标人体的17个人体关键骨骼点,以及每一人体关键骨骼点的预测坐标。
13、在上述方案中,所述对所述多张鱼眼图像进行人像边界框检测、标准化裁剪与坐标相对归一化处理,得到预处理后的多张鱼眼图像,包括:
14、针对每一鱼眼图像,利用预设的高精度轻量化目标检测器对所述鱼眼图像进行检测,获取得到所述鱼眼图像中所述目标人体的边界框信息,所述边界框信息包括边界框的中心点像素坐标、中心点宽度和中心点高度;
15、根据所述边界框信息,对所述鱼眼图像进行空间截取与对齐的裁剪处理 ,得到包含完整目标人体的特征的局部区域图像;
16、将得到的所述局部区域图像等比缩放至所述端到端人体姿态估计网络指定的预设标准分辨率尺寸,并执行坐标相对归一化处理,得到所述预处理后的鱼眼图像。
17、在上述方案中,每张所述预处理后的鱼眼图像对应的人体关键骨骼点的坐标预测值通过以下步骤得到:
18、通过所述骨干特征提取模块提取所述预处理后的鱼眼图像的高维空间特征图;
19、将所述高维空间特征图输入至所述多级级联回归头部,利用所述所述多级级联回归头部的第一线性映射层和激活函数对所述高维空间特征图进行非线性特征变换,得到多维通道特征向量;
20、对所述多维通道特征向量应用随机失活算法进行正则化约束,并通过所述多级级联回归头部的第二线性映射层对所述多维通道特征向量进行空间维度压缩,得到一维级联回归向量;
21、对所述一维级联回归向量进行空间张量形状重塑,生成符合预设骨骼点矩阵形状的预测坐标张量,根据所述预测坐标张量得到所述预处理后的鱼眼图像中目标人体的各个人体关键骨骼点的坐标预测值。
22、在上述方案中,根据各张所述预处理后的鱼眼图像的坐标预测误差确定所述目标批次的平均空间损失,包括:
23、针对每一预处理后的鱼眼图像中目标人体的每一人体关键骨骼点,确定所述人体关键骨骼点的坐标预测值以及真实坐标值,并根据所述人体关键骨骼点的坐标预测值以及真实坐标值确定所述人体关键骨骼点的坐标误差;
24、根据各张所述处理后的鱼眼图像中的各个所述人体关键骨骼点的坐标误差确定所述目标批次的平均空间损失。
25、根据本技术实施例的一方面,提出了一种面向鱼眼图像的人体姿态估计装置,所述装置包括:
26、构建单元,用于构建初始的端到端人体姿态估计网络;
27、第一获取单元,用于获取包含目标人体的多张鱼眼图像,对所述多张鱼眼图像进行人像边界框检测、标准化裁剪与坐标相对归一化处理,得到预处理后的多张鱼眼图像,并从每张预处理后的鱼眼图像中获取所述目标人体的关键骨骼点的真实坐标值;
28、预测单元,用于将所述预处理后的多张鱼眼图像作为同一目标批次的训练样本,输入至所述初始的端到端人体姿态估计网络当中,得到与所述预处理后的多张鱼眼图像分别一一对应的人体关键骨骼点的坐标预测值;
29、确定单元,用于针对每一预处理后的鱼眼图像,根据与所述预处理后的鱼眼图像对应的坐标预测值和与所述预处理后的鱼眼图像对应的真实坐标值确定所述预处理后的鱼眼图像的坐标预测误差;
30、训练单元,用于根据各张所述预处理后的鱼眼图像的坐标预测误差确定所述目标批次的平均空间损失,并根据所述平均空间损失训练所述初始的端到端人体姿态估计网络,得到训练后的端到端人体姿态估计网络;
31、推理单元,用于将待测鱼眼图像输入至所述训练后的端到端人体姿态估计网络,输出所述待测鱼眼图像当中的人体的各个关键骨骼点的坐标预测值,以根据所述待测鱼眼图像当中的人体的各个关键骨骼点的坐标预测值对所述人体进行姿态估计。
32、根据本技术实施例的一方面,提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现如上所述的面向鱼眼图像的人体姿态估计方法。
33、根据本技术实施例的一方面,提供了一种计算机程序产品,所述计算机程序产品包括计算机程序,所述计算机程序被电子设备的处理器读取并执行,使得所述电子设备执行如上所述的面向鱼眼图像的人体姿态估计方法。
34、本技术的有益效果:本技术通过构建端到端人体姿态估计网络,对鱼眼图像进行人像边界框检测、标准化裁剪与坐标相对归一化处理,能够直接从具有较大非线性畸变的鱼眼图像中回归出多点人体关键骨骼点的预测坐标,而无需进行繁琐的图像矫正或高成本的相机标定。
35、在此基础上,通过人体关键骨骼点的真实坐标值与坐标预测值之间的预测误差,能够直接得到该目标批次的平均空间损失,以此来训练初始的端到端人体姿态估计网络,使得训练后的端到端人体姿态估计网络的预测精度更高,准确性更好,这样,在实际推理阶段,将待测鱼眼图像输入至所述训练后的端到端人体姿态估计网络,能够使得输出的待测鱼眼图像当中的人体的各个关键骨骼点的坐标预测值更接近于其真实值,显著提升了鱼眼图像中人体关键骨骼点定位的准确度与该网络的整体鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com