基于姿态识别的人体模型建立方法与流程

技术特征：
1.一种基于姿态识别的人体模型建立方法，包括如下步骤：s1.获取人体模型基础数据；s2.对步骤s1获取的人体模型基础数据采用检测网络进行检测，并得到检测模型；s3.对步骤s2得到的检测模型，采用姿态检测算法进行二维姿态估计，从而得到估计模型；s4.对步骤s3得到的估计模型进行对称空间变换，从而提取单人区域；s5.对步骤s4得到的单人区域进行检测冗余的处理，从而得到人体姿态估计以及人体关节点的像素坐标；s6.根据步骤s5得到的像素坐标，进行关节角度的运动信息计算；s7.根据步骤s6得到的计算结果，建立人体模型。2.根据权利要求1所述的基于姿态识别的人体模型建立方法，其特征在于步骤s2所述的对步骤s1获取的人体模型基础数据采用检测网络进行检测，具体为采用yolo v3检测网络检测人体；采用如下步骤进行检测：通过darknet53网络对输入数据进行特征提取，得到特定大小的特征图输出；然后将得到的图像分成13*13的网格大小，同时规定若真实框中某个物体的中心坐标落在某个网格中，那么就由该网格来预测该物体；同时，每个物体由三个边界框进行预测，使用逻辑回归网络确定预测的回归框；在yolo v3检测网络中，yolo v3_body共有252层，其中23个res_unit层对应23个add层，bn层共72层，leakyrelu层共72层；每一层bn层后面均连接一层leakyrelu层；此外，上采样和张量拼接操作各2个，5个零填充对应5个res_block；yolo v3使用一个53层的卷积网络作为特征提取网络；特征提取网络残差单元叠加而成，同时采用k
‑
means聚类算法确定bounding box的初始尺寸；同时使用9个默认框，每个默认框与不同尺寸特征图对应关系为：13*13的feature map对应[(116*90),(156*198),(373*326)]，26*26的feature map对应[(30*61),(62*45),(59*119)]，52*52的feature map对应[(10*13),(16*30),(33*23)]；yolo v3采用直接预测相对位置的方法，预测出b
‑
box中心点相对于网格单元左上角的相对坐标，直接预测出(t
x
,t
y
,t
w
,t
h
,t
o
)，然后通过以下坐标偏移公式计算得到b
‑
box的位置大小和置信度：b
x
＝σ(t
x
) c
x
b
y
＝σ(t
y
) c
yy
p
r
(object)*iou(b,object)＝σ(t
o
)式中(t
x
,t
y
,t
w
,t
h
,t
o
)为模型的预测输出；c
x
和c
y
为网格的坐标；和p
h
为预测前bounding box的尺寸；为预测得到的bounding box的中心坐标和尺寸；训练坐标值时，采用平方和距离误差损失进行训练；yolo v3为每个真实对象分配一个边界框；若边界框与真实对象不吻合，则不会产生坐
标或类别预测损失，只会产生物体预测损失；yolo v3采用若干个独立的logistic分类器解决多标签分类问题；yolo v3采用若干个尺度融合进行预测，同时采用上采样和融合算法，在若干个尺度的特征图上进行检测。3.根据权利要求2所述的基于姿态识别的人体模型建立方法，其特征在于步骤s3所述的采用姿态检测算法进行二维姿态估计，具体为采用stacked hourglass姿态检测算法进行二维姿态估计。4.根据权利要求3所述的基于姿态识别的人体模型建立方法，其特征在于所述的采用stacked hourglass姿态检测算法进行二维姿态估计，具体为采用如下步骤进行估计：采用4阶hourglass module模块；每次降采样之前，分出上半路保留原尺度信息；每次升采样之后，和上一尺度的数据相加；两次降采样之间，使用三个residual模块提取特征；两次相加之间，使用一个residual模块提取特征；将feature map层层叠加，最后一个大的feature map保留所有层的信息；最后该网络得到每个关节点的heatmap，并组合hourglass；将第一个沙漏网络给出的热力图作为下一个沙漏网络的输入，从而提升了关节点的预测精度。5.根据权利要求4所述的基于姿态识别的人体模型建立方法，其特征在于所述的4阶hourglass module模块，具体为采用如下步骤构建4阶hourglass module模块：a.构造一阶hourglass module模块：一阶hourglass module模块包括max pool模组、第一res模组、第二res模组、第三res模组、up sample模组和第四res模组；其中max pool模组、第一res模组、第二res模组、第三res模组和up sample模组串联，第四res模组的输入端连接模块输入端，第四res模组的输出端连接模块输出端；b.将一阶hourglass module模块替换一阶hourglass module模块中的第二res模组，从而得到二阶hourglass module模块；c.将步骤b得到的二阶hourglass module模块替换一阶hourglass module模块中的第二res模组，从而得到三阶hourglass module模块；d.将步骤c得到的三阶hourglass module模块替换一阶hourglass module模块中的第二res模组，从而得到最终的四阶hourglass module模块。6.根据权利要求5所述的基于姿态识别的人体模型建立方法，其特征在于步骤s4所述的对步骤s3得到的估计模型进行对称空间变换，具体为采用如下步骤进行对称空间变换：空间转换网络stn能够将输入的图片进行空间变换；空间逆变换网络sdtn将估计的人体姿势重新映射回原始图像坐标；sdtn模块接收一个由定位网络生成的参数θ，然后反向转换计算参数γ；使用stn网络提取一个人体区域框：
其中θ1、θ2和θ3为二维空间向量；和为转换前的坐标；和为转换后的坐标；sdtn网络为反向转换和生成网格计算参数γ：并行单人人体姿态网络sppe：为了训练stn模块的参数，通过在数据集中指定位于中心的姿势标签，同时在训练阶段冻结并行sppe模块的所有权重，其目的是将姿态定位后产生的误差反向传播到stn模块；parallel sppe只有在训练阶段才会产生作用。7.根据权利要求6所述的基于姿态识别的人体模型建立方法，其特征在于步骤s5所述的进行检测冗余的处理，具体为采用基于姿态的非最大值抑制p
‑
pose nms算法进行处理。8.根据权利要求7所述的基于姿态识别的人体模型建立方法，其特征在于所述的采用基于姿态的非最大值抑制p
‑
pose nms算法进行处理，具体为采用如下步骤进行处理：根据消除准则将靠近该参考的区域框进行删除，重复若干次，直到冗余的识框被消除并且每个识别框均唯一；具有m个关节的姿势pi表示为其中为第j个关节的位置，为第j个关节的置信分数；消除法则：定义姿态相似度，d()作为姿态之间的距离度量，定义η作为消除标准的阈值，λ表示函数d()的参数集合：该等式的意义为：将姿态p
i
与参考姿态p
j
做距离度量计算，d(p
i
,p
j
|λ,λ)代表姿态p
i
和姿态p
j
的距离度量值，f(p
i
,p
j
|λ,η)；若d(p
i
,p
j
|λ,λ)≤η，则f(p
i
,p
j
|λ,η)取值为1，同时表示参考姿势p
i
冗余，需要被消除；姿态距离软匹配函数：如果在内式中k
sim
(p
i
,p
j
|σ1)为姿态p
i
和姿态p
j
的匹配函数；为姿态p
i
中每个关节的置信分数；σ1为归一化参数，对每个
关节的置信分数归一化到一个统一的变化范围；为姿态p
j
中某一个关节的位置；为姿态p
i
中某个关节的位置，为预测姿态p
i
中某个关节的检测框位置；如果姿态p
j
中某个关节的位置在预测姿态p
i
的检测框内，则对姿态p
i
和p
j
进行匹配函数的计算；空间距离可以定义为：式中h
sim
(p
i
,p
j
|σ2)为姿态p
i
和姿态p
j
的空间距离；σ2为归一化参数；最终距离定义为：d(p
i
,p
j
|λ)＝k
sim
(p
i
,p
j
|σ1) λh
sim
(p
i
,p
j
|σ2)式中λ为加权系数。9.根据权利要求8所述的基于姿态识别的人体模型建立方法，其特征在于步骤s6所述的关节角度的运动信息计算，具体为采用如下算式计算关节角度的运动信息：的关节角度的运动信息计算，具体为采用如下算式计算关节角度的运动信息：的关节角度的运动信息计算，具体为采用如下算式计算关节角度的运动信息：的关节角度的运动信息计算，具体为采用如下算式计算关节角度的运动信息：式中a为下端点关节点到中间关节点的像素距离；b为上端点关节点到下端点关节点的像素距离；c为上端点关节点到中间关节点的像素距离；b为三个关节点所组成的夹角；取三个相邻关节点组成三角形，(x2,y2)为中间关节点的二维像素坐标，(x1,y1)为上端点的关节点的二维像素坐标，(x3,y3)为下端点的关节点的二维像素坐标。10.根据权利要求9所述的基于姿态识别的人体模型建立方法，其特征在于步骤s7所述的建立人体模型，具体为采用如下步骤建立人体模型：(1)运动模拟系统的建立；(2)获取运动学数据；(3)优化反求肌肉激活，计算能量消耗：1)对输入的关节角度进行处理，得到目标的关节角加速度：式中q
..
(t t)为t t时刻的目标角加速度；为表示t t时刻采集到的运动学数据处理得到的角加速度；k
v
和k
p
为控制权重；为t时刻的实际角速度；q
.
(t)为t时刻的目标角速度；q
exp
(t)为t时刻的实际角度；q(t)为t时刻的目标角度；2)进行激活优化计算：
式中x
i
为第i条肌肉激活；n
x
为肌肉的总数目；n
q
为目标关节数目；ω
j
为各个关节所占优化目标的权重；为目标角加速度；为实际角加速度；3)能量消耗估算的计算公式：3)能量消耗估算的计算公式：式中m
i
为每条肌肉的质量；ρ为肌肉密度；f
max,i
为第i块肌肉的肌肉最大等长收缩力；l
opt,i
为第i块肌肉的最佳肌纤维长度；σ为肌肉张力；c
met
为总体能量消耗；为第i条肌肉某时刻的等效激活；m为体重；每时刻基础能量消耗；t为计算消耗的时间区间。

技术总结
本发明公开了一种基于姿态识别的人体模型建立方法，包括获取人体模型基础数据；采用检测网络检测得到检测模型；采用姿态检测算法进行二维姿态估计得到估计模型；对估计模型进行对称空间变换提取单人区域；对单人区域进行检测冗余处理得到人体姿态估计以及人体关节点的像素坐标；进行关节角度的运动信息计算和建立人体模型。本发明提供的这种基于姿态识别的人体模型建立方法，通过创新性的算法设计对人体模型进行建立，从而保证了算法本身的可靠性高，而且本发明方法准确性好且易于实施。而且本发明方法准确性好且易于实施。而且本发明方法准确性好且易于实施。


技术研发人员：莫富灏 于志旺
受保护的技术使用者：湖南大学
技术研发日：2021.08.06
技术公布日：2021/11/4