一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法

一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法
一、技术领域
1.人体运动量评估、三维人体骨骼关键点估计、计算机视觉、人工智能
二、

背景技术：

2.2.1通用技术方法介绍
3.单目人体3d骨骼关键点估计方法是利用单张图片或同一视角下的多帧图片对人体的肩、肘、腕、髋、膝、踝等关节等关键部位生成空间坐标的方法。
4.卷积神经网络是利用卷积核在图片或特征上滑动提取特征的方法，是广泛采用的技术。
5.线性回归模型公式为y＝ax b，利用特征x和标签y之间的结果计算系数a和b。
6.2.2相似方法介绍
7.已有的身体活动强度方法主要基于硬件设备实现。通常这类设备包含了各类传感器，并以6轴加速度计计算不同时刻人体不同部位在三维空间上的加速度与角度转动，从而估计人的身体活动强度。
8.本申请的方法是一种基于计算机视觉和深度学习神经网络进行人的身体活动强度评估的方法。本申请方法利用已有的三维人体骨骼关键点估计方法的结果作为算法基础，并进一步估算人体各个关键部位的空间位移，从而达到评估目的。
三、

技术实现要素：

9.本申请在融合了创新技术和已有方法的基础上，本专利实现了一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法。
10.首先，对于人一段动作中每相隔0.5秒的动作所对应的三维人体骨骼关键点，计算其不同人体骨骼关键点的空间位移的绝对值，并将各骨骼关键点的空间位移的绝对值组成位移向量，记作差分时间的人体结构化运动特征。其次，将差分时间的人体结构化运动特征作为深度回归模型的输入，并最终回归估计其运动量。其中，深度回归模型仅包含一个卷积层、一个全连接层和一个线性回归层。最后，对每秒内所有帧所对应的估计的运动量的平均值作为该秒运动量的最后评价结果。
四、附图说明
11.图1是本申请的方法的神经网络的结构图。
12.该方法将相隔0.5秒的两帧(t时刻和t i时刻)的三维人体骨骼关键点坐标相减并取空间位移的绝对值，将各个骨骼关键点对应的绝对值空间位移组成特征向量，输入到本方法提出包括了一个卷积层和一个全连接层的深度模型中，并用线性回归模型估计其0.5秒的运动量。
13.将差分时间的人体结构化运动特征作为深度回归模型的输入，并最终回归估计其
运动量；(2)深度回归模型仅包含一个卷积层、一个全连接层和一个线性回归层；(3)最终的结果是每秒内所有帧估计的运动量的平均值作为该秒运动量的最后评价结果。
五、具体实施方式
14.本申请通过3个步骤，本专利实现了对人的身体活动强度估计。
15.步骤一：生成差分时间三维人体结构化特征
16.将每隔0.5秒的两帧同样的人的三维人体骨骼关键点的坐标相减并取空间位移的绝对值。
17.步骤二：估计差分时间内的人体运动量
18.将上一步特征输入附图1所示的包含了卷积层与全连接层的深度模型中，并用线性回回模型得出该时刻的人体运动量的估计值。
19.步骤三：时间窗口滑动平均
20.在1秒内，对所有时刻(所有帧)的人体运动量求平均值，即为该秒内最终的人体运动量评估的结果。
21.参考文献：
22.[1]muhammedkocabas，nikosathanasiou，michaelj.black：vibe：videoinferenceforhumanbodyposeandshapeestimation.cvpr2020：5252-5262


技术特征：
1.本发明专利提供了一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法。其特征在于如下步骤：(1)对于人一段动作中每相隔0.5秒的动作所对应的三维人体骨骼关键点，计算其不同人体骨骼关键点坐标的空间位移的绝对值，并将各骨骼关键点的空间位移的绝对值组成位移向量，记作差分时间的人体结构化运动特征；将差分时间的人体结构化运动特征作为深度回归模型的输入，并最终回归估计其运动量；(2)深度回归模型仅包含一个卷积层、一个全连接层和一个线性回归层；(3)最终的结果是每秒内所有帧估计的运动量的平均值作为该秒运动量的最后评价结果。

技术总结
本发明专利提供了一种基于差分时间三维人体结构化深度回归模型的身体活动强度估计方法。其特征在于：(1)对于人一段动作中每相隔0.5秒的动作所对应的三维人体骨骼关键点，计算其不同人体骨骼关键点坐标的空间位移的绝对值，并将各骨骼关键点的空间位移的绝对值组成位移向量，记作差分时间的人体结构化运动特征；将差分时间的人体结构化运动特征作为深度回归模型的输入，并最终回归估计其运动量；(2)深度回归模型仅包含一个卷积层、一个全连接层和一个线性回归层；(3)最终的结果是每秒内所有帧估计的运动量的平均值作为该秒运动量的最后评价结果。最后评价结果。


技术研发人员：周志雄 王秋睿
受保护的技术使用者：首都体育学院
技术研发日：2022.02.21
技术公布日：2022/5/20