生物体的步态行为分析方法、装置、存储介质及产品与流程

1.本技术涉及医学研究技术领域，尤其涉及一种生物体的步态行为分析方法、装置、存储介质及产品。


背景技术：

2.动物实验作为各项生命科学学科的重要基础，越来越受到科研人员的重视。准确高效的动物实验数据是后续各项研究的重要基础。因此，对动物姿态分析，并及时获取实验数据以及建立一套完整可靠的评估系统是目前动物实验的研究重点。
3.现有技术中，生物体姿态分析往往采用肉眼观察的方式，该方法无法准确的获取某种生物体的步态指标，更无法准确的对生物体体的步态行为进行分析。


技术实现要素：

4.鉴于现有技术中的上述缺陷或不足，期望提供一种生物体的步态行为分析方法、装置、存储介质及产品，可以通过获取生物的步态数据，根据步态数据得到生物的姿态，以得到生物体的步态行为，从而达到生物体行为结果的目的，而且可以有效的减少因人为分析而产生的误差。
5.第一方面，本技术实施例提供了一种生物体的步态行为分析方法，包括：
6.获取生物体的步态数据；
7.基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态；
8.基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
9.在一些实施例中，在所述基于所述生物体的步态数据进行姿态估计之前，还包括：
10.从所述生物体的步态数据中提取有效的步态数据，其中，所述有效的步态数据包括清晰度、分辨率目标位置符合预设范围的数据。
11.在一些实施例中，所述基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态，包括：
12.将所述生物体的步态数据输入姿态估计网络模型中，得到所述生物体的动作姿态。
13.在一些实施例中，获取生物体的步态数据样本；
14.将所述生物体的步态数据样本输入初始姿态估计网络模型中，并根据所述初始姿态估计网络模型的输出和标签样本之间的损失，对所述初始姿态估计网络模型进行训练，得到所述姿态估计网络模型，其中，所述标签样本包括所述生物体的步态数据样本的动作姿态。
15.在一些实施例中，所述基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为，包括：
16.根据所述生物体的动作姿态，得到所述生物体的步态图；
17.根据所述步态图确定所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
18.在一些实施例中，所述根据所述步态指标分析所述生物体的步态行为，包括：
19.根据所述步态指标和所述生物体的多个时期的步态指标样本，分析所述步态行为对应的生物体的体征。
20.在一些实施例中，在基于所述生物体的动作姿态之后，还包括：
21.根据所述生物体的步态关系对所述生物体的动作姿态进行修正。
22.第二方面，本技术实施例提供一种生物体的步态行为分析装置，包括：步态数据采集单元，用于获取生物体的步态数据；姿态估计单元，用于基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态；步态指标计算单元，用于基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
23.第三方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于实现如上第一方面所述的生物体的步态行为分析方法。
24.第四方面，本技术实施例提供一种计算机程序产品，其上存储有计算机程序，所述计算机程序用于实现如上第一方面所述的生物体的步态行为分析方法。
25.本技术实施例提供的生物体的步态行为分析方法、装置、存储介质及产品，首先获取该生物体的步态数据，以得到生物体的动作姿态，并根据基于动作姿态生成的步态指标进行分析。基于该方法，可以有效的降低人为分析时因主观原因所产生的误差，保证步态指标分析所述生物体的步态行为时数据的准确性。
附图说明
26.通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本技术的其它特征、目的和优点将会变得更明显：
27.图1为本技术实施例的生物体的步态行为分析方法的流程图；
28.图2为本技术实施例的获取生物体的步态数据的示意图；
29.图3为本技术实施例的生物体的步态图的示意图；
30.图4为本技术实施例的生物体的步态分析图；
31.图5为本技术另一个实施例的生物体的步态分析图；
32.图6为本技术实施例的生物体的步态行为分析装置的结构框图；
33.图7为本技术实施例的生物体有效步态区间示意图；
34.图8为本技术实施例的生物体关键点距离地面高度示意图；
35.图9为本技术实施例的生物体髋-踝垂直方向距离图。
具体实施方式
36.下面结合附图和实施例对本技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关公开，而非对该公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与公开相关的部分。
37.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
38.以下结合附图描述根据本发明实施例的生物体的步态行为分析方法、装置、存储介质及产品。
39.图1是本技术一个实施例的生物体的步态行为分析方法的流程图，如图1所示，根据本技术一个实施例的生物体的步态行为分析方法，包括如下步骤：
40.s101，获取生物体的步态数据。
41.具体的，获取生物的步态数据。
42.举例说明，可以通过视频拍摄的形式获取生物体的视频，以获得步态数据。在此以获取猴子下肢步态进行举例，如图2所示，通过以固定角度对猴子下肢进行录像获取视频数据，并获取猴子下肢关键部位运动轨迹信息，以获取步态数据。
43.在一些实施例中，还可以采用高速摄像机和跑步机，在跑步机上对生物体进行步态数据采集，这样可以使摄像机保持稳定的状态，以保证通过录像获取的步态数据有更高的准确度。
44.s102，基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态。
45.具体的，根据预先获得的步态数据，通过深度学习的方法对获取的生物体步态数据进行估计，从而得到生物体的动作姿态，以通过大量的数据学习以确保状态估计的准确性。
46.在一些实施例中，在所述基于所述生物体的步态数据进行姿态估计之前，还包括：从所述生物体的步态数据中提取有效的步态数据，其中，所述有效的步态数据包括清晰度、分辨率目标位置符合预设范围的数据。
47.具体的，通过此方法获取的步态数据并不是所有都符合进行姿态估计的要求，由于部分步态数据因步态视频的清晰度较低；或者无法完全识别视频，或因动作捕捉设备故障而导致关键位置偏移，从而导致步态数据无效。比如无法定位脚部位置；或者不符合常规的步态数据。根据以上原因，需要获取有效步态视频数据，并删除异常数据，以减小运算量、降低数据误差，数据的预设范围可以根据实施项分析需求动态调整。
48.在一些实施例中，所述基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态，包括：
49.将所述生物体的步态数据输入姿态估计网络模型中，得到所述生物体的动作姿态。
50.具体的，大量步态数据对姿态估计网络模型进行训练，将生物体的步态数据输入至训练好的姿态估计网络模型中，以得到生物体的动作姿态。该姿态估计网络模型可以通过有限的训练数据训练此深度学习网络。
51.举例说明，经过训练的姿态估计网络模型可以通过生物体的运动视频，即步态数据，得到生物体的动作姿态，该动作姿态包括生物体步态关键点位置信息和置信度。在另一些实施方式中，还可以将步态关键点位置绘制在生物体的运动视频中。
52.在另一些实施方式中，姿态估计网络模型还包括步态指标计算模块，
53.在一些实施例中，获取生物体的步态数据样本；
54.将所述生物体的步态数据样本输入初始姿态估计网络模型中，并根据所述初始姿态估计网络模型的输出和标签样本之间的损失，对所述初始姿态估计网络模型进行训练，得到所述姿态估计网络模型，其中，所述标签样本包括所述生物体的步态数据样本的动作
姿态。
55.具体的，首先获取该生物的步态数据样本，该生物体的步态样本为预先的准备的生物体步态视频和对应的标签。将步态数据样本输入该姿态估计网络模型进行训练，当姿态估计网络模型的输出和样本标签之间的差值在预设范围内时，则说明该模型训练成功。
56.在此，获取生物体步态视频标注数据时，可通过预处理的方式减少标注量，即对已获取的视频数据进行抽帧和剪裁，以保证生物体位于视频中心并采用k-means算法提取视频数据中的关键帧进行标注，生成的训练数据中包含多种情况下的生物体姿态。
57.在另一个实施例中，采用deeplabcut工具包，以resnet50为baseline，训练和预测的数据均以生物体活动范围进行裁剪；验证集与训练集比例设为0.15；批尺寸设为1；学习率设为常量0.001；姿态估计网络模型训练总步数设为60000步，其中0～14000步学习率为0.005，14000～30000步为0.02，30000～45000步为0.002，45000～60000步为0.001；训练过程中，每2500步保存一次姿态估计网络模型，共保存12个，新姿态估计网络模型会覆盖之前姿态估计网络模型，最后对所有模型进行评估，选取最优姿态估计网络模型。
58.在一些实施例中，所述姿态估计网络模型包括deeplabcut、hrnet、openpose或hourglass。
59.具体的，以deeplabcut为例，deeplabcut构建姿态估计网络模型，deeplabcut通常用于对动物进行姿态估计，deeplabcut建立在现有的动物姿态估计算法基础上，可以通过有限的训练数据训练姿态估计网络模型。deeplabcut支持多种生物体的姿态估计，如马、猴、大鼠的预测。hrnet、openpose或hourglas也可以构建姿态估计网络模型。
60.s103，基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
61.具体的，根据获取的生物体动作姿态，以得到生物体的步态指标，并根据获得的步态指标分析目前生物体的步态行为。
62.在一些实施例中，在得到所述生物体的步态指标之前，还包括：从所述生物体的动作姿态中提取步态起始帧并剔除异常步态帧。
63.具体的，在此选取猴子脚趾进行有效步态区间内计算，有效步态区间计算包含寻找有效步态区间、步态异常筛选和指标计算三个方面。有效步态区间依照预测位置的置信度，通过公式：
64.计算加权脚趾距原点的距离并绘制距离曲线，通过多次平滑操作去除小峰，然后通过递归寻找峰值所在帧并剔除峰值过小的异常帧，最后依据步态间隔时间选取有效步态区间，其中(xi,yi)表示第i帧脚趾坐标，w为权重参数，coef为脚趾关键点置信度。该有效步态区间的起始帧获取由图7示出。
65.在实际应用过程中还有部分数据为异常数据，举例说明，异常步态数据包含关键点位置关系筛选和距离筛选：依据关键点位置关系，如猴字髋-膝和膝-髁所组成的角与膝-髁和髁-脚趾所组成的角，均应小于180
°
且角的朝向异向。以髋为原点，则膝应在第一或第四象限、以膝为原点，则髁应在第三或第四象限等。依据关键点距离关系，计算生物体步态数据中所相连关键点的平均距离，若存在步态数据中某帧关键点距离大于平均距离的1.5倍或小于平均距离的0.3倍，则该帧距离为异常数据。
66.指标计算具体为：包含osct(one step cycle time)、oscd(one step cycle distance)、膝和髁关节角度最大最小值、步高等计量指标。osct为一步所需的时间，oscd为一步的距离，公式如下：
[0067][0068]
步高为一步过程中髁所抬起的最大高度。
[0069]
其中，osct为生物体的步态数据中完整步态的帧数与帧率的比值，v为跑步机的速度，x
start
和x
end
分别为生物体起始步态和结束步态脚趾所在的x轴坐标，ratio为视频像素与现实距离的比例，为跑步机平面与x轴的夹角。
[0070]
举例说明，在此以猴子作为生物体进行举例，基于深度神经网络，预先通过大量的生物的姿态数据进行训练，用于得到生物体的步态指标。根据该步态指标可以分析猴子右下肢步态恢复情况。该方法可以针对采集到的猴子步态视频进行准确姿态估计，并基于姿态估计结果绘制步态图，同时结合多时期多样本进行全阶段步态恢复情况分析，可以有效的对生物体步态行为进行总结。与现有技术相比，利用姿态估计进行步态恢复分析，可以提供更高的精度且提供量化的能力。
[0071]
在一些实施例中，所述基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为，包括：
[0072]
根据所述生物体的动作姿态，得到所述生物体的步态图；
[0073]
根据所述步态图确定所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0074]
具体的，通过获取生物体关键部位的位置，确定动作姿态，进而生成生物体的步态图，该步态图如图3所示；髋-踝垂直方向距离图，如图9所示；根据步态图确定生物的步态指标，如膝关节的位置等，并生成相应的图表对步态进行分析。
[0075]
举例说明，在此以猴子下肢进行举例，通过获取髋、膝盖、脚踝、脚趾的位置，得到猴子的步态图，步态图如图3所示。获取生物体关键点，以猴子下肢进行举例，关键点为：髋、膝盖、脚踝、脚趾，获取这些关键点不同时段的位置生成相应的分析结果，如：得到猴子下肢的运动速度等参数，并进行分析，如判断猴子下肢神经恢复状态、猴子下肢肌肉恢复状态、猴子下肢骨骼恢复状态等，图4为生物体一段时间内、跑步机速度为1km/h下oscd的关系图，图5为一段时间内、跑步机速度为2km/h下osct的关系图，该分析结果如图4和图5所示；图8为关键点距离地面高度示意图。
[0076]
在一些实施例中，所述根据所述步态指标分析所述生物体的步态行为，包括：
[0077]
根据所述步态指标和所述生物体的多个时期的步态指标样本，分析所述步态行为对应的生物体的体征。
[0078]
具体的，将该生物体的多样本进行分析，以得到该生物体不同时期的步态指标，通过该方法可以进行生物体历史状态的步态分析，提供更精确的数据。
[0079]
在一些实施例中，在基于所述生物体的动作姿态之后，还包括：
[0080]
根据所述生物体的步态关系对所述生物体的动作姿态进行修正。
[0081]
具体的，生物体可以包括若干动物，如，狗、猫、猴等等，步态指标计算后，对动作姿态进行修正，以保证步态计算的准确度。由于部分步态数据因步态视频的清晰度较低；或者
无法完全识别视频，比如无法定位脚部位置等原因，导致识别出的结果出现偏差，需要对生物体姿态进行修正，以得到准确的结果。
[0082]
在一个实施例中，如图6所示，图6是本技术一种生物体的步态行为分析装置的结构框图，提供了一种生物体的步态行为分析装置，包括：步态数据采集单元210、姿态估计单元220、步态指标计算单元230。
[0083]
步态数据采集单元210，用于获取生物体的步态数据；
[0084]
姿态估计单元220，用于基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态；
[0085]
步态指标计算单元230，用于基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0086]
在一个实施例中，姿态估计单元220还包括：所述基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态，包括：
[0087]
将所述生物体的步态数据输入姿态估计网络模型中，得到所述生物体的动作姿态。
[0088]
在一个实施例中，步态指标计算单元230包括：
[0089]
根据所述生物体的动作姿态，得到所述生物体的步态图；
[0090]
根据所述步态图确定所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0091]
在一个实施例中，步态指标计算单元230包括：
[0092]
根据所述步态指标和所述生物体的多个时期的步态指标样本，分析所述步态行为对应的生物体的体征。
[0093]
综上，本技术提供的生物体的步态行为分析装置，首先获取该生物体的步态数据，以得到生物体的动作姿态，并根据基于动作姿态生成的步态指标进行分析。基于该方法，可以有效的降低人为分析时因主观原因所产生的误差，保证步态指标分析所述生物体的步态行为时数据的准确性。
[0094]
在一个实施例中，提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取生物体的步态数据；基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态；基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0095]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：将所述生物体的步态数据输入姿态估计网络模型中，得到所述生物体的动作姿态。
[0096]
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：根据所述生物体的动作姿态，得到所述生物体的步态图；
[0097]
根据所述步态图确定所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0098]
在一个实施例中，根据所述步态指标和所述生物体的多个时期的步态指标样本，分析所述步态行为对应的生物体的体征。
[0099]
综上，本技术提供的一种非临时性计算机可读存储介质，首先获取该生物体的步态数据，以得到生物体的动作姿态，并根据基于动作姿态生成的步态指标进行分析。基于该
方法，可以有效的降低人为分析时因主观原因所产生的误差，保证步态指标分析所述生物体的步态行为时数据的准确性。
[0100]
在一个实施例中，提供了一种计算机程序产品，当计算机程序产品中的指令由移动终端的处理器执行时，使得通讯设备能够执行以下步骤：获取生物体的步态数据；基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态；基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0101]
在一个实施例中，所述基于所述生物体的步态数据进行姿态估计，得到所述生物体的动作姿态，包括：将所述生物体的步态数据输入姿态估计网络模型中，得到所述生物体的动作姿态。
[0102]
在一个实施例中，所述基于所述生物体的动作姿态，得到所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为，包括：
[0103]
根据所述生物体的动作姿态，得到所述生物体的步态图；
[0104]
根据所述步态图确定所述生物体的步态指标，并根据所述步态指标分析所述生物体的步态行为。
[0105]
在一个实施例中，所述根据所述步态指标分析所述生物体的步态行为，包括：根据所述步态指标和所述生物体的多个时期的步态指标样本，分析所述步态行为对应的生物体的体征。
[0106]
综上，该产品首先获取该生物体的步态数据，以得到生物体的动作姿态，并根据基于动作姿态生成的步态指标进行分析。基于该方法，可以有效的降低人为分析时因主观原因所产生的误差，保证步态指标分析所述生物体的步态行为时数据的准确性。
[0107]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，比如静态随机存取存储器(static random access memory，sram)和动态随机存取存储器(dynamic random access memory，dram)等。
[0108]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。