一种踝关节运动跟踪方法、系统和存储介质与流程

1.本发明涉及人体运动分析领域，尤其涉及一种基于拉伸式织物传感器的踝关节运动跟踪方法、系统和存储介质。


背景技术：

2.人体踝关节运动捕捉具有广泛的应用前景，在运动仿真，3d动画制作，人体运动分析，人体生物力学研究等领域有着重要应用。
3.如何降低设备成本的同时确保高精度、高准确性，是人体运动捕捉研究的一大挑战。传统的关节运动捕捉大多基于光学设备，如vicon系统，使用多台红外摄像机捕捉标记点的坐标，将人体抽象为以躯干和四肢为主的骨架，将反光标记点绑定到骨架并对坐标序列逐帧分析。尽管结果序列的准确度很高，但高昂的设备价格使其只能用于实验环境。一些基于图像序列的方法降低了运动监测的成本，但对环境光线十分敏感。由于运动时双腿交替前行，因此相较于其他人体部位，踝关节存在更严重的遮挡问题，需要更复杂的算法来支持基于光学的方法，增大软件量级的同时势必也影响运算速度，不利于实时监测。


技术实现要素：

4.有鉴于现有技术的上述缺陷，本发明的目的是提供一种踝关节运动跟踪方法，以实现在确保高精度的同时有效避免了遮挡问题。
5.为实现上述目的，本发明提供了一种踝关节运动跟踪方法，包括以下步骤：
6.步骤s1：获取踝关节的光学运动数据和传感器运动数据，并以传感器运动数据为预测器，光学运动数据为目标训练回归模型；
7.步骤s2，将传感器运动数据输入回归模型，获得踝关节的运动数据。
8.进一步的，所述步骤s1具体包括：
9.步骤s11：动态足部表面的形状捕捉，包括光学捕捉和传感器捕捉，获得光学运动数据和传感器运动数据，所述传感器运动数据汇集为传感器时间序列；
10.步骤s12，计算踝关节角度：根据光学运动数据确定踝关节旋转中心，计算踝关节扭转角度，生成角度时间序列；
11.步骤s13，数据清洗：通过插值或间隔取值，使角度时间序列和传感器时间序列的数据、时间戳一致；
12.步骤s14，训练回归模型：根据数据清洗后的角度时间序列和传感器时间序列的数据，进行多元回归分析，以传感器时间序列作为预测器，角度时间序列作为目标训练回归模型。
13.进一步的，所述步骤s11中的传感器捕捉，包括以下步骤：
14.将柔性运动捕捉设备穿戴在足部，使所述柔性运动捕捉设备上的多条柔性拉伸传感器围绕踝关节均匀排列，且以胫骨下关节面所在的曲面作为参考面，使各柔性拉伸传感器的中点位于此曲面；将所述柔性拉伸传感器和采集器连接，以采集踝关节的运动数据；所
述柔性运动捕捉设备是将多条柔性拉伸传感器编织在普通织物中形成的。
15.进一步的，所述步骤s11中的传感器捕捉，还包括：调整柔性拉伸传感器的位置，使其中两条柔性拉伸传感器分别对应跟腱和前踝。
16.进一步的，所述步骤s12包括：
17.将足部运动定义为两个自由度，包括上下自由度和左右自由度，每个自由度包括两个方向；
18.每个方向的三个点组成两个非同向的空间向量，该方向的关节角度被定义为空间向量的夹角，所述空间向量的夹角的公式为：
[0019][0020]
其中d的取值为对应方向，d
n,1
、d
n,2
、d
n,3
表示对应方向的三点，n为数据帧号。
[0021]
进一步的，所述多元回归分析的算法包括：线性回归算法、k近邻算法。
[0022]
本发明还提供了一种踝关节运动跟踪系统，包括柔性运动捕捉设备、采集器和计算机装置；所述柔性运动捕捉设备是将多条柔性拉伸传感器编织在普通织物中，并能穿戴在踝部，所述柔性拉伸传感器围绕踝关节均匀排列，以采集踝关节的运动数据；所述采集器和所述柔性拉伸传感器连接，将采集的模拟信号转换成数字信号并形成传感器运动数据上传计算机装置；所述计算机装置执行如上任一方案所述的踝关节运动跟踪方法。
[0023]
本发明还提供了一种计算机存储介质，存储有一段计算机程序，所述计算机程序被运行于计算机装置执行如上任一技术方案所述的踝关节运动跟踪方法。
[0024]
本发明至少具有如下技术效果：
[0025]
(1)在踝关节运动数据采集上采用一个可穿戴踝关节运动跟踪设备，该设备将可拉伸的传感器编织于普通织物基底，在降低成本的同时支持非实验环境下的运动监测。
[0026]
(2)软件方面，建立了光学运动数据与传感器数据间的关系，基于此创建了回归模型。通过对不同回归方法的调整和验证，确定提高运动重建精度的方法。
[0027]
(3)本发明的踝关节运动跟踪方法在确保高精度的同时有效避免了遮挡问题，可作为此类系统算法改良的参考。
[0028]
(4)与现有的运动捕捉系统相比，本系统在舒适度与长期穿戴上具有独特的优势，具有一定的实用价值。
附图说明
[0029]
图1是本发明的踝关节运动跟踪模型；
[0030]
图2是柔性拉伸传感器围绕踝关节均匀排列的布局示意图；
[0031]
图3是光学捕捉所需的反光标记点的布局示意图；
[0032]
图4是足部运动自由度及方向示意图。
具体实施方式
[0033]
为进一步说明各实施例，本发明提供有附图。这些附图为本发明揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参
考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本发明的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。
[0034]
现结合附图和具体实施方式对本发明进一步说明。
[0035]
本发明提供了一种踝关节运动跟踪方法，包括以下步骤：
[0036]
步骤s1：获取踝关节的光学运动数据和传感器运动数据，并以传感器运动数据为预测器，光学运动数据为目标训练回归模型；
[0037]
步骤s2，将传感器运动数据输入回归模型，获得踝关节的运动数据。
[0038]
在本实施例中，如图1所示，所述步骤s1具体包括：
[0039]
步骤s11：动态足部表面的形状捕捉，包括光学捕捉和传感器捕捉，获得光学运动数据和传感器运动数据，所述传感器运动数据汇集为传感器时间序列；
[0040]
步骤s12，计算踝关节角度：根据光学运动数据确定踝关节旋转中心，计算踝关节扭转角度，生成角度时间序列；
[0041]
步骤s13，数据清洗：通过插值或间隔取值，使角度时间序列和传感器时间序列的数据、时间戳一致；
[0042]
步骤s14，训练回归模型：根据数据清洗后的角度时间序列和传感器时间序列的数据，进行多元回归分析，以传感器时间序列作为预测器，角度时间序列作为目标训练回归模型。
[0043]
现分步骤进行详细说明。
[0044]
步骤s11：动态足部表面的形状捕捉
[0045]
在本实施例中，所述步骤s11中的传感器捕捉，包括以下步骤：
[0046]
将柔性运动捕捉设备穿戴在足部，使所述柔性运动捕捉设备上的多条柔性拉伸传感器围绕踝关节均匀排列，且以胫骨下关节面所在的曲面作为参考面，使各柔性拉伸传感器的中点位于此曲面；将所述柔性拉伸传感器和采集器连接，以采集踝关节的运动数据，踝关节的动作包括背屈、跖屈、外翻、内翻等。
[0047]
如图2所示，根据解剖学原理，踝关节由胫骨、腓骨下端的关节面与距骨滑车构成，因此以胫骨下关节面所在的曲面作为本次布线的参考面，每条柔性拉伸传感器的中点位于此曲面。我们在右脚踝关节部署传感器阵列来检测运动。共使用十二条传感器。根据可穿戴原理，传感器s1和传感器s7分别对应于跟腱和前踝。其余传感器围绕踝关节均匀排列，织物放松状态下，每两根传感器的间隔约为1.5cm。传感器被缝在普通织物袜子表面，以避免与人体皮肤接触后发生的并联现象，对传感器读数产生影响。
[0048]
为实现柔性拉伸传感器的信号采集，设计了一种采集器，该采集器支持24通道的模拟信号采集，采集器测量传感器两端的电压，经低通滤波处理后，并转换成数字信号，这些数字信号通过蓝牙等通信方式上传踝关节运动跟踪系统，进行数据处理，依序形成传感器时间序列。
[0049]
在本实施例中，所述步骤s11中的光学捕捉，采用一种光学运动捕捉系统
‑
qualisys运动捕捉系统，并通过以下方式实现：
[0050]
qualisys运动捕捉系统提供可视化界面以观察标记点的跟踪情况，采用光学方法来捕捉关节角度的变化。标记点的位置被绘制出来，如图3所示。足部被划分为四个方向，脚背方向(f)、跟腱方向(b)、外踝方向(r)、内踝方向(l)，每个方向由上到下设置三个标记点。
受试者首先穿上我们的柔性运动捕捉设备，穿戴方式与普通袜子相同，实验人员将辅助调整柔性拉伸传感器的位置以避免传感器被内外踝突起处影响而导致读数不稳。随后，12个反光标记点将按照图3中标定位置粘贴在柔性运动捕捉设备上，这些标记点用于给qualisys系统提供位置信息。受试者被允许在红外摄像机覆盖范围内走动以便初始化qualisys系统，随后开启采集器记录传感器采集的信息。受试者按照实验人员的提示完成足部动作，动作包括跑，跳，走路，扭动脚踝等。
[0051]
最终获得的运动数据包含光学运动数据和传感器运动数据。其中，qualisys运动捕捉提供算法跟踪12个标记点在摄像机坐标系下的坐标p(x,y,z)，采样速度为每秒100帧。系统将每个时刻的时间戳与12个标记点坐标值封装为一条数据，最终我们得到一个间隔为10毫秒的连续时间序列。
[0052]
步骤s12：计算踝关节角度
[0053]
如图4所示，足部运动分为两个自由度，上下自由度由f、b方向决定，左右自由度由l、r决定。每个方向的三个点可组成两个非同向的空间向量，该方向的关节角度被定义为空间向量的夹角。由此可得到计算公式：
[0054][0055]
其中d的取值为对应方向，d
n,1
、d
n,2
、d
n,3
表示对应方向的三点，n为数据帧号。通过计算，将d
n,1
、d
n,2
、d
n,3
三点对应的弧度值转化为角度值。
[0056]
步骤s13：数据清洗
[0057]
从上我们得知vicon系统与采集器的采样频率并不一致，角度时间序列的数据量是传感器时间序列的五倍。这导致两种不同的思路1)采用插值算法，利用已有的传感器数据估计未被采样的传感器数据，“人为”地提高传感器时间序列密度，这势会降低数据的真实性和准确度；2)对角度时间序列间隔取值，牺牲数据量，但确保用于回归分析的数据是真实的，后期对误差来源的分析将更令人信服。这两种思路都是有意义并可实施。清洗后的时间序列名称后将带有“()”表明清洗方式，如经插值算法处理后的传感器时间序列称为传感器时间序列(插值)。为了公式书写的可读性，角度时间序列的某一帧将以a
n
表示，传感器时间序列的某一帧将以s
n
表示，t表示特征维度。
[0058]
(1)插值算法
[0059]
以角度时间序列为基准，传感器时间序列相当于在每两帧(s
n
,s
n 1
)之间缺失四帧采样值。由于受试者的动作序列是连贯的，数据帧s
n
到s
n 1
间是线性变化的。因此我们选用线性插值算法，根据传感器时间序列中相邻的两个数据帧间的距离，补偿缺失的四帧数据。
[0060]
x为新增采样值帧号，每一新增帧的采样值由其最近两个真实数据帧计算得到。
[0061][0062]
(2)间隔取值
[0063]
以传感器时间序列为基准，角度时间序列的每两帧(a
n
,a
n 1
)之间多余四帧采样值，因此对角度时间序列每隔五帧进行一次取值，角度时间序列(间隔)与传感器时间序列数据、时间戳一致。
[0064]
步骤s14：训练回归模型
[0065]
有了连续一致的数据后，进行多元回归分析。可拉伸传感器的输出信号与qualisys系统捕捉到的踝关节角度间存在相关性。可采用不同的拟合方式，如贝叶斯回归，线性回归，k近邻算法等回归算法来训练回归模型。在回归模型中，传感器时间序列作为预测器，角度时间序列作为目标。
[0066]
(1)k近邻算法的公式为：
[0067][0068]
数据点间的距离度量采用欧式距离，每个点包含12个维度的特征，s，s'为任意两点。
[0069]
(2)线性回归算法的公式为：
[0070][0071]
其中，y是传感器序列的特征值，θ
i
为权重参数，f(y)为目标值。
[0072]
实验结果及分析
[0073]
在本示例中，上述算法在python环境中开发，运行在带有intel i7 9700、rtx1080ti和16g ram的pc上。采用交叉验证的方式分割数据集，并以观测值和预测值之间的简单均方差/误差绝对值作为评估标准。
[0074]
回归模型效果对比
[0075]
回归算法的选用对最终结果有着极大影响，此处将经典的线性回归算法与k近邻算法进行比较。此处k近邻算法的参数k设置为2，数据清洗方式采用间隔取值。表1展示了两种算法的估计误差。评估踝关节运动时，该误差范围在可接受范围。
[0076]
整体看来，k近邻算法明显优于线性回归，尤其是对fangle，绝对误差约降低了3.8
°
，大大提升了回归模型的精度。
[0077]
表1不同线性回归算法的对比
[0078][0079]
其中，fangel、bangle、rangle、langle分别表示方向f、b、r、l的关节角度的误差值。
[0080]
本发明的踝关节运动跟踪方法，在踝关节运动数据采集上采用一个可穿戴踝关节
运动跟踪设备。该设备将可拉伸的传感器编织于普通织物基底，在降低成本的同时支持非实验环境下的运动监测。软件方面，建立了qualisys运动数据与传感器数据间的关系，基于此创建了回归模型。通过对不同回归方法的调整和验证，确定提高运动重建精度的方法。本发明的踝关节运动跟踪方法在确保高精度的同时有效避免了遮挡问题，可作为此类系统算法改良的参考。与现有的运动捕捉系统相比，本系统在舒适度与长期穿戴上具有独特的优势，具有一定的实用价值。
[0081]
从上可以看出，本发明还公开了一种踝关节运动跟踪系统，包括柔性运动捕捉设备、采集器和计算机装置等装置；所述柔性运动捕捉设备是将多条柔性拉伸传感器编织在普通织物中，并能穿戴在踝部，所述柔性拉伸传感器围绕踝关节均匀排列，以采集踝关节的运动数据；所述采集器和所述柔性拉伸传感器连接，将采集的模拟信号转换成数字信号并形成传感器运动数据上传计算机装置；所述计算机装置执行上述的踝关节运动跟踪方法。
[0082]
本发明的踝关节运动跟踪方法，可以形成可运行的计算机程序，存储并运行于服务器等计算机装置。
[0083]
尽管结合优选实施方案具体展示和介绍了本发明，但所属领域的技术人员应该明白，在不脱离所附权利要求书所限定的本发明的精神和范围内，在形式上和细节上可以对本发明做出各种变化，均为本发明的保护范围。