使用柔性传感器进行人体姿势跟踪的用户身份验证方法与流程

1.本发明涉及智能认证领域，具体涉及一种使用柔性传感器进行人体姿势跟踪的用户身份验证方法。


背景技术：

2.现有用户身份认证方法探索了多种生物特征数据的使用，例如指纹、虹膜、面部、ecg。但是，这些方法需要专门的(通常是刚性的和笨重的) 传感器来捕获这些生物特征数据。生物特征认证是指使用人类生理和/或行为特征进行识别。目前，利用生理特征进行生物特征识别的主流方法是：指纹、虹膜、手掌、面部、手指等。主流方法还采用了多种行为特征，包括语音、手写、击键。除了这些传统的生物识别技术外，近年来还出现了新的身份验证方式，例如耳部成像、手臂、头部、和步态的运动。研究人员首先提出将粗粒度的分钟体力活动(步数)和生理数据(心率，卡路里消耗和任务的代谢当量)融合起来，以进行用户身份验证。尽管用于认证的身体部位运动识别方面有大量工作，但是现有设备昂贵或不够小以至于不方便使用。
3.由于柔性电子设备的快速发展，智能服装受到了广泛的关注。人们期望它们能够使人们与世界相互联系，同时在日常活动中不会有太多的干预。在智能服装用作个人设备之前，用户身份验证已成为一个挑战。但是，显式的认证方法(例如，模式锁)受到了包括视觉显示要求在内的若干限制。因此，需要一种用于智能服装用户的认证机制。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术中存在上述缺陷，提供一种能够在对用户活动的干预降到最低的情况下有效实现用户身份验证的方法。
5.根据本发明，提供了一种使用柔性传感器进行人体姿势跟踪的用户身份验证方法，包括：
6.第一步骤：在紧身衣服上布置用于捕获人体手臂的运动模式的多个拉伸传感器；
7.第二步骤：在用户穿着所述紧身衣服时利用所述多个拉伸传感器来捕获人体手臂的运动数据；
8.第三步骤：根据所述多个拉伸传感器捕获的人体手臂的运动数据，采用lstm-fcn对人体手臂的运动进行分类；
9.第四步骤：将分类结果与用户的预定义运动模式进行匹配，以确定用户身份验证结果。
10.优选地，所述多个拉伸传感器包括：布置在身体单侧的五个拉伸传感器，其中四个拉伸传感器放置在肩膀部位肩关节位置处，一个拉伸传感器放置在肘部部位肘关节位置处。
11.优选地，所述多个拉伸传感器缝制到所述紧身衣服上。
12.优选地，拉伸传感器是导电橡胶线拉伸传感器。
13.优选地，通过监测可拉伸传感器的电阻值的变化来跟踪关节的旋转作为运动数据。
14.优选地，lstm-fcn的输入是所述多个拉伸传感器捕获的人体手臂姿势轨迹的运动数据，输出是当前轨迹是否属于要验证的运动模式的结果信息。
15.优选地，拉伸传感器所有数据的填充长度均为146，数据中的一个样本是一个时间序列；lstm-fcn由一个完整的卷积块和一个lstm块组成；时间序列同时通过卷积块和lstm块。
16.优选地，手臂的运动模式被分为：手臂在冠状平面内抬高的运动模式、手臂在锥形平面内转圈的运动模式、手臂在水平平面内向左伸展的运动模式、手臂从下向上向前伸出拳头的运动模式、手臂在水平平面内摆臂弯曲手肘的运动模式、手臂在垂直平面内抬高手臂摸头的运动模式、将伸直手臂弯曲的运动模式。
附图说明
17.结合附图，并通过参考下面的详细描述，将会更容易地对本发明有更完整的理解并且更容易地理解其伴随的优点和特征，其中：
18.图1示意性地示出了根据本发明优选实施例的使用柔性传感器进行人体姿势跟踪的用户身份验证方法的总体流程图。
19.图2a至图2g显示了七个运动模式。
20.图3中显示了图2a所示运动模式中的五个传感器的电阻分布。
21.图4显示了样本持续时间的统计数据。
22.图5显示了dtw、dtw-d和lstm-fcn三种方法的比较结果。
23.需要说明的是，附图用于说明本发明，而非限制本发明。注意，表示结构的附图可能并非按比例绘制。并且，附图中，相同或者类似的元件标有相同或者类似的标号。
具体实施方式
24.为了使本发明的内容更加清楚和易懂，下面结合具体实施例和附图对本发明的内容进行详细描述。
25.传感技术的最新发展为使用可穿戴式传感器监测人体运动铺平了道路。主流系统通常使用光学，声学和电磁传感器。对使用不同的传感器和技术来估计人体上肢运动的概述有兴趣的可以参考文献。用于人体运动跟踪的基于光学的系统相对昂贵，需要足够的照明，并且存在遮挡问题。基于声学的系统实时性能较差，并且容易受到环境干扰。电磁系统很容易受到磁场的干扰，因为现场周围的金属物体会引起磁场畸变，从而严重影响精度。
26.使用惯性测量单元(imu)进行运动跟踪已逐渐引起人们的兴趣和使用。提出了一种将陀螺仪，加速度计和力传感器融合在一起的方法来估计人体整体姿势，并将其应用于骑自行车。提出了将单个手持摄像机和一组附着在肢体上的imu组合在一起，以估计野外的3d姿势。但是，上述两种方法必须采用额外的约束条件或滤波算法来校正imu传感器的漂移。另一项工作试图将imu数据与kinect融合在一起使用，以提供稳定的手部位置信息，而不会出现长期漂移。尽管陀螺仪信号的直接积分可以在短时间内确保输出角度的准确性，但随着时间的流逝，输出误差也会累积。
27.最近越来越多的工作使用软传感器进行运动跟踪。研究人员使用了带有柔性传感器的可穿戴感应服，以捕获全身、肘部、手指和上身的运动。最近的一项工作介绍了基于硅树脂的应变和力传感器，该传感器由新型的生物相容性导电液体组成，用于运动捕捉。还有，有研究人员提出了一种拉伸感应的软手套，可以在不使用外部光学装置的情况下，以高精度交互地捕获手势。可穿戴的软传感器是非侵入性的，可以在不受限制的环境中准确跟踪人体姿势。当前，智能衣服的常见特征之一是用于运动跟踪。这种无限制特征为用户身份验证提供了直接解决方案，即，通过用户定义的运动轨迹来验证用户身份。
28.本发明的人体运动跟踪系统具备了佩戴方便，移动空间无限以及成本低廉的优点。由于柔性传感器可以无缝集成在衣服上，为用户提供了最大的便利。然而，尚未有人研究智能衣服上的用户认证问题。
29.本发明提出了使用柔性拉伸传感器来跟踪人体姿势，并将捕获的姿势序列用于用户身份验证，这种解决方案成本低且用户体验友好。但是，与移动电话上的手指笔触模式不同，3d模式下的人体姿势呈现出较大的个人内部变化，即，相同姿势序列的多次尝试可能在很大程度上彼此不同。
30.传统服装与柔性电子产品的集成是一种有前景的结合方案，可作为下一代计算平台。但是，在这种新型平台上的用户身份验证问题仍未得到充分研究。这项工作使用柔性传感器来跟踪人体姿势并实现用户身份验证的目标。本发明通过放置在肩膀的四个拉伸传感器和肘部的一个拉伸传感器来捕获人体运动模式。本发明引入了长短期记忆完全卷积网络 (lstm-fcn)，该网络直接将嘈杂且稀疏的传感器数据作为输入，并验证其与用户预定义运动模式的一致性。即使存在较大的个人内部变化，该方法也可以通过匹配运动模式来识别用户。lstm-fcn的认证准确度达到 98.0％，比动态时间规整(dtw)和依赖于动态时间规整的dtw-d高出 10.7％和6.5％。
31.本发明直接解决了在智能服装平台上进行用户身份验证的问题。本发明中，身份验证被定义为两个关键子问题：1)使用柔性传感器跟踪人体姿势，2)验证当前运动轨迹尝试与预存储轨迹之间的一致性。这项工作有两个方面的贡献：
32.·
本发明提供了用于人体姿势跟踪和轨迹认证的硬件和软件的完整解决方案。使用柔性传感器可以将对用户活动的干预降到最低，并确保用户体验的最大舒适度。
33.·
本发明引入了lstm-fcn，它直接将嘈杂和稀疏的传感器数据作为输入并匹配预定义的运动模式。与时间序列分析中的代表性方法(dtw[5]， dtw-d[6])相比，本发明的方法在认证准确性和减轻参数调整方面均显示出优势。
[0034]
《具体方法实施例》
[0035]
图1示意性地示出了根据本发明优选实施例的使用柔性传感器进行人体姿势跟踪的用户身份验证方法的总体流程图。如图1所示，根据本发明优选实施例的使用柔性传感器进行人体姿势跟踪的用户身份验证方法包括：
[0036]
第一步骤s1：在紧身衣服上布置用于捕获人体手臂的运动模式的多个拉伸传感器；
[0037]
优选地，所述多个拉伸传感器包括：布置在身体单侧(例如右侧)的五个拉伸传感器，其中四个拉伸传感器放置在肩膀部位肩关节位置处，一个拉伸传感器放置在肘部部位肘关节位置处。
[0038]
优选地，所述多个拉伸传感器缝制到所述紧身衣服上。
[0039]
衣服样式是紧身运动服，可确保传感器在不同尝试下充分且一致地伸展。优选地，衣服面料由80％的聚酯纤维和20％的聚氨酯纤维制成。例如，在具体实施时，本发明使用adafruit制造的导电橡胶线拉伸传感器。传感器的直径为2mm，由碳黑浸渍橡胶制成。在松弛状态下，传感器电阻约为每英寸350欧姆。通过监测可拉伸传感器的电阻值的变化来跟踪关节的旋转。例如，当用户弯曲他/她的肘关节时，传感器被拉伸并且其电阻值相应地增加。拉伸信息的采样频率为32hz。
[0040]
例如，服务器计算机接收传感器数据，对其进行身份验证，然后将结果反馈给智能衣服。例如，在下文中，该服务器还用于训练和测试预测模型。
[0041]
第二步骤s2：在用户穿着所述紧身衣服时利用所述多个拉伸传感器来捕获人体手臂的运动数据；
[0042]
第三步骤s3：根据所述多个拉伸传感器捕获的人体手臂的运动数据，采用lstm-fcn对人体手臂的运动进行分类；
[0043]
第四步骤s4：将分类结果与用户的预定义运动模式进行匹配，以确定用户身份验证结果。
[0044]
本发明的工作使用手臂的动作数据来验证动作是否与密码(预先存储的动作模式)匹配。本发明的原型价格低廉，使用方便，并且不受光线或混乱背景的影响。而且，本发明的身份验证方法不会给人体带来太多的干预。尽管运动跟踪和监测触摸屏上的笔划轨迹类似，但是在不受约束的3d 世界中执行运动比2d屏幕上的图案锁定具有明显更大的变化。
[0045]
本发明开发了具有柔性可伸缩传感器的智能衣服的硬件原型。当人们穿着智能上衣并进行特定动作时，传感器会监测人体的关节运动。本发明引入了长短期记忆完全卷积网络(lstm-fcn)，该网络直接将嘈杂且稀疏的传感器数据作为输入，并与用户的预定义运动模式相匹配。实验结果证实了本发明的方法的优点超越了代表性的时间序列分类方法(dtw和 dtw-d)。
[0046]
对于本发明的应用，可以在现实世界中部署本发明的系统，例如使用本发明的系统解锁手机。另一个是为了更细微的活动(例如手指移动)验证本发明的方法。这可能需要更复杂的传感器设置和更强大的传感算法。这些应用程序可以进一步验证本发明的方法在人机交互的实际场景中的有效性。
[0047]
【具体示例及实验】
[0048]
为了进行数据采集，用户可以根据自己的喜好或需求自由地进行运动。图2a至图2g显示了用户的七个运动模式。从每个会话收集的数据会自动上传到本发明的服务器，并使用相应的模式标签进行手动标注。具体地，手臂的运动模式被分为：图2a所示的手臂在冠状平面内抬高的运动模式、图2b所示的手臂在锥形平面内转圈的运动模式、图2c所示的手臂在水平平面内向左伸展的运动模式、图2d所示的手臂从下向上向前伸出拳头的运动模式、图2e所示的手臂在水平平面内摆臂弯曲手肘的运动模式、图2f所示的手臂在垂直平面内抬高手臂摸头的运动模式、图2g所示的将伸直手臂弯曲的运动模式。
[0049]
本发明采用lstm-fcn用作两类(正或负)分类工具。每个模式都与一个单独的分类器关联。在为本发明的系统配置密码模式后，网络将根据新的运动输入的分类结果来判断验证是否成功。输入是柔性传感器捕获的人体姿势轨迹，输出是当前轨迹是否属于要验证
的运动模式。
[0050]
lstm-fcn由一个完整的卷积块和一个lstm块组成。输入时间序列同时通过卷积块和lstm块。
[0051]
在卷积层中，应用了一组一维滤波器来捕获整个动作过程中输入信号的变化。通过张量和偏置来参数化每个层的滤波器。l是输入特征向量的长度，在此可以设置为146。l∈{1，...，3}是层索引，d 是过滤时间。对于第l层和每个时间t，(未归一化)激活的第i个分量是上一层传入(归一化)激活矩阵的一个函数：
[0052][0053]
f(
·
)是relu操作。
[0054]
完整卷积块由三个堆叠的时间卷积块组成，滤波器的大小分别为128、 256和128。每个卷积块均由时间卷积层，批处理归一化和relu激活函数组成。在最后一个卷积块之后应用全局平均池。lstm块由常规lstm层和dropout层组成。将输入时间序列传输到维改组层，然后将维改组转换的输出传输到lstm块。全局池层和lstm块的输出被串联并传递到 softmax分类层。
[0055]
数据处理和流程：本发明的智能衣服有五个传感器，所有数据的填充长度均为146。因此，收集到的数据中的一个样本是形状的时间序列(146， 5)。全卷积模块将时间序列视为具有多个时间步长的单变量时间序列，并以146个时间步长接收数据。相反，维度混洗层会将时间序列的时间维度转换为具有单个时间步长的多元时间序列，并将输出馈送到lstm块。
[0056]
训练与测试：本发明会随机选择每种模式的多个样本以构建训练数据集，而其他所有剩余样本进行测试。对于模式i，将三个样本作为训练样本，将其余模式的样本作为测试样本。分别是总数，训练数据集样本数和测试数据集样本数。用来初始化智能服装上的身份验证系统，用户需要执行三次密码轨迹。重复的目的是在用户执行相同的轨迹时最大程度地捕获人在做同一个动作的变化。
[0057]
训练超参数：训练时期为1000。批次大小和初始学习率分别为128和 1e-3。在lstm层之后使用80％的高剔除率来解决过拟合的问题。本发明使用带有tensorflow后端和adam优化器的keras库对模型进行训练。所有卷积核被初始化。如果验证分数没有改善，则学习率每100个时期减少倍，直到其值达到1e-4。
[0058]
本发明收集了七个运动模式的69个样本。每个模式分别具有十一，十，十，九，十，十，九个样本。图3中显示了图2a所示运动模式中的五个传感器的电阻分布。图2a所示运动模式是手臂在冠状平面内抬高的运动模式，位于肩关节上的两个传感器由于肩旋转而引起了巨大变化；这个模式下还伴随着肘关节(传感器)的明显次级运动。当用户执行相同的运动模式时，该图反映了个人内部较大的变化。
[0059]
每个样本动作持续时间在2.788s和4.998s之间，这些样本持续时间的统计数据如
图4所示。即使对于相同的模式，不同尝试的持续时间也可能相差很大，超过10％。本发明通过填充来解决此问题，并将信号转换为固定持续时间的片段。
[0060]
实验结果证实了传感器信号在个人内部也有较大的变化。原因可能是双重的：时间因素体现在同一模式的不同尝试的变化持续时间中，而空间因素则归因于不受约束的3d轨迹。这两个因素与用户方面在设计和执行图案时的自由度息息相关。本发明的方法被证明有效地处理了这种变化，并且不需要人工执行特征工程。
[0061]
与dtw/dtw-d对比
[0062]
动态时间规整(dtw)是用于时序信号处理的基准方法之一。dtw-d 增强了匹配过程中时间序列中五个特征的相关性，并提高了匹配准确率。但是，它们的性能取决于阈值。本发明首先在这里将本发明的方法与匹配准确率最高的dtw和dtw-d进行了比较。
[0063]
dtw和dtw-d的成功条件：对于dtw，如果每个通道到密码集中样本的距离在阈值内，则匹配成功。对于dtw和dtw-d，一旦密码组中有多个密码，只要测试样本与其中一个密码之间的距离小于阈值，匹配就算成功。
[0064]
图5显示了三种方法的比较结果：dtw，dtw-d和lstm-fcn。无论训练数据集中的样本数量如何，本发明的lstm-fcn模型始终优于 dtw和dtw-d。不断增加训练数据集的值可以将身份验证准确度提高到 98.0％。
[0065]
在时间表现方面，lstm-fcn花费了大约27.10s进行训练。但是，它只训练了一次，验证花费时间为0.26s。dtw和dtw-d不需要脱机训练，并且在线身份验证分别花费0.74s和0.001s。
[0066]
密码组中样本数对结果的影响，随着训练数据集的增加，dtw和 dtw-d的fn变小。这意味着可以正确验证模式中的更多阳性样本。原因应该是训练样本的增加扩大了状态空间，并包括了以前从该空间中排除的样本。但是，这导致了副作用：不属于该模式的样本也被错误地匹配。训练数据集的增加对dtw和dtw-d的身份验证准确性没有太大贡献。实际上，当训练数据集从4增加到5时，dtw的精度会适度下降(大约2％)。结果表明，增加密码组样本数量并不是提高dtw和dtw-d准确率的有效策略。
[0067]
相比之下，当训练数据集增大时，lstm-fcn的“真实密码不匹配”和“非密码通过身份验证”情况均减少。这表明本发明的lstm-fcn可以有效地从新添加的样本中提取一致的潜在特征，而无需引入异常信息。这样可以确保对正样本进行身份验证，而对负样本进行拒绝。当训练数据集从1增加到3时，这种性能提升非常明显；而当训练数据集为4或更高时，这种提升是微小的。与dtw和dtw-d相比，当仅使用一个样本作为密码时，lstm-fcn具有更高的身份验证准确率。随着训练数据集的增加，该优势将进一步提高，并且lstm-fcn的精度达到98％以上。与dtw和 dtw-d不同，本发明无需选择训练数据集的值即可找到“真实密码不匹配”和“非密码通过身份验证”之间的权衡。
[0068]
将图2f所示的模式设置为密码时，无论训练样本数量如何，都无法正确匹配图2f所示的模式的第十个样本。为了找到原因，本发明将两类分类网络更改为七类分类网络。当每种运动模式的训练样本数从一增加到五时，图2f所示的模式的第十个样本在5例中有4例被分类为模式图2g 所示的模式。根据模式轨迹图所示(图2f和图2g)，如果肩部没有垂直抬高到足够程度，则图2f所示的模式的第十个样本在数值上类似于图2g 所示的模式。本发明还使用dtw-d测量了图2f所示的模式中第十个样本与其余样本之间的距离，以及图2g所示
的模式中的所有样本。与图2f所示的模式的第十个样本距离最小的样本是p7s4。p6s10-p7s4的距离(7.99) 小于其内部样本的图2f所示的模式的第十个样本的平均距离值(9.36)。这一发现实际上证明了本发明的方法可以可靠地识别密码集中的异常值。
[0069]
需要说明的是，除非特别指出，否则说明书中的术语“第一”、“第二”、“第三”等描述仅仅用于区分说明书中的各个组件、元素、步骤等，而不是用于表示各个组件、元素、步骤之间的逻辑关系或者顺序关系等。
[0070]
可以理解的是，虽然本发明已以较佳实施例披露如上，然而上述实施例并非用以限定本发明。对于任何熟悉本领域的技术人员而言，在不脱离本发明技术方案范围情况下，都可利用上述揭示的技术内容对本发明技术方案作出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。