一种具有人体生物力学差异性特征的裸指力触觉信号生成方法与流程

1.本发明属于信号处理与人机交互领域，尤其涉及一种具有人体生物力学差异性特征的裸指力触觉信号生成方法。


背景技术：

2.裸指表面触觉再现技术能够驱动物理表面以提供触觉反馈效果，其在智能手机和平板电脑中具有巨大的潜在应用价值。裸指数据驱动触觉渲染方法作为表面触觉再现的核心技术之一，能够实现高真实感的表面触觉再现效果。其高真实感的触觉渲染效果基于准确的获取裸指与真实对象交互的力触觉信号，然后利用它们来调制触觉反馈力，以实现对触摸屏上可视化物体的触觉感知。因此，数据驱动渲染的触觉保真度受到裸指力触觉信号的可靠获取的极大影响。
3.通常，裸指力触觉信号取决于物理因素和人体生物力学差异因素。具体而言，物理因素与触摸物体的表面力学特性和测力装置的运动有关，即所施加的法向力和滑动速度，而人体生物力学差异因素与实验者手指的机械特性如手指粘弹性和生物力学阻抗有关。因此，在相同物理因素下获得的不同用户的力触觉信号对于现有的人体生物力学差异仍然存在显着差异。
4.目前，裸指力触觉信号通常由测量装置获取。
5.论文“haptex：用于表面触觉显示的织物纹理数据库”设计了力和位移测量装置来收集裸手指在120种织物上滑动的摩擦力数据。论文“受人类探索程序启发的触觉材料分析和分类”设计了texplorer2的采集设备，用于测量184种材料的裸指触觉数据。由于上述触觉数据是由特定的实验者获取的，因此表面触觉显示器很难利用这些数据进行高保真数据驱动渲染。
6.中国专利“一种触觉信号自动采集装置”(公开号108664903a)公开了一种触觉信号自动采集装置，其能够测量压力、振动、温度、摩擦力等触觉信号，将触觉信号较为完整地用电信号呈现出来，实现触觉的多功能表达。中国专利“一种触觉测量装置及方法”(公开号112146701a)公开了一种触觉测量装置及方法，通过控制两轴运动平台和施压模块的移动，获取触觉传感器的电信号，能够同时测量物体表面的形貌和物体的软硬度，提高测量效率。
7.中国专利“触觉数据生成装置及方法、触觉效果提供装置及方法”(公开号112204504a)公开了一种触觉数据生成装置及方法和触觉效果提供装置及方法，其根据触觉效果的适用范围、触觉模式及触觉强度中的至少一个有关的设定信息来生成关于游戏中产生的事件的触觉数据，以及将所述生成的触觉数据传送至触觉效果提供装置，如可穿戴装置、移动设备辅助装置、游戏手柄、键盘、鼠标及操纵杆。
8.上述触觉数据采集和生成过程中没有考虑人体生物力学差异性特征，所得到的力触觉信息结果仅仅包含了物理特征的部分，不能满足高保真数据驱动渲染对真实可靠数据的基本要求。
9.裸指表面触觉再现技术是人机交互领域的关键技术，数据驱动触觉渲染方法是实现高真实感的表面触觉再现效果的重要方式，达到高真实感的数据驱动触觉渲染效果的前提是获取人体与实际对象交互时真实的力触觉信号。通常裸指力触觉信号的采集依赖于物理因素和人体生物力学差异性因素，目前的裸指力触觉信号采集过程没有考虑人体差异性特征对实测信号的影响，因此表面触觉显示器很难利用这些数据进行高保真数据驱动渲染。


技术实现要素：

10.本发明提供一种具有人体生物力学差异性特征的裸指力触觉信号生成方法，以解决目前的裸指力触觉信号采集过程没有考虑人体差异性特征对实测信号的影响，导致表面触觉显示器很难利用这些数据进行高保真数据驱动渲染的问题。
11.本发明采取的技术方案是，包括下列步骤：
12.(1)构造用于pca建模的实测力矩阵f；
13.(2)建立裸指力触觉信号与人体生物力学差异性因子之间的pca模型；
14.(3)利用rblw估计器获得一致性估计的样本协方差矩阵
15.(4)计算实测力矩阵f一致性估计的主成分p
k
；
16.(5)估计人体生物力学差异性因子；
17.(6)生成带有人体生物力学差异性特征的一致性力触觉信号。
18.本发明所述步骤(1)中实测力矩阵f构造如下：
19.测量了m个实验者裸指在真实物理表面上滑动时，样本长度为n的力触觉信号，其中，第m个实验者的力触觉信号表示为：
20.f
m
＝[f
m
(1),f
m
(2),
…
,f
m
(n)]
t
,m∈(1,m)
[0021]
将m个实验者的样本长度为n的力触觉信号，按列排列构成如下的实测力矩阵f，矩阵f包括n行m列，共计mn个样本点：
[0022][0023]
本发明所述步骤(2)中pca模型建立步骤是：
[0024]
基于裸指在真实物理表面滑动时的实测力矩阵f构建pca模型，在pca模型中将实测力矩阵f分为主成分p
k
和人体生物力学差异性因子σ
m
两部分
[0025][0026]
其中主成分p
k
体现与压力、速度和触摸物体表面物理属性相关部分的力触觉特征，人体生物力学差异性因子σ
m
体现了与实验者手指粘弹性和生物力学阻抗相关的人体生
物力学差异性特征：
[0027]
p
k
＝(p
k
(1),p
k
(2),
…
,p
k
(n))
t
,k∈(1,k)
[0028][0029]
为了减少基数，总比例大于90％的有限数量的k主成分来表示数据的变化，pca模型进一步表示为：
[0030][0031]
本发明所述步骤(3)中一致性估计的样本协方差矩阵获得步骤是：
[0032]
在pca模型中，实测力f的样本协方差矩阵为：
[0033][0034]
其中f
i
是实测力f矩阵的第i行向量，是f
i
的均值；
[0035]
利用rblw估计器修订pca模型中的样本协方差矩阵；
[0036]
在rblw收缩估计方法中，收缩目标矩阵为：
[0037][0038]
其中tr(
·
)表述迹运算，表述样本协方差矩阵的迹，i是单位矩阵；
[0039]
估计的协方差矩阵为：
[0040][0041]
估计的协方差矩阵是样本协方差矩阵和收缩目标矩阵之间的线性组合，线性组合的比例由收缩系数ρ来调节，收缩系数ρ取值在0和1之间以实现估计协方差矩阵在最低偏差和最低方差之间的折衷，rblw收缩估计法的核心是求得收缩系数ρ如下的闭式解：
[0042][0043]
为了进一步提升性能，收缩系数的修订形式如下：
[0044][0045]
因此，rblw收缩估计的样本协方差矩阵表示如下，其可以确保实测力矩阵f估计的主成分在一般渐进理论框架下是一致性估计；
[0046]
[0047]
本发明所述步骤(4)中主成分p
k
计算方法如下：
[0048]
对rblw估计器得到的样本协方差矩阵进行特征值分解，得到实测力矩阵一致性估计的主成分，首先通过对rblw收缩估计的样本协方差矩阵进行特征值分解得到m个降序排列的特征值(γ1,γ2,
…
,γ
m
)及其对应的特征向量(v1,v2,
…
,v
m
)，为了减少基底，通常用有限的k个主成分去代表信号的变化，k的取值通过主特征值的累积贡献率β计算，通常要求累积贡献率β∈(0.9,1]；
[0049][0050]
对应于k个特征向量的实测力矩阵f一致性估计的主成分表示为：
[0051]
(p1,p2,
…
,p
k
)＝f(v1,v2,
…
,v
k
)。
[0052]
本发明所述步骤(5)中人体生物力学差异性因子估计方法如下：
[0053]
基于上述过程建立的pca模型和计算出的一致性估计的主成分特征向量(p1,p2,
…
,p
k
)，对于任何一个新加入的实验者，通过测量其在k个测量点的实测力信号(f
new
(1),f
new
(2)
…
f
new
(k))，其人体生物力学差异性因子可以由如下线性方程组被估计：
[0054][0055]
本发明所述步骤(6)中带有人体生物力学差异性特征的一致性力触觉信号的生成方法是：
[0056]
对于一个新加入的没有测量过所有样本点实测力数据的实验者，仅需要测量其在k个测量点的实测力信号，其一致性估计的力触觉信号可以通过一致性估计的主成分(p1,p2,
…
,p
k
)和人体生物力学差异性因子间的线性关系生成：
[0057][0058]
本发明首先建立了具有人体生物力学差异的力触觉信号的主成分分析(pca)模型，然后，它利用rblw估计器仅通过一两个测量点对任何新用户的裸指力触觉信号进行统计上一致的预测。使用力测量设备，测量五个参与者裸指滑过3d凸起时的侧向力信号，并使用它们来评估所提出方法的预测性能。结果表明该方法获取的力触觉信号可以揭示不同用户的人体生物力学差异，并且获取裸指力触觉信号在一般渐近框架下是实际测量的力触觉信号在统计上的一致估计。
[0059]
本发明的优点在于：生成了具有人体生物力学差异性特征的力触觉信号；生成的力触觉信号在一般渐进框架下是实测力的一致估计；对于一个新加入的实验者，仅仅测量其一个样本点的侧向力信号即可生成其在所有样本点的实测力信号。
[0060]
实测3d正弦光栅的侧向力触觉信号验证该方法的有效性，即一个新加入的实验者的人体生物力学差异因子可以根据一个实际测力点数据从pca模型中提取，并且该新实验者的力触觉信号可以从rblw估计的主成分和人体生物力学差异因素之间的线性关系中构建。结果表明，所提出的信号生成方法在一般渐进理论框架下得到了一致的估计结果，平均相对误差为10.41％。t检验结果表明，估计的力触觉信号与实际测量的力触觉信号之间没有显着差异。这种具有人体生物力学差异性特征的裸指力触觉信号一致性估计方法将为提高表面触觉再现效果提供根本保证。
附图说明
[0061]
图1是测量3d凸起侧向力的实验框图；
[0062]
图2是测量3d凸起侧向力的实验过程图；
[0063]
图3是实测的侧向力数据图；
[0064]
图4是滤波的侧向力数据图；
[0065]
图5是样本长度为100时实测力与估计力的仿真结果图；
[0066]
图6样本长度为500时实测力与估计力的仿真结果图；
[0067]
图7是样本长度为5000时实测力与估计力的仿真结果图。
具体实施方式
[0068]
包括下列步骤：
[0069]
(1)构造用于力触觉信号的主成分分析pca建模的实测力矩阵f
[0070]
测量了m个实验者裸指在真实物理表面上滑动时，样本长度为n的力触觉信号，其中，第m个实验者的力触觉信号表示为：
[0071]
f
m
＝[f
m
(1),f
m
(2),
…
,f
m
(n)]
t
,m∈(1,m)
[0072]
将m个实验者的样本长度为n的力触觉信号，按列排列构成如下的实测力矩阵f，矩阵f包括n行m列，共计mn个样本点：
[0073][0074]
(2)建立裸指力触觉信号与人体生物力学差异性因子之间的pca模型
[0075]
基于裸指在真实物理表面滑动时的实测力矩阵f构建pca模型，在pca模型中将实测力矩阵f分为主成分p
k
和人体生物力学差异性因子σ
m
两部分：
[0076][0077]
其中主成分p
k
体现与压力、速度和触摸物体表面物理属性相关部分的力触觉特征，人体生物力学差异性因子σ
m
体现了与实验者手指粘弹性和生物力学阻抗相关的人体生
物力学差异性特征：
[0078]
p
k
＝(p
k
(1),p
k
(2),
…
,p
k
(n))
t
,k∈(1,k)
[0079][0080]
为了减少基数，总比例大于90％的有限数量的k主成分来表示数据的变化，pca模型可以进一步表示为：
[0081][0082]
(3)利用rblw估计器获得一致性估计的样本协方差矩阵
[0083]
rblw估计器是一种在研究高维度小样本问题时满足最小均方误差准则的样本协方差矩阵收缩估计方法，该方法可以保证估计的结果在一般渐进理论框架下是一致性估计；
[0084]
在pca模型中，实测力f的样本协方差矩阵为：
[0085][0086]
其中f
i
是实测力f矩阵的第i行向量，是f
i
的均值；
[0087]
上述标准的协方差矩阵计算方法适用于m/n很大的情况，在分析和表征触觉信号时往往是信号维度n很大且样本数m很小，此时上述标准协方差矩阵计算方法不能保证计算结果是一致性估计，因此利用rblw估计器修订pca模型中的样本协方差矩阵；
[0088]
在rblw收缩估计方法中，收缩目标矩阵为：
[0089][0090]
其中tr(
·
)表述迹运算，表述样本协方差矩阵的迹，i是单位矩阵；
[0091]
估计的协方差矩阵为：
[0092][0093]
估计的协方差矩阵是样本协方差矩阵和收缩目标矩阵之间的线性组合，线性组合的比例由收缩系数ρ来调节，收缩系数ρ取值在0和1之间以实现估计协方差矩阵在最低偏差和最低方差之间的折衷，rblw收缩估计法的核心是求得收缩系数ρ如下的闭式解：
[0094][0095]
为了进一步提升性能，收缩系数的修订形式如下：
[0096][0097]
因此，rblw收缩估计的样本协方差矩阵表示如下，其可以确保实测力矩阵f估计的主成分在一般渐进理论框架下是一致性估计：
[0098][0099]
(4)计算实测力矩阵f一致性估计的主成分p
k
[0100]
对rblw估计器得到的样本协方差矩阵进行特征值分解，得到实测力矩阵一致性估计的主成分，首先通过对rblw收缩估计的样本协方差矩阵进行特征值分解得到m个降序排列的特征值(γ1,γ2,
…
,γ
m
)及其对应的特征向量(v1,v2,
…
,v
m
)，为了减少基底，通常用有限的k个主成分去代表信号的变化，k的取值通过主特征值的累积贡献率β计算，通常要求累积贡献率β∈(0.9,1]；
[0101][0102]
对应于k个特征向量的实测力矩阵f一致性估计的主成分表示为：
[0103]
(p1,p2,
…
,p
k
)＝f(v1,v2,
…
,v
k
)
[0104]
(5)估计人体生物力学差异性因子
[0105]
基于上述过程建立的pca模型和计算出的一致性估计的主成分特征向量(p1,p2,
…
,p
k
)，对于任何一个新加入的实验者，通过测量其在k个测量点的实测力信号(f
new
(1),f
new
(2)
…
f
new
(k))，其人体生物力学差异性因子可以由如下线性方程组被估计：
[0106][0107]
(6)生成带有人体生物力学差异性特征的一致性力触觉信号
[0108]
对于一个新加入的没有测量过所有样本点实测力数据的实验者，仅需要测量其在k个测量点的实测力信号，其一致性估计的力触觉信号可以通过一致性估计的主成分(p1,p2,
…
,p
k
)和人体生物力学差异性因子间的线性关系生成：
[0109][0110]
下边通过附图和实验例对本发明的效果做进一步说明。
[0111]
本发明通过测量的实验者裸指触摸3d正弦凸起的侧向力数据集验证所提方法的有效性，首先介绍一下实验者裸指触摸3d正弦凸起时侧向力的采集过程和测量结果，测量3d凸起侧向力的实验框图如图1所示，其结构包括：
[0112]
(1)三轴力传感器(ati nano17)安装在磁阻尼平衡梁上，用于测量实验者裸指触摸3d正弦凸起(abs树脂)的侧向力；
[0113]
(2)数据收集面板(nation instruments usb
‑
6251,austin,texas)以2.5khz的采样率记录侧向力数据；
[0114]
(3)视觉反馈系统将实验者施加的法向力保持在1n，偏差为
±
0.1n；
[0115]
(4)设备的上部是由步进电机驱动的手指支架，手指通过支架固定在水平导轨上，步进电机确保实验者手指以25mm/s的恒定移动速度。
[0116]
来自吉林大学的五名实验者裸指划过3d正弦凸起的侧向力触觉信号被采集，侧向力采集过程如图2所示。五个实验者样本长度为5000(采样率2.5khz)的侧向力测量结果如图3所示。从图中可以看出，尽管物理因素相同，不同实验者的裸指力触觉信号呈现出不同的变化趋势。单向方差分析结果表明，五个实验者的侧向力数据存在显着差异(f(4,24995)＝9.645,p<0.001)。这表明裸指力触觉信号同时受到物理因素和人体生物力学差异因素的影响。因此为了在表面触觉设备上实现高保真数据驱动渲染，需要可靠地获得具有人类生物力学差异特征的力触觉信号。
[0117]
使用截止频率为500hz的低通滤波器过滤实测的侧向力触觉信号，滤波后的侧向力结果如图4所示。力测量过程中数据收集面板(nation instruments usb
‑
6251,austin,texas)以2.5khz的采样率记录侧向力数据，因此获得的力触觉信号样本长度为5000。为了保证构建的信号集包含一般渐进理论框架中大样本和小样本的情况，进一步对信号进行预处理，分别得到样本长度为2500、1000、500、250、100和50的信号集。然后，使用五重交叉验证法将上述信号集分为训练集和测试集，选择五名实验者中的一名作为测试集对象，其余四名实验者的力触觉信号构成训练集。
[0118]
基于上述实测的数据集，以第五名实验者信号样本长度为100的数据构成测试集，其他四名实验者的力触觉信号的构成训练集为例，说明具有人体生物力学差异性特征的裸指力触觉信号生成方法，其步骤包括：
[0119]
(1)构造用于pca建模的实测力矩阵f
[0120]
将m＝4个实验者的样本长度为n＝100的力触觉信号按列排列构成如下的实测力矩阵f，矩阵f包括100行4列，共计400个样本点：
[0121][0122]
(2)建立裸指力触觉信号与人体生物力学差异性因子之间的pca模型
[0123]
基于实验者裸指划过3d正弦凸起时的实测力矩阵f构建pca模型，在pca模型中将实测力矩阵f分为主成分p
k
和人体生物力学差异性因子σ
m
两部分：
[0124]
[0125]
其中主成分p
k
体现与压力、速度和触摸物体表面物理属性相关部分的力触觉特征，人体生物力学差异性因子σ
m
体现了与实验者手指粘弹性和生物力学阻抗相关的人体生物力学差异性特征：
[0126]
p
k
＝(p
k
(1),p
k
(2),
…
,p
k
(n))
t
,k∈(1,k)
[0127][0128]
为了减少基数，有限数量的k主成分(总比例大于90％)来表示数据的变化，pca模型可以进一步表示为：
[0129][0130]
(3)利用rblw估计器获得一致性估计的样本协方差矩阵
[0131]
在pca模型中，实测力f的样本协方差矩阵为：
[0132][0133]
其中f
i
是实测力f矩阵的第i行向量，是f
i
的均值；
[0134]
在rblw收缩估计方法中，收缩目标矩阵为：
[0135][0136]
其中tr(
·
)表述迹运算，表述样本协方差矩阵的迹，i是单位矩阵。
[0137]
估计的协方差矩阵为：
[0138][0139]
估计的协方差矩阵是样本协方差矩阵和收缩目标矩阵之间的线性组合，线性组合的比例由收缩系数ρ来调节。收缩系数ρ取值在0和1之间以实现估计协方差矩阵在最低偏差和最低方差之间的折衷。rblw收缩估计法的核心是求得收缩系数ρ如下的闭式解：
[0140][0141]
为了进一步提升性能，收缩系数的修订形式如下：
[0142][0143]
因此，rblw收缩估计的样本协方差矩阵表示如下，其可以确保实测力矩阵f估计的主成分在一般渐进理论框架下是一致性估计：
[0144][0145]
(4)计算实测力矩阵f一致性估计的主成分p
k
[0146]
对rblw估计器得到的样本协方差矩阵进行特征值分解，得到实测力矩阵一致性估计的主成分。首先通过对样本协方差矩阵进行特征值分解得到m个降序排列的特征值(γ1,γ2,
…
,γ
m
)及其对应的特征向量(v1,v2,
…
,v
m
)，为了减少基底，通常用有限的k个主成分去代表信号的变化，k的取值通过主特征值的累积贡献率β计算，要求β∈(0.9,1]：
[0147][0148]
在对实测的侧向力矩阵f分析过程中，其第一个主成分占比99.62％，因此k＝1,其一致性估计的主成分表示为：
[0149]
p1＝fv1[0150]
(5)估计人体生物力学差异性因子
[0151]
基于上述过程建立的pca模型和计算出的一致性估计的主成分特征向量p1，对于一个新加入的没有测量过所有样本点实测力数据实验者，通过测量其在k＝1个测量点(凸起最高点)的实测力信号f
new
(1)，其人体生物力学差异性因子可以由如下方程被估计：
[0152][0153]
(6)生成带有人体生物力学差异性特征的一致性力触觉信号
[0154]
对于一个新加入的没有测量过所有样本点实测力数据的实验者，仅需要测量其在k＝1个测量点的实测力信号，其一致性估计的力触觉信号可以通过一致性估计的主成分p1和人体生物力学差异性因子间的线性关系生成：
[0155][0156]
依据上述过程估计生成的测试集对象(第五名实验者)在100个样本点力触觉数据如图5所示，为了对比估计效果，其实测的力触觉数据在同一幅图中展示，从中可见估计生成的力触觉信号和实测的力触觉信号在趋势上保持一致，并且每个采样点的数据都得到了较为准确的结果，计算出的平均相对误差为7.53％。图6和图7分别显示了样本长度为500和5000时第五名实验者实际测量的和估计生成的侧向力结果。表1展示了七种样本长度情况下五个实验者分别作为测试集对象估计的侧向力的平均相对误差，平均相对误差在7.46％～14.16％之间，总体平均相对误差为10.41％。为了进一步分析构建的力触觉信号的统计特性，对每种情况下估计的侧向力和实测的侧向力数据进行t检验分析，分析结果如表2所示。t检验分析表明在每一种情况下估计的侧向力和实测的侧向力之间均没有显著性差异(p>0.05)，由此可以证明所提的力触觉数据生成方法在一般渐进理论框架下可以生成具有人体生物力学差异性特征的一致性估计的力触觉信号。单因素方差分析结果表明信号样本长度对力触觉信号的平均相对误差没有显著性影响(f(6,27)＝0.442,p＝0.844>0.05)，证
明了所提出的方法对裸指力触觉信号的采样长度的鲁棒性。
[0157]
表1不同样本长度下估计的侧向力的平均相对误差
[0158][0159]
表2估计侧向力和实测的侧向力信号间的t检验分析结果
[0160][0161]
以上通过实例对本发明所述的一种具有人体生物力学差异性特征的裸指力触觉信号生成方法进行了详细说明，但本发明的具体实现形式并不局限于此。本领域的一般技术人员，可以在不背离本发明所述方法的精神和原则的情况下对其进行各种显而易见变化与修改。本发明的保护范围应以权利要求书所述为准。