一种具有交互功能的类人触觉再现装置及方法与流程

1.本发明涉及人机交互相关技术领域，尤其是指一种具有交互功能的类人触觉再现装置及方法。


背景技术：

2.人类对于周身所处环境的感知，完全依赖分布于身体各处的多种感受器。例如附着在视神经末端，用来感知物体形状、颜色、运动的视锥细胞、视杆细胞；听觉系统中的听小骨、耳蜗；皮肤下分布的meissner小体、ruffini小体、pacini小体、krause小体、pinkus小体等感受小体，使人类能感知到环境中的滑动、压力、振动等机械刺激；感受味道的味觉受体细胞；感受气味的嗅细胞
……
这些感受器在人与环境的交互过程中获取环境中的各种信息，最终汇总到神经中枢，供大脑分析处理，还原出我们所处的环境并对环境信息或刺激做出反应。
3.其中人类所能感受到的最直观的信息是视觉和听觉信息。这两种感觉在人与环境的交互过程中提供了海量的信息。但是不容忽视的是当前社会上存在着数量庞大的视障和听障群体。统计数据表明，当前世界上有3600万多失明人口，同时有超过2亿人存在不同程度的视力受损情况，医学权威机构预测这一数据在2050年将达到现在的2-3倍；另外根据世界卫生组织估计，全球的听障人口约有3.6亿，但是助听器技术的应用不到5％。视听障碍人士在日常生活中无法依靠视觉和听觉信息感知到周围环境，需要一种能反应不同环境信息的替代方式，而味觉、嗅觉感受器又仅分布在口腔、鼻腔等特定位置，同时，气味和味道没有类似三原色一样的“原味”，只能利用现成的精油等芳香物质施加刺激，无法通过简单原料合成，难以作为简便高效的信息表征方式。因此，遍布全身的触觉感知通道的重要性日渐凸显出来。
4.触觉作为人类感知物体特性、运动的5种感觉之一，在我们和周围世界的交互中起到重要作用。对于触觉的概念并没有明确的界定，而是接触、滑动、压觉等机械刺激作用于皮肤产生的感觉的总称。更广义上的触觉概念也包括皮肤中的神经末梢组织所能感受到的温度，痛觉以及皮肤与其他物体触碰所产生的感觉。ernst指出“人脑使用触觉信息和视觉信息互相修正，某些情况下，知觉明显受到触觉的影响”。实践表明，仅给予视、听觉刺激不能向使用者传递完整的环境信息；同时，生理学研究指出，人的触觉由皮肤下的感受小体生成，且人体不同部位的感受小体在种类和数量分布上有很大差异，导致身体不同部位对触觉信息的感知和分辨能力各不相同。相关研究表明，经过特别调制的刺激会造成触觉和其他感觉错位，使用户产生并不存在的感觉，例如穿刺、划伤，在安全的前提下拓展了感受范围。
5.在医学护理中，对于意外事故或疾病导致的瘫痪、触觉丧失等残障人士，通常采用触觉恢复训练进行治疗，合适的触觉刺激能显著提高患者的康复进度。然而当前的触觉恢复训练器械只能提供单一的触觉刺激，不能根据患者的康复情况及时调整，以至于延缓了患者的康复进程。并且当前的设备大都针对严重的肢体受损患者，器械的体积通常设计得
比较大，对于小面积受伤的患者，诸如手指，颅脑等，往往不具备相应的医疗设备。
6.另一方面，触觉信息不仅在人与真实环境交互时发挥了重要作用，在人与计算机的交互过程中同样不能忽视。随着计算机技术蓬勃发展，人与计算机的自然交互已经成为一个亟待解决的课题。从传统的键盘鼠标交互到现在的手势语音交互，人机交互过程中始终没有纳入触觉信息，这一遍布周身的感知通道信息缺失，使得人与计算机始终无法实现真正意义上的融合。人类一直认为计算机是机械的执行机器，这种二元分离观念严重阻碍了计算机技术向前发展，也使得第三次技术革命无法取得突破性进展，难以对人类社会的进步提供反作用。
7.触觉是人类感知周围环境的重要通道，尤其在残障人士群体中几乎是唯一感知方式。但是这一遍布全身的触觉感知通道在人机交互过程中却没有发挥应有作用，传统的触觉再现装置体积大、操作复杂，再现的触觉信息不能向使用者传达清晰的信息，而且需要搭配另外的人机交互装置同时使用，严重影响了人机交互的沉浸感和交互感，这种情况限制了人机交互的进一步发展，也阻碍了虚拟现实技术的深入应用。


技术实现要素：

8.本发明是为了克服现有技术中存在上述的不足，提供了一种体积小且交互效果好的具有交互功能的类人触觉再现装置及方法。
9.为了实现上述目的，本发明采用以下技术方案：一种具有交互功能的类人触觉再现装置，包括上位机和下位机，所述的上位机通过无线通讯模块与下位机连接，所述的下位机包括执行元件、数据采集传感器、微控制器和驱动控制电路，所述的执行元件包括微型振动元件、半导体制冷器和温度显示屏，所述的微型振动元件、半导体制冷器和温度显示屏均与驱动控制电路连接，所述的微控制器与驱动控制电路连接，所述的数据采集传感器包括温度传感器和六轴运动传感器，所述的温度传感器和六轴运动传感器均与微控制器连接。
10.针对触觉信息的重要性和当前存在的问题，本文提出了一种具有交互功能的类人触觉再现装置研究，该装置能在人机交互过程中实现触觉再现，向使用者提供触觉信息，实现人与计算机更紧密的融合。同时，该装置体积小，能向使用者施加不同的触觉刺激，为小型化触觉刺激装置的研究提供了一种可能方案。在交互方式上，该装置能获取物体的运动信息并映射到虚拟环境中，实现较为自然的交互方式。
11.作为优选，所述的微型振动元件为扁平型振动器，所述扁平型振动器包括上壳、偏心配重、永磁体、下壳、fpcb、转轴、转子和线圈，所述的fpcb置于下壳上，所述的永磁体置于fpcb上，所述的转轴置于下壳的中心位置处，所述的转子置于永磁体上，所述的转轴依次穿过fpcb、永磁体后与转子连接，所述的偏心配重和线圈均安装在转子上，所述的上壳安装在下壳上，所述的偏心配重、永磁体、fpcb、转轴、转子和线圈置于上壳和下壳所构成的腔体内。
12.作为优选，所述的半导体制冷器选择p型半导体材料和n型半导体材料间隔排列，在p型半导体材料的一端与其左侧的n型半导体材料一端用导体连接，在p型半导体材料的另一端与其右侧的n型半导体材料另一端用导体连接，在p型半导体材料与n型半导体材料的两端外侧均使用绝缘陶瓷封装。
13.作为优选，所述的驱动控制电路包括电源电路、复位电路、晶振电路和驱动电路，所述的电源电路分别与无线通讯模块、温度显示屏和微控制器连接，所述的复位电路和晶振电路均与微控制器连接，所述的六轴运动传感器和温度显示屏均通过iic总线与微控制器连接，所述的微型振动元件和半导体制冷器均通过驱动电路与微控制器连接。
14.本发明还提供一种具有交互功能的类人触觉再现方法，在上位机中利用3d max和unity 3d构建虚拟场景，设计虚拟物体的受控运动，为上位机和下位机之间的通讯制定可行的通讯协议；在下位机中控制下位机的执行元件实现按需触觉再现，获取数据采集传感器的数据，具体包括如下步骤：(1)虚拟场景构建：制作使用3d max软件用于三维建模，三维模型使用fbx格式导出，该格式对需要导出的信息进行筛选和设置，3d max在制作三维模型时需要与unity 3d使用统一的尺寸，然后在unity 3d中使用1:1的缩放进行直接导入即可；(2)交互操作设计：交互操作在上位机中实现根据操作者的操作信息而产生的虚拟物体变化，根据设计的姿态交互和按键交互两种方式，在虚拟场景中规划出物体移动；姿态交互方式中，为保证全维度信息，上位机根据下位机传输的姿态信息在脚本程序中随姿态变换而动作；当操作者使用按键交互时，上位机检测键盘信息，随按键信息变化，这种变化是由unity 3d中的动画组件预设的动画；交互同时伴随听觉变化，为场景添加声音效果，同时增加视觉温度信息向操作者反馈真实的温度变化；(3)上位机通讯设计：通讯设计包括制定上行和下行数据的通讯格式，为数据解算提供统一标准，同时在上位机生成触觉再现的控制数据，接受下位机数据并控制姿态变化；具体为：上位机向下位机发送的是触觉执行元件的动作数据，应当包括如下信息：起始位、微型振动元件的震动强度、半导体致冷器的温度变化方向和温度变化强度，并且实现执行元件的独立动作，实现半导体致冷器在单侧产生冷感和热感两个方向的温度变化，在上位机的后台脚本中设计数据下行发送程序，获取操作生成的触觉再现需求；上位机从下位机接受的数据为真实物体的姿态信息数据，一组姿态数据应当包括：选择开关状态、姿态角、分隔符，分隔符用来分隔不同的有效数据，上位机每次接受周期读取一行数据，检测分隔符位置确定具体信息，在上位机的后台脚本中设计上行数据接收程序，用于接收下位机上传的物体姿态数据；(4)下位机通讯设计：微控制器接收下行数据，并根据步骤(3)确定的通讯协议解码数据，转变成执行元件的驱动信号，上行部分将六轴运动传感器的输出数据传递给上位机，根据本装置依赖选择模式和姿态角确定物体的姿态和位移，因此通讯程序的上行部分需要将选择开关的状态和传感器数据结合起来，生成固定格式的通信字符；(5)驱动程序设计：本装置需要根据不同的场合生成幅度不同的触觉信息，对于本文选用的执行元件，包括微型振动元件和半导体制冷器，通过改变施加电压的方式调节执行元件的动作强度，在实际应用中采用pwm调制方法，pwm调制方法以采样控制理论为基础，对模拟信号进行数字编码，通过对半导体器件的导通和关断进行控制，在输出端得到幅值相同而脉宽不等的一系列脉冲波，以实现对波形的模拟或改变波的特性；(6)采集程序设计：采集程序负责读取、解算传感器的输出量，主要包括温度传感器和六轴运动传感器，对温度采集而言，微控制器内置的10位adc，直接读取q点电压值，并映射为[0，1023]之间的数值，温度采集程序实现公式的计算功能，将q点的电压值解算为温
度传感器当前所测量的温度；对于六轴运动传感器，鉴于加速度计和陀螺仪均存在测量误差，不能直接使用原始数据表征物体姿态，因此需要对加速度和角速度进行滤波和融合。
[0015]
本方法通过分析国内外的研究工作，总结现有的触觉再现装置和人机交互方式的优势与不足，提出本文研究的具有交互功能的类人触觉再现方法的研究目标。在具体功能实现分析中分为上位机和下位机两个子系统，其中上位机实现虚拟场景构建、虚拟物体控制和触觉再现需求生成等功能，下位机实现姿态检测、执行元件驱动、温度控制等功能，上位机与下位机之间实现无线通讯。上位机主要使用unity 3d构建虚拟场景，设计脚本程序实现场景中的物体动作和特效，拟定上位机与下位机之间的通讯协议；下位机软件实现驱动、采集、显示、通讯功能，分别规划了子程序处理流程，最终在arduino ide中完成下位机软件编程。通过上位机与下位机的联合测试，检验了通讯协议和无线通讯的可用性。设计了触觉刺激强度感知实验，根据实验结果制定了符合作用区域皮肤感知特性的刺激等级以实现类人触觉再现。
[0016]
作为优选，在步骤(5)中，针对微型振动元件的具体设计如下：在旋转过程中，转子的转速可通过如下公式计算：其中，n为转子结构的转速，u为外加电压，i为电枢回路电流，r为电枢回路电阻，包括直流电机内阻和电路阻抗，ce为元件的结构参数，φ为直流电机的气隙磁通量；在元件结构固定的情况下，ce与φ为固定值，直流电机的转速与外部激励u直接相关，通过改变外加电压对转速实现平稳调节；转子受力旋转，产生的激振力f：f＝m
·r·
ω2其中，m为偏心配重的质量，r为旋转偏心距，ω为旋转角速度；联立上述三个公式，则有：根据上述公式，激振力的大小通过改变外加电压进行调节；不同的激振力给人的感觉不同，故通过改变微控制器的输出电压，即可得到不同的振动感。
[0017]
作为优选，在步骤(5)中，针对半导体制冷器的具体设计如下：半导体致冷器工作时，由帕尔贴效应产生的热量q由下式确定：其中，π
ab
为帕尔贴系数，i为通过元件的电流，为矢量，产热侧与电流方向有关，r为电路阻抗及半导体之和，u为半导体致冷器的外加电压；电路导通时，同时存在电流产生的焦耳热qj，以及半导体致冷器的热端和冷端之间的传导热qc，如下式：qj＝i2·rqc＝k
·a·
(t
h-tc)其中，k为材料的导热系数，a为导热面积，th为热端温度，tc为冷端温度；所以，半导体致冷器在工作状态下，热端存在的热量有两种，一是帕尔贴效应产生的帕尔贴热q，二是一部分电流产生的焦耳热qj/2，同时，冷热端之间的温差导致热端流失了传导热qc，因此热端累积的热量qh为：冷端累积了电流产生的焦耳热qj/2和自热端扩散的传导热qc，因此冷端自环境中吸收的热量qc为：根据热量q、热量qh和热量qc，调节通过半导体致冷器的电流方向在半导体致冷器的一侧实现升温或降温，调节电流大小即可改变温度变化速率；即在元件内阻一定的情况下，通过调节微控制器的输出电压即可实现不同的冷热变化感觉。
[0018]
作为优选，在步骤(5)中，pwm调制方法中最重要的参数就是波形的占空比，占空比d是指一个脉冲周期内高电平所占的时间比，其计算如下式：其中，th为高电平，t
l
为低电平，t为脉冲周期；即采用pwm方法调节微控制器的输出电压，在微控制器内部编程直接调节输出的信号的占空比，实现不同占空比的pwm波形输出，进而控制执行元件的动作；对半导体致冷器的控制需求，除了实现冷热变化，还要设置温度阈值，采用pid控制，计算公式如下：式中，u(k)表示k时刻的半导体致冷器输出值；e(k)表示k时刻的半导体致冷器输入偏差值；k
p
为增益系数，ti为积分时间，td为微分时间，t为采样时间；在实际应用中，为避免执行机构大幅动作，以半导体致冷器的增量为输出量，即：δu(k)＝u(k)-u(k-1)
[0019]
作为优选，在步骤(6)中，针对温度传感器来说，半导体致冷器放置在皮肤表面，为防止升温过程中灼伤皮肤，需要增加温度传感器测量皮肤一侧的半导体致冷器表面温度，根据温度传感器的特性，采用接触式热电阻传感器，在实际测量中，采用热敏电阻r
t
与常值电阻r0串联的形式，具体设计如下：热敏电阻在不同温度下的阻值不同，温度与电阻值的关系通过下式计算，热敏电阻的阻值变化时q点的电位值uq同时变化，输出信号uq将被微控制器直接采集：其中，t1为测量温度，t2为标称温度，单位均为开尔文(k)；r
t
是热敏电阻在t1温度
时的电阻值；r0是热敏电阻在t2温度时的标称电阻值；b是热敏电阻的特性参数；其中，uq为控制器采样到的电压值，r
t
为热敏电阻的阻值；r0为测温电路的常值电阻；联立上述两个公式，得：微控制器利用上述公式，通过采集到的电位值uq解算出半导体致冷器表面的温度。
[0020]
作为优选，在步骤(6)中，针对六轴运动传感器来说，表征物体运动信息需要用到位置和角度信息，理论上单独通过对陀螺仪测量的角速度在时域一次积分，参考初始角度得到当前角度，通过对加速度计的输出结果进行二次时域积分得到位移量，结合初始位置得到当前位置；但是mems的特性决定了其不可避免地受环境噪声影响，而且积分运算会放大噪声，滤波后的加速度计信号进行两次积分之后的偏差甚至达到20％-30％，且没有其他传感器能对加速度信号进行修正，因此不适合用来进行位移计算；角速度积分同样存在误差放大的问题，但是姿态变化的同时，重力在加速度计各轴上会产生加速度分量，也可用以判断物体当前的姿态，对陀螺仪的计算结果进行校正；因此，在设计中只保留姿态解算，同时在电路中增加一个选择开关，当选择开关置高电平时，微控制器得到的姿态信息用于控制虚拟物体的姿态变化，当选择开关置低电平时，当前获取的姿态信息控制虚拟物体的位置移动，将物体坐标系相对于地理坐标系的倾斜角映射为物体朝特定方向的移动命令，倾斜角越大，移动速度越高。
[0021]
本发明的有益效果是：在人机交互过程中实现触觉再现，向使用者提供触觉信息，实现人与计算机更紧密的融合；同时，该装置体积小，能向使用者施加不同的触觉刺激，为小型化触觉刺激装置的研究提供了一种可能方案；在交互方式上，该装置能获取物体的运动信息并映射到虚拟环境中，实现较为自然的交互方式。
附图说明
[0022]
图1是本发明的结构框架图；图2是微型振动元件的结构示意图；图3是微型振动元件的电路简化图；图4是半导体制冷器的结构示意图；图5是温度传感器的电路图；图6是电源电路的电路图；图7是复位电路的电路图；图8是晶振电路的电路图；图9是iic设备连接的电路图；
图10是n型场效应管的结构示意图；图11是h桥式驱动电路的电路图；图12是驱动控制电路的电路图；图13是蓝牙通讯模块的电路图；图14是pwm调制方法的输出波形示意图；图15是刚体绕自身坐标系旋转示意图。
[0023]
图中：1.上壳，2.偏心配重，3.永磁体，4.下壳，5.fpcb，6.转轴，7.转子，8，线圈。
具体实施方式
[0024]
下面结合附图和具体实施方式对本发明做进一步的描述。
[0025]
如图1所述的实施例中，一种具有交互功能的类人触觉再现装置，包括上位机和下位机，上位机通过无线通讯模块与下位机连接，下位机包括执行元件、数据采集传感器、微控制器和驱动控制电路，执行元件包括微型振动元件、半导体制冷器和温度显示屏，微型振动元件、半导体制冷器和温度显示屏均与驱动控制电路连接，微控制器与驱动控制电路连接，数据采集传感器包括温度传感器和六轴运动传感器，温度传感器和六轴运动传感器均与微控制器连接。
[0026]
选用的微控制器为atmega2560-16au，由美国atmel公司研发设计，采用tqfp封装，体积小。其内核为8位avr处理器，工作频率16mhz，一个时钟周期可以执行一条指令，程序存储容量为256kb，带有4kb容量eeprom，8kb容量ram，工作温度-40℃-85℃。atmega2560芯片的i/o引脚资源丰富，包括54个数字信号端口，可以设定为输入/输出模式；16个10位模拟输入端口可以直接采集模拟量，其自带iic，spi，uart/usart通信方式，可以在不同的要求下实现通讯功能。atmega2560以其良好的性能在嵌入式开发设计方向有着极大的应用潜力。
[0027]
如图2所示，微型振动元件为扁平型振动器，扁平型振动器包括上壳1、偏心配重2、永磁体3、下壳4、fpcb5、转轴6、转子7和线圈8，fpcb5置于下壳4上，永磁体3置于fpcb5上，转轴6置于下壳4的中心位置处，转子7置于永磁体3上，转轴6依次穿过fpcb5、永磁体3后与转子7连接，偏心配重2和线圈8均安装在转子7上，上壳1安装在下壳4上，偏心配重2、永磁体3、fpcb5、转轴6、转子7和线圈8置于上壳1和下壳4所构成的腔体内。
[0028]
扁平型振动器的截面直径10mm，厚度2.7mm，额定功率0.24w，能够很好地适应小型装置的设计需求。微型振动元件属于微型直流电机的一种，其核心振动部件为装有偏心配重的转子，其结构如图2。元件通电之后，线圈在永磁体产生的磁场中受到安培力作用，产生扭矩，驱动带有偏心配重的转子在磁场中旋转。因转子结构的质量分布不均匀，导致其在旋转过程中重心不断改变，产生激振力，在外部表现为持续震动。改变通电方向可以改变转子的旋转方向。
[0029]
如图4所示，半导体制冷器选择p型半导体材料和n型半导体材料间隔排列，在p型半导体材料的一端与其左侧的n型半导体材料一端用导体连接，在p型半导体材料的另一端与其右侧的n型半导体材料另一端用导体连接，在p型半导体材料与n型半导体材料的两端外侧均使用绝缘陶瓷封装。
[0030]
法国科学家帕尔贴在实验中发现电流通过不同材料组成的回路时，除了产生焦耳热损耗外，还在不同材料的连接处出现了与电流方向有关的吸热放热现象，且热量变化与
电流大小成正比，这一现象被称为帕尔贴效应。半导体致冷器即是利用半导材料的帕尔贴效应制成的一种元件，其结构如图4所示。选择p型和n型半导体材料间隔排列，在材料两端用导体连接，外侧使用绝缘陶瓷封装。改变通过半导材料的电流的方向和大小，该元件可以在同侧实现强度、方向不同的温度变化。半导体致冷器的体积小，热容值小，温度变化迅速，无制冷剂污染，可靠性高，使其能够应用在一些空间受限的场合。尤其是其便于控制的特点，使得在自然的人机交互过程中复现温度信息成为可能，故其能在交互设备，尤其是穿戴设备中得到广泛应用。
[0031]
温度显示模块采用0.91寸oled屏幕，该模块通过载流子的注入和复合而致发光。其阳极是一层薄而透明的铟锡氧化物(ito)，与金属阴极之间重叠着电子传送层、有机发射器和洞穴(空穴)注射层，洞穴(空穴)和电子分别被阳极和阴极驱动到有机发射器层，二者相遇激发出可见光
[50]
。相比于传统的led、lcd显示方式，oled显示模块厚度可以控制在1mm以内，而lcd的厚度通常在3mm，而且oled独有的广视角更是实现了超大范围内观看同一块屏幕也不会失真。这些性能使得oled屏幕在电子产品、工业、医疗等领域有着越来越广泛的应用。本设计中，温度显示模块用以显示半导体致冷器表面的温度值，其与微控制器之间通过iic协议进行通讯，微控制器解算出半导体致冷器表面的温度值，通过串行数据线(sda)，将温度数值在oled屏幕上显示出来。
[0032]
驱动控制电路包括电源电路、复位电路、晶振电路和驱动电路，电源电路分别与无线通讯模块、温度显示屏和微控制器连接，复位电路和晶振电路均与微控制器连接，六轴运动传感器和温度显示屏均通过iic总线与微控制器连接，微型振动元件和半导体制冷器均通过驱动电路与微控制器连接。
[0033]
其中，电源电路将电源输出转变为稳定可靠的能量提供给微控制器。atmega2560的工作电压为5v，稳压器ams1117能够将外加电源稳定成不同电压值输出，常用的有3.3v，1.8v，2.5v，5v等，本装置的电源电路以ams1117-5.0作为电源的降压稳压器。同时，电路中的oled模块、无线蓝牙模块的工作电压为3.3v，三级稳压管662k体积小、功耗低压差低，适合用作3.3v的降低电路设计。电源电路的电路图如图6。
[0034]
复位是一种使电路恢复到起始状态的功能，在电路设计中利用复位电路实现单片机在任何执行状态下回到初始位置，重新执行。实现复位功能可以通过复位芯片复位、上电复位、按键复位等形式。本文根据需要，选择按键复位电路，电路设计如图7。atmega2560芯片需要复位引脚低电平持续1.5us以上才能实现复位功能，当按下复位键swr时，reset引脚变为低电平，且因电容充电使reset引脚的低电平能持续1ms以上，满足复位需要。
[0035]
晶振电路为微控制器提供时钟信号，保证时序稳定，中断计数通讯等功能均依赖于精准的时钟信号。atmega2560使用的是外部16mhz石英晶体振荡器，内部集成了负载电容，连接到atmega2560的。电路连接如图8。
[0036]
mpu6050、oled屏幕与微控制器的通信均通过iic总线进行。iic总线只有sda、scl两条线，主设备与从设备均通过自身的iic接口挂载其上，根据各自不同的地址信息实现不同设备间的数据交流。iic的有效信号为起始信号和终止信号，当scl为高电平时，sda产生一个下降沿表示起始信号，起始信号发生后在一个周期(scl为高电平期间)内传送一个字节数据，scl为高电平期间，sda数据不能变化。当scl为高电平时，sda产生一个上升沿表示终止信号。mpu6050和oled屏幕与主控制器的连接方式如图9。
[0037]
温度检测电路如图5，q点连接至atmega2560的模拟输入引脚pin82。微型振动元件和半导体致冷器的由微控制器控制，但是考虑到微控制器的输出通常只是作为控制信号的微电流，实际应用中，若要执行元件正常工作，尤其是要求半导材料产生帕尔贴效应并使温度变化累积到皮肤可感的程度，需要使用较大电流(0.5-1a)。选择mx1508四通道双路驱动芯片作为执行机构的驱动元件，其内部集成了两组h桥式金属-氧化物半导体场效应晶体管(metal-oxide-semiconductor field-effect transistor,mosfet)。如图10是n型mosfet的剖面图，以p型硅半导体作为衬底，在其面上扩散了两个n型区，再在上面覆有一层二氧化硅绝缘层，用腐蚀的方法在n区上作出两个孔，最后绝缘层及两个孔内覆盖电极：g(栅极)，s(源极)，d(漏极)。p型场效应管的衬底和扩散区与n型场效应管相反
[59]
。通过控制栅极电压可以实现场效应管的导通和截止。
[0038]
mosfet适合高频开关动作，在如图11所示的h桥式结构中，主控制器只提供mosfet的栅极电压控制信号，由电源提供驱动电路的能量。图中，q1、q2为p型场效应管，q3、q4为n型场效应管，pwm1和pwm2连接到微控制器的控制信号输出引脚，p为半导体致冷器或微型振动元件。当pwm1和pwm2分别置高低电平时，q1、q4构成回路导通或q2、q3导通，流经p的电流方向相反，满足半导体致冷器在一侧进行吸热或放热。
[0039]
微控制器与驱动控制电路及执行元件连接图如图12。其中，piltier为半导体致冷器，因其需要在元件一侧实现冷热两种变化，因此设计主控制器两个引脚控制其动作，mx1508的输入引脚ina1和ina2，对应图11中的pwm1和pwm2。vibrator为微型振动元件，本设计不考虑微型电机的正反转，因此mx1508的输入引脚inb2接地。
[0040]
通讯电路实现上位机与下位机的数据传输，由无线蓝牙模块实现。本文采用的是hc-05主从一体蓝牙模块，遵循ieee802.15.1协议，能与笔记本、手机等常用设备实现全双工无线传输，支持9600,115200等多种通讯波特率，体积小(28mm*15mm)，方便实现嵌入式开发。上、下位机分别使用一只hc-05模块，经配对后可在10米范围内实现通讯功能，如图13为蓝牙通讯模块的电路连接图。
[0041]
本发明还提供了一种具有交互功能的类人触觉再现方法，在上位机中利用3d max和unity 3d构建虚拟场景，设计虚拟物体的受控运动，为上位机和下位机之间的通讯制定可行的通讯协议；在下位机中控制下位机的执行元件实现按需触觉再现，获取数据采集传感器的数据，具体包括如下步骤：(1)虚拟场景构建：制作使用3d max软件用于三维建模，三维模型使用fbx格式导出，该格式对需要导出的信息进行筛选和设置，3d max在制作三维模型时需要与unity 3d使用统一的尺寸，然后在unity 3d中使用1:1的缩放进行直接导入即可；(2)交互操作设计：交互操作在上位机中实现根据操作者的操作信息而产生的虚拟物体变化，根据设计的姿态交互和按键交互两种方式，在虚拟场景中规划出物体移动；姿态交互方式中，为保证全维度信息，上位机根据下位机传输的姿态信息在脚本程序中随姿态变换而动作；当操作者使用按键交互时，上位机检测键盘信息，随按键信息变化，这种变化是由unity 3d中的动画组件预设的动画；交互同时伴随听觉变化，为场景添加声音效果，同时增加视觉温度信息向操作者反馈真实的温度变化；(3)上位机通讯设计：通讯设计包括制定上行和下行数据的通讯格式，为数据解算提供统一标准，同时在上位机生成触觉再现的控制数据，接受下位机数据并控制姿态变化；
具体为：上位机向下位机发送的是触觉执行元件的动作数据，应当包括如下信息：起始位、微型振动元件的震动强度、半导体致冷器的温度变化方向和温度变化强度，并且实现执行元件的独立动作，实现半导体致冷器在单侧产生冷感和热感两个方向的温度变化，在上位机的后台脚本中设计数据下行发送程序，获取操作生成的触觉再现需求；上位机从下位机接受的数据为真实物体的姿态信息数据，一组姿态数据应当包括：选择开关状态、姿态角、分隔符，分隔符用来分隔不同的有效数据，上位机每次接受周期读取一行数据，检测分隔符位置确定具体信息，在上位机的后台脚本中设计上行数据接收程序，用于接收下位机上传的物体姿态数据；(4)下位机通讯设计：微控制器接收下行数据，并根据步骤(3)确定的通讯协议解码数据，转变成执行元件的驱动信号，上行部分将六轴运动传感器的输出数据传递给上位机，根据本装置依赖选择模式和姿态角确定物体的姿态和位移，因此通讯程序的上行部分需要将选择开关的状态和传感器数据结合起来，生成固定格式的通信字符；(5)驱动程序设计：本装置需要根据不同的场合生成幅度不同的触觉信息，对于本文选用的执行元件，包括微型振动元件和半导体制冷器，通过改变施加电压的方式调节执行元件的动作强度，在实际应用中采用pwm调制方法，pwm调制方法以采样控制理论为基础，对模拟信号进行数字编码，通过对半导体器件的导通和关断进行控制，在输出端得到幅值相同而脉宽不等的一系列脉冲波，以实现对波形的模拟或改变波的特性；针对微型振动元件的具体设计如下：当微型振动元件通直流电时，可以简化电路如图3，以便分析。
[0042]
在旋转过程中，转子的转速可通过如下公式计算：其中，n为转子结构的转速，u为外加电压，i为电枢回路电流，r为电枢回路电阻，包括直流电机内阻和电路阻抗，ce为元件的结构参数，φ为直流电机的气隙磁通量；在元件结构固定的情况下，ce与φ为固定值，直流电机的转速与外部激励u直接相关，通过改变外加电压对转速实现平稳调节；转子受力旋转，产生的激振力f：f＝m
·r·
ω2其中，m为偏心配重的质量，r为旋转偏心距，ω为旋转角速度；联立上述三个公式，则有：根据上述公式，激振力的大小通过改变外加电压进行调节；不同的激振力给人的感觉不同，故通过改变微控制器的输出电压，即可得到不同的振动感。
[0043]
针对半导体制冷器的具体设计如下：半导体致冷器工作时，由帕尔贴效应产生的热量q由下式确定：
其中，π
ab
为帕尔贴系数，i为通过元件的电流，为矢量，产热侧与电流方向有关，r为电路阻抗及半导体之和，u为半导体致冷器的外加电压；电路导通时，同时存在电流产生的焦耳热qj，以及半导体致冷器的热端和冷端之间的传导热qc，如下式：qj＝i2·
rqc＝k
·a·
(t
h-tc)其中，k为材料的导热系数，a为导热面积，th为热端温度，tc为冷端温度；所以，半导体致冷器在工作状态下，热端存在的热量有两种，一是帕尔贴效应产生的帕尔贴热q，二是一部分电流产生的焦耳热qj/2，同时，冷热端之间的温差导致热端流失了传导热qc，因此热端累积的热量qh为：冷端累积了电流产生的焦耳热qj/2和自热端扩散的传导热qc，因此冷端自环境中吸收的热量qc为：根据热量q、热量qh和热量qc，调节通过半导体致冷器的电流方向在半导体致冷器的一侧实现升温或降温，调节电流大小即可改变温度变化速率；即在元件内阻一定的情况下，通过调节微控制器的输出电压即可实现不同的冷热变化感觉。
[0044]
pwm调制方法中最重要的参数就是波形的占空比，占空比d是指一个脉冲周期内高电平所占的时间比，以图14波形为例，其计算如下式：其中，th为高电平，t
l
为低电平，t为脉冲周期；即采用pwm方法调节微控制器的输出电压，atmega2560根据内部8位定时器设置了15个i/o口可以输出pwm信号，将占空比0-100％映射为十进制数字0-255，在微控制器内部编程直接调节输出的信号的占空比，实现不同占空比的pwm波形输出，通过调节微控制器的输出电压使mosfet改变导通状态，在mx1508的输出端口跟踪与微控制器输出相近的pwm波形，进而控制执行元件的动作；对半导体致冷器的控制需求，除了实现冷热变化，还要设置温度阈值，采用pid控制，计算公式如下：式中，u(k)表示k时刻的半导体致冷器输出值；e(k)表示k时刻的半导体致冷器输入偏差值；k
p
为增益系数，ti为积分时间，td为微分时间，t为采样时间；在实际应用中，为避免执行机构大幅动作，以半导体致冷器的增量为输出量，即：δu(k)＝u(k)-u(k-1)
[0045]
(6)采集程序设计：采集程序负责读取、解算传感器的输出量，主要包括温度传感器和六轴运动传感器，对温度采集而言，微控制器内置的10位adc，直接读取q点电压值，并
映射为[0，1023]之间的数值，温度采集程序实现公式的计算功能，将q点的电压值解算为温度传感器当前所测量的温度；对于六轴运动传感器，鉴于加速度计和陀螺仪均存在测量误差，不能直接使用原始数据表征物体姿态，因此需要对加速度和角速度进行滤波和融合。
[0046]
针对温度传感器来说，半导体致冷器放置在皮肤表面，为防止升温过程中灼伤皮肤，需要增加温度传感器测量皮肤一侧的半导体致冷器表面温度，根据温度传感器的特性，采用接触式热电阻传感器。其中，热电阻传感器分为正温度系数和负温度系数两种，正温度系数热电阻传感器的电阻值随温度升高而增大，负温度系数热电阻的阻值随温度升高而减小。本设计中的温度检测模块采用负温度系数热敏电阻，能测量-40℃至300℃的温度值，阻值精度
±
1％，额定功率45mw。在实际测量中，采用热敏电阻r
t
与常值电阻r0串联的形式，如图5所示，具体设计如下：热敏电阻在不同温度下的阻值不同，温度与电阻值的关系通过下式计算，热敏电阻的阻值变化时q点的电位值uq同时变化，输出信号uq将被微控制器直接采集：其中，t1为测量温度，t2为标称温度，单位均为开尔文(k)；r
t
是热敏电阻在t1温度时的电阻值；r0是热敏电阻在t2温度时的标称电阻值；b是热敏电阻的特性参数；其中，uq为控制器采样到的电压值，r
t
为热敏电阻的阻值；r0为测温电路的常值电阻；联立上述两个公式，得：微控制器利用上述公式，通过采集到的电位值uq解算出半导体致冷器表面的温度。
[0047]
针对六轴运动传感器来说，表征物体运动信息需要用到位置和角度信息，理论上单独通过对陀螺仪测量的角速度在时域一次积分，参考初始角度得到当前角度，通过对加速度计的输出结果进行二次时域积分得到位移量，结合初始位置得到当前位置；但是mems的特性决定了其不可避免地受环境噪声影响，而且积分运算会放大噪声，滤波后的加速度计信号进行两次积分之后的偏差甚至达到20％-30％，且没有其他传感器能对加速度信号进行修正，因此不适合用来进行位移计算；角速度积分同样存在误差放大的问题，但是姿态变化的同时，重力在加速度计各轴上会产生加速度分量，也可用以判断物体当前的姿态，对陀螺仪的计算结果进行校正；因此，在设计中只保留姿态解算，同时在电路中增加一个选择开关，当选择开关置高电平时，微控制器得到的姿态信息用于控制虚拟物体的姿态变化，当选择开关置低电平时，当前获取的姿态信息控制虚拟物体的位置移动，将物体坐标系相对于地理坐标系的倾斜角映射为物体朝特定方向的移动命令，倾斜角越大，移动速度越高。
[0048]
准确的姿态信息是连接真实动作与虚拟物体的重要桥梁。在人机交互过程中，对真实环境中的刚体进行表征所用到的信息为其在空间中的位置和姿态，通过高频采样和快速的信息处理能力可以在虚拟场景中复现出真实环境中的所有变化。对刚体进行姿态表征，通常有两种形式，欧拉角和四元数。其中欧拉角也称姿态角，即绕自身坐标系x,y,z轴旋转的角度，分别用横滚角(roll)，俯仰角(pitch)，航向角(yaw)表示。刚体旋转过程中，自身坐标系会产生相对于地理坐标系的改变，二者之间的转换关系可以用旋转矩阵表示，自身坐标系下的任一坐标可通过旋转矩阵变换到地理坐标系中的位置。欧拉角是理解三维旋转最直观的一种方式。
[0049]
将刚体旋转分解为绕z-y-x顺序转动，三次转动分别绕其自身坐标系的三个轴进行，如图15。
[0050]
绕z轴转动ψ角，即偏航角yaw。基本旋转矩阵为：绕y轴转动θ角，即俯仰角pitch。基本旋转矩阵为：绕x轴转动φ角，即横滚角roll。基本旋转矩阵为：三次绕z、y、x的旋转可以看作从初始位置到最终位置的一次旋转，旋转矩阵为：旋转矩阵h，也称方向余弦矩阵、姿态矩阵，表示刚体自身坐标系相对于地理坐标系的旋转。假设存在一点p，其在自身坐标系中的坐标为p(x,y,z)，在地理坐标系下的坐标为p'(x',y',z')，即有：p'(x',y',z')＝h
(ψ,θ,φ)
·
p(x,y,z)欧拉角虽然能直观理解三维坐标变换，但是要依赖旋转矩阵描述旋转过程，旋转矩阵的形式复杂，三角函数的计算量较大。而且当pitch＝
±
90
°
时，有：此时，矩阵的第一列和左后一行始终保持不变，绕x轴等价于绕z轴旋转，物体姿态相对于地理坐标系下自由度为2，缺失了x轴的维度信息，导致同一种空间状态的欧拉角存
在不唯一的旋转方式，在插值时出现问题。这种情况下，可以采用四元数进行姿态表征。
[0051]
四元数是爱尔兰数学家hamilton于1843年发明的一种数学概念，由1个实数和3个虚部复合而成，通常表示如下：其中，w，x，y，z都是实数，i，j，k是虚数且满足：i2＝j2＝k2＝-1i0＝j0＝k0＝1ij＝k，jk＝i，ki＝jji＝-k，kj＝-i，ik＝-j令v＝(x，y，z)，定义四元数的运算如下：q1 q2＝(w1 w2，(v1 v1))q1q1＝w1w
2-v1·
v2 w1v2 w2v1 v1×
v2q
*
＝(w，-v)假设在旋转过程中，存在旋转轴(单位向量为)和旋转角σ，使用四元数表征姿态的形式如下：任一向量s1绕旋转轴u旋转σ角后的向量s2可以得到：旋转矩阵h可以由四元数q＝(q0，q1，q2，q3)转换：同时反解出欧拉角得：θ＝arcsin(-2(q1q3 q0q2))四元数表征姿态时仅需要对四个元素进行简单计算，能有效降低数据处理难度且不会丢失维度信息，但是四元数是一种基于纯数学运算的概念，不够直观、难以理解。为符合人类的直觉习惯，可以利用上式将四元数和姿态角转换表示。
[0052]
六轴运动传感器mpu6050是一种微电机系统(micro-electro-mechanical system，mems)传感器。mpu6050内部集成了3轴陀螺仪、3轴加速度计、1个温度传感器和1一个可扩展的数字运动处理器(digital motion processing，dmp)，可以通过400khz快速模式的iic总线与微控制器通讯，将陀螺仪和加速度数据传递给主控制器进行分析、处理。也可以通过iic接口拓展一个第三方传感器(如磁力计)，组成一个九轴传感单元。
[0053]
mpu6050内部的陀螺仪和加速度计单元可以直接测量x、y、z轴的瞬时角速度和加速度。测量单元的输出环节集成有7个16位模数转换器(analog to digital converter,adc)。对陀螺仪和加速度计分别使用了三个16位的adc，将其测量的模拟量转化为可输出的数字量。这些数字量存储在mpu6050的内部寄存器中，主控制器访问寄存器地址可以读取内部数据，寄存器地址一个字节，8位寻址空间，其地址及含义如下表所示。
[0054]
mpu6050寄存器地址及含义数据内容含义0x3b加速度计的x轴分量acc-x0x3d加速度计的y轴分量acc-y0x3f加速度计的z轴分量acc-z0x43绕x轴旋转的角速度gyr-x0x45绕y轴旋转的角速度gyr-y0x47绕z轴旋转的角速度gyr-z对陀螺仪的计算结果进行校正如下：当mpu6050静止或低频运动，加速度计基本不受除重力之外的惯性力，因此可看作只受重力的作用，此时地理坐标系下重力分量为：gn＝[0,0,g]
t
此时，mpu6050载体坐标系中，重力分量为：其中是加速度计三轴的值。
[0055]
将gn,gb带入公式有：其中gb是载体坐标系，gn,是地理坐标系，h-1
是姿态矩阵的逆矩阵。将上述两个公式等价起来，可以解出俯仰角θ和横滚角φ为:结合陀螺仪测得的三轴的角速度，进行一次积分如下：
其中，dθx,dθ
x
,dθ
x
分别为t时间间隔的角度变化量，ω
x
,ωy,ωz分别为陀螺仪x、y、z轴对应的角速度速输出，单位为弧度/秒(rad/s)。
[0056]
具体而言，在设计时，为符合正常的动作习惯，结合mpu6050的坐标系标定和安装位置，将yaw角的变化映射为unity3d模型的左右移动，其中yaw角的增加为向左移动，yaw角的减小为向右移动；同理，将pitch角的变化映射为虚拟物体的上下移动，pitch角的增加为向上移动，减小为向下移动。
[0057]
mpu6050内部的集成处理器dmp，负责运动处理的计算，对下位机主控制器起到减少功耗、减轻计算量的作用。dmp能将获取到的加速度和角速度值进行数据融合运算，以不同形式输出将结果存在fifo缓冲区中。开发人员可以调用dmp运动处理资料库，非常方便地实现姿态解算。从设计上来讲，使用dmp进行姿态解算不需要在微控制器中占用大量空间和时间编制、运行滤波程序，只需等待mpu6050产生中断信号，微控制器因此可以脱离无尽的迭代运算，去执行其他功能，满足了微型振动元件和半导体致冷器的实时动作要求。在程序设计中，为避免正常执行的下位机程序突然中止，造成触觉再现的间隔。将mpu6050产生的中断并不及时处理，而是在中断函数中将中断标志位置1，在主程序的while()循环中判断中断标志位。
[0058]
本技术提出了一种具有交互功能的类人触觉再现装置。利用虚拟现实技术构建出虚拟场景，使用运动传感器实时获取使用者的姿态信息控制虚拟场景中的物体状态，并将虚拟场景中产生的触觉变化通过执行元件反馈给使用者，整体上构成闭环。不仅实现了类人触觉再现，而且具有自然的交互功能。
[0059]
温度和振动是非常普遍的两种触觉刺激，通过执行元件向使用者传递虚拟场景中的温度和振动变化可以增强使用者与虚拟物体之间的联系。同时，使用温度或振动组合编码不同的信息传递给使用者，能够有效拓宽信息再现的范围，利用少量执行元件实现丰富的触觉变化。
[0060]
其包括上位机和下位机平台两部分，两部分之间采用蓝牙模块实现无线通讯。上位机系统使用unity3d构建虚拟场景，可运行在pc或移动设备上，将虚拟环境的变化信息传递给下位机平台。下位机平台主要实现振动和温度信息的再现，施加给使用者，同时下位机的运动传感器单元获取使用者当前的操作姿态传递给上位机系统，温度传感单元获取半导体致冷器的表面温度供主控制器分析，避免温度过高灼伤皮肤。通过双向数据通讯和执行程序，使用者不仅获取视听信息，同时实时操纵虚拟场景中的物体旋转、移动，并且通过触觉再现功能感受到执行元件产生的振动感和温度信息，体验到虚拟环境中的触觉变化。