一种基于远距离数字交互物理化技术的人机交互方法与流程

1.本发明涉及远距离数字交互物理化技术，具体是指一种基于远距离数字交互物理化技术的人机交互方法。


背景技术：

2.随着科技的进步、与数字媒体、虚拟实景、现实增强等虚实结合技术的发展，人们的沟通交流与互动协作愈发转向数字虚拟化。但现有的语音通讯或语音播放设备只能单纯地传递音频信息这一单一信号。然而，在自然场景下人与人面对面的沟通交流中，语音只是其中的一部分，情感语气、肢体动作、表情信息等都是其中重要的感官信息，帮助人们更完整地分析、理解语句含义。但在语音通话、远距离协作等场景中，这部分的多元感官刺激被减至最低，仅剩语音；而触觉反馈、情感情绪等信息缺失严重，造成远距离沟通中时常会出现误会误解，甚至引发触摸贫乏而引发心理健康问题，并由此引发继发性免疫混乱等生理健康问题。因此，智能穿戴设备需要引入触觉反馈，以更好地在数字沟通交流中传递情绪、情感、动作等多元感官信息，以增强远距离沟通和虚拟协作。


技术实现要素：

3.为解决上述技术问题，本发明提供的技术方案为：一种基于远距离数字交互物理化技术的人机交互方法，包括以下步骤：
4.s1、cpu处理器通过无线通讯模块获取音频源；
5.s2、语音识别模块用于对音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频，并对数字音频转换为有效文字信息或语音指令，并被处理器截获提取其中关键文字或指令；
6.s3、被截获提取的关键文字、指令等有效信息，通过通讯模块或装置载体内部电连接传递至“触觉与动觉反馈语义库”；
7.s4、“触觉与动觉反馈语义库”为存储在云端和或装置载体内的存储介质中的触觉与动觉映射准则数据库，通过将语音中的有效信息或指令，通过上下文语义识别语音沟通中的情绪、情感、动作等，匹配映射与之对应的触觉与动觉反馈信号，并传送给控制单元。
8.本发明与现有技术相比的优点在于：本方案通过在语音聊天等远距离沟通协作中引入触觉与动觉反馈，以更好地在数字沟通交流中传递情绪、情感、动作等多元感官信息，帮助人们更完整地分析、理解语句含义，形成语音与触、动觉反馈双向并行的沟通，以增强沟通中情绪传递或动作模拟的装置，以增强远距离沟通和虚拟协作，可应用于远距离语音通话、虚拟化应用场景、远距离协作、音乐增强等广泛用途。
9.进一步的，一种基于远距离数字交互物理化技术的人机交互方法搭载有可感知用户界面、人机交互模块。
10.进一步的，可感知用户界面为用户交互界面由控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发阵列式发生模块，提供触觉与动觉刺激。
11.进一步的，人机交互模块用于提供由触控板提供的用户手势指令接收，触控板实时监测用户的操作手势，并将获得的手势数据传输给控制单元，控制单元将手势指令数据转换为设备控制指令以控制控制单元与cpu处理器执行相应控制功能。
12.进一步的，控制指令与控制功能包括但不限于如下任意一种或多种：触觉与动觉反馈信号指令的传输、阵列式触觉与动觉发生器的激发、音频传输、播放控制、语音沟通、设备开/关，音量调节、设备状态设定调整等功能。
13.进一步的，一种基于远距离数字交互物理化技术的人机交互方法还包括实时检测用户的心率数据的心率传感器，心率传感器通过i2c接口与cpu处理器相连，以光学方式检测用户耳朵毛细血管的血液反射光的强度的周期性变化，计算出佩戴设备时用户的心率，并将得到的心率数据传送给cpu处理器，cpu处理器上的控制单元解析心率数据并按照相关算法进行处理，预测用户的情绪，以增强触觉与动觉反馈的映射准确性。
附图说明
14.图1是一种基于远距离数字交互物理化技术的人机交互方法的工作流程示意图。
具体实施方式
15.下面结合附图对本发明做进一步的详细说明。
16.本发明在具体实施时，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法，包括以下步骤：
17.s1、cpu处理器通过无线通讯模块获取音频源；
18.s2、语音识别模块用于对音频源进行声学滤波，获取预处理音频，并通过模拟电路滤波后通过模拟转换生成数字音频，并对数字音频转换为有效文字信息或语音指令，并被处理器截获提取其中关键文字或指令；
19.s3、被截获提取的关键文字、指令等有效信息，通过通讯模块或装置载体内部电连接传递至“触觉与动觉反馈语义库”；
20.s4、“触觉与动觉反馈语义库”为存储在云端和或装置载体内的存储介质中的触觉与动觉映射准则数据库，通过将语音中的有效信息或指令，通过上下文语义识别语音沟通中的情绪、情感、动作等，匹配映射与之对应的触觉与动觉反馈信号，并传送给控制单元。
21.进一步的，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法搭载有可感知用户界面、人机交互模块。
22.进一步的，如图1所示的实施例中，可感知用户界面为用户交互界面由控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发阵列式发生模块，提供触觉与动觉刺激。其中，所述“可感知用户界面tangible user interface(tui)”为用户交互界面，由所述控制单元控制，通过“触觉与动觉反馈语义库”映射的触觉与动觉反馈信号，激发所述阵列式发生模块(例如但不限于，源自于所述单体或阵列式振动马达)，提供触觉与动觉刺激(例如但不限于，源自于所述单体或阵列式振动马达的振动刺激)；因为所述穿戴式装置直接与用户头部接触，故触觉与动觉刺激可直接被用户感知，作用于用户；其中所述的振动反馈与振动刺激可以为单个振动模块的单次和/或多次振动刺激、和/或多个振动模块的单次和/或多次振动刺激，其中所述振动马达的振动时间、振动间隔、振动次序等可
调节，以对应不同的映射目标与符合语境。
23.进一步的，如图1所示的实施例中，人机交互模块用于提供由触控板提供的用户手势指令接收，触控板实时监测用户的操作手势，并将获得的手势数据传输给控制单元，控制单元将手势指令数据转换为设备控制指令以控制控制单元与cpu处理器执行相应控制功能。
24.进一步的，如图1所示的实施例中，控制指令与控制功能包括但不限于如下任意一种或多种：触觉与动觉反馈信号指令的传输、阵列式触觉与动觉发生器的激发、音频传输、播放控制、语音沟通、设备开/关，音量调节、设备状态设定调整等功能。
25.进一步的，如图1所示的实施例中，一种基于远距离数字交互物理化技术的人机交互方法还包括实时检测用户的心率数据的心率传感器，心率传感器通过i2c接口与cpu处理器相连，以光学方式检测用户耳朵毛细血管的血液反射光的强度的周期性变化，计算出佩戴设备时用户的心率，并将得到的心率数据传送给cpu处理器，cpu处理器上的控制单元解析心率数据并按照相关算法进行处理，预测用户的情绪，以增强触觉与动觉反馈的映射准确性。其中，所述接触传感器通过头梁内部主体走线与cpu连接。在设备的接触感应功能开启时，接触传感器实时感应用户对设备的接触，并将检测到的接触数据传送给cpu，cpu上的操作系统即上述的控制单元解析接触数据，判断音频播放设备的佩戴状态，确定音频播放设备是处于佩戴状态还是非佩戴状态，并通过预置的软件算法生成继续提供所述触觉或动觉反馈刺激或停止所述阵列式触觉反馈发生器的工作。
26.本方案涵盖语音沟通、音频播放、触觉和动觉刺激(包括但不限于振动刺激)以及播放控制等所有功能。其独特的“触觉与动觉反馈语义库”与“可感知用户界面tangible user interface”，将语音信息、上下文感知的结果映射、转化为可感知的触觉反馈。
27.本发明总体上涉及远距离数字交互物理化技术，在传统人机交互与信息沟通领域引入触觉与动觉反馈，并且更具体地，涉及一种通过一个或多个处理器将语音音频信息通过上下文感知实时通过匹配“触觉与动觉反馈语义库”中的映射准则，映射转化成可感知的触觉反馈，并通过阵列式(震动)发生器提供环绕式触觉反馈，形成语音与触、动觉反馈双向并行的沟通，以增强沟通中情绪传递或动作模拟的装置，可应用于远距离语音通话、虚拟化应用场景、远距离协作、音乐增强等广泛用途。
28.以上显示和描述了本发明的基本原理和主要特征以及发明的优点，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。