用于耳机系统的双模式体感振动方法及体感振动耳机系统与流程
本发明涉及耳机,尤其涉及用于耳机系统的双模式体感振动方法及体感振动耳机系统。
背景技术:
1、现有耳机系统大多仅提供听觉体验,无法在低频场景(如爆炸、鼓声等)中提供同步的触觉维度的沉浸式反馈。
2、相关技术中虽然能够输出与音频对应的触觉效果,但并未涉及耳机在游戏、观影应用中低频场景的沉浸式触觉反馈。如公开号为cn109634402a的中国专利,提供了用于输出触觉效果的系统,该系统包括处理器,该处理器被配置为接收信号,信号不限于为音频,部分地基于该信号来确定触觉效果,输出与触觉效果相关联的触觉信号,触觉信号不限于为振动;音频输出设备,该音频输出设备被配置为接收信号并且输出听觉效果。虽然该专利输出了音频的触觉效果,但是其并未涉及人体身临低频场景(如爆炸、鼓声)时对低频声音信号的真实振感触觉反馈分析,未区分人体感知的声音振感和环境振感,无法沉浸式体验。
3、在实现本发明过程中,发明人发现现有技术中至少存在如下问题:
4、现有耳机系统无法在低频音频场景(如爆炸、鼓声等)中提供同步触觉维度的沉浸式反馈。
技术实现思路
1、本发明的目的在于提供用于耳机系统的双模式体感振动方法及体感振动耳机系统,以解决现有技术中存在的无法在低频音频场景(如爆炸、鼓声等)中提供同步触觉维度的沉浸式反馈的技术问题。本发明提供的诸多技术方案中的优选技术方案所能产生的诸多技术效果详见下文阐述。
2、为实现上述目的,本发明提供了以下技术方案:
3、本发明提供用于耳机系统的双模式体感振动方法,所述耳机系统包括向用户提供声音振感的第一振动组和提供环境振感的第二振动组,所述第一振动组包括至少一个第一振动单元,所述第二振动组包括至少一个第二振动单元;所述方法包括:获取分析窗口对应的音频帧,所述音频帧包括至少一个声道的音频数据;提取所述音频帧在预设低频段的声道能量包络、声道能量时间分布、总能量时间分布、事件起始标识时间序列和间歇性冲击模式特征;对所述声道能量时间分布、所述总能量时间分布和所述事件起始标识时间序列进行声音振感预测处理,获得各第一振动单元的振幅预测时间序列,将各第一振动单元的振幅预测时间序列左移第一补偿时间,获得各第一振动单元的振幅时间序列;对所述声道能量包络和所述间歇性冲击模式特征进行环境振感预测处理,获得各第二振动单元的振幅预测时间序列,将各第二振动单元的振幅预测时间序列左移第二补偿时间,获得各第二振动单元的振幅时间序列;所述第二补偿时间小于所述第一补偿时间;按照各第一振动单元的振幅时间序列生成该第一振动单元的驱动信号,按照各第二振动单元的振幅时间序列生成该第二振动单元的驱动信号。
4、优选的,所述提取所述音频帧在预设低频段的声道能量包络、声道能量时间分布、总能量时间分布、事件起始标识时间序列和间歇性冲击模式特征,包括:在预设低频段内对所述音频帧进行频谱分析,获得每个声道每个时刻的频谱能量分布;求和每个声道每个时刻的所述频谱能量分布中所有频点的能量,获得每个声道每个时刻的低频能量,利用所有声道所有时刻的低频能量组成所述声道能量时间分布;基于所述声道能量时间分布,整合每个时刻所有声道的低频能量,获得该时刻的总低频能量,分析窗口内所有时刻的总低频能量构成所述总能量时间分布;基于每个声道在预设低频段所有时刻的低频能量,提取该声道的能量包络,所有声道的能量包络组成所述声道能量包络;计算所述总能量时间分布的能量斜率时间分布,将所述能量斜率时间分布中能量斜率大于能量斜率阈值的时刻作为有效时刻,其对应的事件起始标识赋值为第一数值,能量斜率不大于能量斜率阈值的时刻作为无效时刻,其对应的事件起始标识赋值为第二数值,所有时刻的事件起始标识组成所述事件起始标识时间序列;基于所述声道能量包络提取所述间歇性冲击模式特征,所述间歇性冲击模式特征包括每个声道的冲击间隔、高于能量阈值占空比、冲击陡度中至少一者。
5、优选的,所述声音振感预测处理,包括:基于声道能量时间分布、预设的声道与第一振动单元映射关系获得第一振动组的第一振动单元能量比例时间分布;基于所述第一振动单元能量比例时间分布外推未来m个时刻的第一振动单元能量比例时间分布,所述未来m个时刻的时间长度大于所述第一补偿时间的时间长度;m为正整数;提取所述总能量时间分布的包络,基于所述包络外推未来m个时刻的总能量基础包络;以所述总能量基础包络上被所述事件起始标识时间序列标记为有效时刻的时间点为起始点,叠加冲击包络模板,获得未来m个时刻的总能量预测包络;基于未来m个时刻的第一振动单元能量比例时间分布,以及未来m个时刻的总能量预测包络,获得各第一振动单元未来m个时刻的能量预测包络;按照声音能量与振幅的映射关系,将各第一振动单元未来m个时刻的能量预测包络转换为该第一振动单元的振幅预测时间序列。
6、优选的,所述环境振感预测处理包括:基于所述声道能量包络外推未来l个时刻的声道基础能量包络,所述l个时刻的时间长度大于所述第二补偿时间的时间长度;l为正整数;利用所述间歇性冲击模式特征修正未来l个时刻的声道基础能量包络,获得未来l个时刻的声道预测能量包络;根据预设的声道与第二振动单元的映射关系,对未来l个时刻的声道预测能量包络进行分组与合并,获得各第二振动单元未来l个时刻的预测能量包络;按照声音能量与振幅的映射关系,将各第二振动单元未来l个时刻的预测能量包络转换为该第二振动单元的振幅预测时间序列。
7、优选的,所述按照各第一振动单元的振幅时间序列生成该第一振动单元的驱动信号,按照各第二振动单元的振幅时间序列生成该第二振动单元的驱动信号,包括:对各振动单元的振幅时间序列进行特性分析,获得振幅包络和振幅斜率时间序列;所述振动单元为所述第一振动单元或所述第二振动单元;将所述振幅斜率时间序列映射到调制频率区间,获得调制频率时间序列;根据所述振幅包络确定目标驱动幅度,根据所述目标驱动幅度计算基础pwm占空比;获取所述音频帧在所述预设低频段内的低频能量重心频率,从预设载波频率集合中选择与所述低频能量重心频率偏差最小的频率作为所述载波频率;根据所述基础pwm占空比和所述载波频率生成载波信号;根据所述调制频率时间序列生成频率时变调制信号,利用所述频率时变调制信号调制所述载波信号的振幅或占空比,获得各振动单元的驱动信号。
8、优选的,当所述振动单元为所述第一振动单元时,所述预设载波频率集合包括50hz、100hz、150hz、200hz、250hz和300hz,所述调制频率区间为[10hz,50hz];当所述振动单元为所述第二振动单元时,所述预设载波频率集合包括50hz和100hz,所述调制频率区间为[4hz,20hz]。
9、优选的,第一补偿时间为:;第二补偿时间为:;其中,表示音频帧的传输延迟时间;表示快适应触觉反应时间,;表示慢适应触觉反应时间,。
10、优选的,所述音频帧包括7.1声道环绕声系统的8个声道音频数据。
11、本发明还提供体感振动耳机系统,包括:耳机本体,所述耳机本体上设置有数据传输模块以及与所述数据传输模块连接通信的处理器,所述数据传输模块接收音频帧;向用户提供声音振感的第一振动组,包括至少一个第一振动单元;向用户提供环境振感的第二振动组,包括至少一个第二振动单元;所述处理器按照本发明提供的用于耳机系统的双模式体感振动方法获得所述第一振动单元的驱动信号以及所述第二振动单元的驱动信号,按照所述第一振动单元的驱动信号驱动所述第一振动单元,按照所述第二振动单元的驱动信号驱动所述第二振动单元。
12、优选的,所述耳机本体为头戴式;所述第一振动组包括位于所述耳机本体的左耳罩内侧上部的左侧第一振动单元,以及位于所述耳机本体的右耳罩内侧上部的右侧第一振动单元;和/或,所述第二振动组包括位于所述耳机本体的左耳罩下沿的左侧第二振动单元,以及位于所述耳机本体的右耳罩下沿的右侧第二振动单元;和/或,所述第一振动单元和/或所述第二振动单元为叠层压电振动片。
13、实施本发明上述技术方案中的一个技术方案,具有如下优点或有益效果:
14、本发明真实还原人体身临低频声音场景(如爆炸、鼓声等)时的两种振感反馈的模式。一种模式是低频声波通过空气传播至人体形成的声音振感,其传播速度接近声速,具有持续性,由人体的快适应机械感受器(如帕西尼小体)感知并形成触觉上的声音振感,快适应机械感受器对较高频率(如150hz到300hz)的声波信号适应,将低频声波产生时刻到人体感知到声音振感的时间差叫作快适应触觉反应时间。另一种模式是低频声波通过地面或人体可接触物传播至人体形成的环境振感,其传播速度远远大于声速(如3000m/s到5000m/s),由人体的慢适应机械感受器(如鲁菲尼小体)感知并形成触觉上的环境振感,慢适应机械感受器对较低频率(如10hz到50hz)的声波信号适应,将低频声波产生时刻到人体感知到环境振感的时间差叫作慢适应触觉反应时间。由于低频声波在地面或人体可接触物中传播速度远远大于在空气中的传播速度,因此,慢适应触觉反应时间小于快适应触觉反应时间,人体先感知到环境振感再感知到声音振感。若在低频音频被播放的时候才基于其生成驱动信号驱动第一振动组、第二振动组振动,受快适应触觉反应时间、慢适应触觉反应时间的延迟影响,用户会存在声音振感、环境振感滞后于耳机系统播放的音频内容的体验。
15、基于此,本发明用第一振动组模拟声音振感,用第二振动组模拟环境振感,形成双模式振感反馈;同时,基于当前分析窗口的音频帧在预设低频段的多个特征(声道能量包络、声道能量时间分布、总能量时间分布、事件起始标识时间序列和间歇性冲击模式特征),分别通过声音振感预测处理和环境振感预测处理,获得第一振动单元的第一振幅预测时间序列和第二振动单元的第二振幅预测时间序列;再分别设置第一补偿时间和第二补偿时间,且第二补偿时间小于第一补偿时间,将预测得到的第一振幅预测时间序列、第二振幅预测时间序列在时间轴上进行差异化左移,使第一振动单元的驱动信号提前第一补偿时间工作、第二振动单元的驱动信号提前第二补偿时间工作,在快适应触觉反应时间和慢适应触觉反应时间的延迟作用下,声音振感和环境振感均与耳机系统播放的音频内容精确同步,使佩戴者在听觉和触觉两个维度同时感知低频内容,增强爆炸、鼓声等低频场景的临场感,让耳机系统佩戴者对低频场景获得同步触觉维度的沉浸式体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com