一种3D音效方法及装置与流程

一种3d音效方法及装置
技术领域
1.本发明涉及音效技术领域，特别涉及一种能够对多人人耳实时跟踪并输出对应音频的3d音效方法及装置。


背景技术：

2.虚拟现实技术日益发展，vr(virtual reality，虚拟现实)游戏、vr视频给人带来的刺激体验让初次接触到虚拟现实技术的人赞叹不已。游戏中四面八方扑过来的敌人，视频中360度身临其境的视野，让人们对vr有了一个初步的认识。但这种沉浸式的体验，离不开vr游戏中的3d音效。
3.听觉决定了人类对空间的定位、对物体距离的感知等等。视觉给出一个线索，听觉则去证实这个线索是否真实存在。如果少了视觉的沉浸感，那么一切画面的真实性就荡然无存。而不解决听觉问题，虚拟现实就不能成为虚拟现实。因此，音效决定了vr时代是否真正到来。
4.现有的立体声和单声道系统相比较，最大的特点在于立体声系统产生的声像能比较真实地实际声源原来的位置，而单声道系统仅带来声音来自扬声器的感觉。根据人耳对方位的判断原理，当声音频率较低时，根据双耳听到的时间差来判断，当声音频率较高时，根据听到声音的强度差来判断，对于低频信号根据两耳听到的相位差以及人头不对高频信号的掩蔽作用使得高频分量衰减而两耳听到的音色有差异，由于这些差异，人类通过人的听觉系统能本能的感觉出立体声。而立体声就是在重放时能够保持音乐厅演奏时乐队的展开感、宽度感、听音的空间和一定程度的包围感。
5.而现有的立体声技术，实际上是一种环绕声音效，这种技术利用一些简单的时延电路和滤波器。它将左右声道混频，使得人们非常方便的使用先进和专业的水平来编辑和编译cd音乐，人的大脑会感受到音场变的更开阔的效果。但这种处理电路混合了从左声道和右声道传来的音源，无法展示从上和下方传来的音源，也无法在虚拟环境中随意定位声源或者实时计算和比较3d游戏的声音关系，要想实现对应方向的声音效果，需要在对应的方向上安装音箱，音箱的具体摆放也有严格的要求。除此之外，现有的立体环绕需要通过声音反射，所以需要借助墙体、天花板，这种立体声并不能使得vr用户获得真正的沉浸式3d音效体验，其虚拟现实效果也大打折扣。


技术实现要素：

6.现有技术中，立体声技术由于无法跟踪用户头部，因此需要按照要求摆放音箱来达到立体声效果，很难获得垂直方向上的声音效果，无法使用户获得真正的沉浸式3d音效，vr游戏或视频的效果也大打折扣。
7.针对上述问题，提出一种3d音效方法及装置。
8.第一方面，一种3d音效方法，包括步骤：
9.获取音频输入；
10.对所述音频输入进行3d处理；
11.获取用户的头部位置信息；
12.根据所述头部位置信息，输出对应的3d音效。
13.结合本发明所述的3d音效处理方法，第一种可能的实施方式中，所述步骤：对所述音频输入进行3d处理，包括子步骤：
14.对所述音频输入进行虚拟化处理；
15.对虚拟化处理后的音频分配通道。
16.结合本发明第一种可能的实施方式，第二种可能的实施方式中，所述步骤：对虚拟化处理后的音频分配通道，包括子步骤：
17.将虚拟化音频的输出分设为第一音频输出信号及第二音频输出信号；
18.将所述第一音频输出信号分设为左前方音频信号、前方中间音频信号及左后方左环绕音频信号；
19.将所述第二音频输出信号分设为右前方音频信号、前方中间音频信号及右后方右环绕音频信号；
20.按照设定的分贝，将所述左前方音频信号、前方中间音频信号及左后方左环绕音频信号进行衰减；
21.按照设定的分贝，将所述右前方音频信号、前方中间音频信号及右后方右环绕音频信号进行衰减。
22.结合本发明第二种可能的实施方式，第三种可能的实施方式中，所述步骤：对虚拟化处理后的音频分配通道，还包括步骤：
23.将衰减后的所述左前方音频信号、前方中间音频信号及左后方左环绕音频信号进行相加为第一结果，并将所述第一结果馈给第一通道；
24.将衰减后的所述右前方音频信号、前方中间音频信号及右后方右环绕音频信号进行相加为第二结果，并将所述第二结果馈给第二通道。
25.结合本发明第二种可能的实施方式，第四种可能的实施方式中，所述步骤：对虚拟化处理后的音频分配通道，包括步骤：
26.将虚拟化音频的输出分设为第一音频输出信号及第二音频信号输出信号；
27.将所述第一音频输出信号分设为左前方音频信号、前方中间音频信号及左后方左环绕音频信号；
28.将所述第二音频输出信号分设为右前方音频信号、前方中间音频信号及右后方右环绕音频信号；
29.按照设定的分贝，将所述左后方左环绕音频信号、右后方右环绕音频信号进行衰减；
30.将衰减后的所述左后方左环绕音频信号、右后方右环绕音频信号分贝值进行相加，为中间结果。
31.结合本发明第四种可能的实施方式，第五种可能的实施方式中，所述步骤：对虚拟化处理后的音频分配通道，还包括步骤：
32.将左前方音频信号、前方中间音频信号相加结果与所述中间结果的差为第三结果，并将所述第三结果馈给第一通道；
33.将右前方音频信号、前方中间音频信号相加结果与所述中间结果的相加结果为第四结果，并将所述第四结果馈给第二通道。
34.结合本发明第五种可能的实施方式，第六种可能的实施方式中，所述步骤：对虚拟化处理后的音频分配通道，还包括步骤：
35.获取用户的头部相关函数hrtf；
36.获取所述相关函数矩阵h
2x5
，并将所述矩阵与五通道信号相乘；
37.将相乘结果相加后分别传输给第一通道、第二通道。
38.结合本发明第六种可能的实施方式，第七种可能的实施方式中，所述步骤：获取用户的头部相关函数hrtf，包括子步骤：
39.获取音频信号在虚拟场景中的水平面的方位角和垂直仰角、音频信号到用户头部中心的距离、音频信号声波的角频率及用户头部和耳部结构参数；
40.获取虚拟场景中音频信号到用户左、右耳的声压p
l
、pr；
41.获取假设用户头部不存在时的虚拟场景音频信号到人头部中心位置所产生的声压p0。
42.第二方面，提出一种3d音效装置，采用第一方面的3d音效方法处理音频，包括红外检测单元、存储单元、接口单元、第一音频输出单元、第二音频输出单元、音频解码单元及mcu；
43.红外检测单元：用于实时定位追踪捕捉人耳位置，监测用户的位置变化，并将用户实时人耳位置及头部信息发送给mcu；
44.存储单元：用于存储3d音效处理程序及装置运行信息；
45.接口单元：用于连接外设设备；
46.第一音频输出单元：用于根据所述mcu的指令及用户头部、耳部信息，输出对应位置的第一3d音频信息；
47.第二音频输出单元：用于根据3d音效算法进行分频、延时及放大处理，与所述第一音频输出单元保持同步；
48.音频解码单元：用于把读取的数字音频信息转换成模拟音频信号输出、把录音时经过编码的多声道音频信息作解码还原；
49.mcu：用于运行3d音效处理方法，输出控制指令到各单元模块。
50.结合本发明所述的3d音效装置，第一种可能的实施方式中，所述音效装置呈条状结构，所述第一音频输出单元为扬声器，所述扬声器数量为多个，所述扬声器水平依次设置所述条状结构上，所述红外检测单元为红外摄像头，所述红外摄像头设置所述条状结构的中间上部位置。
51.实施本发明所述的一种3d音效方法及装置，通过对传统的3d音效方法进行改进，通过红外摄像头跟踪用户头部及耳部位置信息，将立体环绕声直射到用户耳部，采用普通soundbar也可以使得用户获得虚拟场景中的环绕声像，获得身临其境的体验。通过平台外接摄像头定位追踪捕捉人耳位置，即便是在深夜不开灯的情况下也能用红外来实现照明，可随时监测用户的位置变化，3d音效同步进行追踪和移动，3d音效声音同步贴近人耳两边，对于视频游戏玩家体验最佳，3d音效音质出色，犹如身临其境。
附图说明
52.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1是本发明一种3d音效方法第一实施例步骤流程示意图；
54.图2是本发明一种3d音效方法第二实施例步骤流程示意图；
55.图3是本发明一种3d音效方法第三实施例步骤流程示意图；
56.图4是本发明一种3d音效方法第四实施例步骤流程示意图；
57.图5是本发明一种3d音效方法第五实施例步骤流程示意图；
58.图6是本发明一种3d音效方法第六实施例步骤流程示意图；
59.图7是本发明一种3d音效方法第七实施例步骤流程示意图；
60.图8是本发明一种3d音效方法第八实施例步骤流程示意图；
61.图9是本发明一种3d音效装置第一实施例示意图；
62.图10是本发明一种3d音效装置第二实施例示意图；
63.图11是本发明一种3d音效的沉浸式效果示意图；
64.附图中各数字所指代的部位名称为：100——3d音效装置、110——红外检测单元、120——存储单元、130——接口单元、140——第一音频输出单元、150——第二音频输出单元、160——音频解码单元、170——mcu
具体实施方式
65.下面将结合发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的其他实施例，都属于本发明保护的范围。
66.现有技术中，立体声技术由于无法跟踪用户头部，因此需要按照要求摆放音箱来达到立体声效果，但也很难获得垂直方向上的声音效果，无法使用户获得真正的沉浸式3d音效，vr游戏或视频的效果也大打折扣。
67.针对上述问题，提出一种3d音效方法及装置。
68.第一方面，如图1，图1是一种3d音效方法第一实施例步骤流程示意图；
69.一种3d音效方法，包括步骤：s1、获取音频输入。s2、对音频输入进行3d处理。
70.优选地，如图2，图2是一种3d音效方法第二实施例步骤流程示意图，步骤s2包括子步骤：
71.s21、对音频输入进行虚拟化处理；s22、对虚拟化处理后的音频分配通道。
72.在家庭或游戏厅，一般很少会按照环绕立体声要求，在相应的位置设置扬声器，如soundbar，它是将多个声道的音箱功能整合在一个箱体内的长条状音箱。本技术在soundbar通道立体声播放系统的基础上，不增加扬声器或者音箱，把环绕声信号经处理后播出，还要使听音者能感受原有虚拟环境的沉浸式环绕声氛围。
73.优选地，如图3，图3是一种3d音效方法第三实施例步骤流程示意图，步骤s22包括
子步骤：
74.s221、将虚拟化音频的输出分设为第一音频输出信号及第二音频输出信号；s222、将第一音频输出信号分设为左前方音频信号、前方中间音频信号及左后方左环绕音频信号；s223、将第二音频输出信号分设为右前方音频信号、前方中间音频信号及右后方右环绕音频信号；s224、按照设定的分贝，将左前方音频信号、前方中间音频信号及左后方左环绕音频信号进行衰减；s225、按照设定的分贝，将右前方音频信号、前方中间音频信号及右后方右环绕音频信号进行衰减。
75.优选地，如图4，图4是一种3d音效方法第四实施例步骤流程示意图，步骤s22还包括步骤：
76.s226、将衰减后的左前方音频信号、前方中间音频信号及左后方左环绕音频信号进行相加为第一结果，并将第一结果馈给第一通道；s227、将衰减后的右前方音频信号、前方中间音频信号及右后方右环绕音频信号进行相加为第二结果，并将第二结果馈给第二通道。
77.将多通道环绕声的前方左通道声音信号、前方中间通道声音信号衰减，优选为3db，后方左环绕声通道声音信号衰减优选为3db后三者相加馈给多通道立体声系统的某一特定通道，同理，多通道立体声系统的另一通道是由多通道环绕声的前方右通道声音信号、前方中间通道声音信号衰减3db、后方右环绕声通道声音信号衰减3db三者相加后馈给。
78.优选地，如图5，图5是一种3d音效方法第五实施例步骤流程示意图，步骤s22还包括步骤：
79.s221a、将虚拟化音频的输出分设为第一音频输出信号及第二音频信号输出信号；s222a、将第一音频输出信号分设为左前方音频信号、前方中间音频信号及左后方左环绕音频信号；s223a、将第二音频输出信号分设为右前方音频信号、前方中间音频信号及右后方右环绕音频信号；s224a、按照设定的分贝，将左后方左环绕音频信号、右后方右环绕音频信号进行衰减；s225a、将衰减后的左后方左环绕音频信号、右后方右环绕音频信号分贝值进行相加，为中间结果。
80.优选地，如图6，图6是一种3d音效方法第六实施例步骤流程示意图，步骤s22还包括步骤：
81.s226a、将左前方音频信号、前方中间音频信号相加结果与中间结果的差为第三结果，并将第三结果馈给第一通道；s227a、将右前方音频信号、前方中间音频信号相加结果与中间结果的相加结果为第四结果，并将第四结果馈给第二通道。
82.本实施方式，在后方环绕声信号的馈给时采用的方式不同，本实施方式把后方两个环绕声通道声音信号先衰减3db后再相加，立体声系统的通道一个加上这个和值、一个减去该和值，如此处理以后，产生的立体声含有的环境声信息就更加丰富
83.优选地，如图7，图7是一种3d音效方法第七实施例步骤流程示意图，步骤s22还包括步骤：
84.s221b、获取用户的头部相关函数hrtf；s222b、获取相关函数矩阵h
2x5
，并将矩阵与五通道信号相乘；s223b、将相乘结果相加后分别传输给第一通道、第二通道。
85.优选地，如图8，图8是一种3d音效方法第八实施例步骤流程示意图，步骤s221b包括子步骤：
86.s221b1、获取音频信号在虚拟场景中的水平面的方位角和垂直仰角、音频信号到用户头部中心的距离、音频信号声波的角频率及用户头部和耳部结构参数；s221b2、获取虚拟场景中音频信号到用户左、右耳的声压p
l
、pr；s221b3、获取假设用户头部不存在时的虚拟场景音频信号到人头部中心位置所产生的声压p0。
87.在多通道环绕声系统中前方通道音频信号的频率、幅度和相位等与后方两个环绕通道声音有较大的差异，多通道环绕声系统中的前方通道音频对用户前面的声音信号确定方位有非常重要的影响，这时hrtf数据函数可以用来对前面的声音信号进行方位确定。音频信号经过hrtf数据处理后，可得到理想的虚拟声像定位效果和更好的立体感。
88.s3、获取用户的头部位置信息。s4、根据头部位置信息，输出对应的3d音效。
89.用户在虚拟游戏中，用户身体部位不停移动，经过头部相关函数hrtf处理音频信号后，身体部位小幅度移动范围内，对声像的3d效果影响不大，移动幅度过大将使得声像的3d效果大打折扣。本技术通过采用红外检测单元110，例如红外摄像头跟踪用户头部位置及耳部位置信息，并将这些信息传输给3d音效装置，装置再将音频信号经过相关函数hrtf处理后将立体环绕声直射到用户耳部，采用普通soundbar也可以使得用户获得游戏虚拟场景中的环绕声像。
90.一种3d音效装置100，如图9，图9是一种3d音效装置100第一实施例示意图，采用第一方面的3d音效方法处理音频，包括红外检测单元110、存储单元120、接口单元130、第一音频输出单元140、第二音频输出单元150、音频解码单元160及mcu170；红外检测单元110：用于实时定位追踪捕捉人耳位置，监测用户的位置变化，并将用户实时人耳位置信息发送给mcu170；存储单元120：用于存储3d音效处理程序及装置运行信息；接口单元130：用于连接外设设备；第一音频输出单元140：用于根据mcu170的指令及用户头部、耳部信息，输出对应位置的第一3d音频信息；第二音频输出单元150：用于根据3d音效算法进行分频、延时及放大处理，与第一音频输出单元140保持同步；音频解码单元160：用于把读取的数字音频信息转换成模拟音频信号输出、把录音时经过编码的多声道音频信息作解码还原。mcu170：用于运行3d音效处理方法，输出控制指令到各单元模块。.
91.第一音频输出单元140可以一般的扬声器speaker，对应的，第二音频输出单元150为低音炮subwoofer，第二音频输出单元150并不根据红外检测单元110检测到的用户头部位置信息改变，而是根据3d音效算法进行分频、延时及放大处理，从而与第一音频输出单元140也就是扬声器保持同步音频输出，增强音效。
92.在家庭或游戏厅，如图10，图10是一种3d音效装置第二实施例示意图，一般很少会按照虚拟立体声要求，在相应的位置设置扬声器，如soundbar，它是将多个声道的音箱功能整合在一个箱体内的长条状音箱。采用soundbar通道立体声播放系统的基础上，不增加扬声器或者音箱，把环绕声信号经过一系列处理后播出，还要使听音者能感受原有虚拟环境的沉浸式环绕声氛围，如图11，图11是一种3d音效的沉浸式效果示意图。
93.音效装置呈条状结构，第一音频输出单元140为扬声器，扬声器数量为5个，扬声器水平依次设置条状结构上，红外检测单元110为红外摄像头，红外摄像头设置条状结构的中间上部位置。
94.用户在虚拟游戏中，用户身体部位不停移动，经过头部相关函数hrtf处理音频信号后，身体部位小幅度移动范围内，对声像的3d效果影响不大，移动幅度过大将使得声像的
3d效果大打折扣。本技术通过采用红外检测单元110，例如红外摄像头跟踪用户头部位置及耳部位置信息，并将这些信息传输给3d音效装置，装置再将音频信号经过相关函数hrtf处理后将立体环绕声直射到用户耳部，采用普通soundbar也可以使得用户获得游戏虚拟场景中的环绕声像。
95.实施本发明的一种3d音效方法及装置，通过对传统的3d音效方法进行改进，通过红外摄像头跟踪用户头部位置及耳部位置信息，将立体环绕声直射到用户耳部，采用普通soundbar也可以使得用户获得虚拟场景中的环绕声像，获得身临其境的体验。通过平台外接摄像头定位追踪捕捉人耳位置，即便是在深夜不开灯的情况下也能用红外来实现照明，可随时监测用户的位置变化，3d音效同步进行追踪和移动，3d音效声音同步贴近人耳两边，对于视频游戏玩家体验最佳，3d音效音质出色，犹如身临其境。通过提升摄像头的采样率和isp处理时间来进行优化声音反馈的速度。从摄像头接收数据到声音调整输出的整个链路做到耗时最短。
96.以上仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。