提供空间音频信号的制作方法

1.本技术总体上涉及空间音频。更具体地，本技术涉及提供空间音频信号。


背景技术：

2.多媒体内容的量不断增加。用户创建和消费多媒体内容，并且多媒体内容在现代社会中起着重要作用。


技术实现要素：

3.本发明的示例的各个方面在权利要求中提出。本发明的各种实施例所寻求的保护范围由独立权利要求提出。本说明书中描述的没有落入独立权利要求的范围内的示例和特征(如果有的话)应当被解释为对理解本发明的各种实施例有益的示例。
4.根据本发明的第一方面，提供了一种装置，该装置包括用于执行以下项的部件：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
5.根据本发明的第二方面，提供了一种方法，该方法包括：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
6.根据本发明的第三方面，提供了一种计算机程序，该计算机程序包括用于使装置至少执行以下项的指令：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
7.根据本发明的第四方面，提供了一种装置，该装置包括至少一个处理器和包括计算机程序代码的至少一个存储器，至少一个存储器和计算机程序代码被配置为与至少一个处理器一起使得该装置至少：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
8.根据本发明的第五方面，提供了一种非暂态计算机可读介质，该非暂态计算机可读介质包括用于使装置至少执行以下项的程序指令：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
9.根据本发明的第六方面，提供了一种计算机可读介质，该计算机可读介质包括用
于使装置至少执行以下项的程序指令：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
附图说明
10.现在将参考附图描述一些示例实施例：
11.图1示出了可以在其中应用所公开的实施例的示例的示例装置的框图；
12.图2示出了可以在其中应用所公开的实施例的示例的另一示例装置的框图；
13.图3示出了可以在其中应用所公开的实施例的示例的示例系统；
14.图4示出了可以在其中应用所公开的实施例的示例的另一示例系统；
15.图5a、图5b和图5c示出了修改音频信号的示例；
16.图6示出了示例方法；并且
17.图7示出了另一示例方法。
具体实施方式
18.以下实施例是示例性的。尽管说明书可以在文本的多个位置引用“一”、“一个”或“一些”实施例，但这并不一定意味着每个引用都指向相同的(多个)实施例，也不一定意味着特定特征仅适用于单个实施例。不同实施例的单个特征还可以被组合，以提供其他实施例。
19.示例实施例涉及一种被配置为接收所捕获的音频信号并且提供空间音频信号以供输出的装置。
20.一些示例实施例涉及一种装置，该装置被配置为：提供空间音频信号以用于经由第一音频设备和第二音频设备针对第一用户而输出；接收第二音频设备的解激活的指示；接收第二音频设备被第二用户重新激活的指示；以及响应于接收到第二音频设备被第二用户重新激活的指示，执行空间音频信号的修改。
21.一些示例实施例涉及一种包括音频编解码器的装置。音频编解码器是被配置为对音频信号进行编码和/或解码的编解码器。音频编解码器可以包括例如被配置为对语音信号进行编码和/或解码的语音编解码器。实际上，音频编解码器包括计算机程序，该计算机程序实现对数字音频数据进行压缩和解压缩的算法。出于传输的目的，该算法的目的是在保持质量的同时以最少的比特数来表示高保真音频信号。以这种方式，可以减少传输音频文件所需要的存储空间和带宽。
22.不同音频编解码器可以具有不同比特率。比特率是指在单位时间内处理或传输的比特数。通常，比特率被表示为每秒比特数或每秒千比特数(例如，kbps/秒或kbits/秒)。比特率可以包括恒定比特率(cbr)或可变比特率(vbr)。cbr文件为时间段分配恒定量的数据，而vbr文件允许分配较高的比特率(即，较多存储空间)以分配给较复杂的媒体文件段，并且vbr文件允许分配较低比特率(即，较少存储空间)以分配给不太复杂的媒体文件段。vbr操作可以包括可以与cbr或vbr操作结合使用的不连续传输(dtx)。在dtx操作中，参数可以被选择性地更新，以描述例如在诸如静音等非活跃时段期间的背景噪声水平和/或频谱噪声
特性，而在诸如语音等活跃时段期间可以使用常规编码。
23.存在不同种类的音频/语音编解码器，例如，适用于改进的电话和电话会议、视听会议服务和流音频的增强语音服务(evs)编解码器。另一示例编解码器是沉浸式语音和音频服务(ivas)编解码器。ivas编解码器的目的是为实时会话空间语音、多流电话会议、虚拟现实(vr)会话通信和/或用户生成的实时和点播内容流提供支持。会话通信可以包括例如多个用户之间的实时双向音频。ivas编解码器为例如从单声道到立体声再到完全沉浸式音频编码、解码和/或渲染提供支持。沉浸式服务可以包括例如用于虚拟现实(vr)或增强现实(ar)的沉浸式语音和音频，并且编解码器可以被配置为处理对语音、音乐和通用音频的编码、解码和渲染。编解码器还可以支持基于通道的音频、基于对象的音频和/或基于场景的音频。
24.基于通道的音频可以例如包括通过为每个扬声器记录单独的音频轨道(通道)或在至少两个扬声器通道之间平移和混合所选择的音频轨道来创建音轨。基于通道的环绕声系统的常见扬声器布置为5.1和7.1，它们分别利用五个和七个环绕声通道以及一个低频通道。基于通道的音频的缺点是，每个音轨都是针对特定扬声器配置(诸如2.0(立体声)、5.1和7.1)而创建的。
25.基于对象的音频通过将音频场表示为多个单独的音频对象来解决这个缺点，每个音频对象包括一个或多个音频信号和相关联的元数据。音频对象可以与定义该对象在音频场中的位置或轨迹的元数据相关联。基于对象的音频渲染包括将音频对象渲染为扬声器信号以再现音频场。除了指定对象的位置和/或移动，元数据还可以定义对象的类型(例如，对象的声学特性)、和/或要用于渲染对象的渲染器的类别。例如，对象可以被标识为漫射对象或点源对象。基于对象的渲染器可以将位置元数据与特定于特定对象类型的渲染算法一起使用，以基于扬声器配置的扬声器位置的知识来定向声音对象。
26.基于场景的音频结合了基于对象的音频和基于通道的音频的优点，并且非常适合于实现真正的沉浸式vr音频体验。基于场景的音频包括编码和呈现针对空间中的固定点的三维(3d)声场。基于场景的音频可以包括例如立体混响(ambisonics)和参量沉浸式音频。立体混响包括全球形环绕声格式，除了水平面，该全球形环绕声格式还包括在听者上方和下方的声源。立体混响可以包括例如具有四个通道的一阶立体混响(foa)或具有四个以上的通道(诸如9、16、25、36或49个通道)的高阶立体混响(hoa)。参量沉浸式音频可以包括例如元数据辅助的空间音频(masa)。
27.空间音频可以包括全球形环绕声，以模仿人们在现实生活中感知音频的方式。空间音频可以包括从用户的位置出现的音频，其要被分配给某个方向和/或距离。因此，所感知的音频可以随着用户的移动或随着用户转弯而改变。空间音频可以包括由声源创建的音频、环境音频或其组合。环境音频可以包括诸如交通嗡嗡声、风或波浪等在声源方面可能无法标识的音频。全球形环绕声可以包括空间音频场，并且用户的位置或捕获设备的位置可以被认为是空间音频场中的参考点。根据示例实施例，参考点包括音频场的中心。
28.可以在沉浸式语音或视频通话中提供空间音频。提供沉浸式语音或视频通话可以包括创建听者感知为来自听者周围、听者上方和听者下方的无数个点的声音。用户可以使用一对耳机(诸如一对无线耳塞)来体验沉浸式语音或视频通话。有时，用户可能希望与另一人共享耳机中的一个耳机，以允许另一人加入语音或视频通话。但是，在这种情况下，音
频呈现和音频捕获可能不是最佳的。例如，如果两个人中的每个人都正在使用一个耳塞，则在默认情况下，耳塞中一个耳塞可能会被配置为充当麦克风，而一个耳塞可能会被配置为充当扬声器。在这种情况下，为两个用户提供良好的用户体验是具有挑战性的。
29.图1是描绘根据本发明的示例实施例进行操作的装置100的框图。装置100可以是例如电子设备，诸如芯片或芯片组。装置100包括一个或多个控制电路系统，诸如至少一个处理器110和至少一个存储器160，该至少一个存储器160包括一种或多种算法，诸如计算机程序代码120，其中至少一个存储器160和计算机程序代码120被配置为与至少一个处理器110一起引起装置100执行以下描述的示例功能中的任何功能。
30.在图1的示例中，处理器110是可操作地连接以从存储器160读取和向存储器160写入的控制单元。处理器110还可以被配置为接收经由输入接口接收的控制信号，和/或处理器110可以被配置为经由输出接口输出控制信号。在示例实施例中，处理器110可以被配置为将所接收的控制信号转换为用于控制装置100的功能的适当命令。
31.至少一个存储器160存储计算机程序代码120，该计算机程序代码120在被加载到处理器110中时控制装置100的操作，如下所述。在其他示例中，装置100可以包括一个以上的存储器160或不同种类的存储设备。
32.用于使能本发明的示例实施例的实现的计算机程序代码120或这样的计算机程序代码的一部分可以由装置100的制造商、装置100的用户或装置100本身基于下载程序而加载到装置100上，或者代码可以通过外部设备被推送到装置100。计算机程序代码120可以经由电磁载波信号到达装置100，或者可以从物理实体被复制，物理实体诸如是计算机程序产品、存储器设备或记录介质，诸如光盘(cd)、光盘只读存储器(cd
‑
rom)、数字多功能磁盘(dvd)或蓝光光盘。
33.图2是描绘根据本发明的示例实施例的装置200的框图。装置200可以是电子设备，诸如手持便携式设备、移动电话或个人数字助理(pda)、个人计算机(pc)、膝上型计算机、台式计算机、平板计算机、无线终端、通信终端、游戏机、音乐播放器、电子书阅读器(e
‑
book阅读器)、定位设备、数码相机、家用电器、cd播放器、dvd播放器或蓝光播放器、或媒体播放器。在下面的示例中，假定装置200是移动计算设备或移动计算设备的一部分。
34.在图2的示例实施例中，装置200被示出为包括装置100、一个或多个麦克风210、一个或多个扬声器230、以及用于与装置200(例如，移动计算设备)交互的用户接口220。装置200还可以包括被配置为充当用户接口220的显示器。例如，显示器可以是触摸屏显示器。在示例实施例中，显示器和/或用户接口220可以在装置200外部，但是与装置200通信。
35.附加地或备选地，用户接口220还可以包括手动可操作控件，诸如按钮、按键、触摸板、操纵杆、手写笔、笔、滚轮、摇杆、小键盘、键盘、或者用于输入和/或访问信息的任何合适的输入机构。其他示例包括相机、语音识别系统、眼睛运动识别系统、基于加速度、倾斜和/或运动的输入系统。因此，装置200还可以包括不同种类的传感器，诸如一个或多个陀螺仪传感器、加速计、磁力计、位置传感器和/或倾斜传感器。
36.根据示例实施例，装置200被配置为使用例如蓝牙、wifi、射频标识(rfid)或近场通信(nfc)连接来与另一设备建立无线电通信。例如，装置200可以被配置为与无线耳机、增强/虚拟现实设备等建立无线电通信。
37.根据示例实施例，装置200可操作地连接到第一音频设备250和第二音频设备255。
根据示例实施例，装置200无线地连接到第一音频设备250和第二音频设备255。例如，装置200可以通过蓝牙连接等而连接到第一音频设备250和第二音频设备255。
38.第一音频设备250可以包括用于捕获音频信号的至少一个麦克风和用于回放所接收的音频信号的至少一个扬声器。类似于第一音频设备250，第二音频设备255可以包括用于捕获音频信号的至少一个麦克风和用于回放所接收的音频信号的至少一个扬声器。第一音频设备250和第二音频设备255还可以被配置为滤除背景噪声和/或检测耳内位置。
39.根据示例实施例，第一音频设备250和第二音频设备255被配置为用作一对。例如，第一音频设备250可以包括第一无线耳机并且第二音频设备255可以包括第二无线耳机，使得第一无线耳机和第二无线耳机被配置为用作一对。用作一对可以包括例如使用第一音频设备250和第二音频设备255向用户提供立体声输出。
40.根据示例实施例，第一音频设备250包括第一无线耳机，并且第二音频设备255包括第二无线耳机，第一无线耳机和第二无线耳机被配置为用作一对。
41.第一音频设备250和第二音频设备255还可以被配置为使得第一音频设备250和第二音频设备255可以分开地和/或彼此独立地使用。例如，相同或不同的音频信息可以被提供给第一音频设备250和第二音频设备255，或者音频信息可以被定向到一个音频设备(诸如第一音频设备250)，并且另一音频设备(诸如第二音频设备255)可以充当麦克风。
42.根据示例实施例，装置200被配置为与第一音频设备250和第二音频设备255通信。装置200可以被配置为直接地或间接地与第一音频设备250和第二音频设备255通信。与第一音频设备250和第二音频设备255间接地通信可以包括：与被配置为与第二音频设备255通信的第一音频设备250通信，或者与被配置为与第一音频设备250通信的第二音频设备255通信。
43.根据示例实施例，与第一音频设备250和第二音频设备255通信包括提供音频信号和/或接收音频信号。例如，装置200可以被配置为：向第一音频设备250和/或第二音频设备255提供音频信号，并且从第一音频设备250和第二音频设备255接收音频信号。
44.向第一音频设备250和第二音频设备255提供空间音频信号可以包括使用音频编解码器对要提供给第一音频设备250和第二音频设备255的音频信号进行编码。音频编解码器可以包括例如ivas(沉浸式语音和音频服务)编解码器或合适的蓝牙音频编解码器。根据示例实施例，音频编解码器被配置为以所支持的多种格式输出音频，包括单声道、立体声和双耳空间音频。
45.从第一音频设备250和/或第二音频设备255接收音频信号或者从远程用户接收音频信号可以包括使用音频编解码器对音频信号进行解码。音频编解码器可以包括例如ivas编解码器或合适的蓝牙音频编解码器。
46.根据示例实施例，装置200被配置为与另一装置建立无线电连接。例如，装置200可以被配置为建立音频或视频通话。作为另一示例，装置200可以被配置为建立沉浸式语音或视频通话。
47.根据示例实施例，装置200包括音频编解码器，该音频编解码器包括用于解压缩诸如音频流等所接收的数据的解码器和/或用于压缩数据以进行传输的编码器。所接收的音频数据可以包括例如经编码的比特流，该经编码的比特流包括可以从一个设备传送到另一设备的信息的二进制比特。根据示例实施例，装置200包括用于建立沉浸式语音或视频通话
的音频编解码器。
48.根据示例实施例，装置200被配置为提供空间音频信号以用于经由第一音频设备250和第二音频设备255针对第一用户而输出。例如，装置200可以被配置为提供空间音频信号以通过无线连接经由第一音频设备250的至少一个扬声器和第二音频设备255的至少一个扬声器进行输出。空间音频信号可以包括例如表示呼叫者的语音的语音信号或流音频信息。
49.在不限制权利要求的范围的情况下，提供空间音频信号以用于经由第一音频设备和第二音频设备而输出的优点在于，可以为用户提供沉浸式音频。
50.根据示例实施例，空间音频信号包括第一音频信号和第二音频信号。根据示例实施例，装置200被配置为提供第一音频信号以经由第一音频设备250进行输出，并且提供第二音频信号以经由第二音频设备255进行输出。根据示例实施例，被提供以经由第一音频设备250进行输出的第一音频信号不同于被提供以经由第二音频设备255进行输出的第二音频信号。
51.根据示例实施例，第一音频信号包括音频对象，并且第二音频信号包括环境音频。
52.根据示例实施例，音频对象包括与元数据相关联的音频数据。与音频对象相关联的元数据提供关于音频数据的信息。关于音频数据的信息可以包括：例如，音频数据的一个或多个属性、音频数据的一个或多个特性、和/或与音频数据有关的标识信息。例如，元数据可以提供关于空间音频场中与音频数据相关联的位置、音频对象在空间音频场中的移动和/或音频数据的功能的信息。
53.根据示例实施例，音频对象包括音频流。音频流可以包括实时音频流，该实时音频流包括实时音频。音频流可以与其他类型的媒体流一起被流式传输，或者音频可以作为诸如视频流等其他类型的媒体流的一部分被流式传输。音频流可以包括例如来自现场表演等的音频。
54.根据示例实施例，音频对象包括空间音频对象，该空间音频对象包括一个或多个音频信号以及相关联的元数据，该元数据定义第二音频对象在空间音频场中的位置和/或轨迹。
55.在不限制权利要求的范围的情况下，音频对象的优点是，元数据可以与音频信号相关联，使得音频信号可以通过定义它们在空间音频场中的位置来被再现。
56.根据示例实施例，装置200被配置为在语音或视频通话期间提供空间音频信号。语音或视频通话可以包括例如沉浸式语音或视频通话。根据示例实施例，沉浸式语音或视频通话包括创建听者感知为来自听者周围的无数个点的声音。
57.根据示例实施例，装置200被配置为接收第二音频设备255的解激活的指示。第二音频设备255的解激活的指示可以与第二音频设备255的功能或第二音频设备255的状态有关。装置200可以被配置为响应于第二音频设备255的自动解激活或第二音频设备255的手动解激活而接收第二音频设备的解激活的指示。
58.根据示例实施例，解激活的指示包括第二音频设备255的不连续使用的指示。接收不连续使用的指示可以包括：例如，接收音频功能(诸如通过第二音频设备255的音频回放)的中断或终止的指示、接收第二音频设备255的非活跃状态的指示，等等。例如，音频设备的解激活可以包括：禁用第二音频设备255、将第二音频设备255与装置200断开连接、从耳内
位置移除第二音频设备255等。装置200可以被配置为从第二音频设备255接收指示。
59.根据示例实施例，装置200被配置为确定第二音频设备255被解激活。确定第二音频设备255被解激活可以包括：确定第二音频设备255的不连续使用，诸如确定音频功能被中断或终止，确定第二音频设备255的状态为非活跃，等等。例如，确定第二音频设备255被解激活可以包括：检测第二音频设备255的状态的变化、检测第二音频设备255与装置200之间的连接状态的变化、接收与第二音频设备255的状态有关的测量数据、从第二音频设备255接收第二音频设备被解激活的指示、或其组合。第二音频设备255的状态的变化可以包括从第一模式到第二模式的变化，诸如从活跃模式到睡眠模式或者从活跃模式到断电模式的变化。第二音频设备255与装置200之间的连接状态的变化可以包括例如从连接模式到断开连接模式的变化。接收测量数据可以包括接收与第一音频设备250相对于第二音频设备255的移动或第二音频设备255相对于第一音频设备的移动有关的数据。作为另一示例，测量数据可以包括与第一音频设备250和第二音频设备255的相对位置有关的数据，诸如第一音频设备250与第二音频设备255之间的距离存在变化的指示。
60.根据示例实施例，装置200被配置为响应于接收到第二音频设备255的解激活的指示而适配被提供给第一音频设备250和第二音频设备255的空间音频信号。根据另一示例实施例，装置200被配置为在不适配空间音频信号的情况下将空间音频信号提供给第一音频设备250和第二音频设备255。适配被提供给第一音频设备250和第二音频设备255的空间音频信号可以包括修改音频信号。
61.在下文中，响应于接收到第二音频设备255的解激活的指示而执行的修改被称为第一修改。
62.根据示例实施例，装置200被配置为响应于接收到第二音频设备255的解激活的指示而执行空间音频信号的第一修改。
63.第一修改可以包括修改被提供给第一用户的空间音频信号，使得针对使用单个音频设备(诸如第一音频设备250)的第一用户优化空间音频的回放。因此，例如，第一修改可以包括通过保持最重要的音频分量并且移除较不重要的音频分量来使空间音频信号适于单声道回放。例如，第一修改可以包括保持语音对象并且移除环境音频。作为另一示例，第一修改可以包括执行语音对象和环境音频的单声道混合。
64.根据示例实施例，装置200被配置为确定被包括在被提供给第一音频设备250和第二音频设备255的空间音频信号中的一个或多个音频分量，并且基于一个或多个音频分量来执行第一修改。
65.根据示例实施例，空间音频信号的第一修改包括将音频信号从第二音频设备255重新路由到第一音频设备250。根据示例实施例，空间音频信号的第一修改包括将被提供给第二音频设备255的至少一个音频对象重新路由到第一音频设备250。例如，装置200可以被配置为将被提供给第二音频设备255的语音对象重新路由到第一音频设备250。
66.根据示例实施例，空间音频信号的第一修改包括移除环境音频。例如，空间音频信号的第一修改可以包括移除被提供给第一音频设备250的环境音频。
67.根据示例实施例，空间音频信号的第一修改包括混合至少一个音频信号以用于单声道回放。
68.在不限制权利要求的范围的情况下，响应于接收到第二音频设备的解激活的指示
而执行空间音频信号的第一修改是：可以基于可用音频设备的数目来动态地适配空间音频信号的提供。
69.根据示例实施例，装置200被配置为：如果满足解激活条件，则响应于接收到第二音频设备255的解激活的指示而执行空间音频信号的第一修改。解激活条件可以包括例如用于观察第二音频设备255是暂时被解激活还是在较长时间段内被解激活的时间段。该时间段可以包括预定时间段，诸如5秒至10秒。
70.根据示例实施例，装置200被配置为接收第二音频设备255被第二用户重新激活的指示。例如，音频设备的重新激活可以包括：使能第二音频设备255、将第二音频设备255连接到装置200、检测第二音频设备255的耳内位置，等等。
71.根据示例实施例，装置200被配置为从第二音频设备255接收第二音频设备255被重新激活的指示。
72.根据示例实施例，装置200被配置为确定第二音频设备255被重新激活。确定第二音频设备255被重新激活可以包括：例如，检测第二音频设备255的状态的变化、检测第二音频设备255与装置200之间的连接的状态的变化、接收与第二音频设备255的状态有关的测量数据、从第二音频设备255接收第二音频设备被重新激活的指示、或其组合。
73.根据示例实施例，装置200被配置为确定第二音频设备255是否被不同于第一用户的用户重新激活。根据示例实施例，装置200被配置为确定第二音频设备255是否被第二用户重新激活。
74.根据示例实施例，装置被配置为确定第二音频设备255被第二用户重新激活。装置200可以被配置为基于测量数据来确定第二音频设备255被第二用户重新激活。测量数据可以与第一音频设备250和第二音频设备255的使用有关。测量数据可以指示第一音频设备250和第二音频设备255被不同用户使用。例如，假定第一音频设备250包括第一耳机并且第二音频设备255包括第二耳机，第一耳机和第二耳机之间的距离或者第一耳机和第二耳机的高度通常保持基本相同。因此，装置200可以被配置为基于第一音频设备250和/或第二音频设备255的改变后的使用数据来确定第二音频设备255被第二用户重新激活。
75.例如，测量数据可以涉及：第一音频设备250与第二音频设备255之间的距离、第一音频设备250与第二音频设备255之间的距离的变化、第一音频设备250或第二音频设备255的运动、第一音频设备250和第二音频设备255的位置之间的差异(例如，第一音频设备250的高度与第二音频设备255的高度之间的差异)、耳朵的特性、耳朵的特性的变化，等等。
76.装置200可以被配置为基于分别从第一音频设备250和/或第二音频设备255接收的信息来确定或接收关于第一用户和/或第二用户的耳朵的特性的信息。
77.根据示例实施例，第二音频设备被重新激活的指示包括与第一音频设备250和第二音频设备255之间的距离有关的信息。与第一音频设备和第二音频设备之间的距离有关的信息可以包括：例如，绝对距离、关于距离的变化高于预定义阈值的指示、或关于第一音频设备250与第二音频设备255之间的距离已经发生改变的指示。
78.根据示例实施例，第一用户不同于第二用户。
79.根据示例实施例，装置200被配置为响应于接收到第二音频设备255的重新激活的指示而适配被提供给第一音频设备250和第二音频设备255的空间音频信号。适配被提供给第一音频设备250和第二音频设备255的空间音频信号可以包括修改音频信号。
80.在下文中，响应于接收到第二音频设备255的重新激活的指示而执行的修改被称为第二修改。
81.根据示例实施例，装置200被配置为响应于接收到第二音频设备255被第二用户重新激活的指示而执行空间音频信号的第二修改。
82.第二修改可以包括修改空间音频信号，使得针对第一用户和第二用户优化空间音频。例如，第二修改可以包括使空间音频信号适应第一单声道回放和第二单声道回放。例如，第二修改可以包括保持语音对象并且添加对至少一个附加分量(诸如环境音频)的回放。
83.根据示例实施例，空间音频信号的第二修改包括将环境音频引入空间音频信号。
84.根据示例实施例，空间音频信号的第二修改包括向第二音频设备255提供与被提供给第一音频设备250的音频信号类似的音频信号。例如，空间音频信号的第二修改可以包括向第二音频设备255提供与被提供给第一音频设备250的单声道信号类似的单声道信号。
85.如上所述，第一音频设备250可以包括至少一个麦克风，并且第二音频设备255可以包括至少一个麦克风。换言之，如果第一用户使用第一音频设备250并且第二用户使用第二音频设备255，则这两个用户都能够在语音或视频通话期间提供音频信号，诸如语音信号。
86.根据示例实施例，装置200被配置为从第一音频设备250和第二音频设备255接收所捕获的音频信号。因此，第一音频设备250可以提供第一音频源并且第二音频设备255可以提供第二音频源，第一音频源和第二音频源是独立的音频源。根据示例实施例，装置200被配置为在语音或视频通话期间从第一音频设备250和第二音频设备255接收所捕获的音频信号。
87.根据示例实施例，装置200被配置为将来自第一音频设备250的所捕获的音频信号和来自第二音频设备255的所捕获的音频信号提供给远程用户。
88.根据示例实施例，装置200被配置为响应于接收到第二音频设备255被第二用户重新激活的指示而执行被提供给远程用户的所捕获的音频信号的修改。
89.所捕获的音频信号的修改可以包括基于上下文信息来修改所捕获的音频信号。
90.根据示例实施例，所捕获的音频信号的修改包括基于第一音频设备250和第二音频设备255的上下文来提供所捕获的音频信号。装置200可以被配置为通过提供单独的音频对象或通过将所捕获的音频信号与其他所捕获的音频信号混合来提供所捕获的音频信号。
91.第一音频设备250和第二音频设备255的上下文可以包括其中第一用户使用第一音频设备250并且第二用户使用第二音频设备255的不同情况。例如，上下文可以包括：其中使用第一音频设备250的第一用户和使用第二音频设备255的第二用户位于彼此靠近的相同的声学上连接的空间中的情况、其中使用第一音频设备250的第一用户和使用第二音频设备255的第二用户位于彼此分开的相同的声学上连接的空间中的情况、或者其中使用第一音频设备250的第一用户和使用第二音频设备255的第二用户位于声学上断开连接的空间(诸如相邻的房间)中的情况。
92.根据示例实施例，装置200被配置为：如果第一用户和第二用户在相同的声学上连接的空间中并且能够彼此听见，则使用第一音频设备250捕获来自第二用户的声学信号。换言之，不需要向第二用户回放第一用户的语音或向第一用户回放第二用户的语音。装置200
被配置为将所捕获的音频信号提供给远程用户，例如作为不同音频对象。
93.根据示例实施例，装置200被配置为：如果第一用户和第二用户在相同的声学上连接的空间中但是彼此不能听见，或者如果第一用户和第二用户位于声学上断开连接的空间中，则捕获来自第一用户的声学信号并且将其混合到第二用户的输出中，并且捕获来自第二用户的声学信号并且将其混合到第一用户的输出中。
94.根据示例实施例，上下文包括与第一音频设备250和第二音频设备255的声学连接有关的信息。
95.根据示例实施例，装置200被配置为通过在户外执行风噪降低来修改所捕获的音频信号。例如，在户外场景中，第一用户可以使用第一音频设备250和第二音频设备255两者，并且装置200可以被配置为选择由第一音频设备250包括的麦克风或由第二音频设备255包括的麦克风，取决于哪个麦克风未示出任何风噪问题。但是，响应于解激活和重新激活第二音频设备，这可能是不可能的。因此，装置200可以被配置为响应于接收到第二音频设备255被第二用户重新激活的指示来更新麦克风选择机制。
96.装置200可以被配置为通过从第一风噪减少模式切换到第二风噪减少模式来更新麦克风选择机制。
97.第一风噪减少模式可以包括其中单个用户正在使用第一音频设备250和第二音频设备255的情况。因此，在第一风噪减少模式中，装置200可以被配置为从第一音频设备250和第二音频设备255中选择不指示风噪问题的音频设备以用于麦克风使用。
98.第二风噪减少模式可以包括其中第一用户使用第一音频设备250并且第二用户使用第二音频设备255的情况。因此，在第二风噪减少模式中，装置200被配置为激活第一音频设备250和第二音频设备255两者的麦克风，在这种情况下，不指示风噪问题的麦克风可能不可用。然而，如果第一用户和第二用户足够接近，则装置200可以被配置为激活第二音频设备255以例如使用音频波束成形来拾取第一用户的语音。类似地，如果第一用户和第二用户足够接近，则装置200可以被配置为激活第一音频设备250以例如使用音频波束成形来拾取第二用户的语音。装置200可以被配置为基于声学距离估计来确定第一用户和第二用户是否足够接近。
99.根据示例实施例，装置200包括用于执行所要求保护的发明的特征的部件，其中用于执行的部件包括至少一个处理器110、包括计算机程序代码120的至少一个存储器160，至少一个存储器160和计算机程序代码120被配置为与至少一个处理器110一起引起装置200的执行。用于执行所要求保护的发明的特征的部件可以包括：用于提供空间音频信号以用于经由第一音频设备250和第二音频设备255针对第一用户而输出的部件、用于接收第二音频设备255的解激活的指示的部件、用于接收第二音频设备255被第二用户重新激活的指示的部件、以及用于响应于接收到第二音频设备255被第二用户重新激活的指示而执行空间音频信号的修改的部件。
100.装置200还可以包括用于响应于接收到第二音频设备255的解激活的指示而执行空间音频信号的修改的部件。装置200还可以包括：用于从第一音频设备250和第二音频设备255接收所捕获的音频信号的部件；以及用于响应于接收到第二音频设备255被第二用户重新激活的指示而执行被提供给远程用户的所捕获的音频信号的修改的部件。装置200还可以包括用于基于第一音频设备250和第二音频设备255的上下文来提供所捕获的音频信
号的部件、和/或用于在语音或视频通话期间提供空间音频信号的部件。
101.图3示出了根据示例实施例的示例系统。在图3的示例中，装置200包括音频编解码器，该音频编解码器支持接收、传输和/或流式传输用户生成的实时内容，诸如语音或视频通话。
102.在图3的示例中，第一用户301与远程用户303进行语音或视频通话。第一用户301使用可操作地连接到装置200的第一音频设备250和第二音频设备255与远程用户303通信。第一音频设备250可以包括例如第一无线耳机，并且第二音频设备255可以包括例如第二无线耳机。在图3的示例中，第一音频设备250和第二音频设备255被配置为通过为第一用户301提供立体声输出而用作一对。
103.第一音频设备250和第二音频设备255使用例如蓝牙连接被无线地连接到装置200。第一音频设备250包括至少一个扬声器和至少一个麦克风。类似于第一音频设备250，第二音频设备255包括至少一个扬声器和至少一个麦克风。
104.装置200被配置为经由第一音频设备250和第二音频设备255将从远程用户303接收的空间音频信号提供给第一用户301。空间音频信号可以包括例如空间音频场的音频场景306，其包括语音对象，诸如来自远程用户303的语音和来自远程用户303的环境的环境音频。
105.在图3的示例中，音频信号例如由远程用户的设备305所包括的音频编解码器进行编码307，并且使用例如实时传输协议(rtp)作为比特流304传输给第一用户301的装置200。然后，所接收的比特流例如由包括音频编解码器的装置200进行解码308。
106.装置200还被配置为提供由第一音频设备250和/或第二音频设备255捕获的音频信号，并且使用设备305将所捕获的音频信号提供给远程用户303。在图3的示例中，所捕获的音频信号被装置200编码并且作为比特流304传输给远程用户303。然后，由远程用户303接收的比特流例如可以由设备305解码。
107.通过使用多个扬声器和麦克风，装置200可以被配置成为第一用户301提供沉浸式双向通信。
108.图4示出了根据示例实施例的另一示例系统。在图4的示例中，装置200包括音频编解码器，该音频编解码器支持接收、传输和/或流式传输用户生成的实时内容，诸如语音或视频通话。
109.在图4的示例中，第一用户301与图3中所示的远程用户303进行语音或视频通话。第一用户301可以使用装置200来捕获音频信号，并且使用第一音频设备250和第二音频设备255来接收空间音频信号。第一音频设备250和第二音频设备255使用例如蓝牙连接来无线地连接到装置200。
110.类似于图3的示例，第一音频设备250包括至少一个扬声器和至少一个麦克风，并且第二音频设备255包括至少一个扬声器和至少一个麦克风。
111.在图4的示例中，第一用户301将第二音频设备255提供给第二用户402(由箭头401指示)，以用于加入语音或视频通话。装置200被配置为接收第二音频设备255的解激活的指示。音频设备的解激活可以包括：禁用第二音频设备255、将第二音频设备255与装置200断开连接、从耳内位置移除第二音频设备255，等等。在图4的示例中，装置200被配置为从第二音频设备255接收其已经从耳内位置被移除的指示。
112.在图4的示例中，装置200还被配置为接收第二音频设备被第二用户402重新激活的指示。例如，音频设备的重新激活可以包括：使能第二音频设备255、将第二音频设备255连接到装置200、检测第二音频设备255的耳内位置，等等。在图4的示例中，装置200被配置为从第二音频设备255接收其已经被放置到耳内位置的指示。
113.装置200可以被配置为基于测量数据来确定第二音频设备255被第二用户402重新激活。例如，测量数据可以涉及：第一音频设备250与第二音频设备255之间的距离、第一音频设备250与第二音频设备255之间的距离的变化、第一音频设备250或第二音频设备255的运动、第一音频设备250和第二音频设备255的位置之间的差异(例如，第一音频设备250的高度与第二音频设备255的高度之间的差异)、第一用户301或第二用户402的耳朵的特性，等等。在图4的示例中，装置200被配置为基于第一音频设备250与第二音频设备255之间的改变后的距离来确定第二音频设备255被第二用户402激活。
114.响应于第二用户402加入语音或视频通话，装置200被配置为从第一音频设备250和第二音频设备255接收所捕获的音频信号。因此，第一音频设备250提供第一音频源，并且第二音频设备255提供第二音频源，第一音频源和第二音频源为独立的音频源。
115.装置200被配置为响应于接收到第二音频设备255被第二用户402重新激活的指示而执行被提供给远程用户303的所捕获的音频信号的修改。所捕获的音频信号的修改可以包括基于上下文信息修改所捕获的音频信号。例如，所捕获的音频信号的修改可以包括基于第一音频设备250和第二音频设备255的上下文来提供所捕获的音频信号。装置200可以被配置为通过提供单独的音频对象或者通过将所捕获的音频信号与其他所捕获的音频信号混合来提供所捕获的音频信号。
116.上下文可以包括例如与第一音频设备250和第二音频设备255的声学连接有关的信息。例如，装置200可以被配置为：如果第一用户301和第二用户402在相同的声学上连接的空间中并且能够彼此听见，则使用第一音频设备250捕获来自第二用户402的声学信号。换言之，不需要向第二用户402回放第一用户301的语音或向第一用户301回放第二用户402的语音。装置200被配置为将所捕获的音频信号提供给远程用户，例如作为不同音频对象。
117.作为另一示例，装置200可以被配置为：如果第一用户301和第二用户402在相同的声学上连接的空间中但是彼此不能听见，或者如果第一用户301和第二用户402位于声学上断开连接的空间中，则捕获来自第一用户301的声学信号并且将其混合到第二用户402的输出中，并且捕获来自第二用户402的声学信号并且将其混合到第一用户301的输出中。
118.图5a、图5b和图5c示出了在图4的示例中由装置200响应于接收到第二音频设备255的解激活的指示以及响应于接收到第二音频设备255被第二用户402重新激活的指示而执行的修改。
119.图5a示出了被配置为提供空间音频信号以用于经由第一音频设备250和第二音频设备255针对第一用户301而输出的装置200。空间音频信号提供包括音频对象502(诸如定向语音对象)的空间音频场501。
120.图5b示出了由装置200响应于接收到第二音频设备255的解激活的指示而执行的修改。在图5b的示例中，装置200被配置为修改被提供给第一用户301的空间音频信号，使得针对使用单个音频设备(诸如第一音频设备250)的第一用户优化空间音频的回放。在图5b的示例中，装置200被配置为通过在保持音频对象503的同时使空间音频信号适于单声道回
放来修改空间音频信号。因此，修改空间音频信号可以包括例如移除环境音频。作为另一示例，装置200可以被配置为通过执行音频对象503和环境音频的单声道混合来修改被提供给第一用户301的空间音频信号。
121.图5c示出了由装置200响应于接收到第二音频设备255被第二用户402重新激活的指示而执行的修改。在图5c的示例中，装置200被配置为通过适配空间音频信号来修改空间音频信号，使得针对第一用户301和第二用户402两者优化空间音频。在图5c的示例中，修改包括保持音频对象503并且为第一用户301和第二用户402两者添加至少一个附加音频分量504(诸如单声道环境)的回放。
122.响应于第二用户402加入语音或视频通话，装置200被配置为从第一音频设备250和第二音频设备255接收所捕获的音频信号。因此，第一音频设备250提供第一音频源，并且第二音频设备255提供第二音频源，第一音频源和第二音频源为独立的音频源。
123.类似于图4的示例，装置200被配置为响应于接收到第二音频设备255被第二用户402重新激活的指示而执行被提供给远程用户303的所捕获的音频信号的修改。所捕获的音频信号的修改可以包括基于上下文信息来修改所捕获的音频信号。例如，所捕获的音频信号的修改可以包括基于第一音频设备250和第二音频设备255的上下文来提供所捕获的音频信号。装置200可以被配置为通过提供单独的音频对象或者通过将所捕获的音频信号与其他所捕获的音频信号混合来提供所捕获的音频信号。
124.上下文可以包括例如与第一音频设备250和第二音频设备255的声学连接有关的信息。例如，装置200可以被配置为：如果第一用户301和第二用户402在相同的声学上连接的空间中并且能够彼此听见，则使用第一音频设备250捕获来自第二用户402的声学信号。换言之，不需要向第二用户402回放第一用户301的语音或向第一用户301回放第二用户402的语音。装置200被配置为将所捕获的音频信号提供给远程用户，例如作为不同音频对象。
125.作为另一示例，装置200可以被配置为：如果第一用户301和第二用户402在相同的声学上连接的空间中但是彼此不能听见，或者如果第一用户301和第二用户402位于声学上断开连接的空间中，则捕获来自第一用户301的声学信号并且将其混合到第二用户402的输出中，并且捕获来自第二用户402的声学信号并且将其混合到第一用户301的输出中。
126.图6示出了结合了先前公开的实施例的各方面的示例方法600。更具体地，示例方法600示出了提供空间音频信号。该方法可以由装置200(诸如移动计算设备)执行。
127.该方法开始于提供605空间音频信号以用于经由第一音频设备250和第二音频设备255针对第一用户而输出。第一音频设备250可以包括第一无线音频设备，并且第二音频设备255可以包括第二无线音频设备。
128.该方法继续进行以接收610第二音频设备255的解激活的指示。第二音频设备255的解激活可以包括：禁用第二音频设备255、将第二音频设备255与装置200断开连接、从耳内位置移除第二音频设备255，等等。
129.该方法进一步继续进行以响应于接收到第二音频设备255的解激活的指示而执行615空间音频信号的第一修改。然而，应当注意，在一些示例实施例中，不执行第一修改。
130.第一修改可以包括修改被提供给第一用户301的空间音频信号，使得针对使用单个音频设备(诸如第一音频设备250)的第一用户优化空间音频的回放。因此，例如，第一修改可以包括通过保持最重要的音频分量并且移除较不重要的音频分量来使空间音频信号
适于单声道回放。例如，第一修改可以包括保持语音对象并且移除环境音频。
131.该方法进一步继续进行以接收620第二音频设备255被第二用户402重新激活的指示。例如，第二音频设备255的重新激活可以包括：使能第二音频设备255、将第二音频设备255连接到装置200、检测第二音频设备255的耳内位置，等等。接收第二音频设备255被重新激活的指示可以包括：检测第二音频设备255的状态的变化、检测第二音频设备255与装置200之间的连接的状态的变化、接收与第二音频设备255的状态有关的测量数据、从第二音频设备255接收第二音频设备被重新激活的指示、或其组合。
132.装置200可以被配置为确定第二音频设备255被第二用户402重新激活。例如，确定第二音频设备255被第二用户402重新激活可以包括基于由装置200接收的测量数据来确定第二音频设备255被第二用户402重新激活。例如，测量数据可以涉及：第一音频设备250与第二音频设备255之间的距离、第一音频设备250与第二音频设备255之间的距离的变化、第一音频设备250或第二音频设备255的运动、第一音频设备250和第二音频设备255的位置之间的差异(例如，第一音频设备250的高度与第二音频设备255的高度之间的差异)，等等。
133.该方法进一步继续进行以响应于接收到第二音频设备255被第二用户402重新激活的指示而执行625空间音频信号的第二修改。第二修改可以包括修改空间音频信号，使得针对第一用户301和第二用户402优化空间音频。第二修改可以包括例如使空间音频信号适于第一单声道回放和第二单声道回放。例如，第二修改可以包括保持语音对象并且添加至少一个附加分量(诸如环境音频)的回放。
134.图7示出了结合了先前公开的实施例的各方面的另一示例方法700。该方法可以由装置200(诸如移动计算设备)执行。
135.该方法开始于提供705空间音频信号以用于经由第一音频设备250和第二音频设备255针对第一用户而输出。第一音频设备250可以包括第一无线音频设备，并且第二音频设备255可以包括第二无线音频设备。
136.该方法继续进行以接收710第二音频设备255的解激活的指示。第二音频设备255的解激活可以包括：禁用第二音频设备255、将第二音频设备255与装置200断开连接、从耳内位置移除第二音频设备255，等等。
137.该方法进一步继续进行以响应于接收到第二音频设备255的解激活的指示而执行715空间音频信号的第一修改。第一修改可以包括修改被提供给第一用户的空间音频信号，使得针对使用单个音频设备(诸如第一音频设备250)的第一用户301优化空间音频的回放。因此，第一修改可以包括例如使空间音频信号适于单声道回放。然而，应当注意，在一些示例实施例中，不执行第一修改。
138.该方法进一步继续进行以接收720与第二音频设备255有关的状态信息。基于状态信息，装置200被配置为确定第二音频设备255是被解激活还是被重新激活。
139.该方法进一步继续进行以确定725第二音频设备255是否被重新激活。如果第二音频设备255未被重新激活，则该方法继续进行以确定730解激活条件是否被满足。如果第二音频设备255在预定时间段内未被重新激活，则解激活条件被满足。预定时间段可以介于例如1秒至20秒。例如，预定时间段可以包括1秒、5秒、10秒、15秒或20秒。
140.如果解激活条件被满足，则该方法继续进行以执行740空间音频信号的第一修改。第一修改可以包括修改被提供给第一用户301的空间音频信号，使得针对使用单个音频设
备(诸如第一音频设备250)的第一用户301优化空间音频的回放。因此，第一修改可以包括例如通过保持最重要的音频分量并且移除较不重要的音频分量来使空间音频信号适于单声道回放。例如，第一修改可以包括保持语音对象并且移除环境音频。
141.如果解激活条件未被满足，则该方法继续进行以接收720与第二音频设备255有关的状态信息。
142.如果确定725第二音频设备255被重新激活，则该方法继续进行以确定735第二音频设备255是否被第一用户301重新激活。如果第二音频设备255被第一用户301重新激活，则该方法继续进行到框710。
143.如果确定735第二音频设备255未被第一用户重新激活，则该方法继续进行以执行750空间音频信号的第二修改。第二修改可以包括修改空间音频信号，使得针对第一用户301和第二用户402优化空间音频。第二修改可以包括例如使空间音频信号适于第一单声道回放和第二单声道回放。例如，第二修改可以包括保持语音对象并且添加至少一个附加分量(诸如环境音频)的回放。
144.在不限制权利要求的范围的情况下，分别基于音频设备的解激活和重新激活来执行空间音频的第一修改和第二修改的优点在于，可以基于情形来调节空间音频的提供。确定音频设备被第二用户重新激活的优点在于，可以针对多个用户优化空间音频的提供和捕获。
145.在不以任何方式限制所附权利要求的范围、解释或应用的情况下，本文中公开的示例实施例中的一个或多个示例实施例的技术效果在于，可以通过共享一组耳机(诸如一对耳塞)来将一方添加到语音或视频通话中。
146.如在本技术中使用的，术语“电路系统”可以是指以下中的一项或多项或全部：(a)仅硬件的电路实现(诸如仅在模拟和/或数字电路系统中的实现)，以及(b)硬件电路和软件的组合，诸如(如适用)：(i)(多个)模拟和/或数字硬件电路与软件/固件的组合，以及(ii)具有软件的(多个)硬件处理器(包括(多个)数字信号处理器)、软件和(多个)存储器的任何部分，这些部分共同工作以引起诸如移动电话或服务器等的装置执行各种功能，以及(c)(多个)硬件电路和/或(多个)处理器，诸如(多个)微处理器或(多个)微处理器的一部分，其需要软件(例如，固件)来运行，但在其不需要被运行时可以不存在软件。
[0147]“电路系统”的这种定义适用于该术语在本技术中的所有使用，包括在任何权利要求中。作为其他示例，如本技术中使用的，术语“电路系统”还仅涵盖硬件电路或处理器(或多个处理器)或硬件电路或处理器及其(或它们的)随附软件和/或固件的一部分的实现。术语“电路系统”还包括(例如并且如果适用于特定权利要求元素)用于移动设备的基带集成电路或处理器集成电路、或者服务器、蜂窝网络设备或其他计算或网络设备中的类似集成电路。
[0148]
本发明的实施例可以以软件、硬件、应用逻辑或软件、硬件和应用逻辑的组合来实现。软件、应用逻辑和/或硬件可以驻留在装置、单独的设备或多个设备上。如果需要，部分软件、应用逻辑和/或硬件可以驻留在装置上，部分软件、应用逻辑和/或硬件可以驻留在单独的设备上，部分软件、应用逻辑和/或硬件可以驻留在多个设备上。在示例实施例中，应用逻辑、软件或指令集被维持在各种常规计算机可读介质中的任何一种上。在本文档的上下文中，“计算机可读介质”可以是可以包含、存储、通信、传播或传输由指令执行系统、装置或
设备(诸如计算机)使用或与其结合使用的指令的任何介质或装置，其中在图2中描述和描绘了计算机的一个示例。计算机可读介质可以包括计算机可读存储介质，该计算机可读存储介质可以是可以包含或存储由指令执行系统、装置或设备(诸如计算机)使用或与其结合使用的指令的任何介质或装置。
[0149]
如果需要，本文中讨论的不同功能可以以不同的顺序和/或彼此同时地执行。此外，如果需要，上述功能中的一个或多个功能可以是可选的或可以组合。
[0150]
尽管在独立权利要求中陈述了本发明的各个方面，但是本发明的其他方面包括来自所描述的实施例和/或从属权利要求的特征与独立权利要求的特征的其他组合，而不仅是在权利要求中明确列出的组合。
[0151]
对于本领域技术人员将很清楚的是，随着技术的进步，本发明的构思可以以各种方式来实现。本发明及其实施例不限于上述示例，而是可以在权利要求的范围内变化。