用于入耳式麦克风阵列的部分hrtf补偿或预测
1.（一个或多个）相关申请的（一个或多个）交叉引用本技术基于2019年7月25日提交的美国专利申请no. 16/522,394，该美国专利申请的全部内容通过引用并入本文。
技术领域
2.本公开总体上涉及入耳式音频设备。
背景技术：
3.耳机是佩戴在用户耳朵上或周围的扬声器对。罩耳式耳机在用户头顶上使用带子将扬声器保持在用户耳朵之上或用户耳朵里的位置上。另一类型的耳机被称为耳塞式耳机或听筒，并且包括佩戴在用户耳朵的耳廓内、靠近用户耳道的单元。
4.随着个人电子设备的增加使用，耳机和耳塞式耳机二者变得越来越常见。例如，人们使用耳机连接到他们的手机来播放音乐、收听播客等。作为另一个示例，经历听力损失的人们也使用耳戴式设备来放大环境声音。然而，耳机设备当前不是为全天佩戴而设计的，因为它们的存在阻止了外部噪声进入耳朵。因此，用户需要移除设备以听到对话、安全地穿过街道等。此外，经历听力损失的那些人的耳戴式设备经常未能准确地再现环境提示，因此使得其对于佩戴者而言难以定位再现的声音。
技术实现要素：
5.提供本发明内容是为了以简化的形式介绍在以下具体实施方式中进一步描述的概念选择。本发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用作确定所要求保护的主题范围的帮助。
6.在一些实施例中，提供了一种耳戴式声音再现系统。该系统包括外壳、多个麦克风、驱动器元件和声音处理设备。外壳具有指向内的部分和指向外的部分。多个麦克风安装在外壳的指向外的部分上。外壳被成形为将多个麦克风至少部分地定位在耳朵的耳廓内。驱动器元件安装在外壳的指向内的部分上。声音处理设备包括逻辑，该逻辑响应于执行，使得耳戴式声音再现系统执行包括以下各项的操作：接收信号集合，该信号集合中的每个信号是从所述多个麦克风中的麦克风接收的；对于该信号集合中的每个信号，使用与从其接收信号的麦克风相关联的滤波器来处理信号，以生成分离的滤波信号；将分离的滤波信号组合以创建组合信号；以及将组合信号提供给驱动器元件用于发射。
7.在一些实施例中，提供了一种优化多个耳戴式麦克风的输出的计算机实现的方法。由插入耳朵的设备的多个麦克风从多个声源接收输入信号。对于所述多个麦克风中的每个麦克风，使用分离的滤波器处理麦克风接收的输入信号，以创建分离的处理信号。将分离的处理信号组合以创建组合的输出信号。将组合的输出信号与参考信号进行比较。调整分离的滤波器以使组合的输出信号和参考信号之间的差异最小化。经调整的滤波器被存储以供设备的控制器使用。
附图说明
8.通过对当结合附图考虑时的下面的详细描述进行参考，本发明的前述方面和许多伴随的优点将变得更容易领会，同样变得更好理解，其中：图1是示出根据本公开的各个方面的设备的非限制性示例实施例的局部剖视图的示意图；图2是指示耳廓解剖结构的各个元素的卡通图，以供参考；图3是图示根据本公开的各个方面的声音再现系统的非限制性示例实施例的框图；图4a-4d是图示根据本公开的各个方面的用于发现和使用滤波器来补偿耳戴式麦克风阵列中的部分头部相关传递函数的方法的非限制性示例实施例的流程图；图5a图示了根据本公开的各个方面的实验设置的非限制性示例实施例；和图5b图示了位于图5a中图示的耳朵模拟器内的设备的非限制性示例实施例。
具体实施方式
9.在本公开的一些实施例中，提供了一种耳戴式声音再现系统。该系统包括可安装在耳朵上的外壳，该可安装在耳朵上的外壳位于耳朵的耳廓内并封闭耳道。在一些实施例中，可安装在耳朵上的外壳包括多个面向外部的麦克风。因为面向外部的麦克风可以位于耳朵的耳廓内但在耳道外部，所以麦克风将经历耳廓的一些但不是全部三维声学效果。所期望的是，由外壳的面向内部的驱动器元件再现的声音保持三维定位提示，该三维定位提示在没有外壳的情况下将出现在耳膜处，使得外壳对于用户基本上是透明的。
10.图1是示出根据本公开的各个方面的设备的非限制性示例实施例的局部剖视图的示意图。如附图中所见，可安装在耳朵上的外壳304被插入耳朵的耳道103内。外壳的指向外的部分包括多个麦克风310。尽管在图1中图示为设置在单个平面中，但是在一些实施例中，多个麦克风310可以以半球形或不是单个平面的其他布置设置在外壳的指向外的部分上。外壳的指向内的部分封闭耳道103，并且至少包括驱动器元件312。图示的实施例还包括可选的入耳式麦克风314。驱动器元件312被配置为生成将被耳膜112接收的声音。
11.如所示，插入可安装在耳朵上的外壳304，使得多个麦克风310至少部分地位于耳朵的耳廓102内。例如，可安装在耳朵上的外壳304的指向外的部分可以定位在耳道103的外部，但是在外耳的内部，在耳屏/对耳屏的后面，或者以其他方式在耳廓的一部分解剖结构内。图2是指示耳廓解剖结构的各个元素的卡通图，以供参考。因为麦克风310至少部分地在耳廓102内，所以麦克风310将经历由耳廓102赋予的一些三维声学效果。这不像一套具有外部安装的麦克风阵列的耳挂式耳机，至少因为耳挂式耳机的扬声器在耳廓外部（麦克风也是如此），并且因此这样的耳机构成了闭合的系统，对于该闭合的系统，三维听觉提示可以在没有复杂处理的情况下容易地再现。相比之下，麦克风310接收由耳廓102赋予的一些但不是全部三维声学效果。因此，为了使得驱动器元件312准确地再现在没有外壳304的情况下将在耳膜112处接收到的三维声学效果，应当确定滤波器，使得来自麦克风310的信号可以被组合以准确地再现这样的效果。一旦确定了可以提供透明性的滤波器，也可以提供诸如波束成形的另外的功能性。
12.图3是图示根据本公开的各个方面的声音再现系统的非限制性示例实施例的框
图。在一些实施例中，声音再现系统302被配置为发现由可安装在耳朵上的外壳304的多个麦克风310接收的信号的滤波器，以便实现一个或多个声音再现目标。在一些实施例中，声音再现系统302被配置为使用这样的滤波器，以便使用驱动器元件312再现由麦克风310接收的声音。如图示的，声音再现系统302包括可安装在耳朵上的外壳304、数字信号处理器（dsp）设备306和声音处理设备308。在一些实施例中，可安装在耳朵上的外壳304、dsp设备306和声音处理设备308可以使用任何合适的通信技术彼此通信地连接，所述任何合适的通信技术包括但不限于：包括但不限于以太网、usb、thunderbolt、firewire和模拟音频连接器的有线技术，以及包括但不限于wi-fi和蓝牙的无线技术。
13.在一些实施例中，可安装在耳朵上的外壳304包括多个麦克风310、驱动器元件312和可选的入耳式麦克风314。可安装在耳朵上的外壳304包括指向内的部分和指向外的部分。指向外的部分和指向内的部分一起包围一个容积，在该容积中可以提供其他部件，所述其他部件包括但不限于电池、通信接口和处理器中的至少一个。
14.在一些实施例中，指向内的部分被成形为配合在用户的耳道内，并且可以利用摩擦配合保持在耳道内。在一些实施例中，指向内的部分可以定制形成为特定用户的耳道的特定形状。在一些实施例中，指向内的部分可以完全封闭耳道。驱动器元件312和可选的入耳式麦克风314可以安装在指向内的部分的远端。
15.在一些实施例中，指向外的部分可以包括在其上安装麦克风310的表面。在一些实施例中，指向外的部分可以具有圆形形状，其中麦克风310通过该圆形形状分布。在一些实施例中，指向外的部分可以具有定制形成以符合用户耳廓的解剖结构的形状。在一些实施例中，指向外的部分可以包括平坦表面，使得麦克风310设置在单个平面中。在一些实施例中，指向外的部分可以包括在其上设置麦克风310的半球形结构或一些其他形状，使得麦克风310不设置在单个平面中。在一些实施例中，当可安装在耳朵上的外壳304定位在耳朵内时，麦克风310位于的平面与头部前方成角度。
16.在一些实施例中，多个麦克风310中的麦克风可以是具有合适形状因子的任何类型的麦克风，包括但不限于mems麦克风。在一些实施例中，驱动器元件312可以是能够生成全范围可听频率（例如，从大约50hz到大约20 khz）的任何类型的高清扬声器。在一些实施例中，入耳式麦克风314也可以是具有合适形状因子的任何类型的麦克风，包括但不限于mems麦克风。入耳式麦克风314可以是可选的，因为在一些实施例中，仅分离的麦克风可以用于测量驱动器元件312的性能。
17.如上所述，声音再现系统302还包括dsp设备306。在一些实施例中，dsp设备306被配置为接收来自麦克风310的模拟信号，并将它们转换成将由声音处理设备308处理的数字信号。在一些实施例中，dsp设备306还可以被配置为从声音处理设备308接收数字信号，将数字信号转换成模拟信号，并将模拟信号提供给驱动器元件312用于再现。适合用作dsp设备306的设备的一个非限制性示例是由analog devices公司提供的adau1467z sigmadsp
®
处理器。
18.如所示的，声音处理设备308包括信号记录引擎316、滤波器确定引擎318、信号再现引擎320、记录数据存储322和滤波器数据存储324。在一些实施例中，信号记录引擎316被配置为从dsp设备306接收数字信号，并将接收到的信号存储在记录数据存储322中。信号记录引擎316还可以存储与接收到的信号相关联的特定麦克风310和/或声源的指示。在一些
实施例中，滤波器确定引擎318被配置为确定可以应用于从麦克风310接收的信号的滤波器，使得经处理的信号可以被组合以生成组合信号，该组合信号尽可能接近于匹配在没有可安装在耳朵上的外壳304的情况下在耳膜处接收的信号。滤波器确定引擎318可以被配置为将所确定的滤波器存储在滤波器数据存储324中。在一些实施例中，信号再现引擎320被配置为将滤波器应用于从dsp设备306接收的信号，并将组合的经处理信号提供给dsp设备306以由驱动器元件312再现。
19.一般而言，如本文使用的术语“引擎”指代在硬件或软件指令中体现的逻辑，其可以用编程语言编写，所述编程语言诸如是c、c 、cobol、java
™
、php、perl、html、css、javascript、vbscript、aspx、诸如c#的microsoft .net
™
语言、诸如matlab的专用语言和/或诸如此类。引擎可以被编译成可执行程序或者用解释编程语言编写。引擎可以从其他引擎或从它们自身可调用。通常，本文描述的引擎指代可以与其他引擎或应用合并或者可以被划分成子引擎的逻辑模块。引擎可以存储在任何类型的计算机可读介质或计算机存储设备中，并且存储在一个或多个通用计算机上并由一个或多个通用计算机执行，从而创建被配置为提供引擎的专用计算机。因此，本文图示的设备和系统包括被配置为提供所图示引擎的一个或多个计算设备。
20.一般而言，如本文描述的“数据存储”可以由被配置为存储供计算设备访问的数据的任何合适的设备来提供。数据存储的一个示例是在一个或多个计算设备上执行并且可本地或通过高速网络访问的高度可靠的高速关系数据库管理系统（rdbms）。然而，可以使用能够响应于查询快速和可靠地提供所存储的数据的任何其他合适的存储技术和/或设备，诸如键值存储、对象数据库和/或诸如此类。提供数据存储的计算设备可以是可本地（而不是通过网络）访问的，或者可以作为基于云的服务来提供。数据存储还可以包括以有组织的方式存储在计算机可读存储介质上的数据，如下面进一步描述的。数据存储的另一个示例是文件系统或数据库管理系统，其将数据存储在诸如闪存、随机存取存储器（ram）、硬盘驱动器和/或诸如此类的计算机可读介质上的文件（或记录）中。在不脱离本公开的范围的情况下，本文描述的分离的数据存储可以被组合成单个数据存储，和/或本文描述的单个数据存储可以被分离成多个数据存储。
21.如图示的，声音再现系统302包括用于可安装在耳朵上的外壳304、dsp设备306和声音处理设备308的单独设备。在一些实施例中，被描述为由声音处理设备308提供的功能性可以由一个或多个专用集成电路（asic）、现场可编程门阵列（fpga）或具有用于实现逻辑的电路的任何其他类型的硬件来提供。在一些实施例中，被描述为由声音处理设备308提供的功能性可以由存储在计算机可读介质内的指令来体现，并且可以使得声音再现系统302响应于执行指令来执行该功能性。在一些实施例中，声音处理设备308的功能性可以由motu声卡和计算设备来提供，所述计算设备诸如是运行数字音频工作站（daw）软件的膝上型计算设备、台式计算设备、服务器计算设备或云计算设备，所述数字音频工作站（daw）软件诸如是pro tools、studio one、cubase或motu digital performer。可以用虚拟工作室技术（vst）插件来增强daw软件，以提供引擎功能性。由引擎进行的另外的数值分析可以在诸如matlab的数学分析软件中执行。在一些实施例中，dsp设备306的功能性也可以由声音处理设备308执行的软件来提供，所述软件诸如是由cycling '74提供的max msp或pure data（纯数据）（pd）。
22.在一些实施例中，dsp设备306的功能性可以并入可安装在耳朵上的外壳304或声音处理设备308中。在一些实施例中，全部的功能性可以位于可安装在耳朵上的外壳304内。在一些实施例中，被描述为由声音处理设备308提供的一些功能性可以取而代之在可安装在耳朵上的外壳304内提供。例如，分离的声音处理设备308可以提供信号记录引擎316、滤波器确定引擎318和记录数据存储312，以便确定将使用的滤波器，而滤波器数据存储324和信号再现引擎320的功能性可以由可安装在耳朵上的外壳304提供。
23.图4a-4d是图示根据本公开的各个方面的用于发现和使用滤波器来补偿耳戴式麦克风阵列中的部分头部相关传递函数的方法的非限制性示例实施例的流程图。在高水平上，方法400为由多个声源生成的信号确定耳朵模拟器503内的目标信号。然后，可安装在耳朵上的外壳304被放置在耳朵模拟器503内，并且信号被每个麦克风310记录。声音处理设备308然后确定使麦克风310记录的信号和参考信号之间的差异最小化的滤波器。使用驱动器元件312，所确定的滤波器可以用于生成信号。
24.在一些实施例中，方法400的目标是能够将来自多个麦克风310的m个麦克风的信号组合，使得组合信号的频率响应尽可能接近地匹配给定的目标信号。表达式表示对于在频率f、在位置处的声源在麦克风的复值频率响应，并且表达式表示对于声源k的目标频率响应。该组合包括对麦克风信号进行滤波并将滤波器输出相加在一起。滤波和组合过程的总体输出的频率响应可以写成如下：其中是正在设计的第m个滤波器的频率响应，是具有第m个元素的m元素列向量，t意指矩阵转置，并且是具有第m个元素的m元素列向量。本文公开的设计方法搜索滤波器，使得给定一些匹配标准，匹配。滤波和组合过程可以在频域中进行，或者通过将个滤波器转换成m个时域滤波器集合，或者在时域中使用类似的设计技术。通过最小化多个声源的组合信号中的误差，可以确定为设备304提供最大性能的滤波器，而不管传入声音的方向如何。如下面进一步讨论的，也可以使用使用其他优化的类似技术（诸如波束成形或以其他方式使一些方向优先于其他方向）。
25.在框402（图4a），耳朵模拟器503位于具有多个声源的房间中，并且在框404，参考麦克风位于耳朵模拟器503的耳道内。取代活体主体对耳朵模拟器的使用允许耳朵模拟器被准确地和可重复地位于测试环境内，并且允许进行精确的声学测量，尽管在一些实施例中，活体主体可以与入耳式麦克风一起使用。图5a图示了根据本公开的各个方面的实验设置的非限制性示例实施例。如所示的，提供了包括耳朵模拟器503的人造头部502。在一些实施例中，耳朵模拟器503被成形为近似现实耳朵的解剖结构，并且可以由具有与现实耳朵的人类皮肤、软骨和其他组分类似的声学特性的材料来创建。人造头部502和耳朵模拟器503包括耳道103。参考麦克风512位于耳道103内并接近耳膜112的位置。在一些实施例中，参考
麦克风512可以是与可安装在耳朵上的外壳304的麦克风310类似的设备，并且可以以类似的方式通信地耦合到dsp设备306。在一些实施例中，参考麦克风512可以是更简单的设备，诸如dayton audio umm-6 usb麦克风。在一些实施例中，参考麦克风512可以在与耳膜112位置具有已知固定关系的位置上，所述位置诸如在耳道入口处，或者在头部中心的位置但是头部不存在。在一些实施例中，参考麦克风512可以被调谐以呈现与平均鼓膜匹配的空气耦合参数。
26.图5a还图示了多个声源中的第一声源504和第二声源506。每个声源可以是诸如sony srsx5便携式扬声器的扬声器，所述扬声器通信地耦合到被配置为生成测试信号的计算设备。在一些实施例中，多个声源可以包括设置在人造头部502周围的十六个或更多个声源。在一些实施例中，多个声源可以处于相对于人造头部502的多个水平和竖直位置。尽管为了简单起见未图示，但是在一些实施例中，人造头部502可以包括第二耳朵模拟器和参考麦克风。在一些实施例中，人造头部502还可以包括人造躯干、头发、衣服、附件和/或可以有助于头部相关传递函数的其他元素。在一些实施例中，人造头部502和多个声源可以位于消声室内，以便进一步减少来自环境因素的干扰。在一些实施例中，取代具有多个设备来提供多个声源504、506，可以使用用于在实验之间准确地复制多个位置的机器人臂或另一技术将单个设备移动到多个位置来提供多个声源504、506。
27.尽管图5a图示了人造头部502和耳朵模拟器503，但是在一些实施例中，收集测量可以包括人类主体。对于这样的实施例，入耳式麦克风可以位于主体的现实耳朵内靠近鼓膜。可以向主体提供头靠（headrest）或类似设备，以帮助主体在测试期间保持静止并且在一致的位置上。
28.回到图4a，在for循环开始框406和for循环结束框414之间定义了for循环，并且对于设置在耳朵模拟器503周围的多个声源中的每个声源执行for循环。方法400从for循环开始框406前进到框408，其中声源生成测试信号。测试信号的一些非限制性示例可以包括正弦扫描、语音、音乐和/或其组合。在框410，参考麦克风512接收如受耳朵模拟器503影响的测试信号，并将接收到的信号传输到声音处理设备308。在一些实施例中，参考麦克风512向dsp设备306提供接收到的信号，dsp设备306然后向声音处理设备308提供接收到的信号的数字形式。在一些实施例中，模数转换器可以存在于参考麦克风512中，并且数字音频信号可以由参考麦克风512提供给声音处理设备308。
29.在框412，声音处理设备308的信号记录引擎316将接收到的信号存储在记录数据存储322中，作为声源的目标信号。如果剩下另外的声源将被处理，则方法400从for循环结束框414前进到for循环开始框406，以处理下一个声源。否则，如果已经处理了全部声源，则方法400从for循环结束框414前进到继续终端（“终端a”）。在一些实施例中，多个声源中的每个声源被单独处理，使得从每个声源获得的读数不彼此干扰。
30.在框416（图4b），具有多个麦克风310的设备304位于耳朵模拟器503内。术语设备304在本文与术语可安装在耳朵上的外壳304可互换使用。图5b图示了设备304的非限制性示例实施例，该设备304位于图5a中图示并在上面讨论的耳朵模拟器503内。多个声源504、506的布局保持与上面图示和讨论的相同，关于人造头部502、耳朵模拟器503和参考麦克风512的设置的其他一切也是如此。如所示的，来自声源504、506中的每一个的信号将由每个麦克风310在稍微不同的时间和从稍微不同的角度接收。信号也可能被部分地阻挡而不直
接到达麦克风310，或者以其他方式受到人造头部502的一部分或者人造头部502安装到的人造躯干声学影响，特别是对于位于人造头部502后面或位于人造头部502的与耳朵模拟器503相对的一侧的声源。尽管为了清楚起见，设备304在图5b中被图示为延伸到耳朵模拟器503外部，但是在实际的实施例中，设备304将部分地在耳朵模拟器503内，使得每个麦克风310接收的信号也受到耳朵模拟器503的声学特性影响。
31.回到图4b，在for循环开始框418和for循环结束框430之间定义for循环，并且对设置在耳朵模拟器503周围的多个声源中的每个声源执行for循环。针对其执行for循环418-430的多个声源中的声源与针对其执行了for循环406-414的声源相同，尽管处理声源的次序可以改变。方法400从for循环开始框418前进到在for循环开始框420和for循环结束框428之间定义的for循环，对于设备104的每个麦克风310执行该for循环。实际上，嵌套的for循环使得针对声源和麦克风的每个组合执行框422-426。
32.方法400从for循环开始框420前进到框422，其中声源生成测试信号。该测试信号与在框408生成的测试信号相同。在框424，麦克风310接收如受耳朵模拟器503的至少一部分影响的测试信号，并将接收到的信号传输到声音处理设备308。在一些实施例中，将接收到的信号传输到声音处理设备308包括将模拟信号从麦克风310传输到dsp设备306，将模拟信号转换成数字信号，并将数字信号从dsp设备306传输到声音处理设备308。在框426，信号记录引擎316将麦克风310和声源的接收信号存储在记录数据存储322中。
33.如果对于声源剩下另外的麦克风310将被处理，则方法400从for循环结束框428前进到for循环开始框420，以处理下一个麦克风310。否则，如果已经处理了全部麦克风310，则方法400前进到for循环结束框430。如果剩下另外的声源将被处理，则方法400从for循环结束框430前进到for循环开始框418，以处理下一个声源。否则，如果已经处理了全部声源，则方法400前进到继续终端（“终端b”）。
34.在图4c中，在for循环开始框432和for循环结束框444之间定义了for循环，并且针对设置在耳朵模拟器503周围的多个声源中的每个声源执行该for循环。方法400从for循环开始框432前进到for循环开始框434，其开始在for循环开始框434和for循环结束框438之间定义的另一个for循环。针对多个麦克风中的每个麦克风310执行一次在for循环开始框434和for循环结束框438之间定义的for循环。本质上，这些嵌套的for循环使得由麦克风310接收的针对每个声源的每个信号将被处理。
35.方法400从for循环开始框434前进到框436，其中声音处理设备308的信号再现引擎320使用麦克风310的分离滤波器来处理存储的接收信号，以创建分离的处理信号。在一些实施例中，分离滤波器是将应用于来自多个麦克风中的特定麦克风310的信号的滤波器。在一些实施例中，用于特定麦克风310的第一遍通过框436的分离滤波器可以是默认滤波器，如下面讨论的，该默认滤波器稍后被调整。
36.如果剩下另外的麦克风310将被处理，则方法400从for循环结束框438前进到for循环开始框434，以处理存储的下一个麦克风310的接收信号。否则，如果已经处理了全部麦克风310的存储的接收信号，则方法400从for循环结束框438前进到框440。在框440，信号再现引擎320将分离处理的信号组合，以创建声源的组合的输出信号。在框442，信号再现引擎320将声源的组合的输出信号存储在记录数据存储322中。
37.方法400然后前进到for循环结束框444。如果剩下另外的声源将被处理，则方法
400从for循环结束框444前进到for循环开始框432，以处理下一个声源。否则，如果已经处理了全部声源，则方法400从for循环结束框444前进到继续终端（“终端c”）。
38.在框446（图4d），声音处理设备308的滤波器确定引擎318将组合的输出信号与目标信号进行比较。在一些实施例中，该比较确定了在各位置之上求和的信号之间的平方差，如在以下方程中指示的：这也可以使用向量记号表达为：其中是具有第k个元素的k元素列向量，并且是具有行的矩阵，并且是其复共轭转置。
39.在判定框448，做出关于现有滤波器的性能是否足够的确定。如果确定了现有滤波器的性能不足够，则判定框448的结果为否。在框450，滤波器确定引擎318调整分离的滤波器以使组合的输出信号和目标信号之间的差异最小化，并且然后返回到终端b以使用新调整的滤波器处理存储的接收信号。
40.图示的迭代方法可以包括用于使组合误差最小化的各个优化技术。在一些实施例中，该方法可以能够直接计算理想滤波器，而无需循环回去重新测试滤波器。在一些实施例中，为了找到使上述平方差误差标准最小化的，可以相对于取梯度并将梯度设置为等于零，这产生：并且最后，其中并且。
41.在一些实施例中，可以使用针对上述平方误差的变体。例如，在一些实施例中，对角矩阵q可以用于向一些源位置给予比其他源位置大的重要性，以便确保来自那些源位置的信号在处理信号的组合中被最准确地再现。对于对角线的第k个元素上的标量值，所得到的滤波器将对具有较大值的位置k比具有较小值的其他位置更敏感。对于这样的实施例，标准变成：从而产生：其中并且。
42.在一些实施例中，该标准可以使用如上面讨论的平方差，服从于约束滤波器对于某些声源位置采用某些值。设是矩阵，它的n列是对应于约束位置的向量。设是n元素的列向量，其具有将被采用的值。然后，这些附加的约束可以写成。使用
拉格朗日乘数法，所得到的向量将是：。
43.使用凸优化理论可以满足其他标准。例如，在一些实施例中，可以使用凸优化来找到如上所述使平方差最小化同时将最大平方差限制为小于或等于某个预定阈值的滤波器。
44.回到判定框448，如果确定了现有滤波器的性能足够，则判定框448的结果为是。在框452，滤波器确定引擎318将经调整的分离滤波器存储在声音处理设备308的滤波器数据存储324中。
45.在一些实施例中，信号再现引擎320然后可以使用经调整的分离滤波器来生成将由驱动器元件312再现的信号。例如，麦克风310可以从声源接收现场信号。每个麦克风310将其接收的现场信号版本提供给信号再现引擎320（经由dsp设备306）。信号再现引擎320利用针对麦克风310的经调整的分离滤波器来处理所接收的现场信号，将经处理的现场信号组合，并将组合的经处理的现场信号提供给驱动器元件312（经由dsp设备306）以供再现。
46.上述标准基于在单个设备304处测量的频率响应。在一些实施例中，可以使用两个设备（例如，听者的每个耳朵中一个）。在这样的实施例中，另一个有用的标准将与保持双耳处的目标响应的比率相关。利用左设备和右设备以及分别应用于每个阵列输出的滤波器的相同集合，在给定位置k的基于比率的标准将是：其中，下标l和r分别意指左和右，并且和是源位置k的目标响应。这可以被重新布置以产生：。
47.应该避免平凡解。用于避免平凡解的一个技术是约束滤波器，使得它们对于给定的位置产生特定的结果。不失一般性，人们可以指定，当k = 0时，正好满足先前的方程。为了服从于在k = 0处完全满足以上方程而在全部位置k之上最小化以上方程左手边的平方和，平方和可以写成如下：并简化为：其中：并且：。
48.简而言之，我们希望最小化：
服从于：并且：。
49.该公式与线性约束最小方差波束成形器的公式相同，其具有解：其中：。
50.图4a-4d图示了被连续执行的框。在一些实施例中，方法400可以包括以与图示不同的次序执行或者多次而不是仅一次执行的一些框。在一些实施例中，方法400的部分可以并行进行。例如，在框432-444，多个计算线程或进程可以用于并行而不是串行地处理多个麦克风310和/或声源的存储的接收信号。
51.此外，目标响应可以是如用图4a的方法测量的原始响应，或者这些目标响应的空间平滑版本，或者从用户人体测量的知识中导出的响应。在一些实施例中，麦克风组合设计过程可以不直接使用目标响应，而是取而代之基于目标响应集合或其他数据使用“空间听觉”的感知模型。在一些实施例中，麦克风信号组合过程可以经由神经网络而不是线性滤波器来实例化。
52.在一些实施例中，可以确定多个滤波器集合，并且可以为运行时的给定条件选择“最佳”滤波器。例如，在一些实施例中，可以针对再现语音中的最优性能来确定第一滤波器，可以针对再现音乐中的最优性能来确定第二滤波器，可以针对噪声环境中的最优性能来确定第三滤波器，并且可以针对预定方向上的最优性能来确定第四滤波器。在运行时，滤波器可以由用户选择，或者可以基于检测到的环境条件自动执行。在一些实施例中，通过随时间使系数变形，或者通过随时间平滑地将使用第一滤波器生成的音频混合到使用第二滤波器生成的音频，可以平滑地执行在运行时的滤波器之间的切换。
53.虽然已经图示和描述了说明性实施例，但是将领会，可以在不脱离本发明的精神和范围的情况下对其进行各种改变。
1.（一个或多个）相关申请的（一个或多个）交叉引用本技术基于2019年7月25日提交的美国专利申请no. 16/522,394，该美国专利申请的全部内容通过引用并入本文。
技术领域
2.本公开总体上涉及入耳式音频设备。
背景技术：
3.耳机是佩戴在用户耳朵上或周围的扬声器对。罩耳式耳机在用户头顶上使用带子将扬声器保持在用户耳朵之上或用户耳朵里的位置上。另一类型的耳机被称为耳塞式耳机或听筒，并且包括佩戴在用户耳朵的耳廓内、靠近用户耳道的单元。
4.随着个人电子设备的增加使用，耳机和耳塞式耳机二者变得越来越常见。例如，人们使用耳机连接到他们的手机来播放音乐、收听播客等。作为另一个示例，经历听力损失的人们也使用耳戴式设备来放大环境声音。然而，耳机设备当前不是为全天佩戴而设计的，因为它们的存在阻止了外部噪声进入耳朵。因此，用户需要移除设备以听到对话、安全地穿过街道等。此外，经历听力损失的那些人的耳戴式设备经常未能准确地再现环境提示，因此使得其对于佩戴者而言难以定位再现的声音。
技术实现要素：
5.提供本发明内容是为了以简化的形式介绍在以下具体实施方式中进一步描述的概念选择。本发明内容不旨在标识所要求保护的主题的关键特征，也不旨在用作确定所要求保护的主题范围的帮助。
6.在一些实施例中，提供了一种耳戴式声音再现系统。该系统包括外壳、多个麦克风、驱动器元件和声音处理设备。外壳具有指向内的部分和指向外的部分。多个麦克风安装在外壳的指向外的部分上。外壳被成形为将多个麦克风至少部分地定位在耳朵的耳廓内。驱动器元件安装在外壳的指向内的部分上。声音处理设备包括逻辑，该逻辑响应于执行，使得耳戴式声音再现系统执行包括以下各项的操作：接收信号集合，该信号集合中的每个信号是从所述多个麦克风中的麦克风接收的；对于该信号集合中的每个信号，使用与从其接收信号的麦克风相关联的滤波器来处理信号，以生成分离的滤波信号；将分离的滤波信号组合以创建组合信号；以及将组合信号提供给驱动器元件用于发射。
7.在一些实施例中，提供了一种优化多个耳戴式麦克风的输出的计算机实现的方法。由插入耳朵的设备的多个麦克风从多个声源接收输入信号。对于所述多个麦克风中的每个麦克风，使用分离的滤波器处理麦克风接收的输入信号，以创建分离的处理信号。将分离的处理信号组合以创建组合的输出信号。将组合的输出信号与参考信号进行比较。调整分离的滤波器以使组合的输出信号和参考信号之间的差异最小化。经调整的滤波器被存储以供设备的控制器使用。
附图说明
8.通过对当结合附图考虑时的下面的详细描述进行参考，本发明的前述方面和许多伴随的优点将变得更容易领会，同样变得更好理解，其中：图1是示出根据本公开的各个方面的设备的非限制性示例实施例的局部剖视图的示意图；图2是指示耳廓解剖结构的各个元素的卡通图，以供参考；图3是图示根据本公开的各个方面的声音再现系统的非限制性示例实施例的框图；图4a-4d是图示根据本公开的各个方面的用于发现和使用滤波器来补偿耳戴式麦克风阵列中的部分头部相关传递函数的方法的非限制性示例实施例的流程图；图5a图示了根据本公开的各个方面的实验设置的非限制性示例实施例；和图5b图示了位于图5a中图示的耳朵模拟器内的设备的非限制性示例实施例。
具体实施方式
9.在本公开的一些实施例中，提供了一种耳戴式声音再现系统。该系统包括可安装在耳朵上的外壳，该可安装在耳朵上的外壳位于耳朵的耳廓内并封闭耳道。在一些实施例中，可安装在耳朵上的外壳包括多个面向外部的麦克风。因为面向外部的麦克风可以位于耳朵的耳廓内但在耳道外部，所以麦克风将经历耳廓的一些但不是全部三维声学效果。所期望的是，由外壳的面向内部的驱动器元件再现的声音保持三维定位提示，该三维定位提示在没有外壳的情况下将出现在耳膜处，使得外壳对于用户基本上是透明的。
10.图1是示出根据本公开的各个方面的设备的非限制性示例实施例的局部剖视图的示意图。如附图中所见，可安装在耳朵上的外壳304被插入耳朵的耳道103内。外壳的指向外的部分包括多个麦克风310。尽管在图1中图示为设置在单个平面中，但是在一些实施例中，多个麦克风310可以以半球形或不是单个平面的其他布置设置在外壳的指向外的部分上。外壳的指向内的部分封闭耳道103，并且至少包括驱动器元件312。图示的实施例还包括可选的入耳式麦克风314。驱动器元件312被配置为生成将被耳膜112接收的声音。
11.如所示，插入可安装在耳朵上的外壳304，使得多个麦克风310至少部分地位于耳朵的耳廓102内。例如，可安装在耳朵上的外壳304的指向外的部分可以定位在耳道103的外部，但是在外耳的内部，在耳屏/对耳屏的后面，或者以其他方式在耳廓的一部分解剖结构内。图2是指示耳廓解剖结构的各个元素的卡通图，以供参考。因为麦克风310至少部分地在耳廓102内，所以麦克风310将经历由耳廓102赋予的一些三维声学效果。这不像一套具有外部安装的麦克风阵列的耳挂式耳机，至少因为耳挂式耳机的扬声器在耳廓外部（麦克风也是如此），并且因此这样的耳机构成了闭合的系统，对于该闭合的系统，三维听觉提示可以在没有复杂处理的情况下容易地再现。相比之下，麦克风310接收由耳廓102赋予的一些但不是全部三维声学效果。因此，为了使得驱动器元件312准确地再现在没有外壳304的情况下将在耳膜112处接收到的三维声学效果，应当确定滤波器，使得来自麦克风310的信号可以被组合以准确地再现这样的效果。一旦确定了可以提供透明性的滤波器，也可以提供诸如波束成形的另外的功能性。
12.图3是图示根据本公开的各个方面的声音再现系统的非限制性示例实施例的框
图。在一些实施例中，声音再现系统302被配置为发现由可安装在耳朵上的外壳304的多个麦克风310接收的信号的滤波器，以便实现一个或多个声音再现目标。在一些实施例中，声音再现系统302被配置为使用这样的滤波器，以便使用驱动器元件312再现由麦克风310接收的声音。如图示的，声音再现系统302包括可安装在耳朵上的外壳304、数字信号处理器（dsp）设备306和声音处理设备308。在一些实施例中，可安装在耳朵上的外壳304、dsp设备306和声音处理设备308可以使用任何合适的通信技术彼此通信地连接，所述任何合适的通信技术包括但不限于：包括但不限于以太网、usb、thunderbolt、firewire和模拟音频连接器的有线技术，以及包括但不限于wi-fi和蓝牙的无线技术。
13.在一些实施例中，可安装在耳朵上的外壳304包括多个麦克风310、驱动器元件312和可选的入耳式麦克风314。可安装在耳朵上的外壳304包括指向内的部分和指向外的部分。指向外的部分和指向内的部分一起包围一个容积，在该容积中可以提供其他部件，所述其他部件包括但不限于电池、通信接口和处理器中的至少一个。
14.在一些实施例中，指向内的部分被成形为配合在用户的耳道内，并且可以利用摩擦配合保持在耳道内。在一些实施例中，指向内的部分可以定制形成为特定用户的耳道的特定形状。在一些实施例中，指向内的部分可以完全封闭耳道。驱动器元件312和可选的入耳式麦克风314可以安装在指向内的部分的远端。
15.在一些实施例中，指向外的部分可以包括在其上安装麦克风310的表面。在一些实施例中，指向外的部分可以具有圆形形状，其中麦克风310通过该圆形形状分布。在一些实施例中，指向外的部分可以具有定制形成以符合用户耳廓的解剖结构的形状。在一些实施例中，指向外的部分可以包括平坦表面，使得麦克风310设置在单个平面中。在一些实施例中，指向外的部分可以包括在其上设置麦克风310的半球形结构或一些其他形状，使得麦克风310不设置在单个平面中。在一些实施例中，当可安装在耳朵上的外壳304定位在耳朵内时，麦克风310位于的平面与头部前方成角度。
16.在一些实施例中，多个麦克风310中的麦克风可以是具有合适形状因子的任何类型的麦克风，包括但不限于mems麦克风。在一些实施例中，驱动器元件312可以是能够生成全范围可听频率（例如，从大约50hz到大约20 khz）的任何类型的高清扬声器。在一些实施例中，入耳式麦克风314也可以是具有合适形状因子的任何类型的麦克风，包括但不限于mems麦克风。入耳式麦克风314可以是可选的，因为在一些实施例中，仅分离的麦克风可以用于测量驱动器元件312的性能。
17.如上所述，声音再现系统302还包括dsp设备306。在一些实施例中，dsp设备306被配置为接收来自麦克风310的模拟信号，并将它们转换成将由声音处理设备308处理的数字信号。在一些实施例中，dsp设备306还可以被配置为从声音处理设备308接收数字信号，将数字信号转换成模拟信号，并将模拟信号提供给驱动器元件312用于再现。适合用作dsp设备306的设备的一个非限制性示例是由analog devices公司提供的adau1467z sigmadsp
®
处理器。
18.如所示的，声音处理设备308包括信号记录引擎316、滤波器确定引擎318、信号再现引擎320、记录数据存储322和滤波器数据存储324。在一些实施例中，信号记录引擎316被配置为从dsp设备306接收数字信号，并将接收到的信号存储在记录数据存储322中。信号记录引擎316还可以存储与接收到的信号相关联的特定麦克风310和/或声源的指示。在一些
实施例中，滤波器确定引擎318被配置为确定可以应用于从麦克风310接收的信号的滤波器，使得经处理的信号可以被组合以生成组合信号，该组合信号尽可能接近于匹配在没有可安装在耳朵上的外壳304的情况下在耳膜处接收的信号。滤波器确定引擎318可以被配置为将所确定的滤波器存储在滤波器数据存储324中。在一些实施例中，信号再现引擎320被配置为将滤波器应用于从dsp设备306接收的信号，并将组合的经处理信号提供给dsp设备306以由驱动器元件312再现。
19.一般而言，如本文使用的术语“引擎”指代在硬件或软件指令中体现的逻辑，其可以用编程语言编写，所述编程语言诸如是c、c 、cobol、java
™
、php、perl、html、css、javascript、vbscript、aspx、诸如c#的microsoft .net
™
语言、诸如matlab的专用语言和/或诸如此类。引擎可以被编译成可执行程序或者用解释编程语言编写。引擎可以从其他引擎或从它们自身可调用。通常，本文描述的引擎指代可以与其他引擎或应用合并或者可以被划分成子引擎的逻辑模块。引擎可以存储在任何类型的计算机可读介质或计算机存储设备中，并且存储在一个或多个通用计算机上并由一个或多个通用计算机执行，从而创建被配置为提供引擎的专用计算机。因此，本文图示的设备和系统包括被配置为提供所图示引擎的一个或多个计算设备。
20.一般而言，如本文描述的“数据存储”可以由被配置为存储供计算设备访问的数据的任何合适的设备来提供。数据存储的一个示例是在一个或多个计算设备上执行并且可本地或通过高速网络访问的高度可靠的高速关系数据库管理系统（rdbms）。然而，可以使用能够响应于查询快速和可靠地提供所存储的数据的任何其他合适的存储技术和/或设备，诸如键值存储、对象数据库和/或诸如此类。提供数据存储的计算设备可以是可本地（而不是通过网络）访问的，或者可以作为基于云的服务来提供。数据存储还可以包括以有组织的方式存储在计算机可读存储介质上的数据，如下面进一步描述的。数据存储的另一个示例是文件系统或数据库管理系统，其将数据存储在诸如闪存、随机存取存储器（ram）、硬盘驱动器和/或诸如此类的计算机可读介质上的文件（或记录）中。在不脱离本公开的范围的情况下，本文描述的分离的数据存储可以被组合成单个数据存储，和/或本文描述的单个数据存储可以被分离成多个数据存储。
21.如图示的，声音再现系统302包括用于可安装在耳朵上的外壳304、dsp设备306和声音处理设备308的单独设备。在一些实施例中，被描述为由声音处理设备308提供的功能性可以由一个或多个专用集成电路（asic）、现场可编程门阵列（fpga）或具有用于实现逻辑的电路的任何其他类型的硬件来提供。在一些实施例中，被描述为由声音处理设备308提供的功能性可以由存储在计算机可读介质内的指令来体现，并且可以使得声音再现系统302响应于执行指令来执行该功能性。在一些实施例中，声音处理设备308的功能性可以由motu声卡和计算设备来提供，所述计算设备诸如是运行数字音频工作站（daw）软件的膝上型计算设备、台式计算设备、服务器计算设备或云计算设备，所述数字音频工作站（daw）软件诸如是pro tools、studio one、cubase或motu digital performer。可以用虚拟工作室技术（vst）插件来增强daw软件，以提供引擎功能性。由引擎进行的另外的数值分析可以在诸如matlab的数学分析软件中执行。在一些实施例中，dsp设备306的功能性也可以由声音处理设备308执行的软件来提供，所述软件诸如是由cycling '74提供的max msp或pure data（纯数据）（pd）。
22.在一些实施例中，dsp设备306的功能性可以并入可安装在耳朵上的外壳304或声音处理设备308中。在一些实施例中，全部的功能性可以位于可安装在耳朵上的外壳304内。在一些实施例中，被描述为由声音处理设备308提供的一些功能性可以取而代之在可安装在耳朵上的外壳304内提供。例如，分离的声音处理设备308可以提供信号记录引擎316、滤波器确定引擎318和记录数据存储312，以便确定将使用的滤波器，而滤波器数据存储324和信号再现引擎320的功能性可以由可安装在耳朵上的外壳304提供。
23.图4a-4d是图示根据本公开的各个方面的用于发现和使用滤波器来补偿耳戴式麦克风阵列中的部分头部相关传递函数的方法的非限制性示例实施例的流程图。在高水平上，方法400为由多个声源生成的信号确定耳朵模拟器503内的目标信号。然后，可安装在耳朵上的外壳304被放置在耳朵模拟器503内，并且信号被每个麦克风310记录。声音处理设备308然后确定使麦克风310记录的信号和参考信号之间的差异最小化的滤波器。使用驱动器元件312，所确定的滤波器可以用于生成信号。
24.在一些实施例中，方法400的目标是能够将来自多个麦克风310的m个麦克风的信号组合，使得组合信号的频率响应尽可能接近地匹配给定的目标信号。表达式表示对于在频率f、在位置处的声源在麦克风的复值频率响应，并且表达式表示对于声源k的目标频率响应。该组合包括对麦克风信号进行滤波并将滤波器输出相加在一起。滤波和组合过程的总体输出的频率响应可以写成如下：其中是正在设计的第m个滤波器的频率响应，是具有第m个元素的m元素列向量，t意指矩阵转置，并且是具有第m个元素的m元素列向量。本文公开的设计方法搜索滤波器，使得给定一些匹配标准，匹配。滤波和组合过程可以在频域中进行，或者通过将个滤波器转换成m个时域滤波器集合，或者在时域中使用类似的设计技术。通过最小化多个声源的组合信号中的误差，可以确定为设备304提供最大性能的滤波器，而不管传入声音的方向如何。如下面进一步讨论的，也可以使用使用其他优化的类似技术（诸如波束成形或以其他方式使一些方向优先于其他方向）。
25.在框402（图4a），耳朵模拟器503位于具有多个声源的房间中，并且在框404，参考麦克风位于耳朵模拟器503的耳道内。取代活体主体对耳朵模拟器的使用允许耳朵模拟器被准确地和可重复地位于测试环境内，并且允许进行精确的声学测量，尽管在一些实施例中，活体主体可以与入耳式麦克风一起使用。图5a图示了根据本公开的各个方面的实验设置的非限制性示例实施例。如所示的，提供了包括耳朵模拟器503的人造头部502。在一些实施例中，耳朵模拟器503被成形为近似现实耳朵的解剖结构，并且可以由具有与现实耳朵的人类皮肤、软骨和其他组分类似的声学特性的材料来创建。人造头部502和耳朵模拟器503包括耳道103。参考麦克风512位于耳道103内并接近耳膜112的位置。在一些实施例中，参考
麦克风512可以是与可安装在耳朵上的外壳304的麦克风310类似的设备，并且可以以类似的方式通信地耦合到dsp设备306。在一些实施例中，参考麦克风512可以是更简单的设备，诸如dayton audio umm-6 usb麦克风。在一些实施例中，参考麦克风512可以在与耳膜112位置具有已知固定关系的位置上，所述位置诸如在耳道入口处，或者在头部中心的位置但是头部不存在。在一些实施例中，参考麦克风512可以被调谐以呈现与平均鼓膜匹配的空气耦合参数。
26.图5a还图示了多个声源中的第一声源504和第二声源506。每个声源可以是诸如sony srsx5便携式扬声器的扬声器，所述扬声器通信地耦合到被配置为生成测试信号的计算设备。在一些实施例中，多个声源可以包括设置在人造头部502周围的十六个或更多个声源。在一些实施例中，多个声源可以处于相对于人造头部502的多个水平和竖直位置。尽管为了简单起见未图示，但是在一些实施例中，人造头部502可以包括第二耳朵模拟器和参考麦克风。在一些实施例中，人造头部502还可以包括人造躯干、头发、衣服、附件和/或可以有助于头部相关传递函数的其他元素。在一些实施例中，人造头部502和多个声源可以位于消声室内，以便进一步减少来自环境因素的干扰。在一些实施例中，取代具有多个设备来提供多个声源504、506，可以使用用于在实验之间准确地复制多个位置的机器人臂或另一技术将单个设备移动到多个位置来提供多个声源504、506。
27.尽管图5a图示了人造头部502和耳朵模拟器503，但是在一些实施例中，收集测量可以包括人类主体。对于这样的实施例，入耳式麦克风可以位于主体的现实耳朵内靠近鼓膜。可以向主体提供头靠（headrest）或类似设备，以帮助主体在测试期间保持静止并且在一致的位置上。
28.回到图4a，在for循环开始框406和for循环结束框414之间定义了for循环，并且对于设置在耳朵模拟器503周围的多个声源中的每个声源执行for循环。方法400从for循环开始框406前进到框408，其中声源生成测试信号。测试信号的一些非限制性示例可以包括正弦扫描、语音、音乐和/或其组合。在框410，参考麦克风512接收如受耳朵模拟器503影响的测试信号，并将接收到的信号传输到声音处理设备308。在一些实施例中，参考麦克风512向dsp设备306提供接收到的信号，dsp设备306然后向声音处理设备308提供接收到的信号的数字形式。在一些实施例中，模数转换器可以存在于参考麦克风512中，并且数字音频信号可以由参考麦克风512提供给声音处理设备308。
29.在框412，声音处理设备308的信号记录引擎316将接收到的信号存储在记录数据存储322中，作为声源的目标信号。如果剩下另外的声源将被处理，则方法400从for循环结束框414前进到for循环开始框406，以处理下一个声源。否则，如果已经处理了全部声源，则方法400从for循环结束框414前进到继续终端（“终端a”）。在一些实施例中，多个声源中的每个声源被单独处理，使得从每个声源获得的读数不彼此干扰。
30.在框416（图4b），具有多个麦克风310的设备304位于耳朵模拟器503内。术语设备304在本文与术语可安装在耳朵上的外壳304可互换使用。图5b图示了设备304的非限制性示例实施例，该设备304位于图5a中图示并在上面讨论的耳朵模拟器503内。多个声源504、506的布局保持与上面图示和讨论的相同，关于人造头部502、耳朵模拟器503和参考麦克风512的设置的其他一切也是如此。如所示的，来自声源504、506中的每一个的信号将由每个麦克风310在稍微不同的时间和从稍微不同的角度接收。信号也可能被部分地阻挡而不直
接到达麦克风310，或者以其他方式受到人造头部502的一部分或者人造头部502安装到的人造躯干声学影响，特别是对于位于人造头部502后面或位于人造头部502的与耳朵模拟器503相对的一侧的声源。尽管为了清楚起见，设备304在图5b中被图示为延伸到耳朵模拟器503外部，但是在实际的实施例中，设备304将部分地在耳朵模拟器503内，使得每个麦克风310接收的信号也受到耳朵模拟器503的声学特性影响。
31.回到图4b，在for循环开始框418和for循环结束框430之间定义for循环，并且对设置在耳朵模拟器503周围的多个声源中的每个声源执行for循环。针对其执行for循环418-430的多个声源中的声源与针对其执行了for循环406-414的声源相同，尽管处理声源的次序可以改变。方法400从for循环开始框418前进到在for循环开始框420和for循环结束框428之间定义的for循环，对于设备104的每个麦克风310执行该for循环。实际上，嵌套的for循环使得针对声源和麦克风的每个组合执行框422-426。
32.方法400从for循环开始框420前进到框422，其中声源生成测试信号。该测试信号与在框408生成的测试信号相同。在框424，麦克风310接收如受耳朵模拟器503的至少一部分影响的测试信号，并将接收到的信号传输到声音处理设备308。在一些实施例中，将接收到的信号传输到声音处理设备308包括将模拟信号从麦克风310传输到dsp设备306，将模拟信号转换成数字信号，并将数字信号从dsp设备306传输到声音处理设备308。在框426，信号记录引擎316将麦克风310和声源的接收信号存储在记录数据存储322中。
33.如果对于声源剩下另外的麦克风310将被处理，则方法400从for循环结束框428前进到for循环开始框420，以处理下一个麦克风310。否则，如果已经处理了全部麦克风310，则方法400前进到for循环结束框430。如果剩下另外的声源将被处理，则方法400从for循环结束框430前进到for循环开始框418，以处理下一个声源。否则，如果已经处理了全部声源，则方法400前进到继续终端（“终端b”）。
34.在图4c中，在for循环开始框432和for循环结束框444之间定义了for循环，并且针对设置在耳朵模拟器503周围的多个声源中的每个声源执行该for循环。方法400从for循环开始框432前进到for循环开始框434，其开始在for循环开始框434和for循环结束框438之间定义的另一个for循环。针对多个麦克风中的每个麦克风310执行一次在for循环开始框434和for循环结束框438之间定义的for循环。本质上，这些嵌套的for循环使得由麦克风310接收的针对每个声源的每个信号将被处理。
35.方法400从for循环开始框434前进到框436，其中声音处理设备308的信号再现引擎320使用麦克风310的分离滤波器来处理存储的接收信号，以创建分离的处理信号。在一些实施例中，分离滤波器是将应用于来自多个麦克风中的特定麦克风310的信号的滤波器。在一些实施例中，用于特定麦克风310的第一遍通过框436的分离滤波器可以是默认滤波器，如下面讨论的，该默认滤波器稍后被调整。
36.如果剩下另外的麦克风310将被处理，则方法400从for循环结束框438前进到for循环开始框434，以处理存储的下一个麦克风310的接收信号。否则，如果已经处理了全部麦克风310的存储的接收信号，则方法400从for循环结束框438前进到框440。在框440，信号再现引擎320将分离处理的信号组合，以创建声源的组合的输出信号。在框442，信号再现引擎320将声源的组合的输出信号存储在记录数据存储322中。
37.方法400然后前进到for循环结束框444。如果剩下另外的声源将被处理，则方法
400从for循环结束框444前进到for循环开始框432，以处理下一个声源。否则，如果已经处理了全部声源，则方法400从for循环结束框444前进到继续终端（“终端c”）。
38.在框446（图4d），声音处理设备308的滤波器确定引擎318将组合的输出信号与目标信号进行比较。在一些实施例中，该比较确定了在各位置之上求和的信号之间的平方差，如在以下方程中指示的：这也可以使用向量记号表达为：其中是具有第k个元素的k元素列向量，并且是具有行的矩阵，并且是其复共轭转置。
39.在判定框448，做出关于现有滤波器的性能是否足够的确定。如果确定了现有滤波器的性能不足够，则判定框448的结果为否。在框450，滤波器确定引擎318调整分离的滤波器以使组合的输出信号和目标信号之间的差异最小化，并且然后返回到终端b以使用新调整的滤波器处理存储的接收信号。
40.图示的迭代方法可以包括用于使组合误差最小化的各个优化技术。在一些实施例中，该方法可以能够直接计算理想滤波器，而无需循环回去重新测试滤波器。在一些实施例中，为了找到使上述平方差误差标准最小化的，可以相对于取梯度并将梯度设置为等于零，这产生：并且最后，其中并且。
41.在一些实施例中，可以使用针对上述平方误差的变体。例如，在一些实施例中，对角矩阵q可以用于向一些源位置给予比其他源位置大的重要性，以便确保来自那些源位置的信号在处理信号的组合中被最准确地再现。对于对角线的第k个元素上的标量值，所得到的滤波器将对具有较大值的位置k比具有较小值的其他位置更敏感。对于这样的实施例，标准变成：从而产生：其中并且。
42.在一些实施例中，该标准可以使用如上面讨论的平方差，服从于约束滤波器对于某些声源位置采用某些值。设是矩阵，它的n列是对应于约束位置的向量。设是n元素的列向量，其具有将被采用的值。然后，这些附加的约束可以写成。使用
拉格朗日乘数法，所得到的向量将是：。
43.使用凸优化理论可以满足其他标准。例如，在一些实施例中，可以使用凸优化来找到如上所述使平方差最小化同时将最大平方差限制为小于或等于某个预定阈值的滤波器。
44.回到判定框448，如果确定了现有滤波器的性能足够，则判定框448的结果为是。在框452，滤波器确定引擎318将经调整的分离滤波器存储在声音处理设备308的滤波器数据存储324中。
45.在一些实施例中，信号再现引擎320然后可以使用经调整的分离滤波器来生成将由驱动器元件312再现的信号。例如，麦克风310可以从声源接收现场信号。每个麦克风310将其接收的现场信号版本提供给信号再现引擎320（经由dsp设备306）。信号再现引擎320利用针对麦克风310的经调整的分离滤波器来处理所接收的现场信号，将经处理的现场信号组合，并将组合的经处理的现场信号提供给驱动器元件312（经由dsp设备306）以供再现。
46.上述标准基于在单个设备304处测量的频率响应。在一些实施例中，可以使用两个设备（例如，听者的每个耳朵中一个）。在这样的实施例中，另一个有用的标准将与保持双耳处的目标响应的比率相关。利用左设备和右设备以及分别应用于每个阵列输出的滤波器的相同集合，在给定位置k的基于比率的标准将是：其中，下标l和r分别意指左和右，并且和是源位置k的目标响应。这可以被重新布置以产生：。
47.应该避免平凡解。用于避免平凡解的一个技术是约束滤波器，使得它们对于给定的位置产生特定的结果。不失一般性，人们可以指定，当k = 0时，正好满足先前的方程。为了服从于在k = 0处完全满足以上方程而在全部位置k之上最小化以上方程左手边的平方和，平方和可以写成如下：并简化为：其中：并且：。
48.简而言之，我们希望最小化：
服从于：并且：。
49.该公式与线性约束最小方差波束成形器的公式相同，其具有解：其中：。
50.图4a-4d图示了被连续执行的框。在一些实施例中，方法400可以包括以与图示不同的次序执行或者多次而不是仅一次执行的一些框。在一些实施例中，方法400的部分可以并行进行。例如，在框432-444，多个计算线程或进程可以用于并行而不是串行地处理多个麦克风310和/或声源的存储的接收信号。
51.此外，目标响应可以是如用图4a的方法测量的原始响应，或者这些目标响应的空间平滑版本，或者从用户人体测量的知识中导出的响应。在一些实施例中，麦克风组合设计过程可以不直接使用目标响应，而是取而代之基于目标响应集合或其他数据使用“空间听觉”的感知模型。在一些实施例中，麦克风信号组合过程可以经由神经网络而不是线性滤波器来实例化。
52.在一些实施例中，可以确定多个滤波器集合，并且可以为运行时的给定条件选择“最佳”滤波器。例如，在一些实施例中，可以针对再现语音中的最优性能来确定第一滤波器，可以针对再现音乐中的最优性能来确定第二滤波器，可以针对噪声环境中的最优性能来确定第三滤波器，并且可以针对预定方向上的最优性能来确定第四滤波器。在运行时，滤波器可以由用户选择，或者可以基于检测到的环境条件自动执行。在一些实施例中，通过随时间使系数变形，或者通过随时间平滑地将使用第一滤波器生成的音频混合到使用第二滤波器生成的音频，可以平滑地执行在运行时的滤波器之间的切换。
53.虽然已经图示和描述了说明性实施例，但是将领会，可以在不脱离本发明的精神和范围的情况下对其进行各种改变。
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
