针对机器感知预调节音频的制作方法

针对机器感知预调节音频
1.相关申请的交叉引用
2.本技术要求2019年8月30日提交的欧洲专利申请no.19194685.4和2019年8月30日提交的美国临时专利申请no.62/893,972的优先权，其通过引用合并于此。
技术领域
3.本公开涉及音频处理，尤其涉及音频的机器感知。


背景技术：

4.除非本文另有说明，否则本节中描述的方法不是本技术中的权利要求的现有技术，并且不因为包含在本节中而被承认为现有技术。
5.音频处理的一个重要用途是以改善(或者至少以人类收听者可接受的方式影响)人类感知的方式处理音频。例如，回声的存在会极大地分散人的注意力，因此音频处理系统可以包括激进的回声消除，以改善音频处理系统的(感知)性能。该性能改善可以定性地(例如，通过收听者调查)、定量地(例如，通过各种感知度量)测量，等等。
6.人类并不是音频通信的唯一目标听众。机器也可以感知音频。音频的机器感知通常可以被称为自动语音识别(asr)。asr包括诸如唤醒词检测、语音到文本处理、语音识别、说话者识别、情感识别、语言识别等活动。


技术实现要素：

7.虽然人类感知和机器感知相似，但人类感知和机器感知之间有许多差异。如下面详细阐述的，这些差异导致用于机器感知的音频处理参数不同于用于人类感知的音频处理参数。事实上，这些不同的参数往往会导致根据人类感知，处理后的音频变差，而机器感知的性能却得到改进。
8.本文描述的实施例涉及针对机器感知预调节音频。
9.根据实施例，一种方法针对机器感知处理音频。该方法包括接收音频信号，其中音频信号对应于已经由设备捕获的音频。该方法还包括根据机器感知参数对音频信号进行预调节，以生成经预调节的音频信号，其中机器感知参数与人类感知参数不同。该方法还包括对经预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。
10.人类感知参数可以对应于具有100至200ms的收敛性(convergence)的第一回声消除参数，并且机器感知参数可以对应于具有小于50ms的收敛性的第二回声消除参数。人类感知参数可以对应于比语音水平低不止20db的第一噪声抑制目标，并且机器感知参数可以对应于比语音水平低10至15db的第二噪声抑制目标。人类感知参数可以对应于舒适噪声，并且机器感知参数可以对应于比舒适噪声大20至25db的掩蔽噪声。
11.根据一个方面，提出了一种针对机器感知处理音频的方法。该方法可以包括接收音频信号，其中音频信号对应于已经由设备捕获的音频。该方法可以包括通过将噪声添加到音频信号来对音频信号进行预调节，以生成经预调节的音频信号。该方法可以包括对经
预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。
12.所添加的噪声可以具有粉色或白色噪声的特性。在本文档内，所添加的噪声还可以被表示为掩蔽噪声。在围绕语音的存在性和检测没有任何检测或选通(gating)的情况下，该掩蔽噪声可以被连续地添加到语音。掩蔽噪声可以具有粉红色或(谱形)白噪声的特性，其频谱形状与hoth噪声的轮廓相似，只是比hoth噪声高10db以上的水平。收听测试中的这种噪声水平可以被认为是侵入性的、人为的，对人类收听体验来说总体上是降级。然而，录音中可能存在的其他较低水平噪声的添加和模糊，或者可能由噪声抑制引起的伪影，可能对自动语音识别的性能具有净积极影响。
13.与音频信号的噪声场的均匀性(uniformity)相比，经预调节的音频信号的噪声场的均匀性可以增加。以此方式，所添加的噪声可以向经预调节的音频信号添加歧义性。
14.根据另一方面，提出了一种针对人类感知和针对机器感知处理音频的方法。该方法可以包括接收音频信号，其中音频信号对应于已经由设备捕获的音频。该方法可以包括通过减少回声残余，针对人类感知对音频信号进行预处理，以生成经预处理的音频信号。该方法可以包括通过减少回声残余，针对机器感知对音频信号进行预调节，以生成经预调节的音频信号。经预调节的音频信号的回声残余量高于经预处理的音频信号的回声残余量。该方法可以包括对经预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。换言之，当生成针对机器感知的经预调节的音频信号时，降低了回声减少的程度。
15.在该方法中，针对人类感知对音频信号进行预处理可以包括根据第一回声消除参数进行预处理。此外，针对机器感知对音频信号进行预调节可以包括根据第二回声消除参数对音频信号进行预处理。第二回声消除参数可以具有比第一回声消除参数的收敛性更小的收敛性。更具体地，第一回声消除参数可以具有100至200ms的收敛性，并且第二回声消除参数可以具有小于50ms的收敛性。例如，第一回声消除参数可以对应于小于-60db的第一回声量，并且第二回声消除参数可以对应于-40至-20db的第二回声量。
16.根据另一实施例，一种非瞬态计算机可读介质存储计算机程序，所述计算机程序在由处理器执行时控制装置执行包括一个或多个上述方法的处理。
17.根据另一实施例，一种装置针对机器感知处理音频。该装置包括处理器以及存储器。处理器被配置为控制所述装置接收音频信号，其中音频信号对应于已经由设备捕获的音频。处理器被配置为控制所述装置根据机器感知参数对音频信号进行预调节，以生成经预调节的音频信号，其中机器感知参数与人类感知参数不同。处理器被配置为控制所述装置对经预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。
18.该装置可以包括与本文关于方法讨论的细节类似的细节。
19.下面的详细描述和附图提供了对各种实现方式的性质和优点的进一步理解。
20.根据又一个方面，描述了一种用于针对机器感知处理音频的装置。该装置可以包括处理器以及存储器。处理器可以被配置为控制所述装置接收音频信号，其中音频信号对应于已经由设备捕获的音频。处理器可以被配置为控制所述装置通过将噪声添加到音频信号来对音频信号进行预调节，以生成经预调节的音频信号。处理器可以被配置为控制所述装置对经预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。
21.所述添加的噪声可以具有粉色或白色噪声的特性。与音频信号的噪声场的均匀性相比，经预调节的音频信号的噪声场的均匀性可以增加。
22.根据另一方面，提出了一种用于针对人类感知和针对机器感知处理音频的装置。同样，该装置可以包括处理器和存储器。处理器可以被配置为控制所述装置接收音频信号，其中音频信号对应于已经由设备捕获的音频。处理器可以被配置为控制所述装置通过减少回声残余，针对人类感知对音频信号进行预处理，以生成经预处理的音频信号。处理器可以被配置为控制所述装置通过减少回声残余，针对机器感知对音频信号进行预调节，以生成经预调节的音频信号，其中经预调节的音频信号的回声残余量高于经预处理的音频信号的回声残余量。处理器可以被配置为控制所述装置对经预调节的音频信号执行机器感知，包括自动语音识别，以生成机器感知输出。
23.处理器可以被配置为控制所述装置通过根据第一回声消除参数进行预处理来针对人类感知对音频信号进行预处理。处理器可以被配置为控制所述装置通过根据第二回声消除参数进行预调节来针对机器感知对音频信号进行预调节。第二回声消除参数可以具有比第一回声消除参数的收敛性更小的收敛性。第一回声消除参数可以具有100至200ms的收敛性，并且第二回声消除参数可以具有小于50ms的收敛性。此处，第一回声消除参数可以对应于小于-60db的第一回声量，并且第二回声消除参数可以对应于-40至-20db的第二回声量。
附图说明
24.图1是音频处理系统100的框图。
25.图2是音频处理系统200的框图。
26.图3是音频处理系统300的框图。
27.图4是预调节器400的框图。
28.图5是针对机器感知预调节音频的方法500的流程图。
29.图6是音频处理系统600的框图。
30.图7是预调节器700的框图。
具体实施方式
31.本文描述了针对机器感知预调节音频的技术。在下面的描述中，出于解释的目的，阐述了许多示例和具体细节以提供对本公开的透彻理解。然而，对于本领域技术人员来说显而易见的是，由权利要求定义的本公开可以单独包括这些示例中的一些或全部特征，或者与下面描述的其他特征组合，并且还可以包括在此描述的特征和概念的修改和等同。
32.在下面的描述中，详细介绍了各种方法、过程和程序。虽然具体步骤可能会以某种顺序描述，但这样的顺序主要是为了方便和清楚。特定步骤可以重复不止一次，可以在其他步骤之前或之后发生(即使这些步骤以其他顺序另外描述)，并且可以与其他步骤并行发生。只有当第一步必须在第二步开始之前完成时，才需要在第一步之后执行第二步。这种情况在上下文中没有清楚指示的情况下会被特别指出。
33.在本文档中，使用术语“和”、“或”和“和/或”。这些术语应被理解为具有包含性含义。例如，“a和b”至少可以指以下内容：“a和b两者”，“至少a和b两者”。作为另一示例，“a或b”可以至少指以下内容：“至少a”、“至少b”、“a和b两者”、“至少a和b两者”。作为另一示例，“a和/或b”可以至少指以下内容：“a和b”、“a或b”。当意图是排他性的或时，会特别注明(例
如，“要么a要么b”，“a和b中的最多一个”)。
34.概述
35.如下面将更详细讨论的，许多现有的音频处理系统被调谐为使人类收听者听起来愉快(例如，在传输之前对音频进行预处理等)。用于人类感知的这种处理参数的示例包括减少回声残余和降低背景噪声。与用于人类感知的这些处理参数相比，本文讨论的实施例涉及改善机器感知系统(例如，基于机器学习算法的自动语音分析系统等)的性能的技术。
36.允许更多的回声泄漏和背景噪声对这种机器感知系统的性能是有利的，尽管这可能会让人类听众听起来不愉快。在通信系统中去除背景噪声被认为有利于人类感知，但是去除背景噪声可能导致语音信号中缺少音节，从而在推断内容时误导机器学习算法，并且进一步恶化自动语音分析系统的性能。
37.一般而言，本文描述的技术提供了一种多层方法(称为“预调节”)，以在存在回声和噪声的情况下改善自动语音分析系统的处理参数。与为人类感知设计的系统相比，这种多层处理框架允许更多的回声残余和背景噪声，并添加掩蔽噪声，从而使捕获的信号对于机器感知系统是可理解和可预测的。
38.音频的人类感知
39.为人类通信而设计的音频处理系统一般包括从麦克风(通常存在噪声，噪声可能来自房间或来自包含麦克风的实际设备)获取信号并将其转换为另一个人收听可以接受的干净语音的组件。这种音频处理组件一般可以被称为“预处理”组件。这些预处理组件包括回声消除、回声抑制、噪声抑制、噪声选通和自动增益控制(agc)的技术。
40.回声消除一般操作为去除包含麦克风的设备(例如，该设备包括扩音器，其输出也会被麦克风检测到)的输出。回声抑制一般操作为针对回声消除器无法完全消除回声进行补偿。噪声抑制一般操作于背景中的平稳噪声或非平稳噪声(例如，风扇、交通、打字噪声等)。当根本没有语音发生时(例如，如由语音活动检测器检测)，可以使用噪声选通来完全使信号静音。agc一般应用增益来将语音水平提高或降低到预定义的水平。
41.这些技术都不是数学上固定的；它们都有将针对特定的用例(通常是双工语音通信)来设置的可控参数。它们的配置方式将受到供应商和/或调谐器的偏好的影响。然而，一般而言，预处理系统被调谐为使得人类感知度量得到改进(或者至少不会受到不利影响至不可接受的程度)。例如，人们在谈话中体验到自己的回声会削弱信息的传达能力。预处理系统中的回声消除器和抑制器将被调谐为绝不允许语音通信系统的任何回声。在调谐过程中总是有取舍的，这种严格的无回声策略可能会以偶尔在系统对其包含回声的置信度较低时截断单词开头或衰减部分信号为代价。
42.作为另一示例，双工通信链路中的人可能会受到背景噪声的困扰。在通信呼叫中，多个人都在传输他们的背景噪声，这进一步影响了理解能力。噪声选通通常在预处理系统中实现，以在检测到没有语音时完全使音频静音，以便减轻背景噪声(并且还降低通信链路上的带宽需求)。
43.音频的机器感知
44.语音识别系统也受益于预处理以提高其性能。例如，通过从asr之前的信号中除去许多非语音声音，我们不需要在asr中包括多余的训练数据来有效地使其成为回声消除器或agc。我们会争辩说，执行这些功能的学习网络的成本以及收集大量训练数据来调谐网络
的成本大大超过了进行预处理的成本——关闭预处理不是一个选项。我们认为，一个被设计成有利于人到人通信的系统很可能在不经意间被调优，从而降低了人到机器系统的性能。
45.鉴于术语“预处理”普遍与双工人到人通信相关联，我们将使用术语“预调节”来指代已被设计用于语音检测或语音识别系统的前端的系统。预处理系统中的示例技术可以包括噪声注入、宽松回声消除和宽松回声抑制。
46.噪声注入一般在信号降至特定水平以下时添加噪声(要么宽带，要么在单个子频带内)。所添加的噪声向asr添加了歧义性。(这样的操作可能会与针对人类感知的预处理形成对比，在针对人类感知的预处理中，减少噪声而不是增加噪声。)此外，对于asr，让噪声完全消失代表了在其训练集中可能从不会发生的情况。
47.宽松回声消除和抑制是在预调节系统中实现的(与使用预处理进行人类感知的系统相比)。例如，asr可能根本不关心信号中存在偶尔出现的回声，但如果切断了单词的开头，则可能会遇到问题。这样的操作可以与针对人类感知的预处理形成对比，在针对人类感知的预处理中确保回声被除去是特别重要的(例如，在双工人对人通信系统中)。对于机器感知，预调节器允许更多回声，从而使得更多真实语音能够进入asr。
48.许多预调节系统组件可以被看作为了有利于asr的行为而利用不同的调谐策略来改换意图的预处理系统组件。此外，预调节系统可能不一定包含回声消除器——它可能存在于编解码器之后，纯粹是为了在将损坏的音频馈送到asr之前对其进行增强。
49.一般而言，“预调节”是指在asr之前应用信号处理以提高其性能。预调节可以从各种各样的源获取输入，包括传输的音频信号、数字存储的音频信号、麦克风音频信号、来自诸如盒式磁带的模拟存储介质的记录信号等。预调节系统也可以用作双工通信系统(例如，还包含预处理系统的系统)的组件。它可以接收以下信号中的一个或多个，诸如近端麦克风馈送、近端预处理麦克风馈送(即，已经针对人类感知进行了预处理的语音)、远端麦克风馈送、其他源等。
50.因此，预调节系统和预处理系统之间可以存在相似性。例如，从系统输出的本地麦克风和本地扬声器两者都可以被馈入作为输入。通常，回声消除器将使用这些来尝试从捕获的信号中移除局部谈话。
51.音频的人类感知与机器感知之间的差异
52.尽管在针对人类感知和机器感知这两者处理音频时可以使用类似的处理操作，但是对于所执行的处理操作的类型和在每个处理操作中使用的参数，都可能存在差异。以下是人类感知和机器感知之间的差异的示例。
53.人类感知会受到通信的认知负载的影响，而机器感知对于困难通信是可调节的。例如，嘈杂或断断续续的通信信道会让人类听者感到疲惫，但可以提高机器的处理能力来克服这个问题。人类感知受到听者情绪状态的影响，但机器感知的自我感知很少。人类感知很容易被通信以外的刺激分散注意力，但机器感知专注于正在分析的特定输入。人类感知是“有状态的”，并使用多年的经验为通信添加上下文，但机器感知可以具有有限状态(甚至是零状态)。
54.人类感知在很大程度上受到自我回声的影响，但机器感知很容易忽视自我回声。对于人类而言，大于50毫秒的回声必须衰减到60db的数量级，以便于正常通信。
55.人类感知涉及耦合的语音和收听系统，但是机器感知可以使用解耦的语音和收听系统来实现。对于人类而言，边说边听很难，但这对机器来说可能很容易。
56.人类感知一般基于单程确定含义，但机器感知可以通过使用多程评估信息来确定含义。例如，人类一般听到声音，并因此得出含义，但是机器可以存储声音的逐字副本并多次对其进行评估(例如，使用连续更多的计算密集型评估过程)。
57.针对机器感知的调整
58.考虑到人类感知和机器感知之间的上述差异，可以对针对机器感知的系统进行许多调整(与针对人类感知的系统中使用的那些相比)。如上所述，这些调整可以被称为“预调节”(以区别于针对人类感知的系统中使用的“预处理”)。下面将进一步详细介绍三种形式的预调节：噪声抑制、语音不活动检测和回声加扰。
59.噪声抑制
60.如上所述，人类感知受到噪声的负面影响比机器感知要大得多。为了解决这一噪声问题，针对人类感知的预处理包括显著的降噪。这可能会导致语音的前面被截断。(为了减少噪声而截断对于人类感知而言是可以接受的折中，因为人类将基于整体情况和上下文推断信息，以填充截断的声音。)
61.相比之下，机器对静默的反应不是很好，因为机器可能会试图在没有信息的情况下推断信息。(机器使用整体情况和上下文来推断缺失信息的能力要低得多。)为了解决这一问题，针对机器感知的预调节器会注入更高水平的噪声(比针对人类感知进行预处理时的目标噪声水平要高)。在预调节器确信不存在语音的情况下，注入噪声会给asr引入歧义性。这具有以下好处：系统允许噪声抑制组件将信号的更多垃圾比特添加到音频中(因为它将被噪声掩蔽)，以增加预调节器不会截断语音前端的变化。
62.总而言之，人类需要比背景噪声大得多的声音。机器不需要这样。
63.语音不活动检测
64.在针对人类感知的预处理器中，通常使用将增益应用于音频信号的低时延活动检测器来实现语音不活动检测。当活动检测器检测到语音活动时，增益接近1，并且音频信号经过系统的其他组件(例如，发射机等)。当活动检测器没有检测到语音活动时，在将修改后的音频信号提供给其他组件之前，增益迅速下降到0，以选通去除音频信号中的任何背景噪声。由于针对人类感知的大多数预处理是在通信系统中实现的，所以低时延是一个重要的考虑因素，使得语音被快速检测并允许通过，并且当语音停止时信号被选通消除以防止噪声拖尾。
65.相比之下，在针对机器感知的预调节器中，低时延不是典型的要求。预调节器中的活动检测器包括延迟和留存(holdover)组件，以添加一些前视、斜坡进入(ramp-in)和斜坡外出(ramp-out)，以减少进入asr的毛刺信号，这些毛刺信号可能被错误地标识为类瞬变音素(例如，“ti”、“ka”等)。因为活动检测器中的额外上下文，所以它可能更灵敏(与人类感知的情况相比)，以便减少截断语音前端的可能性。
66.回声加扰
67.针对人类感知的预处理器通常针对双工通信用例，并且包括回声消除器和回声抑制器。回声消除器被调谐为平滑适配传入的音频信号(例如，语音)，以防止虚假的背景噪声改变回声消除器的行为并在音频信号中引起奇怪的伪影。这种平滑适配导致对所有回声路
径的较慢适配，即使是作为消除目标的主要回声路径。由于系统非线性，回声消除器无法消除所有回声；回声消除器最多只能消除大约20db的自我回声。对于双工通信，一般需要消除60db的自我回声才能达到人类感知的可接受性能，因此预处理器使用回声抑制器来消除回声消除器之后剩余的多余回声。
68.相反，在针对机器感知的预调节器中，回声消除的执行速度可以比针对人类感知的预处理中使用的平滑适配快得多。这种更快的回声消除可能导致参考耦合和人工回声渗漏，这在机器感知中是可以接受的，但在人类感知中是不可接受的。此外，对于机器感知，与针对人类感知的预处理中使用的那些相比，可以使用更重的抑制增益平滑来执行回声抑制。这种更重的抑制增益平滑导致噪声频谱更白，这在机器感知中是可以接受的，但在人类感知中是不可接受的。
69.总之，针对机器感知的预调节器中的回声处理的这些修改可以被称为回声加扰(而不是回声消除或回声抑制)。
70.图1是音频处理系统100的框图。音频处理系统100包括处理器102、存储器104、麦克风106、扩音器108、一个或多个其他组件110和总线112。音频处理系统100可以包括(为简明起见)未示出的其他组件。音频处理系统100一般执行音频信号120的预调节，对经预调节的音频信号执行机器感知，并生成机器感知输出130。
71.处理器102一般控制音频处理系统100的操作。处理器102可以执行实现在此描述的各种信号处理和预调节功能的一个或多个计算机程序。
72.存储器104一般存储处理器102作为操作音频处理系统100的一部分而使用的数据。存储器104可以存储处理器102执行的计算机程序和处理器102处理的数据。存储器104可以存储与音频信号120、经预调节的音频信号、机器感知输出130以及在处理这些信号时使用的任何中间数据对应的数据。
73.麦克风106一般接收音频输入。音频输入可以对应于音频信号120。或者，音频信号120可以由存储器104存储或由其他组件110之一(例如，接收器组件)接收。
74.扩音器108可以输出音频输出。例如，存储器104可以存储扩音器108输出的音频数据，或者其他组件110之一(例如，接收器组件)可以接收扩音器108输出的音频数据。
75.其他组件110一般为音频处理系统100提供附加功能。其他组件110可以包括输入组件(例如，有线接收器、无线接收器等)、输出组件(例如，有线发送器、无线发送器等)或组合的输入/输出组件。
76.总线112一般连接音频处理系统100的组件。尽管示出为单条总线，但是总线112可以被配置为多条互连的总线。
77.音频处理系统100可以在各种类型的设备中实现。一个示例设备是智能扬声器。智能扬声器是一种带有集成虚拟助手的无线扬声器和语音命令设备，集成虚拟助手借助于一个“热词”(或若干个“热词”)提供交互式动作和免提激活。一些智能扬声器还可以充当智能设备，其利用wi-fi、蓝牙和其他无线协议标准将用途扩展到音频播放之外，诸如控制家庭自动化设备。智能扬声器使用机器感知以识别“热词”或用于其他asr目的。示例智能扬声器包括亚马逊echo
tm
设备、苹果homepod
tm
设备和谷歌home
tm
设备。
78.另一示例设备是移动电话。移动电话包括音频处理系统100以执行针对机器感知的预调节，例如当移动电话实现语音控制的虚拟助理时。由于移动电话还执行双工通信功
能，因此音频处理系统100还执行针对人类感知的预处理。音频处理系统100用于预调节的处理参数不同于用于预处理的处理参数。
79.下面提供音频处理系统100的进一步细节。
80.图2是音频处理系统200的框图。音频处理系统200可以由音频处理系统100(参见图1)实现，例如由处理器102实现。音频处理系统200包括预调节器210和asr组件220。
81.预调节器210接收音频信号120(参见图1)，根据机器感知参数执行音频信号120的预调节，并生成经预调节的音频信号230。机器感知参数不同于人类感知参数。例如，机器感知参数可以是噪声注入，这与针对人类感知的降噪不同。作为另一示例，机器感知参数可以是活动检测器中的延迟或留存，这不同于针对人类感知的低时延活动检测器。作为另一示例，机器感知参数可以是回声加扰，这不同于针对人类感知的回声消除或回声抑制。
82.asr组件220对经预调节的音频信号230执行机器感知，以生成机器感知输出130(参见图1)。机器感知可以是自动语音识别、唤醒词检测、语音到文本处理、说话者识别、情感检测、语言检测等。
83.然后，实现音频处理系统200的设备可以响应于机器感知输出130执行动作。例如，当检测到唤醒字时，设备可以执行唤醒操作。当执行语音到文本处理时，可以存储、发送或显示所产生的文本。
84.图3是音频处理系统300的框图。音频处理系统300可以由音频处理系统100(参见图1)实现，例如由处理器102实现。音频处理系统300可以是智能扬声器的组件。音频处理系统300包括扩音器310、麦克风320、回声消除器330、预调节器340和asr组件350。
85.扩音器310可以类似于扩音器108(参见图1)。扩音器310基于扩音器信号362输出扩音器输出360。例如，当音频处理系统300在智能扬声器中实现时，扩音器输出360可以对应于音乐选择。
86.麦克风320可以类似于麦克风106(参见图1)。麦克风320捕获音频363并生成捕获的音频信号364，捕获的音频信号364包括回声分量和捕获分量。回声分量对应于已经由扩音器310输出的扩音器输出360，并且捕获分量对应于扩音器310以外的音频源。例如，捕获分量可以由在与音频处理系统300相同的房间中讲话的人产生。
87.回声消除器330使用扩音器信号362对捕获的音频信号364执行回声消除，以生成音频信号120(参见图1)。
88.预调节器340可以类似于预调节器210(参见图2)，并且以类似于上面关于音频处理系统200描述的方式对音频信号120执行预调节，以生成经预调节的音频信号230。
89.asr组件350可以类似于asr组件220(参见图2)，并且以类似于上面关于音频处理系统200描述的方式对经预调节的音频信号230(使用扩音器信号362作为参考信号)执行机器感知，以生成机器感知输出130。
90.图4是预调节器400的框图。预调节器400可以由音频处理系统100(参见图1)实现，例如由处理器102实现。预调节器400可以用作预调节器210(参见图2)、预调节器340(参见图3)等。预调节器400包括清洁组件402、噪声填充器404、回声加扰器406和不活动检测器408。
91.清洁组件402接收音频信号120(参见图1-3)，对音频信号120执行清洁，并生成经清洁的音频信号420。清洁组件402一般操作为弱预处理器。清洁组件402包括回声消除器
410和回声抑制器412。回声消除器410使用参考信号421对音频信号120执行回声消除，然后回声抑制器412对回声消除得到的信号执行回声抑制。例如，参考信号421可以对应于扩音器信号362(参见图3)。
92.与针对人类感知的预处理器相比，清洁组件402可以具有许多不同之处。清洁组件402可以没有增益控制或水平调整。回声消除器410可以执行快得多的回声消除，使得这可以导致经清洁的音频信号420中的参考耦合和人工回声渗漏。回声抑制器412可以执行少得多的回声抑制，使得在消除器之后的突发泄漏和残留回声保留在经清洁的音频信号420中。清洁组件402可以执行比人类收听者否则需要的噪声抑制少得多的噪声抑制。清洁组件402可以执行较少的规则化。(规则化是对预处理器中的增益系数进行的后滤波，其使算法听起来更自然，但可能会导致语音开始和结束时的信息丢失。)在其他实施例中，可以从预调节器400中省略清洁组件402。
93.在讨论清洁组件402的回声消除功能时，提供了额外的细节。回声消除器的一般设计涉及自适应预测系统，其中时变滤波器试图基于参考信号来预测麦克风处呈现的信号有多少要提供给扬声器。在具有多于一个输出扬声器的多声道系统的情况下，已知这样的系统会劣化并且在适配中遭受局部最小值，因为来自扬声器的多个输出信号在要预测信号的单个麦克风处组合。理想情况下，滤波器应达到表示从扬声器到麦克风的传递函数集合的稳定状态，留下近似于麦克风处呈现的回声的类似时间包络和衰减版本的残余回声。在任何时候，都可以提高适配率，以便更激进地找到降低残余信号中的能量的良好预测。然而，当调谐过于激进时，会出现两个问题，系统将更快地追踪到空间劣化中(这会在一些扬声器输出相关时发生)，并且适配滤波器还将发现输出信号(参考)和麦克风中代表要检测的期望语音的传入信号分量之间的虚假临时相关性。当发生输出在多个通道上的空间转向时，第一种机制将导致回声泄漏的突然跳跃。第二种机制将引入期望信号的着色，其相当于参考的某些分量的版本混合。
94.如本领域所公知的，回声消除器的调谐是适配速度和防止对期望信号(局部谈话)的错误适配的能力之间的微妙平衡。一般而言，用于常规回声消除的时间常数对应于大约100ms或更长的收敛(适配)时间。由于局部谈话的检测可能出现错误的几帧音频，通常是5-20ms的帧，因此当存在局部信号时，适配被故意减慢以避免适配发散。然而，在asr的情况下，我们可以在更大程度上容忍适配滤波器的暂时失稳。这种发散或不稳定会导致短时间的帧泄漏。这些对用户来说是非常有问题的，但是可以被经过适当训练的asr有效地忽略。在回声消除器410的一些实施例的情况下，我们建议在10-50ms的范围内的适配时间是适用的，并且更适合于asr，在一个实施例中，20ms的适配范围是合适的。
95.其他方面，回声消除器410可以类似于本文讨论的其他回声消除器(例如，图3的回声消除器330等)。
96.噪声填充器404根据噪声参数生成噪声422，并且预调节器400将噪声422添加到经清洁的音频信号420，以生成经预调节的音频信号230(参见图2-3)。与经清洁的音频信号420相比，噪声422增加了经预调节的音频信号230的噪声场的均匀性。当信号在整个频带上或在单个子带内降至特定水平以下时，噪声422可以被施加到经清洁的音频信号420。噪声422向经预调节的音频信号230添加了歧义性。
97.舒适噪声的概念在现有技术中很大程度上被引入作为在完全不活动期间插入低
水平噪声填充的手段，在某些情况下，传输系统可能以其他方式不进行发送或完全静音。舒适噪声系统在解码信号和生成的低水平噪声之间切换。当从长期频谱来看，典型的舒适噪声水平被生成并呈现在比平均语音水平低20db以上的水平。理想的舒适噪声的形状与语音或背景房间噪声的频谱相似，其中一种规范被称为hoth噪声。它代表了一个典型安静房间中的噪声水平，一般来说，对于普通收听者而言，它被认为是可检测到的，但并不显著。在某些情况下，这样的噪声是连续添加的，但是它的水平对于语音对话来说似乎是自然的。
98.与语音的长期平均值和录音中的一般噪声下限相比，我们可以看到长期频谱中大约有20db的差异，在给定语音的动态范围和突发性的情况下，它代表了语音活动的信噪比，范围在20-35db之间。通常在噪声环境中，需要噪声抑制器来压低噪声以实现这一期望目标。
99.在本实施例中，我们提出了仅比均方根(rms)语音水平低大约10-15db的噪声水平。为了实现这一点，我们通常需要添加一定量的噪声，这一过程我们称为噪声填充或掩蔽噪声。在围绕语音的存在性和检测没有任何检测或选通的情况下，该掩蔽噪声可以被连续地添加到语音。掩蔽噪声具有粉红色或谱形白噪声的特性，其频谱形状与hoth噪声的轮廓相似，只是比hoth噪声高10db或更多的水平。收听测试中的这种噪声水平被认为是侵入性的、人为的，总体上是对人类收听体验的降级。然而，录音中可能存在的其他较低水平噪声的添加和模糊，或者可能由噪声抑制引起的伪影，对自动语音识别的性能具有净积极影响。
100.在一个实施例中，噪声填充是如上所示的具有频谱整形的随机噪声信号的常量添加。
101.在其他实施例中，我们引入了填充方法的概念，该填充方法添加频谱形状的噪声，使得在任何时间点，系统的频谱输出不低于该目标频谱形状。通过创建比在具有传统舒适噪声可能性的传统语音和编码系统中高10-15db的目标输出水平，该过程在模糊任何背景抑制的噪声和伪影方面更有效。
102.在该细节中，我们看到噪声填充器404添加或填充的噪声水平比用于人类试听的条件良好的音频所考虑的噪声水平高多达20-30db。预调节的这一方面是意想不到的，并且被发现对自动语音识别是有利的。
103.回声加扰器406接收参考信号421，并根据抑制增益参数对参考信号421中的回声进行模糊处理，以生成模糊参考信号423，并且预调节器400将模糊参考信号423添加到经清洁的音频信号420，以生成经预调节的音频信号230。抑制增益参数增加了抑制增益的平滑，并且增加了模糊参考信号423的噪声频谱的白度(与参考信号421的噪声频谱相比)。模糊参考信号423将回声添加到已由清洁组件402去除的经清洁的音频信号420。这种平滑增益的过程有助于减少时间或频谱响应的过度变化，这种过度变化可能是由于试图分离或完全去除感知的噪声而导致的。这种模糊也可以被称为“规则化”，并且可以如美国专利no.10,311,891或美国专利no.8,712,076中所描述的那样实现。
104.注意，噪声填充器404和回声加扰器406在清洁组件402之后是加性的(例如，使用信号组合器430)，因为它们操作为填充回信号和能量。然而，这个相加的信号是随机或随机化形式的。对此的一种看法是，噪声填充器404和回声加扰器406通过替换清洁组件402可能已经在经清洁的音频信号420中剥离或抑制的部分中的某些东西来帮助传播歧义性。从清洁组件402输出的经清洁的音频信号420可能产生错误相信机器感知系统不存在的感觉。也
就是说，如果清洁组件402抑制通过它的信号，则其在下游可能显示在输入(例如，麦克风)处可能缺失什么东西。然而，一般为人类感知而设计的预处理可能试图隐藏或掩盖问题(残余回声)，并因此去除存在某些音频信号的可能性——在此意义上，系统已将歧义性(在该回声之后是否存在任何信号)调整为确定性(经清洁的音频信号420被抑制和/或静音)。噪声填充器404和回声加扰器406的添加是一种添加背景噪声的手段，该背景噪声覆盖了预处理系统可能已经引入处理伪影(诸如被抑制的音频片段)的大部分条件。这种添加噪声以适当地将不确定性传播到下游机器感知中的想法是本文描述的实施例的一个值得注意的特征，并且可以看到它与许多现有系统完全不同并且相矛盾，因为我们通过示例示出并建议如下实施例：用于操作的预调节以及理想的训练将添加噪声分量，该噪声分量(矛盾地)用于提高机器感知系统的整体性能。
105.不活动检测器408接收音频信号120，根据延迟参数和选通参数对音频信号120执行活动检测，并生成增益424，预调节器400将该增益424施加到经清洁的音频信号420(例如，使用混合器440)，以生成经预调节的音频信号230。延迟参数在对音频信号120进行预调节时引入延迟，而选通参数在对音频信号120进行预调节时引入斜坡进入和斜坡外出。与针对人类感知的不活动检测器相比，不活动检测器408更灵敏，并且使用更多延迟和更多前瞻(根据延迟参数)来应用更激进的选通(根据选通参数)。
106.图5是针对机器感知处理音频的方法500的流程图。方法500的一个或多个步骤可以由音频处理系统100(参见图1)、音频处理系统200(参见图2)、音频处理系统300(参见图3)、预调节器400(参见图4)执行，例如由执行一个或多个计算机程序的处理器控制。
107.在502，接收音频信号。音频信号对应于已经由设备捕获的音频。例如，音频信号可以对应于由麦克风106捕获的音频信号120(参见图1)。作为另一示例，音频信号可以对应于表示已存储在存储器104中或已由音频处理系统100以外的设备捕获的音频的数据。
108.在504，根据机器感知参数对音频信号进行预调节，以生成经预调节的音频信号。机器感知参数不同于人类感知参数。例如，预调节器400(参见图4)可以根据控制清洁组件402、噪声填充器404、回声加扰器406和不活动检测器408中的一个或多个的参数，来执行音频信号120的预调节以生成经预调节的音频信号230。如上针对于每个组件所描述的，预调节器400使用的参数不同于针对人类感知系统的参数。
109.在506，对经预调节的音频信号执行机器感知以生成机器感知输出。例如，asr组件220(参见图2)可以对经预调节的音频信号230执行机器感知操作，诸如自动语音识别、唤醒字检测、语音到文本处理、情感检测等。基于机器感知输出，实现方法500的设备可以执行其他相关动作，诸如唤醒、输出文本、实现经由语音提供的命令，等等。
110.图6是音频处理系统600的框图。音频处理系统600可以由音频处理系统100(参见图1)实现，例如由处理器102实现。音频处理系统600类似于音频处理系统300，或者可以被视为音频处理系统300(参见图3)的备选。音频处理系统600接收来自麦克风(例如，图1的麦克风106)的捕获的音频信号664和提供给扩音器(例如，图1的扩音器108)的扩音器信号662。音频处理系统600包括波束成形器610、回声消除器630、预调节器640和asr组件650。
111.波束成形器610接收捕获的音频信号664，对捕获的音频信号664执行波束成形，并生成经波束成形的音频信号665。一般而言，波束成形器610将来自多个麦克风(未示出)的信号组合成包含较少信道的另一空间信号表示，因此波束成形器610可被视为可选(或附
加)组件。尽管波束成形器610被描述为执行波束成形，但是波束成形器610可以包括可以处理捕获的音频信号664的其他线性元件，作为波束成形的替代或附加。
112.回声消除器630接收经波束成形的音频信号665、来自预调节器640的回声消除参数635和扩音器信号662。根据回声消除参数635，回声消除器一般通过使用扩音器信号662来执行回声消除，以在经波束成形的音频信号665中消除来自扩音器并由麦克风捕获的回声。回声消除参数635使得能够根据预调节器640的结果来适配回声消除。例如，回声消除参数可以随时间调整回声消除参数，诸如通过冻结或重置适配。与针对人类感知的预处理器的回声消除相比，回声消除器630适配更快(例如，20-50ms的适配时间)。此外，与针对人类感知的预处理器的回声消除相比，回声消除器630可以没有双端对讲检测器(double talk detector)，或者其双端对讲检测器可能不那么灵敏(例如，仅-10db)。回声消除器630生成音频信号666(参见图1的音频信号120)。或者，回声消除器630可以类似于本文讨论的一个或多个其他回声消除器(例如，图3的回声消除器330、图4的回声消除器410等)。
113.预调节器640接收音频信号666和扩音器信号662，对音频信号666执行预调节，并生成经预调节的音频信号667(参见图2的经预调节的音频信号230)。预调节器640还基于预调节的结果生成回声消除参数635。与预处理器(通常以人类感知为目标)相比，预调节器640以机器感知为目标，并且包含不同的非线性和时变的加性元件。其他方面，预调节器640可以类似于本文讨论的一个或多个其他预调节器(例如，图2的预调节器210、图3的预调节器340、图4的预处调节器400等)。
114.asr组件650以类似于上面描述(例如，关于图2的音频处理系统200、图3的音频处理系统300等)的方式对经预调节的音频信号667执行机器感知，以生成机器感知输出130。或者，asr组件650可以类似于本文讨论的一个或多个其他asr组件(例如，图2的asr组件220、图3的asr组件350等)。
115.图7是预调节器700的框图。预调节器700可以由音频处理系统100(参见图1)实现，例如由处理器102实现。预调节器700可以用作预调节器210(参见图2)、预调节器340(参见图3)等。或者，预调节器700可以类似于预调节器400(参见图4)。预调节器700接收音频信号120(参见图1-3)，执行预调节，并生成经预调节的音频信号230(参见图2-3)。预调节器700包括延迟元件702、噪声预测器704、回声预测器706、组合器708、混合器710、语音活动检测器(vad)712、混合器714、回声加扰器716和噪声填充器718。
116.延迟元件702延迟音频信号120，产生经延迟的音频信号730。延迟元件702可以实现100-200ms之间的延迟。该延迟允许更好的噪声预测和回声预测，因为预测中的时延允许非因果预测。该延迟一般比针对人类感知应用的预处理器中使用的延迟(例如，其通常小于100ms)更长，因为在许多情况下，例如对于双工通信应用，更长的延迟对人类而言是恼人的。
117.噪声预测器704对音频信号120执行噪声预测，以生成噪声预测结果732。一般而言，噪声预测器704操作为通过查看大量历史以找到频谱上看到的最小水平，从而找到音频信号120中的当前背景噪声的水平。这给出了一种静止噪底的指示，而忽略了像语音之类的突发性的东西。
118.回声预测器706使用参考信号734(例如，对应于扩音器信号，诸如图3中的362、图6中的662等)，以对音频信号120执行回声预测，并生成回声预测结果736。一般而言，回声预
测器706与回声消除器(例如，图3中的330、图6中的630等)在如何操作方面共享相似之处，但它试图预测频带内的噪声功率。例如，回声预测器706不是有效地尝试预测频带受限的时域信号，而是在给定设备正在播放什么的情况下尝试预测特定频带中的能量水平。回声预测器706对回声消除数据进行操作——因此它试图预测回声消除器错过了什么。回声预测结果736表示对音频信号120中的回声的功率水平的预测。
119.组合器708和混合器710一起工作，使用噪声预测结果732和回声预测结果736，以抑制噪声和经延迟的音频信号730中的回声。一般而言，组合器708和混合器710提供经延迟的音频信号730的限制或压缩形式，以便缓慢地移入噪底(随着包含有意义数据的信号的置信度接近于0)。与针对人类感知的预处理器相比，噪声抑制要小得多，例如比rms语音水平低大约10-15db(或小于信噪比改进(snri)大约10-15db)。(在针对人类感知的预处理器中，相应的噪声抑制大约比rms语音水平低20-30db。)此外，与针对人类感知的预处理器相比，回声抑制要小得多，例如比噪声水平低5-10db(或比声音水平低15-20db)。(在针对人类感知的预处理器中，相应的回声抑制比语音水平低大致50-60db。)作为噪声抑制和回声抑制的结果，混合器710生成经修改的音频信号738。
120.语音活动检测器(vad)712对经修改的音频信号738执行语音活动检测以生成vad结果740。vad 712实现可被称为软vad的功能，其具有比在针对人类感知应用的预处理器中使用的vad中的时间常数更慢的时间常数。(例如，针对人类感知的预处理器的vad中的时间常数可以是斜坡上升的20-60ms，而用于vad 712的时间常数可以是斜坡上升的100-200ms。)vad 712还可以涉及100-200ms的延迟(例如，以提高检测精度)，而针对人类感知应用(例如，双工通信)的预处理器中使用的vad一般使用小于100ms的延迟。vad 712不在大约6db处选通，并且衰减在6-10db之间。此外，vad 712可能不会作为vad过程的一部分淡出，因为由于vad操作而导致的静噪或活动突然结束以及水平下降不会被机器视为烦恼。(相比之下，作为vad过程的一部分，针对人类感知应用的预处理器中的vad一般会在几秒钟内淡出。)
121.混合器714使用vad结果740对经修改的音频信号738执行混合，以生成经进一步修改的音频信号742。
122.回声加扰器716使用回声预测结果736对经进一步修改的音频信号742执行回声加扰，并生成回声加扰音频信号744。一般而言，回声加扰以时间和频率变化的方式加到经进一步修改的音频信号742的功率。回声加扰器716的目标取决于回声预测结果736的频谱。
123.噪声填充器718对经回声加扰的音频信号744执行噪声填充，以生成经预调节的音频信号230。一般而言，噪声填充器718添加噪声以实现对经回声加扰的音频信号744的目标功率水平的加性填充。例如，在特定频带中，当功率水平低于噪声目标水平时，噪声填充器718添加噪声，并且当功率水平高于噪声目标水平时，噪声填充器718不添加噪声。此外，噪声填充器718操作为填充固定频谱，而回声加扰器716的目标取决于回声预测结果736的频谱。
124.回声加扰器716和噪声填充器718的示例实现如下。在所有频带上的每个频带“band”中，在每个频带的所有区间“f”上，根据以下公式计算信号功率p1(f)：
125.p1(f)＝p1 sqrt(p2(band)-p3(band)*z*window(band，f))
126.其中，p1(f)是频带中的每个区间中的信号功率，p1是频带中的信号功率，p2
(band)是频带的目标功率水平(如下进一步定义)，p3(band)是频带的信号功率水平，z是具有单位方差和零均值的随机标量或复数，以及window(band，f)是窗函数。
127.z函数可以是任何紧凑的随机分布，只要它在时间上适当地平稳，并且在频率和时间上去相关。示例函数包括正态分布函数或具有瑞利分布幅度的复数，这取决于变换区间的性质是实数还是复数。z函数可以使用移位寄存器、具有均匀分布和单位功率的乘法/加法/模随机数生成器等来实现。
128.窗函数window(band，f)是一组系数，其用于将频率区间的原始变换集缩减为一般在感知尺度(诸如mel尺度、bark尺度或等效矩形带宽(erb)间距)上间隔的频带集。这种加权的一些属性一般是来自区间的能量的保存，因为所有频率区间f上的window(band，f)的总和是恒定的，并且通常是统一的。从大量区间的线性频率间隔到较少数量的频带的感知滤波器组映射的这种表达式是本领域中已知的。例如，在一个实施例中，系统从一组320个区间(16khz下的20ms帧)向下映射到61个频带(每个频带的宽度约为中心频率的10％)。
129.回声加扰器716和噪声填充器718的p2(band)不同，分别称为p2echo(band)和p2noise(band)。对于回声加扰器716，根据以下公式定义p2echo(band)：
130.p2echo(band)＝powerpredictedecho(band) constantechoscrambleoffset(band)
131.其中powerpredictedecho(band)是频带中的预测回声的功率水平，而constantechoscrambleoffset(band)是频带中的回声加扰器的偏移恒定功率水平。
132.对于噪声填充器718，p2noise(band)定义如下：
133.p2noise(band)＝constantnoisetargetprofile(band)
134.其中，constantnoisetargetprofile(band)对应于恒定噪声目标轮廓。
135.因此，回声加扰器716可以被视为向回声添加具有类似包络的模糊噪声，一般对其进行掩蔽。偏移可以与频率有关，一般在5-15db之间。噪声填充器718添加模糊噪声，以便将信号填充至给定功率水平，并且可以在回声加扰器716之后执行(如图7中所示)。请注意，如果p2(band)小于p3(band)，则不添加任何东西。
136.以此方式，预调节器700利用偶尔有突发扬起的高且令人不快(从人类感知的角度)噪声水平来模糊音频信号120中的剩余斑点和噪声，但是它们一般在时间上较短且在频率上较窄(例如，被称为“吠叫”)，因此不太可能被asr记录为有意义的音素或单词。
137.总结
138.总之，尽管本文描述的预调节器的实施例(例如，图2的预调节器210、图3的预调节器340、图4的预调节器400、图6的预调节器640、图7的预调节器700等)与现有的舒适噪声发生器(cng)或预处理器有相似之处，但存在显著差异，因为cng是针对人类感知而调谐的，而预调节器是针对机器感知而调谐的。预调节器的特定实施例可以具有与cng的这些差异中的一个或多个。例如，在cng中，回声消除被调谐为100-200ms的收敛性，话音局部的频繁双端对话检测从标称降至-20db；而在预调节器中，回声消除被调谐到小于50ms的收敛性，并且双端对话检测可以小到检测到预测回声的6-10db内的任何残余能量。作为另一示例，在cng中，回声抑制以亚可听水平为目标(例如，-60至-40db，或比噪声水平低10-20db)；而在预调节器中，回声抑制取决于存在的回声量，一般抑制在0-20db的范围内，使得残余回声与用于掩蔽残余伪影的插入噪声填充大约相同的水平(或略低于)。以此方式，残余回声的目
标仅为低于噪声填充，因为没有必要进一步抑制，并且仅对可能因听到噪声深处的延迟语音类信号而分心的人类收听者有利。作为另一示例，在cng中，噪声抑制的目标是感知上的低水平(例如，比语音水平低不止20db，或者大于snri的10db)；而在预调节器中，噪声抑制的目标是比语音水平低10-15db，并且通常只有很小(例如，小于10db)的snri，或者在一些情况下根本不抑制。作为另一示例，在cng中，非线性地施加抑制以执行大多数清洁工作，这总会降低信号能量；而在预调节器中，掩蔽噪声填充器的作用方式是基于给定频带中存在的能量有条件地添加噪声，并且一般在某些初始噪声去除之后实质上增加通过信号中的能量。这种附加的噪声具有非常稳定或“电嘶嘶”式噪声的特性(这会让cng应用中的收听者感到厌烦)。作为另一示例，在cng中，当在通信应用中使用时，语音活动检测响应具有低时延(例如，20-50ms)；而在预调节器中，语音活动检测器具有大于100ms的时延(或者，如果不需要即刻低时延asr和响应，则时延高达200-500ms)。该系统可以检测语音并回顾数据以重新判断活动从何处开始——这一般通过让音频信号经过延迟路径并从较旧的音频数据中计算增益和要应用的语音活动决策来实现。作为另一示例，在cng中，舒适噪声或者是开/关的，或者总是加性的；而在预调节器中，噪声填充器在整个信号中持续存在(尽管可能仅在它们低于噪声填充器的目标能量时才添加到特定频带)。
139.实现详情
140.实施例可以硬件、存储在计算机可读介质上的可执行模块或两者的组合(例如，可编程逻辑阵列)来实现。除非另有说明，否则实施例执行的步骤不需要固有地与任何特定的计算机或其他装置相关，尽管它们在某些实施例中可能是相关的。具体地，各种通用机器可以与根据本文的教导编写的程序一起使用，或者可以更方便地构造更专用的装置(例如，集成电路)来执行所需的方法步骤。因此，实施例可以在一个或多个可编程计算机系统上执行的一个或多个计算机程序中实现，每个可编程计算机系统包括至少一个处理器、至少一个数据存储系统(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备或端口、以及至少一个输出设备或端口。程序代码被应用于输入数据以执行本文描述的功能并生成输出信息。输出信息按已知的方式被应用于一个或多个输出设备。
141.每个这样的计算机程序优选地被存储在通用或专用可编程计算机可读的存储介质或设备(例如，固态存储器或介质，或磁或光介质)上或被下载到该存储介质或设备上，用于在计算机系统读取存储介质或设备以执行本文描述的过程时配置和操作计算机。还可以认为本发明的系统被实现为配置有计算机程序的计算机可读存储介质，其中如此配置的存储介质使计算机系统以特定和预定义的方式操作以执行本文描述的功能。(软件本身和无形或短暂的信号被排除在外，因为它们是不可授权的主题。)
142.以上描述说明了本公开的各种实施例以及本公开的各方面可以如何实现的示例。上述示例和实施例不应被认为是仅有的实施例，并且呈现它们是为了说明由以下权利要求定义的本公开的灵活性和优点。基于上述公开和以下权利要求，其他布置、实施例、实现方式和等同对于本领域技术人员将是显而易见的，并且可以在不背离权利要求所定义的公开的精神和范围的情况下采用。