包括反馈控制系统的听力装置的制作方法

1.本技术涉及听力装置如助听器，尤其涉及反馈控制。


背景技术：

2.现代听力装置中的反馈控制系统通常高效确保系统稳定性并向用户提供必要的增益，同时，它们使能高质量的输出声音，尤其对于语音而言。
3.然而，仍然有反馈可强加稳定性问题的情形，其中必须呈现给用户低于所需的增益，从而导致差的声音感知。此外，反馈控制系统在始终使能满足所有用户的高质量输出声音方面仍然有一些困难，尤其对于对微小声音失真敏感的音乐家和“超级用户”而言。
4.迄今为止，基于nlms的系统已用于反馈消除，尽管在许多情形下高效，但它们仍遭受所谓的有偏估计问题。解决该有偏估计问题的目前技术发展水平的方法需要向助听器输出信号引入一些小的修改，例如基于频移和/或探针噪声的方法，这进而可影响感知的声音质量，尤其对于音乐声音和一些高音调话音而言。此外，基于nlms的系统在它们能多快地对临界反馈情形作出反应和处理方面具有(不可解决的)限制，为避免反馈和为更好的舒适性而支持开放验配，其限制了助听器可提供的增益。


技术实现要素：

5.基于nlms的反馈控制系统已达到其全部潜力，因而需要完全新一代的反馈控制来解锁接下来的性能水平。
6.现代机器学习技术提供新的工具，其可提供完全新一代的反馈控制系统，其能在不损害声音质量的情形下解决有偏估计问题，其能更好地处理临界反馈情形因而更好地确保能向用户提供最佳增益。
7.ep3236675b1涉及助听装置的、神经网络驱动的反馈消除方法。多个不同实施例包括助听装置中的输入信号为减轻同步化效应的信号处理方法，助听装置包括接收器和传声器。该方法包括训练神经网络以识别多个示例系统输入中的声学特征并针对多个示例系统输入预测目标输出；及使用经训练的神经网络针对输入信号预测输出并使用该输出控制自适应反馈消除器的自适应行为。
8.本技术涉及在改善听力装置如助听器或耳机中的反馈控制或回声消除的任务中使用机器学习或人工智能方法，例如利用神经网络及例如有监督的学习。
9.助听器
10.在本技术的一方面，提供适于由用户佩戴在用户耳朵处或耳朵中的助听器。助听器包括：
[0011]-用于将用户周围环境中的声音转换为表示所述声音的至少一电输入信号的至少一输入变换器；
[0012]-用于将根据至少一电输入信号提供的输出信号转换为可由用户感知为声音的刺激的输出变换器；
[0013]-反馈控制系统，配置成
[0014]
‑‑
使从所述输出变换器到所述至少一输入变换器的反馈最小化；及
[0015]
‑‑
至少提供所述至少一电输入信号的反馈校正版本；及
[0016]-音频信号处理器，配置成
[0017]
‑‑
将一个或多个处理算法应用于所述至少一电输入信号的所述反馈校正版本；及
[0018]
‑‑
根据其提供处理后的信号。
[0019]
反馈控制系统可基于机器学习模型，其接收至少表示下述信号的输入数据：
[0020]-所述至少一电输入信号；及
[0021]-所述处理后的信号。
[0022]
反馈控制系统可配置成将至少一电输入信号的反馈校正版本提供为输出。
[0023]
从而可提供改进的助听器。
[0024]
机器学习模型可配置成将表示反馈和/或至少一电输入信号的反馈校正版本的数据提供为输出。表示至少一电输入信号的反馈校正版本的数据可由处理器直接使用。反馈控制系统或音频信号处理器可配置成使得至少一电输入信号的反馈校正版本从表示至少一电输入信号的反馈校正版本的数据提取或估计。表示反馈的数据例如可以是反馈通路传递函数/脉冲响应的估计量。这例如可用于对输出信号(输出变换器的输入信号，例如扬声器输入信号)滤波以产生反馈信号的估计量，其之后可从输入信号减去以执行反馈减少。
[0025]
反馈控制系统可配置成将所述输出信号提供为另一输出。机器学习模型可配置成提供表示输出信号的输出数据。表示输出信号的数据可由输出变换器直接使用。反馈控制系统或输出变换器(或中间单元)可配置成使得输出信号从表示输出信号的数据提取或估计。
[0026]
机器学习模型可配置成接收表示关于一个或多个处理算法的信息的、另外的输入数据。一个或多个处理算法例如可包括降噪算法(例如与波束形成和/或后滤波有关)、用于补偿用户的听力受损的压缩算法(例如与提供随频率和电平而变的增益有关)、变换域算法如频域变换算法(例如允许在变换域处理，例如在多个频带)等。关于一个或多个处理算法的信息例如可包括衰减值和施加它们的判据(降噪)、增益、拐点、压缩比等(压缩)、“频带”数量(变换域)等。
[0027]
反馈控制系统可配置成将音频信号处理器的控制输入信号提供为另一输出，所述控制输入信号包括向一个或多个处理算法提供输入的参数。机器学习模型可配置成提供表示音频信号处理器的控制输入信号的输出数据。反馈控制系统或音频信号处理器可配置成使得参数从表示音频信号处理器的控制输入信号的数据提取或估计。参数例如可包括与助听器处理有关的一个或多个参数，例如环路幅值(等于环路增益)、当前声音环境、环路相位、环路延迟、反馈动态学(随时间稳定或快速变化，这样的信息/参数可用于控制压缩/增益/波束形成器/噪声控制行为)等。所提及的参数可与反馈控制系统的一般训练一起进行训练。
[0028]
机器学习模型可用至少表示至少一电输入信号和处理后的信号的输入数据进行训练。
[0029]
机器学习模型可用另外的、表示关于一个或多个处理算法的信息的输入数据进行训练。一些例子为：
[0030]-输入模数转换算法；
[0031]-输出数模转换算法；
[0032]-波束形成器算法；
[0033]-降噪算法；
[0034]-听力损失补偿-压缩算法；
[0035]-环境检测算法。
[0036]
机器学习模型可用合成输入数据和合成输出数据进行训练，合成输入数据至少表示：
[0037]-所述至少一电输入信号的所述外部部分；
[0038]-所述至少一电输入信号的所述反馈部分；及
[0039]-所述处理后的信号；
[0040]
合成输出数据至少表示：
[0041]-至少一电输入信号的所述反馈校正版本。
[0042]
来自处理器的处理后的信号可提供(例如包括或构成)(给输出变换器的)输出信号。
[0043]
助听器可由空气传导型助听器、骨导型助听器或其组合构成或者包括空气传导型助听器、骨导型助听器或其组合。
[0044]
助听器可包括至少一分析滤波器组，用于按时频域表示提供至少一电输入信号。从而，从至少一输入变换器到输出变换器的正向音频通路的信号处理可在时频域(k,l)进行，其中l为时间(帧)指数，k为频率指数。分析滤波器组可包括傅里叶变换算法，例如短时傅里叶变换(stft)算法。
[0045]
机器学习模型的输入数据例如可代表
[0046]-至少一电输入信号；及
[0047]-处理后的信号，
[0048]
对于每一时间指数l，每一个安排为具有k个元素的向量，k为时频域表示(k,l)中的频带数量(例如参见图7a、7b)。
[0049]
机器学习模型的输入数据中的每一个可安排为跨几个(l个)时间指数l＝l
’‑
l 1,
…
,l’的级联的k元素(列)向量(例如参见图7d)。
[0050]
助听器可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。助听器可包括用于增强输入信号并提供处理后的输出信号的信号处理器。
[0051]
助听器可包括输出单元，用于基于处理后的电信号提供由用户感知为声学信号的刺激。输出单元可包括骨导助听器的振动器。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)助听器中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式助听器中)。输出单元可(另外或作为备选)包括发射器，用于将助听器拾取的声音传给另一装置例如远端通信伙伴(例如经网络，例如在电话运行模式下，或者在耳机配置时)。
[0052]
助听器可包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于
将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括无线接收器，用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号。无线接收器例如可配置成接收在无线电频率范围(3khz到300ghz)的电磁信号。无线接收器例如可配置成接收在光频率范围(例如红外光300ghz到430thz或者可见光如430thz到770thz)的电磁信号。
[0053]
助听器可包括定向传声器系统，其适于对来自环境的声音进行空间滤波从而增强佩戴助听器的用户的局部环境中的多个声源之中的目标声源。定向系统可适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在助听器中，传声器阵列波束形成器通常用于空间上衰减背景噪声源。许多波束形成器变型可在文献中找到。最小方差无失真响应(mvdr)波束形成器广泛用在传声器阵列信号处理中。理想地，mvdr波束形成器保持来自目标方向(也称为视向)的信号不变，而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(gsc)结构是mvdr波束形成器的等同表示，其相较原始形式的直接实施提供计算和数字表示优点。
[0054]
助听器可包括天线和收发器电路，其允许到娱乐设备(如电视机)、通信装置(如电话)、无线传声器或另一助听器等的无线链路。助听器因而可配置成从另一装置无线接收直接电输入信号。类似地，助听器可配置成将直接电输出信号以无线方式传给另一装置。直接电输入或输出信号可表示或包括音频信号和/或控制信号和/或信息信号。
[0055]
一般地，助听器的天线及收发器电路建立的无线链路可以是任何类型。无线链路可以是基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。优选地，用于在助听器和另一装置之间建立通信链路的频率低于70ghz，例如位于从50mhz到70ghz的范围中，例如高于300mhz，例如在高于300mhz的ism范围中，例如在900mhz范围中或在2.4ghz范围中或在5.8ghz范围中或在60ghz范围中(ism＝工业、科学和医学，这样的标准化范围例如由国际电信联盟itu定义)。无线链路可基于标准化或专用技术。无线链路可基于蓝牙技术(如蓝牙低功耗技术)或超宽带(uwb)技术。
[0056]
助听器可以是便携式(即配置成可穿戴的)设备或形成其一部分，例如包括本地能源如电池例如可再充电电池的设备。助听器例如可以是低重量、容易穿戴的设备，例如具有小于100g如小于20g例如小于5g的总重量。
[0057]
助听器可包括用于处理助听器的输入与输出之间的音频信号的“正向”(或“信号”)通路。信号处理器可位于正向通路中。信号处理器可适于根据用户的具体需要(例如听力受损)而提供随频率而变的增益。助听器可包括“分析”通路，其包括用于分析信号和/或控制正向通路的处理的功能元件。分析通路和/或正向通路的部分或所有信号处理可在频域进行，在该情形下，助听器包括适当的分析和合成滤波器组。分析通路和/或正向通路的部分或所有信号处理可在时域进行。
[0058]
表示声信号的模拟电信号可在模数(ad)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率fs进行采样，fs例如在从8khz到48khz的范围中(适应应用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的nb比特表示声信号在tn时的值，nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用nb比特量化(导致音频样本的2
nb
个不同的可能的值)。数字样本x具有1/fs的时间长度，如50μs，对于fs＝20khz。多个音频样本可按时间帧安排。一时间帧可包括64个或
128个音频数据样本。根据实际应用可使用其它帧长度。
[0059]
助听器可包括模数(ad)转换器以按预定的采样速率如20khz对模拟输入(例如来自输入变换器如传声器)进行数字化。助听器可包括数模(da)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
[0060]
助听器如输入单元和/或天线及收发器电路可包括用于将时域信号转换为变换域(例如频域或拉普拉斯(laplace)域等)信号的变换单元。变换单元可由时频(tf)转换单元构成或者可包括时频(tf)转换单元，其用于提供输入信号的时频表示。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。tf转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。tf转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元(例如离散傅里叶变换(dft)算法或短时傅里叶变换(stft)算法或类似算法)。助听器考虑的、从最小频率f
min
到最大频率f
max
的频率范围可包括从20hz到20khz的典型人听频范围的一部分，例如从20hz到12khz的范围的一部分。通常，采样率fs大于或等于最大频率f
max
的两倍，即fs≥2f
max
。助听器的正向通路和/或分析通路的信号可拆分为ni个(例如均匀宽度的)频带，其中ni例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。助听器可适于在np个不同频道处理正向和/或分析通路的信号(np≤ni)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
[0061]
助听器可配置成在不同模式下运行，如正常模式及一个或多个特定模式，例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境进行优化。运行模式可包括低功率模式，其中助听器的功能被减少(例如以便节能)，例如禁用无线通信和/或禁用助听器的特定特征。
[0062]
助听器可包括多个检测器，其配置成提供与助听器的当前网络环境(如当前声环境)有关、和/或与佩戴助听器的用户的当前状态有关、和/或与助听器的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与助听器(如无线)通信的外部装置的一部分。外部装置例如可包括另一助听器、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
[0063]
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域)，例如在有限的多个频带中。
[0064]
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成确定正向通路的信号的当前电平是否高于或低于给定(l-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号((时-)频域)。
[0065]
助听器可包括话音活动检测器(vad)，用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中，话音信号可包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元可适于将用户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选，话音活动检测器可适于从“话音”的检测排除用户自己的话音。
[0066]
助听器可包括自我话音检测器，用于估计特定输入声音(如话音，如语音)是否(或以何种概率)源自听力装置系统用户的话音。助听器的传声器系统可适于能够进行用户自己的话音与另一人的话音及可能与无话音声音的区分。
[0067]
多个检测器可包括运动检测器，例如加速度传感器。运动检测器可配置成检测用户的面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
[0068]
助听器可包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”可由下面的一个或多个定义：
[0069]
a)物理环境(如包括当前电磁环境，例如出现计划或未计划由助听器接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；
[0070]
b)当前声学情形(输入电平、反馈等)；及
[0071]
c)用户的当前模式或状态(运动、温度、认知负荷等)；
[0072]
d)助听器和/或与助听器通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
[0073]
分类单元可基于或者包括神经网络，例如经训练的神经网络。
[0074]
助听器还可包括用于所涉及应用的其它适宜功能，如压缩、降噪等。
[0075]
助听器可包括听力仪器，例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器，例如耳机、耳麦、耳朵保护装置或其组合。听力系统可包括喇叭扩音器(包含多个输入变换器和多个输出变换器，例如用在音频会议情形)，例如包括波束形成器滤波单元，例如提供多个波束形成能力。
[0076]
应用
[0077]
一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的助听器的应用。可提供在包括一个或多个助听器(如听力仪器)、耳机、耳麦、主动耳朵保护系统等的系统中的应用，例如免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉ok系统、教室放大系统等。
[0078]
用于训练机器学习模型的方法
[0079]
一方面，本技术进一步提供用在助听器的反馈控制系统中的机器学习模型的训练方法。助听器包括：
[0080]-用于将用户周围环境中的输入声音转换为表示所述输入声音的至少一电输入信号的至少一输入变换器；
[0081]-用于将根据至少一电输入信号提供的输出信号转换为可由用户感知为声音的刺激的输出变换器；
[0082]
其中所述输入声音包括外部声音以及由所述输出变换器产生并经反馈通路泄漏到所述输入变换器的反馈声音，其中所述至少一电输入信号类似地包括源自所述外部声音的外部部分以及源自所述反馈声音的反馈部分。
[0083]
助听器还可包括：
[0084]-用于使所述至少一电输入信号的所述反馈部分最小化并至少提供所述至少一电输入信号的反馈校正版本的反馈控制系统；及
[0085]-配置成将一个或多个处理算法应用于所述至少一电输入信号的所述反馈校正版
本并根据其提供处理后的信号的音频信号处理器。
[0086]
该方法包括(至少部分)用合成输入数据和合成输出数据训练机器学习模型，合成输入数据至少表示下述之一或多个例如全部：
[0087]-所述至少一电输入信号的所述外部部分；
[0088]-所述至少一电输入信号的所述反馈部分；及
[0089]-所述处理后的信号；
[0090]
合成输出数据至少表示：
[0091]-至少一电输入信号的所述反馈校正版本。
[0092]
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应装置一样的优点。
[0093]
为避免基于机器学习的系统学习目前技术发展水平的反馈控制系统的缺点(例如慢速收敛、错误反应等)，提出用仅在有完美的反馈控制系统时存在的合成数据(例如参见图4中的信号v(n),x(n),y(n),e(n),p(n)和u(n))训练基于机器学习的反馈控制系统，例如不需要去相关。合成数据因而将表示理想的反馈系统，其例如对反馈通路变化立刻作出反应而不需要自适应滤波器已知的收敛时间段。训练数据可为了使输出信号(例如参见图中的u(n))中因反馈通路的突然变化导致的非自然信号最小化而产生。
[0094]
合成数据可通过计算机仿真产生。至少一电输入信号可以是外部部分和反馈部分的和。输出训练数据为标记数据，它们表示针对给定输入数据的真实输出数据。
[0095]
在计算机仿真中，可能具有“假想且完美的”反馈控制系统，其对反馈变化立刻且准确地作出反应而不遭受目前技术发展水平的反馈控制系统的缺点，因为真实的声学反馈已知。
[0096]
为提供学习条件和数据，“假想且完美的”反馈控制将用于产生用于训练的数据，无论是静态反馈情形下还是动态反馈通路变化情形下。使用所产生的数据，反馈控制系统将被训练。用于训练的输入信号例如可包括白噪声、语音或音乐信号。
[0097]
合成输出数据还可表示输出信号(用作输出变换器的输入)。
[0098]
合成输入数据还可表示关于一个或多个处理算法的信息。
[0099]
合成输出数据还可表示向一个或多个处理算法提供输入的参数。
[0100]
本发明方法可使得至少合成输出数据通过计算机仿真产生。本发明方法可使得至少合成输入数据的至少部分通过计算机仿真产生。
[0101]
本发明方法可使得至少合成输出数据通过计算机仿真产生以反映对反馈变化立刻且准确地作出反应的假想且完美的反馈控制系统。
[0102]
本发明方法可使得假想且完美的反馈控制系统用于产生在静态反馈情形下以及动态反馈情形下(具有动态反馈通路变化)训练机器学习模型的数据。
[0103]
本发明方法可使得用于训练机器学习模型的输入信号包括白噪声、或语音、或音乐信号、或其混合。
[0104]
另一助听器
[0105]
在本技术的另一方面，提供另一助听器。该另一助听器包括：
[0106]-用于将用户周围环境中的输入声音转换为表示所述输入声音的至少一电输入信
号的至少一输入变换器；
[0107]-用于将根据至少一电输入信号提供的输出信号转换为可由用户感知为声音的刺激的输出变换器；
[0108]
其中所述输入声音包括外部声音以及由所述输出变换器产生并经反馈通路泄漏到所述输入变换器的反馈声音，其中所述至少一电输入信号类似地包括源自所述外部声音的外部部分以及源自所述反馈声音的反馈部分；
[0109]-用于使所述至少一电输入信号的所述反馈部分最小化并至少提供所述至少一电输入信号的反馈校正版本的反馈控制系统，反馈控制系统包括所述机器学习模型；及
[0110]-配置成将一个或多个处理算法应用于所述至少一电输入信号的所述反馈校正版本并根据其提供处理后的信号的音频信号处理器。
[0111]
机器学习模型根据上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法进行训练。
[0112]
计算机可读介质或数据载体
[0113]
本发明进一步提供保存包括程序代码(指令)的计算机程序的有形计算机可读介质(数据载体)，当计算机程序在数据处理系统(计算机)上运行时，使得数据处理系统执行(实现)上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
[0114]
作为例子但非限制，前述有形计算机可读介质可包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(cd)、激光盘、光盘、数字多用途盘(dvd)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。其它存储介质包括存储在dna中(例如合成的dna链中)。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
[0115]
计算机程序
[0116]
此外，本技术提供包括指令的计算机程序(产品)，当该程序由计算机运行时，导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
[0117]
数据处理系统
[0118]
一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
[0119]
听力系统
[0120]
另一方面，提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听器及包括辅助装置的听力系统。
[0121]
听力系统可适于在助听器与辅助装置之间建立通信链路以使得信息(如控制和状态信号，可能音频信号)可进行交换或者从一装置转发给另一装置。
[0122]
辅助装置可包括遥控器、智能电话或者其它便携或可穿戴电子装置智能手表等。
[0123]
辅助装置可由遥控器构成或者包括遥控器，其用于控制助听器的功能和运行。遥控器的功能实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的app(助听器包括适当的到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
[0124]
辅助装置可由音频网关设备构成或者包括音频网关设备，其适于(例如从娱乐装置如tv或音乐播放器、从电话设备如移动电话或者从计算机如pc)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给助听器。
[0125]
辅助装置可由另一助听器构成或者包括另一助听器。听力系统可包括适于实施双耳听力系统如双耳助听器系统的两个助听器。
[0126]
app
[0127]
另一方面，本发明还提供称为app的非短暂应用。app包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听器或听力系统的用户接口。app可配置成在移动电话如智能电话或另一使能与所述助听器或听力系统通信的便携装置上运行。
附图说明
[0128]
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
[0129]
图1示出了目前技术发展水平的使用自适应滤波器的反馈控制系统；
[0130]
图2示出了目前技术发展水平的用于反馈控制目的的正向通路处理；
[0131]
图3示出了根据本发明的包括反馈控制系统的听力装置的框图；
[0132]
图4示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图；
[0133]
图5示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图，其中来自听力装置处理单元的信息用作基于机器学习的反馈控制系统的输入，来自学习模型的声学信息被提供到助听器处理单元；
[0134]
图6示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图，其中使用更简单的模型，输出信号u(n)为该模型的输入；
[0135]
图7a示意性地示出了根据本发明的机器学习模型的输入和输出向量的第一例子；
[0136]
图7b示意性地示出了根据本发明的机器学习模型的输入和输出向量的第二例子；
[0137]
图7c示意性地示出了根据本发明的机器学习模型的输入向量的历史上下文的例子；
[0138]
图7d示意性地示出了输入向量的历史内容形成为包括根据本发明的机器学习模型的多个不同输入信号的数据的级联的个体向量以及包括包含多个不同输出信号的数据的级联的个体向量的相应输出向量的例子；
[0139]
图8a示出了用在助听器的反馈控制系统中的机器学习模型的训练方法流程的第一实施例；
[0140]
图8b示出了用在助听器的反馈控制系统中的机器学习模型的训练方法流程的第二实施例。
[0141]
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
[0142]
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
[0143]
电子硬件可包括微机电系统(mems)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑器件(pld)、选通逻辑、分立硬件电路、印刷电路板(pcb)(如柔性pcb)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件，例如用于感测和/或记录环境、装置、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
[0144]
本技术涉及听力装置如助听器领域，尤其涉及这样的装置中的反馈控制。
[0145]
现代机器学习技术提供新的工具，其可提供完全新一代的反馈控制系统，其能在不损害声音质量的情形下解决有偏估计问题，其能更好地处理临界反馈情形因而更好地确保能向用户提供最佳增益。
[0146]
图1示出了包括目前技术发展水平的反馈控制系统的助听器的简化框图。助听器适于位于用户耳朵处或耳朵中。助听器可配置成补偿用户的听力损失。助听器包括用于处理表示环境中的声音的输入信号(x(n),v(n)，n表示时间)的正向通路。正向通路包括至少一输入变换器(例如一个或多个传声器，在此为一个传声器m)，用于从助听器的环境拾取声音并提供电输入信号y(n)。正向通路还包括音频信号处理器(“处理”)，用于处理电输入信号y(n)的反馈校正版本e(n)并基于其提供处理后的信号u(n)。正向通路还包括输出变换器spk(例如扬声器或振动器)，用于基于处理后的信号u(n)产生可由用户感知为声音的刺激。助听器还包括用于反馈控制(例如衰减或消除)的反馈控制系统。反馈控制系统包括反馈估计单元(体现为自适应滤波器)，用于估计从输出变换器spk到输入变换器m(参见传声器m的声学输入信号v(n))的当前反馈通路(反馈通路h(n))并提供其估计量v’(n)。自适应滤波器包括算法部分(自适应算法)和可变滤波器部分(时变滤波器h’(n))。算法部分包括用于根据电输入信号y(n)的反馈校正版本e(n)以及输出信号u(n)提供算法部分的更新的滤波器系数的自适应算法。基于更新的滤波器系数，可变滤波器部分通过对输出信号u(n)进行滤波而提供反馈通路信号v(n)的估计量v’(n)。图1所示的反馈控制系统的另一元件为组合单元(在此为求和单元“ ”)，用于组合电输入信号y(n)和由自适应滤波器(具体由滤波器部分(时变滤波器h’(n)))提供的估计的反馈信号v’(n)。反馈通路估计量v’(n)(在此在求和单
元 中从输入信号y(n)减去)以提供反馈校正的信号e(n)。
[0147]
为了反馈控制目的，正向通路中的处理单元通常由去相关模块、增益控制模块及可选的快速反馈减少模块组成。这在图2中示出。
[0148]
图2示出了目前技术发展水平的用于反馈控制目的的正向通路处理的例子。在图2中，去相关方法通过引入频移(参见单元fs)进行实施。此外，快速反馈减少模块(stm处理)在检测到反馈风险时提供快速反馈减少(例如参见ep3139636a1,ep3291581a2)。另外的增益控制模块(增益控制)可在检测到反馈风险时提供增益减小。连同自适应滤波器h’(n)一起，它们可形成目前技术发展水平的反馈控制系统。
[0149]
在我们预想的未来的基于机器学习的反馈控制系统中，我们原则上能用机器学习模块替换所有这些模块，如图3中所示。
[0150]
图3示出了根据本发明的包括反馈控制系统的听力装置的框图。带阴影的模块将被基于机器学习的系统替代。这种新的系统可重新绘制为图4。
[0151]
图4示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图。如果我们使用从图1的系统捕获的真实数据训练图4的系统，图4所示的系统原则上能够提供与图2的目前技术发展水平的系统一样的所有可能的反馈控制有关的机会。然而，这样做，基于机器学习的系统同样“学习”目前技术发展水平的系统的缺点。
[0152]
作为备选，提出使用仅在有完美的反馈控制系统时存在的合成数据v(n)、x(n)、y(n)、e(n)、p(n)和u(n)训练基于机器学习的反馈控制系统，即不需要去相关，反馈系统将立刻对反馈通路变化作出反应，而不需要从自适应滤波器知道的收敛时间段。
[0153]
此外，提出将来自助听器处理单元的更多信息提供给基于机器学习的反馈控制系统以获得更好的性能，如图5中所示。这例如可以是关于降噪(nr)、包括其增益、拐点、压缩比等的压缩的信息。另一方面，也可能基于机器学习的反馈控制系统将声学有关的信息提供给助听器处理，例如环路增益、当前声音环境等，这些均可与反馈控制系统一起进行训练。
[0154]
图5示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图，其中来自听力装置处理单元的信息用作基于机器学习的反馈控制系统的输入，来自学习模型的声学信息被提供到助听器处理单元。
[0155]
更简单的模型在图6中示出，其中机器学习将仅提供无反馈信号e(n)。
[0156]
图6示出了根据本发明的包括基于机器学习的反馈控制系统的听力装置的框图，其中使用更简单的模型，输出信号u(n)为该模型的输入。
[0157]
在该模型中，尽管可能(通过修改e(n)而间接修改输出信号)，但目的不在于该模型能像先前模型中那样修改输出信号u(n)。
[0158]
下面给出怎样训练(如图5所示的)机器学习模型的更多细节。
[0159]
我们考虑一些标准算法用于机器学习训练，例如有监督的学习方法，训练前述模型的一种具体方式为反向传播。
[0160]
在该情形下，我们提供从逼真计算机仿真产生的训练信号。在仿真时，我们已取得所有信号，包括反馈信号v(n)和传入信号x(n)，其在实践中不可观察。我们接着能产生传声器信号y(n)＝x(n) v(n)，期望的处理信号p(n)取决于所选(且已知)的助听器处理，y(n)和p(n)在正常助听器运行期间将可用(用于我们的机器学习模型)。
[0161]
此外，我们可产生期望的反馈补偿的信号e(n)(理想地，e(n)＝x(n))以及期望的输出信号u(n)()(理想地，u(n)＝p(n))，e(n)和u(n)均用作用于训练的参考信号(标记数据)。
[0162]
我们需要在不同条件下(最重要的条件例如x(n)的信号类型、v(n)的动态学、助听器的处理)产生许多组信号v(n)、x(n)、y(n)和p(n)、e(n)和u(n)以训练网络。
[0163]
我们预期机器学习网络的输入信号为在时域信号y(n),p(n)的变换(如stft)之后的时频单元y(k,l)和p(k,l)，其中l和k为时频域时间和频率指数。
[0164]
此外，我们将具有时域信号e(n)和u(n)或者它们的时频变换的信号e(k,l)和u(k,l)作为用于训练的标记数据。
[0165]
在一设置中，对于每一时间指数m，将y(k,l’),p(k,l’)安排为k元素(列)向量y
l’和p
l’，其中k＝0,
…
,k-1。这在图7a、7b中示出(具有不同的输出向量)。
[0166]
在另一设置中，将跨几个时间指数l’的更多k元素(列)向量y
l’,p
l’级联为矩阵和这在图7c和7d中示出。
[0167]
图7a示意性地示出了根据本发明的机器学习模型(mlm(fbc))的输入和输出向量的第一例子。图7a为可用在图6所示助听器实施例中的输入和输出向量的例子。输入向量包括(例子传声器m的)电输入信号y(n)和(例子音频信号处理器(处理)的)处理后的信号p(n)的单一帧的级联的列向量。输入信号均被转换为时频表示(y(k,l),p(k,l))，例如使用相应的分析滤波器组，例如将傅里叶变换算法(如stft)应用于相应的时域信号(y(n),p(n))。对于给定时间指数l’，级联的列向量(y(k,l’),p(k,l’))用作机器学习模型(mlm(fbc))的输入向量，其提供反馈校正的信号e(n)的时间帧e(k,l’)。
[0168]
图7b示意性地示出了根据本发明的机器学习模型的输入和输出向量的第二例子。图7b与图7a类似，但机器学习模型的输出向量另外包括表示输出信号u(n)的一帧u(k,l’)，其被馈给听力装置的输出变换器spk(例如参见图4和5的听力装置实施例)。
[0169]
图7c示意性地示出了根据本发明的机器学习模型的输入向量的历史上下文的例子。图7c示出了通过给定信号x在每一时频单元(k,l)的幅度|x(k,l)|表示的、信号x的时频“图”的一部分。听力装置可包括上下文单元，用于将适当的输入向量提供给将要训练的机器学习模型(mlm(fbc))，l’对应于特定时间点(在图7c中记为“现在”)。上下文在图7c中由时频图的阴影部分示出，记为“上下文”。对于给定输入信号(在图7c中记为x)，这l个时间帧被包括在模型的输入向量中(输入向量记为)。帧数l例如可在训练程序之前固定，例如与反馈啸声累积的计时有关。
[0170]
(合成)训练数据优选包括导致反馈啸声的大量数据集(对于给定听力装置，例如特定助听器类型)，其中，如上所述，输入和输出和中间信号已知。
[0171]
图7d示意性地示出了输入向量的历史内容形成为包括根据本发明的机器学习模型(mlm(fbc))的多个不同输入信号(x1,
…
,xn，n为输入信号的数量)的数据的级联的个体向量以及包括包含多个不同输出信号(o1,
…
,op，p为来自模型的输出信号的数量)的数据的级联的个体向量的相应输出向量的例子。
[0172]
类似地，我们可将来自助听器处理的信息(图5中的虚线)安排为向量(具有包含跨频率的信息的元素)。一些有关和有用信息的例子可以是在给定时间l’跨不同频率k施加的
降噪量n(k,l)和关于所施加的增益的信息g(k,l’)、输入信号电平l(k,l’)等。这些值也可级联为向量和/或矩阵。
[0173]
来自机器学习模型的输出(图5中的虚线)可以是声学信息，例如跨频率的环路增益、当前声音环境等。这些可作为有监督的学习训练的一部分进行训练。
[0174]
不同类型的网络可用于训练机器学习模型，例如密集神经网络、卷积神经网络和循环神经网络如门控循环单元(gated recurrent unit，gru)或其组合。
[0175]
训练网络的另一种方法可以是使用增强学习方法。
[0176]
提出了用在听力装置如助听器的反馈控制系统中的(例如通过神经网络实施的)机器学习模型的训练方法。这在图8a中示出。训练使用通过听力装置如助听器的计算机仿真提供的合成信号进行。
[0177]
合成输入数据可表示
[0178]-由输入变换器提供的电输入信号外部部分；
[0179]-从输出变换器传播到输入变换器的电输入信号反馈部分；及
[0180]-通过电输入信号的反馈校正版本的处理提供的处理后的信号。
[0181]
合成输出数据可表示至少一电输入信号的反馈校正版本。
[0182]
合成输出数据还可表示提供到输出变换器用于呈现给用户的输出信号。
[0183]
合成输入数据还可表示关于应用于至少一电输入信号的反馈校正版本的一个或多个处理算法的信息。
[0184]
合成输出数据还可表示向一个或多个处理算法提供输入的参数。
[0185]
训练过程可涉及使用一个或多个“损失函数”(或“价值函数”)，即将在网络训练期间进行优化(例如最小化或最大化)的函数。可预见许多这样的函数，包括：
[0186]-网络补偿的信号与理想信号的复stft之间的均方误差(mean-squared error，mse)；
[0187]-经变换的stft的mse，例如对数-幅度-stft；
[0188]-更概念导向的损失函数(例如语音可懂度度量，例如短时客观可懂度(short-time objective intelligibility，stoi)、语音可懂度指数(speech intelligibility index，sii)、助听器语音感知指数(hearing aid speech perception index，haspi)等)。
[0189]
图8b示出了用在助听器的反馈控制系统中的机器学习模型的训练方法的另一实施例。
[0190]
助听器包括：
[0191]-用于将用户周围环境中的输入声音转换为表示所述输入声音的至少一电输入信号的至少一输入变换器；
[0192]-用于将根据至少一电输入信号提供的输出信号转换为可由用户感知为声音的刺激的输出变换器；
[0193]
其中所述输入声音包括外部声音以及由所述输出变换器产生并经反馈通路泄漏到所述输入变换器的反馈声音，其中所述至少一电输入信号类似地包括源自所述外部声音的外部部分以及源自所述反馈声音的反馈部分；
[0194]-用于使所述至少一电输入信号的所述反馈部分最小化并至少提供所述至少一电输入信号的反馈校正版本的反馈控制系统；及
[0195]-配置成将一个或多个处理算法应用于所述至少一电输入信号的所述反馈校正版本并根据其提供处理后的信号的音频信号处理器。
[0196]
该方法包括用合成输入数据和合成输出数据训练机器学习模型，合成输入数据至少表示所述至少一电输入信号的所述外部部分、所述至少一电输入信号的所述反馈部分、及所述处理后的信号，合成输出数据至少表示至少一电输入信号的所述反馈校正版本。
[0197]
合成输出数据还可表示提供到输出变换器用于呈现给用户的输出信号。
[0198]
合成输入数据还可表示关于应用于至少一电输入信号的反馈校正版本的一个或多个处理算法的信息。
[0199]
合成输出数据还可表示向一个或多个处理算法提供输入的参数。
[0200]
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
[0201]
本发明的实施例如可用在其中可预期声学反馈的电子设备中。
[0202]
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
[0203]
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
[0204]
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
[0205]
参考文献
[0206]
·
ep3139636a1(oticon,bernafon)08.03.2017.
[0207]
·
ep3291581a2(oticon)07.03.2018.
[0208]
·
ep3236675a1(starkey)25.10.2017.