用于使用声音质量的估计和控制的源分离的装置和方法与流程

1.本发明涉及音频信号的源分离，尤其涉及分离的输出信号的声音质量的信号自适应控制，以及尤其涉及一种利用声音质量的估计和控制进行源分离的装置和方法。


背景技术：

2.在源分离中，输出信号的质量会下降，并且这种下降会随着干扰信号的衰减而单调增加。
3.过去已经进行了音频信号的源分离。
4.音频信号的源分离的目的在于在给定混合信号x(n)的情况下获得的目标信号s(n)，
5.x(n)＝s(n) b(n)
ꢀꢀꢀ
(1)
6.其中b(n)包括所有干扰信号并且在下文中被称为“干扰信号”。分离的输出h(
·
)是目标信号的估计，
[0007][0008]
并且可能额外估计干扰信号
[0009][0010]
这种处理通常会在输出信号中引入伪迹，从而降低声音质量。声音质量的这种下降随着分离量、干扰信号的衰减而单调增加。许多应用不需要完全分离而是部分增强，干扰声音被衰减但仍然存在于输出信号中。
[0011]
这具有附加的好处，即声音质量高于完全分离的信号，因为引入的伪迹更少，并且干扰信号的泄漏部分掩盖了感知的伪迹。
[0012]
部分掩蔽音频信号意味着其响度(例如，其感知强度)部分降低。此外可能希望和要求的是，输出的声音质量不会低于定义的声音质量级别，而不是实现大的衰减。
[0013]
这种应用的例子是对话增强。电视和无线电广播以及电影声音中的音频信号通常是语音信号和背景信号的混合，例如环境声音和音乐。当这些信号混合使得语音的级别与背景的级别相比太低时，听者可能难以理解所说的内容，或者需要非常高的收听努力才能理解，这导致听者疲劳。自动降低背景的级别的方法可用于此类场景，但结果应该是高声音质量。
[0014]
现有技术中存在各种用于源分离的方法。现有技术中已经讨论了从混合信号中分离目标信号。这些方法可以分为两种方法。第一类方法基于关于信号模型和/或混合模型的公式化假设。信号模型描述了输入信号的特性，这里是s(n)和b(n)。混合模型描述了如何组合输入信号以产生混合信号x(n)的特性，这里是通过加法。
[0015]
基于这些假设，分析或启发式地设计方法。例如，独立分量分析的方法可以通过假设混合包括两个统计独立的源信号导出，混合已被两个麦克风捕获，并且混合是通过将两个信号相加(产生瞬时混合)来推导出来的。然后混合的逆过程在数学上导出为混合矩阵的
求逆，并且根据指定的方法计算此解混合矩阵的元素。大多数分析导出的方法是通过将分离问题公式化为标准的数值优化而导出的，例如真实目标与估计目标之间的均方误差。
[0016]
第二类是数据驱动的。这里，估计的目标信号的表示，或者估计用于从输入混合中检索目标信号的一组参数。此估计基于已在一组训练数据上训练的模型，因此称为“数据驱动”。此估计是通过优化标准得出的，例如给定训练数据，通过最小化真实目标与估计目标之间的均方误差。此类别的示例是人工神经网络(ann)，人工神经网络(ann)已被训练为在给定语音信号和干扰信号的混合情况下输出语音信号的估计。在训练期间，人工神经网络的可调参数被确定，从而优化为一组训练数据计算的性能标准——在整个数据集上是平均的。
[0017]
关于源分离，在均方误差意义上最佳或相对于任何其他数值标准最佳的解决方案不一定是人类听者首选的具有最高声音质量的解决方案。
[0018]
第二个问题源于这样一个事实，即源分离总是会导致两种效果，第一是所需的干扰声音的衰减，第二是不希望的声音质量下降。两种效应是相关的，例如增加想要的效果会增加不想要的效果。最终目的是控制两者之间的权衡。
[0019]
可以估计声音质量，例如，通过听力测试或通过声音质量的计算模型来量化。声音质量有多个方面，以下称为声音质量分量(sqc)。
[0020]
例如，声音质量由感知的伪迹的强度决定(这些是由信号处理引入的信号分量，例如源分离，并且会降低声音质量)。
[0021]
或者，例如，声音质量由干扰信号的感知强度确定，或者例如由语音可懂度(intelligibility)(当目标信号是语音时)，或者例如由整体声音质量确定。
[0022]
存在各种声音质量的计算模型，它们计算(估计)声音质量分量q
m
，1≤m≤m，其中m表示声音质量分量的数量。
[0023]
这种方法通常在给定目标信号和目标信号的估计值的情况下估计声音质量分量，
[0024][0025]
或者，在还给定干扰信号的情况下，
[0026][0027]
在实际应用中，目标信号s(n)(和干扰信号b(n))是不可用的，否则就不需要分离。当只有输入信号x(n)和目标信号的估计可用时，使用这些方法无法计算声音质量分量。
[0028]
在现有技术中，已经描述了用于估计包括可懂度在内的声音质量方面的不同计算模型。
[0029]
盲源分离评估(bsseval)(参见[1])是一种多标准性能评估工具箱。估计的信号通过正交投影分解为目标信号分量、来自其他源的干扰和伪影。指标计算为这些分量的能量比并以db表示。它们是：源失真比(sdr)、源干扰比(sir)和源伪迹比(sar)。
[0030]
音频源分离的感知评估方法(peass)(参见[2])被设计为bsseval的感知驱动的继承者。信号投影是在时间段上进行的，并使用伽马色调滤波器组。
[0031]
pemo
‑
q(参见[3])用于提供多种特征。使用经过主观评分训练的神经网络从这些特征中获得四个感知分数。分数是：总体感知分数(ops)、干扰相关感知分数(ips)、伪迹相
关感知分数(aps)和目标相关感知分数(tps)。
[0032]
音频质量感知评估(peaq)(参见[4])是为音频编码设计的度量。它采用外周耳模型来计算参考信号和测试信号的基底膜表示。这些表示之间的差的方面由几个输出变量量化。通过用主观数据训练的神经网络，将这些变量组合起来给出主要输出，例如整体差等级(odg)。
[0033]
语音质量感知评估(pesq)(参见[5])是为通过电信网络传输的语音而设计的度量标准。因此，此方法包括模拟手机的预处理。根据信号的特定响度计算可听干扰的测量，并在pesq分数中组合。从中可以通过多项式映射函数预测mos分数(参见[6])。
[0034]
visqolaudio(参见[7])是一种设计用于以低位率编码的音乐的度量，由虚拟语音质量客观听者(visqol)开发。这两个度量都基于外周听觉系统模型，以创建称为神经图的信号的内部表示。这些是经由结构相似性指标的适应进行比较的，此指标最初是为评估压缩图像的质量而开发的。
[0035]
助听器音频质量指标(haaqi)(参见[8])是旨在预测个人通过助听器收听的音乐质量的指标。此指标基于听觉外围模型，扩展到包括听力损失的影响。这适用于听力正常或听力受损的听者做出的质量评级的数据库。听力损失模拟可以被绕过，此指标也对听力正常的人有效。基于相同的听觉模型，haaqi的作者还提出了语音质量的指标，助听器语音质量指标(hasqi)(参见[9])和语音可懂度的指标，助听器语音感知指标(haspi)(参见[10])。
[0036]
短时客观可懂度(stoi)(参见[11])是一种预期与平均语音可懂度具有单调关系的测量。它特别处理由某种类型的时频权重处理的语音。
[0037]
在[12]中，训练人工神经网络以仅在给定输入信号和输出估计的目标信号的情况下估计源失真比，其中源失真比的计算通常也将真实目标和干扰信号作为输入。分离算法的池在同一输入信号上并行运行。源失真比估计用于为每个时间帧从具有最佳源失真比的算法选择输出。因此，没有制定对声音质量与分离之间的权衡的控制，并且没有提出对分离算法的参数的控制。此外，使用了源失真比，它不是感知驱动的，并且与感知质量的相关性很差，例如在[13]中。
[0038]
此外，最近有一些关于通过监督学习进行语音增强的工作，其中声音质量分量估计被集成到成本函数中，而传统上，语音增强模型是基于估计语音与干净语音之间的均方误差(mse)进行优化的。例如，在[14]、[15]、[16]中使用了基于stoi而不是mse的成本函数。在[17]中使用了基于pesq或peass的强化学习。然而，无法控制声音质量与分离之间的权衡。
[0039]
在[18]中提出了一种音频处理设备，其中将可听度测量与伪迹识别测量一起使用，以便控制由处理应用的时频增益。这是为了提供，例如，在不引入伪迹的约束下，降噪量处于最大水平，声音质量与分离之间的权衡是固定的。此外，此系统不涉及监督学习。为了识别伪迹，使用了峰态比，这是一种直接比较输出和输入信号(可能在不存在语音的片段中)的测量，而无需真实目标和干扰信号。可听度测量丰富了这个简单的测量方法。


技术实现要素：

[0040]
本发明的目的是提供用于源分离的改进概念。本发明的目的通过根据权利要求1的装置、根据权利要求16的方法和根据权利要求17的计算机程序来解决。
[0041]
提供了一种用于从音频输入信号生成分离的音频信号的装置。音频输入信号包括目标音频信号部分和残差音频信号部分。残差音频信号部分指示音频输入信号与目标音频信号部分之间的残余。此装置包括源分离器、确定模块和信号处理器。源分离器被配置为确定取决于音频输入信号的估计的目标信号，估计的目标信号是仅包括目标音频信号部分的信号的估计。确定模块被配置为根据估计的目标信号的估计声音质量确定一个或多个结果值以获得一个或多个参数值，其中一个或多个参数值是一个或多个结果值、或者取决于一个或多个结果值。信号处理器被配置为根据一个或多个参数值、以及根据估计的目标信号和音频输入信号和估计的残差信号中的至少一个来生成分离的音频信号，估计的残差信号是仅包括残差音频信号部分的信号的估计。
[0042]
此外，提供了一种用于从音频输入信号生成分离的音频信号的方法。音频输入信号包括目标音频信号部分和残差音频信号部分。残差音频信号部分指示音频输入信号与目标音频信号部分之间的残余。此方法包括：
[0043]
‑
确定取决于音频输入信号的估计的目标信号，估计的目标信号是仅包括目标音频信号部分的信号的估计。
[0044]
‑
根据估计的目标信号的估计声音质量确定一个或多个结果值以获得一个或多个参数值，其中一个或多个参数值是一个或多个结果值、或者取决于一个或多个结果值。
[0045]
以及：
[0046]
‑
根据一个或多个参数值、以及根据估计的目标信号和音频输入信号和估计的残差信号中的至少一个来生成分离的音频信号，估计的残差信号是仅包括残差音频信号部分的信号的估计。
[0047]
此外，提供了一种用于在计算机或信号处理器上执行时实现上述方法的计算机程序。
附图说明
[0048]
下面结合附图对本发明的实施例进行更详细的描述，其中：
[0049]
图1a示出了根据实施例的用于从音频输入信号生成分离的音频信号的装置，
[0050]
图1b示出了根据另一个实施例的用于生成分离的音频信号的装置，此装置进一步包括人工神经网络，
[0051]
图2示出了根据实施例的装置，其被配置为使用声音质量的估计并且被配置为进行后处理，
[0052]
图3示出了根据另一实施例的装置，其中进行后处理参数的直接估计，
[0053]
图4示出了根据进一步实施例的装置，其中进行声音质量和二次分离的估计，以及
[0054]
图5示出了根据另一实施例的装置，其中进行了分离参数的直接估计。
具体实施方式
[0055]
图1a示出了根据实施例的用于从音频输入信号生成分离的音频信号的装置。音频输入信号包括目标音频信号部分和残差音频信号部分。残差音频信号部分指示音频输入信号与目标音频信号部分之间的残余。
[0056]
此装置包括源分离器110、确定模块120和信号处理器130。
[0057]
源分离器110被配置为确定取决于音频输入信号的估计的目标信号，估计的目标信号是仅包括目标音频信号部分的信号的估计。
[0058]
确定模块120被配置为根据估计的目标信号的估计声音质量确定一个或多个结果值以获得一个或多个参数值，其中一个或多个参数值是一个或多个结果值、或者取决于一个或多个结果值。
[0059]
信号处理器130被配置为根据一个或多个参数值并且根据估计的目标信号和音频输入信号和估计的残差信号中的至少一个来生成分离的音频信号。估计的残余信号是仅包括残差音频信号部分的信号的估计。
[0060]
可选地，在实施例中，确定模块120例如可以被配置为根据估计的目标信号、以及根据音频输入信号和估计的残差信号中的至少一个来确定一个或多个结果值。
[0061]
实施例使用监督学习提供对声音质量与分离之间的权衡的感知激励和信号自适应控制。这可以通过两种方式实现。第一种方法估计输出信号的声音质量并使用此估计来适应分离的参数或分离信号的后处理。在第二实施例中，回归方法直接输出控制参数，使得输出信号的声音质量满足预定要求。
[0062]
根据实施例，对分离的输入信号和输出信号进行分析以产生对声音质量q
m
的估计，并且基于q
m
确定处理参数使得输出的声音质量(当使用确定的处理参数时)不低于定义的质量值。
[0063]
在一些实施例中，分析在(9)中输出质量测量q
m
。根据质量测量，计算以下公式(13)中的控制参数p1(例如，缩放因子)，并通过混合初始输出和输入获得如下公式(13)中的最终输出。计算p1＝f(q
m
)可以迭代地或通过回归来完成，从一组训练信号中学习回归参数，参见图2。在实施例中，代替缩放因子，控制参数可以例如，是平滑参数等。
[0064]
在一些实施例中，分析直接产生(13)中的控制参数p1，见图3。
[0065]
图4和图5定义了进一步的实施例。
[0066]
一些实施例在后处理步骤中实现对声音质量的控制，如下所述。
[0067]
可以独立于分离方法应用这里描述的实施例的子集。这里描述的一些实施例控制分离过程的参数。
[0068]
使用频谱加权的源分离处理时频域或短时频谱域中的信号。输入信号x(n)通过短时傅立叶变换(stft)进行变换或通过滤波器组进行处理，产生复值stft系数或子带信号x(m,k)，其中m表示时间帧索引，k表示频率二进制位索引或子带索引。所需信号的复值stft系数或子带信号为s(m,k)，干扰信号的复值stft系数或子带信号为b(m,k)。
[0069]
分离的输出信号通过频谱加权计算为
[0070][0071]
其中频谱权重g(m,k)按元素与输入信号相乘。目的是衰减x(m,k)中干扰b(m,k)较大的元素。为此，可以基于目标的估计或干扰的估计或信号干扰比的估计来计算频谱权重，例如，
[0072][0073]
或者
[0074][0075]
其中a和c是控制分离的参数。例如，增加c会导致干扰的衰减更大，但也会导致声音质量的更大下降。频谱权重可以进一步修改，例如通过阈值化使得g大于阈值。修改后的增益g
m
计算为
[0076][0077]
增加阈值v会减少干扰的衰减并减少声音质量的潜在下降。
[0078]
所需的量(目标或干扰或信号干扰比)的估计是这些方法的核心，过去已经开发了各种估计方法。它们遵循上述两种方法之一。
[0079]
然后使用stft或滤波器组的逆处理计算输出信号
[0080]
下面，描述根据实施例的使用目标信号的估计的源分离。
[0081]
目标信号的表示也可以直接从输入信号中估计出来，例如通过人工神经网络。最近提出了各种方法，其中训练人工神经网络来估计目标时间信号，或其stft系数，或stft系数的大小。
[0082]
关于声音质量，通过应用监督学习模型g(
·
)获得声音质量分量(sqc)来估计这些计算模型的输出，
[0083][0084]
监督学习方法g(
·
)是通过以下方式实现的：
[0085]
1.使用可训练参数、n
i
个输入变量和n
o
个输出变量配置监督学习模型g(
·
)，
[0086]
2.使用目标s(n)和混合x(n)的示例信号生成数据集，
[0087]
3.通过源分离计算目标信号的估计，
[0088]
4.根据(9)或(10)通过声音质量的计算模型从获得的信号计算声音质量分量q
m
，
[0089]
5.训练监督学习模型g(
·
)使其输出估计给定估计目标(源分离的输出)和混合x(n)的相应示例信号。可替代地，训练监督学习模型g(
·
)使其输出估计给定和(如果)。
[0090]
6.在应用中，训练模型被输入估计目标(源分离的输出)，估计目标使用源分离方法与混合x(n)一起从混合x(n)获得。
[0091]
提供了用于对分离的输出信号进行质量控制的监督学习方法的应用。
[0092]
在下文中，描述了根据实施例的使用监督学习的声音质量的估计。
[0093]
图1b示出了实施例，其中确定模块120包括人工神经网络125。人工神经网络125可以例如被配置为根据估计的目标信号确定一个或多个结果值。人工神经网络125可以例如被配置为接收多个输入值，多个输入值中的每一个取决于所述估计的目标信号和所述估计的残差信号和所述音频输入信号中的至少一个。人工神经网络125可以例如被配置为将一个或多个结果值确定为人工神经网络125的一个或多个输出值。
[0094]
可选地，在实施例中，人工神经网络125可以例如被配置为根据所述估计的目标信号、以及所述音频输入信号和估计的残差信号中的至少一个来确定一个或多个结果值。
[0095]
在实施例中，多个输入值中的每一个可以例如取决于所述估计的目标信号和所述估计的残差信号和所述音频输入信号中的至少一个。一个或多个结果值可以例如指示估计的目标信号的估计声音质量。
[0096]
根据实施例，多个输入值中的每一个可以例如取决于所述估计的目标信号和所述估计的残差信号和所述音频输入信号中的至少一个。一个或多个结果值可以例如是一个或多个参数值。
[0097]
在实施例中，人工神经网络125可以例如被配置为通过接收多个训练集来训练，其中多个训练集中的每一个包括人工神经网络125的多个输入训练值和人工神经网络125的一个或多个输出训练值，其中多个输出训练值中的每一个可以例如取决于训练目标信号和训练残差信号和训练输入信号中的至少一个，其中每个或多个输出训练值可以例如取决于训练目标信号的声音质量的估计。
[0098]
在实施例中，对声音质量分量的估计是通过使用监督学习模型(slm)的监督学习获得的，例如人工神经网络(ann)125。人工神经网络125可以是例如全连接的人工神经网络125，其包括具有a个单元的输入层、至少一个具有每个至少两个单元的输入层的隐藏层，以及具有一个或多个单元的输出层。
[0099]
监督学习模型可以实现为回归模型或分类模型。回归模型在输出层中的一个单元的输出处估计一个目标值。可替代地，通过将输出值量化为至少3个步骤并使用具有c个单元的输出层，其中c等于量化步骤的数量，可以将回归问题表述为分类问题。
[0100]
对于每个量化步骤，使用一个输出单元。
[0101]
监督学习模型首先使用包含混合信号x、估计目标和声音质量分量q
m
的多个示例的数据集进行训练，其中声音质量分量是从估计目标和例如真实目标s计算的。数据集的一项由表示。监督学习模型的输出在这里用q
i
表示。
[0102]
输入层a中的单元的数量对应于输入值的数量。模型的输入是根据输入信号计算出来的。每个信号都可以通过时频变换的滤波器组进行可选的处理，例如短期傅里叶变换(stft)。例如，可以通过连接从x
i
和的d个相邻帧计算的stft系数来构建输入，其中d＝3或d＝7。b为每帧频谱系数的总数，输入系数的总数为2
·
b
·
d。
[0103]
人工神经网络125的每个单元将其输出计算为输入值的线性组合，然后可选地用非线性压缩函数进行处理，
[0104][0105]
其中u表示单个神经元的输出，v
i
表示个输入值，w
i
表示线性组合的k个权重，o
i
表示k个附加偏项。对于第一隐藏层中的单元，输入值k的数量等于输入系数d的数量。所有w
i
和o
i
都是在训练过程中确定的人工神经网络125的参数。
[0106]
一层的单元连接到下一层的单元，前一层单元的输出是下一层单元的输入。
[0107]
训练是通过使用数值优化方法最小化预测误差来进行的，例如梯度下降法。单个项目的预测误差是差值的函数。整个数据集或用作优化标准的数据集的子集的预测误差是例如均方误差mse或平均绝对误差mae，其中n表示数据集中的项目的数量。
[0108][0109][0110]
如果其他误差度量是e
i
的单调函数并且是可微的，则它们对于训练是可行的。此外，还存在用于构建人工神经网络的其他结构和元素，例如卷积神经网络层或循环神经网络层。
[0111]
所有这些都有一个共同点，它们实现了从多维输入到一维或多维输出的映射，其中映射函数由一组参数(例如w
i
和o
i
)控制，这些参数在训练过程中通过优化标量标准来确定。
[0112]
训练后，给定混合，监督学习模型可用于估计未知估计目标的声音质量，而无需真实目标s。
[0113]
关于声音质量的计算模型，用于估计声音质量方面(包括可懂度)的不同计算模型已经成功地用于根据实施例的实验中，诸如在[1]
‑
[11]中描述的计算模型，特别是盲源分离评估(bsseval)(见[1])，音频源分离的感知评估方法(peass)(见[2])，pemo
‑
q(见[3])，音频质量的感知评估(peaq)(见[4])、语音质量的感知评估(pesq)(见[5]和[6])、visqolaudio(见[7]、助听器音频质量指标(haaqi)(参见[8])、助听器语音质量指标(hasqi)(见[9)，助听器语音感知指标(haspi)(见[10])和短时客观可懂度(stoi)(见[11])。
[0114]
因此，根据实施例，训练目标信号的声音质量的估计可以例如取决于声音质量的一个或多个计算模型。
[0115]
例如，在实施例中，对训练目标信号的声音质量的估计可以例如取决于以下声音质量的计算模型中的一个或多个：
[0116]
盲源分离评估，
[0117]
对于音频源分离的感知评估方法，
[0118]
音频质量的感知评估，
[0119]
语音质量的感知评估，
[0120]
虚拟语音质量客观听者音频，
[0121]
助听器音频质量指标，
[0122]
助听器语音质量指标，
[0123]
助听器语音感知指标，以及
[0124]
短期客观可懂度。
[0125]
声音质量的其他计算模型也可以例如用于其他实施例中。
[0126]
下面描述声音质量的控制。
[0127]
可以通过估计声音质量分量并基于声音质量分量估计计算处理参数来实现对声音质量的控制，也可以直接估计最优处理参数使得声音质量分量满足目标值q0(或不低于目标值)。
[0128]
上面已经描述了声音质量分量的估计。以类似的方式，可以通过使用最佳处理参
为控制参数，其中n为索引。
[0149]
在给定声音质量和目标质量测量q0的估计情况下，计算此参数，
[0150][0151]
例如，此函数f可以是迭代扩展搜索，如下面的伪代码所示。
[0152][0153]
可替代地，关系可以计算为
[0154]
1.为一组值p
k
计算
[0155]
2.通过内插和外推计算的剩余值。
[0156]
例如，当处理参数p如等式(13)中那样控制后处理时，是针对固定数量的p1值计算的，例如的相对放大倍数分别为18、12和6db。
[0157]
因此，映射是近似的并且可以选择
[0158]
总之，在实施例中，信号处理器130可以例如被配置为通过确定分离的音频信号的第一版本并且通过修改分离的音频信号一次或多次生成分离的音频信号以获得分离的音频信号的一个或多个中间版本。确定模块120可以例如被配置为根据分离的音频信号的一个或多个中间值之一来修改声音质量值。信号处理器130可以例如被配置为，如果声音质量值大于或等于定义的质量值则停止修改分离的音频信号。
[0159]
图3示出了根据另一实施例的装置，其中进行后处理参数的直接估计。
[0160]
首先应用分离。分离的信号是参数估计模块(pem)的输入。估计的参数用于控制后处理。pem已被训练为直接从分离的信号和输入信号x(n)中估计p(n)。这意味着等式14中的操作移至训练阶段，训练回归方法以估计而不是因此，学习以下函数。
[0161][0162]
很明显，与上述过程相比，此过程具有需要较少计算的优点。这是以灵活性较低为代价的，因为模型是针对q0的固定设置进行训练的。但是，可以在不同的q0值上训练多个模
型。这样，可以保留最终选择q0的灵活性。
[0163]
在实施例中，信号处理器130可以例如被配置为根据一个或多个参数值并且根据估计的目标信号的后处理来生成分离的音频信号。
[0164]
图4示出了根据进一步实施例的装置，其中进行声音质量和二次分离的估计。
[0165]
首先应用分离。分离的信号是qem的输入。估计的声音质量分量用于计算一组用于控制二次分离的参数。二次分离z(n)的输入是输入信号x(n)或第一分离的输出，的输出，的线性组合，其中a和b是加权参数或第一次分离的中间结果。
[0166]
因此，在这样的实施例中，信号处理器130可以例如被配置为根据一个或多个参数值并且根据估计的目标信号与音频输入信号的线性组合来生成分离的音频信号，或者信号处理器130可以例如被配置为根据一个或多个参数值并且根据估计的目标信号与估计的残差信号的线性组合来生成分离的音频信号。
[0167]
用于控制二次分离的合适参数是例如修改频谱权重的参数。
[0168]
图5示出了根据另一实施例的装置，其中进行了分离参数的直接估计。
[0169]
首先应用分离。分离的信号是pem的输入。估计的参数控制二次分离。
[0170]
二次分离z(n)的输入是输入信号x(n)或第一分离的输出，的线性组合，其中a和b是加权参数或第一次分离的中间结果。
[0171]
例如，控制以下参数：a和c来自上述等式(5)、(6)和v。
[0172]
关于根据实施例的迭代处理，图4和图5描绘了具有一次迭代的迭代处理。一般来说，这可以重复多次，并实现循环中。
[0173]
迭代处理(中间没有质量估计)与连接多个分离的其他先前方法非常相似。
[0174]
例如，这种方法可能适用于组合多种不同的方法(这比重复一种方法要好)。
[0175]
尽管已经在装置的上下文中描述了一些方面，但很明显，这些方面也代表了相应方法的描述，其中块或设备对应于方法步骤或方法步骤的特征。类似地，在方法步骤的上下文中描述的方面也表示相应装置的相应块或项目或特征的描述。一些或所有方法步骤可以通过(或使用)硬件装置来执行，例如微处理器、可编程计算机或电子电路。在一些实施例中，一个或多个最重要的方法步骤可以由这样的装置执行。
[0176]
根据某些实施要求，本发明的实施例可以以硬件或以软件或至少部分以硬件或至少部分以软件来实施。实现可以使用数字存储介质来执行，例如软盘、dvd、蓝光、cd、rom、prom、eprom、eeprom或闪存，具有存储的电子可读控制信号在其上，它们与可编程计算机系统协作(或能够协作)从而执行相应的方法。因此，数字存储介质可以是计算机可读的。
[0177]
根据本发明的一些实施例包括具有电子可读控制信号的数据载体，控制信号能够与可编程计算机系统协作，从而执行本文所述的方法之一。
[0178]
通常，本发明的实施例可以实现为具有程序代码的计算机程序产品，当计算机程序产品在计算机上运行时，此程序代码可操作用于执行方法之一。程序代码可以例如存储在机器可读载体上。
[0179]
其他实施例包括存储在机器可读载体上的用于执行本文描述的方法之一的计算机程序。
[0180]
换句话说，本发明方法的实施例因此是具有程序代码的计算机程序，当计算机程
telephone networks and speech codecs,”2001.
[0196]
[6]itu
‑
t rec.p.862.1,“mapping function for transforming p.862raw results scores to mos
‑
lqo,”2003.
[0197]
[7]a.hines,e.gillen et al.,“visqolaudio:an objective audio quality metric for low bitrate codecs,”j.acoust.soc.am.,vol.137,no.6,2015.
[0198]
[8]j.m.kates and k.h.arehart,“the hearing
‑
aid audio quality index(haaqi),”ieee trans.audio,speech and language process.,vol.24,no.2,2016,evaluation code kindly provided by prof.j.m.kates.
[0199]
[9]j.m.kates and k.h.arehart,“the hearing
‑
aid speech quality index(hasqi)version 2,”journal of the audio engineering society,vol.62,no.3,pp.99
–
117,2014.
[0200]
[10]j.m.kates and k.h.arehart,“the hearing
‑
aid speech perception index(haspi),”speech communication,vol.65,pp.75
–
93,2014.
[0201]
[11]c.taal,r.hendriks,r.heusdens,and j.jensen,“an algorithm for intelligibility prediction of time
‑
frequency weighted noisy speech,”ieee trans.audio,speech and language process.,vol.19,no.7,2011.
[0202]
[12]e.manilow,p.seetharaman,f.pishdadian,and b.pardo,“predicting algorithm efficacy for adaptive multi
‑
cue source separation,”in applications of signal processing to audio and acoustics(waspaa),2017 ieee workshop on,2017,pp.274
–
278.
[0203]
[13]m.cartwright,b.pardo,g.j.mysore,and m.hoffman,“fast and easy crowdsourced perceptual audio evaluation,”in acoustics,speech and signal processing(icassp),2016 ieee international conference on,2016.
[0204]
[14]s.
‑
w.fu,t.
‑
w.wang,y.tsao,x.lu,and h.kawai,“end
‑
to
‑
end waveform utterance enhancement for direct evaluation metrics optimization by fully convolutional neural networks,”ieee/acm transactions on audio,speech and language processing(taslp),vol.26,no.9,2018.
[0205]
[15]y.koizumi,k.niwa,y.hioka,k.koabayashi,and y.haneda,“dnn
‑
based source enhancement to increase objective sound quality assessment score,”ieee/acm transactions on audio,speech,and language processing,2018.
[0206]
[16]y.zhao,b.xu,r.giri,and t.zhang,“perceptually guided speech enhancement using deep neural networks,”in acoustics,speech and signal processing(icassp),2018 ieee international conference on,2018.
[0207]
[17]y.koizumi,k.niwa,y.hioka,k.kobayashi,and y.haneda,“dnn
‑
based source enhancement self
‑
optimized by reinforcement learning using sound quality measurements,”in acoustics,speech and signal processing(icassp),2017 ieee international conference on,2017.
[0208]
[18]j.jensen and m.s.pedersen,“audio processing device comprising artifact reduction,”us patent us 9,432,766 b2,aug.30,2016.