用于调节语音信号的播放速度的方法和装置与流程

1.本发明涉及语音信号、例如播客或有声书的播放。尤其是，本发明涉及用于适配语音信号的播放速度的方法和对应的装置。


背景技术：

2.用户可以利用sw(软件)应用在车辆中或在智能手机上播放语音信号(例如播客或有声书)。在此，对于用户能够实现修改播放语音信号的播放速度，尤其是以便降低用于倾听语音信号所需要的时间。用户在此可以通过播放设备的用户界面确定特定的速度系数，语音信号的播放速度以所述速度系数提高或降低。


技术实现要素：

3.用于确定播放速度的速度系数典型地必须由用户通过试验确定。这对于用户而言相对复杂并且不舒服。本文致力于如下技术任务：对于用户提高在播放语音信号、例如有声书或播客时的舒适性。
4.所述任务通过每个独立权利要求解决。有利的实施形式主要在从属权利要求中描述。要指出的是，从属于独立权利要求的权利要求的附加特征在没有独立权利要求的特征的情况下或仅结合独立权利要求的部分特征可以形成单独的并且独立于独立权利要求的全部特征组合的发明，其可以成为独立权利要求、分案申请或在后申请的主题。这以相同的方式适用于在说明书中描述的技术教导，其可以形成独立于独立权利要求的特征的发明。
5.按照一个方面，描述一种用于确定或用于调节或用于适配用于播放语音信号的播放速度的装置。在此，所述语音信号可以包括以特定语言说的词的序列。所述装置可以配置用于在播放语音信号期间改变播放速度。尤其是，所述装置可以配置用于，对于语音信号的不同片段(其中，每个片段分别包括一个或多个说的词)分别确定片段特定的播放速度和/或为了播放而利用片段特定的播放速度(其中，用于不同片段的播放速度可以是不同的)。
6.所述装置配置用于，确定关于要播放的语音信号的内容信息。所述内容信息在此可以显示关于语音信号复杂性的信息。备选或补充地，所述内容信息可以显示关于语音信号内容和/或关于语音信号语义的信息。所述装置可以配置用于实施语音信号的语义分析和/或语音分析，以便确定所述内容信息。
7.内容信息可以显示和/或可以关联：语音信号的说话者的说话速度(例如以词/时间单位测量或以音节/时间单位测量)；语音信号的句子的句法复杂性(例如以在语音信号中的句子的平均长度测量)；至少一个在语音信号中使用的词的复杂性(例如借助如下频率测量，所述词典型地以所述频率在特定的语言中使用)；语音信号的语言；语音信号的(说话者)的口音和/或方言；在语音信号内的不同说话者的数量；和/或语音信号的声学质量。
8.所述内容信息在此可以显示对于语音信号的相继的片段的顺序或序列的上述信息。在此，可以个性化地针对语音信号的每个单个的片段确定上述信息。一个片段例如可以具有1至5秒的时间长度。
9.尤其是，所述装置可以配置用于，对于语音信号的片段在时间上相继的序列分别确定内容特征值作为内容信息。用于语音信号的片段的内容特征值在此可以分别与关于相应片段的上述信息相关(或基于关于相应片段的上述信息确定)。
10.所述装置此外配置用于，基于内容信息、尤其是基于由内容信息显示的关于语音信号的信息或基于内容特征值确定关于用于播放语音信号的播放速度的速度信息。尤其是，所述装置可以配置用于，以时变方式基于内容信息、例如基于所确定的内容特征值序列适配用于语音信号的片段序列的播放速度。所述速度信息可以直接包括播放速度和/或包括用于确定播放速度的速度系数。
11.所述装置尤其是可以配置用于，当语音信息显示语音信号对于听众具有比用于语音信号的标准复杂性更低的复杂性时，相对于用于播放语音信号的标准播放速度提高所述播放速度。这例如可以通过提高速度系数(到大于1的值)来实现。备选或补充地，所述装置可以配置用于，当语音信息显示语音信号对于听众具有比用于语音信号的标准复杂性更高的复杂性时，相对于标准播放速度降低所述播放速度。这例如可以通过降低速度系数(到小于1的值)来实现。所述标准播放速度可以对应于语音信号的记录速度。所述标准复杂性可以对应于于语音信号的如下复杂性，在该复杂性下听众会选择标准播放速度。
12.因此描述一种装置，其能够实现，将用于语音信号的播放速度以时变方式或者说在时间上可变的方式与要播放的语音信号的内容、尤其是复杂性适配。这样对于语音信号的听众能够提高舒适性。尤其是能够这样实现，使得听众能够以在时间上紧凑的并且总是可理解的方式倾听语音信号。
13.所述装置可以配置用于确定内容信息，所述内容信息显示语音信号复杂性在时间上的变化。例如可以对于语音信号的片段序列确定对应的内容特征值序列，其中，用于一个片段的内容特征值例如显示对应片段的复杂性。然后可以根据语音信号复杂性随时间在时间上的变化适配用于语音信号的速度信息、尤其是播放速度和/或速度系数。在此，可选地可以对语音信号的直接相继的片段的播放速度或速度系数进行低通滤波或插值，以便实现播放速度的持续适配。通过(连续地和/或持续地)适配播放速度，对于用户能够进一步提高舒适性。
14.所述装置可以配置用于确定关于语音信号的听众的用户信息。所述用户信息例如可以通过(播放设备的)用户界面确定或由听众输入。所述用户信息例如可以显示：听众的母语；听众的外语知识；听众的年龄；听众的专业知识；和/或听众的来源地。
15.然后也可以基于用户信息确定速度信息、尤其是播放速度和/或速度系数。尤其是，所述装置可以配置用于，基于内容信息并且基于用户信息确定语音信号对于听众是否具有高于或者低于用于语音信号的标准复杂性的复杂性。基于此，然后可以以特别精确的并且个性化的方式确定用于语音信号的速度信息、尤其是播放速度和/或速度系数。这样对于听众能够进一步提高舒适性。
16.所述装置可以配置用于基于内容信息确定速度系数、尤其是速度系数在时间上的变化。备选或补充地，可以提供速度系数(例如作为语音信号的元数据)。此外，所述装置可以配置用于，将速度系数、尤其是速度系数在时间上的变化与用于语音信号的标准播放速度相乘，以便确定用于语音信号的播放速度，尤其是以便确定该播放速度在时间上的变化。通过间接地经由速度系数确定或适配播放速度，能够进一步提高适配播放速度的质量。
17.所述装置可以配置用于，借助预先确定的函数确定用于语音信号的播放速度。所述函数在此可以构成用于，为内容信息的不同特性分别分配不同的播放速度或者不同的用于确定播放速度的速度系数。此外，所述函数可以包括机器学习的函数和/或(学习的)神经网络。通过在确定速度信息、尤其是播放速度和/或速度系数时考虑(分配)函数，能够进一步提高确定或适配播放速度的质量。
18.所述装置可以配置用于，以所确定的播放速度(例如通过播放设备的扬声器)播放语音信号。此外，所述装置可以配置用于，(例如通过播放设备的用户界面)确定关于所播放的语音信号的听众对播放速度的反馈的反馈信息。所述反馈信息尤其可以是显示听众感觉播放速度是否过高或者过低。
19.然后可以基于反馈信息适配用于确定播放速度的函数。所述函数因此能够个性化地针对听众进行学习。这样对于听众能够进一步提高舒适性。
20.所述装置可以配置用于从音频信号中提取语音信号，所述音频信号除了语音信号之外还包括与语音信号叠加的音乐信号。例如可以存储具有音乐信号的语音信号。语音信号的提取可以借助源分离算法实现。
21.所述装置此外可以配置用于，单独地和/或与音乐信号的播放速度无关地适配语音信号的播放速度。尤其是可选地可以保持不改变音乐信号的播放速度。
22.所述装置此外可以配置用于，将具有经适配的播放速度的语音信号与音乐信号叠加，以便确定经适配的音频信号。然后可以通过播放设备播放经适配的音频信号。因此能够实现选择性地适配在组合的音频信号内的语音信号的播放速度。这样对于听众能够进一步提高舒适性。
23.所述装置可以配置用于，这样改变语音信号的播放速度(偏离标准播放速度)，使得语音信号的频谱组成保持不变和/或使得语音信号的说话者的说话频率保持不变。这样对于听众能够进一步提高舒适性。
24.用于语音信号的速度信息、尤其是播放速度或速度系数可以直接(在线或在播放时)通过播放设备确定。备选或补充地，用于语音信号的速度信息、尤其是播放速度或速度系数可以(离线)预先通过服务器确定。然后可以将关于所确定的播放速度和/或关于速度系数的元数据与语音信号一起提供给播放设备。
25.按照另一方面描述一种音频播放设备，该音频播放设备包括在本文中所描述的装置。
26.按照另一方面描述一种(道路)机动车(尤其是轿车或货车或公共汽车或摩托车)，该机动车包括在本文中所描述的装置或在本文中所描述的音频播放设备。
27.按照另一方面描述一种用于确定关于用于播放语音信号的播放速度的速度信息的方法。所述方法包括确定关于要播放的语音信号的内容信息(其中，所述语音信号例如包括一系列由一个或多个说话者说的词)。所述内容信息可以关联或显示语音信号的内容、语义、语言和/或复杂性。
28.所述方法此外包括基于内容信息确定关于用于播放语音信号的播放速度(或关于用于适配播放速度的速度系数)的速度信息。
29.按照另一方面描述一种软件(sw)程序。所述sw程序可以配置用于在处理器上(例如在车辆的控制器或音频播放设备上)实施，并且以便由此实施在本文中所描述的方法。
30.按照另一方面描述一种存储介质。所述存储介质可以包括sw程序，所述sw程序配置用于在处理器上实施，并且以便由此实施在本文中所描述的方法。
31.要注意，在本文中所描述的方法、装置和系统不仅可以单独地而且可以组合其他在本文中所描述的方法、装置和系统使用。此外，在本文中所描述的方法、装置和系统的任何方面可以以多样化的方式相互组合。尤其是，权利要求的特征可以以多样化的方式相互组合。
附图说明
32.此外借助实施例详细描述本发明。在此：
33.图1示出具有用于播放语音信号的装置的示例性车辆；
34.图2示出音频信号的播放速度在时间上的示例性变化；以及
35.图3示出用于调节播放语音信号的播放速度的示例性方法的流程图。
具体实施方式
36.如开头所陈述的，本文致力于提高在播放语音信号、例如播客或有声书时的用户舒适性。就此而言，图1示出车辆100，所述车辆具有用于播放音频信号的装置101，所述音频信号可选地包括语音信号。装置101配置用于从信号源103(例如数据存储器、数据接收机或无线电接收机、cd等)获得音频信号、尤其是语音信号。
37.此外，装置101配置用于(例如在车辆100的内部空间105中)通过至少一个扬声器104播放音频信号。此外，装置101可以与用户界面102相互作用，所述用户界面使得用户例如能够选择要播放的音频信号和/或开始或停止音频信号的播放。
38.装置101此外可以配置用于确定用于播放音频信号的速度系数。所述速度系数例如可以通过用户界面102由用户确定。然后可以将音频信号标准的播放速度与速度系数相乘，以便确定音频信号的经适配的播放速度。然后可以以经适配的播放速度播放音频信号。在此可以这样适配播放速度，使得音频信号的频谱组成不因播放速度的改变而改变或不因播放速度的改变而显著改变。
39.图2示出用于音频信号的速度系数在时间上的不同变化210、220、230，
40.·
所述音频信号在时间区段1和8中包括音乐；
41.·
所述音频信号在时间区段2和4中包括静音；
42.·
所述音频信号在时间区段3、6和7中包括由第一说话者引起的第一语音信号；并且
43.·
所述音频信号在时间区段5和6中包括由第二说话者引起的第二语音信号。
44.装置101可以配置用于，将音频信号的标准播放速度与在时间上恒定的速度系数相乘(参见在时间上的变化210)。在该情况下，以在时间上恒定的方式(典型地在保持音频信号的频谱时)提高或降低播放速度。这样对于用户例如能够实现缩短用于播放音频信号的持续时间(例如以便能够较快速地从播客获取内容信息)。
45.装置101此外可以配置用于分析音频信号，以便将一个或多个区段2、4标识为静音。然后可以选择性地在具有静音的至少一个区段2、4中(例如通过提高速度系数)提高播放速度，以便尽可能快速地度过具有静音的区段2、4。这样能够进一步缩短用于播放音频信
号的持续时间(而不会影响用户的听觉体验)。图2示出速度系数的示例性的在时间上的变化220，以用于加速度过在音频信号中具有静音的一个或多个区段2、4。
46.备选或补充地，装置101可以配置用于确定关于(在音频信号中的)语音信号的内容信息。为此目的可以分析(例如在区段3、5、6和/或7中)语音信号，尤其是以便确定关于语音信号的内容复杂性的信息。内容信息可以尤其是显示，
47.·
关于语音信号的说话者的说话速度的信息(例如每时间单位的音节数量或词数量)；
48.·
关于所说的语言的信息和/或关于语音信号的方言或口音的信息；和/或
49.·
关于语音信号的语义复杂性(例如关于句法和/或关于所使用的概念)的信息。
50.在此可以分别个性化地或特定地对于语音信号的在时间上的片段(例如对于1至5秒的片段)确定内容信息。尤其是可以对于时间上的片段的序列分别确定关于语音信号在相应的片段中的内容复杂性的内容特征值。所述内容信息因此可以包括内容特征值的在时间上的序列。
51.然后可以根据内容信息、尤其是根据内容特征值的序列适配或确定播放速度、尤其是速度系数。在此，当内容信息显示语音信号(对于听众)具有相对小的复杂性时(例如因为语音信号具有相对小的说话速度)，则例如可以提高播放速度。备选或补充地，当内容信息显示语音信号(对于听众)具有相对高的复杂性时(例如因为语音信号具有相对高的说话速度和/或相对复杂的概念)，则例如可以降低播放速度。如已经在上面陈述的，可以改变播放速度，但在此不(显著或可听见地)改变语音信号的频谱组成。尤其是可以(与所选择的播放速度无关地)保持语音信号的说话者的说话频率。
52.图2示出速度系数的示例性的在时间上的变化230，其中，沿时间轴动态地根据内容信息适配速度系数。内容信息例如包括第一说话者的说话速度231和/或第二说话者的说话速度232作为时间的函数。基于此，然后可以确定在时间上变化的速度系数和因此确定在时间上变化的播放速度。通过与语音信号相关地适配播放速度，对于用户能够进一步提高舒适性。因此描述一种方法，所述方法能够实现针对语音内容确定并且应用在运行时间上变化的速度系数、尤其是加速系数。首先在此分析要播放的语音内容。该分析可以即时进行，即可以在播放期间以一定的提前量分析临近的语音内容。备选或补充地，所述分析可以离线实施。后者具有优点，即，不必实时进行分析并且因此必要时能够以提高的精确性进行分析。所述分析可以直接在播放设备中或例如在服务器上进行，所述服务器然后附加于音频内容也将分析结果(即内容信息)作为元数据提供。
53.在分析的范畴内确定的内容信息可以包括或显示：
54.·
说话速度在时间上的变化(例如音节/分钟或词/分钟)；
55.·
对在一个区段中是否包含音乐或语音内容(例如播客的前奏音乐)进行分类；
56.·
说话停顿的位置和/或持续时间；
57.·
句法复杂性(句子长度、并列关系、主从关系等)；
58.·
词复杂性(专业术语、外来词、很少使用的词等)；
59.·
所使用的语言；
60.·
说话者有方言或口音(例如不是说母语者)？
61.·
说话者的总体数量或同时说话的人的数量；和/或
62.·
对声学上难以理解的段落或词的识别(例如因为说话者暂时与麦克风距离过远)。
63.在分析的范畴内，可以对于音频信号的片段的对应序列确定节拍或内容特征值m_1(t)，
…
，m_n(t)的序列。所述特征值在此可以在时间上可变。所述特征值的序列可选地可以借助插值算法(例如借助样条插值)转换为连续的特征值信号。然后可以以在时间上连续的方式基于经插值的特征值信号确定速度系数。
64.装置101此外可以配置用于确定关于语音信号的听众的用户信息，例如
65.·
听众的母语；
66.·
听众对每种语言的外语知识；
67.·
听众的年龄；
68.·
听众的专业知识(即，对语音信号的内容和词汇表的熟悉度)；和/或
69.·
听众的来源(例如独特的方言)。
70.然后，可以基于内容信息(尤其是基于特征值信号)和可选地基于用户信息确定速度系数、尤其是加速系数在时间上的变化230。在此，可以从标准值x(例如x＝1)出发提高或降低速度系数。
71.例如可以对于说话速度s定义平均说话速度s_mid。平均说话速度s_mid可以与语音信号的语言有关。然后可以(基于内容信息)确定语音信号是否具有相对高的说话速度s(即s》s_mid)(并且因此具有相对高的复杂性)。在该情况下，标准值x可以以值z_h降低。另一方面，标准值x可以在说话速度低(即s《s_mid)时以z_l提高。z_h或z_l的幅度例如可以通过听众的语言知识来影响。例如，如果语音信号的语言是用户的母语，则z_l可以比当涉及听众不熟悉的外语时更大。
72.可选地，可以与说话速度相反地适配速度系数在时间上的变化。
73.备选或补充地，当在语音信号中存在相对复杂的句法时和/或当涉及听众不熟悉的主题领域时和/或当多个说话者同时说话时等，可以降低速度系数。
74.因此，所确定的节拍或特征值m_1(t)，
…
，m_n(t)到速度系数在时间上的变化230上的映射一般来说可以包括函数f(m_1(t)，
…
，m_n(t))
→
x(t)，所述函数可选地预先(通过实验)确定。
75.然后可以这样控制语音内容的播放，使得实施所确定的速度系数在时间上的变化230。尤其是可以根据所确定的速度系数在时间上的变化230适配语音信号的播放速度。
76.装置101可以配置用于，(例如通过用户界面102)确定关于播放速度是否过高或过低(并且因此所确定的速度系数是否过高或过低)的反馈。然后可以使用自学习的算法，以便基于反馈来适配用于确定速度系数的分配函数f(m_1(t)，
…
，m_n(t))
→
x(t)。这样能够进一步提高适配播放速度的质量。尤其是这样对于用户或听众能够实现进一步的个性化。
77.可选地，音频信号可以包括与音乐信号叠加的语音信号。装置101可以配置用于，选择性地适配语音信号的播放速度，而音乐信号的播放速度保持不变。
78.换句话说，当音频信号同时包括音乐和话语(例如在背景音乐下的话语)，则这两个内容可以彼此分开。这可以例如借助源分离算法实现。因此，音乐和话语的播放速度可以这样解耦，使得音乐既不加速也不减慢。当话语应该加速时，音乐可以例如缩短。当话语应该减慢时，音乐可以例如重复播放。
79.图3示出用于确定用于播放语音信号的播放速度的示例性的(可选地计算机实现的)方法300的流程图。所述语音信号在此可以包括一系列由一个或多个说话者所说的词。方法300可以通过在用于播放语音信号的播放设备中的装置101、例如处理器来实施。备选或补充地，方法300可以通过服务器来实施。
80.方法300包括确定301关于要播放的语音信号的内容信息。内容信息在此尤其是可以显示用于听众的语音信号的复杂性。可以基于语音信号的分析、尤其是基于语音信号的语义分析和/或语言分析确定所述内容信息。
81.此外，方法300包括：基于内容信息、尤其是基于语音信号的通过内容信息显示的复杂性确定302关于用于播放语音信号的播放速度的速度信息。在此，所述速度信息可以这样确定，使得播放速度(根据语音信号的相应当前的复杂性)随着时间改变。播放速度可以随着语音信号复杂性上升而降低和/或随着语音信号复杂性降低而提高。
82.通过在本文中所描述的措施，对于用户、尤其是对于听众能够提高在播放语音信号时的舒适性。
83.本发明不限制于示出的实施例。尤其是要注意，说明书和附图仅应该示例性地阐述所提出的方法、装置和系统的原理。