一种机器人仿人语音生成方法、装置、设备及存储介质与流程

本发明涉及语音信号处理领域，尤其涉及一种机器人仿人语音生成方法、装置、设备及存储介质。

背景技术：

1、随着仿人机器人技术的持续发展，人机交互对拟人化程度的要求不断提升，语音交互作为仿人机器人的核心交互方式，其发声自然度与声源真实感直接决定了用户的交互体验。

2、当前服务机器人的语音发声方案中，扬声器通常设置在胸腔、头部或颈部位置，合成语音生成后直接驱动扬声器播放。在语音生成算法层面，普通文本转语音或变声算法主要调整音高、音色与语速，较少同时对重音、轻音、停顿、语调、周期性声带振动特征及气息呼吸特征进行完整模拟。针对舌部内置扬声器的场景，现有做法多是直接将普通微型喇叭装入舌体后沿用通用语音驱动方案，未针对舌体与口腔构成的特殊声路设计配套的语音生成与校正流程。

3、现有技术的扬声器位置与人嘴部存在偏差，易导致声音从机身发出的听感违和，无法实现声源位置的高度拟人。通用语音算法缺少完整的人类嗓音发声特征模拟，输出语音机械感强、缺乏自然亲和力。同时舌体狭小空间、柔性材料对高频的吸收作用以及机器人口腔对频率响应的改变，会使直接输出的声音出现发闷、频段畸变与失真问题，仅调整扬声器位置或仅做通用语音处理，无法完整满足仿人机器人高还原度、高自然度的拟人发声需求。

技术实现思路

1、本发明提供了一种机器人仿人语音生成方法、装置、设备及存储介质，解决了搭载舌部扬声器的仿人机器人因舌体吸声、口腔腔体共振造成的语音高频衰减、听感畸变、自然度与还原度偏低的技术问题。

2、根据本发明的一方面，提供了一种机器人仿人语音生成方法，应用于搭载舌部扬声器的机器人，该方法包括：

3、获取输入数据，根据输入数据生成声学特征序列；

4、基于声学特征序列合成初始拟人语音信号；

5、对初始拟人语音信号进行补偿，生成补偿后语音信号；

6、将补偿后语音信号输出至舌部扬声器进行播放。

7、可选的，输入数据包括文本数据，根据输入数据生成声学特征序列，包括：对文本数据进行文本处理和语义识别，生成语言学特征；通过预设韵律模板或韵律预测模型确定语言学特征对应的韵律参数与帧级声学参数；将语言学特征、韵律参数与帧级声学参数进行时序对齐，生成声学特征序列。

8、可选的，输入数据包括参考语音，根据输入数据生成声学特征序列，包括：对参考语音进行分帧处理，区分得到有声帧与无声帧；从有声帧中提取基频数值与帧级声学参数；对参考语音进行音素识别，得到语言学特征，并结合基频数值生成韵律参数和语言学特征；将语言学特征、韵律参数与帧级声学参数进行时序对齐，生成声学特征序列。

9、可选的，声学特征序列由时序对齐的语言学特征、韵律参数与帧级声学参数构成，语言学特征包括音素和声调，韵律参数包括时长、重音等级、停顿、基频轨迹以及幅度包络，帧级声学参数包括频谱包络、周期性能量比例和嗓音风格参数。

10、可选的，基于声学特征序列合成初始拟人语音信号，包括：根据幅度包络、基频轨迹与周期性能量比例，生成混合语音激励信号，其中，混合语音激励包括浊音激励与清音激励；根据频谱包络构建声道滤波参数，通过声道滤波参数对混合语音激励信号进行声道滤波处理，得到滤波后的语音信号；将滤波后的语音信号作为初始拟人语音信号。

11、可选的，对初始拟人语音信号进行补偿，生成补偿后语音信号，包括：获取预先标定的声学补偿参数，其中，声学补偿参数基于舌部扬声器、舌体材料和机器人口腔共同形成的实际声路频率响应构建；将初始拟人语音信号变换至频域，得到初始语音频谱；根据声学补偿参数对初始语音频谱进行均衡、增益与动态范围调整，得到补偿后语音频谱；将补偿后语音频谱逆变换为时域信号，生成补偿后语音信号。

12、可选的，将补偿后语音信号输出至舌部扬声器进行播放，包括：基于舌部扬声器的额定功率对应的预设幅度区间，对补偿后语音信号进行安全限幅处理，得到限幅后的时域信号；将限幅后的时域信号进行数模转换，得到模拟驱动信号；将模拟驱动信号输入舌部扬声器的驱动电路，驱动舌部扬声器完成语音播放。

13、根据本发明的另一方面，提供了一种机器人仿人语音生成装置，该装置包括：

14、声学特征序列生成模块，用于获取输入数据，根据输入数据生成声学特征序列；

15、初始信号合成模块，用于基于声学特征序列合成初始拟人语音信号；

16、语音信号补偿模块，用于根据机器人舌部扬声器的预设声学补偿参数，对初始拟人语音信号进行频响与失真补偿，生成补偿后语音信号；

17、语音信号播放模块，用于将补偿后语音信号输出至舌部扬声器进行播放。

18、根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：

19、至少一个处理器；

20、以及与所述至少一个处理器通信连接的存储器；

21、其中，所述存储器存储有能够被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的一种机器人仿人语音生成方法。

22、根据本发明的另一方面，提供了一种计算机存储介质，所述计算机存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的一种机器人仿人语音生方法。

23、本发明实施例的技术方案，通过生成声学特征序列可实现多维度参数化管控，完整保留发音内容、节奏韵律与音色风格，使嗓音更接近人声规律。通过合成初始拟人语音，模拟人声发声机理，融合韵律与气息特征，有效降低语音机械感。通过补偿可减少舌体材料和口腔声路带来的声音失真，保障音质还原度。最终经舌部扬声器播放，实现嘴部声源发声，提升了机器人语音的拟人化程度与交互自然度。

24、应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。

1.一种机器人仿人语音生成方法，其特征在于，应用于搭载舌部扬声器的机器人，包括：

2.根据权利要求1所述的方法，其特征在于，所述输入数据包括文本数据，所述根据所述输入数据生成声学特征序列，包括：

3.根据权利要求1所述的方法，其特征在于，所述输入数据包括参考语音，所述根据所述输入数据生成声学特征序列，包括：

4.根据权利要求2或3所述的方法，其特征在于，所述声学特征序列由时序对齐的语言学特征、韵律参数与帧级声学参数构成，所述语言学特征包括音素和声调，所述韵律参数包括时长、重音等级、停顿、基频轨迹以及幅度包络，所述帧级声学参数包括频谱包络、周期性能量比例和嗓音风格参数。

5.根据权利要求4所述的方法，其特征在于，所述基于所述声学特征序列合成初始拟人语音信号，包括：

6.根据权利要求1所述的方法，其特征在于，所述对所述初始拟人语音信号进行补偿，生成补偿后语音信号，包括：

7.根据权利要求1所述的方法，其特征在于，所述将所述补偿后语音信号输出至所述舌部扬声器进行播放，包括：

8.一种机器人仿人语音生成装置，其特征在于，包括：

9.一种电子设备，其特征在于，所述电子设备包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-7中任一项所述的方法。