一种汉英双语跨语言情感语音合成装置的制作方法

1.本发明涉及语音合成技术领域，特别是一种汉英双语跨语言情感语音合成装置。


背景技术：

2.语音是人与人之间交流最自然的方式之一，也是人机交互最理想的方式之一，随着人工智能的高速发展，智能电子产品越来越多的融入人们的生活，人们对语音合成技术有需求，特别是对能够表现说话人风格、情感的情感语音合成技术。我们生活在一个多民族、多语言的世界里，生活中说不同的语言给人们的交流带来很多不便，人们迫切需求借助跨语言的情感语音合成装置实现不同语言之间的交流。另外哑巴、口齿不清等残障人士也迫切需求借助跨语言情感语音合成装置实现哑巴开口说话，解决说话问题。


技术实现要素：

3.本发明目的是能够帮助只会一种语言的汉语或英语人民进行自然的汉语和英语之间的沟通交流，同时哑巴等残障人士也可以借助此系统与正常人进行自然的沟通交流，提供一种汉英双语跨语言情感语音合成装置。
4.为了实现这一目的，本发明的技术方案如下：一种汉英双语跨语言情感语音合成装置，包括，装置本体，所述装置本体为长方体结构，所述装置本体的上下面中间连接有臂带以将所述装置本体固定在手臂上，所述装置本体的正面上方为lcd显示器，所述装置本体的正面下方为文本输入器，所述装置本体的正面在lcd显示器和文本输入器中间的右侧为开关，所述开关分为左键、中间键和右键，所述左键为控制汉语的情感语音合成键，所述中间键为电源开关键，所述右键为控制英语的情感语音合成键，所述装置本体的上面右侧为扬声器，所述装置本体的右面上方为无线收发装置，所述无线收发装置用于与手机、车载电脑等设备无线连接以扩展更多汉英双语跨语言情感语音合成的应用，所述装置本体的右面于所述无线收发装置的下方为耳机孔，所述装置本体的右面于所述耳机孔下方为麦克风，所述麦克风和所述耳机孔为一体原件，所述装置本体的后下方为电源，所述装置本体的内部有语音合成fpga，所述语音合成fpga分别与sd卡、所述开关、扬声器、语音识别芯片和单片机相连，所述单片机与所述语音识别芯片、所述无线收发装置和所述lcd显示器相连，其中，所述麦克风与所述语音识别芯片相连，所述电源与所述开关相连。
5.与现有技术相比，本发明的有益效果至少在于：可以帮助汉语或英语人民中只会说一种语言的人合成出带有说话人风格和情感的汉语或英语语音，让汉语或英语人民中说不同语言的人们进行自然畅通的交流，解决了因语言不同而不能交流的问题；同时也可以帮助哑巴或口齿不清等残障人士，借助本发明的汉英双语跨语言情感语音合成装置与别人进行自然的汉语和英语交流，解决了人们不能说话的问题。
6.除了上面所描述的本发明解决的技术问题、构成技术方案的技术特征以及由这些技术方案的技术特征所带来的有益效果之外，本发明所能解决的其他技术问题、技术方案中包含的其他技术特征以及这些技术特征带来的有益效果，将结合附图作出进一步详细的
说明。
附图说明
7.图1是本发明汉英双语跨语言情感语音合成装置的示意图。
8.图2是本发明汉英双语跨语言情感语音合成装置内部控制系统的示意图。
9.图3是本发明汉英双语跨语言情感语音装置中的fpga实现汉英双语跨语言情感语音合成流程示意图。
10.图中：1.无线收发装置，2.单片机，3.语音识别芯片，4.麦克风，5.sd卡，6.fpga，7.开关，8.电源，9.语音参数生成器，10.扬声器，11.文本输入器，12.lcd显示器，13.臂带，14. 汉英双语跨语言情感语音合成装置本体，15.耳机孔。
具体实施方式
11.下面通过具体的实施方式结合附图对本发明作进一步详细说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但不构成对本发明的限定。此外，下面所描述的本发明实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
12.请参见图1，本发明汉英双语跨语言情感语音合成装置，包括汉英双语跨语言情感语音合成装置本体14，装置本体14为长方体型，它的上下面的中间连接有臂带13，可以将本发明汉英双语跨语言情感语音合成装置固定在手臂上，由于重量较轻且大小玲珑，固定在手臂上很容易携带。装置本体14的正面上方为lcd显示器12，用于显示文本等信息。装置本体14的正面下方为文本输入器11（键盘），用于汉语或英语文本的输入。在lcd显示器12和文本输入器11中间的右侧为开关7，开关7分为三个键，中间键为电源开关键，控制汉英双语跨语言语音合成装置的电源供应，左键为控制汉语的情感语音合成键，右键为控制英语的情感语音合成键。装置本体14上方右侧为扬声器10，用于播放合成的汉语和英语语音。装置本体14的右侧上方为无线收发装置1，可以与手机、车载电脑等设备无线连接，扩展更多汉英双语跨语言情感语音合成的应用。无线收发装置1的下面为耳机孔15，用于连接有线或无线耳机，方便用户使用。耳机孔15下方为麦克风4，用于语音的输入，麦克风4和耳机孔15为一体原件。装置本体14的后下方为电源8，电源8用于给整个汉英双语跨语言情感语音合成装置供电。
13.本发明汉英双语跨语言情感语音合成装置内部具体的控制系统示意图如图2所示。本发明的汉英双语跨语言情感语音合成装置针对两类人群：第一类人群：只会汉语和英语中一种语言的人。在这种情况下，当汉语和英语中不同语言的人借助本发明进行沟通交流时，对方说的话通过麦克风4，经过语音识别芯片3(语音识别芯片可以在市场上选购，也可以在生产语音识别芯片的公司定制汉英语音识别芯片)的原始语音信号传递给fpga6, 识别出语音的文本信息经过单片机2传递到lcd显示器12上显示文本信息，此文本信息同时经过单片机2上的无线收发装置1与手机、车载电脑、wifi等的无线网络连接进行汉英间的文本翻译，翻译文本信息也会在单片机2上的lcd显示器12上显示。开关11上的左右键可以控制本发明汉英双语跨语言情感语音合成装置待合成文本是汉语还是英语，同时文本输入器7的键盘也可以控制待合成语言文本是汉语还是英语，当然通
过文本输入器7还可以设置成自动翻译待合成语言文本模式，不用用户手动控制。待合成的文本经过单片机传到fpga6，fpga6里加载的有语音合成系统（基于隐马尔可夫模型的语音合成系统hts等），语音合成系统调用sd卡5里存储的语料库（一个中性英语语料库、一个中性汉语语料库和一个11种情感的中文情感语料库）与麦克风4输入的原始语音信号经过自适应训练获得与说话人风格相似的目标语言情感语音的声学模型，经过语音参数生成器9（straight语音参数生成器等）生成语音参数，然后把语音参数信号传递给扬声器10,播放出用户能听的懂的合成的目标语言情感语音。当用户给对方回复时，通过麦克风4输入语音信号经过以上步骤合成出对方能听的懂的合成的目标语言情感语音。
14.第二类人群：哑巴、口齿不清等残障人士（或喜欢打字的人）。用户用文本输入器11键盘输入文本，文本信息经过单片机2，一方面在lcd显示器12上显示，另一方面经过无线收发装置与无线网络连接后翻译成汉语和英语中的另一种语言文本，也在lcd显示器12上显示，通过文本输入器11或开关7上的按键选择控制待合成语言的文本，待合成语言的文本信号经过单片机输入到fpga6中，通过基于fpga的汉英双语跨语言情感语音合成系统（由fpga内加载的语音合成系统、sd卡5和语音参数生成器9组成）合成待合成语言的情感语音参数信号，合成的目标语言情感语音参数信号传到扬声器10播放出合成的目标语言情感语音。
15.本发明汉英双语跨语言情感语音合成装置中的fpga实现汉英双语跨语言情感语音合成流程示意图如图3所示。我们把目前主流的语音合成系统（基于隐马尔可夫模型的语音合成系统hts等）移植到fpga6上实现基于fpga的汉英双语跨语言情感语音合成系统，首先此fpga情感语音合成系统根据麦克风4输入的说话人的语音信号从sd卡5中11种情感汉语情感语料库中选择与说话人风格相似的汉语情感语料，训练汉语说话人相关目标情感平均声学模型，然后根据从单片机2输入的待合成语言文本，此fpga情感语音合成系统从sd卡中选择中性的目标语言（汉语或英语）语料，训练出待合成文本的目标语言说话人相关的中性平均声学模型，此fpga情感语音合成系统再将与说话人风格相似的汉语说话人相关目标情感平均声学模型的目标情感移植到待合成语言文本的目标语言说话人相关中性平均声学模型中，获得待合成语言文本的目标语言说话人相关目标情感平均声学模型，通过语音参数生成器9生成语音参数信号，然后此语音参数信号传递到扬声器9生成待合成语言的目标情感语音。
16.本发明汉英双语跨语言情感语音合成装置：1、内部装有3.3v/5v直流电池给装置供电。
17.2、汉英双语跨语言情感语音合成装置本体上面和下面装有臂带13，可以固定在手臂上，重量轻盈、方便携带。
18.3、汉英双语跨语言情感语音合成装置上的无线收发装置1，可以连接手机、车载电脑、wifi等的无线互联网络完成汉英文本的翻译，同时连接互联网后通过本汉英双语跨语言情感语音合成装置还可以听音乐、广播等。
19.4、本汉英双语跨语言情感语音合成装置能起到实时翻译汉英语音的功能，并且翻译合成的语音带有说话者的风格和情感，具有很高的实用价值，能够很大程度的促进汉语和英语人民的交流。
20.5、本汉英双语跨语言情感语音合成装置可以帮助哑巴、口齿不清等残障人士，借助本发明装置的文本-语音转换功能，可以实现“哑巴开口说话”，解决哑巴、口齿不清等残
障人士的说话或与人交流障碍问题。
21.6、本汉英双语跨语言情感语音合成装置不光可以应用在人与人的交流问题上，也可以应用在手机、电脑、机器人等智能电子产品上，智能电子产品通过有线、无线或嵌入本发明装置，可以使智能电子产品更加智能和人性化，促进人工智能的发展。
22.以上仅表达了本发明的实施方式，其描述较为具体和详细，但且不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。