一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

结合语音信息的口语理解方法、装置、设备及存储介质与流程

2022-02-22 20:35:50 来源:中国专利 TAG:


1.本发明涉及人工智能技术领域,尤其涉及一种结合语音信息的口语理解方法、装置、电子设备及计算机可读存储介质。


背景技术:

2.人机对话系统需要识别人类语言中的信息,才能执行相应的任务,如给问题做出回答、预定机票、手机中的语音助手等,这个过程也叫做口语理解(spoken language understanding,slu)。口语理解通常包括用户意图检测和语义槽填充两个任务。
3.随着深度学习技术的发展,利用神经网络对自然语言进行识别,已经取得较为不错的效果,但是由于口语具有一定的模糊性和歧义性。目前技术中存在如下三个问题:一、仅使用字符信息来进行口语理解的,这样没有充分把显式的单词序列信息利用起来,如“播放”被拆分成“播”“放”两个字就丢失了一部分语义信息;二、一般采用某一个分词器对句子进行分词,这样可能会出现分词错误,最终导致错误一级一级往后传播;三、仅将口语信息直接解析为文本,对文本进行分析,没有考虑到说话人的停顿与语义之间的关联性。
4.综上所述,当前口语理解方法的准确率不高。


技术实现要素:

5.本发明提供一种结合语音信息的口语理解方法、装置及计算机可读存储介质,其主要目的在于解决进行口语理解时准确率不高的问题。
6.为实现上述目的,本发明提供的一种结合语音信息的口语理解方法,包括:获取口语语音数据及所述口语语音数据对应的文本数据;利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数;获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层;利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量;利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
7.可选地,所述利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量,包括:利用预设的字符编码器、预设的词语编码器、预设的语音编码器构建编码层;
利用所述字符编码器对所述字符序列进行编码,得到字符编码序列;利用所述词语编码器对所述目标词语序列进行编码,得到词语编码序列;利用所述语音编码器对所述口语语音数据进行编码,得到语音特征向量。
8.可选地,所述利用所述词语编码器对所述目标词语序列进行编码,得到词语编码序列,包括:利用预设的自注意力机制模块及预设的双向长短期记忆网络构建所述词语编码器;利用所述自注意力机制模块抽取所述目标词语序列的上下文信息;利用所述双向长短期记忆网络获取所述目标词语序列的顺序信息;对所述上下文信息及所述顺序信息进行全连接处理,得到词语编码序列。
9.可选地,所述利用所述语音编码器对所述口语语音数据进行编码,得到语音特征向量,包括:在所述语音编码器中,对所述口语语音数据利用高通滤波器进行预加重处理;对所述预加重处理后的口语语音数据进行分帧加窗处理得到,得到加窗语音帧;对所述加窗语音帧进行快速傅立叶变换,得到对应的能量谱;利用三角带通滤波器对所述能量谱,进行频谱平滑及消除谐波,得到优化后的能量谱;计算所述优化后的能量谱的对数能量谱,对所述对数能量谱进行离散余弦变换,得到语音特征参数,并提取所述语音特征参数的一阶、二阶动态差分参数作为语音特征向量。
10.可选地,所述利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量,包括:利用注意力模块及神经网络构建所述融合层;利用所述注意力模块分别提取所述字符编码序列的字符综合表示向量,及所述词语编码序列的词语综合表示向量;利用所述神经网络中预设的融合函数对所述字符综合表示向量、所述词语综合表示向量及所述语音特征向量进行融合,得到融合向量。
11.可选地,所述利用所述意图识别任务层对所述融合向量进行分类,得到意图标签,包括:对所述融合向量进行横向等宽度切分成特征序列;利用所述意图识别任务层中的循环层对所述特征序列进行预测,得到所述特征序列的初步标签序列;利用所述意图识别任务层中的时间连接分类器对所述初步标签序列进行分类,得到所述文本数据及口语语音数据的意图标签。
12.可选地,所述利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签,包括:利用所述语义槽填充任务层中预设的字符解码器对所述字符编码序列进行解码,得到每个槽位的字符隐状态;利用所述语义槽填充任务层中预设的词语解码器对所述词语编码序列进行解码,
得到每个槽位的词语隐状态;利用预设的融合函数将所述字符隐状态及词语隐状态进行融合,得到槽位隐状态;利用所述语义槽填充任务层中预设的分类器对所述槽位隐状态进行分类,得到槽位标签。
13.可选地,所述获取训练得到的口语理解模型之前,所述方法还包括:联合所述意图标签及所述槽位标签的损失值来训练所述口语理解模型,利用如下公式计算所述损失值:其中,表示比例系数;取值在0到1之间;表示正确的意图标签;表示所述预测的意图标签;表示第i个槽位的正确的槽位标签;表示第i个槽位的预测的槽位标签。
14.为了解决上述问题,本发明还提供一种结合语音信息的口语理解装置,所述装置包括:分词模块,用于获取文本数据及口语语音数据;利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数;编码模块,用于获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层;利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;融合模块,用于利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量;意图识别模块,用于利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;语义槽填充模块,用于利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
15.为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:至少一个处理器;以及,与所述至少一个处理器通信连接的存储器;其中,所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述所述的结合语音信息的口语理解方法。
16.为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存
储介质中存储有至少一个计算机程序,所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的结合语音信息的口语理解方法。
17.本发明实施例通过n个分词器对口语语音数据对应的文本数据进行分词,利用投票机制选取最优的词语结果作为目标词语序列,其中,n为大于等于2的自然数,避免因为仅采用一个分词器对所述文本数据进行分词,出现分词错误,导致后续语义识别错误,进而提升口语理解的准确率;利用预设的编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;基于注意力机制,利用预设的融合层对所述字符编码序列、词语编码序列、语音特征向量进行融合,得到融合向量,利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签;将口语语音数据中的停顿信息与所述文本数据中的语义进行结合,进一步提高了口语理解的准确率。因此本发明提出的结合语音信息的口语理解方法、装置、电子设备及计算机可读存储介质,可以解决进行口语理解时准确率不高的问题。
附图说明
18.图1为本发明一实施例提供的结合语音信息的口语理解方法的流程示意图;图2为图1所示结合语音信息的口语理解方法中其中一个步骤的详细实施流程示意图;图3为图1所示结合语音信息的口语理解方法中其中另一个步骤的详细实施流程示意图;图4为本发明一实施例提供的结合语音信息的口语理解装置的功能模块图;图5为本发明一实施例提供的实现所述结合语音信息的口语理解方法的电子设备的结构示意图。
19.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
20.应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
21.本技术实施例提供一种结合语音信息的口语理解方法。所述结合语音信息的口语理解方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之,所述结合语音信息的口语理解方法可以由安装在终端设备或服务端设备的软件或硬件来执行,所述软件可以是区块链平台。所述服务端包括但不限于:单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
22.参照图1所示,为本发明一实施例提供的结合语音信息的口语理解方法的流程示意图。在本实施例中,所述结合语音信息的口语理解方法包括:s1、获取口语语音数据及所述口语语音数据对应的文本数据。
23.本发明实施例中,所述口语语音数据可以由有电子设备的对话系统提供,如智能
手机、智能机器人、车载设备等电子设备的智能秘书或者对话导航系统。所述文本数据可以由具有语义识别功能的模块解析得到。
24.s2、利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数。
25.本发明实施例中,常用的分词工具有结巴分词器(jieba)、中文词法分词器(thulac)、多领域中文分词器(pkuseg),zpar分词器等。
26.具体地,本发明其中一个实施例,根据预设的文字限制规则,对所述文本数据进行去脏处理,得到干净文本;利用zpar分词器对所述干净文本进行字符分词操作,得到字符序列。
27.进一步地,选取jieba、thulac及pkuseg三种分词器分别对所述文本数据进行分词,得到第一词语序列、第二词语序列及第三词语序列;利用投票机制从所述第一词语序列、所述第二词语序列及所述第三词语序列选取其中一个词语序列作为目标词语序列。
28.采用多种分词器对所述文本数据进行分词,并从中选取最优的分词结果作为目标词语序列,避免因为采用一个分词器对所述文本数据进行分词,出现分词错误,导致后续语义识别错误,进而提升口语理解的准确率。
29.s3、获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层。
30.本发明实施例中,可以采用预设的编码层、融合层、任务层构建的口语理解模型;其中,所述编码层包含字符编码器、词语编码器、语音编码器;其中,所述融合层包含mlp attention模块及神经网络;其中,所述任务层包含意图识别任务层及语义槽填充任务层。
31.本发明实施例中,由于意图识别任务与语义槽填充任务具有一定的相关性,在所述获取训练得到的口语理解模型的步骤之前,可以联合意图标签及槽位标签的损失值来训练所述口语理解模型,利用如下公式计算所述损失值:其中,表示比例系数;取值在0到1之间;表示正确的意图标签;表示所述预测的意图标签;表示第i个槽位的正确的槽位标签;表示第i个槽位的预测的槽位标签。
32.本发明实施例,在联合损失函数中引入比例系数,有利于口语理解模型对不同任务的侧重点,提升了口语识别的准确性。
33.s4、利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量。
34.本发明实施例中,所述编码层包含字符编码器、词语编码器、语音编码器。其中,所述字符编码器可以采用具有深度学习功能的预训练语言模型,所述预训练语言模型包括,但不限于ernie(enhanced language representation with informative entities)模
型、robertat(robustly optimized bert pretraining approach)模型、bert(bidirectional encoder representations from transformer)模型等。
35.详细地,所述s4包括:利用预设的字符编码器、预设的词语编码器、预设的语音编码器构建编码层;利用所述字符编码器对所述字符序列进行编码,得到字符编码序列;利用所述词语编码器对所述目标词语序列进行编码,得到词语编码序列;利用所述语音编码器对所述口语语音数据进行编码,得到语音特征向量。
36.本发明其中一个实施例中,所述字符编码器采用bert模型对所述字符序列进行编码。
37.详细地,所述利用所述字符编码器对所述字符序列进行编码,得到字符编码序列,包括:在所述字符序列首位加上分离符[cls],在所述字符序列对应的每个句子的最后一个字符后面加上分割符 [sep],得到带特殊字符的字符序列;利用所述字符编码器对所述带特殊字符的字符序列进行编码,得到字符编码序列。
[0038]
具体地,所述字符序列为,其中所述为所述字符序列地第n个字符,给所述字符序列首位加上分离符[cls],在所述字符序列对应的每个句子的最后一个字符后面加上分割符 [sep],得到带特殊字符的字符序列。例如:所述字符序列为“周xx拍过什么电影”,加入特殊字符后,得到的带特殊字符的字符序列为“[cls] 周xx 拍 过 什 么 电 影 [sep]”,经过bert模型进行编码后,得到字符编码序列为,其中所述表示第n个字符对应的编码向量。
[0039]
本发明实施例中,对所述字符序列添加分离符[cls]及分割符 [sep],有利于后续获取所述字符序列完整的字符编码序列以及字符对应的位置编码,从而有利于更准确的获取语义信息。
[0040]
其中,所述词语编码器可以采用自注意力编码器,所述自注意力编码器包含自注意力模块(self-attention)和双向长短期记忆网络(bilstm)。
[0041]
进一步地,所述利用所述词语编码器对所述目标词语序列进行编码,得到词语编码序列,包括:利用预设的自注意力机制模块及预设的双向长短期记忆网络构建所述词语编码器;利用所述自注意力机制模块抽取所述目标词语序列的上下文信息;利用所述双向长短期记忆网络获取所述目标词语序列的顺序信息;对所述上下文信息及所述顺序信息进行全连接处理,得到词语编码序列。
[0042]
具体地,所述目标词语序列为,其中所述表示所述目标词语序列中第m个词语;抽取所述目标词语序列的上下文信息以及顺序信息,并对所述上下文信息以及所述顺序信息进行全连接处理,得到词语编码序列,其中所述表示第m个词语对应的编码向量,其中m≤n。
[0043]
本发明实施例中,利用注意力机制获取文本数据中的上下文信息,利用双向长短期记忆网络获取文本数据中顺序信息,充分利用顺序信息和上下文信息,避免在解析过程
丢失部分语义信息,提高了口语理解的准确性。
[0044]
其中,所述语音编码器可以由梅尔倒谱系数(mel-scale frequency cepstral coefficients,简称mfcc)提取语音信号的语音特征向量,实现对所述口语语音数据的编码。梅尔频率是基于人耳听觉特性提出来的, 它与频率成非线性对应关系。梅尔频率倒谱系数(mfcc)则是利用它们之间的这种关系,计算得到频谱特征。
[0045]
进一步地,参阅图2所示,s4中所述利用所述语音编码器对所述口语语音数据进行编码,得到语音特征向量,包括:s41、在所述语音编码器中,对所述口语语音数据利用高通滤波器进行预加重处理;s42、对所述预加重处理后的口语语音数据进行分帧加窗处理得到,得到加窗语音帧;s43、对所述加窗语音帧进行快速傅立叶变换,得到对应的能量谱;s44、利用三角带通滤波器对所述能量谱,进行频谱平滑及消除谐波,得到优化后的能量谱;s45、计算所述优化后的能量谱的对数能量谱,对所述对数能量谱进行离散余弦变换,得到语音特征参数,并提取所述语音特征参数的一阶、二阶动态差分参数作为语音特征向量。
[0046]
本发明实施例,利用mfcc提取所述口语语音数据的的语音特征向量记为,这种语音向量特征是基于人耳听觉特性提取出来的,不依赖于口语语音数据的的性质,对所述口语语音数据不做任何假设和限制,提取出的动态差分参数具有更好的鲁棒性。
[0047]
s5、利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量。
[0048]
本发明实施例中,所述融合层包含注意力模块及神经网络;其中所述注意力模块可以采用mlp attention模块。
[0049]
详细地,所述s5,包括:利用注意力模块及神经网络构建所述融合层;利用所述注意力模块分别提取所述字符编码序列的字符综合表示向量,及所述词语编码序列的词语综合表示向量;利用所述神经网络中预设的融合函数对所述字符综合表示向量、所述词语综合表示向量及所述语音特征向量进行融合,得到融合向量。
[0050]
具体地,利用mlp attention模块中的注意力机制提取所述字符编码序列的字符综合表示向量,提取的计算公式如下:综合表示向量,提取的计算公式如下:其中,表示字符综合表示向量;表示字符的注意力权重;表示所述mlp attention模块中的打分函数;
u表示所述字符编码序列的拼接向量,表示所述拼接向量的转置,表示第j个字符的编码向量。
[0051]
具体地,提取词语综合表示向量与字符的综合表示向量方式相同,词语综合表示向量为,因为词语编码序列中m≤n,需要对进行补齐,在的后面补0,待补0的个数为(n-m)。
[0052]
进一步地,所述融合层采用神经网络对所述字符综合表示向量、所述词语综合表示向量及所述语音特征向量进行融合,得到融合向量,计算过程如下:进行融合,得到融合向量,计算过程如下:其中,表示融合函数;表示比例系数,根据工程需要进行修改,取值范围在0到1之间;sigmoid()表示激活函数;表示字符综合表示向量的转置;表示预设的n
×
n维矩阵。
[0053]
本发明实施例中,将所述口语语音数据对应的语音特征向量与所述文本数据对应的所述字符综合表示向量、所述词语综合表示向量进行融合,将口语语音数据中的停顿信息与所述文本数据中的语义进行结合,进一步提高了口语理解的准确率。
[0054]
s6、利用所述意图识别任务层对所述融合向量进行分类,得到意图标签。
[0055]
本发明实施例中所述意图识别任务层可以由分类器或预训练语言模型构建。
[0056]
本发明其中一个实施例中,所述预训练语言模型包含循环层以及转录层。采用深度双向循环神经网络构建循环层,及采用采用基于神经网络的时序类分类模型构建转录层。
[0057]
详细地,所述s6,包括:对所述融合向量进行横向等宽度切分成特征序列;利用所述意图识别任务层中的循环层对所述特征序列进行预测,得到所述特征序列的初步标签序列;利用所述意图识别任务层中的时间连接分类器对所述初步标签序列进行分类,得到所述文本数据及口语语音数据的意图标签。
[0058]
具体地,所述时间连接分类器对所述初步标签序列进行分类计算过程如下:具体地,所述时间连接分类器对所述初步标签序列进行分类计算过程如下:其中,表示表示在输入序列的融合向量为的条件下,预测标签值和标签值相等时的概率值;表示所述融合向量对应的初步标签序列;表示概率函数;、表示工程可训练参数;表示意图标签。
[0059]
s7、利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
[0060]
本发明实施例中,所述语义槽填充任务层包含字符解码器、词语解码器、分类模型。其中,所述字符解码器可以由长短期记忆网络(long short-term memory,简称lstm)构建;其中,所述词语解码器可以由双向长短期记忆网络(bi-directional long short-term memory,简称bilstm)构建;其中,所述分类模型可以由预训练语言模型构建。
[0061]
详细地,参阅图3所示,所述s7,包括:s71、利用所述语义槽填充任务层中预设的字符解码器对所述字符编码序列进行解码,得到每个槽位的字符隐状态;s72、利用所述语义槽填充任务层中预设的词语解码器对所述词语编码序列进行解码,得到每个槽位的词语隐状态;s73、利用预设的融合函数将所述字符隐状态及词语隐状态进行融合,得到槽位隐状态;s74、利用所述语义槽填充任务层中预设的分类器对所述槽位隐状态进行分类,得到槽位标签。
[0062]
具体地,利用长短期记忆网络(lstm)对所述字符编码序列进行解码,得到每个槽位的字符隐状态,计算过程如下:其中,t表示解码时间步;表示第t个时间步槽位的字符隐状态;表示所述长短期记忆网络的计算过程;表示第t个时间步收到的字符编码向量;表示预设的意图的嵌入矩阵;表示上一个时间步的槽位标签编码;表示上一个时间步槽位的字符隐状态。
[0063]
进一步地,采用双向长短期记忆网络(bilstm)对所述词语编码序列进行解码,得到每个槽位的词语隐状态;其中,表示第t个时间步字符槽位的词语隐状态;表示所述双向长短期记忆网络的计算过程;表示第t个时间步收到的词语编码向量;表示所述意图标签;表示上一个时间步槽位的字词隐状态。
[0064]
进一步地,利用falign(t,w)代替所述词语隐状态中的时间步t,得到更新后的词语隐状态。
[0065]
例如文本数据
ꢀ“
周xx拍过什么电影”的分词结果为w = {“周xx”,“拍过”,“什么”,“电影”},那么falign(3,w)=1;falign(5,w)=2;falign(7,w)=3;falign(9,w)=4;利用预设的融合函数将所述字符隐状态及词语隐状态进行融合,得到槽位隐状态,计算方法如下:
其中,所述表示槽位隐状态;表示融合函数;表示所述字符隐状态;表示所述更后的词语隐状态。
[0066]
进一步地,利用预设的分类器对所述词语隐状态进行分类得到对应的槽位标签,所述分类器可以与所述s6步骤中分类方法相似,不在此赘述。
[0067]
本发明实施例通过n个分词器对口语语音数据对应的文本数据进行分词,利用投票机制选取最优的词语结果作为目标词语序列,避免因为采用一个分词器对所述文本数据进行分词,出现分词错误,导致后续语义识别错误,进而提升口语理解的准确率;利用编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;基于注意力机制,利用预设的融合层对所述字符编码序列、词语编码序列、语音特征向量进行融合,得到融合向量,利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签;将口语语音数据中的停顿信息与所述文本数据中的语义进行结合,进一步提高了口语理解的准确率。因此本发明提出的结合语音信息的口语理解方法,可以解决进行口语理解时准确率不高的问题。
[0068]
如图4所示,是本发明一实施例提供的结合语音信息的口语理解装置的功能模块图。
[0069]
本发明所述结合语音信息的口语理解装置100可以安装于电子设备中。根据实现的功能,所述结合语音信息的口语理解装置100可以包括分词模块101、编码模块102、融合模块103、意图识别模块104及语义槽填充模块105。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。
[0070]
在本实施例中,关于各模块/单元的功能如下:所述分词模块101,用于获取口语语音数据及所述口语语音数据对应的文本数据;利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数;所述编码模块102,用于获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层;利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;所述融合模块103,用于利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量;所述意图识别模块104,用于利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;
所述语义槽填充模块105,用于利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
[0071]
详细地,本发明实施例中所述结合语音信息的口语理解装置100中所述的各模块在使用时采用与上述图1至图3中所述的结合语音信息的口语理解方法一样的技术手段,并能够产生相同的技术效果,这里不再赘述。
[0072]
如图5所示,是本发明一实施例提供的实现结合语音信息的口语理解方法的电子设备的结构示意图。
[0073]
所述电子设备1可以包括处理器10、存储器11、通信总线12以及通信接口13,还可以包括存储在所述存储器11中并可在所述处理器10上运行的计算机程序,如结合语音信息的口语理解程序。
[0074]
其中,所述处理器10在一些实施例中可以由集成电路组成,例如可以由单个封装的集成电路所组成,也可以是由多个相同功能或不同功能封装的集成电路所组成,包括一个或者多个中央处理器(central processing unit,cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器10是所述电子设备的控制核心(control unit),利用各种接口和线路连接整个电子设备的各个部件,通过运行或执行存储在所述存储器11内的程序或者模块(例如执行结合语音信息的口语理解程序等),以及调用存储在所述存储器11内的数据,以执行电子设备的各种功能和处理数据。
[0075]
所述存储器11至少包括一种类型的可读存储介质,所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如:sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器11在一些实施例中可以是电子设备的内部存储单元,例如该电子设备的移动硬盘。所述存储器11在另一些实施例中也可以是电子设备的外部存储设备,例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card, smc)、安全数字(secure digital, sd)卡、闪存卡(flash card)等。进一步地,所述存储器11还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器11不仅可以用于存储安装于电子设备的应用软件及各类数据,例如结合语音信息的口语理解程序的代码等,还可以用于暂时地存储已经输出或者将要输出的数据。
[0076]
所述通信总线12可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器11以及至少一个处理器10等之间的连接通信。
[0077]
所述通信接口13用于上述电子设备与其他设备之间的通信,包括网络接口和用户接口。可选地,所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等),通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard)),可选地,用户接口还可以是标准的有线接口、无线接口。可选地,在一些实施例中,显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0078]
图5仅示出了具有部件的电子设备,本领域技术人员可以理解的是,图5示出的结
构并不构成对所述电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。
[0079]
例如,尽管未示出,所述电子设备还可以包括给各个部件供电的电源(比如电池),优选地,电源可以通过电源管理装置与所述至少一个处理器10逻辑相连,从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等,在此不再赘述。
[0080]
应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。
[0081]
所述电子设备1中的所述存储器11存储的结合语音信息的口语理解程序是多个指令的组合,在所述处理器10中运行时,可以实现:获取口语语音数据及所述口语语音数据对应的文本数据;利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数;获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层;利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量;利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
[0082]
具体地,所述处理器10对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述,在此不赘述。
[0083]
进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的,也可以是非易失性的。例如,所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-only memory)。
[0084]
本发明还提供一种计算机可读存储介质,所述可读存储介质存储有计算机程序,所述计算机程序在被电子设备的处理器所执行时,可以实现:获取口语语音数据及所述口语语音数据对应的文本数据;利用预设的分词器对所述文本数据进行字符分词,得到字符序列,利用预设的n个分词器对所述文本数据进行分词,得到n个词语序列,利用投票机制,从所述n个词语序列中选取目标词语序列,其中所述n为大于等于2的自然数;获取训练得到的口语理解模型,其中所述口语理解模型包括编码层、融合层、意图识别任务层及语义槽填充任务层;
利用所述编码层对所述字符序列、所述目标词语序列及口语语音数据进行编码,得到字符编码序列、词语编码序列、语音特征向量;利用所述融合层,基于注意力机制,对所述字符编码序列、词语编码序列及语音特征向量进行融合,得到融合向量;利用所述意图识别任务层对所述融合向量进行分类,得到意图标签;利用所述语义槽填充任务层对所述字符编码序列及所述词语编码序列进行预测,得到槽位标签。
[0085]
在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。
[0086]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0087]
另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。
[0088]
对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。
[0089]
因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0090]
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain),本质上是一个去中心化的数据库,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
[0091]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0092]
此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称,而并不表示任何特定的顺序。
[0093]
最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献