一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种语音语义识别方法及系统与流程

2021-08-24 16:08:00 来源:中国专利 TAG:识别 语义 语音 机器 方法
一种语音语义识别方法及系统与流程

本发明涉及机器识别领域,尤其涉及一种语音语义识别方法及系统。



背景技术:

为了满足人们的语音识别需求,语音识别技术发展得越发迅速,由于语音存在多种方言类型,目前通常需要将语音输入多个方言数据库进行多次匹配,完成语音识别,然而,匹配次数较多,运行负载较大,识别速度较慢;进一步地,当需要进行语音语义识别时,目前,通常对语音中的关键词进行语义匹配,确定语音语义,然而,对语音中的关键词进行语义匹配确定语音语义的方式,未针对语音中的上下文信息对进行分析,语义识别精确度较低,给用户带来较差的体验。



技术实现要素:

本发明提供一种语音语义识别方法及系统,以解决现有技术中对方言进行识别时,匹配次数较多,运行负载较大,识别速度较慢,且语音语义识别精确度较低的问题。

本发明提供的语音语义识别方法,包括:

采集训练样本集,所述训练样本集包括:语音样本组和标注信息,所述语音样本组包括:语音内容相同的普通话样本和方言样本;

将所述训练样本集输入语义识别网络,所述语义识别网络包括:语音识别子网络、用于获取第一语义标签的长短期记忆子网络和用于获取第二语义标签的卷积神经子网络;

根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型;

通过将待识别语音输入所述语义识别模型进行语义识别,完成语音语义识别。

可选的,语音内容相同的所述普通话样本与所述方言样本具有第一关联关系;

将所述训练样本集输入所述语义识别网络中的语音识别子网络进行语音特征提取,获取语音特征;

对所述语音特征进行分类与标注,确定语音特征类别,所述语音特征类别包括:普通话和方言;

根据所述第一关联关系与语音特征类别,确定不同类别的语音特征之间的第二关联关系;

利用所述第二关联关系,获取语音文本,完成语音识别。

可选的,获取所述普通话样本或所述方言样本中的属性信息,所述属性信息至少包括以下之一:地域信息和身份信息;

根据所述地域信息和/或身份信息,确定所述普通话样本或所述方言样本的一个或多个关联类型;

根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库,进行特征匹配,获取语音文本。

可选的,根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库的步骤包括:

根据预先设置的权重分配规则,获取多个所述关联类型对应的权重;

根据多个所述关联类型对应的权重,获取所述语音特征与不同类型的所述语音特征库的匹配顺序;

根据所述匹配顺序,将所述语音特征依次输入对应的语音特征库进行特征匹配,获取语音文本。

可选的,对所述语音识别子网络输出的语音文本进行分词处理,获取一个或多个分词词汇;

获取所述分词词汇的词频与逆向文件频率;

根据所述词频与所述逆向文件频率,确定所述分词词汇的词汇分数;

根据所述词汇分数和预先设置的分数阈值,对所述分词词汇进行截断过滤,获取降噪词汇;

将所述降噪词汇输入所述长短期记忆子网络,根据上下文信息,进行语义特征提取,获取语义特征向量;

根据所述语义特征向量,获取所述语音文本的第一语义标签。

可选的,将降噪词汇输入所述卷积神经子网络进行特征提取,获取词汇特征;

对所述词汇特征进行向量化处理,获取词汇特征向量;

对所述词汇特征向量进行标注与分类,获取所述词汇特征向量的类别标签;

根据所述类别标签,将所述词汇特征向量输入语义库进行特征向量匹配,获取匹配结果;

根据所述匹配结果,获取所述第二语义标签。

可选的,根据所述匹配结果,获取所述第二语义标签的步骤包括:

预先设置语义库,所述语义库包括:参照特征向量和参照语义标签,所述参照特征向量与所述参照语义标签相关联;

对所述参照特征向量进行分类,获取一个或多个参照特征向量集,多个所述参照特征向量集的类别不同;

将所述类别标签与所述参照特征向量集进行匹配,获取对应的参照特征向量集;

将所述词汇特征向量与所述对应的参照特征向量集中的参照特征向量进行匹配,获取第一匹配度;

当所述第一匹配度大于或等于预设的第一匹配度阈值时,则将所述参照特征向量关联的参照语义标签确定为所述第二语义标签。

可选的,根据所述第一语义标签和第二语义标签,对语义识别网络进行训练的步骤包括:

将所述第一语义标签和所述第二语义标签进行相似度匹配,获取第二匹配度;

当所述第二匹配度大于或等于预设的第二匹配度阈值时,则将所述第一语义标签或第二语义标签确定为语义识别结果;

当所述第二匹配度小于所述第二匹配度阈值时,则根据预先设置的优先级规则,将优先级较高的语义标签确定为语义识别结果;

根据所述语义识别结果,对所述语义识别网络进行训练,获取语义识别模型。

可选的,设置关联信息库,所述关联信息库包括:文本数据和推荐信息,所述推荐信息包括:文本信息和语音信息,所述文本数据与所述推荐信息相关联;

将所述语义识别结果与所述文本数据进行匹配,确定对应的文本数据及对应的推荐信息;

根据所述推荐信息,进行关联信息推荐。

本发明还提供一种语音语义识别系统,包括:

采集模块,用于采集训练样本集,所述训练样本集包括:语音样本组和标注信息,所述语音样本组包括:语音内容相同的普通话样本和方言样本;

模型获取模块,用于将所述训练样本集输入语义识别网络,所述语义识别网络包括:语音识别子网络、用于获取第一语义标签的长短期记忆子网络和用于获取第二语义标签的卷积神经子网络;根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型;

语义识别模块,用于通过将待识别语音输入所述语义识别模型进行语义识别,完成语音语义识别;所述采集模块、模型获取模块和语义识别模块连接。

本发明的有益效果:本发明中的语音语义识别方法,通过将包括相同语音内容的普通话样本和方言样本的训练样本集输入语义识别网络进行训练,提高语音识别的精确度,识别速度较快,通过获取第一语义标签和第二语义标签,利用第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型,并将待识别语音输入语义识别模型进行语义识别,实现对语音语义的精准识别,有效提高语音语义识别的精确度。

附图说明

图1是本发明实施例中语音语义识别方法流程示意图。

图2是本发明实施例中语音语义识别方法中语音识别的流程示意图。

图3是本发明实施例中语音语义识别方法中第一语义标签提取的流程示意图。

图4是本发明实施例中语音语义识别方法中第二语义标签提取的流程示意图。

图5是本发明实施例中语音语义识别方法中训练语义识别网络的流程示意图。

图6是本发明实施例中语音语义识别系统的结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在没有背离本发明的精神下进行各种修饰或改变。需说明的是,在不冲突的情况下,以下实施例及实施例中的特征可以相互组合。

需要说明的是,以下实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。

发明人发现,随着机器识别领域的发展,语音识别技术发展得越发迅速,由于语音存在多种方言类型,目前通常需要将语音输入多个方言数据库进行多次匹配,完成语音识别,然而,匹配次数较多,运行负载较大,识别速度较慢;进一步地,当需要进行语音语义识别时,目前,通常对语音中的关键词进行语义匹配,确定语音语义,然而,对语音中的关键词进行语义匹配确定语音语义的方式,未针对语音中的上下文信息对进行分析,语义识别精确度较低,给用户带来较差的体验。因此,本发明提出一种语音语义识别方法及系统,通过将包括相同语音内容的普通话样本和方言样本的训练样本集输入语义识别网络进行训练,提高语音识别的精确度,通过获取第一语义标签和第二语义标签,利用第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型,并将待识别语音输入语义识别模型进行语义识别,实现对语音语义的精准识别,有效提高语音语义识别的精确度,可实施性较强,成本较低。

如图1所示,本实施例中的语音语义识别方法,包括:

s101:采集训练样本集,所述训练样本集包括:语音样本组和标注信息,所述语音样本组包括:语音内容相同的普通话样本和方言样本;通过获取训练样本集,为训练语义识别网络提供数据基础。通过采集多组普通话样本和方言样本,提高语义识别网络对不同类型的语音的识别兼容性,提高语音识别过程中对方言识别的精确度。

s102:将所述训练样本集输入语义识别网络,所述语义识别网络包括:语音识别子网络、用于获取第一语义标签的长短期记忆子网络和用于获取第二语义标签的卷积神经子网络;例如:将训练样本集输入语音识别子网络进行语音识别,获取语音文本,将所述语义文本分别输入长短期记忆子网络和卷积神经子网络进行语义标签提取,获取第一语义标签和第二语义标签,通过设置多级子网络分别进行语义标签提取与融合,能够较好地提高语义识别的精确度,实施较方便。

s103:根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型;例如:通过对第一语义标签和第二语义标签进行相似度匹配,确定语义识别结果,根据所述语义识别结果,对语义识别网络进行训练,通过调整梯度下降的速度、迭代学习率、学习次数及迭代次数,获得较优的语义识别模型。

s104:获取待识别语音;例如:采集从患者终端发出的语音或从医生终端发出的语音等作为待识别语音。

s105:通过将所述待识别语音输入所述语义识别模型进行语义识别,完成语音语义识别。通过将待识别语音输入训练好的语义识别模型进行语义识别,获取语义识别结果,识别精确度较高,可实施性较强,例如:在医学领域,当患者通过移动终端发出待识别语音时,通过将待识别语音输入语义识别模型进行语义识别,获取较精准的语义识别结果,能够帮助医生快速了解患者的语义表达并迅速做出反馈,或者根据上述语义识别结果,自动匹配对应推荐信息,根据所述推荐信息,做出反馈。

如图2所示,为了提高语音识别子网络的语音识别的精确度,发明人提出,语音内容相同的普通话样本与方言样本具有第一关联关系。由于语音存在的方言可能较大,通过建立语音内容相同的普通话样本与方言样本之间的第一关联关系,便于对语义识别网络进行训练,进一步地,语音识别的步骤包括:

s201:将所述训练样本集输入所述语义识别网络中的语音识别子网络进行语音特征提取,获取语音特征;

为了减少语音识别过程中的样本噪音,发明人提出,将所述训练样本集输入所述语义识别网络中的语音识别子网络进行语音特征提取的步骤包括:

对所述训练样本集中的普通话样本和方言样本进行滤波处理,获取降噪样本;

将所述降噪样本输入所述语音识别子网络进行语音特征提取,获取语音特征。通过对普通话样本和方言样本进行滤波处理,能够有效减小样本中的噪声,具有较好的降噪效果,例如:通过小波变换及设置阈值的方式,对训练样本集中的普通话样本和方言样本进行滤波处理,获取降噪样本,减少样本噪声,提高语音识别的精确度。

s202:对所述语音特征进行分类与标注,确定语音特征类别,所述语音特征类别包括:普通话和方言;

s203:根据所述第一关联关系与语音特征类别,确定不同类别的语音特征之间的第二关联关系;即内容相同的不同类别的语音特征相互关联,例如:第一语音特征与第二语音特征之间具有第二关联关系,所述第一语音特征的类别为普通话或方言,所述第一语音特征与第二语音特征不同,且第一语音特征的类别与第二语音特征的类别不同,所述第一语音特征与第二语音特征的内容相同,该内容指的是第一语音特征和第二语音特征所对应的语音文本相同。

s204:利用所述第二关联关系,获取语音文本,完成语音识别。通过建立不同类别的语义特征之间的第二关联关系,提高语音识别子网络的语音识别能力,进而完成语音识别。

为了加快语音识别过程中的语音特征的匹配速度,发明人提出:获取语音文本的步骤包括:

获取所述普通话样本或所述方言样本中的属性信息,所述属性信息至少包括以下之一:地域信息和身份信息;所述地域信息为发出所述普通话样本或所述方言样本的用户终端的位置信息,可以通过gps定位的方式,获取所述地域信息;所述身份信息为所述普通话样本或所述方言样本对应的用户的身份信息,可以从用户终端中获取对应身份信息,例如:从用户终端中获取用户的籍贯,如重庆、山东和北京等。

根据所述地域信息和/或身份信息,确定所述普通话样本或所述方言样本的一个或多个关联类型;例如:当发出所述普通话样本或所述方言样本的用户终端的位置位于重庆,即所述地域信息为重庆,且用户终端中的身份信息中的籍贯为北京,则确定所述普通话样本或所述方言样本的关联类型为重庆话和北京话;

根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库,进行特征匹配,获取语音文本。通过利用所述关联类型,将普通话样本或方言样本的语音特征与对应类型的语音特征库中的语音特征进行匹配,能够显著加快语音特征匹配的速度,提高语音识别速度与精确度,便于实施。例如:当所述普通话样本或所述方言样本的关联类型为重庆和北京时,则将所述普通话样本或方言样本的语音特征输入类型为重庆语音特征库和北京语音特征库中进行特征匹配,获取语音文本,实现对语音的快速识别。

为了进一步加快语音识别的速度,发明人提出:根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库的步骤包括:

根据预先设置的权重分配规则,获取多个所述关联类型对应的权重;所述权重分配规则可以根据实际情况进行设置,如将地域信息对应的关联类型的权重设置为第一权重,将身份信息对应的关联类型的权重为第二权重,所述第一权重和第二权重的值可以根据实际需求进行相应设置,此处不再赘述。

根据多个所述关联类型对应的权重,获取所述语音特征与不同类型的所述语音特征库的匹配顺序;例如:当地域信息对应的关联类型的权重大于身份信息对应的关联类型的权重时,则根据权重大小,对匹配顺序进行排序。又如:当地域信息对应的关联类型为山东,身份信息对应的关联类型为北京,且地域信息对应的关联类型的权重大于身份信息对应的关联类型的权重时,则确定对应的匹配顺序为:山东、北京,即将所述普通话样本或方言样本的语音特征输入山东语音特征库进行特征匹配,再将所述普通话样本或方言样本的语音特征输入北京语音特征库进行特征匹配,通过设置匹配顺序,减轻特征匹配过程中的负载。

根据所述匹配顺序,将所述语音特征依次输入对应类型的语音特征库进行特征匹配,获取语音文本,有效提高语音识别效率与精确度。

为了实现语音识别过程中终端与云端的负载均衡,发明人提出:

将所述语音特征的关联类型对应的语音特征库设置于终端,确定剩余语音特征库;

将剩余语音特征库设置云端;

将所述语音特征与终端中的对应语音特征库进行特征匹配,获取语音文本;

当所述语音文本的置信度小于预设的置信度阈值时,则控制所述终端完成与云端之间的调用,将所述语音特征输入云端,利用云端的资源,进行特征匹配,获取语音文本。通过将不同类型的语音特征库分别设置在终端和云端,有效减轻终端的负载,加快匹配速度与语音识别速度。

在一些实施例中,当处理语音识别任务的终端的剩余处理能力小于预设的处理能力阈值时,则将所述普通话样本或方言样本的语音特征输入中心云端进行特征匹配,获取语音文本,避免由于终端处理能力不足,造成不必要的损失。

请参考图3,为了便于获取第一语义标签,发明人提出,获取第一语义标签的步骤包括:

s301:对所述语音识别子网络输出的语音文本进行分词处理,获取一个或多个分词词汇;

s302:获取所述分词词汇的词频与逆向文件频率;

s303:根据所述词频与所述逆向文件频率,确定所述分词词汇的词汇分数;例如:根据预设的分数统计规则、词频与逆向文件频率,确定分词词汇的词汇分数,所述分数统计规则可以根据实际情况进行设置,如获取词频与逆向文件频率的乘积等,此处不再赘述。

s304:根据所述词汇分数和预先设置的分数阈值,对所述分词词汇进行截断过滤,获取降噪词汇;通过对所述分词词汇进行截断过滤,能够有效减少分词词汇中的噪音,起到较好的降噪效果,例如:去除词汇分数小于所述分数阈值的分词词汇,获取降噪词汇。

s305:将所述降噪词汇输入所述长短期记忆子网络,根据上下文信息,进行语义特征提取,获取语义特征向量;

s306:根据所述语义特征向量,获取所述语音文本的第一语义标签。通过将降噪词汇输入长短期记忆子网络进行语义特征提取,能够结合上下文信息,提高语义特征向量提取的精确度。所述长短期记忆子网络包括:遗忘门、输入门和输出门,通过控制遗忘门对网络中的信息进行舍弃或保留,例如:利用预设的权重矩阵和偏执,确定舍弃信息和保留信息,对所述舍弃信息进行舍弃。将降噪词汇通过输入门输入所述长短期记忆子网络,即输入tanh层,获取语义特征向量,并更新所述长短期记忆子网络的状态,根据所述语义特征向量,通过sigmoid层,确定所述语音文本的第一语义标签,本实施例通过采用长短期记忆子网络进行语义识别,获取所述语音文本的第一语义标签,提高语音语义的预测精准度。

如图4所示,为了便于获取第二语义标签,提高语音语义识别的精确度,发明人提出,获取第二语义标签的步骤包括:

s401:将降噪词汇输入所述卷积神经子网络进行特征提取,获取词汇特征;

s402:对所述词汇特征进行向量化处理,获取词汇特征向量;

s403:对所述词汇特征向量进行标注与分类,获取所述词汇特征向量的类别标签;

s404:根据所述类别标签,将所述词汇特征向量输入语义库进行特征向量匹配,获取匹配结果;通过获取词汇特征向量的类别标签,利用所述类别标签,将词汇特征向量输入语义库进行特征向量匹配,能够提高特征向量的匹配速度,避免逐次匹配,造成匹配时间过长。

s405:根据所述匹配结果,获取所述第二语义标签。

在一些实施例中,根据所述匹配结果,获取所述第二语义标签的步骤包括:

预先设置语义库,所述语义库包括:参照特征向量和参照语义标签,所述参照特征向量与所述参照语义标签相关联;

对所述参照特征向量进行分类,获取一个或多个参照特征向量集,多个所述参照特征向量集的类别不同;

将所述类别标签与所述参照特征向量集进行匹配,获取对应的参照特征向量集;

将所述词汇特征向量与所述对应的参照特征向量集中的参照特征向量进行匹配,获取第一匹配度;

当所述第一匹配度大于或等于预设的第一匹配度阈值时,则将所述参照特征向量关联的参照语义标签确定为所述第二语义标签。

请参考图5,为了提高语音语义识别的精确度,发明人提出,通过结合语音识别子网络、长短期记忆子网络和卷积神经子网络,获取第一语义标签和第二语义标签,根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,训练过程包括:

s501:将所述第一语义标签和所述第二语义标签进行相似度匹配,获取第二匹配度;

s502:当所述第二匹配度大于或等于预设的第二匹配度阈值时,则将所述第一语义标签或第二语义标签确定为语义识别结果;

s503:当所述第二匹配度小于所述第二匹配度阈值时,则根据预先设置的优先级规则,将优先级较高的语义标签确定为语义识别结果;所述优先级规则可以根据实际情况进行设置,如第一语义标签优先,或第二语义标签优先,此处不再赘述。

s504:根据所述语义识别结果,对所述语义识别网络进行训练,获取语义识别模型。

为了提高语义识别网络训练的精确度,发明人提出,根据所述语义识别结果,对所述语义识别网络进行训练的步骤包括:

根据所述语义识别结果,利用预设的损失函数,对语义识别网络进行训练,获取语义识别模型,所述损失函数的数学表达为:

lz=α∑i[ft×log(fp) (1-ft)×log(1-fp)] β∑i|ct-cp| σ∑ik·log()

其中,lz为损失函数,α为预设的第一权值,ft为第一语义标签的真实值,fp为第一语义标签的预测值,β为预设的第二权值,n为样本数量,1≤i≤n,ct为第二语义标签的真实值,cp为第二语义标签的预测值,σ为预设的第三权值,k为语义识别结果的预测值与真实值之间的相似度。所述第一语义标签的真实值和所述第二语义标签的真实值相同。通过上述损失函数,对语义识别网络进行反馈训练,有效提高语义识别网络中参数的准确性,提高语音语义识别的精准度。

例如:当接收到从医生的终端或患者的终端发出的待识别语音时,则将所述待识别语音输入语义识别模型进行语音识别、第一语义标签提取、第二语义标签提取,根据第一语义标签和第二语义标签的相似度,即第二匹配度,获取语义识别结果,并输出所述语义识别结果,完成语音语义识别,有效提高语音语义识别的准确率,帮助患者或医生能够较快获取待识别语音的语义,可行性较高,实施较方便。

为了提高语音语义识别的使用价值,发明人提出,完成语音语义识别的步骤之后包括:

设置关联信息库,所述关联信息库包括:文本数据和推荐信息,所述推荐信息包括:文本信息和语音信息,所述文本数据与所述推荐信息相关联;

将所述语义识别结果与所述文本数据进行匹配,确定对应的文本数据及对应的推荐信息;

根据所述推荐信息,进行关联信息推荐。例如:当获取语音识别结果时,则将语义识别结果与关联信息库中的文本数据进行匹配,获取与所述语义识别结果向匹配的文本数据,以及关联的推荐信息,推荐信息可以是诊疗方案、诊疗建议或诊疗语音等,实现对语义识别结果的智能推荐,自动化程度较高,可实施性较强。

如图6所示,本实施例还提供一种语音语义识别系统,包括:

采集模块,用于采集训练样本集,所述训练样本集包括:语音样本组和标注信息,所述语音样本组包括:语音内容相同的普通话样本和方言样本;

模型获取模块,用于将所述训练样本集输入语义识别网络,所述语义识别网络包括:语音识别子网络、用于获取第一语义标签的长短期记忆子网络和用于获取第二语义标签的卷积神经子网络;根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型;

语义识别模块,用于通过将待识别语音输入所述语义识别模型进行语义识别,完成语音语义识别;所述采集模块、模型获取模块和语义识别模块连接。通过将包括相同语音内容的普通话样本和方言样本的训练样本集输入语义识别网络进行训练,提高语音识别的精确度,通过获取第一语义标签和第二语义标签,利用第一语义标签和第二语义标签,对语义识别网络进行训练,获取语义识别模型,并将待识别语音输入语义识别模型进行语义识别,实现对语音语义的精准识别,有效提高语音语义识别的精确度,可实施性较强,成本较低。

所述模型获取模块包括:语音识别单元、第一语义标签获取单元、第二语义标签获取单元和训练单元。

在一些实施例中,语音内容相同的所述普通话样本与所述方言样本具有第一关联关系;

所述语音识别单元用于将所述训练样本集输入所述语义识别网络中的语音识别子网络进行语音特征提取,获取语音特征;

对所述语音特征进行分类与标注,确定语音特征类别,所述语音特征类别包括:普通话和方言;

根据所述第一关联关系与语音特征类别,确定不同类别的语音特征之间的第二关联关系;

利用所述第二关联关系,获取语音文本,完成语音识别。

在一些实施例中,所述语音识别单元获取所述普通话样本或所述方言样本中的属性信息,所述属性信息至少包括以下之一:地域信息和身份信息;

根据所述地域信息和/或身份信息,确定所述普通话样本或所述方言样本的一个或多个关联类型;

根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库,进行特征匹配,获取语音文本。

在一些实施例中,根据所述关联类型,将所述普通话样本或方言样本的语音特征输入对应类型的语音特征库的步骤包括:

根据预先设置的权重分配规则,获取多个所述关联类型对应的权重;

根据多个所述关联类型对应的权重,获取所述语音特征与不同类型的所述语音特征库的匹配顺序;

根据所述匹配顺序,将所述语音特征依次输入对应的语音特征库进行特征匹配,获取语音文本。

在一些实施例中,所述第一语义标签获取单元用于对所述语音识别子网络输出的语音文本进行分词处理,获取一个或多个分词词汇;

获取所述分词词汇的词频与逆向文件频率;

根据所述词频与所述逆向文件频率,确定所述分词词汇的词汇分数;

根据所述词汇分数和预先设置的分数阈值,对所述分词词汇进行截断过滤,获取降噪词汇;

将所述降噪词汇输入所述长短期记忆子网络,根据上下文信息,进行语义特征提取,获取语义特征向量;

根据所述语义特征向量,获取所述语音文本的第一语义标签。

在一些实施例中,所述第二语义标签获取单元用于将降噪词汇输入所述卷积神经子网络进行特征提取,获取词汇特征;

对所述词汇特征进行向量化处理,获取词汇特征向量;

对所述词汇特征向量进行标注与分类,获取所述词汇特征向量的类别标签;

根据所述类别标签,将所述词汇特征向量输入语义库进行特征向量匹配,获取匹配结果;

根据所述匹配结果,获取所述第二语义标签。

在一些实施例中,根据所述匹配结果,获取所述第二语义标签的步骤包括:

预先设置语义库,所述语义库包括:参照特征向量和参照语义标签,所述参照特征向量与所述参照语义标签相关联;

对所述参照特征向量进行分类,获取一个或多个参照特征向量集,多个所述参照特征向量集的类别不同;

将所述类别标签与所述参照特征向量集进行匹配,获取对应的参照特征向量集;

将所述词汇特征向量与所述对应的参照特征向量集中的参照特征向量进行匹配,获取第一匹配度;

当所述第一匹配度大于或等于预设的第一匹配度阈值时,则将所述参照特征向量关联的参照语义标签确定为所述第二语义标签。

在一些实施例中,所述训练单元用于根据所述第一语义标签和第二语义标签,对语义识别网络进行训练,训练步骤包括:

将所述第一语义标签和所述第二语义标签进行相似度匹配,获取第二匹配度;

当所述第二匹配度大于或等于预设的第二匹配度阈值时,则将所述第一语义标签或第二语义标签确定为语义识别结果;

当所述第二匹配度小于所述第二匹配度阈值时,则根据预先设置的优先级规则,将优先级较高的语义标签确定为语义识别结果;

根据所述语义识别结果,对所述语义识别网络进行训练,获取语义识别模型。

在一些实施例中,还包括:关联信息推荐模块,用于将所述语义识别结果与关联信息库中的文本数据进行匹配,确定对应的文本数据及对应的推荐信息;

根据所述推荐信息,进行关联信息推荐。所述关联信息库包括:文本数据和推荐信息,所述推荐信息包括:文本信息和语音信息,所述文本数据与所述推荐信息相关联。

本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本实施例中的任一项方法。

本实施例还提供一种电子终端,包括:处理器及存储器;

所述存储器用于存储计算机程序,所述处理器用于执行所述存储器存储的计算机程序,以使所述终端执行本实施例中任一项方法。

本实施例中的计算机可读存储介质,本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

本实施例提供的电子终端,包括处理器、存储器、收发器和通信接口,存储器和通信接口与处理器和收发器连接并完成相互间的通信,存储器用于存储计算机程序,通信接口用于进行通信,处理器和收发器用于运行计算机程序,使电子终端执行如上方法的各个步骤。

在本实施例中,存储器可能包含随机存取存储器(randomaccessmemory,简称ram),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现场可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

上述实施例仅例示性说明本发明的原理及其功效,而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本发明的权利要求所涵盖。

再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜