基于深度学习模型的语义分析方法、装置及存储介质与流程

1.本发明主要涉及计算机技术领域，具体地涉及一种基于深度学习模型的语义方法、装置及存储介质。


背景技术：

2.在车载语音对话中，车机的语音系统需要根据用户的语音来识别用户的意图。例如，说“播放爱我中华”，该句子对应的分类是“音乐”，所要执行的动作是“播放”，所要播放的内容是歌曲“爱我中华”；说“导航到全聚德”，该句子对应的分类是“地图导航”，所要执行的动作是“导航”，所要到达的终点是“全聚德”等。当人听到这些句子时，可以根据已有的知识很快得知该句子的含义。但是对于机器来说，其本身并不具备这些知识，想要从一句语句中获得用户的意图，需要通过大量的数据进行训练和学习，才能获得正确的分类结果或识别结果。目前，在车载语音对话的识别中，可以采用深度学习模型来进行语义的分析，以获知用户的意图，并执行相应的命令。
3.由于深度学习模型是数据驱动的，模型的训练依赖于大量的数据和数据集。在实际应用中，除了数据集之外，经常有一些知识需要模型去学习，如专有名词等。在这种情况下，一般的做法是将这些知识人为的做成文本数据，或者收集包含这些知识的数据，然后再将这些数据增加到训练数据集中，重新进行模型训练和部署。然而，收集包含知识数据的方式效率低、成本高，而且有些相对特殊的数据本身就少，收集难度很大。如果使用人为制造的数据往往会破坏数据集本身的概率分布，同时人为制造的数据样本也不够丰富，容易导致模型过拟合等问题。所以，现有的做法不能有效的将知识与模型结合起来。


技术实现要素：

4.本发明所要解决的技术问题是提供一种基于深度学习模型的语义分析方法、装置及存储介质，使知识有机地结合在模型中。
5.本发明提供一种深度学习模型的控制方法，所述方法包括：从深度学习模型的训练文本数据中提取字向量；获取经训练的固定词向量；根据自定义规则修改所述固定词向量，包括为至少一个所述固定词向量增加至少一个特征标记形成特征词向量，每个所述特征标记用于标记所述固定词向量的一种分类；设置所述字向量的维度等于所述特征词向量的维度；采用所述字向量和所述特征词向量训练所述深度学习模型获得预测模型，其中，设置所述特征词向量在训练过程中不可被修改；以及根据所述自定义规则修改预输入至所述预测模型的新词向量，形成新特征词向量，并将所述新特征词向量输入所述预测模型。
6.在本发明的一实施例中，根据自定义规则修改所述固定词向量的步骤包括：为每个所述固定词向量增加预定数量的新增维度，每个所述新增维度对应一个所述特征标记；设置每个所述新增维度的初始值为0；以及为每个所述固定词向量设置每个所述新增维度的特征值，所述特征值对应于所述固定词向量根据所述特征标记的分类结果。
7.在本发明的一实施例中，所述特征词向量的维度是2的n次方，n为正整数。
8.在本发明的一实施例中，设置所述特征词向量在训练过程中不可被修改的步骤包括：使所述特征词向量在所述训练过程中不参与反向传播。
9.在本发明的一实施例中，所述训练文本数据包括人机对话中的对话语料。
10.在本发明的一实施例中，所述对话语料包括句子，从深度学习模型的训练文本数据中提取字向量的步骤包括：对所述句子进行分字处理，通过随机初始化获得所述字向量。
11.在本发明的一实施例中，在设置所述字向量的维度等于所述特征词向量的维度的步骤之后还包括：堆叠所述字向量和所述特征词向量，使所述字向量和所述特征词向量合并为一个训练数据集。
12.在本发明的一实施例中，所述深度学习模型是意图识别模型。
13.本发明为解决上述技术问题还提供一种基于深度学习模型的语义分析装置，所述装置包括：存储器，用于存储可由处理器执行的指令；处理器，用于执行所述指令以实现上述方法。
14.本发明为解决上述技术问题还提供一种存储有计算机程序代码的计算机可读介质，所述计算机程序代码在由处理器执行时实现上述方法。
15.本发明的技术方案相比现有技术的有益效果如下：
16.本发明通过自定义规则在经训练的词向量中加入增加预定数量的新增维度，将知识作为特征输入到模型中，不用转换成数据之后再让模型学习，效率高、成本低、可解释性强，实现模型与知识的有机结合。根据自定义规则增加或修改固定词向量的特征标记，可以增加或者修改词对应的意义，可以实现对模型的控制。
附图说明
17.为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明，其中：
18.图1是本发明一实施例的基于深度学习模型的语义分析方法的示例性流程示意图；
19.图2是本发明一实施例的语义分析方法中根据自定义规则修改固定词向量的示例性流程示意图；
20.图3是本发明一实施例的深度学习模型的训练过程示意图；
21.图4是本发明一实施例的基于深度学习模型的语义分析装置的系统框图。
具体实施方式
22.为让本发明的上述目的、特征和优点能更明显易懂，以下结合附图对本发明的具体实施方式作详细说明。
23.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其它不同于在此描述的其它方式来实施，因此本发明不受下面公开的具体实施例的限制。
24.如本技术和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备
也可能包含其他的步骤或元素。
25.除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本技术的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
26.此外，尽管本技术中所使用的术语是从公知公用的术语中选择的，但是本技术说明书中所提及的一些术语可能是申请人按他或她的判断来选择的，其详细含义在本文的描述的相关部分中说明。此外，要求不仅仅通过所使用的实际术语，而是还要通过每个术语所蕴含的意义来理解本技术。
27.本技术中使用了流程图用来说明根据本技术的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
28.本发明提出一种基于深度学习模型的语义分析方法，可以用于车机系统涉及语音对话的场景，根据该方法对用户的语音进行分析，可以有效地获得用户的意图，以指示车机执行相应的任务，在面对不常用的语句词汇时，通过修改新词向量，为该新词向量增加特征标记并输入到深度学习模型中，以获得准确的语义分析结果。该方法具有效率高、成本低、可解释性强的优点。
29.图1是本发明一实施例的基于深度学习模型的语义分析方法的示例性流程示意图。如图1所示，本发明实施例的语义分析包括如下步骤：
30.步骤s110：从深度学习模型的训练文本数据中提取字向量；
31.步骤s120：获取经训练的固定词向量；
32.步骤s130：根据自定义规则修改固定词向量，包括为至少一个固定词向量增加至少一个特征标记形成特征词向量，每个特征标记用于标记固定词向量的一种分类；
33.步骤s140：设置字向量的维度等于特征词向量的维度；
34.步骤s150：采用字向量和特征词向量训练深度学习模型获得预测模型，其中，设置特征词向量在训练过程中不可被修改；
35.步骤s160：根据自定义规则修改预输入至预测模型的新词向量，形成新特征词向量，并将新特征词向量输入预测模型。
36.以下结合图2、3对上述的步骤s110
‑
s160进行说明。
37.在步骤s110中，从深度学习模型的训练文本数据中提取字向量。
38.本发明对步骤s110中所采用的深度学习模型的具体实施方式不做限制，可以采用本领域的任意类型的深度学习模型。
39.根据应用场景的不同，可以为该深度学习模型提供不同类型的训练文本数据。在车辆的人机对话中，涉及到音乐、导航、命令等各种场景，除通用的文本数据之外，还应包括这些场景相关的文本数据。
40.在本发明实施例中，训练文本数据包括人机对话中的对话语料，对话语料包括句子，要从这些句子中提取字向量，具体步骤如下：
41.步骤s111：对句子进行分字处理，通过随机初始化获得字向量。
42.在该步骤中，可以将获取到的句子通过字之间的空白符分割成单个字，对得到的字基于随机初始化，得到字向量。
43.在步骤s120中，获取经训练的固定词向量。
44.在该步骤中，经训练的固定词向量可以从公开发布的词向量集合中获得。在一些实施例中，获取对话语料中的句子，将获取到的句子通过分词工具进行分词处理，分词工具可以是jieba、snownlp、thulac等，对此不作限制。经过分词后，再通过word2vec、fasttext或者glove等词向量工具将词训练成词向量。word2vec是从大量文本语料中以无监督方式学习语义知识的模型，可应用于自然语言处理中。
45.在步骤s130中，根据自定义规则修改固定词向量，包括为至少一个固定词向量增加至少一个特征标记形成特征词向量，每个特征标记用于标记固定词向量的一种分类。
46.在本步骤中，该特征标记可以是人工定义的特征，表示人类的知识(如同义词、反义词、词的分类等)，用于对固定词向量进行分类。例如，为固定词向量a增加一个特征标记a1，形成特征词向量[a,a1]，其中a1用于标记该固定词向量的命令类型，其中，用0表示没有此类分类，1表示音乐，2表示导航，3表示空调等。若特征词向量为[a,2]，则表示该固定词向量a所属的命令类型为导航命令。根据此例，可以为一个固定词向量设置多个特征标记，以标记其在不同分类中的类型。
[0047]
图2是本发明一实施例的语义分析方法中根据自定义规则修改固定词向量的示例性流程示意图。参考图2所示，该实施例的步骤包括：
[0048]
步骤s131：为每个固定词向量增加预定数量的新增维度，每个新增维度对应一个特征标记。
[0049]
在本步骤中，记固定词向量的原始维度为i，记新增维度的预定数量为j，j的值可按需设置。举例说明，设定“爱我中华”的固定词向量的维度i为6，固定词向量表示为(0,0,1,0,0,1)，人工增加预定新增维度为j为2，每个新增维度对应一个特征标记。例如，其中第一个新增的维度对应的特征标记为该固定词向量所属的命令类别，可以为多种不同的命令类别设置不同的向量值，例如1表示音乐，2表示导航；第二个新增的维度对应的特征标记为歌曲的类别，例如，1表示流行音乐，2表示经典音乐，3表示纯音乐。
[0050]
步骤s132：设置每个新增维度的初始值为0。
[0051]
继续上述举例，人工增加的预定新增维度j为2，设置每个新增维度的初始值为0，则新增维度的向量可表示为(0,0)。经过本步骤，“爱我中华”对应的固定词向量被修改为(0,0,1,0,0,1,0,0)。
[0052]
步骤s133：为每个固定词向量设置每个新增维度的特征值，特征值对应于固定词向量根据特征标记的分类结果。
[0053]
继续上述举例，通过人类知识，我们知道“爱我中华”是一首歌曲，因此其所属的命令类别为“音乐”，歌曲的类别属于“经典音乐”，则“爱我中华”新增维度可表示为(1,2)，将固定词向量和新增维度拼接得到特征词向量，特征词向量的维度为d
w
：
[0054]
d
w
＝i j
[0055]
所以最终得到的特征词向量为(0,0,1,0,0,1,1,2)，特征词向量的维度为8。如果一个词在新增维度上无此特征或者不确定是否有此特征则用0来默认表示。例如“全聚德”不是歌曲，也没有歌曲类别，则为“全聚德”对应的固定词向量新增维度为(0,0)。
[0056]
在本发明一实施例中，特征词向量的维度是2的n次方，n为正整数。
[0057]
在实际应用中，因为计算机是二进制运行的，所以固定词向量的维度d一般设为2的n次方，n为正整数。在本发明中对固定词向量进行了修改，使修改之后的特征词向量的维度d
w
仍然是2的n次方，例如128、256等。具体的维度数量可以根据实际效果调整，本发明对此不作限制。
[0058]
在步骤s140中，设置字向量的维度等于特征词向量的维度。
[0059]
在传统的深度学习模型的训练过程中，通常只训练词向量或字向量中的一种。本发明基于深度学习模型提出联合经训练字向量和词向量一起参与训练过程。为了方便模型的后续运算处理，在本步骤设置字向量的维度d
z
等于特征词向量的维度d
w
，即
[0060]
d
z
＝d
w
[0061]
在本发明一实施例中，设置字向量的维度等于特征词向量的维度的步骤之后还包括：堆叠字向量和特征词向量，使字向量和特征词向量合并为一个训练数据集。字向量和词向量堆叠指将字向量和词向量合并在一个矩阵中，将字向量和词向量合并作为句子的向量表示，句子向量的维度为d
s
，可作为模型的一个训练数据集，使
[0062]
d
s
＝d
z
＝d
w
[0063]
在步骤s150中，采用字向量和特征词向量训练深度学习模型获得预测模型，其中，设置特征词向量在训练过程中不可被修改。
[0064]
本发明在步骤s130中对固定词向量进行了修改，获得了包含人工定义特征的特征词向量。该特征词向量中已经结合有人类知识，对于该固定词向量来说，该人类知识是确切的，无需调整的，因此，在后续模型训练和学习过程中不希望该特征词向量本身发生变化。本步骤在模型训练过程中，将特征词向量设置为不可被修改，而与该特征词向量相关的超参数是可以在训练的过程中发生变化的。
[0065]
在一些实施例中，设置特征词向量在训练过程中不可被修改的步骤包括：使特征词向量在训练过程中不参与反向传播。
[0066]
在本发明一实施例中，深度学习模型可以是意图识别模型。例如textcnn模型。
[0067]
图3是本发明一实施例的深度学习模型的训练过程示意图。参考图3所示，其中，输入数据310包括从训练文本数据中提取的字向量和根据自定义规则修改之后的特征词向量。
[0068]
在输入层320将字向量和特征词向量堆叠得到的句子向量矩阵作为模型的训练数据集，输入到深度学习模型中，并且设置在模型训练过程中特征词向量不可修改，字向量可以修改，即在后续监督学习过程中，通过反向传播更新输入层的各个字向量，不更新特征词向量。
[0069]
在卷积层330利用深度学习模型的卷积核对句子向量矩阵进行卷积操作提取对应的局部特征，卷积核的宽度和特征词向量的维度d
w
一样，卷积核的高度，也称为卷积核的尺寸，则是一个可以按需设置的超参数，可以设置多个尺寸的卷积核，以获得不同的局部特征。
[0070]
在池化层340对卷积后得到的若干个局部特征取最大值，然后拼接在一块，作为本层的输出值。如果卷积核的尺寸为2，3，4，5，每个尺寸有128个kernel，则经过卷积层后会得到4x128个局部特征，经过池化后，会得到4x128个scalar值，拼接在一块，得到最终的结构是512x1的向量。池化层的意义在于激活程度最大的特征。
[0071]
在全连接层350利用全连接神经网络层和softmax层对句子进行分类，具体包括运用公式计算的特征的分数y，然后根据分数选择对应的类别。
[0072]
y＝x*w b
[0073]
其中，x是局部特征向量，w是权重，b是偏差。
[0074]
然后使用随机梯度下降算法对模型参数w和b进行训练，得到预测模型。
[0075]
在输出层360输出句子的对应的类别，并利用反向传播调整模型的超参数和字向量。
[0076]
图3所示仅为示例，不用于限制本发明的深度学习模型的具体结构、函数以及训练方法。
[0077]
在步骤s160中，根据自定义规则修改预输入至预测模型的新词向量，形成新特征词向量，并将新特征词向量输入预测模型。
[0078]
在预测部分，当预测模型碰到一个新词，该词未在训练文本数据集中出现，通过上述自定义规则，在新词固定向量上增加特征标记，形成新特征词向量，与步骤s130中修改固定词向量的方法相同，在此不再赘述。
[0079]
增加特征标记相当于给模型传授知识，将包含知识的新特征词向量输入到预测模型中，以使模型做出正确的判断。
[0080]
例如，模型的目标是判定句子是否是导航，模型中对词有定义是否为地名的特征，假如需要推理的句子为：“带我去豹子”。其中的“豹子”是一个地名。然而在正常情况下，“豹子”并不是一个地名，模型无法将其识别为地名，则模型的判断结果错误。根据本发明的语义分析方法，可以通过自定义规则将“豹子”这个新词标记为地名，获得“豹子”的新特征词向量，使模型获得“豹子”是地名的知识，然后再通过模型来判断该句子是否属于导航。这样的判断结果就为“是导航”。
[0081]
根据本发明的语义分析方法，通过自定义规则对经训练的固定词向量进行修改，增加了人工定义的特征标记，使知识与数据有机地结合在一起。这样，一方面，通过修改特征标记可以增加或者修改词对应的意义，实现对模型的控制；另一方面，在出现新词时，不需要将知识转换成数据再让模型进行重新训练和学习，效率高、成本低、可解释性强。
[0082]
本发明还包括一种基于深度学习模型的语义分析装置，包括存储器和处理器。其中，该存储器用于存储可由处理器执行的指令；处理器用于执行该指令以实现前文所述的一种基于深度学习模型的语义分析方法。
[0083]
图4是本发明一实施例的基于深度学习模型的语义分析装置的系统框图。参考图4所示，该语义分析装置400可包括内部通信总线401、处理器402、只读存储器(rom)403、随机存取存储器(ram)404以及通信端口405。当应用在个人计算机上时，该语义分析装置400还可以包括硬盘406。内部通信总线401可以实现该语义分析装置400组件间的数据通信。处理器402可以进行判断和发出提示。在一些实施例中，处理器402可以由一个或多个处理器组成。通信端口405可以实现该语义分析装置400与外部的数据通信。在一些实施例中，该语义
分析装置400可以通过通信端口405从网络发送和接受信息及数据。该语义分析装置400还可以包括不同形式的程序储存单元以及数据储存单元，例如硬盘406，只读存储器(rom)403和随机存取存储器(ram)404，能够存储计算机处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的程序指令。处理器执行这些指令以实现方法的主要部分。处理器处理的结果通过通信端口传给用户设备，在用户界面上显示。
[0084]
上述的操作方法可以实施为计算机程序，保存在硬盘406中，并可加载到处理器402中执行，以实施本技术的语义分析方法。
[0085]
本发明还包括一种存储有计算机程序代码的计算机可读介质，该计算机程序代码在由处理器执行时实现前文所述的基于深度学习模型的语义分析方法。
[0086]
基于深度学习模型的语义分析方法实施为计算机程序时，也可以存储在计算机可读存储介质中作为制品。例如，计算机可读存储介质可以包括但不限于磁存储设备(例如，硬盘、软盘、磁条)、光盘(例如，压缩盘(cd)、数字多功能盘(dvd))、智能卡和闪存设备(例如，电可擦除可编程只读存储器(eprom)、卡、棒、键驱动)。此外，本文描述的各种存储介质能代表用于存储信息的一个或多个设备和/或其它机器可读介质。术语“机器可读介质”可以包括但不限于能存储、包含和/或承载代码和/或指令和/或数据的无线信道和各种其它介质(和/或存储介质)。
[0087]
应该理解，上文所描述的实施例仅是示意。本文描述的实施例可在硬件、软件、固件、中间件、微码或者其任意组合中实现。对于硬件实现，处理器可以在一个或者多个特定用途集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器和/或设计为执行本文所述功能的其它电子单元或者其结合内实现。
[0088]
本技术的一些方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。处理器可以是一个或多个专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理器件(dapd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器或者其组合。此外，本技术的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。例如，计算机可读介质可包括，但不限于，磁性存储设备(例如，硬盘、软盘、磁带
……
)、光盘(例如，压缩盘cd、数字多功能盘dvd
……
)、智能卡以及闪存设备(例如，卡、棒、键驱动器
……
)。
[0089]
计算机可读介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等等、或合适的组合形式。计算机可读介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机可读介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、射频信号、或类似介质、或任何上述介质的组合。
[0090]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述发明披露仅仅作为示例，而并不构成对本技术的限定。虽然此处并没有明确说明，本领域技术人员可能会对本技术进行各种修改、改进和修正。该类修改、改进和修正在本技术中被建议，所以该类
修改、改进、修正仍属于本技术示范实施例的精神和范围。
[0091]
同时，本技术使用了特定词语来描述本技术的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本技术至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一替代性实施例”并不一定是指同一实施例。此外，本技术的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0092]
一些实施例中使用了描述成分、属性数量的数字，应当理解的是，此类用于实施例描述的数字，在一些示例中使用了修饰词“大约”、“近似”或“大体上”来修饰。除非另外说明，“大约”、“近似”或“大体上”表明所述数字允许有
±
20％的变化。相应地，在一些实施例中，说明书和权利要求中使用的数值参数均为近似值，该近似值根据个别实施例所需特点可以发生改变。在一些实施例中，数值参数应考虑规定的有效数位并采用一般位数保留的方法。尽管本技术一些实施例中用于确认其范围广度的数值域和参数为近似值，在具体实施例中，此类数值的设定在可行范围内尽可能精确。