一种意图识别方法及装置与流程

1.本发明涉及信息处理技术领域，特别是涉及一种意图识别方法及装置。


背景技术：

2.意图识别的本质是文本分类，文本分类问题作为一种监督学习的应用问题，与机器学习领域的分类问题并没有本质的区别，其方法可以归结为利用待分类数据的特征与类别进行匹配，选择最优的匹配结果作为分类结果，可以通过机器学习的框架进行描述文本分类问题。文本分类分为两个过程：学习过程、分类过程。
3.学习过程需要对样本进行学习，但是现有的学习过程中由于输入数据少、样本不规范、意图多，使得最终的识别结果并不准确。


技术实现要素：

4.针对于上述问题，本发明提供一种意图识别方法及装置，实现了提升识别的精准度和可靠性。
5.为了实现上述目的，本发明提供了如下技术方案：
6.一种意图识别方法，包括：
7.获取待识别文本；
8.对所述待识别文本进行预处理，得到预处理结果；
9.对所述预处理结果进行特征提取，得到文本特征；
10.将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
11.可选地，所述对所述待识别文本进行处理，得到预处理结果，包括：
12.对所述待识别文本进行分词处理；
13.对分词后的文本进行去停用词处理，得到预处理结果。
14.可选地，所述对所述预处理结果进行特征提取，得到文本特征，包括：
15.利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
16.或，
17.统计预处理结果中各个词语的出现频率以及逆文本频率指数；
18.基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
19.或，
20.对所述预处理结果进行词向量特征提取，获得文本特征。
21.可选地，所述方法还包括：
22.从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
23.将所有特征点向量进行聚合，获得单词表；
24.统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
25.基于所述数值向量，生成词袋模型。
26.可选地，所述方法还包括：
27.获取训练样本，所述训练样本为标注有意图标签的文本信息；
28.对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
29.对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
30.一种意图识别装置，包括：
31.获取单元，用于获取待识别文本；
32.预处理单元，用于对所述待识别文本进行预处理，得到预处理结果；
33.特征提取单元，用于对所述预处理结果进行特征提取，得到文本特征；
34.识别单元，用于将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
35.可选地，所述预处理单元包括：
36.分词子单元，用于对所述待识别文本进行分词处理；
37.去除子单元，用于对分词后的文本进行去停用词处理，得到预处理结果。
38.可选地，所述特征提取单元包括：
39.第一提取子单元，用于利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
40.或，
41.统计子单元，用于统计预处理结果中各个词语的出现频率以及逆文本频率指数；
42.第一确定子单元，用于基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
43.或，
44.第二提取子单元，用于对所述预处理结果进行词向量特征提取，获得文本特征。
45.可选地，所述装置还包括：
46.向量提取子单元，用于从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
47.聚合子单元，用于将所有特征点向量进行聚合，获得单词表；
48.次数统计子单元，用于统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
49.生成子单元，用于基于所述数值向量，生成词袋模型。
50.可选地，所述装置还包括：
51.样本获取子单元，用于获取训练样本，所述训练样本为标注有意图标签的文本信息；
52.样本处理子单元，用于对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
53.模型训练子单元，用于对所述文本表示向量进行神经网络模型训练，得到目标意
图识别模型。
54.相较于现有技术，本发明提供了一种意图识别方法及装置，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
附图说明
55.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
56.图1为本发明实施例提供的一种意图识别方法的流程示意图；
57.图2为本发明实施例提供的一种文本分类器训练的流程示意图；
58.图3为本发明实施例提供的一种意图识别装置的结构示意图。
具体实施方式
59.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
60.本发明的说明书和权利要求书及上述附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
61.在本发明实施例中提供了一种意图识别方法，主要是用于电商用户行为意图识别的文本分类，涉及电商用户行为自然语言处理领域。首先从web服务器中收集海量样本，利用大数据技术进行深入挖掘和分析，通过生成文本意图分类器的方法，确定与用户匹配的个性化化对话模式，并基于机器学习和深度学习算法，准确预测用户消息所表达的意图信息，从而可以获得对应的质变参数，增强对相关反馈信息的控制。当只需要很少意图范围的功能，也可识别最符合的意图。
62.参见图1，为本发明实施例提供的一种意图识别方法的流程示意图，该方法可以包括以下步骤：
63.s101、获取待识别文本。
64.本发明实施例要实现的是意图识别，该意图是指目标对象的意图，例如，目标对象在与智能客服进行对话时的询问意图，或者是目标对象在浏览相关信息的浏览意图等。对应的，待识别文本是能够进行意图识别的文本基础，如，用户输入的咨询文本，用户浏览的
网页文本信息等。
65.s102、对所述待识别文本进行预处理，得到预处理结果。
66.s103、对所述预处理结果进行特征提取，得到文本特征。
67.s104、将所述文本特征输入至目标意图识别模型，获得意图识别结果。
68.在本发明实施例中是通过目标意图识别模型对相关信息进行自动识别，来获得意图识别结果的。其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。对应的，并不是将待识别文本直接输入到目标意图识别模型中的，而是需要先对文本进行预处理，即对文本进行规范化处理，如剔除掉停用词、重复词以及错误输入词等，还需要对文本进行分词处理，然后进行对应的特征提取，得到文本特征，该文本特征以向量的模式进行表示，将其输入到目标意图识别模型后，会得出对应的意图识别结果。
69.为了能够清楚地对本发明实施例进行说明，现将相关术语进行解释。
70.意图识别：意图识别就是从一个句子中抽取它所表达的意图，本质上是一个文本多分类问题，将句子或者我们常说的query分到相应的意图种类。
71.文本分类：文本分类是一种监督机器学习方法，用于将句子或文本文档归类为一个或多个已定义好的类别。它是一个被广泛应用的自然语言处理方法，在垃圾邮件过滤、情感分析、新闻稿件分类以及与许多其它业务相关的问题中发挥着重要作用。
72.自然语言处理：自然语言处理(natural language processing，nlp)是一门集语言学，数学及计算机科学于一体的科学。它的核心目标就是把人的自然语言转换为计算机可以阅读的指令，简单来说就是让机器读懂人的语言。
73.文本预处理：用来解决特征空间高维性、语义相关性和特征分布稀疏的一种手段。
74.停用词：主要包括一些副词、形容词及其一些连接词。
75.词袋模型：词袋模型(bow，bag of words)不考虑文本中词与词之间的上下文关系，仅仅只考虑所有词的权重(与词在文本中出现的频率有关)，类似于将所有词语装进一个袋子里，每个词都是独立的，不含语义信息。
76.tf
‑
idf：tf
‑
idf(termfrequency
–
inversedocumentfrequency)是一种用于资讯检索与资讯探勘的常用加权技术。tf
‑
idf是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。tf
‑
idf加权的各种形式常被搜寻引擎应用，作为文件与用户查询之间相关程度的度量或评级。
77.词频(tf)：tf(term frequency)指的是某一个给定的词语在该文件中出现的次数。
78.逆文档频率(idf)：是指如果包含词条的文档越少，那么idf反文档频率(inverse document frequency)越大，说明词条具有很好的类别区分能力。
79.意图识别就是从一个句子中抽取它表达的意图，因此意图识别本质上也是一个多分类问题，其方法和分类模型的方法类似。电商用户行为文本分类训练文本分类器参见图2。首先获得训练集，然后通过特征工程处理实现对文本预处理、特征提取以及文本表示，再通过分类器输出对应的意图分类结果。
80.需要说明的是，在本发明实施例中的对待识别文本的处理过程，与目标意图识别
模型训练过程中的对训练文本的处理过程是一致的。在本发明实施例中，生成目标意图识别模型的过程包括：
81.获取训练样本，所述训练样本为标注有意图标签的文本信息；
82.对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
83.对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
84.对应的，对输入到目标识别模型的文本进行处理的过程也包括：预处理和特征提取。
85.在一种可能的实现方式中，所述对所述待识别文本进行处理，得到预处理结果，包括：
86.对所述待识别文本进行分词处理；
87.对分词后的文本进行去停用词处理，得到预处理结果。
88.在本发明实施例中主要是针对中文文本的进行预处理。特征粒度为词粒度远远优于字粒度，其大部分分类算法不考虑词序信息，基于字粒度的损失了过多的n
‑
gram信息。因此，需要进行分词处理，具体的，中文分词主要分为两类：基于词典的中文分词和基于统计的中文分词。
89.基于词典的中文分词核心是首先建立统一的词典表，当需要对一个句子进行分词时，首先将句子拆分成多个部分，将每一个部分与字典一一对应，如果该词语在词典中，分词成功，否则继续拆分匹配直到成功。因此，字典切分规则和匹配顺序是核心。
90.基于统计的中文分词方法：统计学认为分词是一个概率最大化问题，即拆分句子，基于语料库，统计相邻的字组成的词语出现的概率，相邻的词出现的次数多，就出现的概率大，按照概率值进行分词，所以一个完整的语料库很重要。
91.基于理解的分词方法：基于理解的分词方法是通过让计算机模拟人对句子的理解，达到识别词的效果。其基本思想就是在分词的同时进行句法、语义分析，利用句法信息和语义信息来处理歧义现象。它通常包括三个部分：分词子系统、句法语义子系统、总控部分。在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程。这种分词方法需要使用大量的语言知识和信息。
92.去除停用词的处理过程主要包括：建立停用词字典，停用词主要包括一些副词、形容词及其一些连接词。通过维护一个停用词表，实际上是一个特征提取的过程，本质上是特征选择的一部分。
93.在本发明的一种实施例中，对预处理结果进行特征提取，得到文本特征时，可以通过三种方式实现，包括：
94.利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
95.或，
96.统计预处理结果中各个词语的出现频率以及逆文本频率指数；
97.基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
98.或，
99.对所述预处理结果进行词向量特征提取，获得文本特征。
100.其中，词袋模型的创建过程包括：
101.从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
102.将所有特征点向量进行聚合，获得单词表；
103.统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
104.基于所述数值向量，生成词袋模型。
105.具体的，建立一个词典库，该词典库包含训练语料库的所有词语，每个词语对应一个唯一识别的编号，利用one
‑
hot文本表示。
106.文档的词向量维度与单词向量的维度相同，每个位置的值是对应位置词语在文档中出现的次数，即词袋模型(bow))。
107.词袋模型的创建过程包括：
108.(1)利用sift算法从不同类别的图像中提取视觉词汇向量，这些向量代表的是图像中局部不变的特征点；
109.(2)将所有特征点向量集合到一块，利用k
‑
means算法合并词义相近的视觉词汇，构造一个包含k个词汇的单词表；
110.(3)统计单词表中每个单词在图像中出现的次数，从而将图像表示成为一个k维数值向量。
111.在一种可能的实现方式中，还可以基于tf
‑
idf文本特征提取，其中，词频(tf)：tf(term frequency)指的是某一个给定的词语在该文件中出现的次数。逆文档频率(idf)：是指如果包含词条的文档越少，那么idf反文档频率(inverse document frequency)越大，说明词条具有很好的类别区分能力。
112.利用tf和idf两个参数来表示词语在文本中的重要程度。tf指的是一个词语在一个文档中出现的频率，一般情况下，每一个文档中出现的词语的次数越多词语的重要性更大，例如bow模型一样用出现次数来表示特征值，即出现文档中的词语次数越多，其权重就越大，问题就是在长文档中的词语次数普遍比短文档中的次数多，导致特征值偏向差异情况。tf体现的是词语在文档内部的重要性。idf是体现词语在文档间的重要性，即如果某个词语出现在极少数的文档中，说明该词语对于文档的区别性强，对应的特征值高，idf值高，idfi＝log(|d|/ni)，d指的是文档总数，ni指的是出现词语i的文档个数，很明显ni越小，idf的值越大。
113.在另一种可能的实现方式中还可以基于词向量的特征提取模型进行文本特征提取。
114.若基于大量的文本语料库，通过类似神经网络模型训练，将每个词语映射成一个定维度的向量，维度在几十到化百维之间，每个向量就代表着这个词语，词语的语义和语法相似性和通过向量之间的相似度来判断。
115.常用的word2vec主要是cbow和skip
‑
gram两种模型，由于这两个模型实际上就是一个三层的深度神经网络，其实nnlm的升级，去掉了隐藏层，由输入层、投影层、输出层三层构成，简化了模型和提升了模型的训练速度，其在时间效率上、语法语义表达上效果明显都变好。word2vec通过训练大量的语料最终用定维度的向量来表示每个词语，词语之间语义和语法相似度都可以通过向量的相似度来表示。
116.在本发明实施例中目标意图识别模型输出意图类别后，可以为后续进行强化学习算法的实现提供基础。
117.文本分类是nlp中一类十分典型的问题处理技术，传统的机器学习算法可以得到初步的电商用户行为的文本分类，但是不够准确，误差较明显，运用深度学习算法对电商用户行为的文本进行分类可以较为有效的进行意图分类，而且通过本步骤的不同种类的深度学习算法的实施，可以得到初步的意图分类，为后续实施强化学习算法奠定基础。
118.常用的能用来分类的模型，有：nb模型，随机森林模型(rf)，svm分类模型，knn分类模型模型。
119.深度学习分类模型常见的有fasttext模型、textcnn、textrnn。
120.fasttext原理：句子中所有的词向量进行平均(某种意义上可以理解为只有一个avg pooling特殊cnn)，然后直接连接一个softmax层进行分类。
121.textcnn：利用cnn来提取句子中类似n
‑
gram的关键信息。
122.textrnn：bi
‑
directional rnn(实际使用的是双向lstm)从某种意义上可以理解为可以捕获变长且双向的“n
‑
gram”信息。
123.textrnn attention：注意力(attention)机制是自然语言处理领域一个常用的建模长时间记忆机制，能够很直观的给出每个词对结果的贡献，基本成了seq2seq模型的标配了。实际上文本分类从某种意义上也可以理解为一种特殊的seq2seq，所以考虑把attention机制引入进来。
124.意图识别在不同的应用场景有不同的处理需求。例如：
125.基于词典以及模版的规则方法：
126.不同的意图会有的不同的领域词典，比如书名，歌曲名，商品名等等。当一个用户的意图来了以后我们根据意图和词典的匹配程度或者重合程度来进行判断，最简单一个规则是哪个domain的词典重合程度高，就将该query判别给这个领域。
127.基于查询点击日志：如果是搜索引擎等类型业务场景，那么我们可以通过点击日志得到用户的意图。
128.基于分类模型来对用户的意图进行判别：因为意图识别本身也是一个分类问题，其实方法和分类模型的方法大同小异。
129.本发明提供了一种意图识别方法及装置，包括：获取待识别文本；对所述待识别文本进行预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
130.在本发明实施例，意图识别是为电商平台中的用户行为提供服务的一种方式。系统上线运行一段时间后，可以收集到大量的用户行为数据，本发明通过web服务器读取海量数据，利用大数据技术进行深入挖掘和分析，通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息，得到感兴趣的商业指标并增强对风险的控制。
131.本发明提供了一种意图识别方法，包括：获取待识别文本；对所述待识别文本进行
预处理，得到预处理结果；对所述预处理结果进行特征提取，得到文本特征；将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
132.基于前述实施例，在本发明实施例中还提供了一种意图识别装置，参见图3，包括：
133.获取单元10，用于获取待识别文本；
134.预处理单元20，用于对所述待识别文本进行预处理，得到预处理结果；
135.特征提取单元30，用于对所述预处理结果进行特征提取，得到文本特征；
136.识别单元40，用于将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。
137.可选地，所述预处理单元包括：
138.分词子单元，用于对所述待识别文本进行分词处理；
139.去除子单元，用于对分词后的文本进行去停用词处理，得到预处理结果。
140.可选地，所述特征提取单元包括：
141.第一提取子单元，用于利用词袋模型对所述预处理结果进行特征提取，得到文本特征；
142.或，
143.统计子单元，用于统计预处理结果中各个词语的出现频率以及逆文本频率指数；
144.第一确定子单元，用于基于各个词语的出现频率以及逆文本频率指数，确定文本特征；
145.或，
146.第二提取子单元，用于对所述预处理结果进行词向量特征提取，获得文本特征。
147.可选地，所述装置还包括：
148.向量提取子单元，用于从不同类别的图像中提取视觉词汇向量，所述向量表征图像中局部不变的特征点；
149.聚合子单元，用于将所有特征点向量进行聚合，获得单词表；
150.次数统计子单元，用于统计所述单词表中每个单词在图像中出现的次数，获得数值向量；
151.生成子单元，用于基于所述数值向量，生成词袋模型。
152.可选地，所述装置还包括：
153.样本获取子单元，用于获取训练样本，所述训练样本为标注有意图标签的文本信息；
154.样本处理子单元，用于对所述训练样本进行文本预处理，并对预处理后的文本进行特征提取，获得文本表示向量；
155.模型训练子单元，用于对所述文本表示向量进行神经网络模型训练，得到目标意图识别模型。
156.本发明提供了一种意图识别装置，包括：获取单元获取待识别文本；预处理单元对
所述待识别文本进行预处理，得到预处理结果；特征提取单元对所述预处理结果进行特征提取，得到文本特征；识别单元将所述文本特征输入至目标意图识别模型，获得意图识别结果，其中，所述目标意图识别模型为基于训练样本训练得到的神经网络模型，所述训练样本为标注有意图标签的文本信息。通过生成文本意图分类器的方法，确定与用户匹配的个性化对话风格，并基于机器学习与深度学习算法，准确预测用户消息所表达的意图信息。提升了意图识别的精准度和可靠性。
157.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
158.对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。