一种生成式和检索式结合的多轮对话方法与流程

1.本发明涉及多轮对话系统技术领域，特别涉及一种生成式和检索式结合的多轮对话方法。


背景技术：

2.多轮对话技术用以实现人与计算机之类的快速信息交互,其中基于pipline的多轮对话系统包括语音识别、语言理解、对话状态维护、动作候选排序、语言生成、语音合成等模块,其中回答逻辑主要体现在对话状态维护模块中,也即,当接收到语言理解模块的输出之后,判断系统应该跳转到什么状态。对话状态维护模块一般可采用人工规则来设置,但是基于人工规则的对话状态维护模块不具有泛化能力,即当用户输入特别信息后，人工规则未针对该特别信息进行设置，则会造成整个多轮对话的中断。因此，传统的多轮对话方案的泛化能力差,运行流畅性得不到保证，对于状态维护模块需要专家进行总结，在不同场景下无法通用。使用端到端的多轮对话系统可以有效降低多轮对话的中间状态，防止错误累积，同时可以提高对话系统的泛化能力，也不需要过多的专家经验，有效降低人力成本。
3.本发明是将生成式和检索式多轮对话进行融合，首先将历史对话的前几句分别与最后一句utterance进行话题相似度计算，剔除无意义的话题减少后续匹配计算的难度，将话题相关的多轮对话进行生成一句对话历史摘要，再与候选回复句子进行匹配度计算。


技术实现要素：

4.本发明要解决的技术问题是克服现有技术的缺陷，提供一种历史对话生成和候选response检索的生产式和检索式结合多轮对话方法，能够实现更高的准确率。
5.本发明提供了如下的技术方案：
6.本发明提供一种生成式和检索式结合的多轮对话方法，包括以下步骤：
7.s1：多轮对话历史中每一句utterance的重要性是不同的，最后一句utterance是最重要的，前面的utterance可以概括为context，候选的语句是response；
8.s2：首先需要对utterance和response进行编码，中英文编码方式存在一定的差异，基于中文的特点使用字编码和词编码，词编码使用结巴分词，将语句进行词级别的拆分，然后进行向量映射，字编码使用word2vec进行编码；基于英文的特点分别是基于词级别和character级别编码，词级别和character级别分别使用word2vec；
9.s3：分别对utterance和response进行编码，得到句子向量；
10.s4：对步骤s3得到的句子向量进行gru，强化句子向量的表示，将last utterance和每一轮utterance拼接得到新的句子向量；
11.s5：对步骤s4得到的句子向量进行自注意力机制，进一步强化句子向量的表示；
12.s5：根据步骤s4得到的句子向量，对context中的每一句分别和最后一轮utterance进行计算文本相似度，选择文本相似度最低的一句话作为分割点，只保留相似度最低的句子后面的几组句子向量residual context，认为相似度最低的句子之前的句子与
本轮候选对话无关，减少冗余信息，提高匹配准确性；
13.s6：对s5阶段得到的residual context进行文本生成，得到一句信息量更大的对话摘要generation context，同时只保留一句话降低了后续文本配对的难度，s5中选取历史文本的方式有两种方式，分别是选择所有文本，寻找相似度最低的句子以后的所有句子，文本摘要的生成也可以采用多种方式，包括抽取式的摘要和生成式的摘要；
14.s7：候选response文本分别与generation context进入匹配网络进行文本相似度匹配；
15.s8：针对word2vec字向量编码和jieba词向量编码得到的文本表示方法，有两种结合方法，分别是将向量拼接，和在匹配网络后接入mlp将两种向量得到的匹配结果进行叠加，前者方法会使部分特征丢失，后者方法精度更高；
16.s9：在训练和测试阶段略有不同，训练阶段对context使用回译方法增强文本多样性，提高文本生成的鲁棒性，为了在encoder-decoder结构训练过程中加速训练收敛速度，使用的策略是teacher forcing，一般t时刻decoder的输入会采用上一步的预测输出，但是由于不准确的输出会带偏模型的节奏，减缓收敛速度；teacher forcing是将t-1时刻的真实标签作为t时刻decoder的输入，这样做让模型很快的学习到了训练集中的一些特征，但是如果一直使用t-1的真实标签会导致模型的鲁棒性较差，在t时刻decoder过程中以一定概率选取真实标签，将真实标签与预测结果随机选择作为decoder的输入，在前几轮迭代过程中decoder的输入选择真实的标签以便模型快速的往收敛方向发展，在随后decoder过程中逐步减少减少真实的标签出现的概率，增大预测的结果，会使得模型的泛化能力更强。
17.与现有技术相比，本发明的有益效果如下：
18.本发明的生成式和检索式融合的多轮对话方法在中文对话数据集上获得较高的准确率，继而体现出本发明的有效性；在深度学习模型广泛应用的今天，智能客服对于提高用户体验至关重要，基于此，本发明能明显提高多轮对话的匹配能力，从而为提高深度学习在多伦对话领域做出贡献。
附图说明
19.附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
20.图1是本发明的实施例示意图之一，多轮对话文本相似度的计算流程；
21.图2是本发明的实施例示意图之一，基于生成文本的相似度计算流程；
22.图3是本发明的实施例示意图。
具体实施方式
23.以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。其中附图中相同的标号全部指的是相同的部件。
24.实施例1
25.如图1-2，本发明提供一种生成式和检索式结合的多轮对话方法，具体的说，按如下步骤进行：
26.s1：多轮对话历史中每一句utterance的重要性是不同的，最后一句utterance是最重要的，前面的utterance可以概括为context，候选的语句是response；
27.s2：首先需要对utterance和response进行编码，基于中文的特点使用字编码和词编码，词编码使用结巴分词，将语句进行词级别的拆分，然后进行向量映射，字编码使用word2vec进行编码；
28.s3：分别对utterance和response进行编码，得到句子向量；
29.s4：对步骤s3得到的句子向量进行gru，强化句子向量的表示。将last utterance和每一轮utterance拼接得到新的句子向量；
30.s5：对步骤s4得到的句子向量进行自注意力机制，进一步强化句子向量的表示。
31.s5：作为优选，根据步骤s4得到的句子向量，对context中的每一句分别和最后一轮utterance进行计算文本相似度，选择文本相似度最低的一句话最为分割点，只保留相似度最低的句子后面的几组句子向量residual context，认为相似度最低的句子之前的句子与本轮候选对话无关，减少冗余信息，对于对话中的部分省略内容进行补全，提高匹配准确性。
32.s6：作为优选，对s5阶段得到的residual context使用transformer文本生成，得到一句信息量更大的文本generation context，同时只保留一句话降低了后续文本配对的难度；
33.s7：候选response文本分别与generation context进入匹配网络进行文本相似度匹配；
34.s8：针对word2vec字向量编码和jieba词向量编码得到的文本表示方法，有两种结合方法，分别是将向量拼接，和在匹配网络后接入mlp将两种向量得到的匹配结果进行叠加，前者方法会使部分特征丢失，后者方法精度更高作为优选方案。
35.s9：在训练阶段对context使用回译方法增强文本多样性，提高文本生成的鲁棒性，使用teacher forcing提高收敛速度，在前几轮迭代过程中decoder的输入选择真实的标签以便模型快速的往收敛方向发展，在随后decoder过程中逐步减少减少真实的标签出现的概率，反向sigmoid衰减(绿线)作为优选，如图3所示。
36.本发明的一种生成式和检索式结合的多轮对话方法在开源数据集上获得很好的准确率，继而体现出本发明的有效性；在深度学习模型广泛应用的今天，智能客服对于提高用户体验日益重要，基于此，本发明能明显提高多轮对话的匹配能力，从而为提高深度学习在多伦对话领域做出贡献。
37.最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。