一种对话生成模型的方法、装置以及设备与流程

技术特征：
1.一种对话生成模型的方法，其特征在于，所述方法包括：获取对话历史记录，通过所构建的对话生成模型中的编码器分别对所述对话历史记录、所述对话历史记录中的最后一句话以及与所述对话历史记录的相关文档进行编码处理，得到编码器的输出结果；通过在所述编码器中附加一个二分类的任务器将所述输出结果分别与错误回复和最佳回复连接起来，并加上cls令牌进行分类，以训练所述编码器进行背景知识的学习；当所述编码器进行训练后的参数处于收敛时，通过所述对话生成模型中的gpt
‑
2解码器基于所述编码器进行训练，直到生成具有知识感知的回复。2.根据权利要求1所述的一种对话生成模型的方法，其特征在于，所述获取对话历史记录，通过所构建的对话生成模型中的编码器分别对所述对话历史记录、所述对话历史记录中的最后一句话以及与所述对话历史记录的相关文档进行编码处理，得到编码器的输出结果的步骤包括：通过transformer的自注意力模块对所述对话历史记录和所述最后一句话进行编码，并通过上下文注意力模块从编码后的上下文中选择信息；通过transformer的自注意力模块对所述对话历史记录的相关文档进行编码后，得到所述对话历史记录中的关键信息通过知识注意模块进行学习，得到具有所述关键信息的输出结果。3.根据权利要求2所述的一种对话生成模型的方法，其特征在于，所述自注意力模块包括具有多个相同层数的堆栈层，所述堆栈层包括多头注意力机制和全连接ffn。4.根据权利要求2所述的一种对话生成模型的方法，其特征在于，所述上下文注意模块包括多头自注意层、多头上下文注意力层和全连接ffn。5.根据权利要求2所述的一种对话生成模型的方法，其特征在于，所述知识注意模块包括多头自注意层、知识注意层和全连接ffn。6.根据权利要求1所述的一种对话生成模型的方法，其特征在于，在所述通过在所述编码器中附加一个二分类的任务器将所述输出结果分别与错误回复和最佳回复连接起来，并加上cls令牌进行分类之后，还包括：将所述输出结果分别与错误回复和最佳回复连接起来输入至自注意力模块，并基于所述自注意力模块建立线性变换进行分类。7.根据权利要求1所述的一种对话生成模型的方法，其特征在于，所述通过所述对话生成模型中的gpt
‑
2解码器基于所述编码器进行训练，直到生成具有知识感知的回复的步骤包括：通过知识感知二分类损失函数和交叉熵损失函数进行参数调整，直到所述知识感知二分类损失函数和所述交叉熵损失函数的和处于收敛。8.一种对话生成模型的装置，其特征在于，所述装置包括：编码单元，用于获取对话历史记录，通过所构建的对话生成模型中的编码器分别对所述对话历史记录、所述对话历史记录中的最后一句话以及与所述对话历史记录的相关文档进行编码处理，得到编码器的输出结果；训练单元，用于通过在所述编码器中附加一个二分类的任务器将所述输出结果分别与错误回复和最佳回复连接起来，并加上cls令牌进行分类，以训练所述编码器进行背景知识
的学习；生成单元，用于当所述编码器进行训练后的参数处于收敛时，通过所述对话生成模型中的gpt
‑
2解码器基于所述编码器进行训练，直到生成具有知识感知的回复。9.一种对话生成模型的设备，其特征在于，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现如权利要求1至7任意一项所述的一种对话生成模型的方法。

技术总结
本发明公开了一种对话生成模型的方法，所述方法包括：获取对话历史记录，通过所构建的对话生成模型中的编码器分别对所述对话历史记录、所述对话历史记录中的最后一句话以及与所述对话历史记录的相关文档进行编码处理，得到编码器的输出结果；通过在所述编码器中附加一个二分类的任务器将所述输出结果分别与错误回复和最佳回复连接起来，并加上CLS令牌进行分类，以训练所述编码器进行背景知识的学习；当所述编码器进行训练后的参数处于收敛时，通过所述对话生成模型中的GPT


技术研发人员：王焱 韩莹
受保护的技术使用者：中央财经大学
技术研发日：2021.07.30
技术公布日：2021/10/18