一种语句的改写方法、装置、系统及存储介质与流程

1.本技术涉及自然语言处理技术领域，具体而言，涉及一种语句的改写 方法、装置、系统及存储介质。


背景技术：

2.在智能系统中多轮交互被广泛应用于业务场景中。多轮交互是指在人 机对话中，机器系统初步判定用户的意图之后，并分析获取到的用户输入 信息，最终明确用户的指令。
3.生活场景中，用户在进行表达时往往会对无需赘述的词语用指示性代 词替代或者直接省略。为了便于智能系统准确了解用户的意图，现有技术 采用的是将上下文语句和需要改写的语句拼接后输入模型进行改写，但是 当上下文语句较长的情况下，模型处理数据的时间显著增加并且实际应用 较困难，同时直接将带有噪声的上下文语句输入到模型中，模型训练的难 度较大，耗费的时间较长。
4.因此，如何提供一种高效的语句改写方法成了亟待解决的技术问题。


技术实现要素：

5.本技术实施例的目的在于提供一种语句的改写方法、装置、系统及存 储介质，通过本技术的一些实施例的可以将从历史上下文抽取的实体名词、 实体名词的时间信息以及待改写语句输入改写模型就可以得到改写语句， 有效降低了改写时间的同时提升了改写效率和改写质量。
6.第一方面，本技术一些实施例提供了一种语句的改写方法，包括：根 据目标实体识别模型获取历史语句中的至少一个实体名词；获取所述至少 一个实体名词中各实体名词的时间信息；将待改写语句、所述实体信息和 所述时间信息输入目标改写模型，获取所述目标改写模型输出的改写语句； 其中，所述历史语句是位于所述待改写语句之前的一个语句或多个语句。
7.本技术实施例通过将目标实体识别模型得到的历史语句的实体名词、 获取实体名词的时间和待改写的语句输入到目标改写模型，得到改写后的 语句。与相关技术需要将历史语句和待改写语句拼接后输入模型进行语句 改写的技术方案相比，对改写模型的训练过程更快(这是由于与相关技术 对改写模型进行训练时输入的是历史语句相比，本技术输入的是语句中的 实体名词更短)，且采用改写模型对语句的改写准确率更高(这是与相关 技术方案相比，本技术在语句改写时由于增加了实体名词的时间信息因为 准确率更高)。
8.在一些实施例，所述目标实体识别模型是通过如下方法训练得到的： 对获取的原始历史语句进行预处理，得到预处理后的数据，其中，所述预 处理包括去除所述原始历史语句中的噪声和/或将所述原始历史语句中长度 大于设定阈值的语句进行切分；将所述预处理后的数据划分为第一训练数 据集和第一验证数据集；根据所述第一训练数据集中的
数据对构建的初始 实体识别模型进行训练，得到预测实体名词和待验证实体识别模型；根据 所述第一验证数据集，确认所述待验证实体识别模型通过验证，则得到所 述目标实体识别模型。
9.本技术实施例通过对初始实体识别模型进行训练及验证，得到目标实 体识别模型。在训练之前对获取的历史语句进行去噪处理，减少了输入文 本的长度，降低了模型训练的难度和时间。在对语句改写时，该模型能够 获取到需要完善的实体名词，保证了最终的语句改写质量。
10.在一些实施例，所述目标改写模型是通过如下方法训练得到的：将所 述预测实体名词、所述预测实体名词的时间信息和第二训练数据包括的待 改写语句输入待训练的改写模型，对所述待改写模型进行训练，得到待验 证改写模型；根据第二验证数据集，确认所述待验证改写模型通过验证， 则得到所述目标改写模型。
11.本技术实施例通过将上述得到的预测实体名词、预测实体名词的时间 信息和第二训练数据对初始目标改写模型进行训练与验证，得到目标改写 模型。该方法采用了对两个模型端到端的训练方式，得到的目标改写模型 提升语句改写的准确率的同时降低了改写耗时。
12.在一些实施例，所述实体名词的个数为多个，其中，所述改写方法还 包括：对所述多个实体名词分别编码，得到多个不同的实体名词编码标记， 其中，一个实体名词对应一个实体名词编码标记；所述将待改写语句、所 述实体信息和所述时间信息输入目标改写模型，获取所述目标改写模型输 出的改写语句，包括：将所述待改写语句进行拆分并为拆分得到的每个对 象进行待改写编码标记，得到待改写编码标记序列；根据所述时间信息从 所述多个实体名词中筛选出至少一个目标实体名词，并获取所有目标实体 名词对应的实体名词编码标记；获取所述至少一个实体名词在所述待改写 语句中的插入位置和/或替换位置；将与所述目标实体名词对应的实体名词 编码标记插入所述待改写编码标记序列包括的所述插入位置和/或替换位置 处，得到改写标记序列；输出所述改写标记序列。
13.本技术实施例通过将待改写语句、实体名词及实体名词的时间信息相 结合，得到实体名词在待改写语句的插入位置和/或替换位置，最终输出语 句改写标记序列，该方法能够提取实体名词和时间信息，准确定位需要改 写的位置，改写质量较高。
14.在一些实施例，所述将所述待改写语句进行拆分，包括：以汉字为拆 分单位对所述待改写语句进行拆分。
15.本技术实施例通过以单个字体进行拆分，能够对后续改写位置的精准 定位。
16.在一些实施例，通过如下损失函数确认得到所述待验证实体识别模型 和所述待验证改写模型：
[0017][0018]
其中，l为损失函数，k为待验证实体识别模型的实体样本类别数量， 为第i类实体样本的标签分类值，为待验证实体识别模型输出为第i 类实体样本的概率，n为待验证改写模型的样本分类标签数量，为第j 个样本分类标签的标签分类值，为待验证改写模型输出为第j个样本分 类标签的概率。
[0019]
本技术实施例通过损失函数确认模型训练是否可以结束，有利于提升 模型的准确率。
[0020]
第二方面，本技术一些实施例提供了一种数据处理方法，通过执行所 述数据处理方法能够实现：对根据第一方面中的任意实施例的方法得到的 改写语句进行语义理解、问题检索或者情绪识别，分别得到语义理解结果、 问题检索结果或者情绪识别结果。
[0021]
第三方面，本技术一些实施例提供了一种语句的改写装置，所述改写 装置包括：实体名词识别模块，被配置为根据目标实体识别模型获取历史 语句中的至少一个实体名词；实体名词时间获取模块，被配置为获取所述 至少一个实体名词中各实体名词的时间信息；改写模块，被配置为将待改 写语句、所述实体信息和所述时间信息输入目标改写模型，获取所述目标 改写模型输出的改写语句；其中，所述历史语句是位于所述待改写语句之 前的一个语句或多个语句。
[0022]
第四方面，本技术一些实施例提供了一种系统，所述系统包括一个或 多个计算机和存储指令的一个或多个存储设备，当所述指令由所述一个或 多个计算机执行时，使得所述一个或多个计算机执行根据第一方面和第二 方面中的任意实施例所述的相应方法的操作。
[0023]
第五方面，本技术一些实施例提供了一种存储指令的一个或多个计算 机存储介质，当所述指令由一个或多个计算机执行时，使得所述一个或多 个计算机执行根据第一方面和第二方面中的任意实施例所述的相应方法的 操作。
附图说明
[0024]
为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例 中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术 的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人 员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相 关的附图。
[0025]
图1为本技术实施例提供的目标实体识别模型的训练方法流程图；
[0026]
图2为本技术实施例提供的目标改写模型的训练方法流程图；
[0027]
图3为本技术实施例提供的训练实体识别模型和改写模型得到目标实 体识别模型和目标改写模型的方法流程图；
[0028]
图4为本技术实施例提供的基于bi-lstm crf模型和bert模型获 取目标实体识别模型和目标改写模型的模型结构图；
[0029]
图5为本技术实施例提供的语句的改写方法流程图；
[0030]
图6为本技术实施例提供的语句的改写方法模型结构图；
[0031]
图7为本技术实施例提供的语句的改写装置的组成框图。
具体实施方式
[0032]
下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进 行描述。
[0033]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一 旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步 定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分 描述，而不能理解为指示或暗示相对重要
性。
[0034]
相关技术例中，多轮对话改写模型是根据历史上下文的文本和当前输 入的文本语句，对当前的文本语句进行指代消解和省略补全，得到改写之 后的结果。由于历史上下文的文本含有噪声或者文本较长时，大大增加了 模型训练的难度和时间。
[0035]
经过上述分析不难发现，采用传统的改写方法对语句进行改写的准确 率较低，且对模型进行训练的难度也较大。鉴于此，本技术的一些实施例 是将识别的历史语句的实体名词和这些实体名词的时间信息输入改写模 型，以对待改写语句进行改写。正是由于本技术这些实施例输入改写模型 的是实体名词而不是整个历史语句，且还获取实体名词的时间信息。因此 采用本技术的模型得到的改写结果更加准确，这是由于与实体名词相比历 史语句包含更多干扰信息这必然会降低改写准确度，与不含实体名词的时 间信息的技术方案相比由于本技术实施例还考虑了实体名词的时间信息因 此可以进一步提升改写语句的准确性。
[0036]
可以理解的是，在本技术的一些实施例中，为了进一步提升改写语句 的准确性，在模型训练阶段还可以将实体识别模型和改写模型采用端到端 的方式进行训练，同时优化两个模型，训练结束就得到了目标实体识别模 型和目标改写模型。之后，在有需要待改写的语句时，可以首先将这个待 改写语句之前的一个或多个相邻的历史语句中输入目标实体识别模型识别 得到实体名词，并统计识别的各实体名词的生成时间信息。然后，再将通 过目标实体识别模型识别的实体名词、实体名词的时间信息和该待改写语 句输入目标改写模型联合，对待改写语句进行改写，提高了改写的效率和 改写的准确率。
[0037]
需要说明的是，本技术一些实施例可以适应于多种对话场景。例如， 在本技术一些实施例中的获取语句的改写方法可以应用在人机对话场景 中，在该场景中利用本技术一些实施例的改写方法对用户输入的语句进行 改写，改写后的语句可以为系统提供更加清晰完整的语句信息。例如，在 本技术的另一些实施例中的获取语句的改写方法可以应用在人与人线上对 话场景中，该方法可以作为该对话场景的辅助助手，改写后的语句可以为 用户提供清晰完整的语句信息，为正确理解语义提供参考。
[0038]
下面首先示例性介绍对实体识别模型和改写模型进行训练，以得到具 有实体名词识别功能的目标实体识别模型和具有语句改写功能的目标改写 模型的过程。
[0039]
参见附图1，图1示出了在本技术的一些实施例中目标实体识别模型的 训练方法流程图。
[0040]
在本技术的一些实施例中，目标实体识别模型的训练方法可以包括： s110，对获取的原始历史语句进行预处理，得到预处理后的数据，其中， 所述预处理包括去除所述原始历史语句中的噪声和/或将所述原始历史语句 中长度大于设定阈值的语句进行切分。s120，将所述预处理后的数据划分 为第一训练数据集和第一验证数据集。s130，根据所述第一训练数据集中 的数据对构建的初始实体识别模型进行训练，得到预测实体名词和待验证 实体识别模型。s140，根据所述第一验证数据集，确认所述待验证实体识 别模型通过验证，则得到所述目标实体识别模型。
[0041]
可以理解的是，为了保证训练过程可以顺利结束得到目标实体识别模 型，还需要预先定义实体识别损失函数，该实体识别损失函数可以根据预 测的实体名词与真实的实体名词之间的差异性获取实体识别损失，当实体 识别损失不满足设置的条件时则可以通
过反向传播等方式来调整实体识别 模型的参数。在对模型进行多次训练后得到的实体识别损失将达到设置的 阈值要求，此时就可以终止对实体识别模型的训练过程得到目标实体识别 模型。也就是说，s130还可以包括根据实体识别损失确认对所述初始实体 识别模型的训练的过程可结束，得到所述待验证实体识别模型。
[0042]
参见附图2，图2示出了在本技术的一些实施例中目标改写模型的训练 方法流程图。
[0043]
本技术实施例提供的目标改写模型的训练方法可以包括：s210，将上 述s130得到的预测实体名词、预测实体名词的时间信息和第二训练数据包 括的待改写语句输入待训练的改写模型，对待改写模型进行训练，得到待 验证改写模型。s220，根据第二验证数据集，确认待验证改写模型通过验 证，则得到所述目标改写模型。
[0044]
可以理解的是，为了保证训练过程可以顺利结束得到目标改写模型， 还需要预先定义损失函数，该损失函数可以根据预测的改写语句与真实的 改写语句之间的差异性获取改写损失，当改写损失不满足设置的条件时则 可以通过反向传播等方式来调整改写模型的参数。在对改写模型进行多次 训练后得到的改写损失将达到设置的阈值要求，此时就可以终止对改写模 型的训练过程得到目标改写模型。也就是说，在本技术的一些实施例中， 为了保证训练后的模型的改写质量。s210还可以包括根据分类任务损失的 交叉熵确认所述初始改写模型的训练的过程可结束，得到所述待验证改写 模型。
[0045]
在本技术的一些实施例中，上述s130中的实体识别损失和s210的分 类任务损失可以通过如下损失函数确认得到所述待验证实体识别模型和所 述待验证改写模型，并且得到根据损失值调整后的参数模型：
[0046][0047]
其中，l为损失函数，k为待验证实体识别模型的实体样本类别数量， 为第i类实体样本的标签分类值，为待验证实体识别模型输出为第i 类实体样本的概率，n为待验证改写模型的样本分类标签数量，为第j 个样本分类标签的标签分类值，为待验证改写模型输出为第j个样本分 类标签的概率。
[0048]
其中，若样本的标注结果为i，则的取值为1，否则为0。若样本的 标注结果为j，则取值为1，否则为0。
[0049]
下面以bi-lstm crf模型和bert模型为例，具体阐述训练模型的 具体流程。
[0050]
如图3所示，本技术的一些实施例提供了一种训练实体识别模型和改 写模型得到目标实体识别模型和目标改写模型的方法。
[0051]
图3的方法包括：
[0052]
s310，收集历史文本数据。
[0053]
从业务相关系统日志内收集原始历史语句数据、人工标注的实体名词、 待改写语句和改写标注语句。
[0054]
s320，历史文本数据预处理。
[0055]
对获取的原始历史语句进行预处理，得到预处理后的数据，其中，预 处理包括去
除原始历史语句中的噪声和/或将原始历史语句中长度大于设定 阈值的语句进行切分。
[0056]
作为一个示例，由于s310收集的原始历史语句含有无意义的特殊字符， 空格，乱码的字符，因此s320可以利用正则表达式对这些噪声进行清理。 若s310采集得到的原始历史语句的文本长度超出设定阈值，则s320用具 有切分功能的python脚本将其截断。
[0057]
s330，数据集的准备。
[0058]
将s320处理后的数据按照设定的比例分为训练数据集和验证数据集， 分别用于模型的训练和验证。
[0059]
作为一个示例，在人机系统对话时，训练数据集和验证数据集均包含 有多条样本数据。每条样本数数据均包括一个待改写语句、至少一句历史 语句、至少一个实体名词和一个改写标注语句。
[0060]
s340，训练模型。
[0061]
利用s330得到的训练数据集对实体识别模型和改写模型进行训练，得 到待验证实体识别模型和待验证改写模型。然后，利用验证数据集确认待 验证实体识别模型和待验证改写模型通过验证，则得到目标实体识别模型 和目标改写模型。
[0062]
作为一个示例，请参见附图4。图4为本技术的一些实施例提供的基于 bi-lstm crf(long short-term memory conditional random field)模型 (作为实体识别模型的一个具体示例)和语言表征模型(bidirectionalencoder representations from transformers，简称bert，作为改写模型结构 的一个示例)获取目标实体识别模型和目标改写模型的模型结构图。下面 以人机交互中的一条训练样本为例对具体的训练流程进行说明。
[0063]
第一步，
[0064]
将历史语句转化为向量形式输入待训练的bi-lstm crf模型。该过 程示例性包括：将历史语句对应的文本信息分别以汉字为拆分单位转换成 计算机可读的向量形式。如图4所示，历史语句包括上文问句和上文系统 回复，其中，上文问句为：“咨询随e保”，上文系统回复为：“已经升级成 阳光i保”，相应的转换成的输入向量为：向量分别表征为“e
咨
、e
询
、e
随
、 ee、e
保”、“e
已
、e
经
、e
升
、e
级
、e
成
、e
阳
、e
光
、ei、e
保”。
[0065]
将待改写语句转化为向量形式输入待训练的改写模型(即图4的 bert)。如图4所示，输入待改写的语句为问句：“有什么优点”，将该语 句以汉字为拆分单位转换成计算机可读的向量形式，得到“e
有
、e
什
、e
么
、 e
优
、e
点”。
[0066]
第二步，获取bi-lstm crf模型输出的带有时序信息的实体编码向 量，即命名实体识别(named entity recognition，简称ner)：b-p(表示 随e保)和i-p(表示阳光i保)，由此得到两个实体名词，并对该实体名 词进行实体名词标记，得到e
entity1
(也就是b-p：随e保)和e
entity2
(也就 是i-p：阳光i保)，然后根据位置进行实体名词编码标记，即e1和e2，最 后将组成实体名词编码序列e
11
。不难理解的是，这两个实体名词的出现时 间b-p(表示随e保)要早于i-p(表示阳光i保)，即获取的这两个实体 名词的出现时间信息分别为t1和t2时，则t1对应的时刻早于t2对应的时 刻。
[0067]
第三步，基于“有什么优点”字的输入次序，根据“e
有
、e
什
、e
么
、e
优
、 e
点”对每个汉字进行位置编码，其中cls表示从e1开始进行编码标记，sep 为结束标志，得到e1、e2、e3、e4、e5、e6、e7。之后把语句进行拆分并为 拆分得到的每个对象进行待改写编码标记，得到待改写编
码标记序列e0。
[0068]
第四步，将待改写编码标记序列e0以及第二步中得到的实体名词的时 序信息和实体名词编码序列e
11
输入到bert模型(即作为改写模型的一个 示例)。
[0069]
第五步，获取bert模型输出的改写标记序列。由图中可以看出，选 择实体名词编码序列e
11
中实体名词编码标记为e2的实体名词插入到“有
”ꢀ
字的前面(这是由于这个实体名词的出现时间更靠近被替换的待改写语 句)，得到预测的改写后的句子“阳光i保有什么优点”。
[0070]
第六步，根据bert模型输出的预测的改写后的句子与训练数据集中 的改写标注语句分析得到分类任务损失的交叉熵。如果判断交叉熵的值小 于设定的阈值，则调整实体识别模型和改写模型的参数，重复上述训练过 程。
[0071]
第七步，根据分类任务损失的交叉熵确认对bert模型和实体识别模 型的训练的过程可结束，得到所述待验证bert模型和所述待验证的实体 识别模型。然后，利用验证数据集确认待验证bert模型通过验证并确认 实体识别模型通过验证，则得到目标bert模型和目标实体识别模型。
[0072]
可以理解的是，为了在后续可以利用训练得到的目标实体识别模型和 目标改写模型需要将训练结束后的模型参数进行保存。
[0073]
下面结合训练得到的目标实体识别模型和目标改写模型示例性阐述本 申请实施例提供的语句的改写方法的具体过程。
[0074]
请参见图5，图5为本技术实施例提供的语句的改写方法流程图。
[0075]
本技术实施例提供的语句的改写方法可以包括：s510，根据目标实体 识别模型获取历史语句中的至少一个实体名词；s520，获取所述至少一个 实体名词中各实体名词的时间信息；s530，将待改写语句、所述实体信息 和所述时间信息输入目标改写模型，获取所述目标改写模型输出的改写语 句；其中，所述历史语句是位于所述待改写语句之前的一个语句或多个语 句。
[0076]
下面示例性阐述上述过程。
[0077]
s510涉及的目标实体识别模型和目标改写模型是通过上述图1、图2 或者图4的方式训练得到的，本技术的一些实施例也可以采用不同于图1 和图2的训练过程得到目标实体识别模型和目标改写模型，图1和图2的 训练过程只作为一个具体示例。
[0078]
可以理解的是，在执行s510之前还需要预先收集至少一个原始历史语 句，例如，在本技术的一些实施例中，s510的至少一个原始历史语句是从 相关对话业务系统中采集得到的。由于预先收集的原始历史语句可能存在 噪声或语句较长的问题，在执行s510之前还需要对原始历史语句进行去噪 又或者截断处理。不难理解的是，在本技术的一些实施例中也可以对收集 的原始历史语句既进行去噪又进行截断处理。
[0079]
在本技术的一些实施例中，历史语句是位于待改写语句之前的一个语 句或多个语句。也就是说，本技术一些实施例选择的历史语句产生的时间 要早于待改写语句的时间。例如，待改写语句的产生时刻是t，则在时刻t 之前，按照距离t时刻由近到远的顺序选择一个或多个历史语句。
[0080]
为了能够准确提取实体名词和获取实体产生的时间信息，准确定位需 要改写的位置，本技术的一些实施例需要获取实体名词的产生时间。例如， 在本技术的一些实施例
中，可以通过目标实体识别模型获取多个带有时序 信息的实体名词，时序信息就是实体名词产生的时间信息；还可以通过读 取系统内部缓存的时序信息获取实体名词产生的时间信息。需要说明的是， 为了便于清晰的阐述，本实施例结合图6提供的语句的改写方法模型结构 图进行示例性说明该语句的改写方法s530还可以包括如下步骤。
[0081]
第一步，对采用目标实体识别模型获取的历史语句的多个实体名词分 别编码，得到多个不同的实体名词编码标记，其中，一个实体名词对应一 个实体名词编码标记。
[0082]
例如，选取距离待改写语句最近的两条历史语句，将历史语句输入到 通过上述训练的目标bi-lstm crf模型(作为目标实体识别模型的一个 具体示例)，得到两个实体名词。也就是图6示出的e
entity1
和e
entity2
，分别 表示的实体名词是“随e保”和“阳光i保”。将“随e保”的实体编码标记为e1，
ꢀ“
阳光i保”的实体编码标记为e2。然后将两个实体名词组成实体编码序列 e
11
。
[0083]
第二步，将待改写语句进行拆分并为拆分得到的每个对象进行待改写 编码标记，得到待改写编码标记序列。
[0084]
例如，待改写语句“有什么优点”。图6所示的，将这5个字进行拆分， 并进行待改写编码标记，即位置编码：d1(对应“cls”，编码的始端)、 d2(对应“有”)、d3(对应“什”)、d4(对应“么”)、d5(对应“优”)、 d6(对应“点”)、d7(对应“sep”，编码的尾端)。然后将位置编码数据组 成待改写编码标记序列e0。
[0085]
第三步，根据所述时间信息从多个实体名词中筛选出至少一个目标实 体名词，并获取所有目标实体名词对应的实体名词编码标记。
[0086]
例如，图6示出的就是第一步中的e1和e2。
[0087]
第四步，获取至少一个实体名词在待改写语句中的插入位置和/或替换 位置。将与目标实体名词对应的实体名词编码标记插入待改写编码标记序 列包括的插入位置和/或替换位置处，得到改写标记序列。
[0088]
例如，将待改写编码标记序列e0和实体编码序列e
11
输入到上述训练 的目标bert模型(作为目标改写模型的一个具体示例)，由图6可以看 出，目标bert模型输出的是将实体编码序列e
11
中的实体编码标记为e2的实体名词插入到位置编码为d2的前面。
[0089]
第五步，输出所述改写标记序列。
[0090]
例如，由图6可知，最后目标bert模型输出的改写的句子为“阳光i 保有什么优点”。
[0091]
需要说明的是，目标实体识别模型和目标改写模型还可以由除 bi-lstm crf模型、bert模型之外的，具有语言识别处理功能的模型来 训练得到。
[0092]
由上述可知，在本技术的一些实施例中，通过训练得到的目标实体识 别模型和目标改写模型可以联合使用，根据历史语句对待改写的语句进行 改写。另外，目标实体识别模型和目标改写模型将实体识别和改写分为两 个部分，因此在本技术的另外一些实施例中，目标实体识别模型和目标改 写模型也可以分开使用。
[0093]
另外，本技术实施例还提供了一种数据处理方法，通过执行该数据处 理方法能够实现：对根据图5中的任意实施例的方法得到的改写语句进行 语义理解、问题检索或者情绪识别，分别得到语义理解结果、问题检索结 果或者情绪识别结果。
[0094]
由上述可知，改写后的语句表达的内容更加完整、清晰，对于系统或 人来说，在语
义理解、问题检索或者情绪识别方面更容易获取重要信息。
[0095]
请参考附图7，图7示出了本技术实施例提供的语句的改写装置的组成 框图。应理解，该语句的改写装置与上述图5方法实施例对应，能够执行 上述方法实施例涉及的各个步骤，该语句的改写装置的具体功能可以参见 上文中的描述，为避免重复，此处适当省略详细描述。
[0096]
图7的语句的改写装置包括至少一个能以软件或固件的形式存储于存 储器中或固化在语句的改写装置中的软件功能模块，该改写装置包括：实 体名词识别模块710、实体名词时间获取模块720和改写模块730。
[0097]
实体名词识别模块710可以被配置为：根据目标实体识别模型获取历 史语句中的至少一个实体名词。实体名词时间获取模块720可以被配置为： 获取所述至少一个实体名词中各实体名词的时间信息。改写模块730可以 被配置为：将待改写语句、所述实体信息和所述时间信息输入目标改写模 型，获取所述目标改写模型输出的改写语句；其中，所述历史语句是位于 所述待改写语句之前的一个语句或多个语句。
[0098]
在本技术的一些实施例中，图7的语句的改写装置还可以包括第一训 练模块和第二训练模块(图中未示出)，其中，第一训练模块可以被配置 为：对获取的原始历史语句进行预处理，得到预处理后的数据，其中，所 述预处理包括去除所述原始历史语句中的噪声和/或将所述原始历史语句中 长度大于设定阈值的语句进行切分；将所述预处理后的数据划分为第一训 练数据集和第一验证数据集；根据所述第一训练数据集中的数据对构建的 初始实体识别模型进行训练，得到预测实体名词和待验证实体识别模型； 根据所述第一验证数据集，确认所述待验证实体识别模型通过验证，则得 到所述目标实体识别模型。
[0099]
第二训练模块可以被配置为：将所述预测实体名词、所述预测实体名 词的时间信息和第二训练数据包括的待改写语句输入待训练的改写模型， 对所述待改写模型进行训练，得到待验证改写模型；根据第二验证数据集， 确认所述待验证改写模型通过验证，则得到所述目标改写模型。
[0100]
在本技术的一些实施例中，改写模块730还可以被配置为：对所述多 个实体名词分别编码，得到多个不同的实体名词编码标记，其中，一个实 体名词对应一个实体名词编码标记；所述实体名词的个数为多个。将所述 待改写语句进行拆分并为拆分得到的每个对象进行待改写编码标记(即以 汉字为拆分单位对所述待改写语句进行拆分)，得到待改写编码标记序列。 根据所述时间信息从所述多个实体名词中筛选出至少一个目标实体名词， 并获取所有目标实体名词对应的实体名词编码标记。获取所述至少一个实 体名词在所述待改写语句中的插入位置和/或替换位置。将与所述目标实体 名词对应的实体名词编码标记插入所述待改写编码标记序列包括的所述插 入位置和/或替换位置处，得到改写标记序列。输出所述改写标记序列。
[0101]
在本技术的一些实施例中，第一训练模块或第二训练模块还可以被配 置为：通过如下损失函数确认得到所述待验证实体识别模型和所述待验证 改写模型：
[0102][0103]
其中，l为损失函数，k为待验证实体识别模型的实体类别数量，为 待验证实体
识别模型的第i类实体的标签分类值，为待验证实体识别模 型输出为第i类实体的概率，n为待验证改写模型的分类标签数量，为待 验证改写模型的第j类分类标签的标签分类值，为待验证改写模型输出 为第j个分类标签的概率。
[0104]
本技术的一些实施例还提供一种系统，所述系统包括一个或多个计算 机和存储指令的一个或多个存储设备，当所述指令由所述一个或多个计算 机执行时，使得所述一个或多个计算机执行图5中任意实施例的方法的操 作。
[0105]
本技术的一些实施例还提供一种存储指令的一个或多个计算机存储介 质，当所述指令由一个或多个计算机执行时，使得所述一个或多个计算机 执行图5中任意实施例的方法的操作。
[0106]
以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围， 对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术 的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本 申请的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示 类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需 要对其进行进一步定义和解释。
[0107]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局 限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可 轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术 的保护范围应所述以权利要求的保护范围为准。
[0108]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用 来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者 暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语
ꢀ“
包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包 括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包 括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者 设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定 的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在 另外的相同要素。