文本生成方法及装置，神经网络模型的训练方法及装置与流程

1.本技术涉及计算机技术领域，具体涉及一种文本生成方法及装置，神经网络模型的训练方法及装置。


背景技术：

2.随着深度学习技术的不断发展，基于大规模无监督语料进行训练的语言模型开始兴起，在自然语料理解以及文本生成等在众多任务上都表现出与人类相当或者超越人类的性能。例如，给定故事开头，现有的文本生成模型能续写出整篇文章。然而，续写出的整篇文章会存在句间过渡不自然的句子，例如，句子之间缺乏衔接语，以致于过渡不自然。


技术实现要素：

3.有鉴于此，本技术提供一种文本生成方法及装置，神经网络模型的训练方法及装置，能够准确地在相邻两段文本之间生成衔接语，以避免句间过渡不自然。
4.根据本技术实施例的第一方面，提供了一种文本生成方法，包括：在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，mask字符用于衔接相邻两段文本；根据待编辑文本，通过编码器，得到待编辑文本中的每个字符对应的隐藏层特征；根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本预测结果。
5.在一个实施例中，待编辑文本中的每个字符对应的隐藏层特征包括至少两段文本中的每个字符对应的隐藏层特征和mask字符对应的隐藏层特征。根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的预测结果，包括：将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的预测长度；根据至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度，通过解码器，得到mask字符对应的文本预测结果。
6.在一个实施例中，方法还包括：接收用户输入的mask字符的指定长度。
7.在一个实施例中，根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的预测结果，包括：将待编辑文本中的每个字符对应的隐藏层特征和mask字符的指定长度输入解码器，以获得mask字符对应的文本预测结果。
8.在一个实施例中，方法还包括：据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段文本对应的文本预测结果。
9.根据本技术实施例的第二方面，提供了一种神经网络模型的训练方法，包括：将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，其中，mask字符用于衔接相邻两段训练文本；根据待训练文本，通过编码器，得到待训练文本中的每个字符对应的隐藏层特征；根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果；根据mask字符对应的文本训练结果和mask字符对应的标签，计算第一损失函数值，其中，mask字符对应的标签为目标衔接语字符；基于第一损失函
数值，更新编码器和解码器的参数，以获得神经网络模型。
10.在一个实施例中，待训练文本中的每个字符对应的隐藏层特征包括至少两段训练文本中的每个字符对应的隐藏层特征和mask字符对应的隐藏层特征。根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果，包括：将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的训练长度；将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器，以获得mask字符对应的文本训练结果。
11.在一个实施例中，训练方法还包括：根据mask字符的训练长度和mask字符对应的标签长度，计算第二损失函数值，其中，mask字符对应的标签长度为目标衔接语字符长度。
12.在一个实施例中，基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型，包括：根据第一损失函数值和第二损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
13.在一个实施例中，训练方法还包括：根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段训练文本对应的文本训练结果；根据至少两段训练文本对应的文本训练结果和至少两段训练文本对应的标签，计算第三损失函数值，其中，至少两段训练文本对应的标签为至少两段目标文本字符。
14.在一个实施例中，基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型，包括：根据第一损失函数值和第三损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
15.在一个实施例中，训练方法还包括：对至少两段原始文本进行文本编辑操作，以获得至少两段训练文本，其中，文本编辑操作包括以下操作中的至少一个：插入预设数量的字符、删除预设数量的字符、替换预设数量的字符、交换预设数量的字符的位置。
16.在一个实施例中，将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，包括：在至少两段训练文本中的相邻两段训练文本之间缺乏衔接语或具有过渡不自然的衔接语时，将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本。
17.根据本技术实施例的第三方面，提供了一种文本生成装置，包括：第一插入模块，配置为在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，mask字符用于衔接相邻两段文本；第一获取模块，配置为根据待编辑文本，通过编码器，得到待编辑文本中的每个字符对应的隐藏层特征；第二获取模块，配置为根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本预测结果。
18.在一个实施例中，装置还包括：用于执行上述实施例提及的实体识别方法中的各个步骤的模块。
19.根据本技术实施例的第四方面，提供了一种神经网络模型的训练装置，包括：第二插入模块，配置为将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，其中，mask字符用于衔接相邻两段训练文本；训练模块，配置为根据待训练文本，通过编码器，得到待训练文本中的每个字符对应的隐藏层特征；根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果；根据mask字符对应的文本训练结果和mask字符对应的标签，计算第一损失函数值，其中，mask字符对应的
标签为目标衔接语字符；基于第一损失函数值，更新编码器和解码器的参数，以获得文本生成模型。
20.在一个实施例中，训练装置还包括：用于执行上述实施例提及的神经网络模型的训练方法中的各个步骤的模块。
21.根据本技术实施例的第五方面，提供了一种电子设备，该电子设备包括：处理器；以及存储器，在存储器中存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行第一方面或第二方面所提及的方法。
22.根据本技术实施例的第六方面，提供了一种计算机可读存储介质，该存储介质存储有指令，当该指令被执行时，能够实现上述第一方面或第二方面所提及的方法。
23.本技术实施例提出的文本生成方法，通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。
附图说明
24.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
25.图1是本技术一个实施例提供的文本生成方法的应用场景的系统架构示意图。
26.图2是本技术一个实施例提供的文本生成方法的流程示意图。
27.图3是本技术另一个实施例提供的文本生成方法的流程示意图。
28.图4是本技术一个实施例提供的神经网络模型的训练方法的流程示意图。
29.图5是本技术另一个实施例提供的神经网络模型的训练方法的流程示意图。
30.图6是本技术一个实施例提供的文本生成装置的框图。
31.图7是本技术一个实施例提供的神经网络模型的训练装置的框图。
32.图8是本技术一个实施例提供的电子设备的结构示意图。
具体实施方式
33.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
34.本技术实施例技术方案适用于文本自动生成的应用场景，采用本技术实施例技术方案，能够避免生成的文本存在句间过渡不自然的句子。
35.为避免生成的文本存在句间过渡不自然的句子，现有的方案主要通过使用更大的文本生成模型和更多的数据。具体地，更大的文本生成模型经过更多的数据的充分训练，有可能从大数据中学习到语言的范式，使得上述问题得到一定程度的缓解。但是这同时也意味着需要更大的数据收集成本、更昂贵的模型训练代价以及更长的推理响应时间，才能生成想要的文本。
36.为了降低数据收集成本、模型训练代价以及推理响应时间，可以在文本生成模型的基础上，额外添加一个文本编辑模型。具体地，在得到文本生成模型生成的文本结果后，再将该文本结果输入文本编辑模型中，对文本结果中的每个句子进行增删改等文本编辑操作，例如，增加主语、删除重复词组等。但值得注意的是，现有的文本编辑模型主要针对文本生成模型生成的文本结果中的单个句子内进行简单的修改，也就是说，现有的文本编辑模型只能够对单个句子内的明显的词组重复、语义冗余以及单个句子内的突然截断(即，单个句子的内容明显没有完全生成，但却突然终止)进行优化，但却无法解决句子与句子之间的过渡不自然的问题。
37.为了解决上述问题，本技术实施例提出的文本生成方法，通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。
38.由于本技术实施例涉及神经网络方面的应用，为了便于理解，下面先对本技术实施例可能涉及的相关术语及神经网络等相关概念进行简单介绍。
39.神经网络是一种运算模型，由大量的节点(或称神经元)之间相互连接构成，每个节点对应一个策略函数，每两个节点间的连接代表一个对于通过该连接信号的加权值，称之为权重。神经网络一般包括多个神经网络层，上下网络层之间相互级联，第i个神经网络层的输出与第i 1个神经网络层的输入相连，第i 1个神经网络层的输出与第i 2个神经网络层的输入相连，以此类推。训练样本输入级联的神经网络层后，通过每个神经网络层输出一个输出结果，该输出结果作为下一个神经网络层的输入，由此，通过多个神经网络层计算获得输出，比较输出层的输出的预测结果与真正的目标值，再根据预测结果与目标值之间的差异情况来调整每一层的权重矩阵和策略函数，神经网络利用训练样本不断地经过上述调整过程，使得神经网络的权重等参数得到调整，直到神经网络输出的预测结果与真正的目标结果相符，该过程就被称为神经网络的训练过程。神经网络经过训练后，可得到神经网络模型。
40.在训练神经网络的过程中，因为希望神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有初始化的过程，即为神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断的调整，直到神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，可以采用损失函数(loss function)或目标函数(objective function)比较预测值和目标值之间的差异，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么神经网络的训练就变成了尽可能缩小这个loss的过程。
41.下面结合图1详细介绍本技术实施例提及的文本生成方法的应用场景的系统架构。如图1所示，本技术实施例提供的应用场景涉及服务器140和多个终端设备110、120、130。
42.终端设备110、120、130可以是手机、游戏主机、平板电脑、车载电脑等移动终端设备，或者，终端设备110、120、130也可以是个人计算机(personal computer，pc)，比如膝上型便携计算机和台式计算机等等。本领域技术人员可以知晓，上述终端设备110、120、130的
类型可以相同或者不同，其数量可以更多或更少。比如上述终端可以各为一个，或者上述终端为几十个或几百个，或者更多数量。本技术实施例对终端的数量和设备类型不加以限定。
43.终端设备110、120、130与服务器140之间通过通信网络相连。可选的，通信网络是有线网络或无线网络。可选的，服务器140是一台服务器，或者由若干台服务器组成，或者是一个云计算服务中心。
44.在一实施例中，终端设备110、120、130用于接收用户输入的关键词或特定风格词，以利用终端设备110、120、130或者服务器140上部署的文本生成模型生成至少两段文本。
45.在一实施例中，服务器140在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，mask字符用于衔接相邻两段文本；服务器140根据待编辑文本，通过其上部署的编码器，得到待编辑文本中的每个字符对应的隐藏层特征；服务器140根据待编辑文本中的每个字符对应的隐藏层特征，通过其上部署的解码器，得到mask字符对应的文本预测结果，即，用于衔接相邻两段文本的衔接语，从而避免了相邻两段文本存在句间过渡不自然的问题。服务器140将mask字符对应的文本预测结果发送给终端设备110、120、130，以便于用户获得mask字符对应的文本预测结果。
46.本技术实施例提出的文本生成方法，通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。
47.图2所示为本技术一实施例提供的文本生成方法的流程示意图。例如，该方法可以由图1中提及的服务器140或其他类型的具有数据处理功能的电子设备执行。如图2所示，该方法包括如下步骤。
48.步骤s210，在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本。
49.在一示例中，至少两段文本可以为文本生成模型输出的文本。文本生成模型主要采用编码器-解码器(encoder-decoder)结构，编码器接收用户输入的关键词或特定风格词，解码器根据编码器输出的隐藏状态进行逐词生成，以至少两段文本。在训练阶段，为了降低大规模数据的标注成本，一般都会设计无监督的预训练任务，例如，完形填空和逐字生成等，从而使得文本生成模型掌握语义理解能力和长文本生成能力。具体来说，完形填空任务是随机将输入中的15％的词组掩码掉，使得文本生成模型将被掩码的词组预测出来；逐字生成任务是指文本生成模型自回归迭代式地生成每个字，在生成第i个字的时候只能利用到前i-1个字的信息，而不能窥探到i之后的信息。大多数情况下，经过充分训练的文本生成模型，生成的至少两段文本一般只存在少许瑕疵(如词组重复)。
50.在另一示例中，至少两段文本也可以为用户指定的任意文本，还可以为网络上的公开的大规模自然语言文本，本技术实施例对至少两段文本的具体出处不作限定。
51.相邻两段文本之间可能过渡不自然，也可能过渡自然，本技术实施例对此不作具体限定。但是不管相邻两段文本之间是否过渡自然，均在相邻两段文本之间插入mask字符，以便于在相邻两段文本之间过渡不自然时，衔接相邻两段文本，mask字符的作用可以理解为衔接语。
52.至少两段文本中的任意相邻两段文本之间均插入mask字符，以将原始语料转换为相邻句子对。例如，任意相邻两段文本中的前一段文本表示为sent
i-1
，mask字符表示为
sent
mask
，任意相邻两段文本中的后一段文本表示为sent
i 1
，待编辑文本表示为(sent
i-1
，sent
mask
，sent
i 1
)。
53.例如，sent
i-1
为这是美白精华，sent
i 1
为抗老，那么待编辑文本为(这是美白精华，sent
mask
，抗老)。很明显，“这是美白精华，抗老”，二者之间过渡并不自然，因此，为了使二者之间过渡自然，sent
mask
可以为还可以，还能够等等，即，二者之间插入“还可以”或者“还能够”等衔接语。
54.又如，sent
i-1
为我爱你中国，sent
i 1
为爱你的锦绣山川，那么待编辑文本为(我爱你中国，sent
mask
，爱你的锦绣山川)。很明显，“我爱你中国，爱你的锦绣山川”，二者之间过渡自然，因此，sent
mask
为空字符，即，二者之间不插入任何衔接语。
55.步骤s220，根据待编辑文本，通过编码器，得到待编辑文本中的每个字符对应的隐藏层特征。
56.在一示例中，将待编辑文本输入编码器中，得到待编辑文本中的每个字符对应的隐藏层特征。可以将这个过程理解为一个函数映射，待编辑文本输入编码器中，可以得到该待编辑文本中每个字符对应的隐藏层特征，通过如下公式进行表达：
57.h
i-1
,h
mask
,h
i 1
＝encoder(sent
i-1
,sent
mask
,sent
i 1
)
58.其中，h
i-1
表示sent
i-1
中的每个字符对应的隐藏层特征，h
i 1
表示sent
i 1
中的每个字符对应的隐藏层特征，h
mask
表示sent
mask
中的每个字符对应的隐藏层特征。
59.该编码器采用基于自注意力机制的transformer-encoder结构，通过自注意力机制，编码器能够考虑mask字符在待编辑文本中的上下文含义，因此能够对sent
mask
中的每个字符对应的隐藏层特征进行提取时有着很好的效果。
60.步骤s230，根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本预测结果。
61.在一示例中，将待编辑文本中的每个字符对应的隐藏层特征直接输入解码器中，得到mask字符对应的文本预测结果。
62.解码器采用transformer-decoder结构，得到mask字符对应的文本预测结果的过程可以理解为标准的文本生成任务(即，基于解码器的输出，生成目标文本)，通过如下公式进行表达：
[0063][0064]
其中，为mask字符对应的文本预测结果，n
mask
表示mask字符的个数。预测mask字符对应的文本预测结果时，采用自回归的生成方式，即，生成mask字符中的第n个字符时，只会利用前n-1个已生成的字符，而不能窥探到n 1之后的字符。mask字符对应的文本预测结果可以为单个连词(例如，“所以”，“并且”等)，也可以是一句完整的话，还可以为空字符，本技术实施例对此并不做具体限定。
[0065]
例如，sent
i-1
为这是美白精华，sent
i 1
为抗老，那么mask字符对应的文本预测结果为“还可以”；又如，sent
i-1
为我爱你中国，sent
i 1
为爱你的锦绣山川，那么mask字符对应的文本预测结果为空字符。
[0066]
本技术实施例提出的文本生成方法，通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，
用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。
[0067]
通过在相邻两段文本之间插入mask字符，能够确定mask字符对应的文本预测结果的插入位置(衔接语的插入位置)，即，相邻两段文本之间的衔接语为mask字符对应的文本预测结果。
[0068]
除此之外，通过在相邻两段文本之间插入mask字符，还能够根据实际需求控制衔接语的长度。因此，为了实现控制衔接语的长度，可以在transformer-encoder-decoder结构中针对mask字符添加长度预测模块，以便于对mask字符的长度进行预测，得到mask字符的预测长度，即，预测的衔接语长度。当需要根据实际需求控制衔接语的长度时，便将该长度预测模块中的输出结果替换为想要的衔接语长度。
[0069]
在transformer-encoder-decoder结构中添加长度预测模块后，如图3所示，图2所示的步骤s230包括如下内容。
[0070]
步骤s310，将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的预测长度。
[0071]
将h
mask
输入分类器中，预测mask字符的预测长度，即，预测的衔接语长度，通过如下公式进行表达：
[0072]
num＝classifier(h
mask
)
[0073]
其中，num为mask字符的预测长度。
[0074]
步骤s320，根据至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度，通过解码器，得到mask字符对应的文本预测结果。
[0075]
在一示例中，将至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度输入解码器，可以获得mask字符对应的文本预测结果，通过如下公式进行表达：
[0076][0077]
由于num是通过h
mask
获得的，所以num中还包含了h
mask
的相关特征，将mask字符的预测长度作为解码器的输入，解码器不仅能够利用mask字符的预测长度，实际上还利用了隐含在num中的h
mask
，从而使得mask字符对应的文本预测结果更加地准确。
[0078]
当然，还可以将至少两段文本中的每个字符对应的隐藏层特征、mask字符对应的隐藏层特征和mask字符的预测长度输入解码器中，以获得mask字符对应的文本预测结果。
[0079]
例如，sent
i-1
为这是美白精华，sent
i 1
为抗老，mask字符的预测长度可以为三个字符，那么mask字符对应的文本预测结果为“还可以”；又如，sent
i-1
为我爱你中国，sent
i 1
为爱你的锦绣山川，mask字符的预测长度可以为零个字符，那么mask字符对应的文本预测结果为空。
[0080]
在本技术的另一实施例中，当需要根据实际需求控制衔接语的长度时，首先可以接收用户输入的mask字符的指定长度，即，想要的衔接语长度，再将步骤s320中的mask字符的预测长度替换为mask字符的指定长度，这样便能够输出用户想要的mask字符对应的文本预测结果，即，用户想要的衔接语。
[0081]
将待编辑文本中的每个字符对应的隐藏层特征和mask字符的指定长度输入解码器，以获得mask字符对应的文本预测结果，通过如下公式进行表达：
[0082]
[0083]
其中，leni为mask字符的指定长度。由于将h
mask
也作为解码器的输入，所以生成的用户想要的mask字符对应的文本预测结果能够更好地对相邻两段文本进行衔接，从而使得相邻两段文本之间的过渡更自然。
[0084]
但是为了提高解码器的处理速度，还可以将至少两段文本中的每个字符对应的隐藏层特征和mask字符的指定长度输入解码器，以获得mask字符对应的文本预测结果，通过如下公式进行表达：
[0085][0086]
虽然h
mask
没有作为解码器的输入，但是根据h
i-1
和h
i 1
也足够预测出mask字符对应的文本预测结果。
[0087]
例如，sent
i-1
为这是美白精华，sent
i 1
为抗老，mask字符的预测长度可以为三个字符，那么mask字符对应的文本预测结果为“还可以”；当用户想要的衔接语为“不仅可以”，那么mask字符的指定长度设定为四个字符，将其输入解码器中，解码器根据h
i-1
和h
i 1
，便能够预测出mask字符对应的文本预测结果为“不仅可以”。
[0088]
在本技术的另一实施例中，解码器除了可以输出mask字符对应的文本预测结果以外，同时还可以输出至少两段文本对应的文本预测结果。
[0089]
在一示例中，根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段文本对应的文本预测结果。也就是，将待编辑文本中的每个字符对应的隐藏层特征输入解码器，以获得至少两段文本对应的文本预测结果，通过如下公式进行表达：
[0090]
t
1:n
＝decoder(h
i-1
,h
mask
,h
i 1
)
[0091]
其中，t
1:n
为至少两段文本对应的文本预测结果，n为至少两段文本中的字符个数。预测至少两段文本对应的文本预测结果时，也采用自回归的生成方式，即，生成至少两段文本中的第n个字符时，只会利用前n-1个已生成的字符，而不能窥探到n 1之后的字符。
[0092]
需要说明的是，将待编辑文本中的每个字符对应的隐藏层特征输入解码器中，能够同时对至少两段文本对应的文本预测结果和mask字符对应的文本预测结果进行预测，也就是说，无需解码器执行两次自回归的生成方式，而是通过一次自回归的生成方式，就能够同时输出至少两段文本对应的文本预测结果和mask字符对应的文本预测结果。
[0093]
在另一示例中，根据至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度，通过解码器，得到至少两段文本对应的文本预测结果。也就是，将至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度输入解码器，以获得至少两段文本对应的文本预测结果，通过如下公式进行表达：t
1:n
＝decoder(h
i-1
,num,h
i 1
)。
[0094]
同理，将至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度输入解码器中，能够同时对至少两段文本对应的文本预测结果和mask字符对应的文本预测结果进行预测。
[0095]
例如，sent
i-1
为这款一款美精华，sent
i 1
为抗老，那么至少两段文本对应的文本预测结果为“这款美白精华”以及“抗老”。
[0096]
为了对至少两段文本中存在的少许瑕疵进行小幅度地修改，现有的方案一般采用轻量级的文本编辑模型，其在处理速度和修改质量上都能得到保证。
[0097]
在现有的方案中，将至少两段文本输入现有的文本编辑模型中，对至少两段文本中的每个句子进行增删改等文本编辑操作。一般的文本编辑操作包括：插入、删除、替换、交
换位置等。示例如下：
[0098]
输入文本：这款一款美精华，不仅可以美白，还可以美白。我推荐的；
[0099]
插入操作对应的文本：这款一款美白精华，不仅可以美白，还可以美白。我推荐的；
[0100]
删除操作对应的文本：这款美精华，不仅可以美白，还可以美白。我推荐的；
[0101]
替换操作对应的文本：这款一款美精华，不仅可以美白，还可以抗老。我推荐的；
[0102]
交换操作对应的文本：我推荐的这款一款美精华，不仅可以美白，还可以美白。；
[0103]
输出文本：我推荐的这款美白精华，不仅可以美白，还可以抗老。
[0104]
现有的文本编辑模型会为至少两段文本中的每个字预测其对应的文本编辑操作，通过对每个文本编辑操作对应的预测结果进行组合，得到最终的输出文本。上述文本编辑操作基本上可以覆盖所有可能的修改模式。在极端情况下，哪怕输入文本与目标文本是两个完全不相关的文本，上述文本编辑操作可退化成将输入的每个字都预测为删除，然后在结尾处一次性将目标文本添加进来。
[0105]
值得注意的是，现有的文本编辑模型是不灵活的，在实际使用中会存在以下问题：
[0106]
1、为对应位置的词预测一个编辑操作，这个预测行为本身对文本编辑模型来说是十分困难的，例如，将上述示例中的“一款”删除。这不仅涉及到文本编辑模型对输入文本的语义理解，同时需要文本编辑模型准确地将第二个“款”字删除，而不是第一个“款”字。对文本编辑模型来说，同一个“款”字有两个截然不同的预测结果。此外，引入交换操作后，文本编辑模型所能依赖的输入文本中的各个字之间的位置关系也被完全破坏；
[0107]
2、在实际使用中，文本编辑模型的处理速度要远低于理论值。例如，将“这款美白精华”预测为“这款olay家新出的美白精华”，文本编辑模型不仅需要准确地预测出“olay家新出的”插入位置，同时还需要预测出“olay家新出的”这些待插入的字，这不是一次推理就能完成的。
[0108]
因此，为了解决上述问题，本技术所采用的编码器-解码器并不是为至少两段文本中的每个字预测其对应的文本编辑操作，而是直接将至少两段文本中的存在语法错误的词语直接进行修改，例如，直接将“这款一款美精华”中的“一款”二字删除，并在“美”和“精”之间插入“白”字。
[0109]
本技术所采用的编码器-解码器之所以能够做到直接对至少两段文本进行修改，是因为在训练编码器-解码器的过程中，训练目标(即，训练数据的标签)是经修改后的文本，例如，本技术中的“这款一款美精华”的标签设定为“这款美白精华”；而在训练现有的文本编辑模型的过程中，针对训练数据中的每个字均设定一个文本编辑操作的标签，即，训练目标是每个字对应的文本编辑操作，例如，“这款一款美精华”中的第一个字和第二个字保留，第三个字和第四个字删除，以此类推，完成对每个字设定文本编辑操作。
[0110]
也就是说，在本技术实施例中，也采用二次润色的后处理思路对至少两段文本中存在的少许瑕疵以及过渡不自然问题进行优化。同时，考虑到现有的文本编辑模型的局限性，将二次润色的后处理过程当成一个全新的文本生成过程，将优化目标(文本编辑润色和生成过渡自然的衔接语)通过至少两个预训练任务统一起来，使得本技术所采用的编码器-解码器在训练阶段掌握语义理解和文本润色能力。
[0111]
具体而言，至少两个预训练任务可以包括衔接语预测任务(生成过渡自然的衔接语)以及文本预测任务(对文本编辑润色)。衔接语预测任务的输出结果为mask字符对应的文本预测结果，其主要目的是将相邻两段文本之间预测出过渡自然的衔接语，以使得相邻两段文本过渡自然。文本预测任务具体可以包括文本删除预测任务、文本插入预测任务、文本替换预测任务以及文本交换预测任务等等，文本预测任务的输出结果为至少两段文本对应的文本预测结果，其主要目的是将至少两段文本中的瑕疵进行修正，以实现至少两段文本的编辑润色。
[0112]
下面结合图4和图5详细介绍本技术实施例提及的神经网络模型的训练方法。图4所述的方法由图1中提及的服务器140或其他类型的具有数据处理功能的电子设备执行。如图4所示，本技术实施例提供的神经网络模型的训练方法包括如下步骤。
[0113]
需要说明的是，以下神经网络模型的训练方法相关的实施例所提及的部分内容与文本生成方法相关的实施例所提及的内容相同，下面着重叙述二者的不同之处，相同之处不再赘述，具体请参见文本生成方法相关的实施例。
[0114]
步骤s410，将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本。
[0115]
为了使神经网络模型能够学习到如何在相邻两段训练文本之间形成过渡自然的衔接语，可以在相邻两段训练文本之间插入mask字符。该神经网络模型可以只包含一个预训练任务，即，衔接语预测任务，在训练神经网络模型时使其能够学习到在相邻两段训练文本之间形成过渡自然的衔接语的能力。
[0116]
相邻两段训练文本之间可能过渡自然，也就是说，相邻两段训练文本本身可能已经具备很好的衔接语，因此，针对过渡自然的相邻两段训练文本，可以不插入mask字符，而是直接将其作为待训练文本输入神经网络模型中，那么此时神经网络模型会学习到过渡自然的待训练文本的特征，以便于神经网络模型能够更好地学习如何在过渡不自然的相邻两段训练文本之间形成过渡自然的衔接语。
[0117]
相邻两段训练文本之间也可能过渡不自然，也就是说，相邻两段训练文本之间可以缺乏衔接语，此时可以在过渡不自然的相邻两段训练文本之间插入mask字符，或者相邻两段训练文本之间也可以具有过渡不自然的衔接语，此时可以将过渡不自然的相邻两段训练文本之间的过渡不自然的衔接语替换为mask字符，以此来形成待训练文本。
[0118]
也就是说，假如至少两段训练文本为如上所述的文本生成模型所输出的，本技术中的神经网络模型不会无条件地对文本生成模型输出的所有训练文本执行衔接语预测任务，而是只对过渡不自然的相邻两段训练文本执行衔接语预测任务，从而提高了神经网络模型的训练效率。
[0119]
此外，如上所述，还可以通过将优化目标(文本编辑润色和生成过渡自然的衔接语)通过至少两个预训练任务统一起来，即，在衔接语预测任务的基础上再增加至少一个预训练任务(即，至少一个文本预测任务)，例如，文本预测任务具体可以包括文本删除预测任务、文本插入预测任务、文本替换预测任务以及文本交换预测任务等等。
[0120]
因此，为了使神经网络模型能够学习到如何对训练文本进行文本编辑润色，可以对至少两段原始文本进行文本编辑操作，以获得至少两段训练文本。文本编辑操作包括以下操作中的至少一个：插入预设数量的字符、删除预设数量的字符、替换预设数量的字符、
交换预设数量的字符的位置。
[0121]
插入预设数量的字符是在每段原始文本中插入预设数量的字符，例如，在原始文本中插入训练文本的15％字符，具体地，原始文本为“这是美白精华”，那么插入的预设数量的字符为“这是”，那么训练文本为“这是这是美白精华”，其为了完成文本删除预测任务，即，在训练神经网络模型时使其能够具备恢复原始文本的能力。
[0122]
删除预设数量的字符是在每段原始文本中删除预设数量的字符，例如，将原始文本中的15％字符删除，具体地，原始文本为“这是美白精华”，那么删除的预设数量的字符为“白”，那么训练文本为“这是美精华”，其为了完成文本插入预测任务，即，在训练神经网络模型时使其能够具备删除冗余字符的能力。
[0123]
同理，替换预设数量的字符是为了完成文本替换预测任务，交换预设数量的字符的位置是为了完成文本交换预测任务。本技术实施例对预设数量不作具体限定。
[0124]
通过将至少两段原始文本进行至少一个文本编辑操作以及在相邻两段训练文本之间插入mask字符，能够将优化目标通过至少两个预训练任务统一起来。
[0125]
上述生成待训练文本的过程十分简单且可以自动完成，不依赖任何人工标注，因此，网络上的公开的大规模自然语言文本都可以为本技术中的至少两段原始文本。
[0126]
步骤s420，根据待训练文本，通过编码器，得到待训练文本中的每个字符对应的隐藏层特征。
[0127]
在一示例中，将待训练文本输入编码器中，得到待训练文本中的每个字符对应的隐藏层特征。
[0128]
步骤s430，根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果。
[0129]
在一示例中，将待训练文本中的每个字符对应的隐藏层特征直接输入解码器中，得到mask字符对应的文本训练结果，通过如下公式进行表达：
[0130][0131]
其中，为mask字符对应的文本预测结果，n
mask
表示mask字符的个数，h
i-1
表示至少两段训练文本中的前一段训练文本中的每个字符对应的隐藏层特征，h
i 1
表示至少两段训练文本中的后一段训练文本中的每个字符对应的隐藏层特征，h
mask
表示mask字符对应的隐藏层特征。对于mask字符对应的文本训练结果，采用mask字符对应的标签来监督训练。
[0132]
步骤s440，根据mask字符对应的文本训练结果和mask字符对应的标签，计算第一损失函数值。
[0133]
在一示例中，将mask字符对应的文本训练结果t
mask
和mask字符对应的标签输入损失函数中，例如，交叉熵损失函数，能够计算得到第一损失函数值，通过如下公式进行表达：
[0134][0135]
应当理解，mask字符对应的文本训练结果为神经网络模型学习到的mask字符对应
的衔接语，mask字符对应的标签就是目标衔接语字符。例如，相邻两段训练文本中的前一训练文本表示为sent
i-1
，具体为“这是美白精华”，相邻两段训练文本中的后一训练文本表示为sent
i 1
，具体为“抗老”，那么目标衔接语字符则为“还可以”。
[0136]
步骤s450，基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0137]
在一示例中，将第一损失函数值进行梯度反传，以更新编码器和解码器的参数，从而获得训练完成的神经网络模型。
[0138]
在本技术的另一实施例中，待训练文本中的每个字符对应的隐藏层特征包括至少两段训练文本中的每个字符对应的隐藏层特征和mask字符对应的隐藏层特征。如图5所示，图4所示的步骤s430包括如下步骤：
[0139]
步骤s510，将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的训练长度；
[0140]
步骤s520，将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器，以获得mask字符对应的文本训练结果。通过如下公式进行表达：
[0141][0142]
其中，num为mask字符的训练长度。
[0143]
在本技术的另一实施例中，所述训练方法还包括：根据mask字符的训练长度和mask字符对应的标签长度，计算第二损失函数值。
[0144]
将mask字符的训练长度num和mask字符对应的标签长度len
′i输入损失函数中，例如，交叉熵损失函数，能够计算得到第二损失函数值，通过如下公式进行表达：
[0145]
loss
num
＝cross_entropy(num,len
′i)
[0146]
应当理解，mask字符的训练长度为神经网络模型学习到的mask字符的长度，mask字符对应的标签长度就是目标衔接语字符长度。例如，sent
i-1
为“这是美白精华”，sent
i 1
为“抗老”，目标衔接语字符则为“还可以”，那么目标衔接语字符长度为3个字符。
[0147]
因此，除了基于第一损失函数值，更新编码器和所述解码器的参数以外，还可以根据第一损失函数值和第二损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0148]
在一示例中，根据预设权重系数，将第一损失函数值和第二损失函数值进行加权求和，得到总损失函数值；将总损失函数值梯度反传，以更新编码器和解码器的参数，从而获得训练完成的神经网络模型。
[0149]
需要说明的是，在mask字符的训练长度num与mask字符对应的标签长度len
′i之间的差异很大时，为了使解码器输出的及mask字符对应的文本训练结果更接近于mask字符对应的标签，可以将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符对应的标签长度len
′i输入解码器，通过如下公式进行表达：迭代执行多次后，直到mask字符的训练长度num与mask字符对应的标签长度len
′i之间的差异能够满足要求时，再将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器。
[0150]
在本技术的另一实施例中，所述训练方法还包括：根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段训练文本对应的文本训练结果；根据至少两
段训练文本对应的文本训练结果和至少两段训练文本对应的标签，计算第三损失函数值。
[0151]
解码器除了可以输出mask字符对应的文本训练结果以外，还可以输出至少两段训练文本对应的文本训练结果。
[0152]
在一示例中，将待训练文本中的每个字符对应的隐藏层特征输入解码器，得到至少两段训练文本对应的文本训练结果，通过如下公式进行表达：
[0153]
t
1:n
＝decoder(h
i-1
,h
mask
,h
i 1
)
[0154]
其中，t
1:n
为至少两段训练文本对应的文本训练结果，n为至少两段训练文本中的字符个数。对于至少两段训练文本对应的文本训练结果，采用至少两段训练文本对应的标签来监督训练。
[0155]
在另一示例中，将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器，得到至少两段训练文本对应的文本预测结果，通过如下公式进行表达：t
1:n
＝decoder(h
i-1
,num,h
i 1
)。
[0156]
在mask字符的训练长度num与mask字符对应的标签长度len
′i之间的差异很大时，为了使解码器输出的至少两段训练文本对应的文本训练结果更接近于至少两段训练文本对应的标签，以及mask字符对应的文本训练结果更接近于mask字符对应的标签，可以将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符对应的标签长度len
′i输入解码器，通过如下公式进行表达：t
1:n
＝decoder(h
i-1
,len
′i,h
i 1
)。迭代执行多次后，直到mask字符的训练长度num与mask字符对应的标签长度len
′i之间的差异能够满足要求时，再将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器。
[0157]
需要说明的是，将待训练文本中的每个字符对应的隐藏层特征输入解码器中，能够同时对mask字符对应的文本训练结果和至少两段训练文本对应的文本训练结果进行输出，也就是说，无需解码器执行两次自回归的生成方式，而是通过一次自回归的生成方式，就能够同时输出mask字符对应的文本训练结果和至少两段训练文本对应的文本训练结果。同理，将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器中，能够同时对mask字符对应的文本训练结果和至少两段训练文本对应的文本训练结果进行输出。
[0158]
在一示例中，将至少两段训练文本对应的文本训练结果t
1:n
和至少两段训练文本对应的标签输入损失函数中，例如，交叉熵损失函数，能够计算得到第三损失函数值，通过如下公式进行表达：
[0159]
lossn＝cross_entropy(yn,tn)
[0160]
应当理解，至少两段训练文本对应的文本训练结果为神经网络模型学习到的输出文本，至少两段训练文本对应的标签为至少两段训练文本对应的目标输出文本，即，至少两段目标文本字符。例如，训练文本为“这是这是美精华”，至少两段目标文本字符则为“这是美白精华”。
[0161]
因此，除了基于第一损失函数值，更新编码器和所述解码器的参数以外，还可以根据第一损失函数值和第三损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0162]
在一示例中，根据预设权重系数，将第一损失函数值和第三损失函数值进行加权求和，得到总损失函数值；将总损失函数值梯度反传，以更新编码器和解码器的参数，从而
获得训练完成的神经网络模型。
[0163]
此外，还可以根据预设权重系数，将第一损失函数值第二损失函数值loss
num
以及第三损失函数值lossn进行加权求和，得到总损失函数值；将总损失函数值梯度反传，以更新编码器和解码器的参数，从而获得训练完成的神经网络模型。总损失函数值通过如下公式计算获得：
[0164][0165]
其中，α，β以及γ为预设权重系数。
[0166]
通过不断优化减小上述总损失函数值(这也就意味着神经网络模型的输出与目标输出的差距越来越小)，神经网络模型可以具备文本编辑润色(即，对句内句子进行编辑润色)和生成过渡自然的衔接语(即，生成句间衔接语)的功能。
[0167]
上文结合图2至图5，详细描述了本技术的方法实施例，下面结合图6和图7，详细描述本技术的装置实施例。应理解，方法实施例的描述与装置实施例的描述相互对应，因此，未详细描述的部分可以参见前面方法实施例。
[0168]
图6是本技术实施例所提供的文本生成装置600的示意性结构图。如图6所示，图6的装置600可以包括：插入模块610、第一获取模块620和第二获取模块630。下面对这些模块进行详细介绍。
[0169]
第一插入模块610配置为在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，mask字符用于衔接相邻两段文本。
[0170]
第一获取模块620配置为根据待编辑文本，通过编码器，得到待编辑文本中的每个字符对应的隐藏层特征。
[0171]
第二获取模块630配置为根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本预测结果。
[0172]
通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。
[0173]
在本技术的另一实施例中，待编辑文本中的每个字符对应的隐藏层特征包括至少两段文本中的每个字符对应的隐藏层特征和mask字符对应的隐藏层特征，第二获取模块630进一步配置为：将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的预测长度；根据至少两段文本中的每个字符对应的隐藏层特征和mask字符的预测长度，通过解码器，得到mask字符对应的文本预测结果。
[0174]
在本技术的另一实施例中，装置600还包括：接收模块640，配置为接收用户输入的mask字符的指定长度。
[0175]
在本技术的另一实施例中，第二获取模块630进一步配置为：将待编辑文本中的每个字符对应的隐藏层特征和mask字符的指定长度输入解码器，以获得mask字符对应的文本预测结果。
[0176]
在本技术的另一实施例中，第二获取模块630进一步配置为：根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段文本对应的文本预测结果。
[0177]
图7是本技术实施例所提供的神经网络模型的训练装置700的示意性结构图。如图7所示，图7的训练装置700可以包括：第二插入模块710和训练模块720。下面对这些模块进行详细介绍。
[0178]
第二插入模块710配置为将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，其中，mask字符用于衔接相邻两段训练文本。
[0179]
训练模块720配置为根据待训练文本，通过编码器，得到待训练文本中的每个字符对应的隐藏层特征；根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果；根据mask字符对应的文本训练结果和mask字符对应的标签，计算第一损失函数值，其中，mask字符对应的标签为目标衔接语字符；基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0180]
在本技术的另一实施例中，待训练文本中的每个字符对应的隐藏层特征包括至少两段训练文本中的每个字符对应的隐藏层特征和mask字符对应的隐藏层特征，训练模块720在根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本训练结果时，进一步配置为：将mask字符对应的隐藏层特征输入分类器中，以得到mask字符的训练长度；将至少两段训练文本中的每个字符对应的隐藏层特征和mask字符的训练长度输入解码器，以获得mask字符对应的文本训练结果。
[0181]
在本技术的另一实施例中，训练模块720还被配置为：根据mask字符的训练长度和mask字符对应的标签长度，计算第二损失函数值，其中，mask字符对应的标签长度为目标衔接语字符长度。
[0182]
在本技术的另一实施例中，训练模块720在基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型时，进一步配置为：根据第一损失函数值和第二损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0183]
在本技术的另一实施例中，训练模块720还被配置为：根据待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到至少两段训练文本对应的文本训练结果；根据至少两段训练文本对应的文本训练结果和至少两段训练文本对应的标签，计算第三损失函数值，其中，至少两段训练文本对应的标签为至少两段目标文本字符。
[0184]
在本技术的另一实施例中，训练模块720在基于第一损失函数值，更新编码器和解码器的参数，以获得神经网络模型时，进一步配置为：根据第一损失函数值和第三损失函数值，更新编码器和解码器的参数，以获得神经网络模型。
[0185]
在本技术的另一实施例中，训练装置700还包括：文本编辑模块720，配置为对至少两段原始文本进行文本编辑操作，以获得至少两段训练文本，其中，文本编辑操作包括以下操作中的至少一个：插入预设数量的字符、删除预设数量的字符、替换预设数量的字符、交换预设数量的字符的位置。
[0186]
在本技术的另一实施例中，第二插入模块710进一步配置为：在至少两段训练文本中的相邻两段训练文本之间缺乏衔接语或具有过渡不自然的衔接语时，将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本。
[0187]
图8是本技术一个实施例提供的电子设备的结构示意图。图8所示的电子设备800可以包括存储器810和处理器820。存储器810可用于存储可执行代码。处理器820可用于执行存储器810中存储的可执行代码，以实现前文描述的各个方法中的步骤。在一些实施例
中，该电子设备800还可以包括网络接口830，处理器800与外部设备的数据交换可以通过该网络接口830实现。
[0188]
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其他任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，dvd))、或者半导体介质(例如固态硬盘(solid state disk，ssd))等。
[0189]
本领域普通技术人员可以意识到，结合本技术实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0190]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0191]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0192]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0193]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。