文本生成方法及装置，神经网络模型的训练方法及装置与流程

技术特征：
1.一种文本生成方法，其特征在于，包括：在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，所述mask字符用于衔接所述相邻两段文本；根据所述待编辑文本，通过编码器，得到所述待编辑文本中的每个字符对应的隐藏层特征；根据所述待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的文本预测结果。2.根据权利要求1所述的方法，其特征在于，所述待编辑文本中的每个字符对应的隐藏层特征包括所述至少两段文本中的每个字符对应的隐藏层特征和所述mask字符对应的隐藏层特征，其中，所述根据所述待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的预测结果，包括：将所述mask字符对应的隐藏层特征输入分类器中，以得到所述mask字符的预测长度；根据所述至少两段文本中的每个字符对应的隐藏层特征和所述mask字符的预测长度，通过所述解码器，得到所述mask字符对应的文本预测结果。3.根据权利要求1所述的方法，其特征在于，还包括：接收用户输入的所述mask字符的指定长度，其中，所述根据所述待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的预测结果，包括：将所述待编辑文本中的每个字符对应的隐藏层特征和所述mask字符的指定长度输入所述解码器，以获得所述mask字符对应的文本预测结果。4.根据权利要求1至3中任一项所述的方法，其特征在于，还包括：根据所述待编辑文本中的每个字符对应的隐藏层特征，通过所述解码器，得到所述至少两段文本对应的文本预测结果。5.一种神经网络模型的训练方法，其特征在于，包括：将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，其中，所述mask字符用于衔接所述相邻两段训练文本；根据所述待训练文本，通过编码器，得到所述待训练文本中的每个字符对应的隐藏层特征；根据所述待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的文本训练结果；根据所述mask字符对应的文本训练结果和所述mask字符对应的标签，计算第一损失函数值，其中，所述mask字符对应的标签为目标衔接语字符；基于所述第一损失函数值，更新所述编码器和所述解码器的参数，以获得所述神经网络模型。6.根据权利要求5所述的训练方法，其特征在于，所述待训练文本中的每个字符对应的隐藏层特征包括所述至少两段训练文本中的每个字符对应的隐藏层特征和所述mask字符对应的隐藏层特征，其中，所述根据所述待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到所
述mask字符对应的文本训练结果，包括：将所述mask字符对应的隐藏层特征输入分类器中，以得到所述mask字符的训练长度；将所述至少两段训练文本中的每个字符对应的隐藏层特征和所述mask字符的训练长度输入所述解码器，以获得所述mask字符对应的文本训练结果。7.根据权利要求6所述的训练方法，其特征在于，还包括：根据所述mask字符的训练长度和所述mask字符对应的标签长度，计算第二损失函数值，其中，所述mask字符对应的标签长度为目标衔接语字符长度，其中，所述基于所述第一损失函数值，更新所述编码器和所述解码器的参数，以获得所述神经网络模型，包括：根据所述第一损失函数值和所述第二损失函数值，更新所述编码器和所述解码器的参数，以获得所述神经网络模型。8.根据权利要求5所述的训练方法，其特征在于，还包括：根据所述待训练文本中的每个字符对应的隐藏层特征，通过所述解码器，得到所述至少两段训练文本对应的文本训练结果；根据所述至少两段训练文本对应的文本训练结果和所述至少两段训练文本对应的标签，计算第三损失函数值，其中，所述至少两段训练文本对应的标签为至少两段目标文本字符，其中，所述基于所述第一损失函数值，更新所述编码器和所述解码器的参数，以获得所述神经网络模型，包括：根据所述第一损失函数值和所述第三损失函数值，更新所述编码器和所述解码器的参数，以获得所述神经网络模型。9.根据权利要求5至8中任一项所述的训练方法，其特征在于，还包括：对至少两段原始文本进行文本编辑操作，以获得所述至少两段训练文本，其中，所述文本编辑操作包括以下操作中的至少一个：插入预设数量的字符、删除预设数量的字符、替换预设数量的字符、交换预设数量的字符的位置。10.根据权利要求5至8中任一项所述的训练方法，其特征在于，所述将至少两段训练文本中的相邻两段训练文本之间插入mask字符，以形成待训练文本，包括：在所述至少两段训练文本中的相邻两段训练文本之间缺乏衔接语或具有过渡不自然的衔接语时，将所述至少两段训练文本中的相邻两段训练文本之间插入所述mask字符，以形成所述待训练文本。11.一种文本生成装置，其特征在于，包括：第一插入模块，配置为在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，所述mask字符用于衔接所述相邻两段文本；第一获取模块，配置为根据所述待编辑文本，通过编码器，得到所述待编辑文本中的每个字符对应的隐藏层特征；第二获取模块，配置为根据所述待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的文本预测结果。12.一种神经网络模型的训练装置，其特征在于，包括：第二插入模块，配置为将至少两段训练文本中的相邻两段训练文本之间插入mask字
符，以形成待训练文本，其中，所述mask字符用于衔接所述相邻两段训练文本；训练模块，配置为根据所述待训练文本，通过编码器，得到所述待训练文本中的每个字符对应的隐藏层特征；根据所述待训练文本中的每个字符对应的隐藏层特征，通过解码器，得到所述mask字符对应的文本训练结果；根据所述mask字符对应的文本训练结果和所述mask字符对应的标签，计算第一损失函数值，其中，所述mask字符对应的标签为目标衔接语字符；基于所述第一损失函数值，更新所述编码器和所述解码器的参数，以获得所述文本生成模型。13.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器中存储有可执行代码，所述处理器被配置为执行所述可执行代码，以实现如权利要求1至10任一项所述的方法。14.一种存储介质，其特征在于，所述存储介质上存储有可执行代码，所述可执行代码被处理器执行时，实现如权利要求1至10任一项所述的方法。

技术总结
本申请披露了一种文本生成方法及装置，神经网络模型的训练方法及装置。该方法包括：在至少两段文本中的相邻两段文本之间插入mask字符，以形成待编辑文本，其中，mask字符用于衔接相邻两段文本；根据待编辑文本，通过编码器，得到待编辑文本中的每个字符对应的隐藏层特征；根据待编辑文本中的每个字符对应的隐藏层特征，通过解码器，得到mask字符对应的文本预测结果。通过解码器和编码器，对至少两段文本中的相邻两段文本之间插入的mask字符进行文本预测，以生成mask字符对应文本预测结果，即，用于衔接相邻两段文本的衔接语，从而能够避免句间过渡不自然。句间过渡不自然。句间过渡不自然。


技术研发人员：许光辉 杜倩云 梅林海
受保护的技术使用者：科大讯飞华南人工智能研究院（广州）有限公司
技术研发日：2022.10.20
技术公布日：2023/1/31