训练数据生成及模型训练方法、装置及计算机存储介质与流程

技术特征：
1.一种训练数据生成方法，其特征在于，包括：根据随机确定的粒度级别，确定目标文本的构造位置；根据随机确定的片段长度、所述目标文本的构造位置、确定所述目标文本的构造片段；根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本；根据所述目标文本和所述构造文本，获得所述目标文本的训练数据。2.根据权利要求1所述的方法，其特征在于，所述目标文本为平滑文本，所述构造文本为不平滑文本。3.根据权利要求1所述的方法，其特征在于，所述粒度级别包括字粒度级别、词粒度级别中的一个；其中，所述根据随机确定的粒度级别，确定目标文本的构造位置，包括：基于随机确定的粒度级别识别所述目标文本，确定所述目标文本中的多个粒度特征；基于所述目标文本中的各粒度特征、随机确定的构造数量，确定所述目标文本中的至少一个构造位置。4.根据权利要求3所述的方法，其特征在于，所述根据随机确定的片段长度、所述目标文本的构造位置、确定所述目标文本的构造片段，包括：针对所述目标文本的各构造位置中的任意一个当前构造位置，将所述当前构造位置对应的粒度特征中的第一个字符确定为片段起点；基于随机确定的片段长度、所述当前构造位置的片段起点，确定所述当前构造位置的片段终点；基于所述片段起点和所述片段终点，确定所述当前构造位置的当前构造片段。5.根据权利要求4所述的方法，其特征在于，所述构造规则至少包括：完全重复构造规则、部分重复构造规则、替换构造规则、交换构造规则中的一个；且其中，所述根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本，包括：根据随机确定的当前构造规则、所述当前构造片段，确定满足所述当前构造规则的待编辑文本；根据所述当前构造位置、所述待编辑文本，对所述目标文本执行重构处理，生成所述目标文本的构造文本。6.根据权利要求4所述的方法，其特征在于，所述构造规则至少包括插入构造规则；且其中，所述根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本，包括：根据所述插入构造规则、所述当前构造片段，从各预设插入文本中随机确定一个待插入文本；根据所述当前构造位置、所述待插入文本，对所述目标文本执行重构处理，生成所述目标文本的构造文本。7.一种模型训练方法，其特征在于，包括：利用文本处理模型，对训练数据中的构造文本执行文本平滑处理，获得所述构造文本
的预测文本；根据所述训练数据中的目标文本、所述预测文本，获取所述文本处理模型的损失函数；根据所述损失函数更新所述文本处理模型，直至所述损失函数满足训练结束条件，以获得训练好的文本处理模型；其中，所述训练数据是由如权利要求1至6中任一项所述的训练数据生成方法所生成的。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：获取不平滑的仿真文本；利用所述文本处理模型，对所述仿真文本执行文本平滑处理，并根据文本平滑处理结果，确定所述仿真文本中各字符特征单元对应的各预测标签；比对所述仿真文本中同一字符特征单元的预测标签和真实标签，并根据比对结果优化所述文本处理模型；其中，所述预测标签或所述真实标签包括平滑标签、不平滑标签中的一个；其中，所述字符特征单元包含至少一个字符。9.一种训练数据生成装置，其特征在于，包括：构造位置确定模块，用于根据随机确定的粒度级别，确定目标文本的构造位置；构造片段确定模块，用于根据随机确定的片段长度、所述目标文本的构造位置、确定所述目标文本的构造片段；文本重构模块，根据随机确定的构造规则、所述目标文本的构造位置和构造片段，重构所述目标文本，生成所述目标文本的构造文本；数据生成模块，用于根据所述目标文本和所述构造文本，获得所述目标文本的训练数据。10.一种模型训练装置，其特征在于，包括：获取模块，用于获取训练数据，其中，所述训练数据是由如权利要求9所述的训练数据生成装置所生成的；训练模块，用于利用文本处理模型，对训练数据中的构造文本执行文本平滑处理，获得所述构造文本的预测文本，根据所述训练数据中的目标文本、所述预测文本，获取所述文本处理模型的损失函数，并根据所述损失函数更新所述文本处理模型，直至所述损失函数满足训练结束条件，以获得训练好的文本处理模型。11.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有用于执行上述权利要求1至6中任一项所述的方法中各步骤的各指令，或执行上述权利要求7至8中任一项所述的方法中各步骤的各指令。

技术总结
本申请提供一种训练数据生成及模型训练方法、装置及存储介质，主要包括根据随机确定的粒度级别，确定目标文本的构造位置，根据随机确定的片段长度、目标文本的构造位置、确定目标文本的构造片段，根据随机确定的构造规则、目标文本的构造位置和构造片段，重构目标文本，生成目标文本的构造文本，并根据目标文本和构造文本，获得目标文本的训练数据。借此，本申请可灵活且批量地生成非平滑文本训练数据，以供执行文本处理模型的文本平滑预测训练，从而降低模型训练成本并提高模型预测性能。能。能。


技术研发人员：周元辅 晏超
受保护的技术使用者：芜湖云从科技有限公司
技术研发日：2022.09.01
技术公布日：2022/12/12