字体生成模型训练方法、字库建立方法、装置及设备与流程

技术特征：
1.一种字体生成模型训练方法，包括：将源域样本字输入到字体生成模型，得到第一目标域生成字；将所述第一目标域生成字和预设的目标域样本字输入到字符分类模型，得到所述字体生成模型的第一特征损失；将所述第一目标域生成字和所述目标域样本字输入到字体分类模型，得到所述字体生成模型的第二特征损失；根据所述第一特征损失和/或所述第二特征损失确定目标特征损失；根据所述目标特征损失更新所述字体生成模型的模型参数。2.根据权利要求1所述的方法，其中，所述字符分类模型包括多个特征层；所述将所述第一目标域生成字和预设的目标域样本字输入到字符分类模型，得到所述字体生成模型的第一特征损失，包括：将所述第一目标域生成字输入到所述字符分类模型，得到所述字符分类模型的每个特征层输出的第一生成字特征图；将所述目标域样本字输入到所述字符分类模型，得到所述字符分类模型的每个特征层输出的第一样本字特征图；计算目标特征层的第一生成字特征图和第一样本字特征图之间的差异，得到所述第一特征损失。3.根据权利要求2所述的方法，其中，所述计算目标特征层的第一生成字特征图和第一样本字特征图之间的差异，包括：计算所述目标特征层的第一生成字特征图和第一样本字特征图之间的像素差异，得到所述目标特征层的第一像素损失；根据所述目标特征层的第一像素损失计算所述第一特征损失。4.根据权利要求3所述的方法，其中，所述计算所述目标特征层的第一生成字特征图和第一样本字特征图之间的像素差异，包括：计算所述第一生成字特征图中的每个位置的像素点的像素值与所述第一样本字特征图中对应位置的像素点的像素值之间的差值的绝对值，得到每个位置的像素点的差异；根据多个位置的像素点的差异，确定所述第一生成字特征图和第一样本字特征图之间的像素差异。5.根据权利要求1所述的方法，其中，所述字体分类模型包括多个特征层；所述将所述第一目标域生成字和所述目标域样本字输入到字体分类模型，得到所述字体生成模型的第二特征损失，包括：将所述第一目标域生成字输入到所述字体分类模型，得到所述字体分类模型的每个特征层输出的第二生成字特征图；将所述目标域样本字输入到所述字体分类模型，得到所述字体分类模型的每个特征层输出的第二样本字特征图；计算目标特征层的第二生成字特征图和第二样本字特征图之间的差异，得到所述第二特征损失。6.根据权利要求5所述的方法，其中，所述计算目标特征层的第二生成字特征图和第二样本字特征图之间的差异，包括：
计算所述目标特征层的第二生成字特征图和第二样本字特征图之间的像素差异，得到所述目标特征层的第二像素损失；根据所述目标特征层的第二像素损失计算所述第二特征损失。7.根据权利要求6所述的方法，其中，所述计算所述目标特征层的第二生成字特征图和第二样本字特征图之间的像素差异，包括：计算所述第二生成字特征图中的每个位置的像素点的像素值与所述第二样本字特征图中对应位置的像素点的像素值之间的差值的绝对值，得到每个位置的像素点的差异；根据多个位置的像素点的差异，确定所述第二生成字特征图和第二样本字特征图之间的像素差异。8.根据权利要求1所述的方法，其中，所述字体生成模型为循环网络生成模型，包括第一生成模型和第二生成模型；所述将源域样本字输入到字体生成模型，得到第一目标域生成字，包括：将所述源域样本字输入到所述第一生成模型，得到所述第一目标域生成字和第一源域生成字；所述方法还包括：将所述目标域样本字输入到所述第二生成模型，得到第二目标域生成字和第二源域生成字；根据所述源域样本字、所述第一目标域生成字、所述第一源域生成字、所述目标域样本字、所述第二目标域生成字和所述第二源域生成字，计算所述字体生成模型的生成损失；根据所述生成损失更新所述第一生成模型的模型参数。9.根据权利要求8所述的方法，还包括：将所述第一目标域生成字输入到所述字符分类模型，计算所述字体生成模型的字符损失；所述根据所述目标特征损失更新所述字体生成模型的模型参数，包括：根据所述字符损失和所述目标特征损失更新所述第一生成模型的模型参数。10.根据权利要求9所述的方法，其中，所述将所述第一目标域生成字输入到所述字符分类模型，计算所述字体生成模型的字符损失，包括：将所述第一目标域生成字输入到所述字符分类模型，得到所述第一目标域生成字的生成字符向量；根据所述生成字符向量与预设的标准字符向量之间的差异，计算所述字符损失。11.根据权利要求1
‑
10任一所述的方法，其中，所述源域样本字为具有目标源域字体风格的图像，所述目标域样本字为具有目标域字体风格的图像。12.一种字库建立方法，包括：将目标源域输入字输入到字体生成模型，得到目标域新字；基于所述目标域新字建立字库；其中，所述字体生成模型通过权利要求1至10中任一项所述的字体生成模型训练方法训练得到。13.一种字体生成模型训练装置，包括：第一目标域生成字获取模块，用于将源域样本字输入到字体生成模型，得到第一目标
域生成字；第一特征损失获取模块，用于将所述第一目标域生成字和预设的目标域样本字输入到字符分类模型，得到所述字体生成模型的第一特征损失；第二特征损失获取模块，用于将所述第一目标域生成字和所述目标域样本字输入到字体分类模型，得到所述字体生成模型的第二特征损失；目标特征损失获取模块，用于根据所述第一特征损失和/或所述第二特征损失确定目标特征损失；第一模型参数更新模块，用于根据所述目标特征损失更新所述字体生成模型的模型参数。14.根据权利要求13所述的装置，其中，所述字符分类模型包括多个特征层；所述第一特征损失获取模块具体用于：将所述第一目标域生成字输入到所述字符分类模型，得到所述字符分类模型的每个特征层输出的第一生成字特征图；将所述目标域样本字输入到所述字符分类模型，得到所述字符分类模型的每个特征层输出的第一样本字特征图；计算目标特征层的第一生成字特征图和第一样本字特征图之间的差异，得到所述第一特征损失。15.根据权利要求14所述的装置，其中，所述第一特征损失获取模块具体用于：计算所述目标特征层的第一生成字特征图和第一样本字特征图之间的像素差异，得到所述目标特征层的第一像素损失；根据所述目标特征层的第一像素损失计算所述第一特征损失。16.根据权利要求15所述的装置，其中，所述第一特征损失获取模块具体用于：计算所述第一生成字特征图中的每个位置的像素点的像素值与所述第一样本字特征图中对应位置的像素点的像素值之间的差值的绝对值，得到每个位置的像素点的差异；根据多个位置的像素点的差异，确定所述第一生成字特征图和第一样本字特征图之间的像素差异。17.根据权利要求13所述的装置，其中，所述字体分类模型包括多个特征层；所述第二特征损失获取模块具体用于：将所述第一目标域生成字输入到所述字体分类模型，得到所述字体分类模型的每个特征层输出的第二生成字特征图；将所述目标域样本字输入到所述字体分类模型，得到所述字体分类模型的每个特征层输出的第二样本字特征图；计算目标特征层的第二生成字特征图和第二样本字特征图之间的差异，得到所述第二特征损失。18.根据权利要求17所述的装置，其中，所述第二特征损失获取模块具体用于：计算所述目标特征层的第二生成字特征图和第二样本字特征图之间的像素差异，得到所述目标特征层的第二像素损失；根据所述目标特征层的第二像素损失计算所述第二特征损失。19.根据权利要求18所述的装置，其中，所述第二特征损失获取模块具体用于：
计算所述第二生成字特征图中的每个位置的像素点的像素值与所述第二样本字特征图中对应位置的像素点的像素值之间的差值的绝对值，得到每个位置的像素点的差异；根据多个位置的像素点的差异，确定所述第二生成字特征图和第二样本字特征图之间的像素差异。20.根据权利要求13所述的装置，其中，所述字体生成模型为循环网络生成模型，包括第一生成模型和第二生成模型；所述第一目标域生成字获取模块具体用于：将所述源域样本字输入到所述第一生成模型，得到所述第一目标域生成字和第一源域生成字；所述装置还包括：第二目标域生成字获取模块，用于将所述目标域样本字输入到所述第二生成模型，得到第二目标域生成字和第二源域生成字；生成损失计算模块，用于根据所述源域样本字、所述第一目标域生成字、所述第一源域生成字、所述目标域样本字、所述第二目标域生成字和所述第二源域生成字，计算所述字体生成模型的生成损失；第二模型参数更新模块，用于根据所述生成损失更新所述第一生成模型的模型参数。21.根据权利要求20所述的装置，还包括：字符损失获取模块，用于将所述第一目标域生成字输入到所述字符分类模型，计算所述字体生成模型的字符损失；所述第一模型参数更新模块具体用于：根据所述字符损失和所述目标特征损失更新所述第一生成模型的模型参数。22.根据权利要求21所述的装置，其中，所述字符损失获取模块具体用于：将所述第一目标域生成字输入到所述字符分类模型，得到所述第一目标域生成字的生成字符向量；根据所述生成字符向量与预设的标准字符向量之间的差异，计算所述字符损失。23.根据权利要求13
‑
22任一所述的装置，其中，所述源域样本字为具有目标源域字体风格的图像，所述目标域样本字为具有目标域字体风格的图像。24.一种字库建立装置，包括：目标域新字获取模块，用于将目标源域输入字输入到字体生成模型，得到目标域新字；字库建立模块，用于基于所述目标域新字建立字库；其中，所述字体生成模型通过权利要求13至23中任一项所述的字体生成模型训练装置训练得到。25.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
11中任一项所述的字体生成模型训练方法或权利要求12所述的字库建立方法。26.一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使计算机执行权利要求1
‑
11中任一项所述的字体生成模型训练方法或权利要求12所述的字库
建立方法。27.一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现权利要求1
‑
11中任一项所述的字体生成模型训练方法或权利要求12所述的字库建立方法。

技术总结
本公开提供了一种字体生成模型训练方法、字库建立方法、装置及设备，涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于OCR等场景，包括：将源域样本字输入到字体生成模型，得到第一目标域生成字；将第一目标域生成字和预设的目标域样本字输入到字符分类模型，得到字体生成模型的第一特征损失；将第一目标域生成字和所述目标域样本字输入到字体分类模型，得到字体生成模型的第二特征损失；根据第一特征损失和/或第二特征损失确定目标特征损失；根据目标特征损失更新字体生成模型的模型参数。本公开实施例能够提高字体生成模型学习字体特征的能力，进而提高字体生成模型生成字体级别字体的能力。体生成模型生成字体级别字体的能力。体生成模型生成字体级别字体的能力。


技术研发人员：刘家铭 唐礼承
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.09.09
技术公布日：2021/12/13