一种基于风格迁移的书法文字侵蚀修复方法与流程

技术特征：
1.一种基于风格迁移的书法汉字修复方法，特征是，如下：首先，为确保风格一致，本发明提出风格编码器，输入辅助风格字体，用于提取出拓片上完好汉字的书写风格特征；接着，为确保修复字型正确，输入待修复汉字，提供该字的宋体完整版本作为原字型参考；将上述书写风格特征、待修复汉字、参考原字型整合，三者一并输入到用于修复汉字的生成器g中，得到修复结果，用于分别提供给判别器d和结构提取器；然后，判别器d的目标是鉴别生成器g的修复结果与参与连接的原型字体和输入编码器之中的风格字体，将前者判为假，后者判为真；同时，原字型也会通过结构提取器生成带有结构特征的特征向量；通过下述的综合损失函数反向传播不断优化判别器d与生成器g,包括以下六个部分：1)对抗损失，用于考量修复汉字整体而言是否接近真实完整汉字；所述对抗损失函数：定义待修复的汉字图像为c
c
，完整图像为c
t
，同一个字的宋体原型图像为c
p
，与c
c
具有相同风格的其他完整汉字图像为c
s
，c
c
和c
p
在通道维度上连接得到的图像向量为c
v
，使用风格编码器抽取的c
p
的风格编码为s
p
，c
s
的风格编码为s
s
，c
t
的风格编码为s
t
，则生成式对抗网络gan的损失函数可表示如下：其中d
s
(c)是判别器，判别具有风格s的图像c是否是生成器生成的，g(c，s)表示这是生成器依据风格编码s对图像c进行修复后生成的结果；2)l1损失，用于考量修复结果在像素级别上与标准结果的差距；目标平均绝对误差损失函数：其中c
v
，c
t
，s
s
，g(c
v
,s
s
)的含义同上所述；3)编码损失，用于考量风格编码器编码效果；风格编码损失函数：其中c
v
，s
s
，s
t
的含义同上所述，g(c
c
,s
t
)表示生成器参考目标图像c
t
的风格编码s
t
对缺损图像c
c
,进行修复的结果，g(c
c
,s
s
)表示生成器参考风格字体c
s
的风格编码s
s
对缺损图像c
c
,进行修复的结果；4)风格重构损失，同样用于考量修复汉字的风格与原作品书写风格的一致程度；风格编码重构损失函数：定义e(c)表示使用风格编码器提取文字图像c的风格编码，风格编码重构损失函数(4)可表示如下：其中c
v
，c
s
，s
s
的含义同上所述，g(c
v
,s
s
)表示生成器依据风格字体c
s
的风格编码s
s
对图像向量c
v
进行修复的结果，e(g(c
v
,s
s
))表示使用风格编码器提取修复结果的风格编码；5)循环一致损失，用于考量字型是否保持完好；所述循环一致性损失函数：定义g(c
v
,s
s
)表示生成器依据风格编码s
s
对图像c
v
进行修复的结果，表示g(c
v
,s
s
)在通道维度上与c
p
连接得到的图像向量，循环一致性损失函数可表示如下：
其中c
v
，c
p
，s
s
，s
p
的含义同上所述，表示生成器依据原型字体的风格编码s
p
对图像向量进行反向复原的结果；6)字型结构损失，用于考量修复字型与真实字型的偏离程度；文字结构一致性损失函数：定义s(c)表示使用预训练结构提取器抽取文字图像c的文字结构并以嵌入向量的形式输出，文字结构一致性损失函数(3)表示如下：其中c
v
，c
p
，s
s
的含义同上所述。g(c
v
,s
s
)表示生成器依据风格字体c
s
的风格编码s
s
对图像向量c
v
进行修复的结果，表示使用结构提取器从修复结果中提取结构嵌入向量，s(c
p
)表示从原型字体c
p
提取结构嵌入向量；采用综合损失函数以协调以上六个损失函数；模型的综合损失函数可表示如下：

技术总结
一种基于风格迁移的书法汉字修复方法：首先，为确保风格一致，本发明提出风格编码器，输入辅助风格字体，用于提取出拓片上完好汉字的书写风格特征；接着，为确保修复字型正确，输入待修复汉字，提供该字的宋体完整版本作为原字型参考；将上述书写风格特征、待修复汉字、参考原字型整合，三者一并输入到用于修复汉字的生成器G中，得到修复结果，用于分别提供给判别器D和结构提取器；然后，判别器D目标是鉴别生成器G的修复结果与参与连接的原型字体和输入编码器之中的风格字体，将前者判为假，后者判为真；原字型也会通过结构提取器生成带有结构特征的特征向量；通过下述的综合损失函数反向传播不断优化判别器D与生成器G,包括六个部分。播不断优化判别器D与生成器G,包括六个部分。播不断优化判别器D与生成器G,包括六个部分。


技术研发人员：叶晨 杜承豪 钟梓正 田雨竹
受保护的技术使用者：同济大学
技术研发日：2021.07.14
技术公布日：2021/10/26