一种基于迭代式网络的唐卡图像修复方法

技术特征：
1.一种基于迭代式网络的唐卡图像修复系统，其特征在于，包括图像输入模块、图像修复网络模块、总损失计算模块、和图像输出模块；图像输入模块，用于将破损唐卡图像输入到图像修复网络模块中；图像修复网络模块包括由编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络；总损失计算模块，用于对图像修复网络模块进行训练，以迭代优化图像修复网络模块的参数；总损失计算模块的构建过程为：首先，建立训练集，训练集中每个训练样本包括：原唐卡图像、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像；每个训练样本对应输出的训练结果为：利用图像修复网络模块修复得到的修复唐卡图像；然后利用vgg16模型构建总损失计算模块：其中，总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：所述像素重建损失的表达式为：公式(1)中，x
i
与x
′
i
分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；所述内容损失的表达式为：公式(2)中，φ
i
(
·
)代表用来将图像转换到特征空间的函数；i是该函数中某输出层；所述风格损失表达式为：公式(3)中，g(
·
)为对特征图进行gram矩阵计算操作；所述总损失函数为：公式(4)中，为像素重建损失，为内容损失，为风格损失，λ
char
、λ
content
和λ
style
为平衡各部分损失函数权重的参数；图像输出模块，用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡图像。2.根据权利要求1所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的编码器单元和解码器单元均为多层卷积层结构；编码器单元的卷积层均使用部分卷积，解码器单元的卷积层使用转置卷积和部分卷积，每个卷积层的下层使用batchnorm构建归一化层。3.根据权利要求2所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的区域识别单元为部分卷积级联组成，部分卷积利用破损唐卡图像的二值掩码图区分出了破损唐卡图像的有效区域和空洞区域，使对破损唐卡图像的卷积仅依赖于有效区域；通过部分卷积生成新的特征点x
′
的公式表示为：
公式(5)中，w为普通卷积的卷积核参数，b为偏差，x为当前卷积核在输入特征图上对应的滑动窗口，m为该滑动窗口对应的二值遮挡图，
⊙
代表矩阵元素点乘操作；若当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。4.根据权利要求3所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中的纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成；纹理修复单元中，下采样层由三层卷积组成，此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积；结构修复单元中，下采样层由三层卷积组成，此三层卷积为三层卷积核大小为3*3，步长为2的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率均为2，上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积。5.根据权利要求4所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述纹理修复单元与结构修复单元中的特征修复层的扩张卷积公式如下：设输入特征图为x，其中每个像素坐标为i，卷积核为w，扩张率为r，输出特征图为y。6.根据权利要求5所述的基于迭代式网络的唐卡图像修复系统，其特征在于，所述图像修复网络模块中特征自适应融合的表达式为：公式(7)中，m
i
是第i次迭代的遮挡图；f
i
是第i次迭代生成的特征图；
⊙
代表矩阵元素点乘操作；f
out
是最终的融合特征图。7.一种利用权利要求1～6中任一项所述基于迭代式网络的唐卡图像修复系统对唐卡图像进行修复的方法，其特征在于，包括步骤：1、构建迭代式网络的图像修复网络模块；1a、编码器单元对破损唐卡图像抽取纹理细节特征和全局结构特征，得到初步的图像高层语义信息，并送至区域识别单元中；1b、区域识别单元提取本轮迭代所修复的区域得到特征图，将特征图送入纹理修复单元与结构修复单元分别进行修复每轮迭代后，区域识别单元从上一轮特征自适应融合单元产生的特征图中提取本轮迭代所修复的区域，再次送入纹理修复单元与结构修复单元修复；
1c、特征图分别经过纹理修复单元与结构修复单元，并生成两个修复后的特征图，送入特征自适应融合单元进行结合，产生一轮迭代的结果并保存，之后将该结果送入区域识别单元进行下一轮迭代；1d、纹理修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像纹理细节信息进行修复，得到对应修复特征图并送至上采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；1e、结构修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像宏观结构信息进行修复，得到对应修复特征图并送至上采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；1f、特征自适应融合单元融合纹理修复单元与结构修复单元每一轮迭代产生的特征图，形成一轮迭代的最终特征图并保存；融合每一轮迭代产生的特征图，并产生最终的融合特征图，送入解码器单元；1g、解码器单元最终的融合特征图还原成目标唐卡图像；2、优化图像修复网络模块；2a、建立训练集对图像修复网络模块进行训练，输出训练结果；训练集中每个训练样本包括：原唐卡图像、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像；每个训练样本对应输出的训练结果为：利用步骤1中的图像修复网络模块对训练样本中破损唐卡图像进行修复得到的修复唐卡图像；2b、构建图像损失计/xv./算模块，计算原唐卡图像与对应修复唐卡图像的总损失函数；2c、利用总损失函数优化图像修复网络模块的参数，得到优化后的图像修复网络模块；3、破损唐卡图像通过图像输入模块输入至优化后的图像修复网络模块，由图像输出模块输出目标唐卡图像。8.一种设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求7的方法。9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求7所述的方法。

技术总结
本发明涉及图像处理技术领域，尤其涉及基于迭代式网络的唐卡图像修复方法。基于迭代式网络的唐卡图像修复方法，包括步骤：(1)构建迭代式的图像修复网络模块：在网络中以迭代的方式从外到内逐级修复唐卡图像破损区域；(2)优化图像修复网络模块；(3)将破损唐卡图像输入至优化后的图像修复网络模块，得到修复后的目标唐卡图像。本发明结合唐卡图像的纹理与结构特征设计纹理修复网络与结构修复网络，并使用特征自适应融合模块融合图像特征，并且根据网络特点设计与之匹配的损失函数，有效地利用唐卡图像的先验信息修复破损唐卡图像，极大地提高对唐卡图像的训练效率和对破损唐卡图像修复性能表现。复性能表现。复性能表现。


技术研发人员：刘永坚 李嘉伟 解庆 马艳春 胡桉澍 白立华
受保护的技术使用者：武汉理工大学
技术研发日：2022.09.20
技术公布日：2022/12/16