一种基于迭代式网络的唐卡图像修复方法

1.本发明涉及图像处理技术领域，尤其涉及一种基于迭代式网络的唐卡图像修复方法。


背景技术：

2.图像修复是计算机视觉领域中一个重要的研究方向，其研究内容是让计算机对图像上缺失或破损的区域自动地填补图像应有的内容，使输出结果在保留原图像信息的同时尽可能真实自然。解决图像修复问题的关键在于如何让计算机“理解”自然图像从浅层到深层的信息，并利用这些信息得出图像修复结果。
3.唐卡是藏族文化中一种独特的绘画艺术形式，其内容涉及到藏族历史、政治、文化、社会生活等多个方面，可谓是一本藏族百科全书。不同于常见的自然图像或绘画艺术作品，唐卡包含多种色彩、复杂的结构、极其精细的纹理以及深刻的宗教和文化意义，是中华民族民间艺术中弥足珍贵的非物质文化遗产。藏文化历史悠久，随着时间的推移，壁画年久失修，许多珍贵的唐卡壁画遭到破坏。研究唐卡壁画图像修复一方面可以尽可能还原壁画中破损的部分，保护藏族文化遗产；另一方面唐卡壁画图像修复后得到完整的壁画内容，进一步挖掘唐卡壁画的文化和经济价值。传统的非数字手工修补方法不仅需要专业的唐卡绘画技巧，且极其容易导致唐卡出现不可恢复的修补结果甚至永久性损坏；而现有的数字修复方法鲜有针对唐卡图像结构和纹理特点进行修复，性能表现有待提高。


技术实现要素：

4.为了克服以上问题，本发明的目的是提供一种基于迭代式网络的唐卡图像修复方法，能够有效地针对唐卡图像的图像特点，利用唐卡图像的先验信息修复破损唐卡图像，极大地提高对唐卡图像的训练效率和对破损唐卡图像修复性能表现。
5.一种基于迭代式网络的唐卡图像修复系统，包括图像输入模块、图像修复网络模块、总损失计算模块、和图像输出模块；
6.图像输入模块，用于将破损唐卡图像输入到图像修复网络模块中；
7.图像修复网络模块包括由编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络；
8.总损失计算模块，用于对图像修复网络模块进行训练，以迭代优化图像修复网络模块的参数；其中，总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：
9.所述像素重建损失的表达式为：
[0010][0011]
公式(1)中，xi与x
′i分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；
[0012]
所述内容损失的表达式为：
[0013][0014]
公式(2)中，φi(
·
)代表用来将图像转换到特征空间的函数；i是该函数中某输出层；
[0015]
所述风格损失表达式为：
[0016][0017]
公式(3)中，g(
·
)为对特征图进行gram矩阵计算操作；
[0018]
所述总损失函数为：
[0019][0020]
公式(4)中，为像素重建损失，为内容损失，为风格损失，λ
char
、λ
content
和λ
style
为平衡各部分损失函数权重的参数；
[0021]
图像输出模块，用于输出经总损失计算模块训练后图像修复网络模块生成的修复唐卡图像。
[0022]
作为优选方案，所述图像修复网络模块中的编码器单元和解码器单元均为多层卷积层结构；编码器单元的卷积层均使用部分卷积，解码器单元的卷积层使用转置卷积和部分卷积，每个卷积层的下层使用batchnorm构建归一化层。
[0023]
作为优选方案，所述图像修复网络模块中的区域识别单元为部分卷积级联组成，部分卷积利用破损唐卡图像的二值掩码图区分出了破损唐卡图像的有效区域和空洞区域，使对破损唐卡图像的卷积仅依赖于有效区域；通过部分卷积生成新的特征点x
′
的公式表示为：
[0024][0025]
公式(5)中，w为普通卷积的卷积核参数，b为偏差，x为当前卷积核在输入特征图上对应的滑动窗口，m为该滑动窗口对应的二值遮挡图，
⊙
代表矩阵元素点乘操作；
[0026]
若当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。
[0027]
作为优选方案，所述图像修复网络模块中的纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成；
[0028]
纹理修复单元中，下采样层由三层卷积组成，此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积；
[0029]
结构修复单元中，下采样层由三层卷积组成，此三层卷积为三层卷积核大小为3*3，步长为2的卷积；特征修复层由三层扩张卷积组成，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率均为2，上采样层由三层转置卷积组成，此三层卷积为三层卷积核
大小为4*4，步长为2的转置卷积。
[0030]
作为优选方案，所述纹理修复单元与结构修复单元中的特征修复层的扩张卷积公式如下：
[0031][0032]
设输入特征图为x，其中每个像素坐标为i，卷积核为w，扩张率为r，输出特征图为y。
[0033]
作为优选方案，所述图像修复网络模块中特征自适应融合的表达式为：
[0034][0035]
公式(7)中，mi是第i次迭代的遮挡图；fi是第i次迭代生成的特征图；
⊙
代表矩阵元素点乘操作；f
out
是最终的融合特征图。
[0036]
一种基于迭代式网络的唐卡图像修复系统对唐卡图像进行修复的方法，包括步骤：
[0037]
1、构建迭代式网络的图像修复网络模块；
[0038]
1a、编码器单元对破损唐卡图像抽取纹理细节特征和全局结构特征，得到初步的图像高层语义信息，并送至区域识别单元中；
[0039]
1b、区域识别单元提取本轮迭代所修复的区域得到特征图，将特征图送入纹理修复单元与结构修复单元分别进行修复。每轮迭代后，区域识别单元从上一轮特征自适应融合单元产生的特征图中提取本轮迭代所修复的区域，再次送入纹理修复单元与结构修复单元修复；
[0040]
1c、特征图分别经过纹理修复单元与结构修复单元，并生成两个修复后的特征图，送入特征自适应融合单元进行结合，产生一轮迭代的结果并保存，之后将该结果送入区域识别单元进行下一轮迭代；
[0041]
1d、纹理修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像纹理细节信息进行修复，得到对应修复特征图并送至上采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；
[0042]
1e、结构修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像宏观结构信息进行修复，得到对应修复特征图并送至上采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；
[0043]
1f、特征自适应融合单元融合纹理修复单元与结构修复单元每一轮迭代产生的特征图，形成一轮迭代的最终特征图并保存；融合每一轮迭代产生的特征图，并产生最终的融合特征图，送入解码器单元；
[0044]
1g、解码器单元最终的融合特征图还原成目标唐卡图像；
[0045]
2、优化图像修复网络模块；
[0046]
2a、建立训练集对图像修复网络模块进行训练，输出训练结果；
[0047]
训练集中每个训练样本包括：原唐卡图像、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像；每个训练样本对应输出的训练
结果为：利用步骤1中的图像修复网络模块对训练样本中破损唐卡图像进行修复得到的修复唐卡图像；
[0048]
2b、构建图像损失计算模块，计算原唐卡图像与对应修复唐卡图像的总损失函数；
[0049]
2c、利用总损失函数优化图像修复网络模块的参数，得到优化后的图像修复网络模块；
[0050]
3、破损唐卡图像通过图像输入模块输入至优化后的图像修复网络模块，由图像输出模块输出目标唐卡图像。
[0051]
一种设备，其特征在于，包括：
[0052]
至少一个处理器；以及，
[0053]
与所述至少一个处理器通信连接的存储器；其中，
[0054]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述唐卡图像的修复方法。
[0055]
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时上述唐卡图像的修复方法。
[0056]
本发明的优点在于：与传统的图像修复方法相比，本发明的具有以下优点：本发明基于迭代式网络的思想，结合唐卡图像的纹理与结构特征设计纹理修复网络与结构修复网络，并使用特征自适应融合模块融合图像特征，并且根据网络特点设计与之匹配的损失函数，有效地利用唐卡图像的先验信息修复破损唐卡图像，极大地提高对唐卡图像的训练效率和对破损唐卡图像修复性能表现。
附图说明
[0057]
图1为本实施例中基于迭代式网络的唐卡图像修复系统对唐卡图像进行修复方法的流程图；
[0058]
图2为本实施例中基于迭代式网络的唐卡图像修复系统中各模块的连接关系示意图；
[0059]
图3为本实施例中图像修复网络模块的结构示意图；
[0060]
图4为本实施例中总损失计算模块的构建流程图；
[0061]
图5为本实施例中破损唐卡图像和目标唐卡图像的效果图。
具体实施方式
[0062]
为更好地理解本发明，以下将结合附图和具体实例对发明进行详细的说明。
[0063]
结合图1和图2所示，本实施例提供的基于迭代式网络的唐卡图像修复方法，包括
[0064]
(1)构建迭代式的图像修复网络模块：在网络中以迭代的方式从外到内逐级修复唐卡图像破损区域；
[0065]
(2)优化图像修复网络模块；
[0066]
(3)将破损唐卡图像通过图像输入模块输入至优化后的图像修复网络模块，由图像输出模块输出目标唐卡图像。
[0067]
以下具体阐述唐卡修复的过程：
[0068]
步骤(1)、结合图3所示，构建迭代式的图像修复网络模块，具体包括：
[0069]
由上至下，编码器单元、区域识别单元、纹理修复单元与结构修复单元、特征自适应融合单元和解码器单元，连接形成神经网络。
[0070]
11、其中编码器单元和解码器单元都为多层卷积层结构，具体包括：编码器单元的卷积层均使用部分卷积；解码器单元的卷积层使用转置卷积和部分卷积；每个卷积层的下层使用batchnorm构建归一化层。
[0071]
12、在本实施例中，区域识别单元，具体包括：
[0072]
区域识别单元为部分卷积级联组成。部分卷积利用破损图像的二值掩码图(若某像素位于有效区域则标为1，反之则标为0)，区分出了破损图像的有效区域和空洞区域，使对破损图像的卷积仅依赖于有效区域。令w为普通卷积的卷积核参数，b为偏差，x为当前卷积核在输入特征图上对应的滑动窗口，m为该滑动窗口对应的二值遮挡图，
⊙
代表矩阵元素点乘操作，则通过部分卷积生成新的特征点x
′
的公式可以被表示为：
[0073][0074]
如果当前卷积核对应的滑动窗口全部来自于空洞区域，那么该窗口生成的特征点会被直接置为0。这样，部分卷积输出的特征图能够完全屏蔽掉空洞区域的干扰。同样地，在对图像进行卷积操作的同时也对掩码图进行类似的卷积操作并重新二值化，将掩码图更新后传递到下一卷积层。新的遮挡图上某点m
′
的更新公式如下：
[0075][0076]
部分卷积生成的掩码图与特征图具有相同的尺寸，其更新与特征图的更新是并行的，从输入部分卷积层开始二者便一一对应。随着部分卷积的不断深入，特征图尺寸缩小的同时，掩码图上的空洞区域也随之不断缩小，最终实现了对图像有效区域特征的卷积。
[0077]
每轮迭代后，区域识别单元将上一轮纹理修复单元与结构修复单元得到的结果送入区域识别单元，提取本轮迭代所修复的区域，再次送入纹理修复单元与结构修复单元进行修复。
[0078]
13、在本实施例中，所述纹理修复单元与结构修复单元由下采样层、特征修复层和上采样层组成，具体包括：
[0079]
下采样层、特征修复层和上采样层都为多层卷积层结构；
[0080]
每个卷积层的下层均使用归一化层和激活函数层。
[0081]
在本实施例中，在纹理修复单元中，下采样层由三层卷积组成。此三层卷积自上而下为一层步长为2，卷积核大小为3*3的卷积以及两层步长为1，卷积核大小为3*3的卷积；在结构修复单元中，此三层卷积为三层卷积核大小为3*3，步长为2的卷积。下采样层的作用是对解码器单元的得到的初级特征进行下采样处理，得到进一步的图像特征，并送至特征修复层。此处由于纹理信息更多地存在于高分辨率特征图之中，过多的下采样会破坏纹理信息，因此，在纹理修复单元中，为了保证纹理修复单元能掌握更广的纹理细节，仅对特征图进行一次步长为2，卷积核大小为3*3的卷积进行下采样，之后两次步长为1，卷积核大小为3*3的卷积不改变特征图的大小。
[0082]
特征修复层由三层扩张卷积组成，扩张卷积比普通卷积增大了扩张率，即卷积核
矩阵相邻两点间的距离，但卷积核矩阵实际大小不变，以此来增加模型的感受野，同时不增加计算量。设输入特征图为x，其中每个像素坐标为i，卷积核为w，扩张率为r，输出特征图为y，则扩张卷积公式定义如下：
[0083][0084]
在纹理修复单元中，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率分别为2、4、8；在结构修复单元中，此三层卷积为三层卷积核大小为3*3，步长为1的卷积，其扩张率均为2。采用逐步增大的扩张率能够有效的保证纹理修复单元对纹理有全局与细节的把握，而结构修复单元则专注于唐卡图像的宏观语义结构。
[0085]
上采样层的作用是将特征修复层的结果还原成与输入下采样层前的特征图大小一致。上采样层由三层转置卷积组成，此三层卷积为三层卷积核大小为4*4，步长为2的转置卷积。
[0086]
14、在本实施例中，纹理修复单元与结构修复单元中的每个卷积层的下层均使用batchnorm进行归一化，然后使用relu作为激活函数。
[0087]
15、在本实施例中，所述特征自适应融合单元，具体包括
[0088]
特征自适应融合单元融合所述纹理修复分支与结构修复分支通过所述迭代式的网络结构每一次迭代产生的特征图并保存，并融合每一轮的特征图产生最终的融合特征图。
[0089]
特征自适应融合的表达式为：
[0090][0091]
公式(7)中，mi是第i次迭代的遮挡图；fi是第i次迭代生成的特征图；
⊙
代表矩阵元素点乘操作；f
out
是最终的融合特征图。
[0092]
16、结合图3所示，利用上述的图像修复网络模块修复破损唐卡图像的过程为：
[0093]
16a、编码器单元对破损唐卡图像抽取纹理细节特征和全局结构特征，得到初步的图像高层语义信息，并送至区域识别单元中；
[0094]
16b、区域识别单元提取本轮迭代所修复的区域得到特征图，将特征图送入纹理修复单元与结构修复单元分别进行修复。每轮迭代后，区域识别单元从上一轮特征自适应融合单元产生的特征图中提取本轮迭代所修复的区域，再次送入纹理修复单元与结构修复单元修复；
[0095]
16c、特征图分别经过纹理修复单元与结构修复单元，并生成两个修复后的特征图，送入特征自适应融合单元进行结合，产生一轮迭代的结果并保存，之后将该结果送入区域识别单元进行下一轮迭代；
[0096]
16d、纹理修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像纹理细节信息进行修复，得到对应修复特征图并送至上采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；
[0097]
16e、结构修复单元中，下采样层对区域识别输出的特征图进行下采样处理，并送至特征修复层；特征修复层对图像宏观结构信息进行修复，得到对应修复特征图并送至上
采样层；上采样层将特征修复层输出的特征图还原成输入下采样层前的特征图的大小；
[0098]
16f、特征自适应融合单元融合纹理修复单元与结构修复单元每一轮迭代产生的特征图，形成一轮迭代的最终特征图并保存；融合每一轮迭代产生的特征图，并产生最终的融合特征图，送入解码器单元；
[0099]
16g、解码器单元最终的融合特征图还原成目标唐卡图像；
[0100]
(2)结合图4所示，优化图像修复网络模块：
[0101]
2a、首先，建立训练集对图像修复网络模块进行训练，输出训练结果；训练集中每个训练样本包括：原唐卡图像(来源于未损坏的唐卡壁图)、表示缺损区域的掩码图以及将原唐卡图像和表示缺损区域的掩码图进行融合得到破损唐卡图像。每个训练样本对应输出的训练结果为：利用步骤1中的方法对破损唐卡图像进行修复得到的修复唐卡图像；
[0102]
具体过程为：
[0103]
首先、预处理训练样本：在将训练样本中每个破损唐卡图像输入图像修复网络模块前，要将不同尺寸的训练样本缩放到统一尺寸。本实施例将训练集预处理，使训练样本中的图像呈256*256分辨率。
[0104]
然后、训练样本中每个破损唐卡图像输入图像修复网络模块：其运行过程与步骤1相同，在此不再赘述。
[0105]
2b、利用vgg16模型构建总损失计算模块；
[0106]
在本实施例中，vgg16模型分为5个卷积层，每个卷积层有2-4个卷积核以及相应的relu层和池化层。
[0107]
其中总损失计算模块的总损失函数由像素重建损失函数、内容损失函数和风格损失函数叠加构成：
[0108]
所述像素重建损失的表达式为：
[0109][0110]
公式(1)中，xi与xi分别为原唐卡图像与对应修复唐卡图像上的像素，m为该样本图像所有像素的个数，c是用于稳定计算过程的极小常数；
[0111]
所述内容损失的表达式为：
[0112][0113]
公式(2)中，φi(
·
)代表用来将图像转换到特征空间的函数；i是该函数中某输出层。
[0114]
在本实施例中，采用预训练的vgg16网络作为特征提取器来提取图像的特征图。将原唐卡图像与对应修复唐卡图像输入到图像损失计算模块中，使用vgg16的conv1_2，conv2_2，conv3_3输出的特征图计算内容损失函数。
[0115]
所述风格损失表达式为：
[0116][0117]
公式(3)中，g(
·
)为对特征图进行gram矩阵计算操作。
[0118]
在具体实施过程中，采用预训练的vgg16网络作为特征提取器来提取图像的特征
图。将原唐卡图像与对应修复唐卡图像输入到图像损失计算模块中，使用vgg16的conv1_2，conv2_2，conv3_3的输出的特征图计算风格损失函数。
[0119]
所述总损失函数为：
[0120][0121]
公式(4)中，为像素重建损失，为内容损失，为风格损失，λ
char
、λ
content
和λ
style
为平衡各部分损失函数权重的参数。
[0122]
2c、采用自适应矩估计(adam)优化器最小化总损失函数，迭代优化图像修复网络模块的参数，得到优化后的图像修复网络模块。
[0123]
优化参数如下：学习率为0.0001，batch_size(一次训练所选取的样本数)为6，epochs(向前和向后传播中所有批次的单次训练迭代)为7，迭代网络的迭代次数为6，唐卡数据集的大小约为9万。在实际训练过程中，当训练进行到2/3时，总损失基本收敛，所以适当降低epochs也是可行的，并且可以提高效率。
[0124]
(3)将破损唐卡图像输入至优化后的图像修复网络模块，得到修复后的目标唐卡图像。
[0125]
结合图5所示，输入五张破损唐卡图像，经本实施例基于迭代式网络的唐卡图像修复方法输出对应的目标唐卡图像，可以看出，输出的目标唐卡图像完整，层次分明，在图像破损区域的整体结构补全和纹理细节修复上均具有符合人类视觉语义的良好效果。