一种壁画裂隙与脱落病害的自动标注方法

1.本发明涉一种壁画裂隙与脱落病害的自动标注方法，属于古壁画文物保护技术领域。


背景技术：

2.古代壁画是人类文化遗产的珍宝，具有极高的历史文化和艺术研究价值。但由于自然退化和人为因素的影响，大多数壁画均遭受了不同程度的损坏。为了长久地保护这些古文化遗产，对壁画图像进行数字采集以及修复壁画中的病害区域以还原壁画的原始面貌，是一项亟需研究且具有重大意义的内容。
3.计算机技术的出现给古壁画的数字化修复带来了新的生机，在古代壁画的数字化修复中，首先需要标注出壁画病害区域的掩膜，再对添加掩膜的区域进行数字化修复。目前多数依靠人工方式来标定壁画中的破损和病害区域,但是人工标定极其耗时耗力。利用现代计算机技术实现数字壁画中破损和病害区域的自动标定可以为壁画的数字化修复提供准确的掩膜，也为壁画实际修复者提供一个参考。
4.目前对于壁画标注的研究正在不断探索中，对壁画中的裂缝及脱落病害进行标注，这将有助于研究人员对壁画的病害严重程度进行评估，同时为后续的壁画数字化修复工作奠定基础。在壁画病害的自动标注领域中，目前主要有3类方法：
5.(1)基于形态学阈值分割的方法：wu等人在2016年提出“多尺度唐墓室壁画病害标记及修复技术研究”，该方法利用形态学高帽、低帽算子设计多尺度结构元素对病害进行标注，但该方法主要适用于标注壁画中的裂隙特征。yang等人在2020年提出“基于改进som的壁画图像裂缝自动识别与修复”，该方法使用多尺度形态学边缘梯度检测提取边缘信息，对变换后的图像进行自适应阈值分割处理，以面积为目标区域的连通规则进行度量以去除虚假目标，实现对破损像素的自动识别和标注，但该方法适用于病害裂缝与壁画背景之间有明显的梯度变换的图像。
6.(2)基于颜色聚类分割的方法：ren等人在2014年提出“基于颜色聚类分割及改进的fmm算法的壁画修复”，在lαβ空间上使用颜色聚类的方法分割出壁画的病害区域。zhang等人在2021年提出“基于边缘重建的多尺度壁画修复方法”，对壁画进行平滑滤波后经过颜色聚类计算掩膜。基于颜色聚类的分割方法适用于病害区域的颜色和壁画背景的颜色对比度大的壁画。
7.(3)基于区域生长的方法：cao等人在2018年提出“改进的区域生长算法在寺观壁画脱落病害标注中的应用”，使用融合阈值分割的区域生长算法来标注壁画的病害区域，然而该方法处理过程较为复杂，需要对阈值范围进行分析。jaidilert等人在2018年提出“crack detection and images inpainting method for thai mural painting images”，该方法需要用户给定部分种子点，然后进行区域生长。


技术实现要素：

8.为解决上述技术问题，本发明提供了一种壁画裂隙与脱落病害的自动标注方法，该方法可以同时标注出壁画中的裂隙与脱落病害。
9.本发明提供的技术方案如下：
10.一种壁画裂隙与脱落病害的自动标注方法，其特征在于，包括以下步骤：
11.1)收集壁画图像，随机裁剪出不同大小的原始壁画图像，构建数据集；
12.2)把rgb空间的原始壁画图像转换到hsv空间，hsv空间的壁画图像f(x,y)＝[h(x,y),s(x,y),v(x,y)]
t
，其中h、s、v分别表示色调、饱和度和亮度分量；调整h、s、v三分量的权重系数；权重图像具体公式为其中，ωh、ωs、ωv分别对应色调、饱和度和亮度分量的权重系数；
[0013]
3)分别对权重图像的三个分量h、s、v进行x和y方向求偏微分，得到梯度图像g
θ
(x,y)：
[0014][0015]
其中g
xx
、g
yy
和g
xy
为梯度图像的参数，以及θ(x,y)为权重图像的最大变化率方向的角度函数；
[0016]
选择梯度图像g
θ
(x,y)中每个像素点上的最大值，得到多维梯度检测的结果图：
[0017]
pi＝max(g
θ
(x,y))
[0018]
其中，pi是原始壁画图像经过多维梯度检测后得到的最终输出图像，该图像是一张包含壁画病害特征的灰度图；
[0019]
4)抑制多维梯度图pi中的绘画线条特征，需要满足如下关系：
[0020][0021]
其中，qi是输出图像，ωk是一个以k为中心的局部窗口，ak、bk均为常量系数；
[0022]
5)利用下式进行阈值分割计算得到壁画病害区域的初始掩膜：
[0023][0024]
其中,i
mask
表示壁画病害区域的初始掩膜,qi为输出图像,t表示阈值；
[0025]
6)对掩膜i
mask
进行形态学孔洞填充，得到最终的掩膜m
mask
，将掩膜m
mask
添加到原始壁画图像得到最终的标注结果。
[0026]
进一步，所述使用sobel算子分别对权重图像的三个分量进行x和y方向求偏微分，得到矢量u1和u2，具体公式如下：
[0027][0028]
其中，h、s和v是hsv颜色空间沿h、s、v轴的单位矢量，和分别是h、s和v
分量沿x方向的偏微分，和分别是h、s和v分量沿y方向的偏微分；
[0029]
将矢量u1和u2分别进行点积计算，得到三个参数g
xx
、g
yy
和g
xy
：
[0030][0031]
θ(x,y)的元素是用于计算梯度的每个像素点的角度，角度函数θ(x,y)的计算公式：
[0032][0033]
进一步，求解线性系数ak,bk在保持局部线性的同时使得多维梯度图pi和输出图像qi之间的差异最小化，用带有正则化参数ε的损失函数e(ak,bk)表示：
[0034][0035]
求解损失函数的最优解ak和bk得到局部窗口的值，具体表达式为bk＝(1-ak)μk，一个像素i可能属于多个窗口，对重叠窗口求平均值得到输出图像，具体计算公式如下：
[0036][0037]
其中和分别为ak和bk的均值。
[0038]
进一步，采用otsu阈值分割方法将输出图像qi分割为前景和背景两部分，此时的阈值t即为最优阈值：
[0039][0040]
其中,pf(t)和pb(t)分别为阈值分割后壁画病害区域的前景和背景所占比例,mf(t)和mb(t)分别为壁画病害区域的前景和背景中像素的均值,m为整个图像qi中像素的均值,l表示灰度级数，将图像qi与阈值进行比较,大于该灰度阈值的像素不变,为壁画病害区域的前景像素；小于该灰度阈值的像素设为0,为壁画病害区域的背景像素。
[0041]
进一步，将壁画病害区域的初始掩膜i
mask
进行张量投票后得到一个新的张量，由于使用张量投票来连接和扩展初始掩膜中不连续的裂隙像素，故提取棒张量显著图作为结果，最后，将棒张量显著图和病害特征掩膜i
mask
求并集得到具有完整裂隙的病害特征掩膜。
[0042]
进一步，将最终的掩膜m
mask
添加到原始壁画f(x,y)得到最终的标注结果fc，具体计算公式如下：
[0043][0044]
本发明的有益效果如下：
[0045]
本发明所提出的自动标注方法可以同时标注出壁画中的裂隙与脱落病害。与现有技术相比，本方法具有如下优点：
[0046]
1.本发明的标注算法可以准确的标注出与壁画背景颜色近似的病害。
[0047]
2.当裂隙病害与壁画的绘画线条颜色近似时，也能准确的标注出壁画中的裂隙病害。
[0048]
3.能够标注出壁画中的小区域病害。
[0049]
4.本发明的标注方法可应用于不同色调的壁画图像。
[0050]
5.计算速度快，效率高，且不需要人机交互。本发明在多张壁画图像上的标注效果均优于其他方法。
附图说明
[0051]
图1是本发明实施中壁画裂隙与脱落病害示例图；
[0052]
图2是本发明具体实施例中壁画中裂隙与脱落病害的自动标注的流程图；
[0053]
图3是本发明实施中应用于裂隙病害实例的标注结果；
[0054]
图4是本发明实施中应用于多种病害示例的标注结果。
具体实施方式
[0055]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0056]
本发明如图1所示为壁画中的原始面貌的两种病害类型，其中图1(a)为裂隙，图1(b)为脱落病害。本发明壁画裂隙与脱落病害的自动标注方法，如图2所示，包括如下步骤：
[0057]
第一步，收集壁画图像，随机裁剪出不同大小的壁画图像，构建实验所需数据集，采用随机裁剪的方式，生成不同尺寸图像，从而增加图像数量，扩充数据集。
[0058]
第二步，把rgb空间的原始壁画图像转换到hsv颜色空间
[0059]
将rgb颜色空间的壁画图像转换到hsv颜色空间，得到hsv空间的壁画图像f(x,y)＝[h(x,y),s(x,y),v(x,y)]
t
，其中h、s、v分别表示色调、饱和度和亮度分量。
[0060]
第三步，调整h、s、v三分量的权重系数
[0061]
在hsv颜色空间中分别调整色调、饱和度和亮度三个分量的权重系数，得到权重图像具体公式如下：
[0062][0063]
其中，ωh、ωs、ωv分别对应色调、饱和度和亮度分量的权重系数，取ωh＝0.1,ωs＝0.8,ωv＝0.1。
[0064]
第四步，提取出壁画的病害特征
[0065]
使用sobel算子分别对权重图像的三个分量进行x和y方向求偏微分，得到矢量u1和u2，具体公式如下：
[0066][0067]
其中，h、s和v是hsv颜色空间沿h、s、v轴的单位矢量，和分别是h、s和v分量沿x方向的偏微分，和分别是h、s和v分量沿y方向的偏微分。接下来将矢量u1和u2分别进行点积计算，得到三个参数g
xx
、g
yy
和g
xy
：
[0068][0069]
权重图像的最大变化率方向由角度函数θ(x,y)给出：
[0070][0071]
其中，θ(x,y)的元素是用于计算梯度的每个像素点的角度。在该方向上，梯度图像g
θ
(x,y)由下式给出：
[0072][0073]
在壁画病害特征提取过程中，选择梯度图像g
θ
(x,y)中每个像素点上的最大值，得到多维梯度检测的结果图：
[0074]
pi＝max(g
θ
(x,y))
[0075]
其中，pi是原始壁画图像经过多维梯度检测后得到的最终输出结果图像，该图像是一张包含壁画病害特征的灰度图。
[0076]
第五步，壁画病害区域增强
[0077]
抑制多维梯度图pi中的绘画线条特征，需要满足如下关系：
[0078][0079]
其中，qi是输出图像，ωk是一个以k为中心的局部窗口，ak、bk均为常量系数。
[0080]
输出图像和多维梯度图满足一个局部线性关系。求解线性系数ak,bk在保持局部线性的同时使得多维梯度图pi和输出图像qi之间的差异最小化，用带有正则化参数ε的损失函数e(ak,bk)表示：
[0081][0082]
求解损失函数的最优解ak和bk得到局部窗口的值，具体表达式为bk＝(1-ak)μk，一个像素i可能属于多个窗口，对重叠窗口求平均值得到输出图像，具体计算公式
如下：
[0083][0084]
其中和分别为ak和bk的均值。最终求得抑制了壁画绘画线条的输出图像qi，实现了壁画病害区域的增强。
[0085]
第六步，自动分割出壁画中的病害区域并进行亮度增强操作
[0086]
采用otsu阈值分割方法得到壁画病害区域的初始掩膜。otsu阈值分割算法可将输出图像qi分割为前景和背景两部分，此时的阈值t即为最优阈值：
[0087][0088]
其中,pf(t)和pb(t)分别为阈值分割后壁画病害区域的前景和背景所占比例,mf(t)和mb(t)分别为壁画病害区域的前景和背景中像素的均值,m为整个图像qi中像素的均值,l表示灰度级数。
[0089]
将图像qi与阈值进行比较,大于该灰度阈值的像素不变,为壁画病害区域的前景像素；小于该灰度阈值的像素设为0,为壁画病害区域的背景像素。通过阈值分割,将壁画的病害区域分离出来。利用下式进行阈值分割计算得到壁画病害区域的初始掩膜：
[0090][0091]
其中,i
mask
表示壁画病害区域的初始掩膜,qi为第六步的输出图像,t表示阈值。同时，对病害特征掩膜进行亮度增强操作。
[0092]
第七步，连接阈值分割后的图像中不连续的裂隙像素
[0093]
首先，将壁画病害区域的初始掩膜i
mask
进行张量投票后得到一个新的张量，其次，由于使用张量投票来连接和扩展初始掩膜中不连续的裂隙像素，故提取棒张量显著图作为结果，最后，将棒张量显著图和病害特征掩膜i
mask
求并集得到具有完整裂隙的病害特征掩膜。
[0094]
第八步，生成壁画病害的掩膜
[0095]
对完整裂隙的病害特征掩膜进行形态学孔洞填充，得到最终的掩膜m
mask
。
[0096]
第九步，添加最终的掩膜到原始壁画图像上得到最终的标注结果
[0097]
将最终的掩膜m
mask
添加到原始壁画f(x,y)得到最终的标注结果fc，具体计算公式如下：
[0098][0099]
如图3所示为本发明用于裂隙病害实例的标注结果，其中图3(a)为带有裂隙病害的壁画图像，可以看出该图像中的裂隙病害与壁画的绘画线条在颜色上相似度较大。图3(b)为生成的最终掩膜，图3(c)为最终的标注结果。从图3(c)可以看出本发明的标注效果良好，即使裂隙与壁画的绘画线条在颜色上很相似，也能将裂隙准确的标注出来，脱落区域的标注结果也很完整。
[0100]
如图4所示为本发明用于多种病害示例的标注结果，图4(a1)～(a2)为原始壁画图像，图4(b1)～(b2)为本发明对壁画中不同病害进行标注的结果。从图中可以看出，即使壁画的脱落病害与壁画的背景颜色较为相似，壁画中的病害较为复杂时，本发明也能正确地
标注出病害区域。
[0101]
本发明计算速度快、精确度高，壁画中的裂隙与脱落病害区域标注完整。将本发明用于不同图像上进行测试，均取得了明显优于其他标注方法的结果。本发明能够自动的标注出输入壁画图像的裂隙与脱落病害，在标注的结果中，裂隙与脱落区域均得到了充分的标注，其结果可以应用于马路裂隙检测、太阳能电池板缺陷检测、农作物病害检测等应用领域。
[0102]
以上实施方式仅用于说明本发明，而并非对本发明的限制，有关技术领域的普通技术人员，在不脱离本发明的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明的范畴，本发明的专利保护范围应由权利要求限定。