基于特征融合的数字博物馆藏品视觉增强方法

本发明涉及图像处理领域，尤其涉及基于特征融合的数字博物馆藏品视觉增强方法。

背景技术：

1、数字博物馆通常通过数码相机、专业翻拍设备或扫描成像设备获取陶瓷、玉器、漆器、金银器、铜器等藏品的二维彩色图像，并将藏品图像用于数字档案、网页展示和局部放大浏览。对于具有釉层、抛光层或金属反射面的藏品，照明光容易在采集图像中产生局部镜面高光，使相应区域亮度升高，并使原有颜色差异和纹理灰度变化减弱。现有图像处理通常先依据高亮、低饱和或过曝状态筛选高光区域，再进行亮度压制、颜色调整或局部修复。

2、例如，授权公告号为cn116883277b的中国发明专利公开了一种基于双注意力机制和细节恢复的陶瓷文物图像去高光方法，其读取陶瓷文物高光图像，经裁剪后利用预训练vgg-19网络提取特征，并将提取特征与原始高光图像组合，再通过注意力模块、残差结构和细节恢复模块处理，输出无高光图像。该专利还指出，饱和度低的像素可能被误判为高光像素，传统方法难以区分全白或近白区域与高光区域。

3、对于数字博物馆藏品图像，浅色玉石、浅色釉面以及浅色纹饰等区域本身即可具有较高亮度，部分浅色区域还可能具有较低饱和度，因此仅依据单一亮度或绝对饱和度不能确定高亮区域的产生原因。若直接将该类区域纳入高光处理范围，可能改变藏品真实浅色区域的原有亮度、颜色或纹理边界。由此，需要一种能够在高亮候选区域内部利用不同亮度层级之间的颜色变化关系，并结合纹理变化进行复核的视觉增强方法。

技术实现思路

1、为解决数字博物馆藏品图像中镜面高光与藏品自身浅色材质均可能表现为局部高亮，现有仅依据绝对亮度或绝对饱和度难以确定高亮区域来源，进而可能将真实浅色纹饰或浅色材质区域作为镜面高光区域处理的问题，本发明提供如下技术方案。

2、基于特征融合的数字博物馆藏品视觉增强方法，包括：

3、获取经主体裁切的藏品图像并转换至颜色空间，根据亮度分量确定高亮候选区域，并获取所述高亮候选区域外围的局部参考环带；

4、对具有局部参考环带的高亮候选区域按亮度划分低亮度像素组和高亮度像素组，根据两组像素的亮度统计量和饱和度统计量，分别确定高亮度像素组相对低亮度像素组的亮度升高程度和饱和度降低程度，并结合局部参考环带的饱和度波动程度筛选满足亮度升高伴随饱和度下降条件的高亮候选区域；

5、对于满足亮度升高伴随饱和度下降条件的高亮候选区域，根据亮度分量计算像素梯度幅值，并根据两组像素的梯度幅值统计量确定高亮度像素组相对低亮度像素组的梯度降低程度，并结合对应局部参考环带的梯度波动程度确定镜面高光区域；

6、根据镜面高光区域对应的亮度升高程度和饱和度降低程度确定局部修正程度，按照所述局部修正程度修正镜面高光区域的亮度分量和饱和度分量，将修正后的数据转换为数据，并保留未进行局部修正像素的原始数据，得到视觉增强图像。

7、优选的，当所述亮度升高程度为正且所述饱和度降低程度超过对应局部参考环带的饱和度波动程度时，确定所述高亮候选区域满足亮度升高伴随饱和度下降条件；

8、当所述梯度降低程度为正且超过对应局部参考环带的梯度波动程度时，将满足亮度升高伴随饱和度下降条件的高亮候选区域确定为镜面高光区域。

9、优选的，所述藏品图像为在白光照明条件下采集并完成主体裁切的八位三通道藏品图像；将所述藏品图像转换至颜色空间后，将亮度分量和饱和度分量归一化至0至1；

10、所述确定高亮候选区域包括：对所述亮度分量进行排序，取所述亮度分量的上四分位数作为高亮候选基准，将亮度不低于所述高亮候选基准的相邻像素按照八邻域连通关系划分为连通区域，并将像素数量不少于四个的连通区域确定为高亮候选区域。

11、优选的，对每个高亮候选区域执行形态学膨胀，使所述高亮候选区域的边界向外扩展5个像素，将膨胀后新增且不属于其他高亮候选区域的相邻像素作为该高亮候选区域的局部参考环带；

12、对于不能取得局部参考环带像素的高亮候选区域，保持对应的原始图像数据，不进入后续镜面高光确认。

13、优选的，将各高亮候选区域中的像素按照归一化亮度值从小到大排序，将排序后位于前半部分的像素确定为低亮度像素组，将排序后位于后半部分的像素确定为高亮度像素组；当高亮候选区域包含奇数个像素时，将位于中间排序位置的像素归入低亮度像素组；

14、以高亮度像素组的亮度中位数减去低亮度像素组的亮度中位数得到亮度层级差，并将所述亮度层级差作为所述亮度升高程度；以低亮度像素组的饱和度中位数减去高亮度像素组的饱和度中位数得到饱和度下降量，并将所述饱和度下降量作为所述饱和度降低程度；

15、根据所述高亮候选区域对应的局部参考环带中的饱和度数据计算饱和度四分位距，并将所述饱和度四分位距作为所述饱和度波动程度。

16、优选的，采用sobel算子计算藏品图像亮度分量中各像素的梯度幅值；

17、对于满足亮度升高伴随饱和度下降条件的高亮候选区域，分别计算低亮度像素组和高亮度像素组对应像素的梯度幅值中位数，以低亮度像素组的梯度幅值中位数减去高亮度像素组的梯度幅值中位数得到梯度下降量，并将所述梯度下降量作为所述梯度降低程度；

18、根据所述高亮候选区域对应的局部参考环带中各像素的梯度幅值计算梯度四分位距，并将所述梯度四分位距作为所述梯度波动程度。

19、优选的，所述局部修正程度由亮度削减基准量、饱和度补偿基准量及待修正像素的修正比例确定；对于各镜面高光区域，将其亮度层级差作为所述亮度削减基准量，将其饱和度下降量作为所述饱和度补偿基准量，并将归一化亮度高于对应低亮度像素组亮度中位数的像素确定为待修正像素；

20、对于所述待修正像素，以该待修正像素的归一化亮度减去对应低亮度像素组的亮度中位数得到亮度差值，以1减去所述低亮度像素组的亮度中位数后再加上用于使修正分母大于0的预设正数得到修正分母，将所述亮度差值除以所述修正分母，并将所得比值限制在0至1范围内，得到修正比例。

21、优选的，将所述修正比例与亮度削减基准量的乘积作为亮度削减量，以待修正像素的修正前归一化亮度减去所述亮度削减量，并将所得数值限制在0至1范围内，得到所述待修正像素的修正后归一化亮度。

22、优选的，当待修正像素的修正前归一化饱和度大于0时，将修正比例与饱和度补偿基准量的乘积加至修正前归一化饱和度，得到饱和度初始修正值；取修正前归一化饱和度与对应低亮度像素组的饱和度中位数中的较大值作为饱和度上限，并取所述饱和度初始修正值与所述饱和度上限中的较小值作为修正后归一化饱和度，同时保持色调分量不变；

23、当待修正像素的修正前归一化饱和度等于0时，将修正后归一化饱和度设为0，并保持色调分量不变，仅进行亮度修正。

24、本发明具有以下效果：

25、1、与仅根据绝对亮度或绝对低饱和状态确定镜面高光区域的处理方式相比，本发明先在同一高亮候选区域内按照亮度对像素进行分层，再比较高亮度像素组与低亮度像素组之间的饱和度变化，使饱和度判断直接依附于亮度变化过程，从而降低仅因藏品区域本身颜色较浅而被确定为镜面高光区域的可能性；

26、2、本发明仅对满足亮度升高伴随饱和度下降条件的高亮候选区域继续进行梯度衰减复核，并且梯度复核仍使用相同的亮度分层，使梯度数据用于复核前述颜色变化关系，而不是与亮度、饱和度进行固定权重叠加。局部参考环带的饱和度波动程度和梯度波动程度分别用于反映相邻藏品表面的实际颜色波动和纹理波动，使判断基准随当前藏品局部区域变化；其中，第一实施方式采用四分位距表征所述波动程度，第二实施方式采用标准差表征所述波动程度；

27、3、本发明在确定镜面高光区域后，根据镜面高光区域中像素相对于对应低亮度像素组亮度统计量的亮度位置确定待修正像素并设置修正比例，使较高亮度位置获得较大的修正幅度，同时保留非镜面高光区域以及镜面高光区域中未达到修正条件的像素的原始颜色数据，从而减少对镜面高光区域中较低亮度位置原有颜色数据的修改。