基于Raw格式岩心图像超分辨率重建的制作方法

基于raw格式岩心图像超分辨率重建
技术领域
1.本发明涉及图像超分辨率重建技术，具体涉及一种基于raw格式岩心图像的超分辨率重建方法，属于数字图像处理领域。


背景技术：

2.在地质勘探开发中，通过研究钻取的岩心能获得重要的地质信息。特别地，高清的岩心图像更有利于研究人员进行分析。基于线阵相机的扫描仪，采集的图像分辨率较高，但扫描存在不稳定、成像时间长的问题。而基于面阵相机的扫描仪，通过一次成像，能大大减少岩心图像的采集时间；但为了使同样大小的岩心进入视野，采集的图像分辨率会有所下降。因此，如何提升岩心图像分辨率，从而达到后续的分析要求，具有重要的研究意义。
3.随着数据集的越加广泛与训练模型深度的加深，单幅图像超分辨率技术得到了很大的发展，但目前很多超分辨率方法在应用于岩心图像时，表现不佳。首先，许多方法通过固定的下采样来获得低分辨率图像，但这种简单的退化模型并不能反应真实场景图像的退化过程。其次，退化模型应该基于线性图像，但许多方法是基于相机图像处理器(image signal processor，isp)处理后的非线性图像，由于经过色调校正、有损压缩等非线性处理，会使模型重建出的高分辨率图像出现伪影。为了解决这一问题，有研究者直接通过光学变焦方法拍摄现实场景中的图像对作为数据集。但针对岩心这种小视场图像，高低分辨率之间不同程度的畸变与较大视场差因素增大了对齐数据的难度。xu等提出了一种方法，先模拟isp过程合成数据集，再使用一个双层卷积神经网络进行学习，其重建的图像色彩能直接取决于分支2输入图像的色彩。但为得到逼真的色彩，需根据每次拍摄的坏境，对分支2输入图像的色彩进行调整；且只能根据重建结果反馈给输入进行调整，该过程比较繁琐和耗时。


技术实现要素：

4.本发明的目的是使通过超分辨率技术重建的岩心图像纹理清晰与色彩逼真。本发明利用raw格式岩心图像中多出的高位信息，与线性图像的后期可塑性，提出了一种基于深度卷积神经网络的raw格式岩心图像超分辨率重建方法。
5.本发明基于raw格式岩心图像构建数据集，利用16位raw格式图像比8位rgb图像多出的高位信息，来使岩心图像重建的纹理结构更加清晰；利用线性图像未经过相机图像处理器中的色调调整，图像增强与图像压缩处理，使得重建后的图像在色彩调整方面更加便利；然后通过构建的双层卷积神经网络分别学习高低分辨率图像之间的纹理特征与色彩特征。进一步地，结合卷积神经网络强大的学习能力，重建出高分辨率线性图像；然后对重建得到的高分辨率线性图像进行isp非线性处理，使得岩心图像纹理清晰，色彩逼真。
6.本发明提出的基于raw格式岩心图像超分辨率重建方法，主要包括以下操作步骤：
7.(1)将raw格式岩心图像模拟相机图像处理器线性处理，得到低分辨率拜尔图像，低分辨率线性彩色图像和高分辨率标签图像组成的数据集；
8.(2)针对输入的低分辨率拜尔图像和低分辨率线性彩色图像，构建双层卷积神经网络，用于预测未知的高分辨率线性彩色图像轮廓特征与色彩特征；
9.(3)利用步骤一生成的数据集，训练步骤二中构建的双层卷积神经网络；
10.(4)将raw格式岩心图像输入步骤三训练好的模型，重建出高分辨率线性彩色图像；
11.(5)将步骤四得到的高分辨率线性彩色图像模拟相机图像处理器的非线性处理，最终得到高分辨率彩色图像。
附图说明
12.图1是本发明模拟相机isp的线性处理与非线性处理结构
13.图2是本发明提出的双层卷积神经网络网络分支一
14.图3是本发明提出的双层卷积神经网络网络分支二
15.图4是本发明提出的通道注意力机制结构图
16.图5是本发明与不同方法重建结果对比图
具体实施方式
17.下面结合附图对本发明进一步说明：
18.基于raw格式岩心图像的超分辨率重建方法，具体可以分为以下几个步骤：
19.(1)将raw格式岩心图像模拟相机图像处理器线性处理，得到低分辨率拜尔图像，低分辨率线性彩色图像和高分辨率标签图像组成的数据集；
20.(2)针对输入的低分辨率拜尔图像和低分辨率线性彩色图像，构建双层卷积神经网络，用于预测未知的高分辨率线性彩色图像轮廓特征与色彩特征；
21.(3)利用步骤一生成的数据集，训练步骤二中构建的双层卷积神经网络；
22.(4)将raw格式岩心图像输入步骤三训练好的模型，重建出高分辨率线性彩色图像；
23.(5)将步骤四得到的高分辨率线性彩色图像模拟相机图像处理器的非线性处理，最终得到高分辨率彩色图像。
24.为了方便说明，首先引入如下概念：
25.dcraw算法：一种开源的，用于处理raw格式图像的算法，根据不同相机的拍摄参数，去除拍摄时的文本信息，以及扩展图像的位深。
26.ddfapd算法：一种色彩插值算法，根据指定模式，将拜尔格式图像插值成彩色图像。
27.具体地，所述步骤(1)中，模拟相机isp中的线性处理(如图1中的线性化操作)，生成低分辨率拜尔图像、低分辨率线性彩色图像以及高分辨率标签彩色图像。首先通过dcraw算法将raw格式岩心图像中的文本信息去掉，并转换为16位拜尔格式图像，接着进行归一化。然后对得到的拜尔格式图像进行白平衡调整和ddfapd色彩插值，得到中间结果p，接着对p进行色彩空间转换，将图像转换到一个与设备无关的色彩空间，然后通过行归一化，确保图像中白色在任何空间都呈白色，取逆后，获得高分辨率线标签图像。为了获得低分辨拜尔图像b，将上节得到的中间结果p像经过下面的退化函数：
28.b＝f
bayer
(f
down
(p*kd*km)) n
29.其中kd为离焦模糊，km为运动模糊，f
down
为采样因子为2的下采样，而f
bayer
表示拜尔采样，其将三通道图像经过rggb顺序采样恢复成单通道的拜尔格式图像，n为方差取决于raw格式岩心图像亮度强度的异方差高斯噪声：
[0030][0031]
其中，δs、δc表示随机标准差，x表示raw格式图像每个像素位置的亮度强度。接着使用ddfapd 插值算法对低分辨率线性彩色图像进行色彩插值，并对得到的图像进行色彩空间转换，这里需要保证与处理高分辨率线性彩色图像时的参数一样。最后获得低分辨率线性彩色图像。
[0032]
所述步骤(2)中，针对输入的低分辨率拜尔图像和低分辨率线性彩色图像，构建双层卷积神经网络，如图2和3所示，是本发明构建的双层卷积神经网络的两个分支，利用卷积神经网络强大的学习能力，分别学习高低分辨率图像之间的纹理特征与线性色彩映射。并使用如图4所示的通道注意力机制，自适应更新缩放因子，提高两层分支融合能力。
[0033]
所述步骤(3)中，利用步骤一生成的数据集，训练步骤二中构建的双层卷积神经网络。
[0034]
所述步骤(4)中，将raw格式岩心图像输入步骤三训练好的模型，得到重建的高分辨率线性彩色图像；
[0035]
所述步骤(5)中，我们将步骤四得到的高分辨率线性彩色图像模拟相机图像处理器的非线性处理过程(如图1中的非线性操作)。首先，将步骤四重建出的高分辨率线性彩色图像经过亮度调整与伽马校正，然后再进行图像饱和度增强，最终纹理清晰、色彩逼真的高分辨率彩色图像。
[0036]
为了更好的说明本发明的有效性，首先基于本发明构建的岩心数据集，以相同设置分别训练出方法1和本发明网络各自的模型，然后选择90张合成数据进行重建，并对重建结果进行峰值信噪比(peak signal to noise ratio，psnr，单位：db)与结构相似性(structural similarity index，ssim) 指标评估，以验证本发明对网络的改进。表一结果表明本发明提出的网络，对岩心图像的重建效果有一定的提升。其中：
[0037]
方法1：xu等人提出的方法，参考文献“xu x,ma y,sun w,“towards real scene super-resolution with raw images，”ieee conf.comput.vis.pattern recognit.,2019:1723-1731.”[0038]
表一
[0039][0040]
此外，为了评估本发明提出的基于raw格式岩心图像的超分辨率重建框架性能，本发明还基于rgb 格式岩心数据集，以相同设置训练方法2提出的网络和方法3提出网络。然后使用cannon5ds r 采集岩心图像，并保存为raw格式与rgb格式，再将其裁剪为1024
×
1024的大小，最后从中选择 30张作为验证集。其中，raw格式图像使用方法1模型和本发明模型进行重建，并都进行同样的后期非线性处理，而rgb格式图像则只使用方法2和方法3模
型进行重建。并采用无参考质量评估以及视觉观察来对比分析岩心图像重建效果。其中：
[0041]
方法2：陈旺等人提出的方法，参考文献“陈旺，“岩心图像的超分辨率重建研究”.四川大学, 2019.”[0042]
方法3：zhang等人提出的方法，参考文献“zhang y,li k,li k,“image super-resolution using very deep residual channel attention networks，”european confe.comput.vis.,2018:294-310.”[0043]
在无参考质量评估中，图像的清晰度是衡量图像质量优劣的重要指标，它能够较好的与人的主观感受相对应。因此本发明选用了具有不同算子的laplace与brenner梯度函数来计算图像相邻范围内的像素变化，并选用二阶信息熵(entropy)和sdm2来反映图像的聚焦程度，四个指标都能较好的反应出图像的清晰度，值越大，图像越清晰。表二结果表明，基于raw格式数据集的重建效果要好于基于rgb格式数据集的重建，也验证了本发明提出的重建框架能提升岩心图像的重建效果。表格中本发明模型与方法1模型的比较，进一步验证了本发明对网络的改进对重建效果有一定提升。
[0044]
表二
[0045][0046]
如图5所示是本发明进行的主观视觉评估，从重建效果可以看出，方法1与方法2重建出的高分辨率图像细节不清晰且平滑。而本发明重建出的图像纹理清晰，且在边缘上也有很好的表现，在色彩方面，本发明重建出岩心图像在色彩上更加真实。另外，由于模型重建的只是线性数据，会使重建图像在色彩与亮度上有偏差，如图5(e)，需要经过后期非线性处理，才可得到正确的色彩。
[0047]
综上所述，相比于对比的方法，本发明的重建效果在主客观评价上都有明显的优势。因此，本发明是一种有效的岩心图像超分辨率重建方法。