空间自适应的真实图像去马赛克方法及系统

1.本发明属于计算摄像学领域，尤其涉及一种用于真实图像去马赛克的真实成对数据采集系统和空间自适应去马赛克方法。


背景技术：

2.为了降低成本，大多数数码相机通过单一的ccd/cmos传感器和彩色滤波器阵列捕获图像，例如rggb bayer模式，其中三分之二的信息丢失，其余三分之一的信息可能会受到各种噪声的干扰。现代数码相机采用图像信号处理流程从原始数据创建高质量的彩色图像。图像信号处理流程中的第一步也是最关键的一步是去马赛克。图像信号处理流程中早期的恢复误差会对最终结果的视觉效果产生负面影响。
3.由于去马赛克是不确定的，通常利用自然图像的先验知识以正则化恢复过程。传统方法将启发式手工先验编码到局部滤波器中，并插值马赛克图像。这些局部滤波器根据局部彩色滤波器阵列信息和/或图像内容自适应地进行滤波。此外，优化方法通过将手工先验嵌入到优化中迭代恢复彩色图像，如非局部先验。但是手工制作的先验并不足以代表真实世界的各种噪声数据，一些具有挑战性的高频区域出现了一些视觉上不合理的图案，如棋盘图案、摩尔纹。与依赖于手工先验的传统方法不同，深度学习方法使用卷积神经网络从训练数据集中隐式学习先验知识。一些方法将一幅马赛克图像分解成四通道rggb图像，并将其通过卷积神经网络处理，这与图像超分辨率类似。其他方法直接将马赛克图像输入到卷积神经网络。这些方法对不同的空间位置都采用相同的非线性映射函数。但是，不同的位置需要不同的插值滤波器，即不同的映射函数。
4.此外，深度学习方法很大程度上依赖于训练数据集。有几个数据集是最常用的，他们可以分为三类。第一类数据集包含srgb图像，这些图像已被非线性处理。然而，在真实图像信号处理流程中，去马赛克方法总是对原始图像进行线性表示进行处理，而srgb图像被现有的去马赛克算法处理可能会产生不良的伪影。第二类数据集包含了从原始马赛克图像下采样的线性rgb图像，但这可能会改变信号的结构。第三类数据集包含了采用先进的像素偏移技术的相机捕获的线性全彩图像。但是这些数据集只有干净的rgb图像，马赛克图像是在彩色滤波阵列和高斯噪声的作用下合成的。合成的数据与真实的原始数据存在数据分布差异，这可能限制了经过训练的去马赛克方法在现实世界中的应用。


技术实现要素：

5.针对现在没有真实成对去马赛克数据集、现有基于学习算法仅学习空间一致的映射函数等问题。本发明公开的一种空间自适应的真实图像去马赛克方法及系统要解决的技术问题是：通过分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应的卷积计算，并进一步构建空间自适应的卷积神经网络，同时提出真实成对去马赛克数据采集系统并采集数据集，使用所采集的数据集训练去马赛克神经网络，实现空间自适应和高精度图像去马赛克，提升真实图像去马赛克质量。
6.为达到以上目的，本发明采用以下技术方案。
7.本发明公开的一种空间自适应的真实图像去马赛克方法及系统，用于真实数据的空间自适应去马赛克，根据间不一致的数据特性设计空间自适应的卷积计算和构建卷积神经网络，基于像素偏移相机搭建真实成对数据采集系统，构建高质量的真实成对去马赛克数据集，训练精确的空间自适应去马赛克网络。本发明能够高质量地完成真实图像去马赛克，在不显著增加计算量的情况下，实现空间自适应的图像去马赛克，提高成像质量。
8.本发明公开的一种空间自适应的真实图像去马赛克方法，包括以下步骤：
9.步骤101：使用像素偏移相机搭建数据采集模块，并利用所述数据采集模块采集真实成对去马赛克数据集，该数据包含成对的马赛克图像和全彩rgb图像。
10.步骤101中所述真实成对去马赛克数据集包含成对的干净或者带噪马赛克图像和干净的全彩rgb图像。为采集全彩rgb图像，需使用像素偏移相机。对于每一幅全彩rgb图像的采集，像素偏移相机物理地控制相机传感器水平或垂直移动一个像素至少四次，并在每次移动中采集一幅马赛克图像。经过多次采集，充分采集到每个像素的颜色信息。固定相机的设置，并将拍着模式从像素偏移模式转换到正常模式，以采集相应的马赛克图像。除此之外，能够减少曝光时间采集带噪的马赛克图像。
11.所述数据采集模块在拍摄时首先调整相机设置以采集高质量的全彩rgb图像，所述相机设置包括光圈、焦距、曝光时间。然后，使用远程控制软件将拍摄模式从像素偏移模式转换到正常模式。如需采集带噪马赛克图像，则将曝光时间缩短。采集干净或者带噪的马赛克图像，采集真实成对的去马赛克数据集。
12.步骤102：分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应卷积计算，分解卷积计算以降低参数量，减少显存消耗。
13.步骤102所述马赛克图像的数据特性为马赛克图像不同空间位置的邻域内含有不同的rgb信息，需要不同的插值滤波器或者映射函数。传统的卷积计算表示为
[0014][0015]
其中p表示空间位置，表示p的邻域。传统卷积计算对不同的空间位置使用相同的卷积参数。为了对不同空间位置使用不同的卷积参数，空间自适应卷积计算表示为
[0016][0017]
其中该空间自适应卷积计算的显存消耗是传统卷积计算的h
×
w倍，是输入特征的co×k×
k倍，输出特征的ci×k×
k倍。
[0018]
为降低空间自适应卷积的显存消耗，将分解为两个卷积操作作和并且k1 k2＝k。卷积关注于挖掘自适应的空间相关性，并且在不同通道间共享参数。卷积关注于挖掘通道间相关性，并在不同空间位置间共享参数。
[0019]
在卷积分解之后，空间自适应卷积的显存消耗是未分解卷积的倍，是传统卷积的倍。分解后的空间自适应卷
积计算表示为
[0020][0021]
其中和分别是空间位置p关于和卷积的邻域。
[0022]
因为是空间一致的卷积核，因此只对产生空间自适应的卷积参数。使用φ表示参数生成函数，的参数生成表示为
[0023][0024]
其中p表示滤波阵列的信息。使用k
×
k大小的卷积从p挖掘特征，并通过激活层和全连接层产生大小的向量，将该向量变形为k1×
k1大小的卷积核。
[0025]
至此，完成空间自适应卷积计算的设计，并完成显存消耗的削减。
[0026]
步骤103：使用步骤102设计的空间自适应卷积计算构建空间自适应去马赛克网络，根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0027]
步骤103所述的空间自适应去马赛克网络由n个编码器阶段和n个相应的解码器阶段组成。在每个编码器阶段的最后，4
×
4的核大小和步长为2的卷积将特征图降采样到1/2
×
的比例。在每个解码器阶段之前，用双线性插值将特征映射上采样到两个尺度。跳跃连接将大尺度的低层级特征映射从每个编码器阶段传递到相应的解码器阶段。为了简化训练，在去马赛克网络中引入残差学习，包括全局残差学习和局部残差学习。对于全局残差学习，采用空间自适应卷积从输入的马赛克图像中初始恢复rgb图像，并对网络的输出加上全局残差连接。对于局部残差学习，利用残差块作为基本块来构建编码器和解码器。残差块由两个k
×
k卷积组成，接着是激活函数和一个1
×
1卷积。
[0028]
残差块由空间自适应卷积组成，其每个位置的参数由感受野中的滤波阵列信息生成。为保证输入马赛克图像的感受野与图滤波阵列信息的感受野一致，能够将滤波阵列信息输入相同的网络结构，只是使用更小的特征通道数。
[0029]
作为优选，步骤103中，滤波阵列表示为{0,1}二进制掩膜。所述{0,1}二进制掩膜仅表示该位置是否有信息。为了识别每个位置的颜色信息，通过替换{0,1}掩膜为{0,m1,m2,m3}掩膜，分别表示无信息、r信息、g信息和b信息。
[0030]
至此，完成空间自适应去马赛克网络的构建，根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0031]
步骤104：输入学习率、优化方法、迭代次数和步骤101采集的真实成对数据集，建立真实图像去马赛克的训练目标函数，对网络参数θ进行训练，得到马赛克图像和全彩rgb图像之间的映射关系f。
[0032]
步骤104所述去马赛克网络的训练目标函数为
[0033][0034]
公式(5)中θ表示网络参数，t表示训练数据集样本数量，f表示网络映射关系，yi和xi分别表示第i个马赛克图像和全彩rgb图像。
[0035]
通过优化训练的目标函数公式(5)得到优化后的网络参数θ，至此完成去马赛克网络的训练，得到优化后的马赛克图像与全彩rgb图像间的映射关系f。
[0036]
步骤105：输入需要测试的马赛克图像，并输入步骤104得到的马赛克图像与全彩
rgb图像间的映射关系f，通过马赛克图像与全彩rgb图像间的映射关系f将马赛克图像映射成全彩rgb图像，实现高效率和高精度图像去马赛克，提高成像质量。
[0037]
步骤105所述的去马赛克图像为其中y和分别为马赛克图像和全彩rgb图像。
[0038]
作为优选，使用gpu完成步骤104网络的训练过程和步骤105图像去马赛克过程，并利用cudnn库加快卷积神经网络的运行速度。
[0039]
本发明还公开空间自适应的真实图像去马赛克系统，用于实现所述的空间自适应的真实图像去马赛克方法，所述空间自适应的真实图像去马赛克系统，包括数据采集模块、空间自适应卷积设计、去马赛克网络设计模块、网络训练测试模块。
[0040]
所述数据采集模块用于采集真实成对去马赛克数据集，该数据包含成对的马赛克图像和全彩rgb图像。
[0041]
所述空间自适应卷积设计模块用于分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应卷积计算分解卷积计算算降低参数量，减少显存消耗。
[0042]
所述去马赛克网络设计模块用于构建空间自适应去马赛克网络。去马赛克网络设计模块构建空间自适应去马赛克网络实现方法为：使用马赛克图像数据特性分析模块设计的空间自适应卷积计算构建空间自适应去马赛克网络，通过构建的空间自适应去马赛克网络，能够根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0043]
所述网络训练测试模块用于训练测试去马赛克网络。输入学习率、优化方法、迭代次数和步骤101采集的真实成对数据集至所述网络训练测试模块，通过网络训练测试模块建立真实图像去马赛克的训练目标函数学习马赛克图像和全彩rgb图像之间的映射关系f。通过马赛克图像与全彩rgb图像间的映射关系f将马赛克图像映射成全彩rgb图像，实现图像去马赛克，提高成像质量。
[0044]
有益效果：
[0045]
1、本发明公开的空间自适应的真实图像去马赛克方法及系统，使用像素偏移相机搭建真实数据采集模块，并利用该系统采集真实成对马赛克图像和全彩rgb图像数据集，该数据采集系统能够高效采集真实成对去马赛克数据集，所采集数据集能够有效提升去马赛克方法在真实图像上的精度。
[0046]
2、本发明公开的空间自适应的真实图像去马赛克方法及系统，根据马赛克图像空间不一致的数据特性，设计分解的空间自适应卷积，构建空间自适应去马赛克网络。所述空间自适应去马赛克网络能够自适应地考虑不同空间位置的滤波阵列信息，自适应地生成卷积参数，有效提升去马赛克网络对不同空间位置的建模能力。
[0047]
3、本发明公开的空间自适应的真实图像去马赛克方法及系统，利用卷积神经网络学习马赛克图像和全彩rgb图像之间的映射关系，结合有益效果1和2能够提升卷积神经网络的建模能力，且能够提升真实图像去马赛克的质量，提高真实去马赛克图像的保真度。
附图说明
[0048]
图1是本发明公开的空间自适应的真实图像去马赛克方法的总流程图；
[0049]
图2是本发明公开的空间自适应的真实图像去马赛克系统的模块图；
[0050]
图3是本发明中不同空间位置所需映射函数示意图；
[0051]
图4是本发明中空间自适应卷积示意图；
[0052]
图5是本发明中空间自适应去马赛克网络示意图。
具体实施方式
[0053]
为了更好地说明本发明的目的和优点，下面结合附图和实例对发明内容做进一步说明。
[0054]
实施例1：
[0055]
如图1所示，本实施例公开的一种空间自适应的真实图像去马赛克方法，具体实现步骤如下：
[0056]
步骤101：使用像素偏移相机搭建数据采集模块，并利用所述数据采集模块采集真实成对去马赛克数据集，该数据包含成对的马赛克图像和全彩rgb图像。
[0057]
步骤101中所述真实成对去马赛克数据集包含成对的干净或者带噪马赛克图像和干净的全彩rgb图像。为采集全彩rgb图像，需使用像素偏移相机。对于每一幅全彩rgb图像的采集，像素偏移相机物理地控制相机传感器水平或垂直移动一个像素至少四次，并在每次移动中采集一幅马赛克图像。经过多次采集，充分采集到每个像素的颜色信息。固定相机的设置，并将拍着模式从像素偏移模式转换到正常模式，以采集相应的马赛克图像。除此之外，能够减少曝光时间采集带噪的马赛克图像。
[0058]
所述数据采集模块在拍摄时首先调整相机设置以采集高质量的全彩rgb图像，所述相机设置包括光圈、焦距、曝光时间。然后，使用远程控制软件将拍摄模式从像素偏移模式转换到正常模式。如需采集带噪马赛克图像，则将曝光时间缩短。采集干净或者带噪的马赛克图像，采集真实成对的去马赛克数据集。
[0059]
步骤102：分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应卷积计算，分解卷积计算以降低参数量，减少显存消耗。
[0060]
步骤102所述马赛克图像的数据特性为马赛克图像不同空间位置的邻域内含有不同的rgb信息，需要不同的插值滤波器或者映射函数，如图3所示。传统的卷积计算表示为
[0061][0062]
其中p表示空间位置，表示p的邻域。传统卷积计算对不同的空间位置使用相同的卷积参数。为了对不同空间位置使用不同的卷积参数，空间自适应卷积计算表示为
[0063][0064]
其中该空间自适应卷积计算的显存消耗是传统卷积计算的h
×
w倍，是输入特征的co×k×
k倍，输出特征的ci×k×
k倍。
[0065]
如图4所示，为降低空间自适应卷积的显存消耗，将分解为两
个卷积操作和并且k1 k2＝k。卷积关注于挖掘自适应的空间相关性，并且在不同通道间共享参数。卷积关注于挖掘通道间相关性，并在不同空间位置间共享参数。
[0066]
在卷积分解之后，空间自适应卷积的显存消耗是未分解卷积的倍，是传统卷积的倍。分解后的空间自适应卷积计算表示为
[0067][0068]
其中和分别是空间位置p关于和卷积的邻域。
[0069]
因为是空间一致的卷积核，因此只对产生空间自适应的卷积参数。使用φ表示参数生成函数，的参数生成表示为
[0070][0071]
其中p表示滤波阵列的信息。使用k
×
k大小的卷积从p挖掘特征，并通过激活层和全连接层产生大小的向量，将该向量变形为k1×
k1大小的卷积核。
[0072]
至此，完成空间自适应卷积计算的设计，并完成显存消耗的削减。
[0073]
步骤103：使用步骤102设计的空间自适应卷积计算构建空间自适应去马赛克网络，根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0074]
步骤103所述的空间自适应去马赛克网络由n个编码器阶段和n个相应的解码器阶段组成，如图5所示。在每个编码器阶段的最后，4
×
4的核大小和步长为2的卷积将特征图降采样到1/2
×
的比例。在每个解码器阶段之前，用双线性插值将特征映射上采样到2个尺度。跳跃连接将大尺度的低层级特征映射从每个编码器阶段传递到相应的解码器阶段。为了简化训练，在去马赛克网络中引入了残差学习，包括全局残差学习和局部残差学习。对于全局残差学习，采用空间自适应卷积从输入的马赛克图像中初始恢复rgb图像，并对网络的输出加上全局残差连接。对于局部残差学习，利用残差块作为基本块来构建编码器和解码器。残差块由两个k
×
k卷积组成，接着是激活函数和一个1
×
1卷积。
[0075]
残差块由空间自适应卷积组成，其每个位置的参数由感受野中的滤波阵列信息生成。为保证输入马赛克图像的感受野与图滤波阵列信息的感受野一致，可将滤波阵列信息输入相同的网络结构，只是使用更小的特征通道数。
[0076]
作为优选，步骤103中，滤波阵列表示为{0,1}二进制掩膜。这仅表示该位置是否有信息。为了识别每个位置的颜色信息，通过替换{0,1}掩膜为{0,m1,m2,m3}掩膜，分别表示无信息、r信息、g信息和b信息。
[0077]
至此，完成空间自适应去马赛克网络的构建，根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0078]
步骤104：输入学习率、优化方法、迭代次数和步骤101采集的真实成对数据集，建立真实图像去马赛克的训练目标函数，对网络参数θ进行训练，得到马赛克图像和全彩rgb图像之间的映射关系f。
[0079]
步骤104所述去马赛克网络的训练目标函数为
[0080][0081]
公式(5)中θ表示网络参数，t表示训练数据集样本数量，f表示网络映射关系，yi和xi分别表示第i个马赛克图像和全彩rgb图像。
[0082]
通过优化训练的目标函数公式(5)得到优化后的网络参数θ，至此完成去马赛克网络的训练，得到优化后的马赛克图像与全彩rgb图像间的映射关系f。
[0083]
步骤105：输入需要测试的马赛克图像，并输入步骤104得到的马赛克图像与全彩rgb图像间的映射关系f，通过马赛克图像与全彩rgb图像间的映射关系f将马赛克图像映射成全彩rgb图像，实现高效率和高精度图像去马赛克，提高成像质量。
[0084]
步骤105所述的去马赛克图像为其中y和分别为马赛克图像和全彩rgb图像。
[0085]
如图2所示，本实施例公开的一种空间自适应的真实图像去马赛克系统，用于实现所述的空间自适应的真实图像去马赛克方法，所述空间自适应的真实图像去马赛克系统，包括数据采集模块、空间自适应卷积设计、去马赛克网络设计模块、网络训练测试模块。具体模块如下：
[0086]
所述数据采集模块用于采集真实成对去马赛克数据集，该数据包含成对的马赛克图像和全彩rgb图像。
[0087]
所述空间自适应卷积设计模块用于分析马赛克图像的数据特性，根据空间不一致的数据特性设计空间自适应卷积计算分解卷积计算算降低参数量，减少显存消耗。
[0088]
所述去马赛克网络设计模块用于构建空间自适应去马赛克网络。去马赛克网络设计模块构建空间自适应去马赛克网络实现方法为：使用马赛克图像数据特性分析模块设计的空间自适应卷积计算构建空间自适应去马赛克网络，通过构建的空间自适应去马赛克网络，能够根据输入图像的滤波阵列信息自适应的对每一个空间位置产生卷积参数。
[0089]
所述网络训练测试模块用于训练测试去马赛克网络。输入学习率、优化方法、迭代次数和步骤101采集的真实成对数据集，建立真实图像去马赛克的训练目标函数次数和步骤101采集的真实成对数据集，建立真实图像去马赛克的训练目标函数学习马赛克图像和全彩rgb图像之间的映射关系f。通过马赛克图像与全彩rgb图像间的映射关系f将马赛克图像映射成全彩rgb图像，实现图像去马赛克，提高成像质量。
[0090]
以上所述的具体描述，对发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。