图像固定值脉冲噪声去噪方法及其模型训练方法与流程

1.本发明属于图像处理领域，特别涉及图像固定值脉冲噪声去噪方法及其模型训练方法。


背景技术：

2.数字图像在采集和传输过程中，由于设备和环境等因素的影响，图像受到各种信号的干扰，进而产生各种噪声，其中固定值脉冲噪声是一种常见的噪声，体现在图片上是黑点和白点，是一种双极性噪声，会随机出现在图片中任何位置。噪声的存在使得图片的部分细节丢失，不仅严重影响图片的视觉质量，也影响其在计算机视觉领域中的应用，如目标检测、图像分割、医疗图像和遥感图像等等。现有传统滤波算法会使得图片模糊及细节丢失等问题，去噪效果不尽如人意。现有深度学习算法去噪能力要优于传统算法，但是训练好的一个模型只能对特定浓度的噪声有效，泛化能力差。


技术实现要素：

3.本发明针对现有技术中存在的问题，提出了一种可以训练出对各种浓度的噪声图像皆有良好去噪效果的图像固定值脉冲噪声去噪模型的训练方法。
4.为实现上述目的，本发明提供一种用于图像固定值脉冲噪声去噪模型的训练方法，包括以下步骤：
5.步骤1：选择并处理训练集；
6.步骤2：训练噪声密度估计子模型：对训练集中的每张训练图片分别加入噪声，生成噪声图片；将得到的所有噪声图片依次输入到噪声密度估计子模型中，噪声密度估计子模型分别输出对应的噪声密度，采用梯度下降法不断优化噪声密度估计子模型中的参数使第一损失函数值最小，其中第一损失函数为：其中，loss1为第一损失函数值，d
pred
‑
i
为第i个噪声图片经过噪声密度估计子模型预测后输出的噪声密度，d
label
‑
i
为输入的第i个噪声图片的噪声密度，i表示噪声图片的编号，n表示噪声图片的总量；
7.步骤3：训练噪声像素恢复子模型；根据步骤2中得到的噪声图片的噪声密度生成噪声密度图，将生成的噪声密度图与对应的噪声图片合成噪声像素恢复子模型的输入数据，根据adam优化器对第二损失函数求导，对噪声像素恢复子模型中的权重不断更新，使第二损失函数值最小；其中，第二损失函数为：其中，loss2为第二损失函数值，y
i
为第i个噪声图片所对应的干净图像，y
pred
‑
i
为第i个噪声图片经过噪声像素恢复子模型输出的去噪图像。
8.进一步，所述步骤1中还包括验证集和测试集，所述验证集分别用于调整噪声密度估计子模型和噪声像素恢复子模型中的超参数；所述测试集用于测试训练完成的噪声密度估计子模型和噪声像素恢复子模型。这样可以是模型更加的精准。
9.进一步，所述步骤1中训练集包括低照度图片、高亮度图片和均匀亮度图片，对训练集中的所有图片的像素值进行归一化处理，并统一所有图片的尺寸。
10.进一步，所述噪声密度估计子模型基于resnet34网络模型，将resnet34网络模型的全连接层输出端分类数量设置为1，将分类模型变为回归预测模型。
11.更进一步，所述步骤2中对训练集中的每张训练图片分别加入噪声的方法为：对每张训练图片分别加入10％～90％密度的固定值脉冲噪声，噪声密度间隔为10％。将不同噪声密度图像与其噪声密度一同输入到网络中，让网络能感知噪声图像的密度，从而使得网络能够对不同噪声密度的图像都能达到好的去噪效果，增强网络泛化能力。
12.进一步，所述噪声像素恢复子模型在训练的过程中，进行卷积之前对输入的图像进行边界填充0像素操作。
13.进一步，所述噪声像素恢复子模型在训练过程采用adam优化器，学习率衰减，初始学习率为0.001，每迭代50次更新学习率，学习率依次设为0.0008、0.0004、0.0002、0.0001和0.00005；训练迭代总次数为300次。
14.本发明还提供了一种图像固定值脉冲噪声去噪方法，包括以下步骤：
15.步骤1：噪声图像灰度化，记为i
noise
；
16.步骤2：设定与i
noise
同尺寸的噪声标签矩阵m，噪声标签矩阵m初始为零矩阵，并根据灰度化的噪声图像修改噪声标签矩阵m中的元素值，修改依据为：如果i
noise
(x，y)＝0或者i
noise
(x，y)＝1，则m(x，y)＝1，其中，i
noise
(x，y)表示灰度化的噪声图像i
noise
中第x行第y列的像素值，m(x，y)表示噪声标签矩阵m中第x行第y列的元素值；
17.步骤3：将灰度化的噪声图像输入到上述得到的噪声密度估计子模型中，噪声密度估计子模型输出估计的噪声密度d
pred
，根据得到的噪声密度d
pred
扩充成与噪声图像i
noise
尺寸相同的噪声密度图d
map
；
18.步骤4：合并噪声图像与噪声密度图，得到合并数据x＝[i
noise
，d
map
]；
[0019]
步骤5：将x输入到上述得到的噪声像素恢复子模型中，得到去噪后的图像y
pred
；
[0020]
步骤6：结合步骤1得到的噪声标记矩阵m，根据以下公式获得最终干净图像j：
[0021][0022]
其中，j(x，y)表示干净图像中第x行第y列的像素值，y
pred
(x，y)表示去噪后的图像中第x行第y列的像素值。
[0023]
本发明还提供了一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如上述的图像固定值脉冲噪声去噪方法的流程。
[0024]
本发明还提供了一种计算机系统，包括：
[0025]
一个或多个处理器；
[0026]
存储器，存储可被操作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如上述的图像固定值脉冲噪声去噪方法的流程。
[0027]
工作原理：本发明用噪密度声估计网络估计图像的噪声密度，然后将噪声图像与噪声密度图合并成双通道图，再输入到卷积神经网络中，学习与干净图像的映射关系从而
来训练用于图像固定值脉冲噪声去噪的模型。本发明还增加了噪声标记矩阵，采用上述训练完成的固定值脉冲噪声降噪模型结合噪声标记矩阵，将噪声像素标定融入降噪网络模型，结合干净图像做到仅对图像含噪位置进行恢复，确保无噪信息的完整性，提高含噪信息的复原准确性。进而达到一个较好的去噪效果。
[0028]
有益效果：与现有技术相比，本发明训练出来的网络模型在峰值信噪比(psnr)和结构相似性(ssim)评价指标上优于传统算法和其他网络模型，对各种浓度的噪声图像皆有良好的去噪效果，鲁棒性能优异，确保无噪信息的完整性，提高含噪信息的复原准确性。
附图说明
[0029]
图1为本发明提供的图像固定值脉冲噪声去噪方法的流程示意图；
[0030]
图2为加入50％密度的固定值脉冲噪声的噪声图片；
[0031]
图3为imf算法去噪后的图片；
[0032]
图4为dncnn算法去噪后的图片；
[0033]
图5为本发明提供的方法去噪后的图片；
[0034]
图6为没有添加噪声的原图片。
具体实施方式
[0035]
下面将结合本发明实例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0036]
本实施例公开的一种图像固定值脉冲噪声去噪方法，其主要是先训练图像固定值脉冲噪声去噪模型，将噪声图片输入到训练好的图像固定值脉冲噪声去噪模型中进行去噪，完成噪声图片的图像恢复。
[0037]
其中，图像固定值脉冲噪声去噪模型基于深度神经网络模型，其中包括噪声密度估计子模型和噪声像素恢复子模型。图像固定值脉冲噪声去噪模型的训练主要包括以下步骤：
[0038]
步骤1：训练集、验证集和测试集的选择；
[0039]
本实施例中优选分辨率高、纹理清晰、对比度高且尺寸大于128*128的图片，包括低照度图片、高亮度图片和均匀亮度图片，共选取2000张图片，其中1800张用于训练，200张用于验证，选用公共数据集set12作为测试集。通过裁剪和缩放将训练集、验证集和测试集中所有图像尺寸转为128*128的灰度图像，像素值归一化到0
‑
1范围内。验证集用于调整模型的超参数和对模型的能力进行初步评估，筛选最优化的网络权重。测试集用来评估模最终模型的泛化能力。但不能作为调参、选择特征等算法相关的选择依据。验证集是在训练过程中使用的，测试集是在训练结束后测试用的。数据集本身是没添加噪声的，但是在训练、验证和测试的时候添加噪声。
[0040]
步骤2：训练噪声密度估计子模型；
[0041]
噪声密度估计子模型基于resnet34网络模型,将resnet34网络模型的全连接层输出端分类数量设置为1，即该模型变为回归预测模型，具体训练方法为：对训练集中的每张
训练图片分别加入10％～90％密度的固定值脉冲噪声，噪声密度间隔为10％；即对同一张训练图片分别加入10％、20％、30％....90％密度的固定值脉冲噪声，依次生成对应训练图片的带有10％密度的固定值脉冲噪声的噪声图片、带有20％密度的固定值脉冲噪声的噪声图片、带有30％密度的固定值脉冲噪声的噪声图片、...、带有90％密度的固定值脉冲噪声的噪声图片，遍历训练集中所有的图片；将得到的所有噪声图片依次输入到噪声密度估计子模型中，噪声密度估计子模型分别输出对应的噪声密度。在噪声密度估计子模型训练的过程中，使用均方差作为损失函数，通过反向传播不断最小化损失函数；均方差损失函数是训练的核心，采用梯度下降法不断优化噪声密度估计子模型中的参数，其优化的模型参数就是卷积核的数值。目标是最小化损失函数值，使得估计的噪声密度越接近于真实密度；均方差损失函数为：其中，loss1为第一损失函数值，d
pred
‑
i
为第i个噪声图片经过噪声密度估计子模型预测后输出的噪声密度，d
label
‑
i
为输入的第i个噪声图片的噪声密度，n表示噪声图片的总量。
[0042]
步骤3：训练噪声像素恢复子模型；
[0043]
噪声像素恢复子模型的网络输入通道数为2，一个输入通道用于输入灰度噪声图，另一个输入通道用于输入噪声密度图。网络输出通道数为1，网络卷积层数为22，卷积核个数为64，卷积核尺寸为3*3。卷积之前需要边界填充0像素操作，使得图像尺寸的长宽各加1，这样在经过3*3的卷积操作后，图像的尺寸不会发生变化。第1层卷积后接批归一化操作，第2
‑
21层每层卷积后接批归一化噪作及relu激活函数，第22层卷积后输出图像。批归一化噪作可以提高训练速度，解决网络梯度消失的问题；relu激活函数可以参加网络的非线性特性，提高网络的性能。
[0044]
训练噪声像素恢复子模型的主要方法为：将噪声密度估计子模型输出的噪声密度d
pred
‑
i
扩充为与第i个噪声图像i
noise
‑
i
尺寸相同的噪声密度图，记为d
map
‑
i
，d
map
‑
i
中的每个像素点的值均为第i个噪声图片的估计密度值d
pred
‑
i
。则噪声像素恢复子模型的输入训练数据为x
i
＝[i
noise
‑
i
，d
map
‑
i
]，[
·
]表示concatenate操作。将第i个训练数据x
i
输入到噪声像素恢复子模型中，噪声像素恢复子模型输出去噪图像，根据adam优化器对第二损失函数求导，对噪声像素恢复子模型中的权重不断更新；其中，第二损失函数为：其中，loss2为第二损失函数值，y
i
为第i个噪声图片所对应的干净图像，y
pred
‑
i
为第i个噪声图片经过噪声像素恢复子模型输出的去噪图像。训练过程采用adam优化器，学习率衰减策略，初始学习率为0.001，每迭代50次更新学习率，学习率依次设为0.0008、0.0004、0.0002、0.0001和0.00005；所有噪声图片训练一次为迭代一次，训练迭代总次数为300次。噪声像素恢复子模型中的权重实际就是每个3x3卷积核的数值，每次迭代数值都会更新。当模型训练完成后，采用验证集的图片输入到训练完成的噪声像素恢复子模型中，观察验证集的第二损失函数值不再下降，或者psnr不再提升，说明网络已经达到最优状态。验证集作用是筛选模型，当验证集中第二损失函数值loss2最小值时保持权重，最好的模型权重就是在验证集上表现最好的时候所保持下来的。
[0045]
如图1所示，采用上述训练完成的图像固定值脉冲噪声去噪模型对图像去噪方法为：
[0046]
步骤1：噪声图像灰度化，记为i
noise
；
[0047]
步骤2：设定与i
noise
同尺寸的噪声标签矩阵m，噪声标签矩阵m初始为零矩阵，并根据灰度化的噪声图像修改噪声标签矩阵m中的元素值，修改依据为：如果i
noise
(x，y)＝0或者i
noise
(x，y)＝1，则m(x，y)＝1，其中，i
noise
(x，y)表示灰度化的噪声图像i
noise
中第x行第y列的像素值，m(x，y)表示噪声标签矩阵m中第x行第y列的元素值；
[0048]
步骤3：将灰度化的噪声图像输入到噪声密度估计子模型中，噪声密度估计子模型输出估计的噪声密度d
pred
，根据得到的噪声密度d
pred
扩充成与噪声图像i
noise
尺寸相同的噪声密度图d
map
；
[0049]
步骤4：通过concatenate操作合并噪声图像与噪声密度图，得到合并数据x＝[i
noise
，d
map
]；
[0050]
步骤5：将x输入到噪声像素恢复子模型中，得到去噪后的图像y
pred
；
[0051]
步骤6：结合步骤1得到的噪声标记矩阵m，根据以下公式获得最终干净图像j：
[0052][0053]
其中，j(x，y)表示干净图像中第x行第y列的像素值，y
pred
(x，y)表示去噪后的图像中第x行第y列的像素值。这样最后得到的干净图像j中，不是噪声点的像素保留了原图像的像素值，最后的干净图像j中只改变了原来是噪声点的像素。
[0054]
通过表1和表2可以看出，本发明在psnr和ssim数值上较其他算法有较大的提高，比较图2
‑
图6，对加入50％浓度的固定值脉冲噪声图像，本发明能够很好的去除噪声，而且图像更接近干净图像，更多的细节得以恢复。
[0055]
表1不同算法对“lena”图像的psnr结果对比
[0056][0057]
表2不同算法对“lena”图像的ssim结果对比
[0058][0059]
本发明还提供了一种存储软件的计算机可读介质，所述软件包括能通过一个或多个计算机执行的指令，所述指令通过这样的执行使得所述一个或多个计算机执行操作，所述操作包括如前述图像固定值脉冲噪声去噪方法的流程。
[0060]
本发明还提供了一种计算机系统，包括：一个或多个处理器；存储器，存储可被操
作的指令，所述指令在通过所述一个或多个处理器执行时使得所述一个或多个处理器执行操作，所述操作包括如前述图像固定值脉冲噪声去噪方法的流程。
[0061]
应当理解，本发明的前述图像固定值脉冲噪声去噪方法的示例可以在任何包含具有数据存储和数据处理的计算机系统中，前述的计算机系统可以是至少一个包括处理器和存储器的电子处理系统或者电子设备，例如pc电脑，不论是个人用pc电脑、商用pc电脑，或者图形处理用pc电脑、服务器级pc电脑。这些pc电脑通过具有数据接口和/或网络接口，实现有线和/或无线的数据传输。
[0062]
在另一些实施例，该计算机系统还可以是服务器，尤其是云服务器，具有数据存储、处理以及网络通讯功能。
[0063]
作为示例的计算机系统通常包括由系统总线连接的至少一个处理器、存储器和网络接口。网络接口用于与其他设备/系统进行通信。
[0064]
处理器用于提供系统的计算和控制。
[0065]
存储器包括非易失性存储器和缓存。
[0066]
非易失性存储器通常具有海量存储能力，可以存储操作系统以及计算机程序，这些计算机程序可以包括可被操作的指令，这些指令在通过一个或多个处理器执行时使得一个或多个处理器能够执行本发明前述实施例的图像固定值脉冲噪声去噪方法的过程。
[0067]
在需要或者合理的实现方式中，前述计算机系统，不论是pc设备或者服务器，还可以包括比图示中更多或者更少的部件，或者组合，或者采用不同的硬件、软件等不同部件或者不同的部署方式。
[0068]
虽然本发明已以较佳实施例揭露如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。