一种图像去噪方法及系统

1.本发明属于图像处理技术领域，尤其涉及一种图像去噪方法及系统。


背景技术：

2.本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
3.图像去噪是众多图像处理问题中必不可少的一步，在生物、医学和军事等领域都有广泛的应用，因此，提高图像去噪的效果具有非常重要的意义。传统的图像去噪方法具有复杂的模型并且包含很多需要手动调节的参数。深度学习因为其强大的学习能力被应用于图像去噪中，用来改善传统图像去噪方法中存在的缺点。
4.尤其是，基于卷积神经网络的方法在图像去噪上表现出强大的性能。但是，深度卷积神经网络内存消耗依旧很大，模型的训练时间也比较长，很难有较高的图像去噪效率。


技术实现要素：

5.为了解决上述背景技术中存在的技术问题，本发明提供一种图像去噪方法及系统，不仅改善了图像去噪效果，而且提高了图像去噪的效率，减少训练参数，缩短网络结构训练的时间。
6.为了实现上述目的，本发明采用如下技术方案：
7.本发明的第一个方面提供一种图像去噪方法，其包括：
8.获取噪声图像；
9.将噪声图像输入去噪模型，得到去噪图像；
10.其中，去噪模型依次通过多尺度特征提取块和ghost特征提取块，对噪声图像进行特征提取后，得到噪声特征，利用噪声图像减去噪声特征，得到去噪图像。
11.进一步的，所述多尺度特征提取块采用若干个1
×
1卷积层和3
×
3的空洞卷积层分别对所述噪声图像进行特征提取，得到不同尺度的特征。
12.进一步的，所述多尺度特征提取块将所述不同尺度的特征依次输入特征结合层和特征融合层后，得到噪声图像的多尺度特征图。
13.进一步的，所述ghost特征提取块包含若干个顺次连接的ghost块。
14.进一步的，所述ghost块采用32通道的1
×
1卷积层对输入的特征图进行特征提取；并采用深度可分离卷积层对所述32通道的1
×
1卷积层提取的特征进行处理后，得到输出特征图。
15.进一步的，所述ghost特征提取块中最后一个ghost块中的深度可分离卷积层得到的输出特征图为所述噪声特征。
16.进一步的，所述去噪模型采用均方误差作为损失函数，并通过adam优化器进行优化。
17.本发明的第二个方面提供一种图像去噪系统，其包括：
18.图像获取模块，其被配置为：获取噪声图像；
19.去噪模块，其被配置为：将噪声图像输入去噪模型，得到去噪图像；
20.其中，去噪模型依次通过多尺度特征提取块和ghost特征提取块，对噪声图像进行特征提取后，得到噪声特征，利用噪声图像减去噪声特征，得到去噪图像。
21.本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种图像去噪方法中的步骤。
22.本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种图像去噪方法中的步骤。
23.与现有技术相比，本发明的有益效果是：
24.本发明提供了一种图像去噪方法，其借用ghost特征提取块，来代替普通的卷积层进行图像特征的提取，减少了训练过程中的训练参数，提高了图像去噪的效率，使用ghost特征提取块代替卷积层作为网络的整体架构，可以大大减少网络训练时的参数，提高图像去噪的效率，同时采用多尺度特征提取的方法用于提取更多的图像噪声特征，提高了图像去噪的效果。
附图说明
25.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
26.图1是本发明实施例一的去噪模型的网络结构图；
27.图2是本发明实施例一的多尺度特征提取块的结构图；
28.图3是本发明实施例一的图像去噪方法的流程图；
29.图4(a)是本发明实施例一的方法对bsd68测试集中的一幅图像的去噪结果图；
30.图4(b)是dncnn方法对bsd68测试集中的一幅图像的去噪结果图；
31.图4(c)是ffdnet方法对bsd68测试集中的一幅图像的去噪结果图；
32.图4(d)是bsd68测试集中的一幅图像添加了高斯白噪声的结果图；
33.图5(a)是本发明实施例一的方法对mcmaster数据集中的一幅图像的去噪结果图；
34.图5(b)是adnet方法对mcmaster数据集中的一幅图像的去噪结果图；
35.图5(c)是mcmaster数据集中的一幅图像添加了高斯白噪声的结果图；
36.图5(d)是mcmaster数据集中的一幅图像的原始图像。
具体实施方式
37.下面结合附图与实施例对本发明作进一步说明。
38.应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
39.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包
括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
40.实施例一
41.本实施例提供了一种图像去噪方法，如图3所示，包括以下步骤：
42.步骤1、获取图像数据集，添加噪声，得到图像训练集。
43.具体的，选取加性高斯白噪声作为训练的噪声类型，将图像数据集的干净图片添加噪声，由原始图像和含噪图像构成训练集。
44.步骤2、采用图像训练集训练去噪模型，将训练集中的原始图像和含噪图像的训练样本对作为网络结构的输入。如图1所示，网络结构依次采用多尺度特征提取块(多尺度特征提取模块)和ghost特征提取块(ghost特征提取模块)，对噪声图像，进行多特征提取和基于ghost的特征提取后，得到提取的噪声特征，在每次迭代过程中计算损失函数值，并根据结果自动调整参数，训练完成时得到去噪模型得最优参数并保存。
45.步骤3、利用训练好的去噪模型，对测试集进行图像去噪，具体的，获取测试集中的噪声图像；将噪声图像输入去噪模型，得到去噪图像。通过网络结构提取图像噪声特征，然后基于残差的思想，利用噪声图像减去噪声特征，得到去噪图像。
46.在多尺度特征提取块中，使用的是改进的带有空洞卷积的空间金字塔模块。扩大感受野是捕获上下文信息的一种有效的方式。扩张卷积是在基础的卷积核中加入间隔，以扩大卷积核，从而在不损失特征图尺寸的情况下扩大感受野。扩张卷积不仅可以得到与普通卷积相同的效果，同时还可以获得更大的感受野，从而获得更加密集的数据特征，应用在图像去噪方法中可以提高图像去噪的效果。
47.如图2所示，多尺度特征提取块采用若干个1
×
1卷积层和3
×
3的空洞卷积层分别对所述噪声图像进行特征提取，具体的，多尺度特征提取块的输入图像分别经过一个1
×
1卷积层，以及三个3
×
3的空洞卷积，这三个空洞卷积的卷积核分别是6,12和18；然后将得到的这4个不同尺度的特征输入特征结合层(concat)，将4个不同尺度的特征拼接在一起(可以利用python中的concat函数进行数据拼接)，最后送入特征融合层(1
×
1的卷积层)进行融合之后输出用来提取噪声图像的多尺度信息。图像去噪需要对整个图像进行操作，这就要求网络有足够的感受野来覆盖更大的图像区域。多尺度特征提取块可以在不改变特征图大小的同时增大感受野，有利于提取多尺度信息。空洞卷积与多尺度的结合，以更小的计算量保证了能够提取图像更全面的特征。
48.ghost特征提取块包含若干个顺次连接的ghost块，具体的，ghost特征提取块由10个ghost块顺次连接而成的。每个ghost块采用32通道的1
×
1卷积层对输入的特征图进行特征提取；并采用深度可分离卷积层对所述32通道的1
×
1卷积层提取的特征进行处理后，得到输出特征图；ghost特征提取块中最后一个ghost块中的深度可分离卷积层得到的输出特征图为所述噪声特征。具体的，每个ghost块主要由两部分操作构成，第一部分是利用1
×
1卷积获得输入特征的必要特征浓缩。首先进行一个普通的1
×
1卷积层，这是一个少量卷积，比如正常使用64通道的卷积，这里就用32通道的卷积，这个1
×
1卷积的作用类似于特征整合，生成输入特征层的特征压缩，用来提取图像必要的特征。第二部分采用深度可分离卷积获得特征压缩的相似特征图，从生成的特征图中变换出冗余的特征。深度可分离卷积的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，计算量比普通的卷积操作小，在获得相同数量特征图的情况下，深度可分离卷积的参数量约是普通卷积的1/3，它利用上一步
获得的特征浓缩生成噪声特征。该特征提取模块在提高网络深度的同时减少了网络训练时的参数，极大的减少了训练过程中内存的消耗，并且减少了训练时间。
49.去噪模型采用退化方程y＝x z进行训练，其中，z为加性高斯白噪声，y为含噪图像，通过去噪模型预测噪声f(y)，然后通过x＝y-f(y)来获取干净图像x。因此，结合已有cnn的去噪方法，采用均方误差来训练一个去噪模型，这个过程的实现可以表述为
[0050][0051]
其中，θ代表中训练模型的参数，n代表n个有噪声干净的图像对，损失函数通过adam优化器恢复潜在的清洁图像。
[0052]
在模型训练结束后，对训练结果进行测试，以评估网络结构的训练效果。本实施例在公共数据集set12和bsd68进行了测试。使用峰值信噪比(psnr)来衡量图像去噪的效果。本实施例在灰度图像和彩色图像上分别进行去噪效果的对比。
[0053]
对于灰度图像，表1和表2分别展示了在噪声水平(δ)为25与50时，本发明与最先进的11种方法(bm3d、wnnm、epll、mlp、csf、tnrd、dncnn、ircnn、ffdnet、brdnet和dudenet)在set12数据集上每幅图像的psnr值以及平均psnr值。通过表1和表2可以直观的看出，本发明在大多数图像上，psnr值比最先进的方法都有提高。图4(a)、图4(b)、图4(c)和图4(d)为在噪声水平为35下，选取的bsd68测试集中的一幅图像与dncnn和ffdnet两种方法及含噪图像的可视化结果。
[0054]
表1、噪声水平为25时，在set12数据集上与先进方法的比较结果
[0055]
图像c.manhousepeppersstarfishmonarchairplaneparrotlenabarbaraboatmancouple均值bm3d29.4532.8530.1628.5629.2528.4228.9332.0730.7129.9029.6129.7129.97wnnm29.6433.2230.4229.0329.8028.6929.1532.2431.2430.0329.7629.8230.26epll29.2632.1730.1728.5129.3928.6128.9531.7328.6129.7429.6629.5329.69mlp29.6132.5630.3028.8229.6128.8229.2532.2529.5429.9729.8829.7330.03csf29.4832.3930.3228.8029.6228.7228.9031.7929.0329.7629.7129.5329.84tnrd29.7232.5330.5729.0229.8528.8829.1832.0029.4129.9129.8729.7130.06dncnn30.1833.0630.8729.4130.2829.1329.4332.4430.0030.2130.1030.1230.43ircnn30.0833.0630.8829.2730.0929.1229.4732.4329.9230.1730.0430.0830.38ffdnet30.1033.2830.9329.3230.0829.0429.4432.5730.0130.2530.1130.2030.44brdnet31.3933.4131.0429.4630.5029.2029.5532.6530.3430.3330.1430.2830.61dudenet30.2333.2430.9829.5330.4429.1429.4832.5230.1530.2430.0830.1530.52本发明30.4033.4531.0629.4730.5329.2229.5832.6730.3730.3430.2030.3130.80
[0056]
表2、噪声水平为50时，在set12数据集上与先进方法的比较结果
[0057]
图像c.manhousepeppersstarfishmonarcairplanparrotlenabarbaraboatmancouple均值bm3d26.129.626.625.025.8225.1025.929.027.226.726.826.426.7wnnm26.430.326.925.426.3225.4226.129.227.726.926.926.627.0epll26.129.126.825.125.9425.3125.928.624.826.726.726.326.4mlp26.329.626.625.426.2625.5626.129.325.227.027.026.626.7tnrd26.629.427.125.426.3125.5926.128.925.726.926.926.526.8dncnn27.030.027.325.726.7825.8726.429.326.227.227.226.927.1ircnn26.829.927.325.526.6125.8926.529.426.227.127.126.827.1ffdnet27.030.327.525.726.8125.8926.529.626.427.327.227.027.3brdnet27.430.527.625.726.9725.9326.629.726.827.327.227.127.4dudene27.230.227.525.826.9325.8826.529.426.427.227.126.927.3
本发明27.430.527.525.826.9825.9626.229.726.827.427.227.227.4
[0058]
对于彩色图像，在噪声水平为15、25、35、50和70时，本实施例在dbsd68、kodak24和mcmaster三个数据集上进行测试，并与最先进的6种方法进行对比。表3表示各个数据集在不同噪声水平下的平均psnr值。通过表3可以看出，本发明在不同数据集不同噪声水平下，psnr值都有提高。图5(a)、图5(b)、图5(c)和图5(d)为在噪声水平为35下，本实施例选取的mcmaster测试集中的一幅图像与adnet方法，含噪图像及原始图像的可视化结果。
[0059]
表3、在不同数据集上与其他先进方法的比较
[0060][0061][0062]
除了对图像去噪效果进行比较，还对训练时间进行比较。在相同的实验环境下，本发明在对waterloo exploration数据集进行训练，训练迭代50次所花费的时间要比brdnet方法减少25.4小时。
[0063]
实施例二
[0064]
本实施例提供了一种图像去噪系统，其具体包括如下模块：
[0065]
图像获取模块，其被配置为：获取噪声图像；
[0066]
去噪模块，其被配置为：将噪声图像输入去噪模型，得到去噪图像；
[0067]
其中，去噪模型依次通过多尺度特征提取块和ghost特征提取块，对噪声图像进行特征提取后，得到噪声特征，利用噪声图像减去噪声特征，得到去噪图像。
[0068]
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
[0069]
实施例三
[0070]
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种图像去噪方法中的步骤。
[0071]
实施例四
[0072]
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种图像去噪方法中的步骤。
[0073]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0074]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0075]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0076]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0077]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random accessmemory，ram)等。
[0078]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。