一种基于可变形卷积神经网络的图像去噪方法与流程

1.本发明涉及图像处理技术领域，尤其涉及一种基于可变形卷积神经网络的图像去噪方法。


背景技术：

2.传统的数字图像去噪算法主要分为两类：空域像素特征去噪算法和变换域去噪算法。前者是在图像空间域完成去噪，后者是将信息转化到其他域进行处理。在实际应用过程中，通常将二者结合起来，例如nl
‑
means(非局部均值去噪)与bm3d(三维块匹配算法)，这种结合去噪方式在区分图像纹理、边缘等高频信号与噪声方面有较好的效果。传统的图像去噪方法虽然在可见光图、核磁共振图以及视频等去噪场景应用中效果较好，但是此类图像去噪方法对计算机算力的要求更高，处理单幅噪声图像动辄需要花费数分钟甚至更久的时间，因此难以将其应用到处理量大、分辨率高的图像去噪场景中。而且，由于噪声分类多，对于不同的噪声有着不同的处理方法，传统的图像去噪方法在去噪过程中往往需要手动调节参数，以达到最优去噪效果，更难以应对批量处理需求。
3.基于神经网络的图像去噪技术是对噪声图像进行过滤处理后得到噪声图像对应的噪声，再利用图像像素点对应关系，从噪声图像中分离出对应的噪声即可得到对应的干净图像。基于神经网络的图像去噪技术因为其自动提取特征的性质越来越受到广泛关注，这一性质可以避免传统去噪模型里图像在概率学习和推断时的计算量，以及减少手工设计操作，降低人工参与度，更好地应对批量处理需求。
4.但是，基于神经网络的去噪方法当前还面临重要挑战，即神经网络无法有效区分图像纹理特征和噪声，这会使这一部分图像信息错误地被去除，从而造成失真问题，或者部分噪音由于与图像边缘或纹理相似而被保存下来，降低了去噪效果。


技术实现要素：

5.本发明的目的在于解决目前基于神经网络的去噪方法中存在的图像失真或去噪效果不良的问题。
6.为了实现上述目的，本发明提供了一种基于可变形卷积神经网络的图像去噪方法，包括：
7.步骤s1、构建可变形卷积神经网络模型；
8.构建完成的可变形卷积神经网络模型包括两个子网络模型，分别为用于图像去噪的第一网络模型，以及用于辅助第一网络模型进行图像去噪的第二网络模型；
9.步骤s2、训练构建完成的可变形卷积神经网络模型；
10.步骤s3、利用训练完成的可变形卷积神经网络模型进行图像去噪；
11.将需要去噪的噪声图像输入训练后的可变形卷积神经网络模型，由可变形卷积神经网络模型输出去噪后的干净图像。
12.进一步地，所述步骤s2包括：
13.步骤s21、获取样本数据集；
14.在原始干净图像数据集中添加模拟噪声数据集得到模拟噪声图像集，所述模拟噪声图像集为第一样本数据集；所述模拟噪声图像集镜像翻转后的数据集为第二样本数据集；
15.步骤s22、输入样本数据集
16.将第一样本数据集作为第一网络模型的输入，将第二样本数据集作为第二网络模型的输入；
17.步骤s23、融合特征图；
18.将第二网络模型训练后输出的特征图作为辅助特征图，与第一网络模型以注意力的方式融合；将所述辅助特征图作为权重，与第一网络模型中的特征图点乘；
19.步骤s24、输出模拟干净图像
20.融合后的特征图经第一网络模型继续训练后作为准确噪声，模拟噪声图像除去所述准确噪声，输出为模拟干净图像。
21.步骤s25、反馈与优化；
22.比对第一网络模型输出的模拟干净图像与步骤s21中的原始干净图像，计算模拟干净图像与原始干净图像的差别，将所述差别量化成数值损失；
23.调整参数继续训练可变形卷积神经网络模型，直至所述数值损失降到最小值。
24.进一步地，所述第一网络模型包括17个处理层：
25.第1处理层包括普通卷积模块和激活模块；
26.第2、4、6、8、10、12、14、16处理层包括可变形卷积模块、自适应归一化模块和激活模块；
27.第3、5、7、9、11、13处理层包括普通卷积模块、批归一化模块和激活模块；
28.第15、17处理层包括普通卷积模块。
29.进一步地，所述第一网络模型中的可变形卷积模块与普通卷积模块的卷积核均为3*3；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。
30.进一步地，所述第一网络模型在第15处理层后、第16层前设有融合模块，所述融合模块用于完成步骤s23。
31.进一步地，所述第一网络模型在第17处理层后设有残差处理模块，用于对经过第17处理层训练后的特征图进行残差处理。
32.进一步地，所述第二网络模型包括16个处理层：
33.第1处理层包括普通卷积模块和激活模块；
34.第2
‑
14处理层包括普通卷积模块、批归一化模块和激活模块；
35.第15、16处理层包括普通卷积模块。
36.进一步地，所述第二网络模型中，第1～14处理层的普通卷积模块的卷积核大小为3*3；第15、16处理层中的普通卷积模块的卷积核大小为1*1；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。
37.进一步地，所述第二网络模型在第15处理层后、第16处理层前设有残差处理模块，用于对经过第15处理层训练后的特征图进行残差处理。
38.进一步地，所述第二网络模型在残差处理模块之后、第16处理层前设有翻转操作
模块，用于对残差处理后的特征图进行镜像翻转。
39.本发明至少具有如下有益效果：
40.(1)本发明将可变形卷积引入神经网络模型，可变形卷积可以自动学习卷积核形状，减少神经网络模型对无关或不重要信息的关注度，从而能够提取更多的有效特征，抑制图像失真。
41.(2)本发明构建的可变形卷积神经网络模型包含两个共同作用的子网络模型：第一网络模型和第二网络模型。第一网络模型主要负责对噪声图像进行去噪以获取干净图像，第二网络模型主要用于以注意力的方式引导第一网络模型，提取显著性特征，提高去噪效果。
42.(3)本发明构建的可变形卷积神经网络模型引入了残差处理模块，在较大网络深度下避免了出现梯度弥散和爆炸的问题，防止网络退化，噪声密度不大时，同时残差处理模块还能有助于可变形卷积神经网络模型输出潜在干净图像。
43.(4)本发明构建的可变形卷积神经网络模型引入批归一化模块，批归一化模块能够促进残差处理模块发挥作用，并且加快模型收敛速度，提升训练效率；采用自适应归一化模块,完善批归一化模块不能完全适应批处理量小的情况，让模型自主选择并优化归一化方式。
44.(5)本发明构建的可变形卷积神经网络模型的第一网络模型中，将可变形卷积模块按照顺序间隔排开，分布在偶数层，而不是在所有层中使用，目的是防止信息饱和。因为可变形卷积模块能提取更多有效特征，而每层信息容量有限。
45.(6)镜像噪声图含有互补信息，本发明提供的模型训练方法从不同角度来重复利用噪声图的信息。经过第二网络模型的提取、翻转，最后再经过一个1*1大小的卷积提纯，所生成的辅助特征图像可以作为噪声权值，与第一网络模型第15处理层的输出结合，以注意力的方式遏制非噪声，强化噪声，使训练的噪声图更准确，从而提高去噪效果。
附图说明
46.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
47.图1为本发明实施例提供的一种基于可变形卷积神经网络的图像去噪方法的流程图；
48.图2为图1中可变形卷积神经网络模型(dcnnfid)的框架结构示意图；
49.图3为图1中步骤s2的一种具体实施方式的流程图；
50.图4为图1中步骤s3的一种具体方式所用到的待处理噪声图；
51.图5为图4的镜像翻转噪声图；
52.图6为图4去噪后的干净图像；
53.图7为图1所述步骤s3的具体实施方式的示意图。
具体实施方式
54.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，本发明中附图仅起到说明和描述的目的，并不用于限定本发明的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。
55.请参阅图1，本发明实施例提供的一种基于可变形卷积神经网络的图像去噪方法，包括步骤：
56.步骤s1、构建可变形卷积神经网络模型；
57.构建完成的可变形卷积神经网络模型包括两个子网络模型，分别为用于图像去噪的第一网络模型，以及用于辅助第一网络模型进行图像去噪的第二网络模型；
58.步骤s2、训练构建完成的可变形卷积神经网络模型；
59.步骤s3、利用训练完成的可变形卷积神经网络模型进行图像去噪；
60.将需要去噪的噪声图像输入训练后的可变形卷积神经网络模型，由可变形卷积神经网络模型输出去噪后的干净图像。
61.在本发明实施例中，将所构建的可变形卷积神经网络模型命名为dcnnfid，与现有技术不同的是，dcnnfid将可变形卷积引入神经网络模型，可变形卷积可以自动学习卷积核形状，减少神经网络模型对无关或不重要信息的关注度，从而能够提取更多的有效特征，抑制图像失真。此外，dcnnfid包含两个共同作用的子网络模型：第一网络模型和第二网络模型。第一网络模型主要负责对噪声图像进行去噪以获取干净图像，第二网络模型主要用于以注意力的方式引导第一网络模型，提高去噪后的干净图像的精度。
62.请参考图2，本发明实施例提供的dcnnfid框架结构示意图。
63.如图2所示，第一网络模型包括17个处理层：第1处理层包括普通卷积模块(conv)和激活模块(relu)；第2、4、6、8、10、12、14、16处理层包括可变形卷积模块(deformconv)、自适应归一化模块(sn)和激活模块(relu)；第3、5、7、9、11、13处理层包括普通卷积模块(conv)、批归一化模块(bn)和激活模块(relu)；第15、17处理层包括普通卷积模块(conv)。第一网络模型在第15处理层后、第16层前还设有融合模块，在第17处理层后还设有残差处理模块。
64.如图2所示，第二网络模型包括16个处理层：第1处理层包括普通卷积模块(conv)和激活模块(relu)；第2
‑
14处理层包括普通卷积模块(conv)、批归一化模块(bn)和激活模块(relu)；第15、16处理层包括普通卷积模块(conv)。第二网络模型在第15处理层后、第16处理层前设有残差处理模块，在残差处理模块之后、第16处理层前设有翻转操作模块。
65.本实施例提供的dcnnfid引入了残差处理模块，在较大网络深度下避免了出现梯度弥散和爆炸的问题，防止网络退化，同时残差处理模块还能有助于dcnnfid输出潜在干净图像。
66.本实施例提供的dcnnfid引入bn，bn能够促进残差处理模块发挥作用，并且加快模型收敛速度，提升训练效率；采用sn,完善bn不能完全适应批处理量小的情况，让模型自主选择并优化归一化方式。
67.本实施例提供的dcnnfid的第一网络模型中，将deformconv按照顺序间隔排开，分布在偶数层，而不是在所有层中使用，目的是防止信息饱和。因为deformconv能提取更多有
效特征，而每层信息容量有限。
68.请参阅图3，本发明实施例还提供了训练dcnnfid的方法，所述方法包括如下步骤：
69.步骤s21、获取样本数据集；
70.在原始干净图像数据集中添加模拟噪声数据集得到模拟噪声图像集，所述模拟噪声图像集为第一样本数据集；所述模拟噪声图像集镜像翻转后的数据集为第二样本数据集
71.步骤s22、输入样本数据集
72.将第一样本数据集作为第一网络模型的输入，将第二样本数据集作为第二网络模型的输入；
73.步骤s23、融合特征图；
74.将第二网络模型训练后输出的特征图作为辅助特征图，与第一网络模型以注意力的方式融合；将所述辅助特征图作为权重，与第一网络模型中的特征图点乘；
75.步骤s24、输出模拟干净图像
76.融合后的特征图经第一网络模型继续训练后作为准确噪声，模拟噪声图像除去所述准确噪声，输出为模拟干净图像。
77.步骤s25、反馈与优化；
78.比对第一网络模型输出的模拟干净图像与步骤s21中的原始干净图像，计算模拟干净图像与原始干净图像的差别，将所述差别量化成数值损失；调整参数继续训练可变形卷积神经网络模型，直至所述竖直损失降到最小值。
79.在训练过程中，第一网络模型中的deformconv与conv的卷积核均为3*3；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。第二网络模型中，第1～14处理层的conv的卷积核大小为3*3；第15、16处理层中的conv的卷积核大小为1*1；第1处理层的输入通道为1，输出通道为64；其余处理层的出入、输出通道均为64。
80.镜像噪声图含有互补信息，本实施例的训练方法从不同位置的角度来对重复利用噪声图的信息。经过第二网络模型的提取、翻转，最后再经过一个1*1大小的卷积提纯，所生成的辅助特征图像可以作为噪声权值，与第一网络模型第15处理层的输出结合，以注意力的方式遏制非噪声，强化噪声，使训练的噪声图更准确，从而提高去噪效果。
81.下面提供一个具体的实施例，来证明本发明所提供的基于可变形卷积神经网络的图像去噪方法的去噪效果。dcnnfid处理噪声图流程包括：
82.1)获取待处理的噪声图，具体如图4所示；
83.2)将待处理噪声图进行镜像翻转，镜像翻转方向不限，这里以左右翻转为例，翻转结果如图5所示；
84.3)加载预训练好的dcnnfid模型；
85.4)将待处理噪声图与其镜像翻转图分别输入dcnnfid的第一、二网络模型，模型最终输出即去噪结果，如图6所示。
86.整体的流程如图7所示，首先，左侧下边的图为待处理噪声图，左侧上边的图为镜像翻转噪声图，分别输出两个子网络模型；然后在预训练好的参数的作用下，第一、第一网络模型对图像分别进行处理；最后由第一网络模型输出去噪结果，展示在图7右侧。
87.在本说明书中描述的“本发明”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书的不同之处出现的语句“本发
明”等不是必然都参考相同的实施例，而意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
88.以上所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，在附图中提供的本发明的实施例的详细描述并非旨在限制本发明的保护范围，而仅仅是表示本发明的选定实施例。因此，本发明的保护范围应以权利要求的保护范围为准。此外，基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下可获得的所有其它实施例，都应属于本发明保护的范围。