一种核预测网络图像去雨方法和装置与流程

1.本发明涉及图像处理领域，尤其涉及一种核预测网络图像去雨方法和装置。


背景技术：

2.户外光学摄像头雨天采集的数据往往能见度较低，数据中的雨点会随机覆盖图像的原本信息，算法对雨点的预处理效果将影响下游计算机视觉任务的性能。由于下雨数据中雨点的大小、密度随机，需要算法有较好的尺度性以适应不同强度的雨势。在去除雨点、恢复图像的同时，不应破坏原有的背景细节，因此算法对雨点和背景需要有很强的区分能力。因此，去雨算法对网络的尺度性、精确性有较高的要求。
3.在单幅图像的去雨算法中，核预测网络被专利cn113240612a，即论文efficientderain用于去雨任务。核预测网络并不直接对图像像素进行合成，而是通过网络预测一个去噪核来对输入图像进行卷积处理，从而得到对应的输出目标图像。该算法为核预测网络增加了膨胀滤波设计(即生成不同大小的滤波核)，在rain100h、spa数据集上与rcdnet的处理质量基本一致，主要优点是其极大地提升了速度。但是其直接使用原始去噪核预测网络的设计结构，仅在最后一层输出不同大小的滤波核，未根据去雨任务的特点做相应调整。并且其膨胀滤波的设计本质上没有有效地提取多尺度的特征，在rain1400h和raindrop数据集上的psnr与ssim指标仍与rcdnet和deraindrop有一定距离。


技术实现要素：

4.为了解决现有技术中存在的上述技术问题，本发明提出了一种核预测网络图像去雨方法和装置，其具体技术方案如下：
5.一种核预测网络图像去雨方法，包括以下步骤：
6.步骤一，使用编码解码器网络，融合多尺度模块和注意力机制构建多尺度注意力核网络，多尺度注意力核网络包括编码模块、多尺度模块、注意力模块、解码模块、处理模块；
7.所述编码模块，对特征图像进行编码压缩，缩减输入图像尺寸，输出至多尺度模块；
8.所述多尺度模块，提取图像的多尺度特征；
9.所述注意力模块，提取出包含了多尺度特征的图像的重点区域特征；
10.所述解码模块，将图像解码输出，恢复至原图大小；
11.所述处理模块，对解码输出的图像进行滤波处理；
12.步骤二，采集或下载开源数据集，将数据集输入多尺度注意力核网络进行离线训练，获得去雨训练模型；
13.步骤三，在需要进行预处理操作的设备平台上，部署去雨训练模型，将需要去雨的单张图像输入去雨网络模型中，获得对应的去雨滤波核，与输入图像进行卷积后得到去雨图像。
14.进一步的，所述编码模块的第一层卷积层保持输入的特征图不变，提升通道数至64；第二层卷积层至第四层卷积层先通过池化层缩减特征图为当前层输入尺寸的一半，然后通过卷积保持特征图尺寸不变，提升通道数为输入的2倍；第五层卷积层进行缩减特征图操作，但保持通道数不变。
15.进一步的，所述多尺度模块由卷积层、aspp层、池化层构成；编码模块的输出分别输入aspp层和池化层，aspp层的输出特征图尺寸不变，通道数变为原来的四倍，池化层通过全局平均池化和上采样得到和输入相同大小的特征图，通过拼接操作将aspp层结果和池化层结果进行融合，再通过1*1卷积层使其通道降低至与编码模块输出一致，完成多尺度的特征提取。
16.进一步的，所述aspp层由一个步长为1，无padding的1*1的卷积层和3个3*3的空洞卷积构成，3个3*3的空洞卷积的空洞率分别为6、12、18，其步长均为1，padding分别为6、12、18。
17.进一步的，所述注意力模块将多尺度模块的输出通过sigmoid函数进行二值化处理，二值化处理后的输出再与编码模块的输出进行点积操作，将点积结果与编码模块的输出融合。
18.进一步的，所述解码模块由四层卷积层构成，注意力模块的输出输入解码模块，通过四层卷积层均进行上采样操作，输出特征图分辨率为输入特征图的两倍，具体的：第一层卷积层和第二层卷积层将输入通道变为原来的一半，第三层卷积层将输出通道变为k2，第四层卷积层保持输出通道为k2，特征图分辨率变为原图大小。
19.进一步的，所述处理模块将解码模块得到的k2个通道输出重塑成1个k*k的线性滤波器，使用所述线性滤波器和图像进行卷积，得到的最终图像即为去雨图像，其中k的大小为卷积核的大小。
20.进一步的，所述编码模块和解码模块中的卷积层及池化层构造如下：卷积层由三个大小为3*3、步长为1、padding为1的卷积和relu激活函数构成；池化层由一个大小为2*2、步长为1的平均池化构成。
21.进一步的，所述离线训练具体为：输入图像通过多尺度注意力核网络生成的k*k滤波核，得到处理后的图像与真值图像o进行对比，最小化损失函数不断调整网络权重，直至完成训练；其中，损失函数loss由图像梯度之间的曼哈顿距离l1和图像亮度的欧氏距离l2组合构成，其具体计算方式如下公式：
[0022][0023][0024][0025]
一种核预测网络图像去雨装置，包括一个或多个处理器，用于实现所述的一种核预测网络图像去雨方法。
[0026]
本发明的有益效果是：
[0027]
本发明改进了去雨方法中的核预测网络，为精简网络结构，未采用多层跳变连接，
而是使用多尺度配合注意力模式，增加网络对不同尺度雨滴与背景的区分度，并且能够有效提升速度，相比原先的核预测网络，本发明的改进方法有更快的处理速度和更高质量的去雨效果，能够减少数据的预处理时间，可以直接部署在设备中对数据进行实时采集和去雨处理。
附图说明
[0028]
图1是本发明的图像去雨流程示意图；
[0029]
图2是本发明的编码模块结构示意图；
[0030]
图3是本发明的多尺度和注意力模块网络结构示意图；
[0031]
图4是本发明的解码模块和处理模块网络结构示意图；
[0032]
图5为本发明提供的一种核预测网络图像去雨装置的结构框图。
具体实施方式
[0033]
为了使本发明的目的、技术方案和技术效果更加清楚明白，以下结合说明书附图和实施例，对本发明作进一步详细说明。
[0034]
本发明公开了一种核预测网络图像去雨方法和装置，使用编码解码器网络作为整体架构，融合多尺度模块和注意力机制，生成输入图像对应的去雨核，使用该核对单幅雨点图像做滤波处理，能够去除图像中不同大小、方向的雨点，快速得到高质量去雨图像，网络引入的带有aspp的多尺度模块能够适应不同强度的雨点噪声，注意力机制使其对背景和雨点的区分性更强，能够有效地提升单幅图像去雨算法的效果。本发明与其他基于核预测网络的单幅图像去雨方法相比，优化了核预测网络的尺度性，使用更简单的网络结构实现快速的运行速度，且得到更好的效果，该方法适配采集数据的快速预处理工作，可以直接部署在设备中进行雨中实时采集和去雨。
[0035]
具体的，该核预测网络图像去雨方法，包括以下步骤：
[0036]
步骤一，使用编码解码器网络，融合多尺度模块和注意力机制构建多尺度注意力核网络。
[0037]
具体的，多尺度注意力核网络包括编码模块、多尺度模块、注意力模块、解码模块、处理模块，其中编码模块和解码模块不再使用原有核预测网络的跳变连接，而是使用多尺度模块和注意力模块提取多尺度及重点区域特征。
[0038]
其中，所述编码模块如图2所示，可简化为五层卷积层，第一层卷积层保持特征图不变，提升通道数至64；第二层卷积层至第四层卷积层先通过池化层缩减特征图为当前层输入尺寸的一半，然后通过卷积保持特征图尺寸不变，提升通道数为输入的2倍；第五层卷积层依旧进行缩减特征图操作，但保持通道数不变。以输入图像分辨率大小为512*384为例，则通过编码模块后输出的特征图分辨率大小为32*24，通道数为512。
[0039]
如图3所示，多尺度模块由卷积层、aspp层(空洞空间卷积池化金字塔，atrous spatial pyramid pooling)、池化层等构成；编码模块的输出分别输入aspp层和池化层，aspp层的输出特征图尺寸不变，通道数变为原来的四倍，池化层通过全局平均池化和上采样得到和输入相同大小的特征图，通过拼接操作将aspp层结果和池化层结果进行融合，再通过1*1卷积层使其通道降低至与编码模块输出一致，完成多尺度的特征提取。
[0040]
所述aspp层由一个步长为1，无padding(像素填充)的1*1的卷积层和3个3*3的空洞卷积构成，3个3*3的空洞卷积的空洞率分别为6、12、18，其步长均为1，padding分别为6、12、18。
[0041]
注意力模块将多尺度模块的输出通过sigmoid函数进行二值化处理，其输出再与编码模块的输出进行点积操作，将点积结果与编码模块的输出融合。通过注意力模块上述处理后，输入解码模块的特征已经包含了多尺度的区分性特征，有助于提升网络提取任务相关的差异化特征。
[0042]
如图4所示，解码模块由四层卷积层构成，注意力模块的输出输入解码模块，通过四层卷积层均进行上采样操作，输出特征图分辨率为输入特征图的两倍，具体的：第一层卷积层和第二层卷积层将输入通道变为原来的一半，第三层卷积层将输出通道变为k2，第四层卷积层保持输出通道为k2，特征图分辨率变为原图大小。
[0043]
所述编码模块和解码模块中的卷积层及池化层构造如下：卷积层由三个大小为3*3、步长为1、padding为1的卷积和relu激活函数构成；池化层由一个大小为2*2、步长为1的平均池化构成。
[0044]
处理模块将解码模块得到的k2个通道输出重塑成1个k*k的线性滤波器，使用所述线性滤波器和图像进行卷积，得到的最终图像即为去雨图像，其中k的大小为卷积核的大小。
[0045]
步骤二，通过开源数据集如spa、rain1400h、rain100h等构建训练数据集，本实施例以rain1400h为例，此数据集包含1000个原始图像，并基于原始图像生成14个不同条纹方向和大小的雨图像，共14000张雨痕图像和1000张原始图像。实施例中随机选择900张图像进行训练集，其余图像用于测试集。
[0046]
如图1所示，在支持深度学习训练的服务器平台上，将数据集输入多尺度注意力核网络中，通过损失函数不断调整网络参数，直至完成离线训练获得去雨网络模型。
[0047]
所述离线训练具体为：输入图像通过多尺度注意力核网络生成的k*k滤波核，得到处理后的图像与真值图像o进行对比，最小化损失函数不断调整网络权重，直至完成训练。
[0048]
其中，损失函数loss由图像梯度之间的曼哈顿距离l1和图像亮度的欧氏距离l2组合构成，其具体计算方式如下公式：
[0049][0050][0051][0052]
步骤三，在需要进行预处理操作的设备平台上，部署该模型，将需要去雨的单张图像输入去雨网络模型中，获得对应的去雨滤波核，与输入图像进行卷积后即可得到去雨图像。
[0053]
与前述一种核预测网络图像去雨方法的实施例相对应，本发明还提供了一种核预测网络图像去雨装置的实施例。
[0054]
本发明实施例提供的一种核预测网络图像去雨装置，包括一个或多个处理器，用于实现上述实施例中的一种核预测网络图像去雨方法。
[0055]
具体的，参见图5，该装置上有支持加载深度学习模型的板卡设备，包括存储器、处理器及图像采集模块等io接口，可以对图像进行采集或导入，在板卡上实时处理后输出。将上述训练网络在硬件板卡上部署，用于实现所述的一种核预测网络图像去雨方法。
[0056]
本发明一种核预测网络图像去雨装置的实施例可以应用在任意具备数据处理能力的设备上，该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，如图5所示，为本发明的一种核预测网络图像去雨装置所在任意具备数据处理能力的设备的一种硬件结构图，除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外，实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能，还可以包括其他硬件，对此不再赘述。
[0057]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
[0058]
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0059]
本发明实施例还提供一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，实现上述实施例中的一种核预测网络图像去雨方法。
[0060]
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元，例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备，例如所述设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、sd卡、闪存卡(flash card)等。进一步的，所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据，还可以用于暂时地存储已经输出或者将要输出的数据。
[0061]
以上所述，仅为本发明的优选实施案例，并非对本发明做任何形式上的限制。虽然前文对本发明的实施过程进行了详细说明，对于熟悉本领域的人员来说，其依然可以对前述各实例记载的技术方案进行修改，或者对其中部分技术特征进行同等替换。凡在本发明精神和原则之内所做修改、同等替换等，均应包含在本发明的保护范围之内。