基于神经网络的图像去噪方法和装置、电子设备及介质与流程

本公开属于图像处理，涉及基于神经网络的图像去噪方法和装置、电子设备及介质。

背景技术：

1、在图像处理领域，人工智能图像信号处理器(artificial intelligence imagesignal processor，aiisp)技术凭借其卓越的性能和先进的算法，已经在安全监控等众多领域取得了极为广泛的应用。相较于传统的图像处理算法，aiisp技术在处理效果上展现出了显著的优势，明显超越了传统算法的性能上限，为相关领域带来了更高的图像处理质量和更精准的分析结果。

2、然而，随着技术的不断发展和应用需求的日益增长，aiisp技术在实际应用中也面临着一些亟待解决的挑战，其中包括高计算需求带来的功耗难题。神经网络处理单元(neural processing unit，npu)作为aiisp技术的核心组成部分，在进行复杂的图像处理任务时，需要消耗大量的计算资源，这直接导致了其对功耗的要求极高。这一特性使得aiisp技术在一些依靠电池供电的产品应用中受到了极大的限制。例如，在移动设备、便携式监控设备等场景下，过高的功耗会严重影响设备的续航能力，从而制约了aiisp技术的广泛应用。

3、目前，现有技术手段是通过简化网络模型的复杂度来降低功耗以及减少计算资源的消耗。这种方法在一定程度上确实能够缓解高功耗的问题，但同时也不可避免地带来了一些负面影响。由于网络模型复杂度的降低，其对图像信息的表征和学习能力也会随之减弱，进而不可避免地导致图像质量出现下降的情况。这不仅影响了图像的视觉效果，还可能在某些对图像质量要求较高的应用场景中，如医学影像分析、高精度目标识别等，导致错误的判断和决策。

技术实现思路

1、本公开提供基于神经网络的图像去噪方法和装置、电子设备及介质，其能够解决现有技术在图像去噪过程中面临的高计算功耗问题。

2、第一方面，本公开实施例提供一种基于神经网络的图像去噪方法。所述方法包括：对视频帧序列中的各个帧图像分别进行分块，得到分别具有对应编号的多个图像块；基于第一神经网络对当前帧图像中所选编号的所述图像块进行去噪处理，得到第一图像，所述图像块的所选编号与所述当前帧图像在所述视频帧序列中的帧序号相对应；基于第二神经网络对所述当前帧图像中的各个图像块进行去噪处理，得到第二图像，所述第二神经网络的复杂度低于所述第一神经网络的复杂度；以及将所述第一图像和所述第二图像进行融合，得到融合图像。

3、在第一方面的一种实现方式中，基于第一神经网络对当前帧图像中所选编号的所述图像块进行去噪处理包括：获取所述当前帧图像在所述视频帧序列中的帧序号；基于所述帧序号确定由所述第一神经网络待处理的图像块编号；从所述当前帧图像中获取与所述待处理的图像块编号相对应的图像块；以及将获取的所述图像块输入至所述第一神经网络进行去噪处理得到去噪图像块。

4、在第一方面的一种实现方式中，基于第二神经网络对所述当前帧图像中的各个图像块进行去噪处理包括：遍历获取所述当前帧图像中的各个所述图像块；将获取的各个所述图像块输入至所述第二神经网络进行去噪处理，得到各个去噪图像块；以及将各个所述去噪图像块进行组合。

5、在第一方面的一种实现方式中，将所述第一图像和所述第二图像进行融合包括：遍历获取所述当前帧图像中的各个所述图像块，判断当前图像块是否为所述所选编号的图像块；若是，则基于所述第一图像和所述第二图像确定所述当前图像块内的像素；否则基于前一帧图像和所述第二图像确定所述当前图像块内的像素。

6、在第一方面的一种实现方式中，基于所述第一图像和所述第二图像确定所述当前图像块内的像素包括：基于运动检测算法获取所述当前图像块内各像素的运动判决权重；基于所述运动判决权重划分出所述当前图像块的运动区域和静止区域；基于所述第一图像确定所述静止区域内的像素；以及基于所述第二图像确定所述运动区域内的像素。

7、在第一方面的一种实现方式中，基于前一帧图像和所述第二图像确定所述当前图像块内的像素包括：基于运动检测算法获取所述当前图像块内各像素的运动判决权重；基于所述运动判决权重划分出所述当前图像块的运动区域和静止区域；基于所述前一帧图像确定所述静止区域内的像素；以及基于所述第二图像确定所述运动区域内的像素。

8、在第一方面的一种实现方式中，基于所述前一帧图像确定所述静止区域内的像素包括：判断所述当前图像块是否为所述所选编号之前的所述图像块；若是，则从所述第一神经网络输出的与所述前一帧图像相对应的所述第一图像中，获取与所述静止区域位置对应的像素，作为所述静止区域的像素；否则从所述第二神经网络输出的与所述前一帧图像相对应的所述第二图像中，获取与所述静止区域位置对应的像素，作为所述静止区域的像素。

9、在第一方面的一种实现方式中，基于所述运动判决权重划分出所述当前图像块的运动区域和静止区域包括：遍历获取所述当前图像块中的各个像素，判断当前像素的所述运动判决权重是否小于预设阈值；若是，则将所述当前像素作为所述运动区域的像素；否则将所述当前像素作为所述静止区域的像素。

10、在第一方面的一种实现方式中，对视频帧序列中的各个帧图像分别进行分块包括：采用均匀分块策略对所述视频帧序列中的每一帧图像进行分块。

11、第二方面，本公开实施例提供一种基于神经网络的图像去噪装置。所述装置包括：分块模块，被配置为对视频帧序列中的各个帧图像分别进行分块，得到分别具有对应编号的多个图像块；第一网络模块，被配置为基于第一神经网络对当前帧图像中所选编号的所述图像块进行去噪处理，得到第一图像，所述图像块的所选编号与所述当前帧图像在所述视频帧序列中的帧序号相对应；第二网络模块，被配置为基于第二神经网络对所述当前帧图像中的各个图像块进行去噪处理，得到第二图像，所述第二神经网络的复杂度低于所述第一神经网络的复杂度；以及图像融合模块，被配置为将所述第一图像和所述第二图像进行融合，得到融合图像。

12、第三方面，本公开实施例提供一种电子设备。所述电子设备包括：存储器，被配置为存储可执行程序；以及处理器，被配置为执行所述程序，以使所述电子设备执行根据上述任一项所述的图像去噪方法。

13、第四方面，本公开实施例一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，该程序被执行时实现根据上述任一项所述的图像去噪方法。

14、根据本公开实施例所述的基于神经网络的图像去噪方法和装置、设备及介质中，通过采用双网络融合策略进行图像去噪，充分发挥了不同复杂度神经网络的优势，实现了以低复杂度和低功耗优化静止区域去噪效果的目标。此外，本公开采用分块处理策略将高分辨率图像分成较小的图像块进行处理，在不增加额外带宽消耗的同时，极大减少了数据传输量，提高了数据传输效率。

1.一种基于神经网络的图像去噪方法，其特征在于，包括：

2.根据权利要求1所述的图像去噪方法，其特征在于，基于第一神经网络对当前帧图像中所选编号的所述图像块进行去噪处理包括：

3.根据权利要求1所述的图像去噪方法，其特征在于，基于第二神经网络对所述当前帧图像中的各个图像块进行去噪处理包括：

4.根据权利要求1所述的图像去噪方法，其特征在于，将所述第一图像和所述第二图像进行融合包括：

5.根据权利要求4所述的图像去噪方法，其特征在于，基于所述第一图像和所述第二图像确定所述当前图像块内的像素包括：

6.根据权利要求4所述的图像去噪方法，其特征在于，基于前一帧图像和所述第二图像确定所述当前图像块内的像素包括：

7.根据权利要求6所述的图像去噪方法，其特征在于，基于所述前一帧图像确定所述静止区域内的像素包括：

8.根据权利要求6所述的图像去噪方法，其特征在于，基于所述运动判决权重划分出所述当前图像块的运动区域和静止区域包括：

9.根据权利要求1所述的图像去噪方法，其特征在于，对视频帧序列中的各个帧图像分别进行分块包括：

10.一种基于神经网络的图像去噪装置，其特征在于，包括：

11.一种电子设备，其特征在于，包括：

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被执行时实现根据权利要求1至9中任一项所述的图像去噪方法。