1.本公开涉及图像处理
技术领域：
：，具体涉及一种视频去噪方法、视频去噪装置、计算机可读介质和电子设备。
背景技术：
：：2.随着科学技术的飞速发展，视频或者图像的清晰度越来越得到人们的关注。在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备等各种因素的影响，视频或者图像的清晰度经常受到噪声干扰，使视频或者图像的质量下降，从而影响视频或者图像的视觉效果。因此，对视频或者图像去噪对于提升视频或者图像的质量是非常关键且有必要的。3.目前，相关的去噪方案中，一般是对整个图像的所有区域进行相同的去噪，但是，对整个图像的所有区域进行相同的去噪，可能导致部分图像区域的纹理细节缺失，或者导致部分图像区域的去噪程度差，图像去噪效果差。技术实现要素：4.本公开的目的在于提供一种视频去噪方法、视频去噪装置、计算机可读介质和电子设备，进而至少在一定程度上避免相关去噪方案中对图像进行去噪导致部分图像区域的纹理细节缺失，或者导致部分图像区域的去噪程度差，图像去噪效果差的问题。5.根据本公开的第一方面，提供一种视频去噪方法，包括：6.获取输入图像帧，并确定所述输入图像帧的场景类型；7.根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；8.基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；9.将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。10.根据本公开的第二方面，提供一种视频去噪装置，包括：11.场景类型确定模块，用于获取输入图像帧，并确定所述输入图像帧的场景类型；12.场景区域分布图生成模块，用于根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；13.去噪图像生成模块，用于基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；14.去噪视频生成模块，用于将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。15.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。16.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：17.处理器；以及18.存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。19.本公开的一种实施例所提供的视频去噪方法，确定输入图像帧的场景类型，根据场景类型对输入图像帧进行场景区域划分处理，得到场景区域分布图，并基于场景区域分布图对输入图像帧进行图像去噪，生成去噪图像；将输入图像帧、场景区域分布图以及去噪图像进行融合，生成目标图像帧，以根据目标图像帧生成去噪后的视频。一方面，通过图像对应的场景类型指导图像去噪，能够实现对不同场景类型下的图像进行适应性区域划分，并结合区域划分信息进行图像去噪，有效保证不同的场景区域实现不同的去噪强度，避免去噪导致图像纹理缺失或者部分区域去噪强度弱的问题，提升去噪效果，提升图像去噪算法的灵活性；另一方面，对输入图像帧、场景区域分布图以及去噪图像进行融合实现图像帧的进一步去噪，进一步提升去噪后的图像的纹理细节的质量，提升去噪效果。20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：22.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；23.图2示出了可以应用本公开实施例的一种电子设备的示意图；24.图3示意性示出本公开示例性实施例中一种视频去噪方法的流程图；25.图4示意性示出本公开示例性实施例中一种生成场景区域分布图的流程图；26.图5示意性示出本公开示例性实施例中一种生成亮度区域分布图的流程图；27.图6示意性示出本公开示例性实施例中一种对图像亮度信息进行增强处理的流程图；28.图7示意性示出本公开示例性实施例中一种对图像亮度信息进行平滑滤波处理的流程图；29.图8示意性示出本公开示例性实施例中一种生成色度区域分布图的流程图；30.图9示意性示出本公开示例性实施例中一种生成细节程度区域分布图的流程图；31.图10示意性示出本公开示例性实施例中一种生成输入图像帧对应的去噪图像的流程图；32.图11示意性示出本公开示例性实施例中一种对输入图像帧进行时域去噪的流程图；33.图12示意性示出本公开示例性实施例中视频去噪装置的组成示意图。具体实施方式34.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。35.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。36.图1示出了可以应用本公开实施例的一种视频去噪方法及装置的示例性应用环境的系统架构的示意图。37.如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。38.本公开实施例所提供的视频去噪方法一般由服务器105执行，相应地，视频去噪装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的视频去噪方法也可以由终端设备101、102、103执行，相应的，视频去噪装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。39.本公开的示例性实施方式提供一种用于实现视频去噪方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行视频去噪方法。40.下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。41.如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(universalserialbus，usb)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriberidentificationmodule，sim)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。42.处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(applicationprocessor，ap)、调制解调处理器、图形处理器(graphicsprocessingunit，gpu)、图像信号处理器(imagesignalprocessor，isp)、控制器、视频编解码器、数字信号处理器(digitalsignalprocessor，dsp)、基带处理器和/或神经网络处理器(neural‑networkprocessingunit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。43.npu为神经网络(neural‑network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。44.处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。45.充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。46.移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2g/3g/4g/5g等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(wirelesslocalareanetworks，wlan)(如无线保真(wirelessfidelity，wi‑fi)网络)、蓝牙(bluetooth，bt)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。47.移动终端200通过gpu、显示屏290及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏290和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。48.移动终端200可以通过isp、摄像模组291、视频编解码器、gpu、显示屏290及应用处理器等实现拍摄功能。其中，isp用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。49.外部存储器接口222可以用于连接外部存储卡，例如microsd卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。50.内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。51.移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。52.深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。53.压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。54.陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。55.此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。56.移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、sim卡接口295等。57.相关技术中，一种去噪方案是对图像中的人脸区域识别进行特征提取后，通过直方图均衡的方式做增强与去噪；另一种技术方案是利用区域划分和字典检索方式对图像进行区域划分，并对不同区域进行去噪并融合；再一种技术方案是利用图像亮度信息进行简单区域划分，并针对不同的区域进行去噪并融合输出。但是，这几种去噪方案均没有结合场景识别信息对图像进行区域划分，并对不同区域进行自适应去噪；没有场景识别信息的图像去噪，并不会针对单独场景处理，各场景区域的去噪程度一致，导致部分场景区域的纹理细节缺失、且部分场景去噪程度较差，导致最终的图像去噪效果差。58.基于相关技术中的一个或者多个问题，下面以服务端执行为例，对本公开示例性实施方式的视频去噪方法进行具体说明。59.图3示出了本示例性实施方式中一种视频去噪方法的流程，可以包括以下步骤s310至步骤s340：60.在步骤s310中，获取输入图像帧，并确定所述输入图像帧的场景类型。61.在一示例性实施例中，输入图像帧是指视频中当前时刻输入的、需要进行去噪处理的图像帧，当然，输入图像帧也可以是输入的单张图像，本示例实施例不以此为限。62.场景类型是指图像中图像内容所呈现的真实场景的分类，例如，场景类型可以包括人脸场景、夜晚场景、天空场景、沙滩场景、云彩场景、植物场景、鸟类场景等，当然，以上场景类型仅是示意性举例说明，实际应用场景中的场景类型由开发人员自定义设置，本示例实施例对此不做任何特殊限定。63.可以通过预先构建的图像场景识别模型识别输入图像帧对应的场景类型，例如，图像场景识别模型可以是多标签图像分类模型等深度学习模型；当然，还可以通过通过其他方式识别识别输入图像帧对应的场景类型，本示例实施例中对输入图像帧的场景类型的识别并不仅限于基于人工智能(artificialintelligence，ai)技术的图像场景识别模型。64.在步骤s320中，根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图。65.在一示例性实施例中，场景区域分布图(scenemap)可以表征输入图像帧中的各个像素点属于场景信息(sceneinfo)对应的场景区域的概率，场景区域分布图中的值越大，则可以认为越接近识别场景。66.在步骤s330中，基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像。67.在一示例性实施例中，去噪图像是指基于场景区域分布图对输入图像帧进行多维度去噪后得到图像，例如，去噪图像可以是基于场景区域分布图对输入图像帧进行空域去噪后得到的图像，也可以是基于场景区域分布图对输入图像帧进行时域去噪后得到的图像，当然，还可以是基于场景区域分布图对输入图像帧进行其他类型的去噪处理得到的图像，本示例实施例对此不做特殊限定。68.在步骤s340中，将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。69.在一示例性实施例中，目标图像帧是指结合场景信息将输入图像帧、场景区域分布图以及去噪图像按照不同比重进行融合后生成的图像，即对输入图像帧进行去噪处理后得到的最终图像，在将视频对应的所有输入图像帧进行去噪处理后，得到多个目标图像帧，并将多个目标图像帧进行拼接后得到去噪后的视频，完成对原视频的去噪处理。70.下面，对步骤s310至步骤s340进行详细说明。71.在一示例性实施例中，在对输入帧图像进行去噪之前，可以先确定输入图像帧的场景类型，具体可以提取输入图像帧的场景特征信息，进而可以根据场景特征信息确定输入图像帧的场景类型。72.其中，场景特征信息是指能够表征输入图像帧中场景特征的信息，例如，可以采用预先训练的多标签图像分类模型识别输入图像帧对应的场景类型的方案，那么，可以将输入图像帧输入到多标签图像分类模型中，得到输入图像帧的多个图像标签(tag)，进而可以根据预先设置的图像标签与场景类型的对应关系确定输入图像帧的场景类型，如将输入图像帧输入到多标签图像分类模型中输出10个图像标签，其中7个图像标签归属于场景类型1，3个图像标签归属于场景类型2，则可以认为输入图像帧对应的场景类型为场景类型1。73.举例而言，对于输入图像帧，将输入图像帧输入到多标签图像分类模型中，输出的图像标签为{蓝天，白云，风筝}，而图像标签为{蓝天，白云，风筝}均属于天空场景类型对应的图像标签集合，因此，可以认为该输入图像帧的场景类型为天空场景，当然，此处仅是示意性举例说明，本示例实施例对此不做特殊限定。74.在一示例性实施例中，可以通过图4中的步骤实现根据场景类型对输入图像帧进行场景区域划分处理得到场景区域分布图，参考图4所示，具体可以包括步骤s410至步骤s440：75.步骤s410，基于所述场景类型对所述输入图像帧进行亮度区域划分处理，得到亮度区域分布图；76.步骤s420，基于所述场景类型对所述输入图像帧进行色度区域划分处理，得到色度区域分布图；77.步骤s430，基于所述场景类型对所述输入图像帧进行细节程度区域划分处理，得到细节程度区域分布图；以及78.步骤s440，通过所述亮度区域分布图、所述色度区域分布图和所述细节程度区域分布图中的任意一种区域分布图或者多种区域分布图的融合，得到场景区域分布图。79.其中，步骤s410至步骤s430为场景区域的划分处理方式，在实际应用中，可以根据实际情况选择步骤s410至步骤s430中任意一种划分处理方式实现根据场景类型对输入图像帧进行场景区域划分处理，例如，仅通过场景类型对输入图像帧进行亮度区域划分处理，并将亮度区域分布图作为输入图像帧的场景区域分布图；也可以选择步骤s410至步骤s430中任意两种划分处理方式的组合，实现根据场景类型对输入图像帧进行场景区域划分处理，例如可以通过场景类型对输入图像帧进行亮度区域划分处理，以及通过场景类型对输入图像帧进行细节程度区域划分处理，并将亮度区域分布图以及细节程度区域分布图进行融合，并将融合后的分布图作为输入图像帧的场景区域分布图；当然，还可以将步骤s410至步骤s430中三种划分处理方式的组合，实现根据场景类型对输入图像帧进行场景区域划分处理，本示例实施例对此不做特殊限定。80.亮度区域分布图(lummap)是指按照场景类型对输入图像帧的亮度信息(或y通道的值)进行区域划分得到的分布图，亮度区域分布图可以表征各个像素点的亮度信息属于该场景类型对应的场景区域的概率，亮度区域分布图中的值越大，则可以认为该像素点的亮度信息越接近识别场景。81.色度区域分布图(chromamap)是指按照场景类型对输入图像帧的饱和度信息和色相信息(或uv通道的值)进行区域划分得到的分布图，色度区域分布图可以表征各个像素点的饱和度信息和色相信息属于该场景类型对应的场景区域的概率，色度区域分布图中的值越大，则可以认为该像素点的饱和度信息和色相信息越接近识别场景。82.细节程度区域分布图(detailmap)是指按照场景类型对输入图像帧的纹理细节复杂程度进行区域划分得到的分布图，细节程度区域分布图可以表征输入图像帧各个区域的纹理复杂度，细节程度区域分布图中的值越大，可以认为该图像区域的纹理细节越复杂。83.通过步骤s410至步骤s430中一种或者多种处理方式的组合可以得到输入图像帧对应的亮度区域分布图、色度区域分布图和细节程度区域分布图中任意一种或者多种，最后，可以通过步骤s440将亮度区域分布图、色度区域分布图和细节程度区域分布图中任意一种区域分布图，或者多种区域分布图的融合作为输入图像帧的场景区域分布图。84.在一示例性实施例中，步骤s410可以包括图5中的步骤s510至步骤s530，实现基于场景类型对输入图像帧的亮度区域划分处理，参考图5所示，具体如下：85.步骤s510，在第一颜色空间下提取所述输入图像帧的图像亮度信息；86.步骤s520，基于所述场景类型对所述图像亮度信息进行增强处理，得到增强后的图像亮度信息；以及87.步骤s530，对所述增强后的图像亮度信息进行平滑去噪处理，得到亮度区域分布图。88.其中，第一颜色空间是指能够提取图像的亮度信息的颜色模型，例如，第一颜色空间可以是yuv颜色空间(y通道表示亮度信息，u通道和v通道表示色度信息)，也可以是lab颜色空间(l通道表示亮度信息，a通道包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)，b通道包括的颜色是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)，lab颜色空间弥补了rgb颜色空间和cmyk颜色空间的色彩模式不足)，当然，第一颜色空间还可以是其他类型的能够提取图像亮度信息的颜色模型，本示例实施例对此不做特殊限定。89.在提取图像亮度信息之前，如果检测到输入图像帧的颜色空间为rgb颜色空间等无法提取亮度信息的颜色模型，可以将输入图像帧的颜色空间转换为第一颜色空间，具体转换的方式如现有技术，此处不再赘述。90.结合场景类型对图像亮度信息进行增强处理，并对增强后的图像亮度信息进行平滑去噪处理，能够对亮度区域分布图中的噪声进行初步过滤，为后续的输入图像帧的去噪做好基础。91.具体的，可以通过图6中的步骤实现步骤s520中对图像亮度信息的增强处理，参考图6所示，具体可以包括：92.步骤s610，基于所述场景类型获取所述输入图像帧对应的亮度阈值；93.步骤s620，根据所述亮度阈值确定映射曲线，并基于所述映射曲线对所述图像亮度信息进行分段线性映射，得到增强后的图像亮度信息。94.其中，亮度阈值(lumlut)是指从预先设计好的各场景类型对应的显示查找表(look‑up‑table，lut)中筛选的当前场景类型对应的阈值数据，映射曲线(curvemapping)是指用于以分段线性映射的方式增强图像各部分的反差的曲线，即可以通过映射曲线增加图像中感兴趣的亮度(灰度)区域，相对抑制不感兴趣的亮度(灰度)区域。95.可以根据场景类型从显示查找表中获取输入图像帧对应的亮度阈值，显示查找表中存储的亮度阈值与映射曲线的点数相对应，例如，本实施例可以采用5点的映射曲线，则每个场景类型的亮度阈值可以是5*2组数据，分别代表映射曲线的输入输出坐标点(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。通过获取的亮度阈值构成映射曲线，并通过映射曲线对特定场景中的图像亮度信息的不同亮度区域进行赋值，实现对图像亮度信息的增强处理。96.具体的，可以通过图7中的步骤实现步骤s530中对增强后的图像亮度信息的平滑去噪处理，参考图7所示，具体可以包括：97.步骤s710，对所述增强后的图像亮度信息进行形态学处理，得到边缘扩张后的图像亮度信息，所述形态学处理包括图像膨胀处理和/或图像腐蚀处理；98.步骤s720，对所述边缘扩张后的图像亮度信息进行平滑滤波处理，得到亮度区域分布图。99.其中，形态学图像处理(morphologicalimageprocessing)是指一系列处理图像的形状特征的图像处理技术，形态学图像处理的基本思想是利用一种特殊的结构元(structuringelements，se)来测量或提取输入图像中对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象最为本质(最具区分能力－mostdiscriminative)的形状特征，实现图像中的形状特征边缘扩张的效果。100.具体的，形态学图像处理可以是图像膨胀处理(dilation)，也可以是图像腐蚀处理(erosion)，当然，形态学图像处理还可以是开运算(一般是对图像利用结构元先腐蚀处理再膨胀处理称为开运算)、闭运算(一般是对图像利用结构元先膨胀处理再腐蚀处理称为开运算)、白色顶帽变换(一般是指原图像与开运算结果图之差)或者黑色顶帽变换(一般是指闭运算结果图与原图像之差)，本示例实施例度次不做特殊限定。101.可以根据预先设置好的各场景类型的形态学图像处理模板，对图像亮度信息进行不同程度的图像膨胀处理和图像腐蚀处理，102.在通过对图像亮度信息进行形态学处理之后，对输出的图像亮度信息进行平滑滤波处理，以降低输出的图像亮度信息中的噪声干扰，例如，可以通过频域滤波函数lpfilter对输出的图像亮度信息进行平滑滤波，得到输入图像帧对应的亮度区域分布图，降低亮度区域分布图的锐度。103.在一示例性实施例中，步骤s420可以包括图8中的步骤s810至步骤s840，实现基于场景类型对输入图像帧的色度区域划分处理，参考图8所示，具体如下：104.步骤s810，在第二颜色空间下提取所述输入图像帧的饱和度信息和色相信息；105.步骤s820，基于所述场景类型将所述饱和度信息和色相信息进行融合，得到图像色度信息；106.步骤s830，基于所述场景类型对所述图像色度信息进行增强处理，得到增强后的图像色度信息；以及107.步骤s840，对所述增强后的图像色度信息进行平滑去噪处理，得到色度区域分布图。108.其中，第二颜色空间是指能够用于提取输入图像帧中的饱和度信息和色相信息的颜色模型，例如，第二颜色空间可以是rgb颜色空间，也可以是hsv颜色空间(h通道可以表示色相信息hue，s通道可以表示饱和度信息saturation，v通道可以表示明度信息value)，当然，第二颜色空间还可以是其他类型的能够用于提取输入图像帧中的饱和度信息和色相信息的颜色模型，本示例实施例对此不做限定。109.可以将饱和度信息和色相信息按照场景类型对应的当前场景信息进行融合，结合在一张图中，得到图像色度信息，然后可以根据输入图像帧的场景类型从显示查找表lut中确定图像色度阈值，并根据图像色度阈值分别确定图像色度映射曲线，并基于图像色度映射曲线对图像色度信息进行分段线性映射，得到增强后的图像色度信息，具体的分段线性映射的过程可以参考对亮度区域分布图的处理，此处不再赘述。110.当然，也可以在基于场景类型将饱和度信息和色相信息进行融合之前，先根据输入图像帧的场景类型从显示查找表lut中确定饱和度阈值和色相阈值，并根据饱和度阈值和色相阈值分别确定饱和度映射曲线和色相映射曲线，并基于饱和度映射曲线对饱和度信息进行分段线性映射，得到增强后的饱和度信息，以及基于色相映射曲线色相信息对色相信息进行分段线性映射，得到增强后的色相信息，具体的分段线性映射的过程可以参考对亮度区域分布图的处理，此处不再赘述。最后，可以将增强后的饱和度信息以及增强后的色相信息按照场景类型对应的当前场景信息结合在一起，作为输入图像帧增强后的图像色度信息。111.进一步的，可以基于场景类型对图像色度信息进行平滑去噪处理，即对增强后的图像色度信息进行形态学图像处理、平滑滤波处理，得到色度区域分布图，具体的形态学图像处理和平滑滤波处理的处理过程可以参考对图像亮度信息的形态学图像处理和平滑滤波处理，此处不再赘述。112.在通过对图像色度信息进行增强处理以及平滑去噪处理之后，能够有效降低色度区域分布图的噪声干扰，保证后续输入图像帧的去噪效果。113.在一示例性实施例中，步骤s430可以包括图9中的步骤s910至步骤s930，实现基于场景类型对输入图像帧的细节程度区域的划分处理，参考图9所示，具体如下：114.步骤s910，在第一颜色空间下提取所述输入图像帧的图像亮度信息，并对所述图像亮度信息进行边缘检测，得到图像细节程度信息；115.步骤s920，基于所述场景类型对所述图像细节程度信息进行增强处理，得到增强后的图像细节程度信息；以及116.步骤s930，对所述增强后的图像细节程度信息进行平滑去噪处理，得到细节程度区域分布图。117.其中，边缘检测是指提取图像中纹理细节特征的检测方式，边缘检测的目的是标识数字图像中亮度变化明显的点，例如，可以通过保边滤波结合边缘检测算子(如sobel算子、kirsch算子、canny算子等)的方式对输入图像帧的图像亮度信息进行边缘检测，当然，也可以通过其他的边缘检测方式对图像亮度信息进行边缘检测，本示例实施例不以此为限。118.同样的，也对得到的图像细节程度信息进行增强处理(分段线性映射)和平滑去噪处理(形态学处理和平滑滤波处理)，得到细节程度区域分布图，具体处理过程参考对图像亮度信息的处理过程，此处不再赘述。119.在一示例性实施例中，步骤s330可以包括图10中的步骤s1010至步骤s1030，实现基于场景区域分布图对输入图像帧的去噪，参考图10所示，具体可以包括：120.步骤s1010，基于所述场景区域分布图对所述输入图像帧进行空域去噪，生成空域去噪图像；和/或121.步骤s1020，基于所述场景区域分布图对所述输入图像帧进行时域去噪，生成时域去噪图像；122.步骤s1030，将所述空域去噪图像和/或所述时域去噪图像作为所述去噪图像。123.其中，空域去噪是指对视频中的单帧图像进行图像内容去噪，主要针对静止的图像，时域去噪是指结合视频中的前后多帧进行去噪，主要针对运动的图像。对输入图像帧分别进行空域去噪、时域去噪，并将空域去噪图像和时域去噪图像作为参与融合处理的去噪图像，能够有效降低视频中多维度的噪声，提升视频的去噪效果。124.需要说明的是，在基于场景区域分布图对输入图像帧的去噪的过程中，可以选择仅空域去噪，或者选择仅时域去噪，或者选择时域去噪和空域去噪结合的方式去噪，具体可以根据实际情况进行选择，本示例实施例对此不做特殊限定。125.具体的，可以根据场景区域分布图获取输入图像帧对应的空域去噪滤波程度；并基于场景区域分布图和空域去噪滤波程度对输入图像帧进行空域去噪，生成空域去噪图像。126.其中，空域去噪滤波程度是指根据不同场景类型设置的各场景区域的去噪强度的数值，进而可以基于场景区域分布图和空域去噪滤波程度对输入图像帧的不同区域实现自适应空域去噪，避免对输入图像帧中的所有区域按照相同去噪强度进行去噪而导致图像中纹理缺失的问题。127.空域去噪可以采用非局部均值滤波算法(nonlocalmeans，nlm)，当然，也可以采用保边滤波、双边滤波、导向滤波等空域在去噪方式，本示例实施例对此不做特殊限定。优选的，可以根据场景区域分布图自适应调节空域去噪算法的去噪窗口大小、去噪强度，实现更好的空域去噪效果。128.具体的，步骤s1020可以包括图11中的步骤s1110至步骤s1130，实现基于场景区域分布图对输入图像帧的时域去噪，参考图11所示，具体可以包括：129.步骤s1110，选取所述输入图像帧对应的参考图像帧，并基于所述场景区域分布图获取所述输入图像帧对应的最大帧间融合程度；130.步骤s1120，对所述输入图像帧和所述参考图像帧进行图像对齐或者运动区域检测，得到鬼影保护分布图；131.步骤s1130，基于所述场景区域分布图、所述最大帧间融合程度和所述鬼影保护分布图，对所述输入图像帧和所述参考图像帧进行帧间融合，生成时域去噪图像。132.其中，参考图像帧是指从视频中选取的、指导输入图像帧进行时域去噪的图像帧，例如，参考图像帧可以是与输入图像帧在时间上相连接的前4帧图像，也可以是与输入图像帧在时间上相连接的后4帧图像，当然，也可以是输入图像帧在时间上相连接的前后各2帧图像，本示例实施例对此不做特殊限定。最大帧间融合程度是指根据不同场景类型设置的、将输入图像帧与参考图像帧进行融合的融合程度数值，用于指导输入图像帧与参考图像帧之间的融合。133.可以通过对输入图像帧和参考图像帧进行图像对齐或者运动区域检测，得到输入图像帧和参考图像帧之间的不同图像区域即鬼影保护分布图。具体的，在服务器或者终端设备的计算能力允许的情况下，可以对输入图像帧和参考图像帧进行精确度较高的图像对齐，而在服务器或者终端设备的计算能力不允许的情况下，对输入图像帧和参考图像帧进行精确度较低的运动区域检测。134.可以基于场景区域分布图、最大帧间融合程度和鬼影保护分布图指导融合比例的形式，将输入图像帧和参考图像帧进行帧间融合得到输入图像帧对应的时域去噪图像。135.通过根据场景类型或者场景区域分布图设定最大帧间融合程度，以及通过图像对齐或者运动区域检测获取鬼影保护分布图，进而通过场景区域分布图、最大帧间融合程度和鬼影保护分布图指导输入图像帧和参考图像帧进行帧间融合，能够有效降低输入图像帧的时域噪声，进一步提升输入图像帧的去噪效果。136.综上所述，本示例性实施方式中，确定输入图像帧的场景类型，根据场景类型对输入图像帧进行场景区域划分处理，得到场景区域分布图，并基于场景区域分布图对输入图像帧进行图像去噪，生成去噪图像；将输入图像帧、场景区域分布图以及去噪图像进行融合，生成目标图像帧，以根据目标图像帧生成去噪后的视频。一方面，通过图像对应的场景类型指导图像去噪，能够实现对不同场景类型下的图像进行适应性区域划分，并结合区域划分信息进行图像去噪，有效保证不同的场景区域实现不同的去噪强度，避免去噪导致图像纹理缺失或者部分区域去噪强度弱的问题，提升去噪效果，提升图像去噪算法的灵活性；另一方面，对输入图像帧、场景区域分布图以及去噪图像进行融合实现图像帧的进一步去噪，进一步提升去噪后的图像的纹理细节的质量，提升去噪效果。137.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。138.进一步的，参考图12所示，本示例的实施方式中还提供一种视频去噪装置1200，包括场景类型确定模块1210、场景区域分布图生成模块1220、去噪图像生成模块1230和去噪视频生成模块1240。其中：139.场景类型确定模块1210用于获取输入图像帧，并确定所述输入图像帧的场景类型；140.场景区域分布图生成模块1220用于根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；141.去噪图像生成模块1230用于基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；142.去噪视频生成模块1240用于将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。143.在一示例性实施例中，场景类型确定模块1210可以用于：144.提取所述输入图像帧的场景特征信息，所述场景特征信息包括图像标签；145.根据所述场景特征信息确定所述输入图像帧的场景类型。146.在一示例性实施例中，场景区域分布图生成模块1220可以包括以下一个或者多个分布图生成单元：147.亮度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行亮度区域划分处理，得到亮度区域分布图；148.色度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行色度区域划分处理，得到色度区域分布图；149.细节程度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行细节程度区域划分处理，得到细节程度区域分布图；以及150.场景区域分布图生成单元，用于通过所述亮度区域分布图、所述色度区域分布图和所述细节程度区域分布图中的任意一种区域分布图或者多种区域分布图的融合，得到场景区域分布图。151.在一示例性实施例中，亮度区域分布图生成单元可以用于：152.在第一颜色空间下提取所述输入图像帧的图像亮度信息；153.基于所述场景类型对所述图像亮度信息进行增强处理，得到增强后的图像亮度信息；以及154.对所述增强后的图像亮度信息进行平滑去噪处理，得到亮度区域分布图。155.在一示例性实施例中，色度区域分布图生成单元可以用于：156.在第二颜色空间下提取所述输入图像帧的饱和度信息和色相信息；157.基于所述场景类型将所述饱和度信息和色相信息进行融合，得到图像色度信息；158.基于所述场景类型对所述图像色度信息进行增强处理，得到增强后的图像色度信息；以及159.对所述增强后的图像色度信息进行平滑去噪处理，得到色度区域分布图。160.在一示例性实施例中，细节程度区域分布图生成单元可以用于：161.在第一颜色空间下提取所述输入图像帧的图像亮度信息，并对所述图像亮度信息进行边缘检测，得到图像细节程度信息；162.基于所述场景类型对所述图像细节程度信息进行增强处理，得到增强后的图像细节程度信息；以及163.对所述增强后的图像细节程度信息进行平滑去噪处理，得到细节程度区域分布图。164.在一示例性实施例中，亮度区域分布图生成单元还可以用于：165.基于所述场景类型获取所述输入图像帧对应的亮度阈值；166.根据所述亮度阈值确定映射曲线，并基于所述映射曲线对所述图像亮度信息进行分段线性映射，得到增强后的图像亮度信息。167.在一示例性实施例中，亮度区域分布图生成单元还可以用于：168.对所述增强后的图像亮度信息进行形态学处理，得到边缘扩张后的图像亮度信息，所述形态学处理包括图像膨胀处理和/或图像腐蚀处理；169.对所述边缘扩张后的图像亮度信息进行平滑滤波处理，得到亮度区域分布图。170.在一示例性实施例中，去噪图像生成模块1230可以包括空域去噪图像生成单元和/或时域去噪图像生成单元：171.空域去噪图像生成单元，用于基于所述场景区域分布图对所述输入图像帧进行空域去噪，生成空域去噪图像；和/或172.时域去噪图像生成单元，用于基于所述场景区域分布图对所述输入图像帧进行时域去噪，生成时域去噪图像；173.去噪图像生成单元，用于将所述空域去噪图像和/或所述时域去噪图像作为所述去噪图像。174.在一示例性实施例中，空域去噪图像生成单元可以用于：175.根据所述场景区域分布图获取所述输入图像帧对应的空域去噪滤波程度；176.基于所述场景区域分布图和所述空域去噪滤波程度对所述输入图像帧进行空域去噪，生成空域去噪图像。177.在一示例性实施例中，时域去噪图像生成单元可以用于：178.选取所述输入图像帧对应的参考图像帧，并基于所述场景区域分布图获取所述输入图像帧对应的最大帧间融合程度；179.对所述输入图像帧和所述参考图像帧进行图像对齐或者运动区域检测，得到鬼影保护分布图；180.基于所述场景区域分布图、所述最大帧间融合程度和所述鬼影保护分布图，对所述输入图像帧和所述参考图像帧进行帧间融合，生成时域去噪图像。181.上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。182.所属
技术领域：
：的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。183.本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图11中任意一个或多个步骤。184.需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。185.在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。186.此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。187.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。188.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12
技术领域：
：，具体涉及一种视频去噪方法、视频去噪装置、计算机可读介质和电子设备。
背景技术：
：：2.随着科学技术的飞速发展，视频或者图像的清晰度越来越得到人们的关注。在日常生活中，由于拍摄条件的限制以及发送设备、传输设备、接收设备等各种因素的影响，视频或者图像的清晰度经常受到噪声干扰，使视频或者图像的质量下降，从而影响视频或者图像的视觉效果。因此，对视频或者图像去噪对于提升视频或者图像的质量是非常关键且有必要的。3.目前，相关的去噪方案中，一般是对整个图像的所有区域进行相同的去噪，但是，对整个图像的所有区域进行相同的去噪，可能导致部分图像区域的纹理细节缺失，或者导致部分图像区域的去噪程度差，图像去噪效果差。技术实现要素：4.本公开的目的在于提供一种视频去噪方法、视频去噪装置、计算机可读介质和电子设备，进而至少在一定程度上避免相关去噪方案中对图像进行去噪导致部分图像区域的纹理细节缺失，或者导致部分图像区域的去噪程度差，图像去噪效果差的问题。5.根据本公开的第一方面，提供一种视频去噪方法，包括：6.获取输入图像帧，并确定所述输入图像帧的场景类型；7.根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；8.基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；9.将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。10.根据本公开的第二方面，提供一种视频去噪装置，包括：11.场景类型确定模块，用于获取输入图像帧，并确定所述输入图像帧的场景类型；12.场景区域分布图生成模块，用于根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；13.去噪图像生成模块，用于基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；14.去噪视频生成模块，用于将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。15.根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。16.根据本公开的第四方面，提供一种电子设备，其特征在于，包括：17.处理器；以及18.存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。19.本公开的一种实施例所提供的视频去噪方法，确定输入图像帧的场景类型，根据场景类型对输入图像帧进行场景区域划分处理，得到场景区域分布图，并基于场景区域分布图对输入图像帧进行图像去噪，生成去噪图像；将输入图像帧、场景区域分布图以及去噪图像进行融合，生成目标图像帧，以根据目标图像帧生成去噪后的视频。一方面，通过图像对应的场景类型指导图像去噪，能够实现对不同场景类型下的图像进行适应性区域划分，并结合区域划分信息进行图像去噪，有效保证不同的场景区域实现不同的去噪强度，避免去噪导致图像纹理缺失或者部分区域去噪强度弱的问题，提升去噪效果，提升图像去噪算法的灵活性；另一方面，对输入图像帧、场景区域分布图以及去噪图像进行融合实现图像帧的进一步去噪，进一步提升去噪后的图像的纹理细节的质量，提升去噪效果。20.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明21.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：22.图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；23.图2示出了可以应用本公开实施例的一种电子设备的示意图；24.图3示意性示出本公开示例性实施例中一种视频去噪方法的流程图；25.图4示意性示出本公开示例性实施例中一种生成场景区域分布图的流程图；26.图5示意性示出本公开示例性实施例中一种生成亮度区域分布图的流程图；27.图6示意性示出本公开示例性实施例中一种对图像亮度信息进行增强处理的流程图；28.图7示意性示出本公开示例性实施例中一种对图像亮度信息进行平滑滤波处理的流程图；29.图8示意性示出本公开示例性实施例中一种生成色度区域分布图的流程图；30.图9示意性示出本公开示例性实施例中一种生成细节程度区域分布图的流程图；31.图10示意性示出本公开示例性实施例中一种生成输入图像帧对应的去噪图像的流程图；32.图11示意性示出本公开示例性实施例中一种对输入图像帧进行时域去噪的流程图；33.图12示意性示出本公开示例性实施例中视频去噪装置的组成示意图。具体实施方式34.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。35.此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。36.图1示出了可以应用本公开实施例的一种视频去噪方法及装置的示例性应用环境的系统架构的示意图。37.如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有图像处理功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。38.本公开实施例所提供的视频去噪方法一般由服务器105执行，相应地，视频去噪装置一般设置于服务器105中。但本领域技术人员容易理解的是，本公开实施例所提供的视频去噪方法也可以由终端设备101、102、103执行，相应的，视频去噪装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。39.本公开的示例性实施方式提供一种用于实现视频去噪方法的电子设备，其可以是图1中的终端设备101、102、103或服务器105。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行视频去噪方法。40.下面以图2中的移动终端200为例，对电子设备的构造进行示例性说明。本领域技术人员应当理解，除了特别用于移动目的的部件之外，图2中的构造也能够应用于固定类型的设备。在另一些实施方式中，移动终端200可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。各部件间的接口连接关系只是示意性示出，并不构成对移动终端200的结构限定。在另一些实施方式中，移动终端200也可以采用与图2不同的接口连接方式，或多种接口连接方式的组合。41.如图2所示，移动终端200具体可以包括：处理器210、内部存储器221、外部存储器接口222、通用串行总线(universalserialbus，usb)接口230、充电管理模块240、电源管理模块241、电池242、天线1、天线2、移动通信模块250、无线通信模块260、音频模块270、扬声器271、受话器272、麦克风273、耳机接口274、传感器模块280、显示屏290、摄像模组291、指示器292、马达293、按键294以及用户标识模块(subscriberidentificationmodule，sim)卡接口295等。其中传感器模块280可以包括深度传感器2801、压力传感器2802、陀螺仪传感器2803等。42.处理器210可以包括一个或多个处理单元，例如：处理器210可以包括应用处理器(applicationprocessor，ap)、调制解调处理器、图形处理器(graphicsprocessingunit，gpu)、图像信号处理器(imagesignalprocessor，isp)、控制器、视频编解码器、数字信号处理器(digitalsignalprocessor，dsp)、基带处理器和/或神经网络处理器(neural‑networkprocessingunit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。43.npu为神经网络(neural‑network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现移动终端200的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。44.处理器210中设置有存储器。存储器可以存储用于实现六个模块化功能的指令：检测指令、连接指令、信息管理指令、分析指令、数据传输指令和通知指令，并由处理器210来控制执行。45.充电管理模块240用于从充电器接收充电输入。电源管理模块241用于连接电池242、充电管理模块240与处理器210。电源管理模块241接收电池242和/或充电管理模块240的输入，为处理器210、内部存储器221、显示屏290、摄像模组291和无线通信模块260等供电。46.移动终端200的无线通信功能可以通过天线1、天线2、移动通信模块250、无线通信模块260、调制解调处理器以及基带处理器等实现。其中，天线1和天线2用于发射和接收电磁波信号；移动通信模块250可以提供应用在移动终端200上的包括2g/3g/4g/5g等无线通信的解决方案；调制解调处理器可以包括调制器和解调器；无线通信模块260可以提供应用在移动终端200上的包括无线局域网(wirelesslocalareanetworks，wlan)(如无线保真(wirelessfidelity，wi‑fi)网络)、蓝牙(bluetooth，bt)等无线通信的解决方案。在一些实施例中，移动终端200的天线1和移动通信模块250耦合，天线2和无线通信模块260耦合，使得移动终端200可以通过无线通信技术与网络以及其他设备通信。47.移动终端200通过gpu、显示屏290及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏290和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器210可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。48.移动终端200可以通过isp、摄像模组291、视频编解码器、gpu、显示屏290及应用处理器等实现拍摄功能。其中，isp用于处理摄像模组291反馈的数据；摄像模组291用于捕获静态图像或视频；数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号；视频编解码器用于对数字视频压缩或解压缩，移动终端200还可以支持一种或多种视频编解码器。49.外部存储器接口222可以用于连接外部存储卡，例如microsd卡，实现扩展移动终端200的存储能力。外部存储卡通过外部存储器接口222与处理器210通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。50.内部存储器221可以用于存储计算机可执行程序代码，可执行程序代码包括指令。内部存储器221可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储移动终端200使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器221可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)等。处理器210通过运行存储在内部存储器221的指令和/或存储在设置于处理器中的存储器的指令，执行移动终端200的各种功能应用以及数据处理。51.移动终端200可以通过音频模块270、扬声器271、受话器272、麦克风273、耳机接口274及应用处理器等实现音频功能。例如音乐播放、录音等。52.深度传感器2801用于获取景物的深度信息。在一些实施例中，深度传感器可以设置于摄像模组291。53.压力传感器2802用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器2802可以设置于显示屏290。压力传感器2802的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。54.陀螺仪传感器2803可以用于确定移动终端200的运动姿态。在一些实施方式中，可以通过陀螺仪传感器2803确定移动终端200围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器2803可以用于拍摄防抖、导航、体感游戏场景等。55.此外，还可以根据实际需要在传感器模块280中设置其他功能的传感器，例如气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器、骨传导传感器等。56.移动终端200中还可包括其它提供辅助功能的设备。例如，按键294包括开机键，音量键等，用户可以通过按键输入，产生与移动终端200的用户设置以及功能控制有关的键信号输入。再如，指示器292、马达293、sim卡接口295等。57.相关技术中，一种去噪方案是对图像中的人脸区域识别进行特征提取后，通过直方图均衡的方式做增强与去噪；另一种技术方案是利用区域划分和字典检索方式对图像进行区域划分，并对不同区域进行去噪并融合；再一种技术方案是利用图像亮度信息进行简单区域划分，并针对不同的区域进行去噪并融合输出。但是，这几种去噪方案均没有结合场景识别信息对图像进行区域划分，并对不同区域进行自适应去噪；没有场景识别信息的图像去噪，并不会针对单独场景处理，各场景区域的去噪程度一致，导致部分场景区域的纹理细节缺失、且部分场景去噪程度较差，导致最终的图像去噪效果差。58.基于相关技术中的一个或者多个问题，下面以服务端执行为例，对本公开示例性实施方式的视频去噪方法进行具体说明。59.图3示出了本示例性实施方式中一种视频去噪方法的流程，可以包括以下步骤s310至步骤s340：60.在步骤s310中，获取输入图像帧，并确定所述输入图像帧的场景类型。61.在一示例性实施例中，输入图像帧是指视频中当前时刻输入的、需要进行去噪处理的图像帧，当然，输入图像帧也可以是输入的单张图像，本示例实施例不以此为限。62.场景类型是指图像中图像内容所呈现的真实场景的分类，例如，场景类型可以包括人脸场景、夜晚场景、天空场景、沙滩场景、云彩场景、植物场景、鸟类场景等，当然，以上场景类型仅是示意性举例说明，实际应用场景中的场景类型由开发人员自定义设置，本示例实施例对此不做任何特殊限定。63.可以通过预先构建的图像场景识别模型识别输入图像帧对应的场景类型，例如，图像场景识别模型可以是多标签图像分类模型等深度学习模型；当然，还可以通过通过其他方式识别识别输入图像帧对应的场景类型，本示例实施例中对输入图像帧的场景类型的识别并不仅限于基于人工智能(artificialintelligence，ai)技术的图像场景识别模型。64.在步骤s320中，根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图。65.在一示例性实施例中，场景区域分布图(scenemap)可以表征输入图像帧中的各个像素点属于场景信息(sceneinfo)对应的场景区域的概率，场景区域分布图中的值越大，则可以认为越接近识别场景。66.在步骤s330中，基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像。67.在一示例性实施例中，去噪图像是指基于场景区域分布图对输入图像帧进行多维度去噪后得到图像，例如，去噪图像可以是基于场景区域分布图对输入图像帧进行空域去噪后得到的图像，也可以是基于场景区域分布图对输入图像帧进行时域去噪后得到的图像，当然，还可以是基于场景区域分布图对输入图像帧进行其他类型的去噪处理得到的图像，本示例实施例对此不做特殊限定。68.在步骤s340中，将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。69.在一示例性实施例中，目标图像帧是指结合场景信息将输入图像帧、场景区域分布图以及去噪图像按照不同比重进行融合后生成的图像，即对输入图像帧进行去噪处理后得到的最终图像，在将视频对应的所有输入图像帧进行去噪处理后，得到多个目标图像帧，并将多个目标图像帧进行拼接后得到去噪后的视频，完成对原视频的去噪处理。70.下面，对步骤s310至步骤s340进行详细说明。71.在一示例性实施例中，在对输入帧图像进行去噪之前，可以先确定输入图像帧的场景类型，具体可以提取输入图像帧的场景特征信息，进而可以根据场景特征信息确定输入图像帧的场景类型。72.其中，场景特征信息是指能够表征输入图像帧中场景特征的信息，例如，可以采用预先训练的多标签图像分类模型识别输入图像帧对应的场景类型的方案，那么，可以将输入图像帧输入到多标签图像分类模型中，得到输入图像帧的多个图像标签(tag)，进而可以根据预先设置的图像标签与场景类型的对应关系确定输入图像帧的场景类型，如将输入图像帧输入到多标签图像分类模型中输出10个图像标签，其中7个图像标签归属于场景类型1，3个图像标签归属于场景类型2，则可以认为输入图像帧对应的场景类型为场景类型1。73.举例而言，对于输入图像帧，将输入图像帧输入到多标签图像分类模型中，输出的图像标签为{蓝天，白云，风筝}，而图像标签为{蓝天，白云，风筝}均属于天空场景类型对应的图像标签集合，因此，可以认为该输入图像帧的场景类型为天空场景，当然，此处仅是示意性举例说明，本示例实施例对此不做特殊限定。74.在一示例性实施例中，可以通过图4中的步骤实现根据场景类型对输入图像帧进行场景区域划分处理得到场景区域分布图，参考图4所示，具体可以包括步骤s410至步骤s440：75.步骤s410，基于所述场景类型对所述输入图像帧进行亮度区域划分处理，得到亮度区域分布图；76.步骤s420，基于所述场景类型对所述输入图像帧进行色度区域划分处理，得到色度区域分布图；77.步骤s430，基于所述场景类型对所述输入图像帧进行细节程度区域划分处理，得到细节程度区域分布图；以及78.步骤s440，通过所述亮度区域分布图、所述色度区域分布图和所述细节程度区域分布图中的任意一种区域分布图或者多种区域分布图的融合，得到场景区域分布图。79.其中，步骤s410至步骤s430为场景区域的划分处理方式，在实际应用中，可以根据实际情况选择步骤s410至步骤s430中任意一种划分处理方式实现根据场景类型对输入图像帧进行场景区域划分处理，例如，仅通过场景类型对输入图像帧进行亮度区域划分处理，并将亮度区域分布图作为输入图像帧的场景区域分布图；也可以选择步骤s410至步骤s430中任意两种划分处理方式的组合，实现根据场景类型对输入图像帧进行场景区域划分处理，例如可以通过场景类型对输入图像帧进行亮度区域划分处理，以及通过场景类型对输入图像帧进行细节程度区域划分处理，并将亮度区域分布图以及细节程度区域分布图进行融合，并将融合后的分布图作为输入图像帧的场景区域分布图；当然，还可以将步骤s410至步骤s430中三种划分处理方式的组合，实现根据场景类型对输入图像帧进行场景区域划分处理，本示例实施例对此不做特殊限定。80.亮度区域分布图(lummap)是指按照场景类型对输入图像帧的亮度信息(或y通道的值)进行区域划分得到的分布图，亮度区域分布图可以表征各个像素点的亮度信息属于该场景类型对应的场景区域的概率，亮度区域分布图中的值越大，则可以认为该像素点的亮度信息越接近识别场景。81.色度区域分布图(chromamap)是指按照场景类型对输入图像帧的饱和度信息和色相信息(或uv通道的值)进行区域划分得到的分布图，色度区域分布图可以表征各个像素点的饱和度信息和色相信息属于该场景类型对应的场景区域的概率，色度区域分布图中的值越大，则可以认为该像素点的饱和度信息和色相信息越接近识别场景。82.细节程度区域分布图(detailmap)是指按照场景类型对输入图像帧的纹理细节复杂程度进行区域划分得到的分布图，细节程度区域分布图可以表征输入图像帧各个区域的纹理复杂度，细节程度区域分布图中的值越大，可以认为该图像区域的纹理细节越复杂。83.通过步骤s410至步骤s430中一种或者多种处理方式的组合可以得到输入图像帧对应的亮度区域分布图、色度区域分布图和细节程度区域分布图中任意一种或者多种，最后，可以通过步骤s440将亮度区域分布图、色度区域分布图和细节程度区域分布图中任意一种区域分布图，或者多种区域分布图的融合作为输入图像帧的场景区域分布图。84.在一示例性实施例中，步骤s410可以包括图5中的步骤s510至步骤s530，实现基于场景类型对输入图像帧的亮度区域划分处理，参考图5所示，具体如下：85.步骤s510，在第一颜色空间下提取所述输入图像帧的图像亮度信息；86.步骤s520，基于所述场景类型对所述图像亮度信息进行增强处理，得到增强后的图像亮度信息；以及87.步骤s530，对所述增强后的图像亮度信息进行平滑去噪处理，得到亮度区域分布图。88.其中，第一颜色空间是指能够提取图像的亮度信息的颜色模型，例如，第一颜色空间可以是yuv颜色空间(y通道表示亮度信息，u通道和v通道表示色度信息)，也可以是lab颜色空间(l通道表示亮度信息，a通道包括的颜色是从深绿色(低亮度值)到灰色(中亮度值)再到亮粉红色(高亮度值)，b通道包括的颜色是从亮蓝色(低亮度值)到灰色(中亮度值)再到黄色(高亮度值)，lab颜色空间弥补了rgb颜色空间和cmyk颜色空间的色彩模式不足)，当然，第一颜色空间还可以是其他类型的能够提取图像亮度信息的颜色模型，本示例实施例对此不做特殊限定。89.在提取图像亮度信息之前，如果检测到输入图像帧的颜色空间为rgb颜色空间等无法提取亮度信息的颜色模型，可以将输入图像帧的颜色空间转换为第一颜色空间，具体转换的方式如现有技术，此处不再赘述。90.结合场景类型对图像亮度信息进行增强处理，并对增强后的图像亮度信息进行平滑去噪处理，能够对亮度区域分布图中的噪声进行初步过滤，为后续的输入图像帧的去噪做好基础。91.具体的，可以通过图6中的步骤实现步骤s520中对图像亮度信息的增强处理，参考图6所示，具体可以包括：92.步骤s610，基于所述场景类型获取所述输入图像帧对应的亮度阈值；93.步骤s620，根据所述亮度阈值确定映射曲线，并基于所述映射曲线对所述图像亮度信息进行分段线性映射，得到增强后的图像亮度信息。94.其中，亮度阈值(lumlut)是指从预先设计好的各场景类型对应的显示查找表(look‑up‑table，lut)中筛选的当前场景类型对应的阈值数据，映射曲线(curvemapping)是指用于以分段线性映射的方式增强图像各部分的反差的曲线，即可以通过映射曲线增加图像中感兴趣的亮度(灰度)区域，相对抑制不感兴趣的亮度(灰度)区域。95.可以根据场景类型从显示查找表中获取输入图像帧对应的亮度阈值，显示查找表中存储的亮度阈值与映射曲线的点数相对应，例如，本实施例可以采用5点的映射曲线，则每个场景类型的亮度阈值可以是5*2组数据，分别代表映射曲线的输入输出坐标点(x1，y1)，(x2，y2)，(x3，y3)，(x4，y4)，(x5，y5)，当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。通过获取的亮度阈值构成映射曲线，并通过映射曲线对特定场景中的图像亮度信息的不同亮度区域进行赋值，实现对图像亮度信息的增强处理。96.具体的，可以通过图7中的步骤实现步骤s530中对增强后的图像亮度信息的平滑去噪处理，参考图7所示，具体可以包括：97.步骤s710，对所述增强后的图像亮度信息进行形态学处理，得到边缘扩张后的图像亮度信息，所述形态学处理包括图像膨胀处理和/或图像腐蚀处理；98.步骤s720，对所述边缘扩张后的图像亮度信息进行平滑滤波处理，得到亮度区域分布图。99.其中，形态学图像处理(morphologicalimageprocessing)是指一系列处理图像的形状特征的图像处理技术，形态学图像处理的基本思想是利用一种特殊的结构元(structuringelements，se)来测量或提取输入图像中对表达和描绘区域形状有意义的图像分量，使后续的识别工作能够抓住目标对象最为本质(最具区分能力－mostdiscriminative)的形状特征，实现图像中的形状特征边缘扩张的效果。100.具体的，形态学图像处理可以是图像膨胀处理(dilation)，也可以是图像腐蚀处理(erosion)，当然，形态学图像处理还可以是开运算(一般是对图像利用结构元先腐蚀处理再膨胀处理称为开运算)、闭运算(一般是对图像利用结构元先膨胀处理再腐蚀处理称为开运算)、白色顶帽变换(一般是指原图像与开运算结果图之差)或者黑色顶帽变换(一般是指闭运算结果图与原图像之差)，本示例实施例度次不做特殊限定。101.可以根据预先设置好的各场景类型的形态学图像处理模板，对图像亮度信息进行不同程度的图像膨胀处理和图像腐蚀处理，102.在通过对图像亮度信息进行形态学处理之后，对输出的图像亮度信息进行平滑滤波处理，以降低输出的图像亮度信息中的噪声干扰，例如，可以通过频域滤波函数lpfilter对输出的图像亮度信息进行平滑滤波，得到输入图像帧对应的亮度区域分布图，降低亮度区域分布图的锐度。103.在一示例性实施例中，步骤s420可以包括图8中的步骤s810至步骤s840，实现基于场景类型对输入图像帧的色度区域划分处理，参考图8所示，具体如下：104.步骤s810，在第二颜色空间下提取所述输入图像帧的饱和度信息和色相信息；105.步骤s820，基于所述场景类型将所述饱和度信息和色相信息进行融合，得到图像色度信息；106.步骤s830，基于所述场景类型对所述图像色度信息进行增强处理，得到增强后的图像色度信息；以及107.步骤s840，对所述增强后的图像色度信息进行平滑去噪处理，得到色度区域分布图。108.其中，第二颜色空间是指能够用于提取输入图像帧中的饱和度信息和色相信息的颜色模型，例如，第二颜色空间可以是rgb颜色空间，也可以是hsv颜色空间(h通道可以表示色相信息hue，s通道可以表示饱和度信息saturation，v通道可以表示明度信息value)，当然，第二颜色空间还可以是其他类型的能够用于提取输入图像帧中的饱和度信息和色相信息的颜色模型，本示例实施例对此不做限定。109.可以将饱和度信息和色相信息按照场景类型对应的当前场景信息进行融合，结合在一张图中，得到图像色度信息，然后可以根据输入图像帧的场景类型从显示查找表lut中确定图像色度阈值，并根据图像色度阈值分别确定图像色度映射曲线，并基于图像色度映射曲线对图像色度信息进行分段线性映射，得到增强后的图像色度信息，具体的分段线性映射的过程可以参考对亮度区域分布图的处理，此处不再赘述。110.当然，也可以在基于场景类型将饱和度信息和色相信息进行融合之前，先根据输入图像帧的场景类型从显示查找表lut中确定饱和度阈值和色相阈值，并根据饱和度阈值和色相阈值分别确定饱和度映射曲线和色相映射曲线，并基于饱和度映射曲线对饱和度信息进行分段线性映射，得到增强后的饱和度信息，以及基于色相映射曲线色相信息对色相信息进行分段线性映射，得到增强后的色相信息，具体的分段线性映射的过程可以参考对亮度区域分布图的处理，此处不再赘述。最后，可以将增强后的饱和度信息以及增强后的色相信息按照场景类型对应的当前场景信息结合在一起，作为输入图像帧增强后的图像色度信息。111.进一步的，可以基于场景类型对图像色度信息进行平滑去噪处理，即对增强后的图像色度信息进行形态学图像处理、平滑滤波处理，得到色度区域分布图，具体的形态学图像处理和平滑滤波处理的处理过程可以参考对图像亮度信息的形态学图像处理和平滑滤波处理，此处不再赘述。112.在通过对图像色度信息进行增强处理以及平滑去噪处理之后，能够有效降低色度区域分布图的噪声干扰，保证后续输入图像帧的去噪效果。113.在一示例性实施例中，步骤s430可以包括图9中的步骤s910至步骤s930，实现基于场景类型对输入图像帧的细节程度区域的划分处理，参考图9所示，具体如下：114.步骤s910，在第一颜色空间下提取所述输入图像帧的图像亮度信息，并对所述图像亮度信息进行边缘检测，得到图像细节程度信息；115.步骤s920，基于所述场景类型对所述图像细节程度信息进行增强处理，得到增强后的图像细节程度信息；以及116.步骤s930，对所述增强后的图像细节程度信息进行平滑去噪处理，得到细节程度区域分布图。117.其中，边缘检测是指提取图像中纹理细节特征的检测方式，边缘检测的目的是标识数字图像中亮度变化明显的点，例如，可以通过保边滤波结合边缘检测算子(如sobel算子、kirsch算子、canny算子等)的方式对输入图像帧的图像亮度信息进行边缘检测，当然，也可以通过其他的边缘检测方式对图像亮度信息进行边缘检测，本示例实施例不以此为限。118.同样的，也对得到的图像细节程度信息进行增强处理(分段线性映射)和平滑去噪处理(形态学处理和平滑滤波处理)，得到细节程度区域分布图，具体处理过程参考对图像亮度信息的处理过程，此处不再赘述。119.在一示例性实施例中，步骤s330可以包括图10中的步骤s1010至步骤s1030，实现基于场景区域分布图对输入图像帧的去噪，参考图10所示，具体可以包括：120.步骤s1010，基于所述场景区域分布图对所述输入图像帧进行空域去噪，生成空域去噪图像；和/或121.步骤s1020，基于所述场景区域分布图对所述输入图像帧进行时域去噪，生成时域去噪图像；122.步骤s1030，将所述空域去噪图像和/或所述时域去噪图像作为所述去噪图像。123.其中，空域去噪是指对视频中的单帧图像进行图像内容去噪，主要针对静止的图像，时域去噪是指结合视频中的前后多帧进行去噪，主要针对运动的图像。对输入图像帧分别进行空域去噪、时域去噪，并将空域去噪图像和时域去噪图像作为参与融合处理的去噪图像，能够有效降低视频中多维度的噪声，提升视频的去噪效果。124.需要说明的是，在基于场景区域分布图对输入图像帧的去噪的过程中，可以选择仅空域去噪，或者选择仅时域去噪，或者选择时域去噪和空域去噪结合的方式去噪，具体可以根据实际情况进行选择，本示例实施例对此不做特殊限定。125.具体的，可以根据场景区域分布图获取输入图像帧对应的空域去噪滤波程度；并基于场景区域分布图和空域去噪滤波程度对输入图像帧进行空域去噪，生成空域去噪图像。126.其中，空域去噪滤波程度是指根据不同场景类型设置的各场景区域的去噪强度的数值，进而可以基于场景区域分布图和空域去噪滤波程度对输入图像帧的不同区域实现自适应空域去噪，避免对输入图像帧中的所有区域按照相同去噪强度进行去噪而导致图像中纹理缺失的问题。127.空域去噪可以采用非局部均值滤波算法(nonlocalmeans，nlm)，当然，也可以采用保边滤波、双边滤波、导向滤波等空域在去噪方式，本示例实施例对此不做特殊限定。优选的，可以根据场景区域分布图自适应调节空域去噪算法的去噪窗口大小、去噪强度，实现更好的空域去噪效果。128.具体的，步骤s1020可以包括图11中的步骤s1110至步骤s1130，实现基于场景区域分布图对输入图像帧的时域去噪，参考图11所示，具体可以包括：129.步骤s1110，选取所述输入图像帧对应的参考图像帧，并基于所述场景区域分布图获取所述输入图像帧对应的最大帧间融合程度；130.步骤s1120，对所述输入图像帧和所述参考图像帧进行图像对齐或者运动区域检测，得到鬼影保护分布图；131.步骤s1130，基于所述场景区域分布图、所述最大帧间融合程度和所述鬼影保护分布图，对所述输入图像帧和所述参考图像帧进行帧间融合，生成时域去噪图像。132.其中，参考图像帧是指从视频中选取的、指导输入图像帧进行时域去噪的图像帧，例如，参考图像帧可以是与输入图像帧在时间上相连接的前4帧图像，也可以是与输入图像帧在时间上相连接的后4帧图像，当然，也可以是输入图像帧在时间上相连接的前后各2帧图像，本示例实施例对此不做特殊限定。最大帧间融合程度是指根据不同场景类型设置的、将输入图像帧与参考图像帧进行融合的融合程度数值，用于指导输入图像帧与参考图像帧之间的融合。133.可以通过对输入图像帧和参考图像帧进行图像对齐或者运动区域检测，得到输入图像帧和参考图像帧之间的不同图像区域即鬼影保护分布图。具体的，在服务器或者终端设备的计算能力允许的情况下，可以对输入图像帧和参考图像帧进行精确度较高的图像对齐，而在服务器或者终端设备的计算能力不允许的情况下，对输入图像帧和参考图像帧进行精确度较低的运动区域检测。134.可以基于场景区域分布图、最大帧间融合程度和鬼影保护分布图指导融合比例的形式，将输入图像帧和参考图像帧进行帧间融合得到输入图像帧对应的时域去噪图像。135.通过根据场景类型或者场景区域分布图设定最大帧间融合程度，以及通过图像对齐或者运动区域检测获取鬼影保护分布图，进而通过场景区域分布图、最大帧间融合程度和鬼影保护分布图指导输入图像帧和参考图像帧进行帧间融合，能够有效降低输入图像帧的时域噪声，进一步提升输入图像帧的去噪效果。136.综上所述，本示例性实施方式中，确定输入图像帧的场景类型，根据场景类型对输入图像帧进行场景区域划分处理，得到场景区域分布图，并基于场景区域分布图对输入图像帧进行图像去噪，生成去噪图像；将输入图像帧、场景区域分布图以及去噪图像进行融合，生成目标图像帧，以根据目标图像帧生成去噪后的视频。一方面，通过图像对应的场景类型指导图像去噪，能够实现对不同场景类型下的图像进行适应性区域划分，并结合区域划分信息进行图像去噪，有效保证不同的场景区域实现不同的去噪强度，避免去噪导致图像纹理缺失或者部分区域去噪强度弱的问题，提升去噪效果，提升图像去噪算法的灵活性；另一方面，对输入图像帧、场景区域分布图以及去噪图像进行融合实现图像帧的进一步去噪，进一步提升去噪后的图像的纹理细节的质量，提升去噪效果。137.需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。138.进一步的，参考图12所示，本示例的实施方式中还提供一种视频去噪装置1200，包括场景类型确定模块1210、场景区域分布图生成模块1220、去噪图像生成模块1230和去噪视频生成模块1240。其中：139.场景类型确定模块1210用于获取输入图像帧，并确定所述输入图像帧的场景类型；140.场景区域分布图生成模块1220用于根据所述场景类型对所述输入图像帧进行场景区域划分处理，得到场景区域分布图；141.去噪图像生成模块1230用于基于所述场景区域分布图对所述输入图像帧进行图像去噪，生成去噪图像；142.去噪视频生成模块1240用于将所述输入图像帧、所述场景区域分布图以及所述去噪图像进行融合，生成目标图像帧，以根据所述目标图像帧生成去噪后的视频。143.在一示例性实施例中，场景类型确定模块1210可以用于：144.提取所述输入图像帧的场景特征信息，所述场景特征信息包括图像标签；145.根据所述场景特征信息确定所述输入图像帧的场景类型。146.在一示例性实施例中，场景区域分布图生成模块1220可以包括以下一个或者多个分布图生成单元：147.亮度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行亮度区域划分处理，得到亮度区域分布图；148.色度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行色度区域划分处理，得到色度区域分布图；149.细节程度区域分布图生成单元，用于基于所述场景类型对所述输入图像帧进行细节程度区域划分处理，得到细节程度区域分布图；以及150.场景区域分布图生成单元，用于通过所述亮度区域分布图、所述色度区域分布图和所述细节程度区域分布图中的任意一种区域分布图或者多种区域分布图的融合，得到场景区域分布图。151.在一示例性实施例中，亮度区域分布图生成单元可以用于：152.在第一颜色空间下提取所述输入图像帧的图像亮度信息；153.基于所述场景类型对所述图像亮度信息进行增强处理，得到增强后的图像亮度信息；以及154.对所述增强后的图像亮度信息进行平滑去噪处理，得到亮度区域分布图。155.在一示例性实施例中，色度区域分布图生成单元可以用于：156.在第二颜色空间下提取所述输入图像帧的饱和度信息和色相信息；157.基于所述场景类型将所述饱和度信息和色相信息进行融合，得到图像色度信息；158.基于所述场景类型对所述图像色度信息进行增强处理，得到增强后的图像色度信息；以及159.对所述增强后的图像色度信息进行平滑去噪处理，得到色度区域分布图。160.在一示例性实施例中，细节程度区域分布图生成单元可以用于：161.在第一颜色空间下提取所述输入图像帧的图像亮度信息，并对所述图像亮度信息进行边缘检测，得到图像细节程度信息；162.基于所述场景类型对所述图像细节程度信息进行增强处理，得到增强后的图像细节程度信息；以及163.对所述增强后的图像细节程度信息进行平滑去噪处理，得到细节程度区域分布图。164.在一示例性实施例中，亮度区域分布图生成单元还可以用于：165.基于所述场景类型获取所述输入图像帧对应的亮度阈值；166.根据所述亮度阈值确定映射曲线，并基于所述映射曲线对所述图像亮度信息进行分段线性映射，得到增强后的图像亮度信息。167.在一示例性实施例中，亮度区域分布图生成单元还可以用于：168.对所述增强后的图像亮度信息进行形态学处理，得到边缘扩张后的图像亮度信息，所述形态学处理包括图像膨胀处理和/或图像腐蚀处理；169.对所述边缘扩张后的图像亮度信息进行平滑滤波处理，得到亮度区域分布图。170.在一示例性实施例中，去噪图像生成模块1230可以包括空域去噪图像生成单元和/或时域去噪图像生成单元：171.空域去噪图像生成单元，用于基于所述场景区域分布图对所述输入图像帧进行空域去噪，生成空域去噪图像；和/或172.时域去噪图像生成单元，用于基于所述场景区域分布图对所述输入图像帧进行时域去噪，生成时域去噪图像；173.去噪图像生成单元，用于将所述空域去噪图像和/或所述时域去噪图像作为所述去噪图像。174.在一示例性实施例中，空域去噪图像生成单元可以用于：175.根据所述场景区域分布图获取所述输入图像帧对应的空域去噪滤波程度；176.基于所述场景区域分布图和所述空域去噪滤波程度对所述输入图像帧进行空域去噪，生成空域去噪图像。177.在一示例性实施例中，时域去噪图像生成单元可以用于：178.选取所述输入图像帧对应的参考图像帧，并基于所述场景区域分布图获取所述输入图像帧对应的最大帧间融合程度；179.对所述输入图像帧和所述参考图像帧进行图像对齐或者运动区域检测，得到鬼影保护分布图；180.基于所述场景区域分布图、所述最大帧间融合程度和所述鬼影保护分布图，对所述输入图像帧和所述参考图像帧进行帧间融合，生成时域去噪图像。181.上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。182.所属
技术领域：
：的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。183.本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤，例如可以执行图3至图11中任意一个或多个步骤。184.需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd‑rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。185.在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。186.此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如java、c 等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。187.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。188.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12
再多了解一些
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
