一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像处理方法及装置、电子设备和计算机可读存储介质与流程

2022-12-11 12:48:20 来源:中国专利 TAG:
1.本公开涉及图像处理
技术领域
:,具体涉及一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质。
背景技术
::2.随着影像技术的高速发展,影像设备的功能越来越强大,用户对图像质量的要求逐渐提高。但是,由于多种原因,图像中常存在一些噪点,这些噪点会对图像质量造成影响。3.目前,相关技术的图像降噪方法存在降噪效果不理想的缺点,一定程度影响了用户的观感。技术实现要素:4.本公开的目的在于提供一种图像处理方法、图像处理装置、电子设备和计算机可读存储介质,进而至少在一定程度上提高图像的降噪效果。5.根据本公开的第一方面,提供一种图像处理方法,包括:获取图像集,所述图像集包括第一图像和至少一帧第二图像,所述第一图像和所述第二图像为同一拍摄场景的亮度不同的图像;将所述第一图像划分为多个初始图像块,并从所述图像集中确定各所述初始图像块对应的相似图像块集;对所述相似图像块集中的各相似图像块进行频域转换,以确定出各所述相似图像块的频率分量;对各所述相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与所述初始图像块对应的降噪图像块;根据与各所述初始图像块对应的降噪图像块生成降噪后的图像。6.根据本公开的第二方面,提供一种图像处理装置,包括:获取模块,用于获取图像集,所述图像集包括第一图像和至少一帧第二图像,所述第一图像和所述第二图像为同一拍摄场景的亮度不同的图像;第一处理模块,用于将所述第一图像划分为多个初始图像块,并从所述图像集中确定各所述初始图像块对应的相似图像块集;图像转换模块,用于对所述相似图像块集中的各相似图像块进行频域转换,以确定出各所述相似图像块的频率分量;第二处理模块,用于对各所述相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与所述初始图像块对应的降噪图像块;第三处理模块,用于根据与各所述初始图像对应的降噪图像块生成降噪后的图像。7.根据本公开的第三方面,提供一种电子设备,包括:处理器;以及存储器,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行时,使得一个或多个处理器实现上述的方法。8.根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的方法。9.本公开实施例所提供的图像处理方法,将第一图像划分为多个初始图像块,从图像集中确定各初始图像块对应的相似图像块集,将相似图像块集中的相似图像块由空域转换至频域,获得相似图像块的频率分量,从而对相似图像块的频率分量进行融合,并将频率分量融合后的结果由频域转换至空域,获得初始图像块对应的降噪图像块,根据所有初始图像块对应的降噪图像块生成降噪后的图像。一方面,图像集包括同一拍摄场景的亮度不同的图像,使得初始图像块对应的相似图像块集中增加了不同亮度的图像块,增加降噪处理的参考信息的同时,丰富了各频率分量融合阶段的图像亮度信息,有助于实现高动态范围成像;另一方面,将各相似图像块的频率分量进行融合,使得降噪图像块增加了来自各相似图像块的高频分量对应的纹理信息和来自低频分量对应的图像平坦区信息,提升降噪图像块在高频和低频方面的表现。10.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明11.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:12.图1示出了可以应用本公开实施例的一种图像处理方法及装置所涉及的示例性应用环境的示意图;13.图2示意性示出本公开示例性实施例中另一种图像处理方法及装置所涉及的示例性应用环境的示意图;14.图3示意性示出本公开示例性实施例中一种一种图像处理方法的流程图;15.图4示意性示出本公开示例性实施例中一种采用邻域窗口的方式获取相似图像块的示意图;16.图5示意性示出本公开示例性实施例中一种以非局部均值滤波的方式计算以邻域块之间的相似度的示意图;17.图6示意性示出本公开示例性实施例中一种相似图像块转换至频域的示意图;18.图7示意性示出本公开示例性的图像处理方法的一个实施例的示意图;19.图8示意性示出本公开示例性实施例中一种确定初始图像块对应的相似图像块集的实现方式的流程图;20.图9示意性示出本公开示例性实施例中一种获得与初始图像块对应的降噪图像块的流程图;21.图10示意性示出本公开示例性实施例中一种得到噪声强度比与噪声强度的对应关系的示意图;22.图11示意性示出本公开示例性实施例涉及的一个应用场景下的图像处理方法的流程图;23.图12示意性示出本公开示例性实施例中图像处理装置的组成示意图;24.图13示出了可以应用本公开实施例的一种电子设备的示意图。具体实施方式25.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。26.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。27.图1示出了可以应用本公开实施例的一种图像处理方法及装置所涉及的示例性应用环境的示意图。28.如图1所示,终端设备可以为具有图像处理功能的智能设备,例如可以为智能手机、电脑、平板电脑、智能手表、车载设备、可穿戴设备、监控设备等智能设备,终端设备还可以被称为移动终端、终端、移动设备等,本公开对终端设备的类型不做限制。29.图像集中的图像为同一拍摄场景的不同亮度的图像,第一图像为待降噪图像,图像集中的图像可以由终端设备拍摄得到,也可以为从网络或者其它设备获取,图像集中图像的曝光时长可以相同,也可以不同,对此不做特殊限定。本公开实施例中,终端设备的图像处理装置可以基于本公开实施例的图像处理方法对第一图像进行降噪,获得降噪后的图像。30.需要说明的是,本公开实施例所提供的图像处理方法可以由终端设备来执行。本公开实施例所提供的图像处理方法也可以由服务器来执行,相应的,图像处理装置也可以设置于服务器中。如图2所示,终端设备可以向服务器发送图像集,以使服务器基于本公开实施例的图像处理方法对第一图像进行降噪处理,并将降噪后的图像发送至终端设备。服务器可以为提供本公开实施例中图像处理相关服务的后台系统,可以包括便携式计算机、台式计算机、智能手机等具有计算功能的一台电子设备或多台电子设备形成的集群。本公开实施例中,以图像处理方法由终端设备来执行为例进行说明。31.在相关技术中,在采集、传输或存储图像的过程中,图像可能由于各种原因产生噪声,影响图像质量,因此需要对图像降噪。例如,可以将不同曝光时长的图像进行图像融合后,对图像进行降噪,或者分别对不同曝光时长的图像进行降噪后再进行图像融合。但是,没有考虑到各图像之间的相关性,无法兼顾保留图像纹理信息和降噪后图像的平滑度,降噪效果不佳,影响图像的观感。32.基于上述一个或多个问题,本公开示例性实施例提供了一种图像处理方法。参考图3所示,该图像处理方法可以包括以下步骤s310至步骤s350:33.在步骤s310中,获取图像集,图像集包括第一图像和至少一帧第二图像,第一图像和第二图像为同一拍摄场景的亮度不同的图像。34.在本公开的示例性实施例中,图像集中的图像可以为终端设备拍摄同一拍摄场景获得,可以全部来自其它设备或网络,或者一部分由终端设备拍摄获得,另一部分来自其它设备或网络等;图像集中的图像可以是在相同曝光时间同时获得的多帧不同亮度的图像,也可以是针对同一拍摄场景的不同曝光时间先后获得的多帧不同亮度的图像,对此不做特殊限制。35.在一些可能的实施例中,可以通过dcg(dualconversiongain,双转换增益)技术使得在同样的曝光时间同时输出两帧不同亮度的图像,且由于两帧图像的曝光时间同步,图像内容为基本对齐的。又如,基于双曝或多曝技术在短时间内获取到不同曝光时间的多帧图像,该多帧图像的亮度不同,等等,本公开实施例对图像的采集方式不做特殊限制。36.第一图像为图像集中的待降噪图像。例如,图像集包括图像a和图像b,可基于图像集对图像a进行降噪处理,或根据图像集对图像b进行降噪,或根据图像集对图像a和图像b融合后的图像进行降噪,即本公开实施例中,第一图像可以为图像集中任意图像或任意图像对应的融合图像。由于第一图像和第二图像为同一拍摄场景的亮度不同的图像,二者的噪声强度不同,可以在不同程度上表现图像内容。37.在步骤s320中,将第一图像划分为多个初始图像块,并从图像集中确定各初始图像块对应的相似图像块集。38.在本公开的示例性实施例中,可以根据实际降噪需求将第一图像划分为多个初始图像块,例如划分为8×8、16×16的像素块,对此不做特殊要求,以分别对每个初始图像块进行降噪获得降噪图像块,将第一图像进行分块降噪,可充分利用第一图像的局部特性,降低计算复杂度。39.衡量初始图像块与相似图像块之间相似度指标有很多,例如计算均方误差(meansquareerror,mse)等方法。40.在一些可能的实施例中,相似图像块集可以包括来自第一图像的相似图像块和来自第二图像的相似图像块。41.在一些可能的实施例中,相似图像块集可以仅来自第二图像中的相似图像块,对此不做特殊限制。42.在一些可能的实施例中,相似图像块集中还可以包括初始图像块本身。43.图4示出了根据本公开示例性实施例的一种采用邻域窗口的方式获取相似图像块的示意图。下面以在第一图像中确定相似图像块为例进行说明。44.参见图4所示,大窗口是以初始图像块中心像素(目标像素x)为中心的搜索窗口,小窗口分别是以目标像素x和像素y为中心的邻域窗口。以像素y为中心的邻域窗口在搜索窗口中滑动,计算两个邻域窗口之间的相似程度为像素y赋予权值。如图5示出了以非局部均值滤波的方式计算以像素y为中心的邻域块y与以目标像素x为中心的邻域块x之间的相似度的示意图,基于邻域块y中的像素点和邻域块x中的像素点形成的像素点对,采用均方误差的方式计算两个邻域块的相似度。45.值得说明的是,图4和图5仅是示例性,本公开实施例还可以根据实际的图像处理需求选择获取相似图像块的方法,如高斯滤波空间法,等。46.根据获得的相似图像块形成相似图像块集,通过获取各初始图像块的相似图像块集,以便结合相似图像块之间的稀疏和低秩的性质,充分利用各亮度不同的图像中的冗余信息,去噪的同时最大程度保持图像的细节特征。47.在步骤s330中,对相似图像块集中的各相似图像块进行频域转换,以确定出各相似图像块的频率分量。48.在本公开的示例性实施例中,频域变换是将相似图像块从空域转换至频域,在频域中高频分量部分能反映图像细节、边缘和噪声信息等,低频分量部分能反映图像平坦区域的信息。49.将空域的图像转换至频域后,能得到相似图像块的频率分量。示例性的,如图6示出了根据本公开示例性实施例的一种相似图像块转换至频域的示意图。参考图6,将第一图像划分为8×8的初始图像块,相应的,初始图像块的相似图像块为8×8的像素块,每个相似图像块包括64个像素点,将每个8×8的相似图像块进行dct(discretecosinetransform,即离散余弦变换)变换后,得到对应的8×8的频域图像块,每个频域图像块包括64个频率分量(如各种余弦成分),亦即每个相似图像块对应的64个频率分量。50.将第一图像的各初始图像块按照上述转换方式由空域转换至频域,从而确定出各相似图像块的频率分量。51.需要说明的是,本公开实施例是以dct变换为例进行说明,还可根据实际应用场景选择相应的转换方式以获得各相似图像块对应的频率分量,对此不做特殊要求。52.在步骤s340中,对各相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与初始图像块对应的降噪图像块。53.在本公开的示例性实施例中,对于任一初始图像块,将该任一初始图像块对应的相似图像块集中的相似图像块的频率分量进行融合,得到融合后的频率分量。54.示例性的,以初始图像块c的相似图像块集包括2n 1个相似图像块为例,每个相似图像块进行频域转换后,获得2n 1个频域图像块,每个频域图像块包括n个频率分量。对相似图像块的频率分量进行融合是针对每个频率分量将2n 1个相似图像块的频率分量对应融合。如将2n 1个相似图像块的第一频率分量进行融合获得第一融合频率分量,将2n 1个相似图像块的第二频率分量进行融合,获得第二融合频率分量,以此类推,获得第n融合频率分量,即将各相似图像块的频率分量进行融合后,获得n个融合频率分量,由n个融合频率分量得到频域图像块对应的降噪后的图像块。55.将第一图像的所有初始图像块的相似图像块集中的相似图像块均按照上述融合方式进行融合,分别获得频率分量融合后的结果,并将频率融合后的结果进行空域转换,获得初始图像块对应的降噪图像块。56.将各相似图像块的频率分量进行融合,使得降噪图像块增加了来自各相似图像块的高频分量对应的纹理信息和来自低频分量对应的图像平坦区信息,提升降噪图像块在高频和低频方面的表现。57.步骤s350:根据与各初始图像块对应的降噪图像块生成降噪后的图像。58.在本公开的示例性实施例中,各初始图像块分别按照步骤s330和步骤s340获得对应的降噪图像块后,可以根据各初始图像块对应的降噪图像块生成降噪后的图像。59.图7示出了图像处理方法的一个实施例的示意图,图像集包括暗帧图像和亮帧图像,明帧图像的亮度大于亮度阈值,暗帧图像的亮度低于或等于亮度阈值,暗帧图像作为待降噪图像。60.首先,将暗帧图像划分为多个初始图像块,每个初始图像块为8×8的像素块,可以从暗帧图像中获取初始图像块的相似图像块,同时从亮帧图像中获取初始图像块的相似图像块,以形成初始图像块的相似图像块集;或者,可以仅从亮帧图像中获取初始图像块的相似图像块集。61.其次,对相似图像块集中的各相似图像块进行频域转换,以确定出相似图像块的频率分量。62.接着,对各相似图像块的频率分量进行融合,获得频率分量融合后的结果,融合后最终获得64个频率分量。63.进一步的,将频率分量融合后的结果进行空域转换,获得与初始图像块对应的降噪图像块。64.最后,所有初始图像块均获得对应的降噪图像块后,将各降噪图像块进行融合生成降噪后的图像,以完成对暗帧图像的降噪处理。65.通过结合亮帧图像来获取暗帧图像的初始图像块的相似图像块集,增加了处理过程中参考图像块数量和图像亮度信息,由于亮帧图像的噪声强度较小,可以保留更多真实图像信息,从而提高降噪后图像的纹理还原性。此外,通过融合各相似图像块的频率分量的降噪方式,可以在图像高频信息和图像低频信息之间寻求平衡,避免降噪后的图像出现高频信息和低频信息过高或过低的情况,保留图像纹理信息的同时,使图像平滑过渡。66.在一示例性实施例中,提供一种确定初始图像块对应的相似图像块集的实现方式。从图像集中确定初始图像块对应的相似图像块集可以包括步骤s810至步骤s830:67.步骤s810:从第一图像中获取初始图像块对应的第一相似图像块。68.在第一图像中获取初始图像块的第一相似图像块的方式可以按照步骤s320记载的获取方式,在此不再赘述。69.步骤s820:从第二图像中获取初始图像块对应的第二相似图像块。70.除了在第一图像中获取初始图像块的相似图像块外,还从第二图像中获取初始图像块的第二相似图像块。71.在一些可能的实施例中,由于第二图像和第一图像为同一拍摄场景的亮度不同的图像,可以按照第一图像中的第一相似图像块的位置,在第二图像中获取与第一相似图像块位置对应的第二相似图像块,第二相似图像块与第一相似图像块的图像内容基本对齐的。72.在一些可能的实施例中,还可以先在第二图像中获取初始图像块位置匹配的匹配图像块,然后在第二图像块中获取匹配图像块对应的图像块,以作为第二相似图像块。通过在第一图像和第二图像中分别搜索初始图像块和匹配图像块的相似图像块,能进一步增加相似图像块的搜索范围。73.由于不同亮度的第一图像和第二图像携带的图像信息不同,根据来自不同亮度的图像的相似图像块可以增加降噪处理中参考图像块的数量,且丰富了图像参考信息。74.步骤s830:根据第一相似图像块和第二相似图像块确定初始图像块对应的相似图像块集。75.在获得第一相似图像块和第二相似图像块后,根据得到的第一相似图像块和第二相似图像块确定初始图像块对应的相似图像块集。76.需要说明的是,任意初始图像块均可按照步骤s810至步骤s830获取对应的相似图像块集。在一些可能的实施例中,由于搜索第一相似图像块的过程是在第一图像的全域执行,初始图像块也可以属于自身的相似图像块,即相似图像块集可以包含相似图像块集对应的初始图像块。77.在一示例性实施例中,为了对第一图像进行降噪处理,提供另一种确定初始图像块对应的相似图像块集的实现方式。从图像集中确定各初始图像块对应的相似图像块集可以在第二图像中获取各初始图像块对应的相似图像块集。例如,可从亮帧图像中获取暗帧图像中初始图像块对应的相似图像块集,以使利用噪声强度更小的亮帧图像实现对暗帧图像的降噪。相应的,也可以利用暗帧图像对亮帧图像进行降噪,实现了结合不同亮度图像的图像信息的效果的同时,一定程度上可降低计算量。其中,相似图像集也可以包括初始图像块自身。78.在一示例性实施例中,以相似图像块集中的初始图像块为中心,通过相似图像块集中其它相似图像块与初始图像块的频率分量的差异性实现频率降噪。对各相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与初始图像块对应的降噪图像块可以包括步骤s910至步骤s940:79.步骤s910:确定各相似图像块的频率分量与相似图像块集对应的初始图像块的频率分量之间的频率差异信息。80.频率差异信息是指相似图像块集中相似图像块与该相似图像集中的初始图像块之间的频率分量差异值。81.示例性的,若相似图像块集包括2n 1(0,1,2…2n)个相似图像块(为8×8像素块),每个相似图像块包括n个频率分量。其中,第0相似图像块为初始图像块本身,在对第一频率分量进行融合时,可以确定第1相似图像块的第一频率分量与第0相似图像块的第一频率分量的差异值,确定第2相似图像块的第一频率分量与第0相似图像块的第一频率分量的差异值,以此类推,直到获取第2n相似图像块的第一频率分量与第0相似图像块的第一频率分量的差异值。相应的,对第二频率分量至第n频率分量进行融合时的过程类似,在此不再一一列举。82.通过相似图像块的频率分量与相似图像块集对应的初始图像块的频率分量之间的频率差异值,以便根据频率差异值确定频率分量融合时的权重,其中频率差异值越大,则相似图像块的频率分量对应的权重小,相反,频率差异值越小,则相似图像块的频率分量对应的权重大。83.步骤s920:根据各相似图像块的频率分量对应的频率差异信息和第一图像的噪声强度,确定各相似图像块的频率分量对应的权重。84.本公开实施例可根据第一图像的噪声强度按需调整相似图像块的频率分量的权重,结合频率差异信息和第一图像的噪声强度确定各相似图像块的频率分量对应的权重,考虑频率分量差异性的同时,有利于保持降噪后图像的清晰度。85.示例性的,可以通过以下公式(1)确定各相似图像块的频率分量对应的权重:[0086][0087]其中,az(w)为第z个相似图像块的第w个频率分量的权重,f0(w)为相似图像块集中的第0个相似图像块(初始图像块)的第w个频率分量,fz(w)为相似图像块集中第z个相似图像块的第w个频率分量,ε2为第一图像的噪声强度的方差,d为方差可调因子,用于根据实际需要调节权重值。[0088]步骤s930:基于各相似图像块的频率分量对应的权重,将各相似图像块的频率分量进行加权融合,得到频率分量融合后的结果。[0089]在获得各相似图像块的频率分量对应的权重后,根据各相似图像块的频率分量与对应的权重进行加权融合。示例性的,可以采用公式(2)得到频率分量融合后的结果。[0090][0091]其中,f0(w)’为第w个频率分量融合后的结果,az(w)为相似图像块的频率分量对应的权重,如通过公式(1)获得的权重值,n为大于等于1的整数。[0092]此外,还可以采用取平均值法获得第w个频率分量融合后的结果,参见公式(3)所示:[0093][0094]其中,f0(w)’为第w个频率分量融合后的结果,fz(w)为相似图像块集中第z个相似图像块的第w个频率分量。[0095]对各相似图像块的每个频率分量均按照步骤s910至步骤s930得到频率分量融合后的结果,根据得到的各频率分量融合后的结果,能获得初始图像块在频域上的降噪后的频域图像块。[0096]步骤s940:对各频率分量融合后的结果进行空域转换,以获得与初始图像块对应的降噪图像块。[0097]将进行频率分量融合后的结果进行空域转换,由频率转换至空域,得到初始图像块对应的降噪图像块。[0098]需要说明的是,第一图像中的每个初始图像块对应的相似图像块集均执行步骤s910至步骤s940,获得每个初始图像块对应的降噪图像块。[0099]由于频率分量融合时需要分别确定频率分量的权重,而不是在整个频域处理过程中使用同一融合系数,避免降噪后图像模糊;且在确定频率分量的权重过程引入了预先标定的第一图像的噪声强度的方差,能根据方差针对性地调整权重,进而调整频率分量的降噪强度,以保持降噪后图像的清晰度。[0100]在一示例性实施例中,为了提升频率分量融合效率,还提供另一种确定各相似图像块的频率分量对应的权重的实现方式。根据各相似图像块的频率分量对应的频率差异信息和第一图像的噪声强度,确定各相似图像块的频率分量对应的权重还可以包括:[0101]先将相似图像块的频率分量进行分组,然后从各分组中的频率分量对应的权重中确定目标权重,其中,将目标权重确定为对应的分组中的频率分量对应的权重。[0102]示例性的,若相似图像块包括64个频率分量,以8个频率分量为一组将64个频率分量划分为8个分组(第1分组,第2分组…第8分组)。从第1分组中的频率分量对应的权重中确定一个目标权重,将该目标权重确定为第1分组中各频率分量对应的权重,类似的,分别获取其它分组对应的目标权重,亦即目标权重为对应分组中的频率分量进行频率融合时的权重。[0103]在一些可能的实施例中,在一个分组中可以随机选择一个频率分量对应的权重作为目标权重,也可以将一个分组中各频率分量对应的权重取平均值作为该分组的目标权重,对此不做特殊限制。[0104]通过使多个频率分量使用相同的权重,避免整个频率融合过程使用同一融合系数而导致降噪后图像模块的问题的同时,提高融合处理效率,提升降噪效率。[0105]在一示例性实施例中,还可以基于第一图像对第二图像进行亮度对齐处理。亮度对齐是将第二图像的亮度分布调整至与第一图像的亮度分布一致的处理过程。[0106]其中,可以获取第一图像的曝光时长与第二图像的曝光时长之间的比例,并基于该比例对第二图像的亮度进行调整,获得与第一图像亮度对齐的第二图像。或者,若第一图像和第二图像为相同曝光时长获得的明暗不同的图像,如通过dcg输出的明暗图像,则可以根据明暗图像之间增益值的比例关系确定上述比例。当然,将第二图像与第一图像进行亮度对齐还可为其它方式,本公开实施例包括但不限于上述亮度对齐方法。[0107]由于第二图像和第一图像为同一拍摄场景的亮度不同的图像,二者的图像纹理基本相似,将亮度进行对齐,进一步提升相似图像块确定的准确性。[0108]在一示例性实施例中,为了避免第一图像和第二图像由于噪声强度差异大影响降噪效果,可以使第二图像与第一图像的噪声强度限制在相同水平。[0109]其中,可以获取第一图像与所述第二图像之间的噪声强度比,根据噪声强度比对应的目标噪声强度,分别确定第一图像和第二图像的预降噪强度,并按照第一图像对应的预降噪强度,对第一图像进行预降噪处理,以及基于第二图像对应的预降噪强度,对第二图像进行预降噪处理。[0110]目标噪声强度为根据预设的噪声强度比与噪声强度的对应关系获得的,其中,可以在根据噪声强度比对应的目标噪声强度分别确定第一图像和第二图像的预降噪强度之前,确定预设的噪声强度比与噪声强度的对应关系。[0111]在一示例性实施例中,可以通过不同曝光时长下亮度不同的参考图像的噪声强度比确定预设的噪声强度比与噪声强度的对应关系。其中,可以采集同一拍摄场景的第一参考图像和第二参考图像,第一参考图像的亮度大于亮度阈值,第二参考图像的亮度小于等于亮度阈值,并根据第一参考图像与第二参考图像的噪声强度比与不同曝光时长的对应关系,确定预设的噪声强度比与噪声强度的对应关系。[0112]同一拍摄场景包括相同光照条件下的拍摄场景,如相同光源下对同一拍摄场景进行拍摄。如图10所示,首先在不同的曝光时长下同时获取亮度不同的两帧参考图像(第一参考图像和第二参考图像),得到对应于不同曝光时长的明暗图像对,并统计各图像的噪声强度,获取第一参考图像的噪声强度n1与第二参考图像的噪声强度n2的比值n1/n2,最后拟合出n0/n1的比例随曝光时长的变化曲线,由于曝光时长与噪声强度相关,即得到噪声强度比与噪声强度的对应关系。[0113]通过拟合出亮度不同的两帧参考图像的噪声强度比与噪声强度的对应关系,在实际降噪处理时,可基于噪声强度比与噪声强度的对应关系分别获取明暗图像所需的降噪强度,从而根据各自所需的降噪强度将第一图像和第二图像的噪声水平限制在相同水平,提高预降噪效率。[0114]在一示例性实施例中,为了保证初始图像块的相似图像块的准确性,还可以在将第一图像划分为多个初始图像块,并从图像集中确定各初始图像块对应的相似图像块集之前,基于第一图像对第二图像进行图像内容的对齐处理。虽然在一些应用场景中,如采用dcg技术同时获得曝光时长相同的明暗图像,两帧图像的图像内容基本是对齐。但是在一些应用场景中,虽然是对同一拍摄场景拍摄获得的图像,图像内容可能存在差异。如可能由于拍摄过程中拍摄场景中存在动态改变的拍摄对象(如人、动物等)或者终端设备抖动引起第一图像和第二图像存在内容差异。[0115]其中,图像内容的对齐处理是使第二图像与第一图像进行纹理等内容对齐的处理过程,以提升获取的相似图像块的准确性。可以通过关键点检测、关键点匹配以及图像转换等过程实现图像内容的对齐,包括但不限于尺度不变特征变换等算法等,对此不做特殊限制。[0116]在一示例性实施例中,第一图像还可以为根据待处理图像集中的至少两张亮度不同的图像融合得到。[0117]其中,第一图像可以为图像集中明帧图像和暗帧图像融合得到,然后再利用本公开实施例的方法,对明帧图像和暗帧图像融合后的图像进一步降噪处理,利用不同亮度的图像再次对明暗融合后的图像进行降噪处理,增加降噪后图像在图像亮度上的表现,进一步有助于实现高动态范围成像的效果。[0118]图11示出了本公开示例性实施例涉及的一个应用场景下的图像处理方法的流程图,如图11所示,以暗帧图像为第一图像(待降噪图像)为例对本公开实施例的图像处理方法进行说明。[0119]首先,参考预设的噪声强度比与噪声强度的对应关系,对第一图像和第二图像进行预降噪处理,使得第一图像和第二图像处于相同的噪声水平。[0120]其次,以第一图像(暗帧)为参考,对第二图像进行亮度对齐处理。[0121]接着,基于第一图像对第二图像进行图像内容的对齐处理。[0122]以上过程实现第一图像和第二图像的预处理过程。[0123]进一步的,执行对暗帧图像的降噪处理,获得降噪后的图像:[0124]将第一图像划分为多个初始图像块,并从图像集中确定各初始图像块对应的相似图像块集,基于相似图像块集获取初始图像块对应的降噪图像块;[0125]根据各初始图像块对应的降噪图像块生成降噪后的图像。[0126]其中,获取任一初始图像块对应的降噪图像块包括:[0127]对相似图像块集中的各相似图像块进行频域转换,以确定出各相似图像块的频率分量;[0128]对各相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与该初始图像块对应的降噪图像块。[0129]其中,所涉及的获取初始图像块的相似图像块的方法以及获取各频率分量对应的权重,在上文已记载,对此不做赘述。[0130]由以上可知,初始图像块对应的相似图像块集中增加了不同亮度的图像块,增加降噪处理的参考信息的同时,丰富了各频率分量融合阶段的图像亮度信息,有助于实现高动态范围成像;将各相似图像块的频率分量进行融合,使得降噪图像块增加了来自各相似图像块的高频分量对应的纹理信息和来自低频分量对应的图像平坦区信息,提升降噪图像块在高频和低频方面的表现,使降噪后图像保留图像边缘和纹理信息的同时,实现平滑图像的效果,有利于提升图像的降噪效果。[0131]需要注意的是,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。[0132]进一步的,参考图12所示,本公开的示例性实施方式中提供一种图像处理装置1200,包括获取模块1210、第一处理模块1220、第二处理模块1230和第三处理模块1240。其中:[0133]获取模块1210,用于获取图像集,图像集包括第一图像和至少一帧第二图像,第一图像和第二图像为同一拍摄场景的亮度不同的图像;[0134]第一处理模块1220,用于将第一图像划分为多个初始图像块,并从图像集中确定各初始图像块对应的相似图像块集;[0135]图像转换模块1230,用于对相似图像块集中的各相似图像块进行频域转换,以确定出各相似图像块的频率分量;[0136]第二处理模块1240,用于对各相似图像块的频率分量进行融合,并对频率分量融合后的结果进行空域转换,以获得与初始图像块对应的降噪图像块;[0137]第三处理模块1250,用于根据与各初始图像对应的降噪图像块生成降噪后的图像。[0138]在一示例性实施例中,第一处理模块1220被配置为:从第一图像中获取初始图像块对应的第一相似图像块;从第二图像中获取初始图像块对应的第二相似图像块;根据第一相似图像块和第二相似图像块确定初始图像块对应的相似图像块集。[0139]在一示例性实施例中,第一处理模块1220被配置为:基于第一相似图像块在第一图像中的位置,在第二图像中获取与第一相似图像块位置对应的第二相似图像块。[0140]在一示例性实施例中,第一处理模块1220被配置为:在所述第二图像中确定与所述初始图像块位置匹配的匹配图像块;在第二图像中获取匹配图像块对应的第二相似图像块。[0141]在一示例性实施例中,第一处理模块1220被配置为:在第二图像中获取各初始图像块对应的相似图像块集。[0142]在一示例性实施例中,所述相似图像块集包括所述相似图像块集对应的初始图像块;第二处理模块1240被配置为:确定各相似图像块的频率分量与相似图像块集对应的初始图像块的频率分量之间的频率差异信息;根据各相似图像块的频率分量对应的频率差异信息和第一图像的噪声强度,确定各相似图像块的频率分量对应的权重;基于各相似图像块的频率分量对应的权重,将各相似图像块的频率分量进行加权融合,得到频率分量融合后的结果;对各频率分量融合后的结果进行空域转换,以获得与初始图像块对应的降噪图像块。[0143]在一示例性实施例中,第二处理模块1240被配置为:将相似图像块的频率分量进行分组;从各分组中的频率分量对应的权重中确定分组所对应的目标权重,其中,将目标权重确定为对应的分组中的频率分量对应的权重。[0144]在一示例性实施例中,图像处理装置1200还包括:networkprocessingunit,神经网络处理器)等。[0159]编码器可以对图像或视频进行编码(即压缩),以减小数据大小,便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩),以还原出图像或视频数据。移动终端1300可以支持一种或多种编码器和解码器,例如:jpeg(jointphotographicexpertsgroup,联合图像专家组)、png(portablenetworkgraphics,便携式网络图形)、bmp(bitmap,位图)等图像格式,mpeg(movingpictureexpertsgroup,动态图像专家组)1、mpeg10、h.1063、h.1064、hevc(highefficiencyvideocoding,高效率视频编码)等视频格式。[0160]处理器1301可以通过总线1303与存储器1302或其他部件形成连接。[0161]存储器1302可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器1301通过运行存储在存储器1302的指令,执行移动终端1300的各种功能应用以及数据处理。存储器1302还可以存储应用数据,例如存储图像,视频等文件。[0162]移动终端1300的通信功能可以通过移动通信模块1304、天线1、无线通信模块1305、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1304可以提供应用在移动终端1300上3g、4g、5g等移动通信解决方案。无线通信模块1305可以提供应用在移动终端1300上的无线局域网、蓝牙、近场通信等无线通信解决方案。[0163]显示屏1306用于实现显示功能,如显示用户界面、图像、视频等,以及显示异常提示信息。摄像模块1307用于实现拍摄功能,如拍摄图像、视频等,以采集场景图像。音频模块1308用于实现音频功能,如播放音频,采集语音等。电源模块1309用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。传感器模块1310可以包括一种或多种传感器,用于实现相应的感应检测功能。[0164]此外,本公开的示例性实施方式还提供了一种计算机可读存储介质,其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中,本公开的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当程序产品在终端设备上运行时,程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。[0165]需要说明的是,本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0166]在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中,计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。[0167]此外,可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码,程序设计语言包括面向对象的程序设计语言—诸如java、c 等,还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中,远程计算设备可以通过任意种类的网络,包括局域网(lan)或广域网(wan),连接到用户计算设备,或者,可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0168]本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域
:中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献