一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像白平衡处理方法及装置、电子设备、存储介质与流程

2022-11-09 23:04:58 来源:中国专利 TAG:
1.本公开涉及影像
技术领域
:,具体而言,涉及一种图像白平衡处理方法及装置、电子设备以及计算机可读存储介质。
背景技术
::2.在图像处理过程中,图像白平衡处理是提高图像质量的常用方式。图像白平衡处理可以通过awb(autowhitebalance,自动白平衡)算法来实现。3.相关技术中,一般通过全局统计输出一个全局作用的白平衡增益来进行白平衡处理,并且通过事先标定光源使用不同色温进行插值计算的方式来计算实际色温。这种方式中,具有一定的局限性且会存在偏差,使得白平衡效果较差,降低了图像质量。4.需要说明的是,在上述
背景技术
:部分公开的信息仅用于加强对本公开的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素:5.本公开的目的在于提供一种图像白平衡处理方法及装置、电子设备、计算机可读存储介质,进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的白平衡效果较差的问题。6.本公开的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本公开的实践而习得。7.根据本公开的第一方面,提供一种图像白平衡处理方法,包括:获取待处理图像,并确定所述待处理图像的全局白平衡增益;对所述待处理图像进行分块得到多个图像块,并通过色彩传感器阵列确定各所述图像块的局部色彩信息;根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,并根据所述目标白平衡增益对所述图像块进行白平衡处理,生成所述待处理图像对应的目标图像。8.根据本公开的第二方面,提供一种图像白平衡处理装置,包括:全局获取模块,用于获取待处理图像,并确定所述待处理图像的全局白平衡增益;局部色彩确定模块,用于对所述待处理图像进行分块得到多个图像块,并通过色彩传感器阵列确定各所述图像块的局部色彩信息;图像处理模块,用于根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,并根据所述目标白平衡增益对所述图像块进行白平衡处理,生成所述待处理图像对应的目标图像。9.根据本公开的第三方面,提供一种电子设备,包括:影像模组,包括色彩传感器阵列;处理器;以及存储器,用于存储所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行上述第一方面的图像白平衡处理方法及其可能的实现方式。10.根据本公开的第四方面,提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面的图像白平衡处理方法及其可能的实现方式。11.本公开实施例中提供的技术方案中,确定待处理图像的全局白平衡增益,并通过色彩传感器阵列确定图像块的局部色彩信息;进而根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,以对图像块进行白平衡处理。一方面,由于能够根据色彩传感器阵列确定每个图像块的局部色彩信息,进而根据全局白平衡增益以及局部色彩信息确定每个图像块的目标白平衡增益,能够通过色彩传感器阵列的局部色彩信息来调整全局白平衡增益,从而实现对每个图像块的单独控制,避免了相关技术中只能整体处理的局限性,提高了目标白平衡增益的准确性和全面性。另一方面,结合色彩传感器阵列的局部色彩信息,能够更准确地对从全局以及局部等多个维度对图像进行处理,提高图像质量。12.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明13.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。14.图1示出了可以应用本公开实施例的图像白平衡处理方法的应用场景的示意图。15.图2示意性示出本公开实施例一种图像白平衡处理方法的示意图。16.图3示意性示出本公开实施例中图像块的示意图。17.图4示意性示出本公开实施例中通过不同方式确定目标白平衡增益的流程示意图。18.图5示意性示出本公开实施例中目标白平衡增益的权重变化示意图。19.图6示意性示出本公开实施例的掩膜信息的示意图。20.图7示意性示出本公开实施例的目标区域的示意图。21.图8示意性示出本公开实施例中对不同区域增益信息平滑过渡的示意图。目标区域的局部增益信息的示意图。22.图9示意性示出本公开实施例中平滑过渡的方式的示意图。23.图10示意性示出本公开实施例中图像信号处理器的结构示意图。24.图11示意性示出本公开实施例中获取目标图像的流程示意图。25.图12示意性示出本公开实施例中一种图像白平衡处理装置的框图。26.图13示意性示出本公开实施例中电子设备的框图。具体实施方式27.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。28.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。29.相关技术中,对图像多窗口区域内每个分块区域进行通道比值统计。利用实际统计数据与光源标定数据进行匹配计算,输出不同的白平衡增益(wbg)结果。将该全局增益作用至系统采集的红绿蓝(rgb)四通道数据上获得与真实场景感知匹配的色彩。其中,是通过全局统计输出一个全局作用的增益数值。无法做到局部自适应矫正的增益数值。并且通过事先标定光源,不同色温进行插值计算的方式在实际色温计算不准确的场景下很容易有偏差,最终影响图像色彩与实际场景表现不匹配。并且,上述相关技术中缺少对信息内容进行更进一步细化的处理。比如无法实现在人像自拍,合影等存在更加感兴趣的内容时对这些更为重要的内容进行更加精细的处理。某些场景下需要多这些重要信息区域进行分割提取处理。对分割出来的区域结合多窗口色彩传感器的色彩信息进行更丰富的颜色管理以求达到更有针对性的目标区域亮度和颜色的表现。因此,具有一定的局限性,且准确性较差,无法实现对目标区域的针对性处理。30.为了解决相关技术中的技术问题,本公开实施例中提供了一种图像白平衡处理方法,可以应用于拍照过程中对图像进行白平衡处理的应用场景。图1示出了可以应用本公开实施例的图像白平衡处理方法及装置的系统架构的示意图。31.如图1所示,终端101可以为具有图像处理功能的智能设备,例如可以为智能手机、电脑、平板电脑、智能音箱、智能手表、车载设备、可穿戴设备、监控设备等智能设备。终端中可以包含摄像头,摄像头的类型可以为任意类型,只要能够进行拍照处理即可。摄像头的数量可以为至少一个,例如可以为一个、四个等等,只要能够进行拍照即可。待处理图像可以为拍摄得到的图像,也可以为拍摄得到的视频中的每一帧图像。32.本公开实施例中,终端101可以包括存储器102以及处理器103。存储器用于对图像进行存储,处理器用于对图像进行处理,例如进行白平衡处理等等。存储器102中可以存储待处理图像104。终端101从存储器102中获取待处理图像104,并发送至处理器103中,在处理器103中对待处理图像进行分块处理得到多个图像块,确定待处理图像的全局白平衡增益。根据全局白平衡增益以及色彩传感器阵列获取的每个图像块的局部色彩信息确定每个图像块的目标白平衡增益,进一步根据目标白平衡增益对待处理图像进行白平衡处理,从而生成白平衡后的目标图像105。33.需要说明的是,本公开实施例所提供的图像白平衡处理方法可以由终端101来执行。图像白平衡处理方法也可以设置于终端中。34.接下来,参考图2对本公开实施例中的图像白平衡处理方法进行详细说明。35.在步骤s210中,获取待处理图像,并确定所述待处理图像的全局白平衡增益。36.本公开实施例中,待处理图像可以为通过终端的摄像模组对待拍摄物体进行拍摄得到的图像,也可以为拍摄的视频中的每一帧图像。待处理图像也可以为从相册或其他存储位置直接获取的图像或视频中的每一帧图像。终端可以为智能手机、数码相机、智能手表、可穿戴设备、车载设备或者是监控设备的摄像头中的任意一种,只要能够对待拍摄物体进行拍照以及能够实现图像处理即可,此处以智能手机为例进行说明。摄像模组中可以包括至少一个摄像头,例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。待处理图像可以为各种类型的图像,例如可以为动态图像或者是静态图像等等。37.待处理图像可以为rgb图像,即rgb三通道图像。rgb图像的每一个像素点均是由rgb三种颜色组成的。在终端处于拍照模式时,通过摄像模组得到的拍摄图像可以为raw图像。raw图像为摄像模组采集到的原始的图像数据信息。在本公开实施例中,可以对终端拍摄得到的拍摄图像进行转换得到待处理图像。例如,可以对raw格式的拍摄图像利用通用转换算法进行格式转换得到rgb格式的待处理图像,以提高后续处理的便捷性。38.在获取到待处理图像之后,图像信号处理器中的图像白平衡算法模块可以获取待处理图像全局白平衡增益。具体而言,可以对待处理图像的场景像素进行统计分析,获取全局白平衡增益wbg。全局白平衡增益指的是针对于整个待处理图像而言的白平衡增益,即可以用于对待处理图像进行整体白平衡。其中,对场景像素进行统计分析可以通过硬件多窗口实现。示例性地,可以通过图像信号处理器对图像传感器中的roi区域(regionofinterest,有效区域)的像素进行分块统计,以统计出每个图像块区域内颜色通道包括的像素的数量以及每个像素的像素值,颜色通道可以为r,gr,gb,b通道,也可以为其他类型通道,此处不作限定。有效区域可以为待处理图像的全部区域中的至少部分区域,例如可以为待处理图像的全部区域或者是部分区域,具体根据实际需求而确定,且不同场景对应的有效区域可以相同或不同。39.在一些实施例中,可以统计待处理图像的有效区域中每个图像块的每个颜色通道包括的像素的数量以及每个像素的像素值。进一步可以对每个图像块包括的像素的数量以及每个像素的像素值进行统计处理,得到全局白平衡增益。示例性地,每个像素可以包含多个颜色子像素,每个颜色子像素对应一个颜色通道。可以将每个颜色子像素的像素值进行平均处理,得到每个颜色通道的平均值,并根据每个颜色通道的平均值确定r/g值以及b/g值,以确定全局awbgain,即全局白平衡增益。40.在步骤s220中,对所述待处理图像进行分块得到多个图像块,并通过色彩传感器阵列确定各所述图像块的局部色彩信息。41.本公开实施例中,可以对待处理图像进行分块处理得到多个图像块。图像块可以为待处理图像的一部分,且多个图像块之间不重叠。每个图像块的大小可以相同,且图像块的数量可以根据网格数量而确定。示例性地,可以提供一个网格区域并将其作用在待处理图像上,以将待处理图像按照网格区域划分为多个图像块,划分的图像块可以和网格区域一一对应。参考图3中所示,可以包含多个图像块301。例如,网格00对应图像块00,网格01对应图像块01等等。网格区域的大小可以根据实际需求以及硬件结构共同进行设置,即在硬件结构能够支持的情况下,根据实际需求进行设置。例如可以为row行col列。基于此,可以将色彩传感器与图像块以及网格相关联,可以将待处理图像划分为row×col的图像块,且每个图像块与每一个网格相对应,在同一视场角下,网格区域表示的多窗口空间范围与待处理图像一致,以使得网格区域能够覆盖在待处理图像上。每个网格可以对应一个窗口,因此可以称为多窗口。42.本公开实施例中,可以包括色彩传感器阵列,色彩传感器阵列中可以包括多个色彩传感器302,且多个色彩传感器呈阵列排布。色彩传感器的数量可以根据图像块的数量而确定。并且,色彩传感器阵列可以与多窗口信息结合,因此每个色彩传感器均可以为多窗口色彩传感器。每一个网格代表一个色彩传感器,每个色彩传感器与每个图像块相对应。由于将待处理图像划分为多个网格,因此在空间上就形成了row×col的色彩传感器(colorsensor)阵列,该阵列形成了多窗口色彩传感器。43.多窗口色彩传感器阵列是一个独立的传感器,可以设置于摄像模组中任意一个摄像头的一侧并靠近摄像模组。摄像模组可以为后置摄像头模组,摄像模组可以包括至少一个摄像头,例如可以包括主摄像头、长焦摄像头、广角摄像头、微距摄像头中的任意一种或其组合。多个摄像头的具体设置位置以及排列顺序可以根据实际需求而确定,此处不做具体限定。色彩传感器阵列例如可以为长焦摄像头的左侧,或者是主摄像头的右侧或者是至少一个摄像头中最后一个摄像头的下侧等等。摄像模组与色彩传感器阵列可以相邻设置,也可以相隔一些间距。色彩传感器阵列的具体位置可以根据实际应用过程中对色彩传感器阵列进行标定的标定结果而确定,也可以根据实际需求而确定,此处不作具体限定。44.在引入色彩传感器阵列后,可以通过色彩传感器阵列中的每一个色彩传感器来对关联的图像块进行检测,得到每个图像块的局部色彩信息。色彩传感器可以为用于探测场景颜色、色温、光谱等相关信息的传感器,可以用于探测每个图像块对应的物体的色彩信息以及当前场景的色温信息。物体可以为每个图像块包含的对象,可以为任何类型的对象,例如物体、人物等等。其中,光谱是不同波长,色温是不同波长的响应曲线,波长对应颜色,则光谱、色温和颜色相互关联。因此此处以局部色彩信息为每个图像块对应的物体的色彩信息为例进行说明。45.接下来,继续参考图2中所示,在步骤s230中,根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,并根据所述目标白平衡增益对所述图像块进行白平衡处理,生成所述待处理图像对应的目标图像。46.本公开实施例中,可以将色彩传感器计算的局部色彩信息以及白平衡模块计算的全局白平衡增益进行对比,以计算局部色彩信息以及全局白平衡增益之间的差异信息。具体可以根据二者之间的差值的绝对值来计算二者之间的差异信息。需要说明的是,由于白平衡增益可以通过每个颜色子像素的比值来确定,因此也可以认为是将每个颜色子像素的数值进行对比。例如,可以对比色彩信息r、g、b的数值,也可以对比r/g值以及b/g值,此处以对比r、g、b的数值为例进行说明。47.具体而言,可以根据全局白平衡增益与每个图像块的每个颜色子像素的数值相乘,得到每个图像块的参考色彩信息;进一步将参考色彩信息与通过色温传感器获取的色彩信息进行对比,得到差异信息。差异信息可以为二者之间的差值的绝对值。除此之外,也可以根据通过色温传感器获取的色彩信息来确定r/g值以及b/g值,并与全局白平衡增益进行对比,以得到差异信息。48.进一步地,可以将差异信息与阈值参数进行对比,得到对比结果。并根据差异信息与阈值参数之间的对比结果,选择不同方式确定每个图像块的白平衡增益作为目标白平衡增益。阈值参数可以包括第一阈值和第二阈值,且第一阈值th1小于第二阈值th2。使用色彩信息确定差异信息和使用比值确定差异信息的阈值参数也不同,此处以对比r、g、b的数值为例进行说明。49.图4中示意性示出了选择不同方式确定目标白平衡增益的流程图,参考图4中所示,主要包括以下步骤:50.在步骤s410中,判断差异信息是否小于第一阈值;若是,转至步骤s420;若否,转至步骤s430;51.在步骤s420中,若所述差异信息小于第一阈值,根据全局白平衡增益确定目标白平衡增益;52.在步骤s430中,判断差异信息是否小于第二阈值;若是,则转至步骤s440;若否,则转至步骤s450;53.在步骤s440中,若所述差异信息大于第一阈值且小于第二阈值,通过局部色彩信息对应的增益信息对所述全局白平衡增益进行调整;54.在步骤s450中,若所述差异信息大于第二阈值,根据所述局部色彩信息对应的增益信息确定所述目标白平衡增益。55.本公开实施例中,随着差异信息的变化,目标白平衡增益占全局白平衡增益的权重也逐渐减小,具体参考图5中所示的权重变化图。当差异信息大于第一阈值时,目标白平衡增益占全局白平衡增益的权重为1;当差异信息处于第一阈值和第二阈值之间时,目标白平衡增益占全局白平衡增益的权重逐渐减小;当差异信息大于第二阈值时,目标白平衡增益占全局白平衡增益的权重为0,即目标白平衡增益占色彩传感器阵列获取的局部色彩信息对应的增益信息的权重为1。56.在此基础上,如果二者之间的差异信息小于第一阈值,则每个图像块的目标白平衡增益可以为由白平衡算法计算的全局白平衡增益。在这种情况下,色彩传感器无需对白平衡算法计算得到的全局白平衡增益进行校正。因此直接将全局白平衡增益所表示的全局结果作为确定目标白平衡增益的输入,以得到每个图像块的目标白平衡增益,即直接将白平衡计算模块得到的全局白平衡增益作为每个图像块的目标白平衡增益,此时每个图像块的目标白平衡增益是相同的。57.如果二者之间的差异信息大于第一阈值且小于第二阈值,可以根据色彩传感器以及白平衡算法计算得到的全局白平衡增益共同确定每个图像块的目标白平衡增益,即色彩传感器阵列获取的局部色彩信息需要对白平衡算法计算得到的全局白平衡增益进行调整,即通过色彩传感器阵列获取的局部色彩信息对应的增益信息对白平衡算法计算得到的全局白平衡增益进行调整。示例性地,每个图像块的目标白平衡增益可以根据对不同方式计算得到的所有增益信息进行插值得到。插值可以为加权求和操作。其中,不同方式得到的增益信息对应的权重参数也不同,且所有权重参数之和为1。基于此,可以按照权重参数对所有增益信息进行融合。示例性地,可以按照对应的权重参数,对色彩传感器阵列获取的局部色彩信息对应的增益信息以及全局白平衡增益进行加权融合,例如公式(1)所示:58.out=weight*awb_algo (1-weight)*color_sensorꢀꢀꢀ公式(1)59.其中,awb_algo表示全局白平衡增益,color_sensor表示色彩传感器阵列获取的局部色彩信息对应的增益信息。60.通过色彩传感器阵列获取的局部色彩信息的增益信息对全局白平衡增益进行融合,由于每个图像块的局部色彩信息可能不同,因此计算得到的每个图像块的目标白平衡增益也可以不同。61.如果二者之间的差异信息大于第二阈值,则每个图像块的目标白平衡增益可以根据色彩传感器阵列获取的局部色彩信息对应的增益信息来确定。具体可以根据获取的局部色彩信息的比值来确定,此处不再赘述。此时只根据色彩传感器阵列获取的局部色彩信息来计算每个图像块的目标白平衡增益,因此不同图像块的目标白平衡增益可能不同。62.本公开实施例中,通过将色彩传感器阵列获取的局部色彩信息与全局白平衡增益对应的参考色彩信息之间的差异信息,与第一阈值和第二阈值进行对比,基于对比结果使用不同方式获取每个图像块的目标白平衡增益,能够提高每个图像块对应的目标白平衡增益的准确性。由于能够为每个图像块独立确定目标白平衡增益,避免了只能根据全局白平衡增益确定每个图像块的目标白平衡增益的局限性,能够提高灵活性以及针对性,从而提高准确性。63.在确定每个图像块的目标白平衡增益之后,可以将对每个图像块的目标白平衡增益进行平滑处理,以实现所有图像块的目标白平衡增益之间的平滑过渡,降低每个图像块所表示的局部分块之间作用不同的目标白平衡增益后产生的突变效果。其中,平滑处理可以通过低通滤波来实现。低通滤波指的是低频信号能正常通过,而超过设定临界值的高频信号则被阻隔、减弱的过滤方式。其中阻隔、减弱的幅度则会依据不同的频率以及不同的滤波程序或者是滤波目的而改变。64.接下来,可以根据每个图像块的目标白平衡增益对图像块进行白平衡处理,生成待处理图像对应的目标图像。具体可以将每个图像块的目标白平衡增益作用在待处理图像上,获取各图像块中的各像素点的颜色参数,以得到目标图像。目标图像可以为对待处理图像中的至少部分图像块进行白平衡处理得到的图像。例如,可以对待处理图像中的部分图像进行白平衡处理,也可以对待处理图像中的全部图像块进行白平衡处理,具体根据实际需求而确定。65.各像素点指的是待处理图像中由rgb组成的像素点,每个像素点可以包括第一颜色子像素r、第二颜色子像素b以及第三颜色子像素g。颜色参数指的是每个颜色子像素的数值,可以为每个颜色子像素所表示的颜色通道的通道分量,例如r、g、b数值。基于此,可通过每个图像块的目标白平衡增益与每个图像块中每个颜色子像素的数值进行乘法操作,得到每个图像块中每个像素点的颜色参数。66.本公开实施例中,引入色彩传感器阵列获得每个图像块内的局部色彩信息,并且可以通过局部色彩信息对全局白平衡增益进行进一步的调整得到每个图像块的目标白平衡增益awbgain的数值,从而实现局部自适应调整,提高准确性和灵活性,能够实现对每个图像块的单独控制。在此基础上,根据每个图像块的目标白平衡增益对待处理图像进行局部自适应白平衡处理,能够避免相关技术中进行全局白平衡的局限性,提高了针对性和灵活性,也能够提高目标图像的质量,使其更符合实际需求,增加了应用范围。67.需要说明的是,本公开实施例中,除了色彩传感器阵列外,图像信号处理器中还可以包含分割子系统模块。可以将图像传感器获取的信息与分割子系统模块相关联,将信息送至分割子系统模块进行处理,以使分割子系统模块获得需要的掩膜信息,例如图6中所示的掩膜信息600。掩膜信息能够遮挡部分区域,透过其他部分区域。掩膜信息用于从整个待处理图像中获取一部分区域,例如获取目标区域。参考图6中所示,可以根据掩膜信息600获取人脸区域,并将人脸区域作为目标区域601,将待处理图像中除目标区域之外的剩余区域作为参考区域602。68.为了解决相关技术中的技术问题,可以根据掩膜信息从待处理图像中确定目标区域,即将掩膜信息对应的区域作为目标区域,并将目标区域内的色彩信息进行独立的色彩控制和色彩处理。目标区域可以为需要进行精细处理的区域,具体根据实际需求而确定,例如可以为人脸图像中的部分区域,图像中更加感兴趣的内容的区域等等。69.由图7中可以看出,目标区域701可以包含多个图像块,因此可以结合多个图像块的局部色彩信息获取目标区域的色彩信息。具体地,可以根据目标区域包含的每个图像块的局部色彩信息进行平均处理得到目标区域的色彩信息;还可以直接将每个图像块的局部色彩图像中的最大值或最小值作为目标区域的色彩信息,此处不作具体限定,只要是根据多个图像块的局部色彩信息进行结合处理得到即可。70.进一步地,由于目标区域中可以包含多个图像块,因此可以基于多个图像块的局部色彩信息确定目标区域的色彩信息,进而根据目标区域的色彩信息确定目标区域的局部增益信息。具体地,可以根据目标区域的色彩信息对应的r/g值以及b/g值确定目标区域的局部增益信息。除此之外,还可以将目标区域包含的每个图像块的目标白平衡增益进行平均处理得到目标区域的局部增益信息;还可以直接将每个图像块的目标白平衡增益中的最大值或最小值作为目标区域的局部增益信息,此处不作具体限定。71.在一些实施例中,可以将目标区域外的参考区域的增益信息确定为第一增益信息,将目标区域内的局部增益信息确定为第二增益信息。即,目标区域内输出处理后的红绿蓝(rgb)色彩增益信息wbg2。位于目标区域之外的参考区域输出原有红绿蓝(rgb)色彩增益数值为wbg1,且第一增益信息wbg1为全局白平衡增益与每个图像块的局部色彩信息融合(加权求和)结果。参考图8中所示,目标区域之外的参考区域802的增益信息为第一增益信息wbg1,目标区域801增益信息为第二增益信息wbg2。第一增益信息可以大于第二增益信息,也可以小于第二增益信息,只要第一增益信息与第二增益信息不同即可,此处不作具体限定。72.在确定目标区域内的第二增益信息以及参考区域的第一增益信息后,可以保持参考区域的第一增益信息不变,对目标区域的第二增益信息进行调整。具体可以根据预设的调整参数对第二增益信息进行调整,预设的调整参数可以根据实际需求而设置,此处不作具体限定。调整参数可以包含需要调整的图像块以及调整幅度。在进行调整时,可以按照需要调整的图像块以及调整幅度进行全部调整或部分调整,从而对目标区域的第二增益信息进行调整,实现对目标区域的第二增益信息进行精细独立控制,提高了白平衡处理的灵活性。73.为了避免不同区域的增益信息之间的差异,可以将目标区域内的第二增益信息以及目标区域外参考区域的第一增益信息进行平滑过渡。平滑过渡可以为径向过渡,也可以其他过渡方式,此处以径向过渡为例进行说明。74.径向过渡由它的中心定义。在径向过渡过程中,还可以指定渐变的中心、形状以及大小。形状可以为圆形或椭圆形,渐变的大小可以表示到最远的角落。本公开实施例中,以目标区域之外参考区域的第一增益信息的中心区域为径向原点,由目标区域的第二增益信息向参考区域的第一增益信息进行径向过渡,参考图8中所示。二者之间的过渡方式可以为平滑曲线权重径向分布或者是线性分布等一系列权重过渡方式,参考图9中所示,此处不作具体限定。平滑曲线权重径向分布指的是过渡方式的权重可以为平滑曲线分布,线性分布指的是过渡方式的权重的分布方式为线性分布。75.在确定目标区域的局部增益信息以及参考区域的增益信息之后,可以基于每个位置区域的白平衡增益对待处理图像进行白平衡处理,具体可以将目标区域的局部增益信息与目标区域的每个像素点的颜色子像素的数值进行乘法操作,将参考区域的增益信息与参考区域的每个像素点的颜色子像素的数值进行乘法操作,得到待处理图像中每个像素点的颜色参数。此处的目标图像可以为对目标区域的图像内容进行针对性处理而得到的图像。76.本公开实施例中,通过掩膜信息获取目标区域,进而能够对待处理图像中的目标区域表示的局部区域的图像内容进行局部的白平衡处理,避免了相关技术中只能整体处理的局限性,提高了图像白平衡处理的灵活性和针对性,也提高了图像质量。77.本公开实施例中,通过引入色彩传感器阵列,可根据色彩传感器阵列的多窗口信息获得每个图像块的局部色彩信息。并且可以根据每个图像块的局部色彩信息对全局白平衡中增益进行进一步的调整得到每个图像块的目标白平衡增益的数值。能够实现局部自适应调整,从而获得局部区域的目标白平衡增益,提高准确性。分割子系统模块可以对图像内容更有针对性的进行更进一步的色彩增益矫正。结合色彩传感器阵列的信息可以更准确的对全局、局部、图像内容等多个维度对待处理图像进行更优的色彩处理。78.图10示意性示出了图像信号处理器的结构图,参考图10中所示,图像信号处理器可以包括图像白平衡算法模块1000,还可以将图像信号处理器划分为前端处理1001(fe)和后端处理1002(be)。前端处理(fe)包含了白平衡子系统模块1003,后端处理(be)包含后色调映射(tone)1004、色彩(color)1005等子系统模块。图像信号处理器中还可以包含分割子系统模块1006。除此之外,还可以包含色彩传感器阵列1007以及传感器1008。79.参考图10中所示,色彩传感器阵列获取的网格信息与白平衡算法子系统模块中获取的网格相关联。传感器与分割子系统模块相关联,将获取的信息发送至分割子系统模块处理获得需要的掩膜信息。将色彩传感器阵列与分割子系统模块输出的掩膜信息相关联,输出目标区域内的色彩信息。80.基于上述硬件结构,色彩传感器阵列可以获取每个图像块的局部色彩信息,根据局部色彩信息与全局白平衡增益对应的参考色彩信息的差异信息,与阈值参数之间的对比结果,通过图像白平衡算法模块采用不同方式获取每个图像块的目标白平衡增益,并通过前端的白平衡子系统模块进行图像白平衡处理。除此之外,色彩传感器阵列在获取每个图像块的目标白平衡增益之后,还可以根据分割子系统模块获取掩膜信息,从而获取根据掩膜信息对应的目标区域的色彩信息,进而通过图像白平衡算法模块计算目标区域的增益信息,并根据前端的白平衡子系统模块进行图像白平衡处理。本公开实施例中,通过引入色彩传感器阵列,可以提高前端处理中白平衡子系统模块的能力。81.图11中示意性示出了获取目标图像的流程图,参考图11中所示,主要包括以下步骤:82.在步骤s1101中,获取待处理图像1110。83.在步骤s1102中,获取全局白平衡增益1120。84.在步骤s1103中,对待处理图像进行分块得到多个图像块1130。85.在步骤s1104中,基于色彩传感器阵列1040获取局部色彩信息1150。86.在步骤s1105中,根据全局白平衡增益1120和局部色彩信息1150生成目标白平衡增益1160。87.在步骤s1106中,根据目标白平衡增益1060对待处理图像1110进行白平衡处理。88.在步骤s1107中,生成目标图像1170。89.本公开实施例中,通过引入色彩传感器阵列,可根据色彩传感器阵列的多窗口信息获得每个图像块的局部色彩信息。并且可以根据每个图像块的局部色彩信息对全局白平衡中增益进行进一步的调整得到每个图像块的目标白平衡增益的数值。能够实现局部自适应调整,从而获得局部区域的目标白平衡增益,提高准确性。90.需要补充的是,在进行图像处理过程中,对于视频或者是预览等实时处理方式,可以进行时域空间的平滑处理。每个时刻t可以将一张图像送入图像信号处理系统中进行处理,以得到framet-2,framet-1,framet,framet 1,framet 2对应的图像。在该过程中,可以对每张图像上的时域(imagesequeneces方向)进行数据平滑滤波。对每张图像的时域进行平滑滤波可以理解为按照图像时序序列方向进行平滑滤波。具体地,平滑滤波可以采用时域空间上进行iir滤波方式,其中输出结果的计算方式可以为i=a*w b*(1-w)。其中,i表示当前frame,即framet的输出结果,a为当前frame的数据或参数,w是当前frame的权重。b是时间轴上与当前frame相邻的上一frame-1的数据或参数,1-w是frame-1的权重。通过该方式可以进行时域(imagesequence)的平滑处理,以减小不同时间之间的差距,避免出现较为突兀的情况。91.综上所述,本公开实施例中的技术方案,由于能够根据色彩传感器阵列确定每个图像块的局部色彩信息,进而根据全局白平衡增益以及局部色彩信息确定每个图像块的目标白平衡增益,能够通过色彩传感器阵列的局部色彩信息来调整全局白平衡增益,从而实现对每个图像块的单独控制,避免了相关技术中只能整体处理的局限性,提高了目标白平衡增益的准确性和全面性。结合色彩传感器阵列的局部色彩信息,能够更准确地对从全局以及局部等多个维度对图像进行处理,提高图像质量。除此之外,通过对图像块之间的目标白平衡增益进行平滑过渡,使得整张图像上不会出现很突兀的区域,提高了平滑度和图像质量。在引入分割子系统模块之后,可以通过掩膜信息在待处理图像中获取目标区域,进而能够对待处理图像中的目标区域表示的局部区域的图像内容进行局部的白平衡处理,避免了相关技术中只能整体处理的局限性,提高了图像白平衡处理的灵活性和针对性,也提高了图像质量。结合色彩传感器阵列的所获取的局部色彩信息计算的每个图像块的目标白平衡增益,可以更准确的从全局、局部、图像内容等多个维度对待处理图像进行色彩处理,能够提高分块白平衡的效果和真实性,实现图像块之间的平滑过渡,提高图像处理的准确性,提高图像质量。92.本公开实施例中提供了一种图像白平衡处理装置,参考图11中所示,该图像白平衡处理装置1200可以包括:93.全局获取模块1201,用于获取待处理图像,并确定所述待处理图像的全局白平衡增益;94.局部色彩确定模块1202,用于对所述待处理图像进行分块得到多个图像块,并通过色彩传感器阵列确定各所述图像块的局部色彩信息;95.图像处理模块1203,用于根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,并根据所述目标白平衡增益对所述图像块进行白平衡处理,生成所述待处理图像对应的目标图像。96.在本公开的一种示例性实施例中,全局获取模块包括:像素统计模块,用于对所述待处理图像的有效区域中,每个图像块的每个颜色通道的像素数量以及每个像素的像素值进行统计,确定所述全局白平衡增益。97.在本公开的一种示例性实施例中,图像处理模块包括:对比模块,用于将所述全局白平衡增益对应的参考色彩信息与所述局部色彩信息进行对比确定差异信息;目标白平衡增益获取模块,用于根据所述差异信息与阈值参数的对比结果,选择不同方式获取所述目标白平衡增益。98.在本公开的一种示例性实施例中,目标白平衡增益获取模块包括:第一获取模块,用于若所述差异信息小于第一阈值,根据全局白平衡增益确定目标白平衡增益;第二获取模块,用于若所述差异信息大于第一阈值且小于第二阈值,通过局部色彩信息对应的增益对所述全局白平衡增益进行调整,以确定所述目标白平衡增益;第三获取模块,用于若所述差异信息大于第二阈值,根据所述局部色彩信息对应的增益确定所述目标白平衡增益。99.在本公开的一种示例性实施例中,第三获取模块包括:插值模块,用于将所述局部色彩信息对应的增益以及所述全局白平衡增益进行插值,获取所述目标白平衡增益。100.在本公开的一种示例性实施例中,所述装置还包括:色彩信息获取模块,用于获取所述待处理图像中目标区域的色彩信息;增益信息确定模块,用于根据所述目标区域的色彩信息确定局部增益信息,并确定除所述目标区域之外的参考区域的增益信息;局部白平衡处理模块,用于根据所述局部增益信息以及除所述目标区域之外的参考区域的增益信息对所述待处理图像进行白平衡处理。101.在本公开的一种示例性实施例中,色彩信息获取模块包括:获取控制模块,用于根据待处理图像中的掩膜信息获取目标区域,并根据所述目标区域包含的图像块的局部色彩信息确定所述色彩信息。102.在本公开的一种示例性实施例中,增益信息确定模块包括:第一确定模块,用于将第一增益信息确定为所述目标区域之外的参考区域的增益信息,并保持所述增益信息不变;第二确定模块,用于将第二增益信息确定为所述目标区域内的局部增益信息,并对所述局部增益信息进行调整。103.需要说明的是,上述图像白平衡处理装置中各部分的具体细节在图像白平衡处理方法部分实施方式中已经详细说明,未披露的细节内容可以参见方法部分的实施方式内容,因而不再赘述。104.本公开的示例性实施方式还提供一种电子设备。该电子设备可以是上述终端101。一般的,该电子设备可以包括处理器与存储器,存储器用于存储处理器的可执行指令,处理器配置为经由执行可执行指令来执行上述图像白平衡处理方法。105.下面以图13中的移动终端1300为例,对该电子设备的构造进行示例性说明。本领域技术人员应当理解,除了特别用于移动目的的部件之外,图13中的构造也能够应用于固定类型的设备。106.如图13所示,移动终端1300具体可以包括:处理器1301、存储器1302、总线1303、移动通信模块1304、天线1、无线通信模块1305、天线2、显示屏1306、摄像模块1307、音频模块1308、电源模块1309与传感器模块1310。107.处理器1301可以包括一个或多个处理单元,例如:处理器1301可以包括ap(applicationprocessor,应用处理器)、调制解调处理器、gpu(graphicsprocessingunit,图形处理器)、isp(imagesignalprocessor,图像信号处理器)、控制器、编码器、解码器、dsp(digitalsignalprocessor,数字信号处理器)、基带处理器和/或npu(neural-networkprocessingunit,神经网络处理器)等。本示例性实施方式中的图像去噪处理方法可以由ap、gpu或dsp来执行,当方法涉及到神经网络相关的处理时,可以由npu来执行,例如npu可以加载神经网络参数并执行神经网络相关的算法指令。示例性地,可以获取待处理图像,并确定所述待处理图像的全局白平衡增益;对所述待处理图像进行分块得到多个图像块,并通过色彩传感器阵列确定各所述图像块的局部色彩信息;根据所述全局白平衡增益以及所述局部色彩信息确定各图像块的目标白平衡增益,并根据所述目标白平衡增益对所述图像块进行白平衡处理,生成所述待处理图像对应的目标图像。108.编码器可以对图像或视频进行编码(即压缩),以减小数据大小,便于存储或发送。解码器可以对图像或视频的编码数据进行解码(即解压缩),以还原出图像或视频数据。移动终端1300可以支持一种或多种编码器和解码器,例如:jpeg(jointphotographicexpertsgroup,联合图像专家组)、png(portablenetworkgraphics,便携式网络图形)、bmp(bitmap,位图)等图像格式,mpeg(movingpictureexpertsgroup,动态图像专家组)1、mpeg10、h.1063、h.1064、hevc(highefficiencyvideocoding,高效率视频编码)等视频格式。109.处理器1301可以通过总线1303与存储器1302或其他部件形成连接。110.存储器1302可以用于存储计算机可执行程序代码,可执行程序代码包括指令。处理器1301通过运行存储在存储器1302的指令,执行移动终端1300的各种功能应用以及数据处理。存储器1302还可以存储应用数据,例如存储图像,视频等文件。111.移动终端1300的通信功能可以通过移动通信模块1304、天线1、无线通信模块1305、天线2、调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。移动通信模块1304可以提供应用在移动终端1300上3g、4g、5g等移动通信解决方案。无线通信模块1305可以提供应用在移动终端1300上的无线局域网、蓝牙、近场通信等无线通信解决方案。112.显示屏1306用于实现显示功能,如显示用户界面、图像、视频等。摄像模块1307用于实现拍摄功能,如拍摄图像、视频等,且摄像模块中可以包含色彩传感器阵列。音频模块1308用于实现音频功能,如播放音频,采集语音等。电源模块1309用于实现电源管理功能,如为电池充电、为设备供电、监测电池状态等。传感器模块1310可以包括一种或多种传感器,用于实现相应的感应检测功能。例如,传感器模块1310可以包括惯性传感器,其用于检测移动终端1300的运动位姿,输出惯性传感数据。113.需要说明的是,本公开实施例中还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。114.计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。115.计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。116.计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。117.通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。118.此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。119.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。120.本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本
技术领域
:中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。当前第1页12当前第1页12
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献