图像处理方法、装置、设备、介质、产品及芯片系统与流程
本公开涉及图像处理,尤其涉及一种图像处理方法、装置、设备、介质、产品及芯片系统。
背景技术:
1、在图像处理流程中,图像传感器输出的图像数据(包括多个像素的像素值)经过如白平衡、镜头阴影校正等图像处理后,可能会导致部分像素的像素值过曝(例如,超出有效值域范围),从而无法生成对应的图像。
2、相关技术中,通常可以将过曝像素的像素值强制更新至有效值域范围内,再基于更新后的像素生成对应的图像。但是,这种强制更新像素值的方式会使得最终生成的图像丢失原本具有连续亮度变化的高光区域细节,降低图像质量。
技术实现思路
1、为克服相关技术中存在的问题,本公开提供一种图像处理方法、装置、设备、介质、产品及芯片系统。
2、根据本公开实施例的第一方面,提供一种图像处理方法,包括:获取图像数据;图像数据包括多个像素的像素值;基于预设规则和多个像素的像素值,确定多个像素中的过曝像素和与过曝像素相关联的未过曝像素;基于未过曝像素的像素值,确定恢复信息,以及,基于过曝像素的像素值,确定过曝像素的颜色比例;恢复信息包括颜色比例与恢复系数之间的对应关系;颜色比例包括未过曝像素在颜色空间中任意两个颜色通道上的颜色比例;基于恢复信息和过曝像素的颜色比例,对过曝像素进行恢复处理。
3、可见,本公开通过利用与过曝像素相关联的未过曝像素的像素值建立颜色比例与恢复系数之间的对应关系,进而基于该对应关系和过曝像素自身的颜色比例对过曝像素进行恢复处理,由于未过曝像素的像素值未超出有效范围且其与过曝像素相关联,因此其颜色比例和恢复系数之间的对应关系能够在一定程度上反映过曝像素在正常曝光状态下的真实情况,因此当过曝像素使用自身的颜色比例从该对应关系中查找恢复系数时,所获得的恢复系数能够将过曝像素的像素值调整至更接近真实亮度的数值,从而有效保留待生成图像的高光区域的细节层次,提升图像质量。
4、根据本公开的第一方面,在一些实施例中,多个像素的像素值包括多个像素在每个颜色通道上的像素值;基于过曝像素的像素值,确定过曝像素的颜色比例,包括:基于过曝像素在第一通道和第二通道上的像素值,确定过曝像素的颜色比例;第一通道和第二通道为颜色空间包括的任意两个不同的颜色通道。
5、可见,本公开通过基于过曝像素在第一通道和第二通道上的像素值确定过曝像素的颜色比例,且第一通道和第二通道为颜色空间中任意两个不同的颜色通道,由于颜色比例反映了不同颜色通道之间的相对强度,该相对强度在过曝前后保持稳定的相关性,因此使用该颜色比例作为后续恢复处理中恢复系数的索引键,能够使恢复系数与过曝像素的实际色彩特征精确对应,从而为恢复处理提供准确的参数依据。
6、根据本公开的第一方面,在一些实施例中,基于恢复信息和过曝像素的颜色比例,对过曝像素进行恢复处理,包括:在恢复信息中确定与颜色比例对应的恢复系数;基于颜色比例对应的恢复系数、过曝像素在第一通道和第二通道上的像素值,对过曝像素在第三通道上的像素值进行恢复处理;颜色空间包括第三通道;第三通道与第一通道和第二通道不同。
7、可见,本公开通过在恢复信息中确定与颜色比例对应的恢复系数,并基于该恢复系数以及过曝像素在第一通道和第二通道上的像素值,对过曝像素在第三通道上的像素值进行恢复处理,由于恢复系数来源于未过曝像素中相同颜色比例下的统计关系,因此协同该恢复系数、第一通道和第二通道的像素值,能够确定第三通道在真实场景中的亮度估计值,从而实现对过曝通道的有效恢复,得到更好地恢复效果。
8、根据本公开的第一方面,在一些实施例中,基于颜色比例对应的恢复系数、过曝像素在第一通道和第二通道上的像素值,对过曝像素在第三通道上的像素值进行恢复处理,包括:基于颜色比例对应的恢复系数、过曝像素在第一通道和第二通道上的像素值,确定过曝像素在第三通道上对应的第一恢复像素值;将第一恢复像素值和过曝像素在第三通道上的像素值中的较大值确定为第二恢复像素值;基于第二恢复像素值,对过曝像素在第三通道上的像素值进行恢复处理。
9、可见,本公开通过基于颜色比例对应的恢复系数以及过曝像素在第一通道和第二通道上的像素值确定第一恢复像素值,并将第一恢复像素值与过曝像素在第三通道上的像素值中的较大值确定为第二恢复像素值,由于第一恢复像素值在某些情况下可能低于过曝像素在第三通道上的像素值,通过取较大值能够保证恢复后的像素值不低于过曝像素在第三通道上的像素值,从而避免恢复结果反而更暗的异常。
10、根据本公开的第一方面,在一些实施例中,基于第二恢复像素值,对过曝像素在第三通道上的像素值进行恢复处理,包括:基于过曝像素在第三通道上的像素值和过曝像素在第三通道上的最大像素阈值,确定过曝像素在第三通道上的过曝程度;基于过曝像素在第三通道上的过曝程度,确定第一融合权重;过曝像素在第三通道上的过曝程度越大,第一融合权重越大;基于第二恢复像素值和第一融合权重,对过曝像素在第三通道上的像素值进行恢复处理。
11、可见,本公开通过基于过曝像素在第三通道上的像素值和最大像素阈值确定该过曝像素在第三通道上的过曝程度,并根据过曝程度确定第一融合权重,然后基于第二恢复像素值和第一融合权重对该过曝像素在第三通道的像素值进行恢复处理,由于过曝程度越高的像素其像素值越偏离真实亮度,可以赋予恢复值更高的权重,而过曝程度较低的像素保留更多像素值,因此能够使恢复后的像素与周围像素自然过渡,得到更好的恢复效果。
12、根据本公开的第一方面,在一些实施例中,还包括:基于第二恢复像素值和第一融合权重,得到中间恢复像素值;获取过曝像素在每个过曝颜色通道上的过曝程度;基于过曝像素在每个过曝颜色通道上的过曝程度,确定过曝像素对应的整体过曝程度;基于过曝像素对应的整体过曝程度,确定第二融合权重;对过曝像素在每个过曝颜色通道上的最大像素阈值执行矫正处理,得到过曝像素在每个过曝颜色通道上的最大像素矫正值;基于第二融合权重、过曝像素对应的最大像素矫正值和中间恢复像素值,对过曝像素在第三通道上的像素值进行恢复处理。
13、可见,本公开通过基于第二融合权重、最大像素矫正值和中间恢复像素值对过曝像素在第三通道上的像素值进行恢复处理,由于整体过曝程度反映了过曝像素的综合过曝严重程度,最大像素矫正值反映了过曝像素可能达到的最大亮度,因此通过第二融合权重将中间恢复像素值与最大像素矫正值进行结合恢复,能够使恢复后的像素值根据过曝程度自适应调整,对于一通道或二通道过曝的像素能够在恢复基础上进一步优化,对于三通道均过曝的像素则能够有效接管恢复处理,使过曝区域保持自然过渡,得到更好的恢复效果。
14、根据本公开的第一方面,在一些实施例中,还包括:获取经过恢复处理后的过曝像素在每个颜色通道上的像素值;对于目标像素对应的目标像素值,对目标像素值执行至少一种预设处理,得到目标像素对应的至少一个像素调整值;目标像素为经过恢复处理后的过曝像素中的任一像素;目标像素值为过曝像素在目标颜色通道上的像素值;目标颜色通道为颜色空间中的任一颜色通道;基于至少一个像素调整值,调整目标像素对应的目标像素值,以将目标像素对应的目标像素值调整至预设像素值区间。
15、可见,本公开通过对目标像素值执行至少一种预设处理得到至少一个像素调整值,并基于至少一个像素调整值调整目标像素值以使其落入预设像素值区间,由于经过恢复处理的过曝像素的像素值可能超出预设像素值区间,通过预设处理可以将超出预设像素值区间的像素值调整至预设像素值区间内,同时保留恢复处理所获得的高光细节,从而满足后续处理或显示对像素值范围的要求,得到更好的恢复效果。
16、根据本公开的第一方面,在一些实施例中,至少一种预设处理包括第一预设处理;至少一个像素调整值包括第一像素调整值;第一预设处理包括:对目标像素值执行第一非线性变换,得到第一中间像素值;基于预设像素值区间的上限值和经过恢复处理后的各过曝像素在目标颜色通道上的像素值中的最大值,确定第一映射参数;基于第一映射参数,对第一中间像素值执行第一非线性映射,得到第二中间像素值;对第二中间像素值执行第一逆非线性变换,得到第一像素调整值。
17、可见,由于第一映射参数根据预设像素值区间的上限值和过曝像素在目标颜色通道上的像素值最大值动态确定,且第一非线性变换与第一逆非线性变换配对使用,因此能够将超出预设像素值区间的像素值调整至预设像素值区间内,并使调整后的像素值在预设像素值区间内保持原有的亮度分布特性,有效保留高光区域的细节层次,避免出现高光细节丢失或偏色现象,从而得到更好的恢复效果。
18、根据本公开的第一方面,在一些实施例中,至少一种预设处理包括第二预设处理;第二预设处理包括:基于目标像素的像素值,确定目标像素的亮度值;对目标像素的亮度值执行第二非线性变换,得到第一中间亮度值;基于预设亮度值区间的上限值和目标图像数据包括的各像素的亮度值中的最大值,确定第二映射参数;基于第二映射参数,对第一中间亮度值执行第二非线性映射,得到第二中间亮度值;对第二中间亮度值执行第二逆非线性变换,得到目标像素对应的目标亮度值;基于目标像素的亮度值和目标像素对应的目标亮度值,对目标像素的像素值执行缩放处理,得到第二像素调整值。
19、可见,由于缩放比例统一作用于各颜色通道,因此能够将超出预设像素值区间的像素值调整至预设像素值区间内的同时保持目标像素原有的颜色比例不变,有效避免因像素值调整而导致的色偏现象,同时保留恢复处理所获得的高光细节层次,进而得到更好的恢复效果。
20、根据本公开的第二方面,提供一种图像处理装置,包括:
21、图像数据获取模块,用于获取图像数据;图像数据包括多个像素的像素值;像素分类模块,用于基于预设规则和多个像素的像素值,确定多个像素中的过曝像素和与过曝像素相关联的未过曝像素;恢复信息获取模块,用于基于未过曝像素的像素值,确定恢复信息;恢复信息包括颜色比例与恢复系数之间的对应关系;颜色比例包括未过曝像素在颜色空间中任意两个颜色通道上的颜色比例;颜色比例获取模块,用于基于过曝像素的像素值,确定过曝像素的颜色比例;恢复模块,用于基于恢复信息和过曝像素的颜色比例,对过曝像素进行恢复处理。
22、根据本公开的第二方面,在一些实施例中,多个像素的像素值包括多个像素在每个颜色通道上的像素值;颜色比例获取模块具体用于:基于过曝像素在第一通道和第二通道上的像素值,确定过曝像素的颜色比例;第一通道和第二通道为颜色空间包括的任意两个不同的颜色通道。
23、根据本公开的第二方面,在一些实施例中,恢复模块具体用于:在恢复信息中确定与颜色比例对应的恢复系数;基于颜色比例对应的恢复系数、过曝像素在第一通道和第二通道上的像素值,对过曝像素在第三通道上的像素值进行恢复处理;颜色空间包括第三通道;第三通道与第一通道和第二通道不同。
24、根据本公开的第二方面,在一些实施例中,恢复模块具体用于:基于颜色比例对应的恢复系数、过曝像素在第一通道和第二通道上的像素值,确定过曝像素在第三通道上对应的第一恢复像素值;将第一恢复像素值和过曝像素在第三通道上的像素值中的较大值确定为第二恢复像素值;基于第二恢复像素值,对过曝像素在第三通道上的像素值进行恢复处理。
25、根据本公开的第二方面,在一些实施例中,恢复模块具体用于:基于过曝像素在第三通道上的像素值和过曝像素在第三通道上的最大像素阈值,确定过曝像素在第三通道上的过曝程度;基于过曝像素在第三通道上的过曝程度,确定第一融合权重;过曝像素在第三通道上的过曝程度越大,第一融合权重越大;基于第二恢复像素值和第一融合权重,对过曝像素在第三通道上的像素值进行恢复处理。
26、根据本公开的第二方面,在一些实施例中,恢复模块还用于:基于第二恢复像素值和第一融合权重,得到中间恢复像素值;获取过曝像素在每个过曝颜色通道上的过曝程度;基于过曝像素在每个过曝颜色通道上的过曝程度,确定过曝像素对应的整体过曝程度;基于过曝像素对应的整体过曝程度,确定第二融合权重;对过曝像素在每个过曝颜色通道上的最大像素阈值执行矫正处理,得到过曝像素在每个过曝颜色通道上的最大像素矫正值;基于第二融合权重、过曝像素对应的最大像素矫正值和中间恢复像素值,对过曝像素在第三通道上的像素值进行恢复处理。
27、根据本公开的第二方面,在一些实施例中,调整模块用于:获取经过恢复处理后的过曝像素在每个颜色通道上的像素值;对于目标像素对应的目标像素值,对目标像素值执行至少一种预设处理,得到目标像素对应的至少一个像素调整值;目标像素为经过恢复处理后的过曝像素中的任一像素;目标像素值为过曝像素在目标颜色通道上的像素值;目标颜色通道为颜色空间中的任一颜色通道;基于至少一个像素调整值,调整目标像素对应的目标像素值,以将目标像素对应的目标像素值调整至预设像素值区间。
28、根据本公开实施例的第三方面,提供一种电子设备,包括:处理器;用于存储处理器可执行指令的存储器;其中,处理器被配置为:执行可执行指令以实现上述第一方面及其任一项所述的图像处理方法。
29、根据本公开实施例的第四方面,提供一种非临时性计算机可读存储介质,当存储介质中的指令由处理器执行时,使得处理器能够执行上述第一方面及其任一项所述的图像处理方法。
30、根据本公开实施例的第五方面,提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述第一方面及其任一项所述的图像处理方法。
31、根据本公开实施例的第六方面,提供一种芯片系统,芯片系统包括处理单元和接口电路,处理单元通过接口电路获取程序指令,程序指令被处理单元执行,处理单元用于执行上述第一方面及其任一项所述的图像处理方法。
32、应当理解的是,上述第二方面所述的图像处理装置、第三方面所述的电子设备,第四方面所述的非临时性计算机可读存储介质、第五方面所述的计算机程序产品、第六方面所述的芯片系统所能达到的有益效果,可参考第一方面及其任一种实施例中的有益效果,此处不再赘述。
33、并且,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com