图像处理方法、装置、电子设备及存储介质与流程
本公开涉及图像处理,尤其涉及一种图像处理方法、装置、电子设备及存储介质。
背景技术:
1、视觉传感器拍摄的图像中会存在因过曝而高亮区域呈现不佳的问题,通过对图像进行处理,可以提高图像中的高亮区域呈现效果,进而提高图像拍摄的质量。
技术实现思路
1、本公开提供一种图像处理方法、装置、电子设备及存储介质,以解决相关技术中的问题。
2、本公开的第一方面实施例提出一种图像处理方法,该方法包括:
3、获取目标帧的第一图像、目标帧的第二图像及目标帧的上一帧的第三图像;第一图像的曝光值大于第二图像的曝光值,第一图像的尺寸大于第二图像的尺寸,第二图像的图像尺寸与第三图像的图像尺寸相同;
4、根据第二图像及第三图像,确定第一图像的目标色调值;
5、根据目标色调值,对第一图像进行色调调整,得到目标图像。
6、在一些实施例中,根据第二图像及第三图像,确定第一图像的目标色调值包括:
7、根据第二图像及第三图像,确定第一图像的色调候选图;
8、根据色调候选图及第一图像,确定目标色调值。
9、在一些实施例中,根据第二图像及第三图像,确定第一图像的色调候选图包括:
10、对第一图像进行下采样处理,得到下采样第一图像;下采样第一图像的尺寸与第二图像的尺寸相同;
11、根据下采样第一图像,对第二图像与第三图像进行运动补偿处理,得到运动补偿图像;
12、根据第二图像、运动补偿图像及下采样第一图像,确定色调候选图。
13、在一些实施例中,根据下采样第一图像,对第二图像与第三图像进行运动补偿处理,得到运动补偿图像包括:
14、确定下采样第一图像中每个像素在第二图像中对应的第一像素块,及确定下采样第一图像中每个像素在第三图像中对应的第二像素块;
15、将第一像素块中的像素、第二像素块中的像素分别与下采样第一图像中对应的像素进行相似度计算,得到第一像素块中的像素与下采样第一图像中对应的像素之间的第一相似度、第二像素块中的像素与下采样第一图像中对应的像素之间的第二相似度;
16、根据第一相似度及第二相似度,对第二图像与第三图像进行图像融合处理,得到运动补偿图像。
17、在一些实施例中,根据第一相似度及第二相似度,对第二图像与第三图像进行图像融合处理,得到运动补偿图像包括:
18、根据第一相似度,确定第一像素块中的像素的第一权重;第一相似度与第一权重正相关;
19、根据第二相似度,确定第二像素块中的像素的第二权重;第二相似度与第二权重正相关;
20、根据第一权重及第二权重,对第二图像与第三图像进行加权融合,得到运动补偿图像。
21、在一些实施例中,根据第二图像、运动补偿图像及下采样第一图像,确定色调候选图包括:
22、根据下采样第一图像,对第二图像与运动补偿图像进行图像融合处理,得到第一融合图像;
23、根据第一融合图像及下采样第一图像,确定色调候选图。
24、在一些实施例中,根据第一融合图像及下采样第一图像,确定色调候选图包括:
25、确定下采样第一图像的曝光值;
26、根据下采样第一图像的曝光值,确定下采样第一图像的第三权重及第一融合图像的第四权重;第三权重与下采样第一图像的曝光值负相关,第四权重与下采样第一图像的曝光值正相关;
27、根据第三权重及第四权重,对第一融合图像与下采样第一图像进行加权融合,得到第二融合图像;
28、对第二融合图像进行上采样,得到色调候选图;色调候选图的尺寸与第一图像的尺寸相同。
29、在一些实施例中,根据色调候选图及第一图像,确定目标色调值包括:
30、确定第一图像的基准色调值;
31、根据色调候选图及第一图像,确定初始目标色调值;
32、根据初始目标色调值及基准色调值,确定目标色调值。
33、在一些实施例中,确定第一图像的基准色调值包括:
34、确定第一图像中曝光值小于预设阈值的目标像素;
35、将目标像素对应的曝光值中最大值确定为基准色调值。
36、在一些实施例中,根据色调候选图及第一图像,确定初始目标色调值包括:
37、确定色调候选图与第一图像之间的第一色调比值;
38、根据第一色调比值,确定色调候选图与第一图像之间的第三相似度;第三相似度与第一色调比值正相关;
39、根据第三相似度、色调候选图及第一图像,确定初始目标色调值。
40、在一些实施例中,根据第三相似度、色调候选图及第一图像,确定初始目标色调值包括:
41、根据第三相似度,确定色调候选图的第五权重及第一图像的第六权重;第五权重与第三相似度正相关,第六权重与第三相似度负相关;
42、根据第五权重及第六权重,对色调候选图的色调与第一图像的色调进行加权融合,得到初始目标色调值。
43、在一些实施例中,根据初始目标色调值及基准色调值,确定目标色调值包括:
44、根据第五权重,确定初始目标色调值的第七权重及基准色调值的第八权重;第七权重与第五权重正相关,第八权重与第五权重负相关;
45、根据第七权重及第八权重,对初始目标色调值及基准色调值进行加权融合,得到目标色调值。
46、在一些实施例中,根据目标色调值,对第一图像进行色调调整,得到目标图像包括:
47、确定第一图像中过曝通道的过曝类型;过曝通道为颜色通道中曝光值大于或等于预设阈值的通道;
48、根据过曝类型,确定第一图像的色调调整方式;不同的过曝类型对应不同的色调调整方式;
49、根据色调调整方式及目标色调值,对过曝通道进行色调调整,得到色调调整图像;
50、根据色调调整图像及第一图像,确定目标图像。
51、在一些实施例中,根据色调调整方式及目标色调值,对过曝通道进行色调调整,得到色调调整图像包括:
52、响应于色调调整方式为非全部过曝通道的色调调整方式,确定第一图像中的未过曝通道与过曝通道在目标色调值中的第二色调比值;未过曝通过为颜色通道中曝光值小于预设阈值的通道;
53、根据第二色调比值及未过曝通道的色调值,对过曝通道的色调值进行调整,得到色调调整图像。
54、在一些实施例中,根据色调调整方式及目标色调值,对过曝通道进行色调调整,得到色调调整图像包括:
55、响应于色调调整方式为全部过曝通道的色调调整方式,确定第一图像中的目标过曝通道与剩余过曝通道在目标色调值中的第三色调比;目标过曝通道为全部过曝通道中的任一通道;
56、根据第三色调比值及剩余过曝通道的色调值,对目标过曝通道的色调值进行调整,得到色调调整图像。
57、在一些实施例中,根据色调调整图像及第一图像,确定目标图像包括:
58、对色调调整图像与第一图像进行图像融合处理,得到第三融合图像;
59、确定第三融合图像的目标亮度值;
60、根据预先建立的亮度值与图像调整方式之间的映射关系,确定目标亮度值的目标图像调整方式;
61、利用目标图像调整方式,对第三融合图像进行调整,得到调整图像;
62、将调整图像与第一图像的参考曝光图像进行图像融合,得到目标图像;参考曝光图像的曝光值大于第一图像的曝光值。
63、本公开的第二方面实施例提出了一种图像处理装置,该装置包括:
64、获取单元,用于获取目标帧的第一图像、目标帧的第二图像及目标帧的上一帧的第三图像;第一图像的曝光值大于第二图像的曝光值,第一图像的尺寸大于第二图像的尺寸,第二图像的图像尺寸与第三图像的图像尺寸相同;
65、确定单元,用于根据第二图像及第三图像,确定第一图像的目标色调值;
66、调整单元,用于根据目标色调值,对第一图像进行色调调整,得到目标图像。
67、在一些实施例中,确定单元用于:
68、根据第二图像及第三图像,确定第一图像的色调候选图;
69、根据色调候选图及第一图像,确定目标色调值。
70、在一些实施例中,确定单元用于:
71、对第一图像进行下采样处理,得到下采样第一图像;下采样第一图像的尺寸与第二图像的尺寸相同;
72、根据下采样第一图像,对第二图像与第三图像进行运动补偿处理,得到运动补偿图像;
73、根据第二图像、运动补偿图像及下采样第一图像,确定色调候选图。
74、在一些实施例中,确定单元用于:
75、确定下采样第一图像中每个像素在第二图像中对应的第一像素块,及确定下采样第一图像中每个像素在第三图像中对应的第二像素块;
76、将第一像素块中的像素、第二像素块中的像素分别与下采样第一图像中对应的像素进行相似度计算,得到第一像素块中的像素与下采样第一图像中对应的像素之间的第一相似度、第二像素块中的像素与下采样第一图像中对应的像素之间的第二相似度;
77、根据第一相似度及第二相似度,对第二图像与第三图像进行图像融合处理,得到运动补偿图像。
78、在一些实施例中,确定单元用于:
79、根据第一相似度,确定第一像素块中的像素的第一权重;第一相似度与第一权重正相关;
80、根据第二相似度,确定第二像素块中的像素的第二权重;第二相似度与第二权重正相关;
81、根据第一权重及第二权重,对第二图像与第三图像进行加权融合,得到运动补偿图像。
82、在一些实施例中,确定单元用于:
83、根据下采样第一图像,对第二图像与运动补偿图像进行图像融合处理,得到第一融合图像;
84、根据第一融合图像及下采样第一图像,确定色调候选图。
85、在一些实施例中,确定单元用于:
86、确定下采样第一图像的曝光值;
87、根据下采样第一图像的曝光值,确定下采样第一图像的第三权重及第一融合图像的第四权重;第三权重与下采样第一图像的曝光值负相关,第四权重与下采样第一图像的曝光值正相关;
88、根据第三权重及第四权重,对第一融合图像与下采样第一图像进行加权融合,得到第二融合图像;
89、对第二融合图像进行上采样,得到色调候选图;色调候选图的尺寸与第一图像的尺寸相同。
90、在一些实施例中,确定单元用于:
91、确定第一图像的基准色调值;
92、根据色调候选图及第一图像,确定初始目标色调值;
93、根据初始目标色调值及基准色调值,确定目标色调值。
94、在一些实施例中,确定单元用于:
95、确定第一图像中曝光值小于预设阈值的目标像素;
96、将目标像素对应的曝光值中最大值确定为基准色调值。
97、在一些实施例中,确定单元用于:
98、确定色调候选图与第一图像之间的第一色调比值;
99、根据第一色调比值,确定色调候选图与第一图像之间的第三相似度;第三相似度与第一色调比值正相关;
100、根据第三相似度、色调候选图及第一图像,确定初始目标色调值。
101、在一些实施例中,确定单元用于:
102、根据第三相似度,确定色调候选图的第五权重及第一图像的第六权重;第五权重与第三相似度正相关,第六权重与第三相似度负相关;
103、根据第五权重及第六权重,对色调候选图的色调与第一图像的色调进行加权融合,得到初始目标色调值。
104、在一些实施例中,确定单元用于:
105、根据第五权重,确定初始目标色调值的第七权重及基准色调值的第八权重;第七权重与第五权重正相关,第八权重与第五权重负相关;
106、根据第七权重及第八权重,对初始目标色调值及基准色调值进行加权融合,得到目标色调值。
107、在一些实施例中,调整单元用于:
108、确定第一图像中过曝通道的过曝类型;过曝通道为颜色通道中曝光值大于或等于预设阈值的通道;
109、根据过曝类型,确定第一图像的色调调整方式;不同的过曝类型对应不同的色调调整方式;
110、根据色调调整方式及目标色调值,对过曝通道进行色调调整,得到色调调整图像;
111、根据色调调整图像及第一图像,确定目标图像。
112、在一些实施例中,调整单元用于:
113、响应于色调调整方式为非全部过曝通道的色调调整方式,确定第一图像中的未过曝通道与过曝通道在目标色调值中的第二色调比值;未过曝通过为颜色通道中曝光值小于预设阈值的通道;
114、根据第二色调比值及未过曝通道的色调值,对过曝通道的色调值进行调整,得到色调调整图像。
115、在一些实施例中,调整单元用于:
116、响应于色调调整方式为全部过曝通道的色调调整方式,确定第一图像中的目标过曝通道与剩余过曝通道在目标色调值中的第三色调比;目标过曝通道为全部过曝通道中的任一通道;
117、根据第三色调比值及剩余过曝通道的色调值,对目标过曝通道的色调值进行调整,得到色调调整图像。
118、在一些实施例中,调整单元用于:
119、对色调调整图像与第一图像进行图像融合处理,得到第三融合图像;
120、确定第三融合图像的目标亮度值;
121、根据预先建立的亮度值与图像调整方式之间的映射关系,确定目标亮度值的目标图像调整方式;
122、利用目标图像调整方式,对第三融合图像进行调整,得到调整图像;
123、将调整图像与第一图像的参考曝光图像进行图像融合,得到目标图像;参考曝光图像的曝光值大于第一图像的曝光值。
124、本公开的第三方面实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行本公开第一方面实施例中描述的方法。
125、本公开的第四方面实施例提出了一种非临时性计算机可读存储介质,当存储介质中的指令由移动终端的处理器执行时,使得移动终端能够执行本公开第一方面实施例中描述的方法。
126、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现本公开第一方面实施例中描述的方法。
127、本公开的第六方面实施例提出了一种芯片,该芯片包括一个或多个接口和一个或多个处理器;接口用于从电子设备的存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令,当处理器执行计算机指令时,使得电子设备执行本公开第一方面实施例中描述的方法。
128、综上,根据本公开提出的图像处理方法,该方法包括获取目标帧的第一图像、目标帧的第二图像及目标帧的上一帧的第三图像;第一图像的曝光值大于第二图像的曝光值,第一图像的尺寸大于第二图像的尺寸,第二图像的图像尺寸与第三图像的图像尺寸相同;根据第二图像及第三图像,确定第一图像的目标色调值; 根据目标色调值,对第一图像进行色调调整,得到目标图像。以第二图像和第三图像作为色调基准,可以校正高曝光的第一图像中的过曝区域,使得目标图像在保留第一图像的高信噪比图像质量的同时提升图像的高动态范围,进而提升图像拍摄的质量。
129、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com