图像处理方法与流程

摘要: 本技术涉及图像处理,尤其涉及一种图像处理方法。背景技术:1、动态范围是图像传感器关键性能参数之一,其决定了图像传感器能接收的最暗的阴影部分到最亮的高光部分的光亮...
图像处理方法与流程

本技术涉及图像处理,尤其涉及一种图像处理方法。

背景技术:

1、动态范围是图像传感器关键性能参数之一,其决定了图像传感器能接收的最暗的阴影部分到最亮的高光部分的光亮强度分布范围,也就是决定了所拍摄图像的成像质量。具体来讲,动态范围越广,高亮和阴影部分的细节展现越清晰,图像的成像质量越好;动态范围越窄,越容易出现高亮过曝和暗部过黑现象,高亮和阴影部分的细节丢失的越多,图像的成像质量越差。

2、目前,为了实现更高的动态范围,图像传感器中的像素主要采用图1所示的三转换增益的(triple conversion gain,tcg)像素结构,该结构通过控制开关管sg1和开关管sg2的导通和关断,可以形成cpar、cpar+cs和cpar+cs+clofic三种电荷-电压转换的电容,从而实现高中低三种转换增益。对于不同的亮度场景,tcg像素在一次曝光时间里输出高中低三种转换增益下的高转换增益(high conversion gain,hcg)帧、低转换增益(low conversiongain,lcg)帧和横向溢出集成电容(lateral overflow integration capacitor,lofic)帧,以用于分别补充暗光部分、强光部分和极强光部分的细节,从而实现高动态范围成像(high dynamic range imaging,hdr)。

3、但上述方案中,tcg像素在一次曝光时间里输出的帧数为三帧,图像信号处理器(image signal processor,isp)也需要处理三帧,因此,会导致图像传感器和isp的功耗较高。

技术实现思路

1、本技术提供了一种图像处理方法,可在不降低图像质量的情况下,降低图像传感器和isp的功耗。

2、第一方面,本技术提供了一种图像处理方法,该方法应用于电子设备,该电子设备包括相机模组。该方法包括:相机模组在相邻两个曝光时间中的第一曝光时间生成第一图像帧和第二图像帧,在相邻两个曝光时间中的第二曝光时间生成第三图像帧,其中,第一图像帧为第一转换增益模式下的图像帧,第二图像帧为第二转换增益模式下的图像帧,第三图像帧为第一转换增益模式或第二转换增益模式下的图像帧,并且,第三图像帧的曝光参数小于或等于第一图像帧和第二图像帧的曝光参数,曝光参数包括曝光量或者曝光时长。之后,相机模组基于第一图像帧、第二图像帧和第三图像帧输出第一图像或第一视频。

3、可以理解的是,本技术的图像处理方法提供了一种在相邻两个曝光时间生成第一图像帧、第二图像帧和第三图像帧的出帧策略,相比于采用tcg像素结构的图像传感器在相邻两个曝光时间生成六个图像帧(包括2个hcg帧、2个lcg帧和2个lofic帧)的方案而言,本技术提供的出帧策略可使图像传感器在相邻两个曝光时间生成的图像帧的数量减少一半,从而使得isp后续需要处理的图像帧的数量也减少一半,进而降低图像传感器和isp的功耗。此外,当第一转换增益模式为hcg模式且第二转换增益模式为lcg模式时,第一图像帧为hcg帧,第二图像帧为lcg帧,第三图像帧为曝光参数相对于第一图像帧和第二图像帧均较小的hcg帧或lcg帧。第三图像帧用于补充hcg帧和lcg帧中所缺失的极强光细节,换句话说,第三图像帧可等效lofic帧在图像成像中的作用,因此,本技术提供的图像处理方法同样可以实现hdr,并不会降低图像质量。综上可知,本技术提供的图像处理方法可在不降低图像质量的情况下,降低图像传感器和isp的功耗。

4、在一种可能的实施方式中,相机模组还在第三曝光时间生成第四图像帧和第五图像帧,其中,第三曝光时间为相邻两个曝光时间之后的下一曝光时间,第四图像帧为第一转换增益模式下的图像帧,第五图像帧为第二转换增益模式下的图像帧,第四图像帧和第五图像帧的曝光参数均大于或等于第三图像帧的曝光参数。之后,相机模组基于第一图像帧、第二图像帧、第三图像帧、第四图像帧和第五图像帧,输出第一图像或第一视频。

5、在本实施方式中,图像处理方法提供了一种在相邻三个曝光时间生成第一图像帧、第二图像帧、第三图像帧、第四图像帧和第五图像帧的出帧策略,相比于采用tcg像素结构的图像传感器在相邻三个曝光时间生成九个图像帧(包括3个hcg帧、3个lcg帧和3个lofic帧)的方案而言,本技术提供的出帧策略可使图像传感器在相邻三个曝光时间生成的图像帧的数量减少将近一半,从而使得isp后续需要处理的图像帧的数量也减少将近一半,进而降低图像传感器和isp的功耗。此外,当第一转换增益模式为hcg模式且第二转换增益模式为lcg模式时,第一图像帧和第四图像帧均为hcg帧,第二图像帧和第五图像帧均为lcg帧,第三图像帧为曝光参数相对于第一图像帧、第二图像帧、第四图像帧和第五图像帧均较小的hcg帧或lcg帧。第三图像帧用于补充hcg帧和lcg帧中所缺失的极强光细节,因此,本实施方式提供的图像处理方法同样可以实现hdr,并不会降低图像质量。

6、在一种可能的实施方式中,相机模组将第一图像帧和第二图像帧中的一图像帧确定为第一参考帧,基于第一参考帧融合第一图像帧和第二图像帧中的另一图像帧,生成第六图像帧。相机模组将第三图像帧确定为第二参考帧,基于第二参考帧融合第六图像帧,生成第七图像帧。之后,相机模组将第七图像帧插入第六图像帧,输出第一视频,其中,第七图像帧为第六图像帧的下一图像帧。

7、可以理解的是,本实施方式是以第三图像帧作为第三图像帧和第六图像帧融合时的参考帧,利用时域上前一第三图像帧补充对应的动态范围与降噪处理,因此第一视频可实现hdr。由于第七图像帧是作为第六图像帧的下一图像帧进行插入的,因此,第一视频还可实现高帧率。

8、在一种可能的实施方式中,第一参考帧的曝光量与第二参考帧的曝光量相同,也即,生成第一视频过程中所有融合的参考帧亮度保持一致,从而可保证第一视频在整个视频时域上的亮度一致性和稳定性。

9、在一种可能的实施方式中,第三图像帧的分辨率小于第六图像帧的分辨率,换句话说,第三图像帧出小分辨率,从而可降低图像传感器的功耗。

10、在一种可能的实施方式中,相机模组将第一图像帧和第二图像帧中的一图像帧确定为第一参考帧,基于第一参考帧融合第一图像帧和第二图像帧中的另一图像帧,生成第六图像帧。相机模组将第四图像帧和第五图像帧中的一图像帧确定为第三参考帧,基于第三参考帧融合第四图像帧和第五图像帧中的另一图像帧,生成第八图像帧。相机模组将第六图像帧确定为第四参考帧,基于第四参考帧融合第三图像帧,生成第九图像帧。相机模组将第八图像帧确定为第五参考帧,基于第五参考帧融合第三图像帧,生成第十图像帧。之后,相机模组基于第九图像帧和第十图像帧输出第一视频。

11、可以理解的是,本实施方式中以第六图像帧帧作为第三图像帧和第六图像帧融合时的参考帧,以第八图像帧作为第三图像帧和第八图像帧融合时的参考帧,换句话说,第三图像帧作为第六图像帧和第八图像帧的动态范围填充帧,因此,第一视频可实现hdr。此外,第三图像帧并不构成第一视频中的图像帧,因此,第一视频还可实现低帧率。再者,本实施方式提供的生成第一视频的过程中所需的第三图像帧的数量更小,因此,还可以降低图像传感器的功耗。

12、在一种可能的实施方式中,第三图像帧的曝光量小于或等于第六图像帧和第八图像帧的曝光量,也即,第三图像帧为超短曝光帧,从而使得第六图像帧和第八图像帧利用超短曝光帧补充高光细节,融合处理生成超高动态范围帧,进而可使第一视频实现超高动态范围成像。

13、在一种可能的实施方式中,相机模组基于多组图像帧输出第一图像,其中,多组图像帧包括第一图像帧组,第一图像帧组包括第六图像帧和第三图像帧,第六图像帧为第一图像帧与第二图像帧融合后的图像帧。

14、在一种可能的实施方式中,相机模组从多组图像帧中依次确定出第一目标图像帧和第二目标图像帧,其中,第一目标图像帧为与第一时刻间隔最短的第六图像帧,第二目标图像帧为与第二时刻间隔最短的第三图像帧,第二时刻为第一目标图像帧的生成时间。相机模组基于相机模组或者相机模组的拍摄对象的状态,从第一目标图像帧和第二目标图像帧中确定出参考帧,并基于第六参考帧融合多组图像帧中的第六图像帧,输出第一图像。

15、在一种可能的实施方式中,多组图像帧还包括与第一图像帧组相邻的第二图像帧组,第一图像帧组的曝光参数为曝光时长,第二图像帧组的曝光参数为曝光量。具体的,第一组图像帧中第三图像帧的曝光时长小于或等于第一组图像帧中第一图像帧和第二图像帧的曝光时长,第二组图像帧中第三图像帧的曝光量小于或等于第二组图像帧中第一图像帧和第二图像帧的曝光量。

16、可以理解的是,任意相邻的两组图像帧中一组图像帧的第三图像帧的曝光时长短,适用于抓拍场景,使得图像传感器输出的图像帧更加清晰,另一组图像帧的第三图像帧的曝光量小,可进一步提升成片动态范围,因此,本实施方式同时兼顾了提升清晰度和提升动态范围的能力。

17、在一种可能的实施方式中,第二目标图像帧为与第二时刻间隔最短且曝光时长小于或等于同组图像帧中第六图像帧的曝光时长的第三图像帧。相机模组还从多组数据帧中确定出第三目标图像帧,其中,第三目标图像帧为与第二时刻间隔最短且曝光量小于或等于同组图像帧中第六图像帧的曝光量的第三图像帧。相机模组基于第六参考帧融合第三目标图像帧和多组图像帧中的第六图像帧,输出第一图像。

18、可以理解的是,相机模组在进行多个图像帧融合时,还加入了曝光量小的第三目标图像帧,可进一步提升成片动态范围。

19、在一种可能的实施方式中,多组图像帧中每组图像帧的曝光参数为曝光时长,具体来讲,每组图像帧中第三图像帧的曝光时长小于或等于每组图像帧中第一图像帧和第二图像帧的曝光时长。

20、可以理解的是,本实施方式中每组图像帧中的第三图像帧的曝光时长均短,话句话说,每组图像帧中的第三图像帧都是短曝光时长帧st帧,相邻st帧之间的时间间隔更短,相机模组或相机模组的拍摄对象有运动时,可以选取到距离用户拍摄时刻更近的st帧,抓拍时间更准确。

21、在一种可能的实施方式中,相机模组还在第四曝光时间生成第十一图像帧,其中,第四曝光时间与第一曝光时间和第二曝光时间均不相同,第十一图像帧为第一转换增益模式或第二转换增益模式下的图像帧,并且,第十一图像帧的曝光量小于或等于多组图像帧中任一第六图像帧的曝光量。相机模组基于第六参考帧融合多组图像帧中的第六图像帧和第十一图像帧,输出第一图像。

22、可以理解的是,相机模组在进行多个图像帧融合时,还加入了曝光量小的第十一图像帧,可进一步提升成片动态范围。

23、在一种可能的实施方式中,多组图像帧中每组图像帧的曝光参数为曝光量,具体的,每组图像帧中第三图像帧的曝光量小于或等于每组图像帧中第一图像帧和第二图像帧的曝光量。

24、可以理解的是,本实施方式中每组图像帧中第三图像帧的曝光量均小,可进一步提升成片动态范围,因此,本实施方式中第一图像的动态范围更广。

25、在一种可能的实施方式中,相机模组基于第六参考帧融合第二目标图像帧和多组图像帧中的第六图像帧,输出第一图像。

26、在一种可能的实施方式中,相机模组基于多组图像帧输出第一图像,其中,多组图像帧包括第一图像帧组,第一图像帧组包括第六图像帧、第三图像帧和第八图像帧,第六图像帧为第一图像帧与第二图像帧融合后的图像帧,第八图像帧为第四图像帧与第五图像帧融合后的图像帧。

27、在一种可能的实施方式中,相机模组从多组图像帧中依次确定出第一目标图像帧和第二目标图像帧,其中,第一目标图像帧为与第一时刻间隔最短的第六图像帧或第八图像帧,第二目标图像帧为与第二时刻间隔最短的第三图像帧,第二时刻为第一目标图像帧的生成时间。相机模组基于相机模组或者相机模组的拍摄对象的状态,从第一目标图像帧和第二目标图像帧中确定出第六参考帧,并基于第六参考帧融合多组图像帧中的第六图像帧和第八图像帧,输出第一图像。

28、在一种可能的实施方式中,在相机模组或者相机模组的拍摄对象处于运动状态的情况下,多组图像帧中每组图像帧的曝光参数为曝光时长,具体的,每组图像帧中第三图像帧的曝光时长小于或等于每组图像帧中第一图像帧、第二图像帧、第四图像帧和第五图像帧的曝光时长。

29、可以理解的是,本实施方式在相机模组或者相机模组的拍摄对象运动的情况下,为抓拍优先方案,此外,本实施方式提供的生成第一图像的过程中所需的第三图像帧的数量更小,因此,不仅可以使第一图像更加清晰,还可以降低图像传感器的功耗。

30、在一种可能的实施方式中,相机模组还在第四曝光时间生成第十一图像帧,其中,第四曝光时间与第一曝光时间、第二曝光时间和第三曝光时间均不相同,第十一图像帧为第一转换增益模式或第二转换增益模式下的图像帧,并且,第十一图像帧的曝光量小于或等于多组图像帧中任一第六图像帧和任一第八图像帧的曝光量。相机模组基于第六参考帧融合多组图像帧中的第六图像帧、第八图像帧和第十图像帧,输出第一图像。

31、可以理解的是,相机模组在进行多个图像帧融合时,还加入了曝光量小的第十一图像帧,可进一步提升成片动态范围。

32、在一种可能的实施方式中,在相机模组或者相机模组的拍摄对象处于静止状态的情况下,多组图像帧中每组图像帧的曝光参数为曝光量,具体的,每组图像帧中第三图像帧的曝光量小于或等于每组图像帧中第一图像帧、第二图像帧、第四图像帧和第五图像帧的曝光量。

33、可以理解的是,本实施方式在相机模组或者相机模组的拍摄对象静止的情况下,为抓动态范围优先方案。此外,本实施方式提供的生成第一图像的过程中所需的第三图像帧的数量更小,因此,不仅可以提升拍照成片的动态范围,还可以降低图像传感器的功耗。

34、在一种可能的实施方式中,相机模组基于第六参考帧融合第二目标图像帧、多组图像帧中的第六图像帧和第八图像帧,输出第一图像。

35、在一种可能的实施方式中,在相机模组或者相机模组的拍摄对象的状态为静止状态的情况下,相机模组将第一目标图像帧确定为第六参考帧;或者,在相机模组或者相机模组的拍摄对象的状态为运动状态的情况下,相机模组将第二目标图像帧确定为第六参考帧。

36、在一种可能的实施方式中,相机模组包括图像传感器,图像传感器包括呈阵列排布的多个像素,像素包括光电二极管、电荷传输门、浮动扩散节点和转换增益模式控制电路,转换增益模式控制电路包括至少一个电容,至少一个电容包括第一电容,其中,电荷传输门用于导通或者断开光电二极管的阴极与浮动扩散节点之间的连接;转换增益模式控制电路处于导通或者断开状态,用于导通浮动扩散节点与第一电容之间的连接,或者,断开浮动扩散节点与至少一个电容之间的连接。第一转换增益模式为在转换增益模式控制电路处于断开状态的情况下,图像传感器的转换增益模式;第二转换增益模式为在转换增益模式控制电路处于导通状态的情况下,图像传感器的转换增益模式。

37、在一种可能的实施方式中,像素px为双转换增益(dual conversion gain,dcg)像素。至少一个电容的数量为1,图像传感器还包括读出线,像素还包括复位管和行选通器,转换增益模式控制电路还包括第一开关管,其中,复位管与第一开关管串联在浮动扩散节点与电源之间,复位管和第一开关管的连接处通过第一电容连接参考地;行选通器的第一端连接浮动扩散节点,行选通器的第二端连接读出线。

38、第一转换增益模式下的图像帧由第一复位电压和第一信号电压确定,其中,第一复位电压为复位管和第一开关管均关断之后且电荷传输门导通之前,行选通器导通情况下行选通器的第二端电压;第一信号电压为电荷传输门关断后,行选通器导通情况下行选通器的第二端电压;

39、第二转换增益模式下的图像帧由第二复位电压和第二信号电压确定,其中,第二复位电压为复位管关断之后且电荷传输门导通之前,第一开关管和行选通器均导通情况下行选通器的第二端电压;第二信号电压为电荷传输门关断后,第一开关管和行选通器均导通情况下行选通器的第二端电压。

40、在一种可能的实施方式中,像素为tcg像素。至少一个电容还包括第二电容,图像传感器还包括读出线,像素还包括复位管和行选通器,转换增益模式控制电路还包括第一开关管和第二开关管,其中,复位管与第一开关管串联在浮动扩散节点与电源之间,复位管和第一开关管的连接处通过第一电容连接参考地;第二开关管与第二电容串联在浮动扩散节点与参考地之间;行选通器的第一端连接浮动扩散节点,行选通器的第二端连接读出线。

41、第一转换增益模式下的图像帧由第一复位电压和第一信号电压确定,其中,第一复位电压为第一开关管和第二开关管均关断之后且电荷传输门导通之前,行选通器导通情况下行选通器的第二端电压;第一信号电压为电荷传输门关断后且第一开关管导通之前,行选通器导通情况下行选通器的第二端电压;

42、第二转换增益模式下的图像帧由第二复位电压和第二信号电压确定,其中,第二信号电压为电荷传输门关断之后且复位管导通之前,第二开关管关断且第一开关管和行选通器均导通情况下行选通器的第二端电压;第二复位电压为复位管关断后,第二开关管关断且第一开关管和行选通器均导通情况下行选通器的第二端电压。