一种图像处理方法及设备与流程

1.本技术涉及拍照领域，尤其涉及一种图像处理方法及设备。


背景技术：

2.随着手机的不断发展，手机的摄像头不断升级，手机拍照功能越来越强大。目前，在用户使用手机拍照时，为了能够使用户按下拍照快门前的预览画面与最终拍摄得到的拍摄图像保持一致，以达到所见即所得的效果，很多手机会对用户按下拍照快门前的预览画面进行降曝光，以使预览画面的动态范围能够逼近最终拍摄得到的拍摄图像。
3.同时，为了能够提高手机最终拍摄得到的拍摄图像的画质，大部分手机还会支持零延时拍照(zero shutter lag，zsl)功能。即，当用户按下拍照快门时，手机能够拍摄若干张图像作为辅助帧图像，并将缓存中的预览帧图像(即用户按下拍照快门前的预览画面中的帧图像)作为参考帧图像，将辅助帧图像与参考帧图像融合后的图像作为拍摄图像来提升最终得到的拍摄图像的画质(如，清晰度、动态范围等)。
4.由于手机对预览画面进行了降曝光处理，预览画面的亮度较低，所以，手机使用零延时拍照功能进行拍照时，根据预览画面得到的参考帧图像亮度较低，从而会导致最终通过辅助帧图像和参考帧图像融合得到的拍摄图像的亮度相比于正常曝光的亮度较低。


技术实现要素：

5.本技术提供一种图像处理方法及设备，解决了手机对预览画面进行降曝光处理后，通过辅助帧图像和参考帧图像融合得到的拍摄图像的亮度相比于正常曝光的亮度较低的问题。
6.为了达到上述目的，本技术采用如下技术方案：
7.第一方面，本技术提供一种图像处理方法，该方法可应用于电子设备。该方法包括：检测到用户的拍照操作，确定参考帧图像，参考帧图像为预览画面中的预览帧图像；将参考帧图像转换为第一数据类型，第一数据类型的位宽高于参考帧图像转换前的原始数据类型的位宽；对转换为第一数据类型的参考帧图像进行线性提亮。
8.采用上述技术方案，电子设备能够对参考帧图像的像素值采用更高位宽的数据类型进行提亮处理，从而减少位宽对提亮处理的限制。使电子设备可以对参考帧图像进行线性提亮，而不需要担心处理后的参考帧图像的像素值超出相应的位宽对应的数值范围。从而使电子设备对参考帧图像提亮处理后，参考帧图像中各像素的提亮增益均相同，整个参考帧图像能够被均匀提亮。并且，由于对参考帧图像采用了更高位宽的数据类型进行处理，使得电子设备对参考帧图像的提亮处理的精度有所提高，最终提亮后的参考帧图像中暗部出现色阶问题的情况也会有所减少。
9.在一种可能的实现方式中，对转换为第一数据类型的参考帧图像进行线性提亮，包括：根据预览画面的曝光补偿值对转换为第一数据类型的参考帧图像进行线性提亮。
10.如此，根据预览画面的曝光补偿值来进行线性提亮，能过更好的将参考帧图像的
亮度还原为降曝光处理之前的亮度，使其亮度提升效果更好避免提亮后过曝。
11.在另一种可能的实现方式中，在对转换为第一数据类型的参考帧图像进行线性提亮之后，方法还包括：将提亮后的参考帧图像由第一数据类型转换为原始数据类型。
12.如此，当参考帧图像转换为第一数据类型并进行提亮后，再将参考帧转换回原始数据类型，能够便于继续采用相关技术在后续对参考帧图像继续进行处理，如，便于后续将参考帧图像回灌到isp中进行提亮后的后续处理。
13.在另一种可能的实现方式中，将提亮后的参考帧图像由第一数据类型转换为原始数据类型，包括：对提亮后的参考帧图像进行归一化处理；将归一化处理后的参考帧图像转换为原始数据类型。
14.先对参考帧图像进行归一化，以使参考帧图像的像素值数值范围落在[0
‑
1]内，能够减小提亮后的参考帧图像的像素值数值范围，从而便于后续进行转换计算。后续再将归一化后的参考帧图像转换为原始数据类型，由于像素值数值范围为[0
‑
1]，因此转换计算也会相对简便，从而降低对参考帧图像进行数据类型转换的复杂度。
[0015]
在另一种可能的实现方式中，确定参考帧图像，包括：从预览画面中抽取至少一张预览帧图像，抽取的至少一张预览帧图像的拍摄时间位于检测到用户的拍照操作时的时间之前的预设时长内；以抽取的至少一张预览帧图像作为参考帧图像。
[0016]
如此，能够抽取相对靠近用户进行拍照操作时的预览画面中的预览帧图像，从而确定出的参考帧图像的画面内容与后续手机拍摄得到的辅助帧图像的画面内容差异较大，导致融合后得到的拍摄图像出现重影。示例地，当抽取的预览转图像为多张时，以抽取的至少一张预览帧图像作为参考帧图像，可以是从抽取的多张预览帧图像中根据图像质量(如清晰度、饱和度等)选择质量较高的一张预览帧图像作为参考帧图像。还可以是直接将抽取的多张参考帧图像分别作为参考帧图像以得到相应的多张参考帧图像。
[0017]
在另一种可能的实现方式中，将参考帧图像转换为第一数据类型，包括：将参考帧图像中各像素的像素值由原始数据类型的值，转换为第一数据类型的值。
[0018]
在另一种可能的实现方式中，在对转换为第一数据类型的参考帧图像进行线性提亮之前，方法还包括：对转换为第一数据类型的参考帧图像进行去噪处理。
[0019]
如此，在对参考帧图像进行线性提亮前，先对其进行去噪处理，能够避免在提亮过程中将噪点一起提亮导致图像噪点更加明显。
[0020]
在另一种可能的实现方式中，在对转换为第一数据类型的参考帧图像进行线性提亮之后，方法还包括：对提亮后的参考帧图像进行色调映射处理。
[0021]
如此，在提亮后对参考帧图像进行色调映射处理，能够使提亮后的参考帧图像在明暗两端(即亮部和暗部)保留更多细节。
[0022]
在另一种可能的实现方式中，在对转换为第一数据类型的参考帧图像进行线性提亮之后，方法还包括：对提亮后的参考帧图像进行伽马校正处理。
[0023]
如此，通过伽马校正能够对参考帧图像的伽马曲线进行编辑，检出参考帧图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高参考帧图像对比度效果，以对参考帧图像进行非线性色调编辑，使伽马校正后的参考帧图像能够更加接近人眼观察的图像。
[0024]
在另一种可能的实现方式中，原始数据类型包括位宽为10位的整数类型，第一数
据类型包括位宽为32位的浮点型，或，位宽为16位的无符号整数类型。
[0025]
第二方面，本技术提供一种图像处理装置，该装置可以应用于电子设备，用于实现上述第一方面中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块，例如，确定模块、数据类型转换模块、去噪模块、线性提亮模块、色调映射模块、伽马校正模块等。
[0026]
其中，确定模块，可以用于在检测到用户的拍照操作时，确定参考帧图像，参考帧图像为预览画面中的预览帧图像；数据类型转换模块，可以用于将参考帧图像转换为第一数据类型，第一数据类型的位宽高于参考帧图像转换前的原始数据类型的位宽；线性提亮模块，可以用于对转换为第一数据类型的参考帧图像进行线性提亮。
[0027]
在一种可能的实现方式中，线性提亮模块，具体用于根据预览画面的曝光补偿值对转换为第一数据类型的参考帧图像进行线性提亮。
[0028]
在另一种可能的实现方式中，数据类型转换模块，还可以用于将提亮后的参考帧图像由第一数据类型转换为原始数据类型。
[0029]
在另一种可能的实现方式中，数据类型转换模块，具体用于对提亮后的参考帧图像进行归一化处理；将归一化处理后的参考帧图像转换为原始数据类型。
[0030]
在另一种可能的实现方式中，确定模块，具体用于从预览画面中抽取至少一张预览帧图像，抽取的至少一张预览帧图像的拍摄时间位于检测到用户的拍照操作时的时间之前的预设时长内；以抽取的至少一张预览帧图像作为参考帧图像。
[0031]
在另一种可能的实现方式中，数据类型转换模块，具体用于将参考帧图像中各像素的像素值由原始数据类型的值，转换为第一数据类型的值。
[0032]
在另一种可能的实现方式中，去噪模块，可用于对转换为第一数据类型的参考帧图像进行去噪处理。
[0033]
在另一种可能的实现方式中，色调映射模块，可以用于对提亮后的参考帧图像进行色调映射处理。
[0034]
在另一种可能的实现方式中，伽马校正模块，可以用于对提亮后的参考帧图像进行伽马校正处理。
[0035]
在另一种可能的实现方式中，原始数据类型包括位宽为10位的整数类型，第一数据类型包括位宽为32位的浮点型，或，位宽为16位的无符号整数类型。
[0036]
第三方面，本技术实施例提供一种电子设备，包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的图像处理方法。
[0037]
第四方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的图像处理方法。
[0038]
第五方面，本技术实施例提供一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在电子设备中运行时，使得电子设备实现如第一方面或第一方面的可能的实现方式中任一项所述的图像处理方法。
[0039]
应当理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0040]
图1为相关技术提供的一种图像处理方法的isp通路示意图；
[0041]
图2为相关技术提供的一种图像处理方法应用时的效果示意图；
[0042]
图3为本技术实施例提供的一种图像处理方法应用时的场景示意图；
[0043]
图4为本技术实施例提供的一种电子设备的结构示意图；
[0044]
图5为本技术实施例提供的一种图像处理方法的流程示意图；
[0045]
图6为本技术实施例提供的一种图像处理方法的通路示意图。
具体实施方式
[0046]
随着手机的不断发展，手机的摄像头不断升级，手机拍照功能越来越强大。目前，在用户使用手机拍照时，为了能够使用户按下拍照快门前的预览画面与最终拍摄得到的拍摄图像保持一致，以达到所见即所得的效果，大部分手机都会针对拍照预览一致性问题进行改善。由于当前手机的预览画面采用的是视频通路，因此，受限于帧率，预览画面的动态范围低于最终拍摄得到的拍摄图像。所以，目前均采用降低预览画面的亮度，即对预览画面进行降曝光处理的方式改善预览画面的动态范围，从而使预览画面的动态范围能够逼近最终拍摄得到的拍摄图像，提高拍照预览一致性。
[0047]
同时，为了能够提高手机最终拍摄得到的拍摄图像的画质，大部分手机还会支持零延时拍照功能。采用该功能的手机，在用户按下拍照快门时，手机能够拍摄若干张图像作为辅助帧图像，并将缓存中的某个预览帧图像作为参考帧图像，然后将辅助帧图像与参考帧图像融合后得到的图像作为拍摄图像来提升最终得到的拍摄图像的画质(如，清晰度、动态范围等)。其中，预览帧图像是指用户按下拍照快门前手机的预览画面中的帧图像。手机在用户按下拍照快门时拍摄的若干张辅助帧图像，可以是手机通过主摄拍摄的若干张图像，若手机除主摄镜头外还设置有多个镜头，辅助帧图像还可以是手机通过主摄以外的其他镜头(如，长焦镜头、景深镜头等)拍摄的。
[0048]
在实际应用中，为了提升拍照预览一致性，手机对预览画面进行降曝光处理后，预览画面的亮度会有所降低。因此，当手机在启用零延时拍照功能后，手机采用预览帧图像作为参考帧图像时，参考帧图像亮度较低会导致通过参考帧图像和辅助帧图像融合得到的拍摄图像亮度变低，从而使拍摄图像的亮度无法达到正常曝光的亮度。
[0049]
因此，在一些手机上，会通过图像信号处理(image signal processing，isp)模块对提取的参考帧图像进行提亮，以使最终通过参考帧图像和辅助帧图像融合得到的拍摄图像的亮度能够与正常曝光的亮度接近。
[0050]
例如，如图1所示，手机的isp可以包括去噪模块、全局色调映射(global tone mapping，gtm)模块、局部色调映射(local tone mapping，ltm)模块、伽马(gamma)校正模块以及后处理(post processing)模块等。当参考帧图像输入到isp后，如图1所示，可以先通过去噪模块对参考帧图像进行去噪处理，然后再分别通过全局色调映射模块和局部色调映射模块对参考帧图像进行全局色调映射处理和局部色调映射处理，其中，全局色调映射模块调整全局的亮度，局部色调映射模块保留局部的细节。然后，再通过伽马校正模块对提亮后的参考帧图像进行伽马校正，最终经由后处理模块进行其他后处理后输出。
[0051]
其中，全局色调映射处理能够根据直方图均衡(histogram equalization，he)算
法对参考帧图像的整个图像进行整体提亮，从而提高参考帧图像整体对比度和图像细节。局部色调映射处理能够根据局部直方图均衡(adaptive histogram equalization，ahe)算法对参考帧图像的局部区域进行提亮，从而提高参考帧图像局部区域的对比度和图像细节，使参考帧图像的纹理更清晰。由于全局色调映射处理以及局部色调映射处理对图像(如参考帧图像)像素值的处理位宽较低(例如，像素值为位宽为10bit的整数类型数据)，因此为了避免处理后图像的像素值超出相应的位宽(如10bit)对应的数值范围(如，位宽为10bit时，像素值的数值范围为0
‑
1023的整数)，全局色调映射处理和局部色调映射处理对图像的提亮是非线性提亮，即对于图像中像素值高的部分(即亮部)提亮增益会小于像素值低的部分(即暗部)。并且，由于处理位宽的限制，全局色调映射处理和局部色调映射处理的处理精度也相对较低，因此对于暗部的提亮会导致图像暗部出现色阶问题。如，以位宽为10bit，像素值的数值范围为0
‑
1023的整数为例，则各个像素的像素值间的差值最小为1(即像素值精度较低)，因此提亮一倍后各像素的像素值间的差值会进一步增加，导致提亮后的图像暗部会出现色阶断层(即暗部存在色阶过度不平滑导致的灰度条纹)。例如，如图2所示，通过isp经过全局色调映射处理和局部色调映射处理后提亮的图像的暗部(如，图2中的(a)中的虚线框处)会出现色阶断层(如图2中的(b)所示)。
[0052]
由以上可以看到，当手机在isp中对参考帧图像进行提亮时，会导致参考帧图像亮部的提亮增益低于暗部，并且在参考帧图像的暗部还会出现色阶问题。从而导致手机最终根据参考帧图像和辅助帧图像融合得到的拍摄图像在亮部的提亮增益较小，且在暗部会出现色阶问题。
[0053]
为解决上述问题，本技术实施例提供一种图像处理方法，该方法可以应用于具有拍照功能的电子设备，通过对预览画面降曝光处理的方式提升拍照预览一致性时进行拍照的场景中。
[0054]
以电子设备为手机为例，图3示出了本技术实施例提供的一种图像处理方法应用时的场景示意图。如图3中的(a)所示，当用户通过手机进行拍照时，手机可以显示拍照界面，该拍照界面中可以包括用于显示预览画面的预览框，以及用于触发拍照的拍照控件301(如，快门)。在预览框中可以显示当前拍照的预览画面302。手机会进行降曝光处理使预览画面302能够保留更多的亮部细节以提高动态范围，使预览画面的动态范围能够逼近最终的拍摄图像。因此，该预览画面302的亮度相对较低。如图3中的(b)所示，当用户按下拍照控件301时，手机响应于该操作可以执行拍照动作以得到拍摄图像303。其中，手机执行的拍照动作可以是上述的零延时拍照，手机能够拍摄若干张图像作为辅助帧图像，并将缓存中的预览帧图像(即用户按下拍照快门前的预览画面中的某张帧图像)作为参考帧图像，将辅助帧图像与参考帧图像融合后的图像作为拍摄图像。在该场景中，手机可以采用本技术实施例提供的图像处理方法，对参考帧图像进行提亮，以使最终通过参考帧图像和辅助帧图像融合得到的拍摄图像的亮度能够与正常曝光的亮度接近，并且拍摄图像的提亮增益较均匀，且在暗部出现色阶问题的情况较少。因此，如图3中的(b)所示，该场景中最终得到的拍摄图像303的亮度相比于如图3中的(a)所示的预览画面302的亮度有所提高。
[0055]
本技术实施例提供的图像处理方法可以是，电子设备将确定出的参考帧图像转换为较高位宽的数据类型(如，浮点型)(即，将参考帧图像的像素值转换为较高位宽的数据类型)。然后，对转换后的参考帧图像进行线性提亮，以得到提亮后的参考帧图像。例如，根据
对预览画面降曝光时的降曝光值对转换后的参考帧图像进行提亮，以得到提亮后的参考帧图像。又例如，根据预设的提亮参数(或线性的提亮函数)对转换后的参考帧图像进行提亮，以得到提亮后的参考帧图像等，此处不做限制。
[0056]
其中，对预览画面降曝光时的降曝光值是指降曝光时的曝光补偿值。因此，降曝光值通常为负值，可以表征降曝光处理的档位级别，降曝光值越小则降曝光处理的档位级别越高，即降曝光处理后曝光量减少的越多。通常，降曝光处理的档位级别升高一级，处理后的曝光量会减少一半。
[0057]
如此，电子设备能够对参考帧图像的像素值采用更高位宽的数据类型进行提亮处理，从而减少位宽对提亮处理的限制。使电子设备可以对参考帧图像进行线性提亮，而不需要担心处理后的参考帧图像的像素值超出相应的位宽对应的数值范围。从而使电子设备对参考帧图像提亮处理后，参考帧图像中各像素的提亮增益均相同，整个参考帧图像能够被均匀提亮。并且，由于对参考帧图像采用了更高位宽的数据类型进行处理，使得电子设备对参考帧图像的提亮处理的精度有所提高，最终提亮后的参考帧图像中暗部出现色阶问题的情况也会有所减少。
[0058]
以下，将结合附图对本技术实施例提供的图像处理方法进行说明。
[0059]
在本技术实施例中，电子设备具有拍照功能，可以是手机、平板电脑、手持计算机，pc，蜂窝电话，个人数字助理(personal digital assistant，pda)，可穿戴式设备(如：智能手表、智能手环)，智能家居设备(如：电视机)，车机(如：车载电脑)，智慧屏，游戏机，以及增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备等。本技术实施例对于电子设备的具体设备形态不作特殊限制。
[0060]
示例地，以电子设备为手机为例，图4示出了本技术实施例提供的一种电子设备的结构示意图。也即，示例性的，图4所示的电子设备可以是手机。
[0061]
如图4所示，电子设备可以包括处理器410，外部存储器接口420，内部存储器421，通用串行总线(universal serial bus，usb)接口430，充电管理模块440，电源管理模块441，电池442，天线1，天线2，移动通信模块450，无线通信模块460，音频模块470，扬声器470a，受话器470b，麦克风470c，耳机接口470d，传感器模块480，按键490，马达491，指示器492，摄像头493，显示屏494，以及用户标识模块(subscriber identification module，sim)卡接口495等。其中，传感器模块480可以包括压力传感器480a，陀螺仪传感器480b，气压传感器480c，磁传感器480d，加速度传感器480e，距离传感器480f，接近光传感器480g，指纹传感器480h，温度传感器480j，触摸传感器480k，环境光传感器480l，骨传导传感器480m等。
[0062]
可以理解的是，本实施例示意的结构并不构成对电子设备的具体限定。在另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
[0063]
处理器410可以包括一个或多个处理单元，例如：处理器410可以包括应用处理器(application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)，图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural
‑
network processing unit，npu)等。其中，不同的处理单元可以是独立的器件，
也可以集成在一个或多个处理器中。
[0064]
控制器可以是电子设备的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
[0065]
处理器410中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器410中的存储器为高速缓冲存储器。该存储器可以保存处理器410刚用过或循环使用的指令或数据。如果处理器410需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器410的等待时间，因而提高了系统的效率。
[0066]
在一些实施例中，处理器410可以包括一个或多个接口。接口可以包括集成电路(inter
‑
integrated circuit，i2c)接口，集成电路内置音频(inter
‑
integrated circuit sound，i2s)接口，脉冲编码调制(pulse code modulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输出(general
‑
purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim)接口，和/或通用串行总线(universal serial bus，usb)接口等。
[0067]
电子设备的无线通信功能可以通过天线1，天线2，移动通信模块450，无线通信模块460，调制解调处理器以及基带处理器等实现。
[0068]
天线1和天线2用于发射和接收电磁波信号。电子设备中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
[0069]
移动通信模块450可以提供应用在电子设备上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块450可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，lna)等。移动通信模块450可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块450还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块450的至少部分功能模块可以被设置于处理器410中。在一些实施例中，移动通信模块450的至少部分功能模块可以与处理器410的至少部分模块被设置在同一个器件中。
[0070]
无线通信模块460可以提供应用在电子设备上的包括无线局域网(wireless local area networks，wlan)(如无线保真(wireless fidelity，wi
‑
fi)网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(global navigation satellite system，gnss)，调频(frequency modulation，fm)，近距离无线通信技术(near field communication，nfc)，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块460可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块460经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器410。无线通信模块460还可以从处理器410接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
[0071]
在一些实施例中，电子设备的天线1和移动通信模块450耦合，天线2和无线通信模块460耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，gsm)，通用分组无线服务(general packet radio service，gprs)，码分多址接入(code division multiple access，cdma)，宽带码分多址(wideband code division multiple access，
wcdma)，时分码分多址(time
‑
division code division multiple access，td
‑
scdma)，长期演进(long term evolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(global positioning system，gps)，全球导航卫星系统(global navigation satellite system，glonass)，北斗卫星导航系统(beidou navigation satellite system，bds)，准天顶卫星系统(quasi
‑
zenith satellite system，qzss)和/或星基增强系统(satellite based augmentation systems，sbas)。
[0072]
电子设备通过gpu，显示屏494，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏494和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器410可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
[0073]
显示屏494用于显示图像，视频等。显示屏494包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light
‑
emitting diode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active
‑
matrix organic light emitting diode，amoled)，柔性发光二极管(flex light
‑
emitting diode，fled)，miniled，microled，micro
‑
oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。在一些实施例中，电子设备可以包括1个或n个显示屏494，n为大于1的正整数。
[0074]
电子设备可以通过isp，摄像头493(即镜头)，视频编解码器，gpu，显示屏494以及应用处理器等实现拍摄功能。在一些实施例中，电子设备可以包括1个或n个摄像头493，n为大于1的正整数。示例地，在本技术实施例中，电子设备可以包括三个摄像头，其中一个为主摄镜头，一个为长焦镜头，一个为超广角镜头，电子设备也可以只包括一个主摄镜头。
[0075]
内部存储器421可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器410通过运行存储在内部存储器421的指令，从而执行电子设备的各种功能应用以及数据处理。内部存储器421可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器421可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，ufs)等。
[0076]
当然，可以理解的，上述图4所示仅仅为电子设备的形态为手机时的示例性说明。若电子设备是平板电脑，手持计算机，pc，pda，可穿戴式设备(如：智能手表、智能手环)，智能家居设备(如：电视机)，车机(如：车载电脑)，智慧屏，游戏机以及ar/vr设备等其他设备形态时，电子设备的结构中可以包括比图4中所示更少的结构，也可以包括比图4中所示更多的结构，在此不作限制。
[0077]
以下实施例中的方法均可以在具有上述硬件结构的电子设备中实现。
[0078]
以电子设备为手机为例，图5示出了本技术实施例提供的一种图像处理方法的流程示意图。如图5所示，当用户打开手机的拍照界面，并进行拍照操作时，响应于用户的拍照操作，手机可以确定参考帧图像，以便于后续对参考帧图像进行提亮，并将提亮后的图像与辅助帧图像进行融合最终得到拍摄图像。例如，该图像处理方法可以包括以下s501
‑
s503。
[0079]
s501、检测到用户的拍照操作，确定参考帧图像。
[0080]
作为一种示例，在用户打开手机的拍摄界面准备拍照时，手机显示的预览画面可
以缓存在存储器中。从而，当用户进行拍照操作时，手机检测到用户的拍照操作，可以从缓存的预览画面中抽取一张或多张预览帧图像作为参考帧图像。其中，当抽取的预览帧图像为多张时，则可以将每张预览帧图像分别作为一个参考帧图像(即抽取多张帧图像时则对应得到多个参考帧图像)，后续可以分别对每个参考帧图像进行提亮处理(以下将以一个参考帧图像的提亮处理进行示例性说明)。需要说明的是，通常抽取的预览帧图像的拍摄时间，位于检测到用户的拍摄操作时的时间之前的预设时长内(预设时长可以根据实际情况进行设置，通常预设时长设置的相对较小)。以预设时长为一秒钟为例，即，抽取检测到用户的拍照操作时的前一秒内(即预设时长为一秒钟)的预览画面中的一张或多张预览帧图像。如此，抽取的是拍摄时间靠近手机检测到用户的拍照操作时的时间的一张或多张预览帧图像。即，抽取的是手机检测到用户的拍照操作之前缓存的预览画面中处于末段的一张或多张预览帧图像。从而，能够避免确定出的参考帧图像的画面内容与后续手机拍摄得到的辅助帧图像的画面内容差异较大，导致融合后得到的拍摄图像出现重影。
[0081]
当然，在本技术实施例中，还可以通过其他方式确定参考帧图像。例如，基于上述示例，手机还可以先从缓存的预览画面中抽取连续的多张预览帧图像，然后从这些预览帧图像中通过比对确定图像质量(如，饱和度、清晰度等)相对较高的一张预览帧作为参考帧图像。其中，抽取的多张预览帧图像的拍摄时间靠近手机检测到用户的拍照操作时的时间。在本技术实施例的其他一些实施方式中，手机还可以通过其他方式确定参考帧图像，此处不做限制。
[0082]
s502、将确定出的参考帧图像转换为第一数据类型，其中，第一数据类型的位宽高于参考帧图像的原始数据类型的位宽。
[0083]
可选地，参考帧图像的原始数据类型一般为10位的整数类型。则第一数据类型可以是浮点型(如，float32，即单精度、32位、符合ieee 754标准的浮点数)，uint16(即，16位无符号整数类型)等位宽大于10位的数据类型。
[0084]
需要说明的是，将参考帧图像转换为第一数据类型，通常是将参考帧图像的各个像素值从原始数据类型的值转换为第一数据类型的值。例如，参考帧图像的原始数据类型为整数类型，第一数据类型为浮点型，则可以将参考帧图像的各个像素值由原始数据类型的整数类型，转换为第一数据类型的浮点型。
[0085]
s503、根据对预览画面降曝光时的降曝光值对转换为第一数据类型的参考帧图像进行提亮。
[0086]
其中，对预览画面降曝光时的降曝光值是指降曝光时的曝光补偿值。因此，不对预览画面进行降曝光时，降曝光值为零，降曝光处理时对应的降曝光值通常为负值，可以表征降曝光处理的档位级别，降曝光值越小则降曝光处理的档位级别越高，即降曝光处理后曝光量减少的越多。通常，降曝光处理的档位级别升高一级(即降曝光值减1)，处理后的曝光量会减少一半。因此，对预览画面降曝光后，曝光量会是降曝光前的倍，其中，z0即为降曝光值，此处为负值。相应地，降曝光后的预览画面中的图像的各个像素值也会是降曝光前的倍。因此，在根据对预览画面降曝光时的降曝光值对参考帧图像进行提亮时，可以通过将参考帧图像的各个像素值分别乘以的方式使参考帧图像各个像素的像素值能够还原为降曝光前的数值，从而达到对参考帧图像进行提亮的效果。
[0087]
由于根据对预览画面降曝光时的降曝光值进行提亮时，参考帧图像是转换为第一
数据类型后的参考帧图像，其各个像素值的数值范围相对更大，因此采用上述示例的方式进行提亮时，像素值乘以得到的数值一般也不会超出相应的数值范围，所以采用该方式对参考帧图像进行提亮能够实现线性提亮，以使参考帧图像中各个像素均能够以相同的提亮增益进行提亮，提亮效果更好。并且，由于第一数据类型的位宽更大，其精度更高，因此对转换为第一数据类型后的参考帧图像进行提亮处理的精度会更高，由于处理精度低导致的参考帧图像暗部提高后出现的色阶断层问题会有所减少。例如，当第一数据类型为float32时，由于引入了小数，所以采用该数据类型的参考帧图像的像素值会更加精确，在进行提亮计算时精度也会更高。
[0088]
可选地，在s503之前，还可以先对转换为第一数据类型后的参考帧图像进行去噪处理，以减少参考帧图像中的噪点，避免经s503对参考帧图像提亮后将参考帧图像中的噪点也提亮使噪点更加明显。
[0089]
示例地，去噪处理可以是采用如bm3d降噪算法、k
‑
svd降噪算法、非局部均值降噪算法、wnnm降噪算法、离散傅里叶变换降噪算法、小波阈值降噪算法等降噪算法进行的图像去噪处理。
[0090]
可选地，由于提亮后的参考帧图像还是采用的第一数据类型，因此，可以在s503之后，将提亮后的参考帧图像重新转换为参考帧图像的原始数据类型。
[0091]
示例地，可以先将采用第一数据类型的提亮后的参考帧图像进行归一化处理，使其各个像素值能够位于[0，1]区间。然后再将归一化处理后的参考帧图像转换为原始数据类型。例如，则可以先计算得到采用第一数据类型的提亮后的参考帧图像的所有像素值中的最大值，然后，以各个像素值分别与该最大值间的比值作为对应像素归一化后的像素值。之后，可以将各归一化后的像素值分别与原始数据类型的最大值相乘并取整以得到对应像素转换为原始数据类型的像素值。例如，以采用第一数据类型的参考帧图像的像素值集合为l1，原始数据类型为10位的整数类型为例。可以先计算得到采用第一数据类型的参考帧图像的像素值集合中的最大值m(m＝max(l1))，则归一化后的像素值集合l2满足公式：l2＝l1/m。由于原始数据类型为10位的整数类型，则原始数据类型的最大值为1023，所以，转换为原始数据类型后的像素值的集合l3可以满足公式：l3＝int(l2×
1023)。
[0092]
可选地，因为图像所能表现的亮度范围不足以表现现实世界中的亮度域，而如果简单的将真实世界的整个亮度域线性压缩到照片所能表现的亮度域内，则会在明暗两端同时丢失很多细节。因此，为了克服这一情况，在s503之后，还可以对提亮后的参考帧图像进行色调映射(tone mapping)处理，以使提亮后的参考帧图像能够在明暗两端(即亮部和暗部)保留更多细节。
[0093]
在对提亮后的参考帧图像进行色调映射处理后，还可以对参考帧图像进行伽马校正处理和其他后处理。其中，由于人类视觉系统对于亮度的响应大致是成对数关系的，而不是线性的。人类视觉对低亮度变化的感觉比高亮度变化的感觉来的敏锐。因此，通过伽马校正能够为这种亮度的非线性关系引入的一种传输函数。校正过程就是对图像的伽马曲线进行编辑，检出图像信号中的深色部分和浅色部分，并使两者比例增大，从而提高图像对比度效果，以对图像进行非线性色调编辑，使伽马校正后的图像能够更加接近人眼观察的图像。其他后处理可以包括色彩空间转换、颜色校正、镜头校正等。
[0094]
需要说明的是，将提亮后的参考帧图像重新转换为参考帧图像的原始数据类型的
过程，可以是在s503执行后进行，也可以是在对提亮后的参考帧图像进行色调映射之后，还可以是在对提亮后的参考帧图像进行伽马校正之后，此处不做限制。
[0095]
在本技术实施例中，基于上述的方法，如图6所示，电子设备中可以包括有数据类型转换模块(to_float)、去噪模块(denoise)、线性提亮模块(lineargain)、色调映射模块(tonemapping)、伽马校正模块(gamma)以及后处理模块(postprocessing)等。当电子设备确定参考帧图像后，可将参考帧图像输入到数据类型转换模块，该模块可以将参考帧图像转换为如上述方法中所述的第一数据类型(具体实施方式可以参考s502中的相关描述，此处不做赘述)。数据类型转换模块将参考帧图像转换为第一数据类型后，可以将其流转到去噪模块，以通过去噪模块对参考帧图像进行去噪，然后去噪模块可以将去噪后的参考帧图像流转到线性提亮模块，以通过线性提亮模块对参考帧图像进行线性提亮(具体实施方式可以参考s503中是相关描述，此处不做赘述)。然后，线性提亮模块可以将提亮后的参考帧图像流转到色调映射模块以对其进行色调映射处理。之后，色调映射模块可以将色调映射处理后的参考帧图像流转到伽马校正模块进行伽马校正，之后在流转到后处理模块以进行其他后处理。
[0096]
其中，伽马校正模块和后处理模块可以是isp中的模块，即当色调映射模块对参考帧图像进行处理后可以将处理后的参考帧图像流转(或称为回灌)到isp中的伽马校正模块，以便于手机根据相关技术中对参考帧图像提亮后的后续操作继续对参考帧图像进行处理，如由isp的后处理模块处理后输出参考帧图像，便于后续将该处理后的参考帧图像与辅助帧图像进行融合以得到拍摄图像。此时，若要进行上述将提亮后的参考帧图像重新转换为参考帧图像的原始数据类型的过程，则可以在将处理后的参考帧图像流转到isp中之前进行。即，将参考帧图像提亮后，可以先对提亮后的参考帧图像进行色调映射处理，然后将处理后的参考帧图像重新转换为原始数据类型，然后再将参考帧图像流转到isp中的伽马模块。
[0097]
采用以上实施例中的方法，电子设备能够对参考帧图像的像素值采用更高位宽的数据类型进行提亮处理，从而减少位宽对提亮处理的限制。使电子设备可以对参考帧图像进行线性提亮，而不需要担心处理后的参考帧图像的像素值超出相应的位宽对应的数值范围。从而使电子设备对参考帧图像提亮处理后，参考帧图像中各像素的提亮增益均相同，整个参考帧图像能够被均匀提亮。并且，由于对参考帧图像采用了更高位宽的数据类型进行处理，使得电子设备对参考帧图像的提亮处理的精度有所提高，最终提亮后的参考帧图像中暗部出现色阶问题的情况也会有所减少。
[0098]
对应于前述实施例中的方法，本技术实施例还提供一种图像处理装置。该装置可以应用于上述的电子设备用于实现前述实施例中的方法。该装置的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。例如，该装置包括：确定模块、数据类型转换模块、去噪模块、线性提亮模块、色调映射模块、伽马校正模块、后处理模块等。确定模块、数据类型转换模块、去噪模块、线性提亮模块、色调映射模块、伽马校正模块、后处理模块等可以配合用于实现上述实施例中相关的方法。
[0099]
示例地，确定模块，可以用于在检测到用户的拍照操作时，确定参考帧图像，参考帧图像为预览画面中的预览帧图像；数据类型转换模块，可以用于将参考帧图像转换为第
一数据类型，第一数据类型的位宽高于参考帧图像转换前的原始数据类型的位宽；线性提亮模块，可以用于对转换为第一数据类型的参考帧图像进行线性提亮。
[0100]
在一种可能的实现方式中，线性提亮模块，具体用于根据预览画面的曝光补偿值对转换为第一数据类型的参考帧图像进行线性提亮。
[0101]
在另一种可能的实现方式中，数据类型转换模块，还可以用于将提亮后的参考帧图像由第一数据类型转换为原始数据类型。
[0102]
在另一种可能的实现方式中，数据类型转换模块，具体用于对提亮后的参考帧图像进行归一化处理；将归一化处理后的参考帧图像转换为原始数据类型。
[0103]
在另一种可能的实现方式中，确定模块，具体用于从预览画面中抽取至少一张预览帧图像，抽取的至少一张预览帧图像的拍摄时间位于检测到用户的拍照操作时的时间之前的预设时长内；以抽取的至少一张预览帧图像作为参考帧图像。
[0104]
在另一种可能的实现方式中，数据类型转换模块，具体用于将参考帧图像中各像素的像素值由原始数据类型的值，转换为第一数据类型的值。
[0105]
在另一种可能的实现方式中，去噪模块，可用于对转换为第一数据类型的参考帧图像进行去噪处理。
[0106]
在另一种可能的实现方式中，色调映射模块，可以用于对提亮后的参考帧图像进行色调映射处理。
[0107]
在另一种可能的实现方式中，伽马校正模块，可以用于对提亮后的参考帧图像进行伽马校正处理。
[0108]
在另一种可能的实现方式中，后处理模块，可以用于进行参考帧图像的其他后处理。
[0109]
应理解以上装置中单元或模块(以下均称为单元)的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且装置中的单元可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分单元以软件通过处理元件调用的形式实现，部分单元以硬件的形式实现。
[0110]
例如，各个单元可以为单独设立的处理元件，也可以集成在装置的某一个芯片中实现，此外，也可以以程序的形式存储于存储器中，由装置的某一个处理元件调用并执行该单元的功能。此外这些单元全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件又可以称为处理器，可以是一种具有信号的处理能力的集成电路。在实现过程中，上述方法的各步骤或以上各个单元可以通过处理器元件中的硬件的集成逻辑电路实现或者以软件通过处理元件调用的形式实现。
[0111]
在一个例子中，以上装置中的单元可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个asic，或，一个或多个dsp，或，一个或者多个fpga，或这些集成电路形式中至少两种的组合。
[0112]
再如，当装置中的单元可以通过处理元件调度程序的形式实现时，该处理元件可以是通用处理器，例如cpu或其它可以调用程序的处理器。再如，这些单元可以集成在一起，以片上系统(system
‑
on
‑
a
‑
chip，soc)的形式实现。
[0113]
在一种实现中，以上装置实现以上方法中各个对应步骤的单元可以通过处理元件调度程序的形式实现。例如，该装置可以包括处理元件和存储元件，处理元件调用存储元件
存储的程序，以执行以上方法实施例所述的方法。存储元件可以为与处理元件处于同一芯片上的存储元件，即片内存储元件。
[0114]
在另一种实现中，用于执行以上方法的程序可以在与处理元件处于不同芯片上的存储元件，即片外存储元件。此时，处理元件从片外存储元件调用或加载程序于片内存储元件上，以调用并执行以上方法实施例所述的方法。
[0115]
例如，本技术实施例还可以提供一种装置，如：电子设备，可以包括：处理器，用于存储该处理器可执行指令的存储器。该处理器被配置为执行上述指令时，使得该电子设备实现如前述实施例中电子设备实施的图像处理方法。该存储器可以位于该电子设备之内，也可以位于该电子设备之外。且该处理器包括一个或多个。
[0116]
在又一种实现中，该装置实现以上方法中各个步骤的单元可以是被配置成一个或多个处理元件，这些处理元件可以设置于对应上述的电子设备上，这里的处理元件可以为集成电路，例如：一个或多个asic，或，一个或多个dsp，或，一个或者多个fpga，或者这些类集成电路的组合。这些集成电路可以集成在一起，构成芯片。
[0117]
例如，本技术实施例还提供一种芯片系统，该芯片系统可以应用于上述电子设备。芯片系统包括一个或多个接口电路和一个或多个处理器；接口电路和处理器通过线路互联；处理器通过接口电路从电子设备的存储器接收并执行计算机指令，以实现以上方法实施例中电子设备相关的方法。
[0118]
本技术实施例还提供一种计算机程序产品，包括电子设备，如上述电子设备，运行的计算机指令。
[0119]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
[0120]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0121]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0122]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0123]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式
体现出来，如：程序。该软件产品存储在一个程序产品，如计算机可读存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
[0124]
例如，本技术实施例还可以提供一种计算机可读存储介质，其上存储有计算机程序指令。当计算机程序指令被电子设备执行时，使得电子设备实现如前述方法实施例中所述的图像处理方法。
[0125]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。