一种图像处理方法及电子设备与流程

1.本技术涉及电子技术领域，尤其涉及一种图像处理方法及电子设备。


背景技术：

2.目前，电子设备如手机上均会配备摄像头，用户可以通过摄像头来对目标对象进行拍摄，从而获得图像，进而电子设备可以对图像进行处理，以呈现出用户满意的照片。
3.目前，采用的对图像处理的方法通常是，电子设备响应于触发拍摄照片操作，可以对目标对象进行拍摄，获取目标对象的多个图像帧，然后将多个图像帧进行融合，最终输出融合后的图像。
4.但是由于生成图像帧需要花费大量时间，所以拍摄每张照片生成的图像帧数量是少量且固定的，这就会导致可用帧的数量较少，融合后输出的图像帧，不清晰，无法满足用户需求。


技术实现要素：

5.本技术提供的图像处理方法及电子设备，解决了电子设备输出的融合后的图像帧不清晰，无法满足用户需求的问题。
6.为达到上述目的，本技术采用如下技术方案：第一方面，本技术提供一种图像处理方法，该方法可以应用于包括摄像头的电子设备，包括，首先可以获取对目标对象进行多次拍照所得的图像帧集合，例如可以为第一图像帧集合和第二图像帧集合，然后可以确定图像帧集合中的目标参考帧，进而将图像帧集合中与目标参考帧差异程度满足预设标准的图像帧确定为可用帧，这样就可以将确定的可用帧与目标参考帧融合，输出图像处理结果，从而可以在不改变每张照片出帧数量的情况下，可以从其他拍照事件中筛选出可用帧，增加了可用帧的数量，这样就可以使输出的融合图像帧更加清晰。
7.可选的，为了进一步从图像帧集合中筛选出与目标参考帧差异程度较小的可用帧，需要使得图像帧集合中图像帧的特征点与目标参考帧的特征点位置对应，可以将图像帧与目标参考帧进行配准，具体的，可以将目标参考帧与图像帧集合中其他图像帧分别进行配准处理，获得配准图像帧集合，然后为了从配准图像帧集合中筛选出与目标参考帧差异程度较小的可用帧，可以将配准图像帧集合中的图像帧分别与目标参考帧做比较，获得多个比较结果，比较结果的值越小可以说明图像帧与目标参考帧之间的差异程度越小，进而可以将小于阈值的比较结果对应的图像帧确定为可用帧。
8.可选的，为了更精准的筛选出可用帧，比较结果可以包括单个图像帧中的差异像素点在对应图像帧中所有像素点中的比例，其中，差异像素点为图像帧与目标参考帧做比较所得的像素值差异大于第一比例阈值的像素点。然后由于配准图像帧集合中有多个图像帧分别与目标参考帧做比较，每个图像帧对应生成一个比较结果，可以将多个比较结果中差异像素点比例小于第二比例阈值的图像帧确定为可用帧。
9.可选的，由于最后一次拍照时刻对应的图像帧中图像画面更加接近目标对象的状态，所以可以将图像帧集合中最后一次拍照时刻对应的图像帧确定为目标参考帧。
10.可选的，可以将图像帧集合中拍照时刻对应的清晰度最高的图像帧确定为目标参考帧，这样就可以基于清晰度较好的目标参考帧进行后续图像处理，如此能够使输出的结果图像的清晰度较好，提高画面的细腻程度，提高结果图像的图像质量。
11.可选的，以两次拍照为例介绍，图像帧集合可以包括：第一图像帧集合和第二图像帧集合，目标参考帧可以包括第二图像帧集合中的第二参考帧，其中，第一参考帧为第一图像帧集合中第一次触发拍照事件时刻对应的图像帧，第二参考帧为第二图像帧集合中第二次触发拍照事件时刻对应的图像帧，可以将第二参考帧确定为目标参考帧，图像帧分别与目标参考帧配准过程可以如下：将第一图像帧集合中的多个图像帧分别与第一参考帧进行配准，获得初次配准后的第一图像帧集合和多个第一配准矩阵，然后将第一参考帧与第二参考帧进行配准，获得参考配准矩阵，根据多个第一配准矩阵分别与参考配准矩阵的乘积，对第二参考帧与初次配准后的第一图像帧集合中的多个图像帧分别进行配准处理，获得第二配准集合，也可以叫目标配准集合，这种通过配准矩阵相乘的方法可以减少配准的次数，节省时间。
12.可选的，可以比较目标配准集合中每个图像帧与所述第二参考帧的差异像素点比例，获得多个第一比例结果，进而可以根据第一比例结果从目标配准集合中确定可用帧。
13.可选的，当电子设备确定第二参考帧为目标参考帧时，由于第二图像帧集合中的图像帧与第二参考帧是触发同一次拍照事件获得的，所以图像帧之间差异较小，进而可以将第二图像帧集合中的多个图像帧分别与第二参考帧进行配准，获得初次配准后的第二图像帧集合，将初次配准后的第二图像帧集合中的全部图像帧都确定为可用帧，然后可以将从目标配准集合和初次配准后的第二图像帧集合中确定的可用帧以及所述第二参考帧融合，输出图像处理结果，这样可以增加可用帧的数量，使得输出的融合图像帧更清晰。
14.可选的，可以增加预设的处理条件，以判断电子设备是否可以通过本方法对图像进行处理。预设的处理条件可以为相邻两次触发快门按键的时间间隔小于间隔阈值，其中，间隔阈值可以根据需求预先设置。若确定获取的相邻两次触发快门按键的时间间隔小于间隔阈值，可以获取对目标对象进行多次拍照所得的图像帧集合。
15.第二方面，本技术提供了一种电子设备，包括：摄像头处理器和存储器；所述摄像头用于采集图像帧；在所述存储器中存储有一个或多个计算机程序，所述一个或多个计算机程序包括指令；当所述指令被所述处理器执行时，使得所述电子设备执如第一方面中任一项所述的方法。
16.第三方面，本技术提供了一种计算机存储介质，包括计算机指令，当所述计算机指令在移动终端上运行时，使得所述电子设备执如第一方面中任一项所述的方法。
17.第四方面，本技术提供了一种计算机程序产品，包括指令；当所述指令被电子设备运行时，使得所述电子设备执如第一方面中任一项所述的方法。
18.由上述技术方案可知，本技术具有如下有益效果：本技术提供一种图像处理方法及电子设备，可以应用于包括摄像头的电子设备，包括：首先可以获取对目标对象进行多次拍照所得的图像帧集合，然后确定图像帧集合中
的目标参考帧，将图像帧集合中与目标参考帧差异程度满足预设标准的图像帧确定为可用帧，将确定的可用帧与目标参考帧融合，输出图像处理结果，这样本技术中的方法可以从多次拍照所得的图像帧集合中筛选出与目标参考帧差异程度满足预设标准的图像帧作为可用帧，进而将筛选出的可用帧进行融合，这样在不改变每张照片出帧数量的情况下，可以从其他拍照事件中筛选出可用帧，也就增加了可用帧的数量，从而可以使输出的融合图像帧更加清晰。
附图说明
19.图1为本技术实施例提供的一种电子设备的组成示例图；图2为本技术实施例提供的一种电子设备的软件结构示例图；图3a为本技术实施例提供的一种用户打开相机应用的示意图；图3b为本技术实施例提供的一种相机界面预览示意图；图3c为本技术实施例提供的一种设置拍照方式的示意图；图4a为本技术实施例提供一种获取图像帧的示意图；图4b为本技术实施例提供一种图像处理原理的示意图；图5为本技术实施例提供的一种图像处理方法的流程图。
具体实施方式
20.本技术说明书和权利要求书及附图说明中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于限定特定顺序。
21.在本技术实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本技术实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
22.为了下述各实施例的描述清楚简洁，首先给出相关技术的简要介绍：多帧融合技术是指将多个不同曝光时间的图像帧进行融合处理，进而得到高动态范围图像。高动态范围图像具有较宽的亮度范围，进而高动态范围图像可以呈现出较好的视觉效果。
23.然而，在有些情况下，对多个图像帧进行融合等处理后，融合后图像的图像质量也并不会有明显提高。例如，在一次触发拍照事件中获得的多个图像帧中可用帧的数量较少，导致融合后输出的图像帧，不清晰，无法满足用户需求。其中，可用帧指的是与目标参考帧之间差异像素点比例小于阈值的图像帧。
24.有鉴于此，本技术提供一种图像处理方法，可以应用于包括摄像头的电子设备，该方法包括：首先可以获取对目标对象进行多次拍照所得的图像帧集合，然后确定图像帧集合中的目标参考帧，将图像帧集合中与目标参考帧差异程度满足预设标准的图像帧确定为可用帧，将确定的可用帧与目标参考帧融合，输出图像处理结果，这样本技术中的方法可以从多次拍照所得的图像帧集合中筛选出与目标参考帧差异程度满足预设标准的图像帧作为可用帧，进而将筛选出的可用帧进行融合。由于电子设备触发了多次拍照事件，这样在不改变每张照片出帧数量的情况下，可以从其他拍照事件对应的图像帧中筛选出可用帧，也
serial interface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备的显示功能。
34.gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
35.可以理解的是，本实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备的结构限定。在本技术另一些实施例中，电子设备也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
36.调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
37.电子设备的显示屏194上可以显示一系列图形用户界面（graphical user interface，gui），这些gui都是该电子设备的主屏幕。一般来说，电子设备的显示屏194的尺寸是固定的，只能在该电子设备的显示屏194中显示有限的控件。控件是一种gui元素，它是一种软件组件，包含在应用程序中，控制着该应用程序处理的所有数据以及关于这些数据的交互操作，用户可以通过直接操作（direct manipulation）来与控件交互，从而对应用程序的有关信息进行读取或者编辑。一般而言，控件可以包括图标、控件、菜单、选项卡、文本框、对话框、状态栏、导航栏、widget等可视的界面元素。
38.电子设备可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
39.一般的，图像信号处理器包括图像处理前端（image front end，ife）、拜耳处理阶段（bayer processing segment，bps）、图像处理引擎（image processing engine，ipe）以及编码器encoder等模块。可选的，编码器可以基于jpeg（joint photographic experts group）算法进行编码。
40.isp 用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
41.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，ccd)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，
电子设备可以包括1个或n个摄像头193，n为大于1的正整数。
42.数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
43.视频编解码器用于对数字视频压缩或解压缩。电子设备可以支持一种或多种视频编解码器。这样，电子设备可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
44.npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
45.受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
46.麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备可以设置至少一个麦克风170c。在另一些实施例中，电子设备可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
47.陀螺仪传感器180b可以用于确定电子设备的运动姿态。在一些实施例中，可以通过陀螺仪传感器180b确定电子设备围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180b可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180b检测电子设备抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消电子设备的抖动，实现防抖。陀螺仪传感器180b还可以用于导航，体感游戏场景。
48.触摸传感器180k，也称“触控器件”。触摸传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180k也可以设置于电子设备的表面，与显示屏194所处的位置不同。
49.另外，在上述部件之上，运行有操作系统。例如苹果公司所开发的ios操作系统，谷歌公司所开发的android开源操作系统，微软公司所开发的windows操作系统等。在该操作系统上可以安装运行应用程序。
50.电子设备的操作系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备的软件结构。
51.图2是本技术实施例的电子设备的软件结构示例图。
52.分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将android系统分为四层，从上至下分别为应用层，框架层，安卓运行时(android runtime)和系统库，以及内核层。
53.应用层可以包括一系列应用程序包。如图2所示，应用程序包可以包括相机，图库，
日历，通话，地图，导航，wlan，蓝牙，音乐，视频，短信息等应用程序。
54.框架层为应用层的应用程序提供应用编程接口(application programming interface，api)和编程框架。框架层包括一些预先定义的函数。如图2所示，框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
55.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
56.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
57.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
58.电话管理器用于提供电子设备的通信功能。例如通话状态的管理(包括接通，挂断等)。
59.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
60.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
61.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。
62.核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
63.应用层和框架层运行在虚拟机中。虚拟机将应用层和框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
64.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
65.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层的融合。
66.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如: mpeg4，h.264，mp3，aac，amr，jpg，png等。
67.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
68.2d图形引擎是2d绘图的绘图引擎。
69.内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
70.需要说明的是，本技术实施例虽然以android系统为例进行说明，但是其基本原理同样适用于基于ios、windows等操作系统的电子设备。
71.在本技术实施例提供的电子设备通过摄像头进行照片拍摄。
72.当用户在触摸传感器180k上进行触摸操作时，触摸传感器180k可以获取用户的触摸操作并把该触摸操作上报给处理器110，处理器110在接收到触摸传感器180k发送的触摸操作之后，可以响应于触摸操作，启动触摸操作对应的应用。
73.如图3a所示，图3a示出了一种用户打开相机应用的示意图，例如，用户触摸操作为打开相机，触摸传感器180k可以接收用户对相机图标301的触摸操作，并向处理器110上报对相机图标301的触摸操作，处理器110在接收对相机图标301的触摸操作之后，可以响应于上述触摸操作，启动相机图标301对应的应用（可简称为相机应用），并在显示屏194上显示相机的拍摄预览界面。
74.此外，本技术实施例中还可以通过其它方式使得电子设备启动相机应用，并在显示屏194上显示相机的拍摄预览界面。例如，用户发出打开相机的语音指令，电子设备可以通过麦克风170c将接收到的用户发出的打开相机语音指令上报至处理器110，处理器110在接收用户发出的打开相机语音指令之后，可以响应于用户的语音指令，启动相机应用，并在显示屏194上显示相机应用的拍摄预览界面。又或者，用户可以预先在电子设备中储存打开相机的快捷指令，例如，打开相机的快捷指令可以设置为触摸电子设备屏幕下端向上滑动的操作。当用户触发打开相机的快捷指令时，触摸传感器180k可以接收用户的打开相机快捷操作指令，并向处理器110上报该快捷操作指令，处理器110在接收快捷操作指令之后，可以响应于上述快捷操作指令，启动相机图标301对应的应用，并在显示屏194上显示相机的拍摄预览界面。
75.在一些实施例中，处理器110启动相机应用后，相机应用可以自动进入拍照模式。如图3b所示，相机应用的拍摄预览界面上可以包括模式选择控件302、相机设置控件303等各种功能控件。触摸传感器180k可以接收用户对上述功能控件的触摸操作，并上报给处理器110，使得处理器110响应于上述触摸操作，控制相机应用进入相应的界面。在一些示例中，用户可以通过相机设置控件303将相机应用的初始模式设置为拍照模式，当用户再次重新打开相机应用时，相机应用自动进入拍照模式。也可以通过相机设置控件303将相机应用的初始模式设置为录像模式，当用户再次重新打开相机应用时，相机应用自动进入录像模式。
76.在一些示例中，用户打开相机应用后，相机应用自动进入拍照模式。用户可以通过相机应用的拍摄预览界面中的触摸拍摄键304触发拍摄照片操作，当用户触发拍摄照片操作时，触摸传感器180k可以获取用户触发的拍摄照片操作，并把该拍摄照片操作上报给处理器110，处理器110可以控制相机应用拍出照片。
77.在一些实施例中，相机应用除了可以通过触摸拍摄键304触发拍摄照片操作，还可以通过手势拍照和声音拍照等方式触发拍摄照片操作。其中，手势拍照指的是相机应用通过识别用户设置的拍照手势触发拍摄照片操作，声音拍照指的是相机应用通过识别用户设置的声音触发拍摄照片操作。具体的，如图3b示出的一种设置拍照方式的示意图，用户在点击相机设置控件303之后，相机应用中可以显示控件305，点击控件305中的拍照方式控件电子设备可以显示包括手势拍照控件和声音拍照的控件306，进而用户可以根据需求，自主设置触发拍摄照片操作的拍照手势和/或触发拍照操作的用户声音，举例说明，手势拍照以用户设置的比耶手势为例，用户可以在相机应用中设置通过比耶手势来触发拍照操作，当用
户需要拍照时，可以摆出比耶姿势，电子设备处理摄像头193中的前置摄像头或者后置摄像头可以将获得的光线通过镜头传递到摄像头感光元件上，经过感光元件将光信号转换为电信号，传递给isp处理，isp将处理后的数据传递至处理器110，进而处理器110可以确定用户触发拍照操作，控制相机应用拍摄照片。
78.声音拍照以用户设置识别语音为“拍照”为例，当用户需要拍照时，可以说出“拍照”二字的语音，麦克风170c可以获取用户的语音，经过信号处理之后传递至处理器110，进而处理器110可以确定用户触发拍照操作，控制相机应用拍摄照片。
79.在一些示例中，电子设备可以提供多种拍照模式，用户可以通过模式选择控件302触发相机应用进入不同的拍摄模式，拍照模式例如可以是夜景模式、长焦模式，连拍模式等。以普通拍照模式为例，电子设备启动相机应用后，进入普通拍照模式，电子设备可以通过摄像头193获取视频流，也就是获取目标对象的预览帧序列，并存储在预备缓存（buffer）中，然后可以在拍摄预览界面中进行预览。其中，目标对象可以是人物、风景、建筑等。
80.在一些实施例中，电子设备在拍摄预览界面中呈现目标对象的预览帧序列过程中，用户可以点击触摸拍摄键304触发拍摄照片操作，触发拍照事件，电子设备检测到用户对触摸拍摄键304的点击操作后，可以获取图像帧集合，以便后续输出结果图像。
81.进一步的，图像帧集合中图像帧的数量可以根据需求预先设置，例如，可以设置为5。
82.也就是说当电子设备检测到用户对触摸拍摄键304的点击操作，可以获取5张目标对象的图像帧，在一些实施例中，图像帧可以如表1中所示：表1其中，n(normal）表示该图像帧为正常曝光帧，可以将正常曝光帧作为图像的参考帧，需要说明的是正常曝光帧，也就是参考帧可以为电子设备触发拍照事件时刻对应的图像帧，也可以是用户点击触摸拍摄键304时刻对应的图像帧，在这里可以认为用户点击触摸拍摄键304时刻与电子设备触发拍照事件时刻为同一时刻。正常曝光帧对应的曝光时间可以是预设的标准曝光时间，例如可以为10ms，其可以用ev值=0表示，ev值为零也可以标准ev值，其中，ev（exposure values）值，是用于反映曝光时间多少的一个值。
83.电子设备在确定图像的参考帧之后，可以获取曝光时间不同的其他图像帧。
84.l（long）可以表示该图像帧为长曝光帧，即长曝光帧对应的曝光时间要长于标准曝光时间，可以用ev值在标准ev值上增加一定数值表示，例如表2中的图像帧1可以为增加0.5，当ev值增加0.5，图像帧1对应的曝光时间可以为14.14ms。
85.s（short）可以表示该图像帧为短曝光帧，即短曝光帧对应的曝光时间要短于标准曝光时间，可以用ev值在标准ev值上减少一定数值表示，例如表2中的图像帧2可以为减少0.5，当ev值减少0.5，图像帧3对应的曝光时间可以为7.07ms。
86.es（extra short）可以表示该图像帧为超短曝光帧，即长曝光帧对应的曝光时间要长于标准曝光时间，可以用ev值在标准ev值上减少一定数值表示，其中减少的一定数值需大于预设的ev阈值，例如ev阈值可以为0.5，如表2中的图像帧3可以为-1，当ev减少1，图
像帧4对应的曝光时间可以为5ms。图像帧5可以为-2，当ev减少2，图像帧5对应的曝光时间可以为2.5ms。
87.电子设备在获取图像帧集合之后，为了使参考帧与其他图像帧之间的特征点位置对应，可以把图像帧集合中的其他图像帧分别与参考帧进行配准处理，将配准后的各个图像帧可以传送至图像处理前端（image front end，ife）中，在ipe中，可以基于多帧降噪（multi frame noise reduction，mfnr）技术，对配准后的5帧图像帧进行多帧降噪以及融合处理，进而得到输出的图像帧，其中配准是指把一张图像帧映射到另一张图像帧上，使得两张图像帧中相同位置的点对应。
88.由于生成图像帧需要花费大量时间，所以拍摄每张照片生成的图像帧数量需是少量且固定的，例如，每拍一次照片可能获取3个或者5个图像帧，进行融合，生成输出的照片，由于单张照片融合的图像帧数量有限，所以可能导致可用帧的数量较少，融合后输出的图像帧，不清晰，无法满足用户需求。
89.为了解决上述问题，本技术提出一种图像处理方法及电子设备，且为了使得本技术的技术方案更加清楚、易于理解，下面以电子设备的角度，结合附图对本技术实施例提供的图像处理方法进行介绍。如图4所示，该图为本技术实施例提供的一种图像处理方法的流程图，该方法包括：s401：响应于满足预设的处理条件，获取对目标对象进行多次拍摄所得的图像帧集合。
90.电子设备可以首先确定是否满足处理条件，其中，处理条件可以根据需求预先设置。
91.在一些实施例中，处理条件可以细分为具体的三个条件，其中，第一条件可以为相邻两次触发快门按键的时间间隔小于间隔阈值，间隔阈值可以根据需求预先设置，例如可以为0.5s。
92.进一步的，在本技术实施例中，快门按键可以是触摸拍摄键304，电子设备可以通过触摸传感器180k实时检测用户的触摸操作，当用户触摸拍摄键304触发拍摄照片操作，触摸传感器180k可以获取用户触发的拍摄照片操作，并把该拍摄照片操作上报给处理器110，处理器110可以控制电子设备触发拍照事件，并且可以同时获取用户触摸拍摄键304对应的时间，当然也可以通过其他方式控制电子设备触发拍照事件，这里只是举一个例子，并不做限定。具体的，当电子设备检测到用户连续触摸拍摄键304时，可以获取每次触摸拍摄键304对应的时间，并计算每两个相邻时间的时间间隔，响应于存在时间间隔小于间隔阈值，可以满足第一条件。
93.第二条件可以为获取拍照过程中电子设备传感器的抖动幅度，通过抖动幅度判断是否满足第二条件。
94.具体的，电子设备可以通过陀螺仪传感器180b确定电子设备传感器围绕三个轴(即，x，y和z轴)的旋转角度，进而可以将传感器的x、y、z轴的旋转角度和平移量的大小进行量化。第二条件就可以设置为传感器需要满足x、y、z轴的旋转角度均小于阈值度数且平移量小于阈值距离，例如，可以设置为传感器需要满足x、y、z轴的旋转角度均小于5度且平移量小于1cm，满足第二条件。
95.第三条件，可以为获取第一条件中两次触发快门按键对应的两个图像帧，通过判断两个图像帧之间像素点的差异是否小于差异阈值，来判断是否满足第三条件。
96.进一步的，使这两个图像帧分别与参考帧进行配准，配准之后，通过逐像素的方法可以获取两个图像帧中的所有像素点，进而可以比较两个图像帧的像素值，统计每个图像帧中像素值差异大于第一阈值的差异像素点，当每张图像帧中差异像素点在该张图像帧所有像素点中的比例，小于第二阈值，可以确定满足第三条件，例如，第一阈值可以为20%，第二比例阈值可以为10%，可以统计每个图像帧中像素值差异大于占20%的差异像素点，当确定差异像素点在该图像帧所有像素点中所占的比例小于10%，可以确定满足第三条件。当响应于同时满足第一条件、第二条件和第三条件，可以确定电子设备满足处理条件，后续可以对目标对象进行拍摄所得的图像帧进行处理。
97.在一些实施例中，为了提升用户体验感，减少判断电子设备是否满足处理条件的时间，处理条件可以是只包括第一条件，当电子设备满足第一条件，也就是获取的相邻两次触发快门按键的时间间隔小于间隔阈值，可以确定满足第一条件。
98.电子设备在确定满足预设条件之后，可以获取对目标对象进行多次拍摄所得的图像帧集合，其中，多次拍摄至少为两次拍摄，下面以两次拍摄为例说明。
99.进一步的，如图4a所示，电子设备可以在预览界面中显示预览流，响应于用户两次触发拍照事件可以获取这两次触发拍照事件的图像帧集合，其中，图像帧集合可以包括第一图像帧集合和第二图像帧集合。
100.第一图像帧集合指的是用户第一次触发拍照事件获取的图像帧集合，以第一图像帧集合中包括5张图像帧为例，当用户触发拍照事件时，为了使电子设备实现所拍即所得，电子设备可以基于零秒延迟（zero shutter lag，zsl）技术，获得多帧图像帧。例如，可以依次获得第一参考帧、图像帧1、图像帧2、图像帧3和图像帧4等多帧图像帧，其中，每个图像帧对应的曝光时间可以如表1中所示，第一参考帧的曝光时间可以与表1中的参考帧对应。
101.第二图像帧集合指的是用户第二次触发拍照事件获取的图像帧集合。为了方便后续处理，第二图像帧集合中图像帧数量可以与第一图像帧中图像帧数量相同，以第二图像帧集合中也包括5张图像帧为例，当用户触发拍照事件时，电子设备可以基于零秒延迟（zero shutter lag，zsl）技术，获得多帧图像帧。可以依次获得第二参考帧、图像帧5、图像帧6、图像帧7和图像帧8等多帧图像帧，其中，每个图像帧对应的曝光时间可以如表1中所示，第二参考帧的曝光时间可以与表1中的参考帧对应像帧5、图像帧6、图像帧7和图像帧8可以分别与表1中图像帧1、图像帧2、图像帧3和图像帧4的曝光时间对应。
102.上述的第一参考帧可以是用户第一次触发拍照事件（例如用户触发快门）时刻对应的图像帧，第二参考帧可以是用户第一次触发拍照事件时刻对应的图像帧。
103.s402：确定图像帧集合中的目标参考帧。
104.在一些实施例中，由于最后一次拍照时刻对应的图像帧中图像画面更加接近目标对象的状态，所以可以将图像帧集合中最后一次拍照时刻对应的图像帧确定为目标参考帧。以两次拍照为例电子设备可以从第一参考帧和第二参考帧中确定目标参考帧。
105.在一些实施例中，因为第二参考帧相比第一参考帧拍摄时刻相对靠后，所以第二参考帧中图像画面更加接近目标对象的状态，因此可以把第二参考帧作为目标参考帧。
106.在一些实施例中，电子设备可以分别计算第一参考帧和第二参考帧的清晰度，然
后对比第一参考帧和第二参考帧的清晰度，进而可以确定第一参考帧和第二参考帧中清晰度较高的参考帧作为目标参考帧。
107.图像的清晰度可以指的是指图像上各细部影纹及其边界的清晰程度，图像清晰度越高则图像越清晰，表现的越细致。
108.以电子设备计算第一参考帧的清晰度为例，电子设备可以基于梯度函数（例如brenner函数）计算第一参考帧中每组相邻的两个像素灰度差的平方，然后对每组相邻的两个像素灰度差的平方求和后算均值，将该均值作为第一参考帧的清晰度，均值越大，表征图像越清晰。当然，在另一些示例中，电子设备也可以基于其他梯度函数（例如tenengrad函数、laplacian函数）计算第一参考帧的清晰度。类似的，电子设备也可以基于同样的原理计算第二参考帧的清晰度。
109.本技术不具体限定电子设备计算第一参考帧的清晰度或第二参考帧的清晰度的方式，本领域技术人员可以根据实际需要选择其他方式计算第一参考帧的清晰度或第二参考帧的清晰度。
110.在确定第一参考帧清晰度和第二参考帧清晰度之后，电子设备可以判断第一参考帧的清晰度和第二参考帧的清晰度的高低。
111.进一步，当确定计算出的第一参考帧的均值大于第二参考帧的均值，可以确定第一参考帧的清晰度高于第二参考帧的清晰度，此时，可以将第一参考帧作为目标参考帧。同理，当确定计算出的第一参考帧的均值小于第二参考帧的均值，可以确定第一参考帧的清晰度低于第二参考帧的清晰度，此时，可以将第二参考帧作为目标参考帧。当确定计算出的第一参考帧的均值与第二参考帧的均值差值小于预设差值，可以确定第一参考帧的清晰度与第二参考帧的清晰度一致，即第一参考帧的清晰度与第二参考帧的清晰度接近相等。此时，也可以将第一参考帧作为目标参考帧。这样电子设备就可以基于清晰度较好的目标参考帧进行后续图像处理，如此能够使输出的结果图像的清晰度较好，提高画面的细腻程度，提高结果图像的图像质量。
112.s403：将图像帧集合中的图像帧与目标参考帧进行配准，获得配准图像帧集合。
113.为了使得图像帧中的特征点与目标参考帧中特征点位置对应，在确定目标参考帧之后，可以将图像帧与目标参考帧进行配准。
114.如图4b示出了图像处理原理的示意图，图中的img1帧序列也可以叫第一图像帧集合，img2帧序列可以叫第二图像帧集合，具体处理过程如下：在一些实施例中，可以分别对第一图像帧集合和第二图像帧集合中的图像帧进行配准，以将第一图像帧集合中图像帧分别与第一参考帧作配准为例进行介绍。例如将第一图像帧集合中图像帧1与第一参考帧，先提取出图像帧1与第一参考帧的特征点，再在对特征点进行匹配得到配准矩阵，通过配准矩阵完成图像变换，实现配准。其余图像帧也可以通过同样原理，完成与第一参考帧的配准，获得初次配准后的第一图像帧集合，完成配准之后可以分别保存每个图像帧与第一参考帧的配准信息，也就是配准矩阵，可以将图像帧1与第一参考帧配准的配准矩阵记为mr1，将图像帧2与第一参考帧配准的配准矩阵记为mr2，将图像帧3与第一参考帧配准的配准矩阵记为mr3，将图像帧4与第一参考帧配准的配准矩阵记为mr4。
115.在第一图像帧集合中的所有图像帧完成配准之后或者在第一图像帧集合中的图
像帧在配准的同时，可以对第二图像帧集合中的图像帧与第二参考帧基于上述配准原理进行配准，完成与第二参考帧的配准，获得初次配准后的第二图像帧集合，可以将图像帧5与第二参考帧配准的配准矩阵记为mr5，将图像帧6与第二参考帧配准的配准矩阵记为mr6，将图像帧7与第二参考帧配准的配准矩阵记为mr7，将图像帧8与第二参考帧配准的配准矩阵记为mr8。
116.当确定第一参考帧为目标参考帧时，初次配准后的第二图像帧集合中的图像帧和第二参考帧需要分别与第一参考帧进行配准，具体的，先提取出第二参考帧与第一参考帧的特征点，再在对特征点进行匹配得到配准矩阵，通过配准矩阵完成图像变换，实现配准，将该配准矩阵记为参考配准矩阵mcr，由于配准矩阵是线性的，因此只需要将第二图像帧集合中每个图像帧与第二参考帧配准的到的配准矩阵与参考配准矩阵相乘即可，例如，图像帧5与第二参考帧进行配准可以为配准矩阵mc5与参考配准矩阵mcr相乘，即可完成配准，其他图像帧与第一参考帧也可以通过同样的方式，基于同样的原理进行配准。获得第一配准集合，其中，第一配准集合指的是初次配准后的第二图像帧集合中每个图像帧与第一参考帧分别配准，得到的包括多个与第一参考帧配准之后的图像帧的集合。
117.上述是以第一参考帧为目标参考帧进行说明，下面以第二参考帧为目标参考帧进行说明。
118.当确定第二参考帧为目标参考帧时，初次配准后的第一图像帧集合中的图像帧和第一参考帧需要分别与第二参考帧进行配准，得到配准矩阵，将该配准矩阵记为参考配准矩阵mcr，然后将第一图像帧集合中每个图像帧与第一参考帧配准的到的配准矩阵与参考配准矩阵相乘即可，例如，图像帧1与第一参考帧进行配准可以为配准矩阵mc1与参考配准矩阵mcr相乘，即可完成配准，其他图像帧与第二参考帧也可以通过同样的方式，基于同样的原理进行配准。获得第二配准集合，其中，第二配准集合指的是初次配准后的第一图像帧集合中每个图像帧与第二参考帧分别配准，得到包括多个与第二参考帧配准之后的图像帧的集合，第二配准集合也可以叫目标配准集合。
119.本技术实施例中提供的这种通过配准矩阵相乘的方法可以减少配准的次数，节省时间。
120.本技术实施例不具体限定电子设备将目标参考帧和其他图像帧进行配准处理的方式，本领域技术人员可以根据实际需要，例如考虑算法的效率等选择其他方式对目标参考帧和其他图像帧进行配准处理，以获得配准结果。
121.s404：从配准图像帧集合中筛选出可用帧。
122.电子设备可以将配准图像帧集合中与目标参考帧差异程度满足预设标准的图像帧确定为可用帧。其中，配准图像帧集合可以包括第一配准集合和第二配准集合。
123.进一步的，可以将第一配准集合或第二配准集合中的图像帧分别与目标参考帧做比较，获得多个比较结果，将小于阈值的比较结果对应的图像帧确定为可用帧，其中，阈值也可以叫第二比例阈值。为了便于理解，下面以第二参考帧为目标参考帧为例进行介绍。
124.在一些实施例中，当电子设备确定第二参考帧为目标参考帧时，由于第二图像帧集合中的图像帧与第二参考帧是触发同一次拍照事件获得的，所以图像帧之间差异较小，可以将初次配准后的第二图像帧集合中的全部图像帧作为可用帧，然后从第二配准集合中筛选出可用帧，具体的，需要将第二配准集合中的图像帧分别与第二参考帧，也就是目标参
考帧进行差异像素点比较，通过逐像素的方法可以获取每个图像帧和第二参考帧中的像素点，进而分别比较每个图像帧和第二参考帧像素值，统计每个图像帧中像素值差异大于第一比例阈值的差异像素点，然后再比较每张图像帧中差异像素点在该张图像帧所有像素点中的比例，获得多个比例结果，也可以叫第一比例结果，可以确定多个比例结果中差异像素点比例小于第二比例阈值的图像帧为可用帧，反之则为不可用帧，其中，第一比例阈值也可以为20%，第二比例阈值可以为10%，当然也可以根据实际需求来设置。
125.下面以配准后的图像帧1为例，预先设置第一比例阈值为20%，第二比例阈值为10%，通过逐像素的方法可以获取配准后的图像帧1和第二参考帧中的所有像素点，进而可以比较两个图像帧的像素值，统计配准后的图像帧1和第二参考帧中像素值差异大于第一比例阈值20%的差异像素点，然后比较差异像素点在配准后的图像帧1中所有像素点中的比例，例如为8%，可以确定比例小于第二比例阈值10%，可以确定配准后的图像帧1为可用帧，可以通过同样的方法，确定出第二配准集合中的可用帧。需要说明的是，这里只是举例并不对第一比例阈值为和第二比例阈值的值做限定。
126.当电子设备确定第一参考帧为目标参考帧，本领域技术人员可以基于类似原理，筛选出第二配准集合中的可用帧。
127.需要说明的是，以上示例中是以电子设备从配准后的图像帧集合中筛选出可用帧为例，在另一些实施例中，电子设备也可以从对目标对象进行多次拍照所得的图像帧集合，先确定目标参考帧，然后再将该图像帧集合中与该目标参考帧差异程度满足预设标准的图像帧确定为可用帧。具体过程与上述从配准后的图像帧集合中筛选出可用帧类似，此处不再赘述。
128.在一些实施例中，在上述筛选可用帧的基础上，为了确定筛选出的可用帧的是清晰可用的图像帧，还可以进一步的，对可用帧的清晰度进行判断，具体的，当确定筛选出的可用帧的清晰度高于清晰度阈值，则可以最终确定为可用帧，当确定筛选出的可用帧的清晰度低于清晰度阈值，则可以仍然确定为不可用帧。
129.s405：将筛选出的可用帧进行多帧融合，输出融合图像帧。
130.在一些实施例中，电子设备可以将筛选出的可用帧进行多帧融合，输出融合图像帧。
131.为了使得输出的融合图像帧更加清晰，在一些实施例中，还可以将可用帧与目标参考帧进行融合，输出融合图像帧。
132.进一步的，当电子设备确定第一参考帧为目标参考帧，可以将初次配准后的第一图像帧集合中的图像帧、从第一配准集合中筛选出的可用帧以及第一参考帧进行融合，输出融合图像帧。
133.在一些实施例中，当电子设备确定第二参考帧为目标参考帧，可以将初次配准后的第二图像帧集合中的图像帧、从第二配准集合中筛选出的可用帧以及第二参考帧进行融合，输出融合图像帧。
134.本技术实施例提供的方法，首先判断是否满足预设的处理条件，当确定满足预设的处理条件，可以获取对目标对象进行多次拍摄所得的图像帧集合，例如可以包括第一图像帧集合和第二图像帧集合，进而可以确定第一图像帧集合和第二图像帧集合中的目标参考帧，然后把第一图像帧集合中和第二图像帧集合中的图像帧分别与目标参考帧进行配
准，可以获得配准图像帧集合，可以包括第一配准集合或第二配准集合以及目标参考帧所在的配准后的图像帧集合，然后可以从第一配准集合或第二配准集合中筛选出与目标参考帧比较所得的差异像素点比例小于第二比例阈值的图像帧作为可用帧，最后将筛选出的可用帧、目标参考帧所在的配准后的图像帧集合中的图像帧以及目标参考帧进行多帧融合，输出融合图像帧，这样本技术中的方法可以从与目标参考帧配准后的图像帧中筛选出可用帧，这样在不改变每张照片出帧数量的情况下，增加了可用帧的数量，从而可以使输出的融合图像帧更加清晰。
135.本技术实施例还提供了一种计算机存储介质，包括计算机指令，当所述计算机指令在移动终端上运行时，使得所述电子设备执如上述实施例中任一项所述的方法。
136.本技术实施例还提供了一种计算机程序产品，包括指令；当所述指令被电子设备运行时，使得所述电子设备执如上述实施例中任一项所述的方法。
137.本实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）或处理器执行各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
138.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何在本技术揭露的技术范围内的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。