滑动变焦的拍摄方法及电子设备与流程

1.本技术涉及电子技术领域，尤其涉及一种滑动变焦的拍摄方法及电子设备。


背景技术：

2.在拍摄过程中，滑动变焦(又称为“推轨变焦”或者dolly zoom)是一种著名的电影拍 摄手法。滑动变焦可以实现在摄像机接近或者远离被拍摄的目标物体的同时，连续改变摄 像机的拍摄焦距，进而保证被拍摄的目标物体看起来大小没有变化，可达到突出目标物体 的效果。同时，被拍摄的目标物体所处的场景中所有其他物体都会按照透视的规则改变， 快速的滑动变焦拍摄还可以创造出一种迷失方向的感觉，增强拍摄效果。例如，连续变焦 摄像机接近目标物体时，转动镜头使焦距变小，远离目标物体时，转动镜头使焦距变大， 保证目标物体看起来大小没有变化，拍摄场景中所有其他物体都会按照透视的规则改变， 就可拍摄出滑动变焦视频。
3.随着终端技术的不断发展，拍摄功能已成为终端设备的重要特征和评价终端设备性能 的主要指标。用户在使用手机等便携式终端设备进行拍摄时，也会有滑动变焦的拍摄需求。 由于传统滑动变焦的拍摄需要镜头必须具有连续变焦的物理特性，而可连续变焦的镜头物 理尺寸和体积太大，不适合安装在手机等便携式终端设备上，因此传统滑动变焦的拍摄方 法无法在手机等便携式终端设备上实现。


技术实现要素：

4.本技术提供一种滑动变焦的拍摄方法及电子设备，该方法可以拍摄出类似于运动镜头 下前景和背景的景深深浅变化效果的视频，能够提升用户使用手机等便携式终端设备的视 频摄影专业性，提升手机视频摄影竞争力及专业应用场景的用户体验。
5.第一方面，提供了一种滑动变焦的拍摄方法，应用于电子设备，该方法包括：显示该 电子设备的视频录制界面；接收用户的第一输入操作，响应于该第一输入操作，该电子设 备在固定位置处获取第一视频，所示第一视频包括前景物体和背景物体，且在录制该第一 视频的过程中该前景物体和该背景物体之间的相对距离保持不变，其中，在该第一视频的 播放过程中，任意两个时刻的视频画面中的该前景物体的焦距倍率相同，且任意两个时刻 的视频画面中的该背景物体的焦距倍率不同。
6.一种可能的实现方式中，第一视频中任意两个时刻的视频画面具有基本相同大小的前 景物体，且该第一视频的播放过程中该背景物体相对于该前景物体运动。
7.应理解，在本技术实施例中，焦距倍率也可以称为“变焦倍率”，即在录制第一视频的 过程中，第一视频的背景画面是通过不断调整改变镜头的焦距拍摄的，而作为前景的拍摄 对象保持镜头不变的焦距拍摄的。因此，第一视频中的前景的大小不变或者基本相同，而 背景可以呈现出由远及近、或者由近及远的相对于前景物体运动的效果。
8.还应理解，第一输入操作可以是用户点击视频录制开关的操作，例如用户点击开始录 制，一段时间后再次点击该开关，结束录制视频的过程，从而获取第一视频。
9.还应理解，手机可能包含多个镜头，例如主镜头、飞行时间tof镜头、广角镜头、 长焦镜头等，每个镜头的焦距是固定的。在录制视频的过程中，手机可以根据用户的设置 和需求，利用不同的镜头获取拍摄画面，或者同时使用多个镜头辅助获取拍摄画面，本申 请实施例对此不作限定。
10.其中，tof镜头可以理解为一个单独的三维感知相机，可以生成深度图像。只有某些 模型下tof镜头才会上电打开，普通的录像模式下tof镜头为不上电的休眠状态。一般 地，tof镜头可以和手机的其他镜头进行配准，例如tof镜头和主镜头进行配准。
11.还应理解，在获取拍摄画面的过程中，手机可以自动划分该拍摄画面中的前景和背景， 本技术实施例对前景和背景的分割方式和分割算法不作限定。
12.一种可能的实现方式中，可以通过ai分割技术对拍摄画面中的前景进行分割。
13.或者，另一种可能的实现方式中，由用户在手机的屏幕上触摸(touch)操作决定， 把用户触摸区域的主体分割出来当做前景，其他区域当做背景。
14.通过上述滑动变焦的拍摄过程，在录制视频的过程中，用户的手机可以在不改变方位 的情况下，拍摄出前景物体大小基本不变，背景的不同位置以不同速度远离前景物体或者 接近前景物体的视频，呈现出运动镜头下前景和背景的景深深浅变化的拍摄效果，营造出 迷失方向的感觉，从而拍摄出类似于拍摄电影的专业效果，能够提升用户使用手机等便携 式终端设备的视频摄影专业性，提升手机视频摄影竞争力及专业应用场景的用户体验。
15.结合第一方面，在第一方面的某些实现方式中，电子设备获取该第一视频之前，该方 法还包括：接收用户的第二输入操作，响应于该第二输入操作，该电子设备启动滑动变焦 的拍摄功能。
16.示例性的，用户可以点击滑动变焦模式的开关，保持该滑动变焦模式的开关为“ok
”ꢀ
状态，即开启了手机的滑动变焦拍摄功能。
17.结合第一方面和上述实现方式，在第一方面的某些实现方式中，该方法还包括：接收 用户的第三输入操作，响应于该第三输入操作，该电子设备确定在该第一视频的播放过程 中该背景物体的焦距倍率的变化方式。
18.结合第一方面和上述实现方式，在第一方面的某些实现方式中，该背景物体的焦距倍 率的变化方式包括以下任一种方式：该背景物体的焦距倍率逐渐增大；和/或该背景物体 的焦距倍率逐渐减小；和/或该背景物体的焦距倍率先减小后增大；和/或该背景物体的焦 距倍率先增大后减小。
19.在一种可能的实现方式中，前景与背景的相互运动方向是可以根据用户的设置进行改 变的。
20.可选地，在拍摄画面中，前景的大小和位置可以保持不变，背景可以呈现由远及近的 动态靠近前景的变化效果，大小逐渐动态变大；或者背景可以呈现由近及远的动态远离前 景的变化效果，大小逐渐动态缩小；又或者，前景的大小和位置可以保持不变，背景可以 呈现先由远及近的动态靠近前景的变化效果，再呈现由近及远的动态远离前景的变化效 果；又或者，前景的大小和位置可以保持不变，背景可以呈现先由近及远的动态远离前景 的变化效果，再呈现由远及近的动态靠近前景的变化效果等，本技术实施例对前景与背景 的相互运动方向不作限定。
21.在一种可能的实现方式中，前景与背景的相互运动的速度是可以根据用户的设置进行 改变的。换言之，用户可以设置背景远离前景、或者背景靠近前景的速度，使得背景以不 同的速率远离前景、或者靠近前景，本技术实施例对前景与背景的相互运动的速度不作限 定。
22.结合第一方面和上述实现方式，在第一方面的某些实现方式中，该背景物体的焦距倍 率以第一速度的变化速率进行改变，其中，该第一速度是预设的速度，和/或该第一速度 是用户输入的速度。
23.结合第一方面和上述实现方式，在第一方面的某些实现方式中，电子设备在固定位置 处获取第一视频，包括：该电子设备在固定位置处获取当前拍摄画面的全帧图像和深度图 像，该全帧图像包括该前景物体的图像和该背景物体的图像，该深度图像包括该前景物体 和该背景物体的深度信息；根据该固定位置处的该深度图像，确定多个虚拟位置处的深度 图像；对该全帧图像进行图像分割处理，获取分割后的该前景物体的图像；对该多个虚拟 位置处的深度图像、分割后的该前景物体的图像和该全帧图像进行融合处理，得到该第一 视频。
24.结合第一方面和上述实现方式，在第一方面的某些实现方式中，电子设备包括飞行时 间tof镜头和主镜头，该电子设备在固定位置处获取当前拍摄画面的全帧图像和深度图 像，包括：该电子设备通过该主镜头获取当前拍摄画面的全帧图像，以及通过该tof镜 头获取当前拍摄画面的深度图像。
25.本技术实施例以主镜头获取拍摄画面为例，当用户在正常拍摄模式按下快门键录制视 频时，主镜头获取拍摄画面，tof镜头可以不工作为休眠状态；当用户开启了滑动变焦功 能，及当前手机为滑动变焦模式，此时tof镜头可以为工作状态，持续或者周期性的获 取拍摄画面中所有物体的深度图像。
26.可选地，本技术实施例中以tof镜头获取拍摄画面的深度图像为例，该拍摄画面的 深度图像还可以通过双目相机(或者称为双摄像头器件)来获取，本技术对获取深度图像 的方式不作限定。应理解，双目相机获取的深度图像的方式和tof镜头获取的深度图像 的远离不同，此处不再赘述。相比于双目相机，tof镜头获取的深度图像的深度信息更加 精确。
27.通过以上方法，可以将处理后的不同虚拟视点的每一帧图像连续显示，进而在用户录 制的视频中呈现出前景物体大小基本不变，背景的不同位置以不同速度远离前景物体或者 接近前景物体的动态变化效果。此外，还可以根据用户的设置前景和背景相对运动的方向、 运动速度，改变动态变化过程，丰富拍摄效果。
28.第二方面，提供了一种电子设备，包括：一个或多个处理器；存储器；安装有多个应 用程序的模块；以及一个或多个程序，其中该一个或多个程序被存储在该存储器中，当该 一个或者多个程序被该处理器执行时，使得该电子设备执行以下步骤：显示该电子设备的 视频录制界面；接收用户的第一输入操作，响应于该第一输入操作，该电子设备在固定位 置处获取第一视频，所示第一视频包括前景物体和背景物体，且在录制该第一视频的过程 中该前景物体和该背景物体之间的相对距离保持不变，其中，在该第一视频的播放过程中， 任意两个时刻的视频画面中的该前景物体的焦距倍率相同，且任意两个时刻的视频画面中 的该背景物体的焦距倍率不同。
29.结合第二方面，在第二方面的某些实现方式中，当该一个或者多个程序被该处理器执 行时，使得该电子设备执行以下步骤：接收用户的第二输入操作，响应于该第二输入操作， 该电子设备启动滑动变焦的拍摄功能。
30.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个程 序被该处理器执行时，使得该电子设备执行以下步骤：接收用户的第三输入操作，响应于 该第三输入操作，该电子设备确定在该第一视频的播放过程中该背景物体的焦距倍率的变 化方式。
31.结合第二方面和上述实现方式，在第二方面的某些实现方式中，背景物体的焦距倍率 的变化方式包括以下任一种方式：背景物体的焦距倍率逐渐增大；和/或背景物体的焦距 倍率逐渐减小；和/或背景物体的焦距倍率先减小后增大；和/或背景物体的焦距倍率先增 大后减小。
32.结合第二方面和上述实现方式，在第二方面的某些实现方式中，背景物体的焦距倍率 以第一速度的变化速率进行改变，其中，该第一速度是预设的速度，和/或该第一速度是 用户输入的速度。
33.结合第二方面和上述实现方式，在第二方面的某些实现方式中，当该一个或者多个程 序被该处理器执行时，使得该电子设备执行以下步骤：在固定位置处获取当前拍摄画面的 全帧图像和深度图像，该全帧图像包括该前景物体的图像和该背景物体的图像，该深度图 像包括该前景物体和该背景物体的深度信息；根据该固定位置处的该深度图像，确定多个 虚拟位置处的深度图像；对该全帧图像进行图像分割处理，获取分割后的该前景物体的图 像；对该多个虚拟位置处的深度图像、分割后的该前景物体的图像和该全帧图像进行融合 处理，得到该第一视频。
34.结合第二方面和上述实现方式，在第二方面的某些实现方式中，电子设备包括飞行时 间tof镜头和主镜头，该电子设备在固定位置处获取当前拍摄画面的全帧图像和深度图 像，包括：该电子设备通过该主镜头获取当前拍摄画面的全帧图像，以及通过该tof镜 头获取当前拍摄画面的深度图像。
35.第三方面，本技术提供了一种装置，该装置包含在电子设备中，该装置具有实现上述 方面及上述方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以 通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单 元。例如，显示模块或单元、检测模块或单元、处理模块或单元等。
36.第四方面，本技术提供了一种电子设备，包括：触摸显示屏，其中，触摸显示屏包括 触敏表面和显示器；飞行时间tof镜头；主镜头；一个或多个处理器；一个或多个存储 器；多个应用程序；以及一个或多个计算机程序。其中，一个或多个计算机程序被存储在 存储器中，一个或多个计算机程序包括指令。当指令被一个或多个处理器执行时，使得电 子设备执行上述任一方面任一项可能的实现中的滑动变焦的拍摄方法。
37.第五方面，本技术提供了一种电子设备，包括一个或多个处理器和一个或多个存储器。 该一个或多个存储器与一个或多个处理器耦合，一个或多个存储器用于存储计算机程序代 码，计算机程序代码包括计算机指令，当一个或多个处理器执行计算机指令时，使得电子 设备执行上述任一方面任一项可能的实现中的滑动变焦的拍摄方法。
38.第六方面，本技术提供了一种计算机可读存储介质，该计算机可读存储介质存储
有计 算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述任一方面任一项可 能的滑动变焦的拍摄方法。
39.第七方面，本技术提供了一种计算机程序产品，当计算机程序产品在电子设备上运行 时，使得电子设备执行上述任一方面任一项滑动变焦的拍摄方法。
附图说明
40.图1是本技术实施例提供的一例电子设备的结构示意图。
41.图2是本技术实施例的电子设备的软件结构框图。
42.图3是一例电子设备拍摄过程的控制结构示意图。
43.图4是本技术实施例提供的一例滑动变焦的拍摄示意图。
44.图5是本技术实施例提供的一例滑动变焦的图形用户界面示意图。
45.图6是本技术实施例提供的一例滑动变焦的示意图。
46.图7是本技术实施例提供的一例滑动变焦拍摄过程的图像处理流程图。
47.图8是本技术实施例提供的一例图像和摄像机的模型示意图。
48.图9是本技术实施例提供的一例三维空间和二维空间的变换示意图。
49.图10是本技术实施例提供的一例图像变化示意图。
50.图11是本技术实施例提供的一例图像分割处理示意图。
具体实施方式
51.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。其中， 在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b； 本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a 和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，在 本技术实施例的描述中，“多个”是指两个或多于两个。
52.以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要 性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以 明示或者隐含地包括一个或者更多个该特征。
53.本技术实施例提供的滑动变焦的拍摄方法可以应用于手机、平板电脑、可穿戴设备、 车载设备、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、笔 记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、个 人数字助理(personal digital assistant，pda)电脑、平板型电脑、膝上型电脑(laptopcomputer)、机器类型通信(machine type communication，mtc)终端设备、销售终端(pointof sales，pos)、车载电脑以及其他具有拍摄功能或者录像功能的电子设备上，本技术实 施例对电子设备的具体类型不作任何限制。
54.应理解，该电子设备安装有一个或者多个摄像头，摄像头可以称为镜头。如主镜头、 飞行时间(time of flight，tof)镜头、广角镜头、长焦镜头等，本技术实施例对镜头的形 式和数量不作限定。
55.例如，在本技术实施例中，电子设备可以安装有tof镜头或者双摄像头(dual camera) 器件。应理解，tof镜头可以在工作的时候沿着镜头方向发出一面“光墙”，当光墙
遇到物 体时会反射回相应的光线，电子设备可以通过这些光线判断物体和镜头的距离，从而更好 的实现景深数据的采集和分析功能。双摄像头器件通过两个焦距不同的摄像头，无需通过 变焦的方式就可以拍摄远近不同的物体，电子设备通过两个摄像头的共同作用，实现景深 数据的采集和分析功能。
56.示例性的，图1是本技术实施例提供的一例电子设备100的结构示意图。电子设备 100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserial bus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天 线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b， 麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像 头193，显示屏194，以及用户标识模块(subscriber identification module，sim)卡接口195 等。其中传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c， 磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感 器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m 等。
57.可以理解的是，本技术实施例示意的结构并不构成对电子设备100的具体限定。在本 申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部 件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬 件的组合实现。
58.处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器 (application processor，ap)，调制解调处理器，图形处理器(graphics processing unit，gpu)， 图像信号处理器(image signal processor，isp)，控制器，存储器，视频编解码器，数字信 号处理器(digital signal processor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个 或多个处理器中。
59.其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作 码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
60.处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器 110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，i2c)接口， 集成电路内置音频(inter-integrated circuit sound，i2s)接口，脉冲编码调制(pulse codemodulation，pcm)接口，通用异步收发传输器(universal asynchronous receiver/transmitter， uart)接口，移动产业处理器接口(mobile industry processor interface，mipi)，通用输入输 出(general-purpose input/output，gpio)接口，用户标识模块(subscriber identity module，sim) 接口，和/或通用串行总线(universal serial bus，usb)接口等。
61.其中，i2c接口是一种双向同步串行总线，处理器110可以通过i2c接口耦合触摸传 感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100 的触摸功能。mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。 mipi接口包括摄像头串行接口(camera serial interface，csi)，显示屏串行接口(display serialinterface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现 电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备 100
的显示功能。
62.可以理解的是，本技术实施例示意的各模块间的接口连接关系，只是示意性说明，并 不构成对电子设备100的结构限定。在本技术另一些实施例中，电子设备100也可以采用 上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
63.充电管理模块140用于从充电器接收充电输入。电源管理模块141用于连接电池142， 充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140 的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线 通信模块160等供电。
64.电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图 像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用 于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信 息。
65.显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液 晶显示屏(liquid crystal display，lcd)，有机发光二极管(organic light-emitting diode，oled)， 有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emittingdiode的，amoled)，柔性发光二极管(flex light-emitting diode，fled)，miniled， microled，micro-oled，量子点发光二极管(quantum dot light emitting diodes，qled)等。 在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
66.电子设备100可以通过isp，摄像头193，触摸传感器180k、视频编解码器，gpu， 显示屏194以及应用处理器等实现拍摄或者录像功能。例如本技术实施例介绍的滑动变焦 的拍摄过程。
67.其中，在本技术中，摄像头193可以包括tof镜头，或者体现为双摄像头器件。应 理解，电子设备100可以通过tof镜头或者双摄像头器件更好的实现景深数据的采集和 分析功能。应理解，本技术实施例对摄像头193的数量和形式不作限定。在一些实施例中， 电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
68.摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。 感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将 数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格 式的图像信号，应理解，本技术实施例对图像格式不作限定。
69.dsp用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例 如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
70.视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频 编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专 家组(moving picture experts group，mpeg)1，mpeg2，mpeg3，mpeg4等。
71.外部存储器接口120可以用于连接外部存储卡，例如micro sd卡，实现扩展电子设 备100的存储能力。内部存储器121可以用于存储计算机可执行程序代码，所述可执行程 序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备 100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。
72.电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳 机
接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
73.压力传感器180a用于感受压力信号，可以将压力信号转换成电信号。陀螺仪传感器 180b可以用于确定电子设备100的运动姿态。气压传感器180c用于测量气压。磁传感器 180d包括霍尔传感器。电子设备100可以利用磁传感器180d检测翻盖皮套的开合。加速 度传感器180e可检测电子设备100在各个方向上(一般为三轴)加速度的大小。距离传感 器180f，用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中， 拍摄场景，电子设备100可以利用距离传感器180f测距以实现快速对焦。接近光传感器 180g可以包括例如发光二极管(led)和光检测器，例如光电二极管。环境光传感器180l 用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮 度。环境光传感器180l也可用于拍照时自动调节白平衡。指纹传感器180h用于采集指 纹。电子设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹 接听来电等。温度传感器180j用于检测温度。触摸传感器180k，也称“触控面板”。触摸 传感器180k可以设置于显示屏194，由触摸传感器180k与显示屏194组成触摸屏，也称
ꢀ“
触控屏”。触摸传感器180k用于检测作用于其上或附近的触摸操作。骨传导传感器180m 可以获取振动信号。音频模块170可以基于所述骨传导传感器180m获取的声部振动骨块 的振动信号，解析出语音信号，实现语音功能。
74.按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。 电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键 信号输入。马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触 摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同 的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动 反馈效果。指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指 示消息，未接来电，通知等。sim卡接口195用于连接sim卡。
75.电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构， 或云架构。本技术实施例以分层架构的android系统为例，示例性说明电子设备100的软 件结构。
76.图2是本技术实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层， 每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将 android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(androidruntime)和系统库，以及内核层。
77.应用程序层可以包括一系列应用程序包。如图2所示，应用程序包可以包括相机、相 册、音乐、设置等应用程序。
78.应用程序框架层为应用程序层的应用程序提供应用编程接口(application programminginterface，api)和编程框架。应用程序框架层包括一些预先定义的函数。如图2所示，应 用程序框架层可以包括窗口管理器，内容提供器，视图系统，资源管理器，通知管理器等。
79.窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏， 锁定屏幕，截取屏幕等。
80.内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据
可以 包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
81.视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于 构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示 界面，可以包括显示文字的视图以及显示图片的视图。
82.资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件， 视频文件等等。
83.通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消 息，状态栏中显示通知信息可以短暂停留后自动消失，例如用于告知用户下载完成的消息 提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知， 例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在 状态栏提示文本信息，或者通知管理器还可以发出提示音，例如电子设备振动，指示灯闪 烁等。
84.android runtime包括核心库和虚拟机。android runtime负责安卓系统的调度和管理。 核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
85.应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架 层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程 管理，安全和异常的管理，以及垃圾回收等功能。
86.系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(medialibraries)，三维图形处理库(例如：opengl es)，2d图形引擎(例如：sgl)等。
87.表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2d和3d图层 的融合。
88.媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可 以支持多种音视频编码格式，例如:mpeg4，h.264，mp3，aac，amr，jpg，png等。
89.三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。2d图形 引擎是2d绘图的绘图引擎。
90.内核层是硬件和软件之间的层。其中，内核层可以包含硬件驱动模块，例如显示驱动， 摄像头驱动、传感器驱动等，应用程序框架层可以调用内核层的硬件驱动模块。
91.在本技术实施例介绍的滑动变焦的拍摄过程中，用户打开相机应用，图2中应用程序 层的相机应用启动录像功能，并向内核层发送指令，以调动内核层的摄像头驱动，传感器 驱动和显示驱动，使得电子设备可以启动摄像头或镜头采集图像。在摄像头采集图像过程 中，光线通过摄像头被传递到图像传感器，图像传感器针对光信号进行光电转换，转化为 用户肉眼可见的图像。输出的图像数据以数据流的形式传递给图2中的系统库，由三维图 形处理库和图像处理库实现绘图、图像渲染、合成和图层处理等，生成显示图层；由表面 管理器将显示图层进行融合处理等，传递给应用程序框架层的内容提供器、窗口管理器和 视图系统，控制显示界面的显示。最终，该预览图像显示在相机应用的图像预览区域或者 电子设备的显示屏上。
92.为了便于理解，本技术以下实施例将以具有图1和图2所示结构的电子设备为例，介 绍电子设备的滑动变焦的拍摄过程。
93.图3是一例电子设备拍摄过程的控制结构示意图，该控制结构300包括镜头310、图 像传感器320和图像信号处理(image signal processing，isp)模块330。
94.其中，镜头310可以对应于图1中电子设备100的摄像头193，用于获取图像。示例 性的，摄像头193可以体现为一个或多个不同的镜头，如主镜头、tof镜头、广角镜头、 长焦镜头等，本技术实施例对镜头的形式和数量不作限定。在本技术实施例中，以电子设 备具有tof镜头为例，介绍电子设备滑动变焦的拍摄过程。
95.图像传感器320是一种半导体芯片，表面包含有几十万到几百万的光电二极管，受到 光照射时，会产生电荷，通过模数转换器将光信号转换成数字信号。图像传感器320可以 是电荷耦合元件(charge coupled device，ccd)，也可以是互补金属氧化物导体器件 (complementary metal-oxide semiconductor，cmos)。ccd可以使用一种高感光度的半 导体材料制成，能把光线转变成电荷，通过模数转换器芯片转换成数字信号。ccd由许 多感光单位组成，通常以百万像素为单位。当ccd表面受到光线照射时，每个感光单位 会将电荷反映在组件上，所有的感光单位所产生的信号加在一起，就构成了一幅完整的画 面，即将光学图像转化为原始图像。在一些实施例中，图像传感器320也可以称为感光芯 片、感光元件等。
96.isp模块330可以处理原始图像，通过一系列复杂的数学算法运算，对数字图像信号 进行优化处理，最后把处理后的信号传到电子设备的显示器上，即显示图像。isp模块330 可以对应体现为单独的图像处理芯片或数字信号处理芯片(digital signal processing，dsp)， 或者isp模块330可以是对应于图1中示出的电子设备100中的处理器110的功能模块， 可以包括逻辑部分以及运行在其上的固件程序(firmware)，以实现将感光芯片获得的数 据及时快速地传递给处理器110并刷新感光芯片。此外，isp模块330还可以对图像的噪 点、亮度、肤色进行算法优化，以及对拍摄场景的曝光参数、色温等参数进行优化。
97.具体地，在拍摄过程中，用户打开相机，光线通过镜头310被传递到图像传感器320 上，换言之，镜头310可以将环境光信号投射到图像传感器320的感光区域后，图像传感 器320经过光电转换，转化为肉眼可见的图像。再将内部原始图像(bayer格式)传送给 isp模块330，isp模块330经过算法处理，输出rgb空间域的图像给后端的采集单元， 显示在电子设备的图像预览区域或者电子设备的显示屏上。在这个过程中，处理器110通 过运行在其上的固件程序(firmware)对镜头310、图像传感器320和isp模块330，进行 相应控制，进而完成图像预览、拍摄或者录像功能。
98.应理解，在本技术实施例的描述中，将以电子设备的录像过程为例进行介绍。
99.示例性的，图4是本技术实施例提供的一例滑动变焦的拍摄示意图。图4中的(a) 图和(c)图为从镜头的拍摄角度看球体1和球体2、立方体3和立方体4的正面主视图， 图4中的(b)图和(d)图为镜头拍摄球体1和球体2、立方体3和立方体4的俯视图。
100.在录像过程中，如图4中的(b)图逐渐变化为(d)图的过程，随着镜头逐渐远离被 拍摄的球体和立方体，一般而言，球体和立方体是会在拍摄画面中变小的，但是滑动变焦 的视频拍摄可以实现球体1和球体2、立方体3和立方体4作为被拍摄对象保持不变的大 小，而除了被拍摄对象之外的背景继续呈现逐渐变远缩小的视觉效果。换言之，随着镜头 逐渐远离被拍摄的球体和立方体，球体1和球体2、立方体3和立方体4分别在拍摄画面 (a)图和
(c)图中的大小以及位置相同，即(a)图和(c)图具有相同的视觉效果。在 录像过程中，要实现上述拍摄效果，可以通过调整镜头和被拍摄对象之间的位置，同时改 变镜头的焦距来实现。例如在(b)图和(d)图中，镜头和作为拍摄对象的球体1和球体 2之间的距离不同，但是通过调整镜头的焦距，(b)图到(d)图的变化过程中，摄像机 逐渐远离拍摄对象同时调整焦距变大。摄像机逐渐远离拍摄对象时，物距增大背景逐渐拉 远，但是同时调整焦距变大，经过对焦的拍摄对象会逐渐增大，从而使得作为拍摄对象的 球体1和球体2、立方体3和立方体4在拍摄画面(a)图和(c)图中的大小以及位置相 同。
101.应理解，传统的滑动变焦的镜头必须具有光学连续变焦的物理特性，而光学连续变焦 的镜头物理尺寸和体积太大，不适合安装在手机等便携式电子设备上。因此，无法在手机 等便携式电子设备上拍摄出具有滑动变焦效果的视频。
102.本技术提供一种滑动变焦的拍摄方法，可以在手机等便携式电子设备上，在不改变电 子设备的镜头和被拍摄对象、被拍摄对象的背景物体之间的距离的情况下，拍摄出被拍摄 对象、被拍摄对象的背景物体之间具有运动效果的视频。
103.下面结合附图和应用场景，对本技术实施例提供的滑动变焦的拍摄方法进行具体阐 述。
104.图5是本技术实施例提供的一例滑动变焦的图形用户界面(graphical user interface， gui)的示意图。本技术将以手机作为电子设备，详细介绍滑动变焦的拍摄方法。
105.其中，图5中的(a)图示出了手机的解锁模式下，手机的屏幕显示系统显示了当前 输出的界面内容501，该界面内容501为手机的主界面。该界面内容501显示了多款应用 程序(application，app)，例如相册、设置、音乐、相机等。应理解，界面内容501还可 以包括其他更多的应用程序，本技术对此不作限定。
106.用户点击相机应用，响应于用户的点击操作，手机进入相机应用的主界面502。为了 便于描述，可以将该主界面502划分为多个区域，例如包括界面顶部的功能区域10、中 间的图像预览区域20和底部的菜单区域30，其中，每个区域可以包括多个菜单选项，用 于实现相机应用的多种不同的功能，本技术实施例对此不作限定。
107.应理解，在本技术实施例中，以相机应用的录像模式为例，因此，用户可以点击该主 界面502底部的菜单区域30的“录像”，使得相机进入录像模式，进入录像模式后，如果 用户第一次点击快门键，可以开始视频的录制，第二次点击快门键，可以暂停或者结束视 频的录制。
108.在一种可能的实现方式中，用户执行如图5中的(b)图所示的操作，点击功能区域 10的设置菜单，响应于用户的点击操作，手机进入如图5中的(c)图所示的相机设置界 面503。在该相机设置界面503上，可以包括多个菜单选项，例如分辨率设置选项、地理 位置标注选项、自动添加水印选项、人工智能(artificial intelligence，ai)运镜、辅助参 考线、拍摄静音、水平仪等选项。此外，本技术实施例在录像模式的通用设置下，添加“滑 动变焦模式”选项，用户可以通过该“滑动变焦模式”的开关开启或者关闭视频拍摄过程的 滑动变焦功能。
109.示例性的，用户执行如图5中的(c)图所示的操作，点击滑动变焦模式的开关，保 持该滑动变焦模式的开关为“ok”状态，开启手机的滑动变焦拍摄功能。当用户返回到相 机
应用的主界面，获取当前的拍摄画面，包括作为被拍摄对象的女孩和女孩的背景四棵树。
110.应理解，这里仅仅以“四棵树”为例代表该视频录制过程的背景，以女孩作为拍摄对象， 是视频录制过程的前景，背景包含的物体区分于前景物体，系统可以识别出女孩为前景， 将女孩之外的物体都确定为背景。
111.还应理解，在本技术实施例整个录制视频的过程中，视频画面中的前景物体和背景物 理之间的相对距离固定。例如图5中的(b)图中女孩和背景中的树的实际位置是不发生 变化的。此外，录制视频的手机的位置也可以为固定位置。
112.当用户点击快门键，开始录制视频。在视频画面中，女孩为被拍摄对象，可以称为“前 景”，四棵树为拍摄背景，简称为“背景”。在视频的播放过程中，在第1秒时的视频画面 如图5中的(d)图所示，在第4秒时的视频画面如图5中的(e)图所示，(d)图和(e) 图相比，作为前景的女孩大小、位置不变，而整个背景可以呈现出逐渐由近及远，且大小 变小的播放效果。
113.应理解，随着时间的推移，视频画面由(d)图逐渐动态变化为(e)图，呈现出背景 动态地远离前景的效果，从而突出前景被拍摄的女孩。
114.在一种可能的实现方式中，前景与背景的相互运动方向是可以根据用户的设置进行改 变的。
115.可选地，在拍摄画面中，前景的大小和位置可以保持不变，背景可以呈现由远及近的 动态靠近前景的变化效果，大小逐渐动态变大；或者背景可以呈现由近及远的动态远离前 景的变化效果，大小逐渐动态缩小；又或者，前景的大小和位置可以保持不变，背景可以 呈现先由远及近的动态靠近前景的变化效果，再呈现由近及远的动态远离前景的变化效 果；又或者，前景的大小和位置可以保持不变，背景可以呈现先由近及远的动态远离前景 的变化效果，再呈现由远及近的动态靠近前景的变化效果等，本技术实施例对前景与背景 的相互运动方向不作限定。
116.在一种可能的实现方式中，前景与背景的相互运动的速度是可以根据用户的设置进行 改变的。换言之，用户可以设置背景远离前景、或者背景靠近前景的速度，使得背景以不 同的速率远离前景、或者靠近前景，本技术实施例对前景与背景的相互运动的速度不作限 定。
117.示例性的，图6是本技术实施例提供的又一例开启滑动变焦功能的示意图。如图6中 的(a)图所示，在相机设置界面601上，当用户通过点击“滑动变焦模式”的开关开启手 机的滑动变焦功能之后，手机可以显示如图6中的(b)图所示的界面602。在滑动变焦 模式菜单下，可以显示“前景与背景运动方向”设置菜单和“前景与背景运动速度”设置菜 单。用户可以点击前景与背景运动方向设置菜单，响应于用户的点击操作，手机显示如图 6中的(c)图所示的界面603。在前景与背景运动方向设置菜单之下，可以包括不同选项， 例如背景远离前景、或者背景靠近前景等，或者还可以包括背景先远离再靠近前景、背景 先靠近再远离前景等，此处不再一一列举。用户可以点击任意一种方式，使得手机以该方 式实现滑动变焦的拍摄效果。
118.示例性的，如图6中的(d)图所示，在相机设置界面604上，当用户通过点击“滑动 变焦模式”的开关开启手机的滑动变焦功能之后，手机可以显示界面605。如图6中的(e) 图所示，在滑动变焦模式菜单下，用户可以点击前景与背景运动速度设置菜单，响应于用 户
的点击操作，手机显示如图6中的(f)图所示的界面606。在前景与背景运动速度设置 菜单之下，可以包括不同选项，例如高速远离前景、或者中速远离前景、或者低速远离前 景以及自定义运动速度等不同选项，用户可以点击选择任意一种速度，使得手机录制的视 频中，背景以该速度方式远离或者靠近前景，从而实现滑动变焦的拍摄效果。
119.应理解，本技术实施例列举的高速、中速、低速以及自定义速度等仅为表明前景和背 景之间不同速度的移动效果，每种速度可以对应不同的移动时间。例如，当用户开关开启 手机的滑动变焦功能之后，并如图6中的(c)图所示将前景与背景运动方向设置为“背 景远离前景”时，对于图5中(d)图，高速时按下快门键开始录像，背景的四棵树快速 地在2秒内变化至(e)图的效果；中速时按下快门键开始录像，背景的四棵树快速地在3 秒内变化至(e)图的效果；低速时按下快门键开始录像，背景的四棵树快速地在4秒内 变化至(e)图的效果，本技术实施例对不同速度的大小不作限定。
120.还应理解，本技术实施例中，用户可以通过“前景与背景运动方向”设置菜单和“前景 与背景运动速度”设置菜单进行设置，也可以仅仅按照图5中的方法开启手机的滑动变焦 功能，而前景与背景运动方向和前景与背景运动速度为系统默认的选项，或者默认为用户 前次已经选择的选项，本技术实施例对此不做限定。
121.通过上述滑动变焦的拍摄过程，在录制视频的过程中，用户的手机可以在不改变方位 的情况下，拍摄出前景物体大小基本不变，背景的不同位置以不同速度远离前景物体或者 接近前景物体的视频，呈现出运动镜头下前景和背景的景深深浅变化的拍摄效果，营造出 迷失方向的感觉，从而拍摄出类似于拍摄电影的专业效果，能够提升用户使用手机等便携 式终端设备的视频摄影专业性，提升手机视频摄影竞争力及专业应用场景的用户体验。
122.以上结合图5和图6介绍了启动滑动变焦的拍摄功能并进行拍摄的过程，下面结合图 7和图8介绍该滑动变焦拍摄的内部实现过程。
123.图7是本技术实施例提供的一例滑动变焦拍摄过程的图像处理流程图。结合图3的拍 摄过程的控制结构，该图像处理过程可以由isp模块330执行，或者由处理器110控制isp 模块330来执行，本技术实施例对此不做限定。
124.如图7所示，该方法700可以包括4个处理阶段，其中步骤701-步骤706为深度图处 理阶段，步骤707-步骤710为全图像处理阶段，步骤711-步骤714为分割处理阶段，步骤 715-步骤716为图像融合处理阶段。
125.应理解，在本技术实施例录制视频的过程中，手机所在的位置为固定位置，且视频画 面中的拍摄对象和拍摄背景的相对距离不变。以图5中的(d)图为例，作为拍摄对象的 女孩和拍摄背景中的四棵树之间的距离不变，即位置固定。本技术实施例的介绍中，以4 棵树为例作为整个视频的拍摄背景，被拍摄对象的女孩和拍摄背景中的物体的距离保持不 变。
126.还应理解，对于同一帧拍摄画面，深度图处理阶段、全图像处理阶段和分割处理阶段 可以并行，或者按照先后顺序执行，本技术实施例对此不作限定，而图像融合处理阶段发 生在深度图处理阶段、全图像处理阶段和分割处理阶段之后。具体地，该方法700包括：
127.深度图处理阶段
128.701，开始录制视频。
的都是像素坐标系(u-v)，即对图像的某一行或者某一列进行操作。像素坐标系(u-v) 不具有实际的物理意义，仅仅限于图像的操作，而在某些实际操作或者图像特征提取中， 需要进行归一化或者解释实际一个像素单位代表的物理距离或者特征信息就需要将像素 坐标系转换为图像坐标系(x-y)。
142.具体地，可以通过一下公式(1)可以实现任意一个像素在像素坐标系(u-v)和图像 坐标系(x-y)中的转换。其中，(m
u
，m
v
)为m点在像素坐标系(u-v)中的坐标，(x,y) 为物理坐标，物理坐标即为该像素点m在图像坐标系中的坐标。每个像素在x和y轴方 向上的物理尺寸为dx，dy，即dx代表一个像素点m水平方向上的物理距离(单位为mm/ 像素)，同理，dy代表一个像素点m垂直方向上的物理距离。m
u
，m
v
表示平移关系。
[0143][0144]
化成其次坐标形式可以表示为公式(2)：
[0145][0146]
在以上公式中，u和v用于表示该拍摄的第一帧图像上在像素坐标系中的两个坐标， 因此对于第一帧图像上的任意像素点m，在该像素坐标系上有唯一确定的像素坐标(u，v)。 如果已知u、v，可以根据以上的公式(1)或者公式(2)，求得x和y的值，即求得m 点的图像坐标(x，y)。同理，如果已知x、y，可以根据以上的公式(1)或者公式(2)， 求得u和v的值，即求得m点的像素坐标(u，v)，实现同一个像素点的像素坐标和图 像坐标的转换。
[0147]
摄像机坐标系(x
c-y
c-z
c
)与摄像机的成像模型紧密相关。目前大多数相机采用 的是针孔相机模型，也有其他模型的，核心关键都是焦距和成像之间的关系。
[0148]
在图8中，可以看到实际物理世界中的一点p(x
c
,y
c
,z
c
)，在摄像机平面成像为p1， 这里摄像机的成像和像素坐标系的平面重合。摄像机坐标系(x
c-y
c-z
c
)的x
c
和y
c
的 坐标方向与图像坐标系(x-y)方向相同。因此，可以将三维空间拉伸为如图9所示的二 维平面。
[0149]
图9是本技术实施例提供的一例三维空间和二维空间的变换示意图，如图9所示，通 过三角形关系我们可以很容易得到摄像机坐标系(x
c-y
c-z
c
)中的x、y、z被映射到 图像坐标系(x-y)上为(fx/z,fy/z)，可以表示如公式(3)所示。
[0150][0151]
其中，的f就是摄像机的焦距。焦距(focal length)，也称为焦长，是光学系统中衡 量光的聚集或发散的度量方式，指透镜或透镜组的光学中心至焦点的距离，也可以理解为 透镜或透镜组的光学中心至焦平面的垂直距离。从实用的角度可以理解为镜头中心至成像 平面的距离。手机的镜头为定焦镜头，其光学中心的位置是固定不变的，因此焦距固定。 例如以主镜头为例，焦距可以为35mm-70mm。
[0152]
通过公式(3)，可以将摄像机坐标系中的任意一个三维坐标变换为图像坐标系(x-y) 上的二维坐标，从而进行图像的操作处理过程。
[0153]
投影中心称为摄像机中心(例如图9中的c点)，也称为光心。摄像机中心到图像平 面的垂线称为摄像机的主轴，主轴与图像平面的交点称为主点(例如图9中的p点)，过 摄像机中心c平行于图像平面的平面称为摄像机的主平面。如果用其次矢量表示世界和图 像点，那么中心投影可以非常简单地表示成齐次坐标之间的线性映射。
[0154]
那么公式(3)可以化成矩阵形式如下公式(4)：
[0155][0156]
公式(3)假定图像平面的坐标原点在主点p上，在实际的使用过程中，p点不一定 在图像成像平面的中心，为了准确表示光轴中可能存在的偏移，引入在x和y方向上的偏 移参数，实际情况的中心投影的映射可以表示为公式(5)。
[0157][0158]
其中，(p
x
，p
y
)
t
是主点p的坐标，该方程用齐次坐标可以表示为公式(6)。
[0159][0160]
如果记作矩阵k可以称为“摄像机参数矩阵”。此外，x
c
为p点 在摄像机坐标系下的坐标，可以表示为x
c
＝(x，y，z，1)
t
。
[0161]
世界坐标系和摄像机坐标系之间可以通过旋转和平移相联系，世界坐标系到图像坐标 系的变换表示成公式(7)：
[0162]
x
c
＝rx t
ꢀꢀ
公式(7)
[0163]
其中，r为xyz三个坐标轴在世界坐标系和摄相机坐标系中的旋转关系，t表示平 移关系。
[0164]
图10是本技术实施例提供的一例图像变化示意图。如图10所示，设世界坐标系中某 一空间的齐次矢量表示为p
w
＝(x
w
，y
w
，z
w
，1)
t
，该点投影在参考视点图像平面和虚拟 视点图像平面上的像素坐标分别为p1＝(u1，v1，1)
t
和p2＝(u2，v2，1)
t
。对于参考视点图像 和虚拟视点图像的摄像机坐标系，其旋转矩阵记为r1，平移矩阵记为r2，t1＝r1c1， t2＝r2c2，λ1和λ2表示深度值。则空间点p
w
在三维空间坐标可以被表示为
[0165][0166]
又因为λ1、λ2和p1、p2具有以下公式(9)和公式(10)列举的关系：
[0167][0168][0169]
将公式(8)代入公式(10)中，我们可以得到点p
w
在虚拟视点图像上的像素坐标p2可以表示为公式(11)所示。
[0170][0171]
其中，k1代表参考摄像机的内参参数矩，k2代表虚拟摄像机的内参参数矩阵，而λ1、 λ2则分别对应于摄像机的齐次比例缩放因子，一般可以取值为深度值。c1、c2为相机拍 摄的图像的中心点的三维坐标，三维坐标可以理解为世界坐标系中的坐标，为已知的。
[0172]
应理解，公式(11)中，是warp变换前的像素坐标，是warp变换后的像素坐 标。
[0173]
综上所述，通过上述公式的逐步计算，可以得到p
w
在虚拟视点图像上的像素坐标p2， 以及可以得到p
w
在各个不同坐标系中的坐标。
[0174]
703，计算相机参数矩阵k。
[0175]
具体地，假设镜头和被拍摄对象之间的距离为2米，手机可以获取2米时第一帧图像 的tof深度图，我们将2米时镜头的焦距记作f，镜头的内参参数矩阵为k1。
[0176]
再设置虚拟视点，假设手机移动，假设虚拟视点计算拍摄画面的背景的深度图。例如 将手机虚拟往后推10cm，手机镜头与被拍摄的女孩之间的距离为2.1米，2.1米时的虚拟 焦距为f，镜头的虚拟内参参数矩阵为k2。
[0177]
可以根据得到2米时焦距为f的镜头的内参参数矩阵为k1，以及虚 拟到2.1米时焦距为f的镜头虚拟内参参数矩阵为k2。
[0178]
704，根据对拍摄画面的背景做图像变换，又称为warp变换。
[0179]
例如，根据2m时获取的第一帧图像的深度信息，假设手机移动10cm后到距离拍摄 对象的女孩为2.1m，根据2.1m的深度信息对原来2m的深度图做warp变换。具体地， 通过步骤703中的虚拟2.1m的深度信息得到了镜头虚拟内参参数矩阵为k2，根据虚拟 内参参数矩阵为k2对2m的深度图的每一像素坐标进行warp变换得到虚拟2.1m的像素 坐标，即warp变换操作可以根据公式(11)，利用虚拟相机参数矩阵k2得到warp变换 后的坐标
[0180]
示例性的，以图5中的(d)图所示，第一帧图像中的背景的四棵树，对图像中背景 包含的所有像素点的深度信息做warp变换之后，得到每个像素点的虚拟到2.1m的坐标， 呈现出第二帧图像的深度信息。依次假设手机逐渐远离被拍摄的女孩，以10cm为例，分 别得到每个像素点在虚拟到2.2m的像素点的坐标，确定出第三帧图像的深度信息；每个 像素点在虚拟到2.3m的像素点的坐标，确定出第四帧图像的深度信息；每个像素点在虚 拟到2.4m的像素点的坐标，确定出第五帧图像的深度信息；每个像素点在虚拟到2.5m 的像素点的坐
化层的前向传播等cnn的前向计算过程。其中，由cnn输入层输入一张图片(该图片可 以以像素组成的矩阵形式输入)，cnn输入层前向传播到cnn卷积层，依次经过cnn 卷积层和池化层的处理，识别出前景人像的边缘，并进行图像分割，最终输出如图11所 示的分割后的人像区域和背景区域。
[0202]
712，对分割后得到的前景图进行warp变换。
[0203]
713，获取warp变换后的前景图。
[0204]
应理解，以上步骤712可以利用warp变换后深度图和虚拟视点相机参数矩阵对前景 图进行warp变换，以更好的实现图像融合。
[0205]
图像融合处理阶段
[0206]
714，根据步骤709得到的经过图像修复之后全帧图像和步骤713得到的前景深度图 进行图像融合，并对融合的图像进行图像处理，例如边缘的平滑处理等，得到最终图像。
[0207]
715，输出最终的视频画面。
[0208]
示例性的，对于上述介绍的步骤701-步骤715的过程，结合如图5所示的拍摄画面， 本技术实施例中图像处理过程可以描述为：
[0209]
(1)步骤701：如图5中的(d)图所示，用户点击视频录制开始，在00:01由主镜 头获取当前拍摄画面的全帧图像，调用手机的tof镜头获取当前拍摄画面的深度图像， 该tof深度图像可以包含拍摄画面上所有像素点的深度信息。因为当前拍摄为滑动变焦 拍摄，因此手机的主镜头和tof镜头可以同时为工作状态。记录该全帧图像的第一帧图 像，该第一帧图像包括作为拍摄前景的女孩和拍摄背景的四棵树。
[0210]
(2)步骤702-步骤706，对第一帧图像的深度图处理阶段：
[0211]
假设手机实际距离拍摄前景的女孩为2m，焦距为f，手机主镜头的内参参数矩阵k1， 通过以上介绍的坐标系的转换确定当前拍摄画面中背景的某点像素坐标对于第一帧图 像的深度图，虚拟手机逐渐以每次10cm远离女孩，即假设手机距离拍摄前景的女孩为2.1 m时，焦距为f，手机主镜头的内参参数矩阵k2，带入以上公式(11)求得虚拟2.1m时 该点的像素坐标此时所有点的像素坐标确定出来第二帧图像的深度图；依次类推， 通过第一帧图像的深度信息得到虚拟2.2m第三帧图像的深度信息、虚拟2.3m第四帧图像 的深度信息、虚拟2.4m第五帧图像的深度信息等。
[0212]
(3)步骤707-步骤709的全帧图像处理阶段：对于步骤701中获取的第一帧图像的 全帧图像也进行虚拟视点变换，该第一帧图像的全帧图像为rgb图像，即根据焦距f、k1、 虚拟焦距f、k2和公式(11)求得虚拟2.1m时的第二帧图像的全帧图像，以此类推， 得到虚拟2.2m第三帧图像的全帧图像、虚拟2.3m第四帧图像的全帧图像、虚拟2.4m第 五帧图像的全帧图像等。
[0213]
(4)步骤710-步骤713的分割处理阶段：对于第一帧图像的全帧图像，进行分割处 理后得到前景女孩和除女孩之外的背景。应理解，为了后续的融合效果，该过程中也会对 前景女孩进行虚拟视点变换得到第二帧图像的前景女孩、第三帧图像的前景女孩、第四帧 图像的前景女孩、第五帧图像的前景女孩等，并对前景女孩进行一些边缘处理等。
[0214]
(5)步骤714-步骤715的图像融合处理阶段：将(2)中的第二帧图像的深度图和(3) 中的第二帧图像的全帧图像和(4)中第二帧图像的前景女孩进行融合得到第二帧画面； 将
(2)中的第三帧图像的深度图和(3)中的第三帧图像的全帧图像和(4)中第三帧图 像的前景女孩进行融合得到第三帧画面；以此类推，得到第四帧画面、第五帧画面等，所 有的画面连续播放就是输出的视频。
[0215]
在视频播放过程中，被拍摄画面中作为前景的女孩一直呈现的是第一帧图像分割出来 的实际镜头和女孩距离为2m处的大小，而背景四棵树是经过虚拟变换后逐渐远离镜头或 者靠近镜头的效果。如图5中的(d)图到(e)图的视频播放过程，女孩是第一帧图像中 正常距离拍摄的大小，抠图分割出来，所以在视频播放画面中女孩的大小和位置不变。背 景是不断设置虚拟视点，根据第一帧图像进行变换出远离镜头的效果，因此背景可以呈现 出逐渐变小的效果。将大小和位置不变的女孩和呈现出逐渐变小效果的背景进行叠加融 合，最终输出动态变化的视频，该视频可以呈现前景物体大小基本不变，背景的不同位置 以不同速度远离前景物体或者接近前景物体的视觉效果，同时呈现出运动镜头下前景和背 景的景深深浅变化的拍摄效果。
[0216]
通过以上方法，可以将处理后的不同虚拟视点的每一帧图像连续显示，进而在用户录 制的视频中呈现出前景物体大小基本不变，背景的不同位置以不同速度远离前景物体或者 接近前景物体的动态变化效果。此外，还可以根据用户的设置前景和背景相对运动的方向、 运动速度，改变动态变化过程，丰富拍摄效果。
[0217]
综上所述，通过本技术实施例提供的滑动变焦的拍摄方法，在录制视频的过程中，用 户的手机可以在不改变方位的情况下，拍摄出前景物体大小基本不变，背景的不同位置以 不同速度远离前景物体或者接近前景物体的视频，呈现出运动镜头下前景和背景的景深深 浅变化的拍摄效果，营造出迷失方向的感觉，从而拍摄出类似于拍摄电影的专业效果，能 够提升用户使用手机等便携式终端设备的视频摄影专业性，提升手机视频摄影竞争力及专 业应用场景的用户体验。
[0218]
可以理解的是，电子设备为了实现上述功能，其包含了执行各个功能相应的硬件和/ 或软件模块。结合本文中所公开的实施例描述的各示例的算法步骤，本技术能够以硬件或 硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方 式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以结合实施例 对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申 请的范围。
[0219]
本实施例可以根据上述方法示例对电子设备进行功能模块的划分，例如，可以对应各 个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述 集成的模块可以采用硬件的形式实现。需要说明的是，本实施例中对模块的划分是示意性 的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0220]
需要说明的是，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能 模块的功能描述，在此不再赘述。
[0221]
本实施例提供的电子设备，用于执行上述滑动变焦的拍摄方法，因此可以达到与上述 实现方法相同的效果。
[0222]
在采用集成的单元的情况下，电子设备可以包括处理模块、存储模块和通信模块。其 中，处理模块可以用于对电子设备的动作进行控制管理。存储模块可以用于支持电子设备 执行存储程序代码和数据等。通信模块，可以用于支持电子设备与其他设备的通信。
[0223]
其中，处理模块可以是处理器或控制器。其可以实现或执行结合本技术公开内容所描 述的各种示例性的逻辑方框，模块和电路。处理器也可以是实现计算功能的组合，例如包 含一个或多个微处理器组合，数字信号处理(digital signal processing，dsp)和微处理器 的组合等等。存储模块可以是存储器。通信模块具体可以为射频电路、蓝牙芯片、wi-fi 芯片等与其他电子设备交互的设备。
[0224]
在一个实施例中，当处理模块为处理器，存储模块为存储器时，本实施例所涉及的电 子设备可以为具有图1所示结构的设备。
[0225]
本实施例还提供一种计算机可读存储介质，该计算机存储介质中存储有计算机指令， 当该计算机指令在电子设备上运行时，使得电子设备执行上述相关方法步骤实现上述实施 例中的滑动变焦的拍摄方法。
[0226]
本实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使 得计算机执行上述相关步骤，以实现上述实施例中的滑动变焦的拍摄方法。
[0227]
另外，本技术的实施例还提供一种装置，这个装置具体可以是芯片，组件或模块，该 装置可包括相连的处理器和存储器；其中，存储器用于存储计算机执行指令，当装置运行 时，处理器可执行存储器存储的计算机执行指令，以使芯片执行上述各方法实施例中的滑 动变焦的拍摄方法。
[0228]
其中，本实施例提供的电子设备、计算机存储介质、计算机程序产品或芯片均用于执 行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方 法中的有益效果，此处不再赘述。
[0229]
通过以上实施方式的描述，所属领域的技术人员可以了解到，为描述的方便和简洁， 仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配 由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的 全部或者部分功能。
[0230]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它 的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块或单元的划分， 仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以 结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨 论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合 或通信连接，可以是电性，机械或其它的形式。
[0231]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件 可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同 地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0232]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各 个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既 可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0233]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存 储在一个可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对 现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现
出来， 该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯 片等)或处理器(processor)执行本技术各个实施例方法的全部或部分步骤。而前述的存 储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、随机存取存储 器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0234]
以上内容，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟 悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖 在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。