多相机捕获后图像处理方法、系统和媒体与流程

多相机捕获后图像处理方法、系统和媒体
1.本技术是申请日为2018年7月2日、申请号为201880052458.8、发明名称为“多相机捕获后图像处理方法和系统”的发明专利申请的分案申请。
技术领域
2.本发明尤其涉及重新编制场景的数字图像。


背景技术：

3.移动装置通常包含用于使场景成像的相机。相机包含光学组合件，光学组合件具有镜头及光圈，光学组合件将光从场景引导至图像传感器上。图像传感器测量经聚焦光，且处理器将测量保存为图像文件。
4.光学组合件的配置确定来自场景的光如何聚焦至图像传感器上。举例来说，光学组合件的配置确定图像的(a)视场及(b)变焦级别。视场涉及图像中捕获的场景区域的量。变焦级别涉及经捕获场景区域的质量。
5.举例来说，用户可拍摄城市地平线的全景图像及地平线中的特定建筑物的远焦图像。假定两种图像皆具有相等分辨率，那么全景图像将具有宽视场，因此展示许多不同建筑物，但全景图像将具有低变焦级别，使得不存在许多不同建筑物的特定细节(例如窗户)。与此对比，远焦图像将具有窄视场，因此可能仅展示单一建筑物，但远焦图像将处于高变焦级别，使得存在单一建筑物的特定细节(例如窗户)。
6.在某些情况下，用户可能希望捕获后重新编制视场及/或变焦级别。举例来说，在拍摄全景图像之后，用户可能希望查看特定建筑物的细节。或，在拍摄远焦图像之后，用户可能希望查看相邻建筑物。


技术实现要素：

7.揭示一种用于成像处理的方法。所述方法可包含：响应于第一命令而存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素且具有第一视场；响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素且具有第二视场；接收改变所述第一图像的视场的第二命令；基于所述第二命令编辑所述第一图像；以及存储经编辑图像，所述经编辑图像具有第三视场并且包括基于所述第一像素和所述第二像素的像素。
8.揭示一种处理系统，所述处理系统可包含存储器和耦合到该存储器的一个或多个处理器。一个或多个处理器经配置以：响应于第一命令而存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素且具有第一视场；响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素且具有第二视场；接收改变所述第一图像的视场的第二命令；基于所述第二命令编辑所述第一图像；以及存储经编辑图像，所述经编辑图像具有第三视场并且包括基于所述第一像素和所述第二像素的像素。
9.揭示一种非暂时性计算机可读媒体。所述媒体可包含程序代码，当由一个或多个
处理器执行时，所述程序代码使得一个或多个处理器执行操作，所述程序代码包括用于以下操作的代码：响应于第一命令，存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素且具有第一视场；响应于所述第一命令，存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素且具有第二视场；接收改变所述第一图像的视场的第二命令；基于第二命令编辑第一图像；和存储所述经编辑图像，所述经编辑图像具有第三视场并且包括基于第一像素和第二像素的像素。
10.根据本公开的实施例，揭示一种用于成像处理的方法。所述方法可包含：响应于第一命令而存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素；响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素；响应于所述第一命令而存储所述场景的第一用户编制图像，所述第一用户编制图像包括从以下各者中的至少一者导出的第一用户编制像素：(a)所述第一像素，及(b)所述第二像素。
11.所述方法可包含：接收编辑所述第一用户编制图像的第二命令；编辑所述第一用户编制图像；将所述经编辑第一用户编制图像保存为第二用户编制图像。
12.所述方法可包含将所述第一用户编制图像及所述第二用户编制图像保存为元数据。在存取所述元数据后，就可显现所述第一用户编制图像及/或可显现所述第二用户编制图像。
13.显现所述第一用户编制图像可包含从所述第一及/或第二像素重新导出所述第一用户编制像素。显现所述第二用户编制图像可包含从所述第一像素及/或所述第二像素重新导出所述第二用户编制像素。所述元数据可将所述第一用户编制图像映射至所述第一及/或第二图像。所述元数据可将所述第二用户编制图像映射至所述第一图像及/或所述第二图像。
14.根据所述方法，所述第一用户编制图像及所述第二用户编制图像可具有相同视场及变焦级别。在此状况下，所述第一用户编制图像是从所述第一图像而非所述第二图像导出。归因于应用于所述第二用户编制图像的相片效果，所述第二用户编制图像可从所述第一及第二图像两者导出。
15.所述方法可包含呈现所述第一用户编制图像的缩略图。所述缩略图可为所述第一用户编制图像的取样缩小样本，且响应于所述第一命令而自动地出现。所述第一命令可由单一捕获命令组成。所述第二用户编制图像的缩略图可响应于所述保存所述经编辑第一用户编制图像而自动地替换所述第一用户编制图像的所述缩略图。
16.揭示一种处理系统，所述处理系统可包含一或多个处理器，其经配置以执行所述方法。揭示一种非暂时性计算机可读媒体。所述媒体可包含程序代码，所述程序代码在由一或多个处理器执行时致使所述一或多个处理器执行操作。所述程序代码可包含用于执行所述方法的代码。
17.揭示一种处理系统。所述处理系统可包含一或多个处理器，其经配置以进行以下操作：响应于第一命令而存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素；响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素；响应于所述第一命令而存储所述场景的第一用户编制图像，所述第一用户编制图像包括从以下各者中的至少一者导出的第一用户编制像素：(a)所述第一像素，及(b)所述第二像素。
18.所述一或多个处理器可经配置以进行以下操作：接收编辑所述第一用户编制图像的第二命令；编辑所述第一用户编制图像；将所述经编辑第一用户编制图像保存为第二用户编制图像。
19.揭示一种处理系统。所述处理系统可包含：用于响应于第一命令而存储由第一相机捕获的场景的第一图像的装置，所述第一图像包括第一像素；用于响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像的装置，所述第二图像包括第二像素；用于响应于所述第一命令而存储所述场景的第一用户编制图像的装置，所述第一用户编制图像包括从以下各者中的至少一者导出的第一用户编制像素：(a)所述第一像素，及(b)所述第二像素。
20.所述处理系统可进一步包含：用于接收编辑所述第一用户编制图像的第二命令的装置；用于编辑所述第一用户编制图像的装置；用于将所述经编辑第一用户编制图像保存为第二用户编制图像的装置。
21.揭示一种非暂时性计算机可读媒体。所述媒体可包含程序代码，所述程序代码在由一或多个处理器执行时致使所述一或多个处理器执行操作。所述程序代码可包含用于进行以下操作的代码：响应于第一命令而存储由第一相机捕获的场景的第一图像，所述第一图像包括第一像素；响应于所述第一命令而存储由第二相机捕获的所述场景的第二图像，所述第二图像包括第二像素；响应于所述第一命令而存储所述场景的第一用户编制图像，所述第一用户编制图像包括从以下各者中的至少一者导出的第一用户编制像素：(a)所述第一像素，及(b)所述第二像素。
22.所述程序代码可包含用于进行以下操作的代码：接收编辑所述第一用户编制图像的第二命令；编辑所述第一用户编制图像；将所述经编辑第一用户编制图像保存为第二用户编制图像。
附图说明
23.为了清楚地及简易地阅读，一些图省略了某些特征的视图。除非另有明确陈述，否则图式未按比例绘制。
24.图1为移动装置的示意性前视平面图及场景的示意性图示。
25.图2为移动装置的示意性后视平面图。
26.图3包含下部部分及上部部分。下部部分为移动装置的第一及第二相机的示意性俯视平面图。上部部分为第一相机的第一视场及第二相机的第二视场的示意性前视平面图。
27.图4为电子文件的框图。
28.图5至8为用户编制图像的视图。
29.图9为实例方法的框图。
30.图10为呈现缩略图的移动装置的示意性前视平面图。
31.图10a为移动装置的示意性前视平面图且以虚线指示工作室区。
32.图11为实例方法的框图。
33.图12为根据第一坐标系统的视角的第一图像的示意图。
34.图13为根据第二坐标系统的视角的第二图像的示意图。
35.图14为根据全局坐标系统的视角的用户编制图像的示意图。
36.图15为实例方法的框图。
37.图16为电子文件的框图。
38.图16a展示经分割用户编制视频。
39.图17为处理系统的框图。
具体实施方式
40.第1部分
41.虽然可以各种形式体现本文中所描述的特征、方法、装置及系统，但在图式中展示且在下文描述一些示范性及非限制性实施例。本文中所描述的特征可为任选的。实施方案相比于所论述的实例可包含更多、不同或更少的特征。
42.运用说明性实例描述主题。本发明并不限于这些实例。可对本发明进行改变及修改而不脱离其精神。权利要求书意图包括这些改变及修改。
43.第2部分
44.图1及2分别展示移动装置100的前部及背部，移动装置100可包含主体或外部框架101、显示器102、一或多个物理按钮103，及相机群组104，相机群组104包含第一相机105及第二相机106。尽管图2展示第一相机105直接在第二相机106侧面，但此布置(如本技术案中所揭示的全部特征)仅是示范性的。第一相机105相对于第二相机106可具有任何位置。第一及第二相机105、106可安置于单独移动装置上。第一及第二相机105、106可位于移动装置100的任何部分(例如前部、背部、侧)上。
45.移动装置100可经配置以进入取景器模式。在处于取景器模式时，移动装置100可呈现虚拟按钮107至109及取景器区110。按钮107可控制哪一相机群组104在活动(例如按钮“f”用于正面拍摄相机群组104(为了清楚起见而未展示)且按钮“b”用于图2所展示的背置自拍或后置自拍相机群组104)。
46.按钮108，有时在本文中被称作“相机按钮108”，可控制取景器区110是否展示由第一相机105(按钮“1”)或第二相机106(按钮“2”)捕获的图像。相机按钮108可因此控制相机群组104的哪一相机105、106在活动，这在下文予以进一步论述。捕获按钮109可致使移动装置100捕获场景10的一或多个图像。
47.尽管取景器区110被展示为占据显示器102的部分，但取景器区110可与显示器102同延。在处于取景器模式时，选定相机群组104的至少一个相机可连续地使场景10成像(例如捕获场景10)。这些图像可呈现于取景器区110中以提供至少一个相机的视图的样本。当用户按下捕获按钮109时，移动装置100可致使相机群组104正式地将场景10的一或多个图像保存于存储器(例如非易失性存储器)中。
48.参考图1至3，第一相机105可具有较宽视角a11，从而产生较宽视场11；且第二相机106可具有较窄视角a21，从而产生较窄视场21。因此，第一相机105可具有较小光学变焦，而第二相机106可具有较大光学变焦。视场11、21可具有任何纵横比。纵横比可相同或不同。图1展示移动装置100在取景器区110中呈现第二相机106的窄视场21。
49.根据一些实例，移动装置10可经配置使得较宽视场11完全地围封较窄视场21。第一相机105相比于第二相机106可具有较低光学变焦。尽管视场11及21已被描述为“较宽”及“较窄”，但视场11及21可具有多种不同关系，如下文所论述。根据其它实例，视场11、21可大小相同且相异。
50.图1绘示由第一相机105捕获的场景10的图像可如何不同于由第二相机106捕获的场景10的图像。在第一相机105的较宽视场11的情况下，第一相机105可同时地捕获场景对象a、b及c。归因于第一相机105的较低光学变焦，第一相机105可能不能够分辨场景对象a、b及c的一些细节。举例来说，如果场景对象b为树，那么第一相机105可能不能够分辨树的个别树叶的轮廓。
51.在第二相机106的较窄视场21的情况下，第二相机106相比于第一相机105可捕获场景10的较少二维区域。在图1的实例中，较窄视场21包含场景对象b，但不包含场景对象a或c。归因于第二相机106的较高光学变焦，第二相机106相比于第一相机105可分辨经捕获二维区域的更多细节。举例来说，且如果场景对象b为树，那么第二相机106可能能够分辨个别树叶的轮廓。
52.根据一些实例，第一相机105配备有广角镜头，且第二相机106配备有摄远镜头。然而，此布置仅仅是示范性的。在其它实例中，第一相机105及第二相机106两者皆配备有摄远镜头，但第一相机105的光学变焦被设定为低于第二相机106的光学变焦。根据一些实例，第一相机105及第二相机106皆未配备有广角或摄远镜头。
53.因为第一及第二相机105、106各自具有独特优势及劣势，所以移动装置100可经配置以指示第一相机105及第二相机106两者皆捕获场景10。举例来说，当用户按下捕获按钮109时，移动装置100可致使第一相机105捕获视场11作为第一图像411，且致使第二相机106同时地捕获视场21作为第二图像421。如本文中所使用，“同时地”意指“大致上同时地”，且包含第一相机105略微在第二相机106捕获视场21之前/略微在第二相机106捕获视场21之后(例如在第二相机106捕获视场21之前/之后的0.5秒或更少)捕获视场11的状况。
54.第3部分
55.图4为移动装置100可准备的数字文件400的框图。数字文件400可包含由第一相机105捕获的第一图像411、由第二相机106捕获的第二图像421、用户编制图像431、经显示图像441、校准451、映图461，及历史471。
56.第一图像411可为由第一相机105捕获的全分辨率图像。第一图像411可具有等于视场11的第一视场412，及对应于第一相机105的光学变焦的第一变焦级别423。第一图像411可应用第一坐标系统。
57.第二图像421可为由第二相机106捕获的全分辨率图像。第二图像421可具有等于视场21的第二视场422，及对应于第二相机106的光学变焦的第二变焦级别423。第二图像421可应用第二坐标系统。
58.第一视场412可完全地围封第二视场422。替代地，第一视场412可仅与第二视场422的部分重叠。第一变焦级别423可低于第二变焦级别423。根据一些实例，第一及第二图像411、421已预空间上及预光度上对准。
59.用户编制图像431可为第一图像411的样本、第二图像421的样本，及第一图像411的样本与第二图像412的样本的组合。如本文中所使用，术语“样本”传达源。举例来说，如果第一图像411被全局地取样1:1，那么用户编制图像431可等效于第一图像411。
60.用户编制图像431可从第一图像411导出，从第二图像421导出，及从第一及第二图
像411、421两者导出。
61.图像像素可从样本导出。导出可考量对样本的调整。举例来说，如果从第一图像411取样一百万个像素，那么所述一百万个经取样像素可被调整(例如光度上对准)且插入至用户编制图像431中。在此状况下，用户编制图像431将包含从第一图像411导出(例如从第一图像411的样本导出)的像素。在一些实例中，经导出像素的数目可相同于经取样像素的数目。导出可不包含调整。因此，经导出像素可等于经取样像素。在一些实例中，经导出像素的数目可小于经取样像素的数目。
62.用户编制图像431可具有用户编制视场432及用户编制变焦级别433。用户编制视场432可等于第一视场412、第二视场422，或任何其它用户选定视场。用户编制变焦级别433可等于第一变焦级别413、第二变焦级别423，或任何其它用户选定级别。用户编制图像433可应用下文所论述的全局坐标系统g。
63.用户编制图像431可反映用户在捕获时选择的任何相片效果。相片效果的实例包含色移、景深(例如焦外成像(bokeh)效果)，及平均化效果。举例来说，平均化效果可平均化两个不同图像(例如第一图像411及第二图像421)中的像素的全部或选定群组的颜色通道值。景深(例如焦外成像)效果可依赖于第一图像411中的像素及第二图像421中的像素的颜色通道值。
64.移动装置100可将后处理效果(例如重新编制)应用于用户编制图像431，而非第一图像411及第二图像421。因此，移动装置100可保留存在于第一及第二图像411、421中的原始源数据。移动装置100可经配置以最初将用户编制图像431设定为等于由活动相机捕获的图像加用户在捕获时选择的任何相片效果。
65.第一及第二图像411、412可分别具有下文所论述的本机第一及第二坐标系统。可应用全局坐标系统g以比较第一图像411、第一视场412及第一变焦级别413与第二图像421、第二视场422及第二变焦级别423。图2及3展示向量d将第一相机105与第二相机106分离。因而，从第一坐标系统至全局坐标系统g的变换可为非线性的，且从第二坐标系统至全局坐标系统g的变换可为非线性的。
66.根据一些实例，全局坐标系统g为经纠正坐标系统。当本技术案提到存取第一图像411及第二图像421的特征时，此存取可经由全局坐标系统g、第一坐标系统或第二坐标系统而执行。
67.举例来说，如果移动装置100存取第一视场412，那么移动装置100可经由第一坐标系统或全局坐标系统g存取第一视场412。如果移动装置100存取第二变焦级别423，那么此存取可经由第一坐标系统或全局坐标系统g而进行。如果移动装置100从第一图像411导出像素，那么这些像素可经由全局坐标系统g而导出。
68.全局坐标系统g可等效于第一坐标系统或第二坐标系统。替代地，全局坐标系统g可变换(线性地或非线性地)至第一坐标系统，及变换(线性地或非线性地)至第二坐标系统。
69.经显示图像441可为呈现于移动装置显示器102上的视图。经显示图像441可依赖于从源(例如第一图像411、第二图像421、用户编制图像431)导出的像素。经显示图像441可具有经显示视场442及经显示变焦级别443。经显示图像441可应用全局坐标系统g。
70.因为经显示图像441可具有等于工作室区601(下文所论述)的预定分辨率，所以经
显示变焦级别443可随经显示视场442及预定分辨率而变。
71.映图461可使移动装置100能够将第一图像411的特征及第二图像421的特征变换至全局坐标系统g。移动装置100可运用第一图像411、第二图像421及校准451生成映图461。
72.第4部分
73.图5至8描绘用户编制图像431的实例重新编制。经重新编制用户编制图像431也被称作经重新编制图像431。如图5所展示，第一用户编制图像431a等于第二图像421，其中用户编制视场432等于第二视场422，且用户编制变焦级别433等于第二变焦级别423。
74.图6展示第二用户编制图像431b(即，第一经重新编制图像)。区域601与第一视场412重叠，但不与第二视场422重叠。因此，移动装置100运用从第一图像411导出的像素填充区域601。如果用户编制变焦级别433超过第一变焦级别413，那么第一图像411可能不能够供应足够的像素以填充区域601。在此状况下，移动装置100可内插以填满剩余像素。内插可依赖于从第一图像411导出的像素及从第二图像421导出的像素。
75.区域602与第一及第二视场412、422两者相交(即，重叠)。因此，移动装置100可取决于用户编制变焦级别433而运用从第一图像411或第二图像421导出的像素填充区域602。为了使区域602能够具有与第一用户编制图像431a相同的视场及变焦级别，移动装置100可使能够动态地调整用户编制图像433的纵横比。
76.图7展示第三用户编制图像431c(即，经两次重新编制图像)。用户编制变焦级别433超过第一变焦级别413，而用户编制视场432等于第一视场412。因此，第三用户编制图像431c相比于第一图像411具有较大分辨率。
77.区域701与第一视场412重叠，但不与第二视场422重叠。因此，移动装置100从第一图像411取样用于区域701的像素。如上文所陈述，如本文中所使用，术语取样可包含1:1取样。因此，移动装置100可运用从一块第一图像411导出的全部像素填充区域701。
78.区域702与第一及第二视场412、422重叠。移动装置100可通过取样第一图像411或第二图像421将像素供应至区域702。移动装置100可通过比较用户编制变焦级别433与第一变焦级别413及第二变焦级别423而在取样第一图像411或第二图像421之间选择。为了填满区域701的任何未经填充像素，移动装置100可内插从第一图像411及第二图像421导出的像素。
79.参考图8，第四用户编制图像431d包含区域801，但不包含区域802。用户编制变焦级别433等于第一变焦级别413。因此，移动装置100可运用来自一块第一图像411的像素(例如经1:1导出像素)填充区域801。用户编制视场432不同于第一视场412，因此产生经调整纵横比。图8进一步展示场景对象d(从其它视图省略)，其已经由景深(例如焦外成像)相片效果而模糊。
80.因为可在重新编制期间保留第一及第二图像411、421的原始数据，所以移动装置100使能够在第一至第四用户编制图像431a至431d之间按任何次序重新编制。举例来说，用户可在第四用户编制图像431d处开始，重新编制至第二用户编制图像431b，重新编制至第一用户编制图像431a，接着以第三用户编制图像431c结束。
81.为了重新编制用户编制图像431，移动装置100可通过存取用户编制图像431且基于经存取用户编制图像431呈现经显示图像441而开始。经显示图像441可从用户编制图像431导出(例如取样)。
82.用户可操纵经显示图像441(例如平移、变焦、应用相片效果)。随着用户操纵经显示图像441，移动装置100可基于第一图像411及第二图像421重新显现经显示图像441。在用户完成操纵经显示图像441之后，移动装置100可基于操纵的净效应重新编制用户编制图像431。移动装置100可将用户编制图像431设定为等于经重新编制图像。然而，移动装置100可保留原始用户编制图像(例如作为元数据或作为传统图像文件(例如jpeg))。
83.因此，当用户重新存取用户编制图像431时，移动装置100可默认为呈现从经重新编制用户编制图像导出的经显示图像441，而非原始用户编制图像。然而，移动装置100可使用户能够还原至原始用户编制图像。
84.因此，移动装置100的实例使能够动态地重新编制用户编制图像431，而不要求用户正式地存取或查看第一图像411或第二图像421。这是因为可在幕后自动地存取及导出移动装置100提取第一图像411及/或第二图像421所需要的任何数据。
85.此外，移动装置100的实例使用户能够以用户编制图像431作为开始点而重新编制。作为第一实例，且参考图6，设想到，用户意图使用户编制图像431包含全部场景对象a，但造成产生第二用户编制图像431b的错误。代替从草稿开始(例如在第一用户编制图像431a处开始)，用户可打开第二用户编制图像431b且从第二用户编制图像431b的初始条件开始重新编制。
86.作为第二实例，且参考图8，设想到，用户意图使用户编制图像431缺少任何相片效果，但造成产生第四用户编制图像431d的错误。代替从草稿开始(例如在第一用户编制图像431a处开始，重新编制视场以匹配于第四用户编制图像431d，及重新编制变焦级别以匹配于第四用户编制图像431d)，用户可在第四用户编制图像431d处开始，且指示移动装置100移除景深效果。
87.作为响应，移动装置100可保持第四用户编制图像431d的视场及变焦级别，基于经保持的视场及变焦级别从第一及/或第二图像411、421导出像素，且运用经导出像素填充经重新编制图像。
88.第5部分
89.根据一些实例，移动装置100根据图9所展示的一系列发起操作(也被称为编制方法或发起方法)为用户编制图像选择像素源。
90.在框902处，移动装置100可比较用户编制视场432与第一视场412及第二视场422。在框904处，移动装置100可将用户编制视场432分割成第一及第二区域。第一区域(例如图7的区域701)与第一视场412重叠，但不与第二视场422重叠。第二区域与第一视场412及第二视场422重叠(例如图7的区域702)。
91.在框906处，移动装置100可选择用于取样对应于第一区域的一块第一视场412的取样密度。移动装置100可通过比较第一变焦级别413与用户编制变焦级别433选择取样密度。
92.如果第一变焦级别413≤用户编制变焦级别433，那么移动装置100可将取样密度设定为1:1，使得取样所述一块第一图像411中的每一像素。否则，且根据一些实例，移动装置100仅取样所述一块第一图像411中的一些像素。以小于1:1比率的取样被称为取样缩小或按比例缩小。在框908处，移动装置100取样第一图像411且运用从样本导出的像素填充第一区域。
93.在框910处，移动装置100可比较用户选定变焦级别433与预定及用户可选择值k，其中第一变焦级别413≤k≤第二变焦级别423。如果用户选定变焦级别433≤k，那么移动装置100可在框912处为对应于第二区域的一块第一视场412选择取样密度。如果用户选定变焦级别433》k，那么移动装置100可在框916处为对应于第二区域的一块第二视场422选择取样密度。
94.在框912处，移动装置100可通过比较第一变焦级别413与用户编制变焦级别433选择取样密度。如果第一变焦级别413≤用户编制变焦级别433，那么移动装置100可将取样密度设定为1:1，使得取样所述一块第一图像411中的每一像素。否则，移动装置100可仅取样所述一块第一图像411中的一些像素。在框914处，移动装置100可取样第一图像411且运用从样本导出的像素填充第二区域。
95.在框916处，移动装置100可通过比较第二变焦级别423与用户编制变焦级别433选择取样密度。如果第一变焦级别423≤用户编制变焦级别433，那么移动装置100可将取样密度设定为1:1，使得取样所述一块第二图像421中的每一像素。否则，移动装置100可仅取样所述一块第一图像421中的一些像素。在框914处，移动装置100可取样第二图像421且运用样本填充第二区域。
96.如果在框908、914及918(在适当时被执行)结束之后用户编制图像431缺少像素，那么可从经填充像素内插缺失像素的值。
97.第6部分
98.移动装置100可提供图库模式。在打开图库模式后，且如图10所展示，移动装置100就可向用户呈现多个图像缩略图1001。每一缩略图1001可为不同用户编制图像431的预览(例如样本)。
99.当用户选择(例如点击)缩略图1001时，移动装置100可存取与缩略图相关联的图像且进入工作室模式。在工作室模式期间，经存取图像或其取样缩小样本可呈现于工作室区1010(其可与取景器区110同延)中。
100.工作室模式可包含多个用户可选择子模式，包含：(a)重新编制查看器模式、(b)非重新编制查看器模式(也被称为锚定模式)、(c)用户编制视场重新编制模式、(d)用户编制变焦重新编制模式，及(e)相片效果重新编制模式。移动装置100可使用户能够经由一或多个虚拟按钮在各模式之间动态地切换。
101.重新编制可调整用户编制图像431(如上文所论述)及/或经显示图像441。重新编制可为用户交互(例如放大、缩小、平移、应用相片效果)的结果。重新编制可包含编制。
102.在重新编制期间，且如上文参考图9所论述，可运用从第二图像421导出的像素编制从第一图像411导出的像素。如果移动装置100被触摸启用，那么重新编制可为触摸响应性的(例如捏合以向外变焦，分离两个手指以向内变焦，轻扫单一手指以平移)。如果移动装置100被非触摸启用，那么重新编制可运用合适的输入装置(例如鼠标、键盘)而进行。
103.最初，用户编制图像431可等于由活动相机捕获的图像。如上文所论述，用户可应用相机按钮108以将第一相机105或第二相机106指定为“活动”，且取景器区110中的预览可由活动相机发起。因此，且根据此实例，如果用户在第二相机106被指定为活动时按下捕获按钮109，那么用户编制图像431将最初被设定为等于第二图像421。
104.在进入工作室模式后，移动装置100就可自动地呈现经显示图像441，其中经显示
视场442等于用户编制视场432。移动装置100可自动地对工作室区1010调整大小以适应经显示视场442的纵横比。
105.第6a部分
106.经显示图像441可开始，其中经显示视场442等于用户编制视场443。在重新编制查看器模式期间，可直接从第一图像411及第二图像421取样经显示图像441的像素，而不参考用户编制图像431。根据一些实例，在重新编制查看器模式期间，第一图像411、第二图像421或用户编制图像431可不发生改变。
107.随着用户平移或变焦，重新编制查看器模式可应用图9的上述像素发起(在需要时，包含内插)，但应用经显示变焦级别443而非用户编制变焦级别433除外。
108.第6b部分
109.锚定模式使用户能够与特定图像交互(例如平移、变焦)，而无自动重新编制。在锚定模式期间，用户可选择用户编制图像431、第一图像411，或第二图像421。锚定模式可默认至用户编制图像431。
110.根据一些实例，锚定模式致使移动装置100供应具有从仅单一图像(例如第一图像411、第二图像421，或用户编制图像431)取样的像素的经显示图像441。根据一些实例，在锚定模式期间，第一图像411、第二图像421或用户编制图像431不发生改变。
111.在处于锚定模式时，移动装置100可比较经显示变焦级别443与源图像变焦级别。所述比较可确定取样是否涉及取样缩小或1:1取样。如果经显示变焦级别443超过源图像变焦级别，那么移动装置100可内插经取样像素。
112.第6c部分
113.根据一些实例，视场重新编制(field of view recomposition；fovr)模式使用户能够调整用户编制视场432，而不影响用户编制变焦级别433。在处于fovr模式时，可根据针对重新编制查看器模式所论述的技术发起及呈现经显示图像441。
114.在处于fovr模式时，用户可单击自动地将用户编制视场432设定为等于经显示视场442的虚拟按钮。替代地，用户可在图像的所要部分周围绘制几何形状(例如矩形)。此后，移动装置100可将用户编制视场432设定为等于安置于所述几何形状中的经显示视场442的部分。移动装置100可将几何形状限制为矩形(例如正方形)。
115.第6d部分
116.根据一些实例，变焦级别重新编制(level of zoom recomposition；lozr)模式使用户能够调整用户编制变焦级别433，而不影响用户编制视场432。在处于lozr模式时，可根据针对重新编制查看器模式所论述的技术发起及呈现经显示图像441。移动装置100可经配置以防止用户在lozr模式期间平移至目前用户编制视场432外部。
117.为了设定用户编制变焦级别433，用户可单击自动地将用户编制变焦级别433设定为等于经显示变焦级别443的虚拟按钮。替代地，用户可输入值。如果用户选择输入值，那么移动装置100可呈现输入窗口，其列出第一及第二变焦级别413、423两者，连同当前用户编制变焦级别433。
118.第6e部分
119.在重新编制时，用户可将一或多个相片效果应用于用户编制图像431。相片效果的一个实例为景深(例如焦外成像)效果。为了模拟景深效果，移动装置100可应用第一及第二
图像411、421以构造立体深度映图。另一实例为色移效果(例如将每一像素的红色值增大10％)。另一实例为平均化效果，其平均化遍及两个图像的像素的颜色通道。
120.在用户选择存在于用户编制图像431中的项目(例如b)之后，移动装置100可估计选定项目的景深范围，且使在经估计景深范围外部的项目模糊。
121.当用户选择在第二视场422外部的项目(例如c)时，移动装置100可应用一维及非立体技术以建构深度映图且估计深度范围。因此，移动装置100可针对第一及第二图像411、421两者中捕获的项目应用第一景深技术，且可针对仅在第一图像411中捕获的项目应用第二景深技术。
122.相片效果重新编制模式使用户能够移除先前应用的相片效果。举例来说，且参考图8，用户可能希望移除所应用的景深(例如焦外成像)效果，所述效果引起场景对象d失真。为此，移动装置100可重新生成用户编制图像431。
123.更具体地说，移动装置100可存取用户编制视场432及用户编制变焦级别433，接着运用从第一图像411及第二图像412导出的像素重新生成用户编制图像431。重新生成可依赖于参考图9所论述的发起操作(包含内插)。
124.根据此实例，第一及第二图像411、412缺少相片效果。因此，经重新生成用户编制图像431将不包含不当的景深效果，但将维持所要的用户编制视场432及变焦级别433。在从用户编制图像431移除不当的相片效果之后，用户可应用新且不同的相片效果。
125.在用户已将相片效果应用于用户编制图像431之后，其它模式可继续应用所述相片效果。举例来说，在重新编制查看器模式期间，可在呈现各种经显示图像441时维持所述相片效果。下文进一步论述用于维持一或多个所应用相片效果的技术。
126.第7部分
127.图11展示建构及重新编制用户编制图像431的实例方法。所述方法包含一系列操作。移动装置100可经配置以执行这些操作中的一些或全部。
128.在框1102处，移动装置100进入取景器模式。在框1104处，用户选择相机群组104。在框1106处，用户从选定相机群组104选择活动相机。在框1108处，移动装置100在取景器区110中呈现来自活动相机的视图。为此，移动装置100可运用活动相机(而非非活动相机)捕获图像且在取景器区110中呈现图像。在呈现之后，移动装置100可丢弃这些经捕获图像。
129.在框1110处，用户可按下捕获按钮109。作为响应，移动装置100可同时地(例如大致上同时地，如上文所论述)运用第一及第二相机105、106(即，活动相机及非活动相机)两者捕获场景10。在框1112处，移动装置100可加载校准451。在框1114处，移动装置100可将用户编制图像431设定为等于由活动相机拍摄的图像。
130.在框1116处，移动装置100可将第一图像411、第二图像421、用户编制图像431、校准451及历史471(下文进一步所论述)组合成包装。包装可为单一离散文件。包装可为zip文件、具有媒体图片对象扩展名的jpeg容器，及其类似者。校准451、映图461及历史471可作为例如jpeg应用程序标头或图像元数据而包含于包装中。历史471可包含注明用户编制图像431的身份标识的第一条目(例如条目一：用户编制图像431＝第一图像411)。
131.在框1118处，移动装置100可将缩略图1001添加至图像图库。缩略图1001可为用户编制图像431的预览(例如样本、裁剪、导出)。在框1120处，用户可单击(例如点击)缩略图1001。在框1122处，移动装置100可呈现经显示图像441，其中经显示视场442等于用户编制
视场432。框1122可默认至非重新编制查看器模式。框1122可包含图15的操作，如下文进一步所论述。
132.在框1124处，移动装置100可确定包装包含还是缺少映图461。如果包装缺少映图461，那么移动装置100可执行框1124及1126。如果包装包含映图461，那么移动装置100可跳至框1128。
133.在可与框1122并行地发生的框1124处，移动装置100可基于第一图像411、第二图像421及校准451生成映图461。下文进一步所论述的映图461可包含使第一图像411中的像素及第二图像421中的像素与全局坐标系统相关的一或多个映图(例如变换)。映图461可用于空间对准及/或光度(例如颜色、强度)对准。在框1126处，移动装置100可将映图461添加至包装。包装可为zip文件、具有媒体图片对象扩展名的jpeg容器，及其类似者。
134.在框1128处，用户可使用本技术案中所论述的技术中的任一者重新编制用户编制图像431及/或经显示图像441，所述技术包含图9的发起操作(包含内插)。因此，在框1128处，用户可从非重新编制查看器模式切换至其它模式中的任一者(例如重新编制查看器模式、视场重新编制模式、变焦级别重新编制模式、相片效果重新编制模式)。
135.在框1130处，用户可指示移动装置(例如经由虚拟按钮)保存经重新编制用户编制图像431。在框1132处，移动装置100可将条目添加至历史471(下文所论述)。
136.在框1134处，移动装置100可在包装中重写用户编制图像431以反映经重新编制用户编制图像431。在框1136处，移动装置100可更新缩略图以反映经重新编制用户编制图像431(例如取样经重新编制用户编制图像431)。
137.在框1136之后，且如果用户退出图库模式，那么移动装置100可在框1120处开始。如果用户保持于图库模式，那么移动装置100可在框1122处开始。根据一些实例，缩略图1001不被更新直到用户退出图库模式。
138.第8部分
139.校准451可包含以下各者中的一些或全部：(a)第一相机105与第二相机106之间的向量d(参见图3)、(b)第一相机105的自动聚焦位置(如果第一相机105能够自动聚焦)、(c)第二相机106的自动聚焦位置(如果第二相机106能够自动聚焦)，及相关于对准第一图像411与第二图像421的任何其它数据。
140.用于对准图像与相交视场的技术在所属领域中为我们所知。nash等人的美国公开案第2017/0024846号尤其揭示这些技术的实例。根据一些实例，未经变换的第一图像411中具有关键项目(例如边缘、亮度、颜色)的像素与未经变换的第二图像421中具有对应关键项目的像素匹配。
141.在这些像素已匹配之后，移动装置100可内插(即，估计)以确定具有非关键项目的像素应如何匹配。可运用一系列已知技术识别关键项目及对应关键项目，所述技术包含平方差总和技术、拉普拉斯高斯(laplacian of gaussian)技术、汉森(hessian)行列式技术，及其类似者。
142.根据一些实例，针对未经变换的第一图像411及未经变换的第二图像412中的每一像素计算相同的通道与跨通道水平及竖直颜色梯度。针对每一像素计算以下各者的加权平均值：(a)相同的通道与跨通道水平颜色梯度，及(b)相同的通道与跨通道竖直颜色梯度。
143.每一像素的加权平均值表示针对每一像素的边缘方向。将未经变换的第二图像
412中的像素分组成小群集，且确定针对每一小群集的平均边缘方向。接着比较针对第二图像412的每一小群集的平均边缘方向与针对第一图像411的选定中心区域中的每一像素的边缘方向。根据平方差总和技术的一个实例，未经变换的第一图像411的群集及选定中心区域被迭代直到平方差总和降至低于预定阈值。
144.运用此技术(或另一技术)，移动装置100可确定未经变换的第一图像411中的哪些像素与第二视场422相交。可接着将这些相交(也被称为重叠)像素中的每一者映射至第二图像421中的一或多个像素的群集。此动作之后，移动装置100可准备一或多个全局坐标系统g，连同一或多个变换函数g(x)及g-1(x)，其在全局坐标系统g与第一及第二图像411、421之间转换。根据一些实例，全局坐标系统g被设定为第一图像411的坐标系统(即，第一坐标系统)。
145.映图461可包含经由一或多个平移、缩放、旋转及/或变形而空间上对准第一坐标系统、第二坐标系统及/或全局坐标系统g的一或多个变换。映图461可进一步包含光度上将未经变换的第一图像411相对于第二图像421及/或全局坐标系统g对准(例如通过均衡颜色、强度及对比度)的一或多个变换。
146.图12应用第一坐标系统，且图13应用第二坐标系统。因此，参考图12及13所论述的特征(例如视场、变焦级别)可为未经变换的(即，不根据全局坐标系统g的视角表达)。
147.图12将第一图像411展示为第一像素1201的矩阵。每一第一像素1201可具有三维颜色向量(例如红色值、绿色值及蓝色值)。为了清楚起见，仅绘示一些第一像素1201，尤其是第一图像像素群集1211a、1211b及1211c中的那些像素。第一图像像素群集1211a及1211b中的第一像素1201在第二视场422外部，且因此不与第二图像421中的第二像素1301相交。第一图像像素群集1211c中的第一像素1201在第三视场422内部，且因此确实与第二图像421中的第二像素1301相交。
148.图13将第二图像421展示为第二像素1301的矩阵。每一第二像素1301可具有三维颜色向量，如上文所描述。为了清楚起见，仅绘示一些第二像素1301，尤其是第二图像像素群集1311a、1311b中的那些像素。
149.如先前所论述，映图461可使一或多个第二像素1301的群集与每一相交第一像素1201(例如安置于第二视场422内部的每一第一像素1201)相关。根据此实例，第二像素群集1311a映射至第一像素1201a，且第二像素群集1311b映射至第一像素1201b。映图461因此指示第一像素1201a的视场与第二像素群集1311a同延。
150.因为第二变焦级别423超过第一变焦级别413，所以相比于第一像素1201，视场映射至更多的第二像素1301。如图13所展示，第二像素群集1311a、1311b可为非矩形。实际上，第二像素群集1311a、1311b可具有如通过对准过程所确定的任何形状。
151.在第二视场外部的第一像素1201(例如第一群集1211a及1211b中的第一像素1201)可被标记为非相交。每一相交第一像素1201可与对应于关联第二像素群集的二维区域链接。
152.举例来说，第一像素1201a具有第一坐标(m,n)。第一像素1201可映射至围绕第二像素群组1311a的周界绘制的形状。此处，所述周界将由第二坐标中表达的以下片段(例如向量)表示：(0,0)-(2,0)；(2,0)-(2,2)；(2,2)-(1,2)；(1,2)-(0,3)；(0,3)-(0,0)。
153.映图461使能够在重新编制过程期间运用第二像素1301编制第一像素1201。根据
一些实例，移动装置100基于映图461生成用户编制图像431及经显示图像441。
154.举例来说，且参考图12，第一经显示视场442a可在第一坐标系统中被表达为：(0,0)-(m-1,0)；(m-1,0)-(m-1,n-1)；(m-1,n-1)-(0,n-1)；(0,n-1)-(0,0)。在确定第一经显示视场442a如何映射至第一图像411之后，移动装置100可确定第一经显示视场442a中的任何第一像素1201是否相交(即，重叠)。移动装置100可应用此信息以显现经显示图像441，如参考图9所论述。
155.图12展示第二经显示视场442b，其现在包含第一像素群集1211c。相对于第二经显示视场442b，第一像素群集1211c中的仅第一像素1201重叠。因此，第二经显示视场442b可被划分成两个部分：涵盖非重叠第一像素1201的第一部分，及涵盖重叠第一像素1211c的第二部分。
156.移动装置100可应用此信息以显现经显示图像441，如参考图9所论述。如果从第二图像421取样，那么移动装置100可应用映图461以确定哪些第二像素1301对应于第二经显示视场442b的相交部分。
157.随着用户重新编制用户编制图像431及/或经显示图像441，移动装置100可重新编制映射。举例来说，设想到，用户希望从第二用户编制图像431b(图6)重新编制至第一用户编制图像431a(图5)。在存取第三用户编制图像431c后，移动装置100就可将第二用户编制图像431b映射至第一及第二图像411、421。
158.更具体地说，移动装置100可将第二用户编制视场432b映射至第一及第二图像411、421，接着应用图9的发起技术以运用从第一及第二图像411、421导出的像素填充第二用户编制视场432b。当用户停留于第一用户编制图像431a的第一视场432a时，移动装置100可重新编制映射，接着重新应用图9的发起技术以运用从第一及第二图像411、421导出的像素填充第一用户编制视场431a。
159.代替确定第一用户编制视场432如何从草稿映射至第一及第二图像411、421，移动装置100可记录产生第一用户编制视场432a的用户操纵、净计用户操纵，且将第一用户编制视场设定为等于第二用户编制视场432b加净操纵。
160.举例来说，设想到，第一用户编制视场431a表示从第二用户编制视场432a的一千单位向右平移(例如全局坐标系统g的单位)。如果用户向右平移两千单位，接着向左平移一千单位，那么净操纵将为向右平移一千单位。移动装置100可接着通过将一千单位与第二用户编制视场432b的x轴坐标相加而计算第一用户编制视场432a。
161.第9部分
162.如先前所论述，第一及第二图像411、421可各自被存储为矩阵，其中矩阵中的每一单元包含三维颜色向量。矩阵可进一步经由有损或无损压缩而以压缩形式被存储。即使在压缩的情况下，矩阵仍可消耗大量存储器。
163.映图461使用户编制图像441能够被无损地存储为参考矩阵。当以此方式被存储时，用户编制图像441可具有与第一图像411及/或第二图像412相同的显现后分辨率，但消耗小于1/10的存储空间(且在一些状况下小于1/100的存储空间)。
164.在存取参考矩阵后，移动装置100就可通过重新取样第一图像411及第二图像421动态地计算个别像素的颜色向量。此后，移动装置100可创建用户编制图像441的临时副本(例如在易失性存储器上)。在用户退出图库模式之后，移动装置100可从存储器清除临时副
本。
165.图14展示被临时存储为三维向量的二维矩阵(即，呈非参考矩阵形式)的实例用户编制图像431x。用户编制图像431x具有用户编制视场432x及用户编制变焦级别433x。用户编制视场432x包含第一区域1401及第二区域1402。边界1403分离所述两个区域。
166.第二区域1402与第一视场412及第二视场422两者相交。第一区域1401仅与第一视场412相交。因而，移动装置100在第一区域1401中具有仅从第一图像411导出的像素。移动装置100已应用图9的上述发起操作以确定第二区域1402中的像素应从第一图像411还是第二图像421发起。
167.在图14的实例中，用户编制变焦级别433x为第二变焦级别423。因而，第二区域1402中的像素已从第二图像421导出。黑色点指示经导出像素。因为用户编制变焦级别433x超过第一变焦级别413，所以第一区域1401中仅一些像素是从第一图像411导出。这些像素被加点。
168.第一区域1401中的剩余未加点像素是基于相邻像素中的颜色值而内插(如参考图9的发起操作所论述)。举例来说，像素1404的颜色向量可能已基于像素1405、1406及1407中的颜色向量而内插。像素1408的颜色向量可能已基于像素1409至1412中的颜色向量而内插。
169.用户编制图像431可被存储为参考矩阵(例如元数据)。参考矩阵可包含：(a)用户编制视场的全局坐标；(b)用户编制变焦级别的值；(c)后处理效果的身份标识及坐标；(d)特定全局坐标系统的身份标识，这是因为映图461可包含多个全局坐标系统；(e)第一图像411的身份标识；及(f)第二图像421的身份标识。
170.因为移动装置100可应用第一及第二图像411、421以重新显现用户编制图像431，所以参考矩阵可表示第一图像411与第二图像421的叠加，加任何后处理效果。
171.假设g(x,y)为从唯一坐标系统y(例如第一或第二坐标系统)至全局坐标系统g的非线性变换。g(x,y)可包含纠正。因此，g(第一图像411，第一坐标系统)可执行移位、弯曲，及/或用以在全局坐标系统g中放置第一图像411的移位。相似地，g(第二图像421，第二坐标系统)可执行移位、弯曲，及/或用以在全局坐标系统g中放置第一图像421的移位。
172.根据一些实例，第一图像411的坐标系统(即，第一坐标系统)用作全局坐标系统，使得：g(第一图像411，第一坐标系统)＝第一坐标系统中的第一图像411。
173.用户编制视场432可依据全局坐标系统被存储。假设矩阵m为坐标(例如点或向量)的矩阵，其依据全局坐标系统表达用户编制视场432：矩阵，其依据全局坐标系统表达用户编制视场432：根据此实例，每一(x,y)坐标对表示用户编制视场432的角落。根据另一实例，每一坐标对可表示标记用户编制视场432的外部边界的二维向量。在图14的实例中，矩阵
174.假设g-1
(x,y)为从全局坐标系统至唯一坐标系统y(例如第一或第二坐标系统)的非线性变换。因此，g-1
(m，第一坐标系统)将用户编制视场432变换成第一坐标系统。相似地，g-1
(m，第二坐标系统)将用户编制视场432变换成第二坐标系统。映图461可包含g及g-1
两者。
175.因而，移动装置100可从参考矩阵rm重新显现任何特定用户编制图像431：rm＝(m，
用户编制变焦级别433，相片效果)。如上文所论述，参考可进一步包含全局坐标系统的身份标识、第一图像411的身份标识(例如文件名称)，及第二图像的身份标识(例如文件名称)。
176.图15为用于应用参考矩阵的一系列操作(例如方法)的示范性框图。图15的操作可在图11的框期间发生。
177.框1502至1512可在图11的框1122期间发生。在框1502处，移动装置100可存取用户编制图像431的参考矩阵。在存取参考矩阵后，移动装置100就可在框1504处将坐标m反变换-1至第一坐标系统及第二坐标系统。g-1
(m，第一坐标系统)将用户编制视场432放置于第一坐标中。g-1
(m，第二坐标系统)将用户编制视场432放置于第二坐标中。
178.在图14的实例中，第一区域1401在第二视场422外部。因此，g-1
(区域1401，第二坐标系统)可返回空值，而g-1
(区域1402，第二坐标系统)依据第二坐标系统表达区域1402。
179.在框1506处，移动装置100可应用图9的发起操作(其在需要时包含内插以填满缺失像素)。在框1508处，移动装置100可应用参考矩阵rm中列出的相片效果以生成用户编制图像431的最终阶段。所列出的相片效果中的每一者可为列出为应用相片效果所需要的任何初始条件(例如相片效果的种类、相片效果的二维坐标、相片效果的程度)的矩阵。
180.在框1510处，移动装置100可临时将用户编制图像431的经显现副本保存于存储器(例如易失性存储器)中作为三维颜色向量的二维矩阵。在框1512处，移动装置100可使用上述技术基于临时保存的用户编制图像431呈现经显示图像441。
181.参考图11，且在框1128处，移动装置100可取决于选定模式而重新编制用户编制图像431及/或经显示图像441。为了呈现经显示图像441，移动装置100可依赖于临时保存的用户编制图像431。在框1134处，移动装置100可擦除临时存储的用户编制图像431。当重写用户编制图像431x时，移动装置100可生成新参考矩阵。
182.根据一些实例，移动装置100可保留多个参考矩阵且因此未必在框1134处执行重写。参考以下表格，用户编制图像431的每一重新编制可作为新条目存储于历史471中(未展示每一参考矩阵的其它可能特征，例如全局坐标系统g的身份标识)：
[0183][0184]
因此，代替独立于历史471而存储用户编制图像431，如图4所展示，可将用户编制图像431作为最近条目(在此状况下为条目编号n)存储于历史471中。移动装置100可包含用以呈现历史471且使用户能够选择任何条目编号以将用户编制图像431还原至先前布局的选项。移动装置100可包含用以显现历史471中的任何条目以具有运用三维颜色向量而填充的单元的二维矩阵的选项。
[0185]
移动装置100可包含使能够由移动装置100上的其它程序(例如电子邮件程序、文
本消息程序)存取用户编制图像431的api。当经由api调用用户编制图像431时，移动装置100可自动地显现用户编制图像431且将经显现副本供应至请求程序。
[0186]
第10部分
[0187]
图16展示包含第一视频1611、第二视频1621、用户编制视频1631、校准1651及映图1661的视频包装1601。第一视频1611可包含多个第一帧1612，其各自可为不同的第一图像411。第二视频1621可包含多个第二帧1622，其各自可为不同的第二图像421。用户编制视频可包含多个用户编制帧1632，其各自可为不同的用户编制图像431。
[0188]
映图1661可包含多个不同映图，其各自应用于第一视频1611的一或多个帧、第二视频1621的一或多个帧，及用户编制视频1631的一或多个帧。映图1661可运用校准1651而构造，如先前关于映图461及校准451所论述。
[0189]
如图16a所展示，移动装置100可使能够进行用户编制视频成为多个片段1601的用户选定分割。此处，用户已将用户编制视频1631分割成第一、第二及第三片段1631a、1631b及1631c。每一片段的长度及片段的总数目可为用户可选择的。
[0190]
移动装置100可使用户能够针对每一片段独立地选择用户编制视场、用户编制变焦级别及一或多个相片效果。替代地，移动装置100可使用户能够针对每一片段独立地选择用户编制视场及一或多个相片效果，且接着自动地应用变焦级别。由此使移动装置100能够将用户编制视频1631的每一帧维持于均一分辨率。
[0191]
移动装置100可将用户编制视频1631存储为具有多个条目的表格。下文展示实例表格：
[0192][0193]
每一条目编号可对应于用户编制视频1631的帧。每一条目可包含帧参考矩阵，其具有以下项目：(a)用户编制视场；(b)用户编制变焦级别；(c)一或多个相片效果；(d)全局坐标变换函数(及反全局坐标变换函数—未展示)；(e)第一视频1611的参考帧及第二视频1621的参考帧。
[0194]
项目(a)、(b)及(c)可如上文参考图14及15所描述而运作。关于项目(d)，每一用户编制帧可与不同全局变换函数g(x)相关联，且因此与不同反全局变换函数g-1(x)相关联。项目(e)及(f)描述在显现特定用户编制帧时参考第一及第二视频1611、1621的哪些帧。尽管每一对项目(e)及(f)在上述表格中具有相同值，但其它实例可针对每一对项目(e)及(f)具有不同值。这在第一及第二视频具有不同帧速率的情况下将是有利的。
[0195]
为了播放用户编制视频1631，移动装置100可呈现多个经显示帧。每一经显示帧可以经显示图像441可基于用户编制图像431而显现的相同方式基于对应用户编制帧而显现。
[0196]
移动装置100可经配置以将用户编制视频1631显现成已知视频格式(例如avi格式)。当外部程序(例如电子邮件程序、文本消息程序)经由上述api调用用户编制视频1631时，api可自动地将用户编制视频1631显现成典型视频格式。典型视频格式可将每一帧存储为单元的二维矩阵，每一单元对应于不同像素，且每一单元具有三维颜色向量。典型视频格
式可存储这些帧的经压缩版本。通过将视频1631存储为多个条目，这与传统格式相对，移动装置100可节约存储空间。
[0197]
第11部分
[0198]
移动装置100可为智能电话、平板计算机、数字相机或膝上型计算机。移动装置100可为装置、装置(例如an或)，或装置(例如surface 电话、或桌上型计算机)。移动装置100可表示非移动装置，例如载具，或桌上型计算机(例如计算机服务器)。
[0199]
如图17所展示，移动装置100可包含处理系统1700。处理系统1700可包含一或多个处理器1701、存储器1702、一或多个输入/输出装置1703、一或多个传感器1704、一或多个用户接口1705、一或多个电动机/致动器1706，及一或多个数据总线1707。
[0200]
处理器1701可包含一或多个相异处理器，其各自具有一或多个核心。所述相异处理器中的每一者可具有相同或不同结构。处理器1701可包含一或多个中央处理单元(central processing unit；cpu)、一或多个图形处理单元(graphics processing unit；gpu)、专用集成电路(application specific integrated circuit；asic)、数字信号处理器(digital signal processor；dsp)，及其类似者。
[0201]
处理器1701经配置以至少在相异处理器中的一或多者中的一者能够执行代码时执行特定功能或操作，所述代码存储于体现所述功能或操作的存储器1702上。处理器1701可经配置以执行本文中所揭示的任何及全部功能、方法及操作。
[0202]
存储器1702可包含易失性存储器、非易失性存储器，及能够存储数据的任何其它媒体。易失性存储器、非易失性存储器及任何其它类型的存储器中的每一者可包含多个不同存储器装置，其位于多个相异部位处且各自具有不同结构。
[0203]
存储器1702的实例包含非暂时性计算机可读媒体，例如ram、rom、快闪存储器、eeprom、例如dvd的任何种类的光学存储磁盘、光盘、磁性存储装置、全息存储装置、hdd、ssd，可用以存储呈指令或数据结构形式的程序代码的任何媒体，及其类似者。本技术案中所描述的任何及全部方法、功能及操作可完全地以保存于存储器1702中的有形及/或非暂时性机器可读代码的形式予以体现。
[0204]
输入-输出装置1703可包含用于运输数据的任何组件，例如端口及车载信息系统。输入-输出装置1703可使能够经由以太网及其类似者进行有线通信。输入-输出装置1703可使能够与合适存储器1703进行电子、光学、磁性及全息通信。输入-输出装置可使能够经由输出装置可使能够经由蜂窝技术(例如)、gps及其类似者进行无线通信。
[0205]
传感器1704可捕获环境的物理测量，且将所述物理测量报告至处理器1701。传感器1704可包含第一相机105及第二相机106。第一相机105及第二相机106中的每一者可包含沿着光轴而布置的一或多个镜头、一或多个光圈及一或多个光电二极管面板。一或多个光电二极管面板可捕获入射光的光度，处理器1701可将其转换成图像文件。第一相机105可包含广角镜头，且第二相机106可包含摄远镜头。
[0206]
用户接口1705可使用户能够与成像系统100交互。用户接口1705可包含显示器(例如oled触摸屏、led触摸屏)、物理按钮、扬声器、麦克风、键盘，及其类似者。用户接口1705可
包含显示器102及物理按钮103。
[0207]
电动机/致动器1706可使处理器1701能够控制机械或化学力。如果第一或第二相机105、106包含自动聚焦，那么电动机/致动器1706可沿着镜头的光轴移动镜头以提供自动聚焦。
[0208]
数据总线1707可在处理系统1700的组件之间运输数据。数据总线1707可包含印刷于衬底上或以其它方式应用于衬底的导电路径(例如逻辑板上的导电路径)、sata电缆、同轴电缆、电缆、以太网电缆、铜线，及其类似者。数据总线1707可为被安装处理器1701及易失性存储器的逻辑板的导电路径。数据总线1707可包含无线通信路径。数据总线1707可包含一系列不同连线1707(例如电缆)，处理系统1700的不同组件是经由连线1707而连接。