多维渲染的制作方法

多维渲染
相关申请背景的交叉参考
1.本技术要求于2019年9月30日提交的名称为“多维渲染”的美国临时申请62/907,745和于2019年11月5日提交的名称为“多维渲染”的美国发明专利申请16/674,086的优先权，其内容通过引用完整纳入本文。


背景技术：

2.当今可用的计算设备，诸如可穿戴设备，包括便携式眼戴设备(例如，智能眼镜、头戴设备和头套)；移动设备(例如，平板电脑、智能手机和笔记本电脑)；以及个人电脑，集成了图像显示器和摄像头。目前，计算设备用户可利用照片滤镜在图像上创建特效。多种照片装饰应用提供了一些工具，诸如贴纸、表情包和文字，用于编辑图像。
附图说明
3.附图旨在说明一种或多种实施方式，其旨在提供示例，不具备限制性。在附图中，相同的附图标记表示相同或相似的元素。
4.图1a是在照片滤镜(例如，多维)光场效果系统中使用的眼戴设备示例硬件配置的右侧视图，其中将来自多维(例如，右、左、上和下)的图像进行混合以实现多维渲染。
5.图1b是图1a所示眼戴设备右组块的俯视横剖面图，其示出了深度捕捉摄像头的右侧可见光摄像头和电路板。
6.图1c是图1a所示眼戴设备示例硬件配置的左视图，其示出了深度捕捉摄像头的左侧可见光摄像头。
7.图1d是图1c所示眼戴设备左组块的俯视横剖面图，其示出了深度捕捉摄像头的左侧可见光摄像头和电路板。
8.图2a是在照片滤镜(例如，多维)光场效果系统中使用的眼戴设备另一示例硬件配置的左侧视图，其示出了深度捕捉摄像头的右侧可见光摄像头和深度传感器，其用于生成深度图像。
9.图2b和2c是眼戴设备示例硬件配置的后视图，包括两种不同类型的图像显示器。
10.图3显示出图2a所示眼戴设备的后透视剖面图，其示出了深度传感器的红外摄像头、镜架前部、镜架后部和电路板。
11.图4是穿过图3所示眼戴设备红外摄像头和镜架截取的横剖面图。
12.图5示出了图2a眼戴设备的后透视图，其示出了深度传感器的红外发射器、深度传感器的红外摄像头、镜架前部、镜架后部和电路板。
13.图6是穿过图5所示眼戴设备红外发射器和镜架截取的横剖面图。
14.图7示出了由眼戴设备中深度传感器的红外发射器发射的红外光图案示例，以及由深度传感器红外摄像头所捕捉红外光发射图案的反射变化，以测量原始图像中的像素深度，进而生成深度图像。
15.图8a所示为由深度传感器的红外摄像头捕捉的红外光，作为红外图像，以及由可
见光摄像头捕捉的可见光作为原始图像，用于生成三维场景的深度图像的示例。
16.图8b所示为由左侧可见光摄像头捕捉的可见光，作为左侧原始图像，和由右侧可见光摄像头捕捉的可见光，作为右侧原始图像，以生成三维场景的深度图像的示例。
17.图8c示出了多维(例如，左、右、上和下)图像的示例。
18.图9是示例照片滤镜(例如，多维)光场效果系统的高级功能框图，该系统包括设有深度捕捉摄像头的眼戴设备，以生成用于多维渲染的艺术效果图像，以及经由各种网络连接的用户输入设备(例如，触摸传感器)、移动设备和服务器系统。
19.图10示出了图9照片滤镜(例如，多维)光场效果系统移动设备的硬件配置示例，其包括用于接收标记的用户输入设备(诸如，触摸屏设备)以及转移原始图像或经处理图像以生成滤镜效果图像的图像选择。
20.图11a示出了可在照片滤镜(例如，多维)光场效果系统中实现的方法流程图，该方法可应用于原始图像或经处理的图像，以生成照片滤镜艺术效果图像用于多维渲染。
21.图11b是用于创建艺术图像以实现多维渲染的方法的流程图。
22.图11c是多维渲染艺术图像的流程图。
23.图12a示出了首张所呈现原始图像的示例，其为经处理(例如，校正后)图像。
24.图12b示出了带用户标记的第一张所呈现原始图像的示例。
25.图12c示出了从图12a第一张所呈现原始图像创建的用于第一维度的第一张照片滤镜(例如，风格化绘画效果)图像的示例。
26.图12d示出了从图12a首张照片滤镜图像创建的用于第二维度的第二张照片滤镜(例如风格化绘画效果)图像的示例。
27.图12e示出了从图12b照片滤镜图像生成的第一张照片滤镜(例如，多维)光场效果图像的示例，其中空间移动或旋转和过渡方位向左下方倾斜。
28.图12f示出了从图12b照片滤镜图像生成的第二张照片滤镜(例如，多维)光场效果图像的示例，其中空间移动或旋转和过渡方位向右上方倾斜。
29.图13示出了照片滤镜(例如，风格化绘画效果)图像在标记区域内将风格化绘画与原始图像相混合的示例。
具体实施方式
30.这里描述的示例涉及一种渲染技术，其将来自多个维度的图像混合。将第一维度的图像(例如左图像和右图像)混合，以创建提供三维(3d)效果的立体图像。除立体图像之外，将来自至少一个其他维度的图像(例如一对上立体图像和一对下立体图像)混合，以提供过渡效果(例如，日夜之间的过渡)。
31.下文的具体实施方式通过示例阐述大量具体细节，以便对相关教义有透彻的理解。然而，对于本领域的技术人员来说应当显而易见的是，无需该等细节也可以实践相关教义。在其他情况下，为了避免不必要地模糊本教学内容的各个方面，故在相对较高的层面上描述了公知的方法、过程、组件和电路，而未详细描述。
32.本文使用的术语“照片滤镜”系指编辑、更改或改变照片或图片以变换特定像素的图形效果，其方式是通过运用诸如流行艺术的风格手法(例如，众多绘画作品，诸如andy warhol的《玛丽莲
·
梦露》以及evard munch等的《呐喊》,1893)，或采用深层神经网络(诸如
神经风格迁移算法(nst))从以下要素中学习风格：绘画、图形(例如，帽子、胡须、珠宝、相框、贴纸和图形覆盖)；肌理；光饱和；彩色曝光；颜色；锐度；主题(深褐色、戏剧性、怀旧、灰度、黑白、复古、迪斯科、色彩幻想，和小插曲)；以及图像质量增强(亮度、对比度、饱和度、模糊度等)。术语“艺术效果”系指通过应用流行艺术或风格转换类型的照片滤镜来编辑或更改照片或图片。术语“风格化绘画效果”系指通过应用流行艺术或风格转换类型的照片滤镜应用于区域来编辑或更改照片或图片的区域(即，由用户识别的照片或图片的区域，例如，通过标记)。术语“多维效果”系指通过在不同维度上应用不同的滤镜(例如，俯视图中的夜间滤镜和仰视图中的日间滤镜)来编辑或改变照片或图片。
33.一般而言，术语“光场”系指在给定方向上某一点的发光度。术语“光场效果”系指渲染图像场景的不同视图，以提供空间移动或旋转的表象，如同观察者正在从不同角度或视角观看场景。术语“照片滤镜光场效果”系指渲染照片滤镜图像的不同滤镜场景视图，以提供空间移动或旋转的表象，如同观察者正在从不同角度或视角观看照片滤镜场景。术语“艺术光场效果”系指渲染艺术效果图像的不同艺术效果场景视图，以提供空间移动或旋转的表象，如同观察者正在从不同角度或视角观看艺术效果场景。术语“风格化绘画光场效果”系指渲染风格化绘画效果图像(包括风格化绘画)的不同风格化绘画效果场景视图，以提供空间移动或旋转的表象，如同观察者正在从不同角度或视角观看带有风格化绘画的艺术效果场景。术语“多维光场效果”系指呈现多维效果图像的多维效果场景的不同视图，以提供空间移动或旋转的外观，仿佛观察者正从不同的角度或视角沿每个维度观看艺术效果场景。
34.光场效果摄像头可捕捉来自不同方向的光线，并四处移动以创建三维或四维场景(例如，利用多个镜头)。然而，在三维空间(x、y和z)和四维空间(x、y、z及时间)中的这种处理相对复杂，且可能需要大量计算。如本文所述，可利用两个可见光摄像头114a-b，通过仅在二维空间中操作从两个图像中创建简化的光场效果，其计算强度较小。
35.本文使用的术语“耦合”或“连接”系指任何逻辑、光学、物理或电气连接、链路等，由此将一个系统元件产生或提供的信号或光传递给另一个耦合元件。除非另有说明，否则耦合元件或设备不一定彼此直接连接，并且可以由可以修改、操纵或携带光或信号的中间组件、元件或通讯介质分离。
36.附图中所示的眼戴设备、相关组件以及结合深度捕捉摄像头的任何整套设备的方位仅作为示例，用于说明和讨论目的。在实际操作中，对于照片滤镜(例如，多维)光场效果，可将眼戴设备定向在适合于眼戴设备特定应用的任何其他方向上，例如上、下、侧向或任何其他方向。此外，在本文的使用范围内，任何方向术语，诸如前、后、内、外、朝向、左、右、横向、纵向、上、下、向上、向下、顶部、底部、侧面、水平、垂直和对角线，仅作为示例使用，且不限制任何深度捕捉摄像头或本文另行所述构造的深度捕捉摄像头组件的方向或朝向。
37.下文的说明将部分阐述出示例的其他目的、优点和新特征。该等其他目的、优点和新特征对于查阅下文和附图后的本领域的技术人员而言显而易见，或可通过制作或操作示例来领会和掌握。本技术的目的和优点可以通过所附权利要求中特别指出的方法、手段和组合来实现和获得。
38.现详细参照附图中示出并在下文讨论的示例。
39.图1a是在照片滤镜(例如，多维)光场效果系统中所用眼戴设备100示例硬件配置
的右视图，显示出的深度捕捉摄像头的右侧可见光摄像头114b用以生成深度图像。如下文进一步所述，在照片滤镜(例如，多维)光场效果系统中，滤镜选择输入(例如，包括用户所识别图像区域内的风格化艺术方面)被应用于原始图像或经处理图像，以创建带有照片滤镜场景的照片滤镜图像。可基于视差图将照片滤镜图像混合在一起，以创建包括多维方位的照片滤镜光场效果图像。照片滤镜光场效果图像可提供围绕照片滤镜图像的照片滤镜场景进行空间移动或旋转外观。在一个示例中，照片滤镜的类型为多维效果。因此，在该示例中，来自用户的多维效果选择输入被应用于由用户识别的原始图像或经处理的图像，用以创建多维效果图像，然后将这些图像混合在一起，以生成多维效果图像。多维光场效果图像可提供围绕多维效果图像的多维效果场景的空间移动或旋转外观。
40.眼戴设备100包括右侧光学组件180b，其配有图像显示器以呈现图像，例如基于左侧原始图像的原图、经处理的左图像、右原始图像、经处理的右图像、经照片滤镜处理的图像(例如，包括风格化绘画效果在内的多维效果图像)、或经照片滤镜处理的光场效果图像(例如，包括风格化绘画效果在内的多维光场图像)。如图1a-b所示，眼戴设备100包括右侧可见光摄像头114b。眼戴设备100可包括多个可见光摄像头114a-b，其形成被动式深度捕捉摄像头，诸如立体摄像头，其中右侧可见光摄像头114b位于右组块110b上。如图1c-d所示，眼戴设备100还可能包括左侧可见光摄像头114a。抑或，在图2a的示例中，深度捕捉摄像头可以为主动式深度捕捉摄像头，其包括单个可见光摄像头114b和深度传感器(参见图2a中的元件213)。
41.左侧和右侧可见光摄像头114a-b对可见光波长范围敏感。在可见光摄像头114a-b中，每一摄像头均具有不同的前向视野，相互重叠以允许生成三维深度图像，例如，右侧可见光摄像头114b带有显示出的右视野111b。一般而言，“视野”是场景的一部分，其在空间中的特定位置和方向通过摄像头可以看到。当可见光摄像头捕捉到图像时，视野111a-b之外的目标或目标特征不会被记录在原始图像中(例如，照片或图片)。视野描述出可见光摄像头114a-b图像传感器在给定场景的捕捉图像中，拾取电磁辐射的角度范围或范畴。视野可被表示为视锥的角度大小，即视角。视角可以通过水平、垂直或对角方式得到测量。
42.在一个示例中，可见光摄像头114a-b具有视角介于15
°
至30
°
之间(例如24
°
)的视野，并具备480x 480像素的分辨率。“覆盖角度”描述可见光摄像头114a-b或红外摄像头220(参见图2a)的透镜可有效成像的角度范围。通常，镜头所产生的成像圈的尺寸足够大，可完全覆盖胶片或传感器，可能包括一些渐晕(即，与图像中心相比，在朝向边缘的方向上，图像的亮度或饱和度降低)。如果镜头的覆盖角度未填满传感器，则成像圈将变得可见，通常带有朝向边缘的强渐晕，且有效视角将受到覆盖角度的限制。
43.这类可见光摄像头114a-b的示例包括高分辨率互补金属氧化物半导体(cmos)图像传感器以及视频图形阵列(vga)摄像头，诸如640p(例如，640x480像素，总共0.3兆像素)、720p或1080p。在提及视野时，本文中所用术语“重叠”系指在生成的场景原始图像或红外图像中，像素矩阵重叠30％或更多。在提及视野时，本文中所用术语“实质重叠”系指在生成的场景原始图像或红外图像中，像素矩阵重叠50％或更多。
44.可见光摄像头114a-b的图像传感器数据与地理位置数据一起被捕捉，通过图像处理器数字化，并存储在存储器中。由各自可见光摄像头114a-b捕捉的左侧和右侧原始图像位于二维空间域中，且包括二维坐标系上的像素矩阵，该二维坐标系包括表示水平位置的x
轴和垂直位置的y轴。每一像素包括颜色属性(例如，红色像素光值、绿色像素光值和蓝色像素光值，或其组合)；以及位置属性(例如，x位置坐标和y位置坐标)。
45.为呈现立体视觉，可见光摄像头114a-b可与图像处理器(图9所示元件912)耦合，进行数字处理以及捕捉场景图像的时间戳。图像处理器912包括电路，用于接收来自可见光摄像头114a-b的信号，并将来自可见光摄像头114的信号处理成适于存储在存储器中的格式。时间戳可由图像处理器或其他处理器添加，其负责控制可见光摄像头114a-b的操作。可见光摄像头114a-b允许深度捕捉摄像头模拟人类双目视觉。深度捕捉摄像头有能力根据来自具有相同时间戳的可见光摄像头114a-b的两个捕捉图像，再现三维图像。这类三维图像可提供身临其境的真实体验，例如，虚拟现实或视频游戏。
46.对于立体视觉，在给定时刻从场景中捕捉一对原始红色、绿色和蓝色(rgb)图像——左侧和右侧可见光摄像头114a-b分别对应一个图像(例如，立体对)。在处理(例如，通过图像处理器)来自左侧和右侧可见光摄像头114a-b前向左右视野111a-b的一对捕捉到的原始图像时，生成深度图像。深度图像可以基于三维模型，该模型可包括三维网格(例如，三角网格)和肌理，并作为顶点与肌理映射一并被上传到图形处理单元(gpu)。通常，深度实际上是看不到的，但可在渲染和显示的二维图像中看到深度的效果。生成的深度图像通过转换为二维图像中用来显示各种视点，可在光学组件180a-b或其他图像显示器(例如，移动设备的)上被用户感知。生成的深度图像位于三维空间域内，且包括三维位置坐标系上的顶点矩阵，该坐标系包括表示水平位置(例如，长度)的x轴、表示垂直位置(例如，高度)的y轴，以及表示深度的z轴(例如，距离)。每个顶点包括颜色属性(例如，红色像素光值、绿色像素光值和蓝色像素光值，或其组合)；位置属性(例如，x位置坐标、y位置坐标，以及z轴坐标)；肌理属性、反射属性或其组合。肌理属性可量化深度图像的感知肌理，诸如深度图像顶点区域中颜色或强度的空间排列。
47.一般而言，深度感知源于可见光摄像头114a-b捕捉的左侧和右侧原始图像中给定3d点的视差。视差是在可见光摄像头114a-b透视下投影时，同一3d点的成像位置差异(d＝x
左-x
右
)。例如，可通过半全局块匹配(sgbm)来实现各左侧和右侧原始图像中左右像素的相关性。针对带有平行光轴、焦距f、基线b和相应成像点(x
左
、y
左
)以及(x
右
、y
右
)的可见光摄像头114a-b，可利用三角测量来推导3d点的位置(z轴位置坐标)，三角测量通过视差确定深度。通常，3d点的深度与视差成反比。还可运用多项其他技术。三维深度图像和照片滤镜(例如，多维)光场效果图像的生成将在下文中予以更为详细的说明。
48.在一示例中，照片滤镜(例如，多维)光场效果系统包括眼戴设备100。眼戴设备100包括镜架105和从镜架105左侧面170a延伸的左镜腿110a，以及从镜架105右侧面170b延伸的右镜腿110b。眼戴设备100还包括深度捕捉摄像头。深度捕捉摄像头包括：(i)至少两个具有重叠视野的可见光摄像头；或(ii)至少一个可见光摄像头114a-b和深度传感器(图2a所示元件213)。在一示例中，深度捕捉摄像头包括左侧可见光摄像头114a，其左视野111a连接到镜架105或左镜腿110a，以捕捉场景的左侧图像。眼戴设备100还包括连接到镜架105的右侧可见光摄像头114b或带右视野111b的右镜腿110b，以捕捉(例如，与左侧可见光摄像头114a同时)部分重叠于左侧图像的场景的右侧图像。
49.照片滤镜(例如，多维)光场效果系统还包括通过网络耦合到眼戴设备100的计算设备，诸如主机(例如，图9-10所示移动设备990)。照片滤镜(例如，多维)光场效果系统还包
括用于呈现(例如，显示)图像序列的图像显示器(眼戴设备光学组件180a-b；图10所示移动设备990的图像显示器1080)。图像序列包括原始图像、二维空间中的原始图像或经处理原始图像(例如，校正后)、照片滤镜(例如，艺术/风格化效果)图像，以及照片滤镜(例如，多维)光场效果图像。照片滤镜(例如，多维)光场效果系统还包括图像显示驱动器(图9所示眼戴设备100的元件942；图10所示移动设备990的元件1090)，其与图像显示器(眼戴设备的光学组件180a-b；图10所示移动设备990的图像显示器1080)耦合，控制图像显示器以显示出图像序列。图像序列可包括原始图像，如二维空间中的原始图像或经处理原始图像(例如，校正后)、照片滤镜(例如，多维效果)图像，以及照片滤镜(例如，多维)光场效果图像。
50.照片滤镜(例如，多维)光场效果系统还包括用户输入设备，用于接收来自用户的二维输入选择。用户输入设备示例包括触摸传感器(图9所示用于眼戴设备100的元件991)、触摸屏显示器(图10所示用于移动设备1090的元件1091)，以及用于个人计算机或笔记本电脑的计算机鼠标。照片滤镜(例如，多维)光场效果系统还包括一个处理器(图9所示眼戴设备100的元件932；图10所示移动设备990的元件1030)，其与眼戴设备100和深度捕捉摄像头耦合。照片滤镜(例如，多维)光场效果系统还包括一个可由处理器访问的存储器(图9所示眼戴设备100的元件934；图10所示移动设备990的元件1040a-b)，以及存储器中的照片滤镜(例如，多维)光场效果程序(图9所示眼戴设备100的元件945；图10所示移动设备990的元件945)，例如在眼戴设备100本身、移动设备(图9所示元件990)，或照片滤镜(例如，多维)光场效果系统的另一部分(例如，图9所示服务器系统998)内。
51.如下所述，照片滤镜(例如，多维)光场效果系统采用左图像、右图像和其他维度(例如一对上图像和一对下图像)作为输入视点，但中间无具有视点的图像。在由左侧和右侧摄像头114a-b捕捉的左侧和右侧图像之间以及在上和下图像之间执行插补，以产生多维效果(例如，当该时刻在时间上冻结时，摄像头围绕图像的一个方位旋转，例如用户以不同的角度添加的风格化标记，并且可通过向上/向下旋转观看设备来改变视图)。可将来自数个不同视点的多维效果图像拼接在一起，作为视频中的图像序列，以呈现空间移动和其他过渡方位，例如时间变化(日间/黄昏/夜间)。
52.对两个非原始rgb(修改后/非真实)左侧图像和右侧图像进行插补，以生成照片滤镜(例如，多维)光场效果图像，且插补基于从两个原始rgb图像生成的视差图。通过旋转即便是非真实的图像，此举可提供3d世界感觉的表象，但只需要两个修改后的二维图像(帧)来产生风格化绘画效果。视差图可确定在左侧图像中像素之间需要移动多少像素，以获得右侧图像中的对应像素，反之亦然。在与深度对应的立体像素对之间计算视差，以便在两个非原始rgb图像之间进行插值。在某些示例中，左侧图像可以为黑白混合，而右侧图像可以为彩色。另一示例中，在一个图像(诸如左侧图像)中模拟多维渲染风格，而在另一图像(诸如右侧图像)中模拟原始rgb图像，并根据左右视差在一个原始rgb图像和修改后图像之间进行插值。
53.另外，根据垂直输入选择，将与左图像和右图像相对应的上图像和与左图像和右图像相对应的下图像混合。这可呈现从一个维度到另一个维度过渡的外观。例如，可用风格化绘画效果来标记日间拍摄的俯视图中的原始图像，并且可通过添加夜间滤镜来创建仰视图中的图像。然后，通过基于观看设备的上/下旋转运动来混合图像，可实现从日间到黄昏到夜间的过渡外观。
54.图1b是图1a所示眼戴设备100右组块110b的俯视横剖面图，示出了深度捕捉摄像头的右侧可见光摄像头114b和电路板。图1c是图1a所示眼戴设备100示例硬件配置的左视图，示出了深度捕捉摄像头的左侧可见光摄像头114a。图1d是图1c所示眼戴设备左组块110a俯视横剖面图，示意出了深度捕捉摄像头的左侧可见光摄像头114a和电路板。左侧可见光摄像头114a的配置和安装位置基本上与右侧可见光摄像头114b相似，不同点仅在于其连接并耦合在左侧面170a上。如图1b示例所示，眼戴设备100包括右侧可见光摄像头114b和电路板，其可以是柔性印制电路板(pcb)140b。右铰链126b将右组块110b连接到眼戴设备100右镜腿125b上。在某些示例中，右侧可见光摄像头114b的组件、柔性印制电路板140b或其他电气连接物或触点可位于右侧镜腿125b或右铰链126b上。
55.右组块110b包括组块主体211和组块帽，在图1b所示横剖面中省略了组块帽。布置在右组块110b内部的是各种互连印制电路板(pcb)，诸如常规或柔性印制电路板，其包括用于右侧可见光摄像头114b的控制器电路、麦克风、低功率无线电路(例如，用于经由bluetooth
tm
的无线短距离网络通信)、高速无线电路(例如，用于经由wifi的无线局域网通信)。
56.右侧可见光摄像头114b被耦合或布置到柔性印制电路板240上，并由可见光摄像头盖透镜覆盖，其通过在镜架105中成型的开口对准。例如，镜架105的右镜框107b被连接到右组块110b上，且包括用于可见光摄像头盖透镜的开口。镜架105包括被配置为朝外远离用户眼睛的正面。可见光摄像头盖透镜开口在前向侧上形成并穿过前向侧。在该示例中，右侧可见光摄像头114b具有朝外的视野111b，具备眼戴设备100用户的右眼视线或视角。还可以将可见光摄像头盖透镜粘附在右组块110b的外表面上，在其上形成带有朝外覆盖角度的开口，但朝外的方向不同。也可采用经由中间部件的间接耦合。
57.左侧(第一)可见光摄像头114a被连接到左侧光学组件180a的左侧图像显示器上，以在左侧原始图像中捕捉由眼戴设备100佩戴者观察到的左眼场景。右侧(第二)可见光摄像头114b被连接到右侧光学组件180b的右侧图像显示器上，以在右侧原始图像中捕捉由眼戴设备100佩戴者观察到的右眼场景。左侧原始图像和右侧原始图像部分重叠，以呈现出所生成深度图像的三维可观察空间。
58.柔性印制电路板140b被布置在右组块110b内，并耦合到右组块110b内的一个或多个其他组件。尽管显示为在右组块110b的电路板上成型，但右侧可见光摄像头114b也可在左组块110a、镜腿125a-b或镜架105的电路板上成型。
59.图2a是在照片滤镜(例如，多维)光场效果系统中所使用眼戴设备100的另一示例硬件配置左视图。如图所示，深度捕捉摄像头包括位于镜架105上的左侧可见光摄像头114a和深度传感器213，用于生成深度图像。这里，并非利用至少两个可见光摄像头114a-b，而是单个可见光摄像头114a和深度传感器213来生成深度图像。如图1a-d示例所示，来自用户的照片滤镜选择应被用于原始图像，以创建照片滤镜图像，并随后生成照片滤镜多维渲染效果图像。深度传感器213的红外摄像头220具有朝外的视野，该视野在本质上与针对用户视线的左侧可见光摄像头114a重叠。如图所示，红外发射器215和红外摄像头220与左侧可见光摄像头114a共同位于左镜框107a的上部。
60.在图2a所示示例中，眼戴设备100的深度传感器213包括红外发射器215以及用于捕捉红外图像的红外摄像头220。可见光摄像头114a-b通常包括蓝光滤镜，用于阻止红外光
检测，在一示例中，红外摄像头220为可见光摄像头，诸如低分辨率视频图形阵列(vga)摄像头(例如，640x 480像素，总像素为0.3兆像素)，其蓝色滤镜被移除。红外发射器215和红外摄像头220共同位于镜架105上，例如，二者均被显示为连接到左镜框107a的上部。如下文进一步所详述，镜架105或一个或多个左右组块110a-b包括红外发射器215和红外摄像头220的电路板。例如，红外发射器215和红外摄像头220可通过焊接方式与电路板相连。
61.可实施红外发射器215和红外摄像头220的其他布置，包括红外发射器215和红外摄像头220均位于右镜框107a上的布置，或位于镜架105上不同位置的布置，例如，红外发射器215位于左镜框107b上，而红外摄像头220则位于右镜框107b上。尽管如此，典型情况下，至少一个可见光摄像头114a和深度传感器213具有实质性重叠的视野，用于生成三维深度图像。在另一示例中，红外发射器215位于镜架105上，而红外摄像头220则位于其中一个组块110a-b上，反之亦然。基本上，红外发射器215可被连接到镜架105、左组块110a或右组块110b上的任何位置，用于发射用户眼睛视线内的红外图案。类似地，红外摄像头220基本上可被连接到镜架105、左组块110a或右组块110b上的任何位置，用于捕捉用户眼睛视线内三维场景的红外光发射图案中至少一个反射变化。。
62.红外发射器215和红外摄像头220采用朝外布置，以拾取场景的红外图像，该图像带有佩戴眼戴设备100用户观察到的对象或对象特征。例如，红外发射器215和红外摄像头220直接位于眼睛前方，镜架105的上部或镜架105两端的组块110a-b中，具有前向视野，以捕捉用户所注视场景的图像，用于测量对象深度和对象特征。
63.在一示例中，深度传感器213的红外发射器215在场景的前向视野内发射红外光照明，其可以是近红外光或低能辐射的其他短波长光束。作为替代或补充，深度传感器213可包括其他发射器，用于发射除红外光外其他波长的光，深度传感器213还包括对该波长敏感的摄像头，用于接收和捕捉具有该波长的图像。如上所述，眼戴设备100与处理器和存储器耦合，例如，在眼戴设备100本体中或照片滤镜(例如，多维)光场效果系统其他部件内的处理器和存储器中。眼戴设备100或照片滤镜(例如，多维)光场效果系统随后可在生成三维深度图像(诸如深度图像)期间处理所捕捉的红外图像。
64.图2b-c是眼戴设备100的示例硬件配置后视图，包括两种不同类型的图像显示器。眼戴设备100采用供用户佩戴的配置形式，在该示例中为眼镜。眼戴设备100可采取其他形式，并且可结合其他类型的镜架，例如，头套、头戴式耳机或头盔。
65.在眼镜示例中，眼戴设备100包括镜架105，其中左镜框107a通过与用户鼻子相适合的鼻梁架106连接到右镜框107b。左右镜框107a-b包括各自的开孔175a-b，用于容纳各自的光学元件180a-b，诸如透镜和显示设备。本文中所用术语“透镜”系指用于覆盖的弯曲或平整的透明或半透明玻璃或塑料件，具备或不具备光会聚/发散作用。
66.尽管显示为配备两个光学元件180a-b，眼戴设备100也可包括其他布置，诸如单一光学元件，或不包括任何光学元件180a-b，这取决于眼戴设备100的具体用途或预期用户。如进一步所示，眼戴设备100包括与镜架105左侧面170a相邻的左组块110a以及与镜架105右侧面170b相邻的右组块110b。组块110a-b可被集成到各侧面170a-b(如图所示)上的镜架105中，或被实施为连接到各侧面170a-b上镜架105的独立组件。作为替代，组块110a-b也可被集成到连接镜架105的镜腿(未示出)中。
67.在一示例中，光学组件180a-b的图像显示器包括集成图像显示器。如图2b所示，光
学组件180a-b包括任何适当类型的合适显示矩阵170，诸如液晶显示器(lcd)、有机发光二极管(oled)显示器或任何其他此类显示器。光学组件180a-b还包括一个或多个光学层176，光学层176可包括透镜、光学涂层、棱镜、反射镜、波导管、光带以及任何组合的其他光学部件。光学层176a-n可包括一个棱镜，此类棱镜具有合适的尺寸和配置，并且配有用于从显示矩阵接收光的第一表面和用于向用户的眼睛发射光的第二表面。光学层176a-n的棱镜沿位于左和右镜框107a-b中相应开孔175a-b的全部或至少一部分伸出，从而当用户的眼睛透过相应的左右镜框107a-b观看时，允许用户看到棱镜的第二表面。光学层176a-n的棱镜的第一表面布置为沿镜架105面朝上方，且显示矩阵覆盖该棱镜，确保从显示矩阵发射的光子和光照射到第一表面。棱镜的尺寸和形状可确保光在棱镜内被折射，并被光学层176a-n的棱镜的第二表面导向用户的眼睛。在这一方面，光学层176a-n的棱镜的第二表面可凸起，以将光导向眼睛的中心。可以选择调整棱镜尺寸和形状以放大由显示矩阵170投影的图像，并使光穿过棱镜，以便从第二表面观看的图像在一个或多个维度上大于从显示矩阵170发射的图像。
68.在另一示例中，光学组件180a-b的图像显示设备包括如图2c所示的投影图像显示器。光学组件180a-b包括激光投影仪150，其为使用扫描镜或检流计的三色激光投影仪。在操作期间，诸如激光投影仪150的光源设置在眼戴设备100其中一个镜腿125a-b内或其上。光学组件180a-b包括一个或多个光学带155a-n，这些光学带沿光学组件180a-b的透镜宽度或沿透镜的前表面和后表面之间的透镜深度间隔布置。
69.当从激光投影仪150投射的光子穿过光学组件180a-b的透镜时，光子遇到光带155a-n。当特定的光子遇到特定的光带时，光子要么被重定向到用户的眼睛，要么传递到下一个光带。通过激光投影仪150调制和光带调制的组合，可以控制特定的光子或光束。在一个示例中，处理器通过启动机械、声学或电磁信号来控制光带155a-n。尽管如图所示为配有两个光学组件180a-b，但是眼戴设备100也可采用其他布置，例如单个或三个光学组件，或光学组件180a-b根据眼戴设备100的应用或预期用户采用不同的布置。
70.如图2b-c进一步所示，眼戴设备100包括与镜架105左侧面170a相邻的左组块110a以及与镜架105右侧面170b相邻的右组块110b。组块110a-b可被集成到各侧面170a-b(如图所示)上的镜架105中，或被实施为连接到镜架105上各侧面170a-b的独立组件。作为替代，组块110a-b也可被集成到连接镜架105的镜腿125a-b中。本文中所用组块110a-b可包括外壳，将处理单元、摄像头、传感器等(例如，针对右侧和左侧存在差异)的组合进行封装。
71.在一示例中，图像显示器包括第一(左)图像显示器和第二(右)图像显示器。眼戴设备100包括第一和第二开孔175a-b，其分别容纳第一和第二光学组件180a-b。第一光学组件180a包括第一图像显示器(例如，图2b所示显示矩阵170a；或图2c所示光带155a-n’和投影仪150)。第二光学组件180b包括第二图像显示器，例如，图2b所示显示矩阵170b；或图2c所示光带155a-n”和投影仪150b)。
72.图3示出了图2a所示眼戴设备的后透视剖面图，示出了红外摄像头220、镜架前部330、镜架后部335和电路板。可以看到，眼戴设备100镜架105左镜框107a的上部分包括镜架前部330和镜架后部335。镜架前部330包括被配置为朝外远离用户眼睛的前向侧。镜架后部335包括配置为朝内靠近用户眼睛的后向侧。用于红外摄像头220的开口在镜架前部330上成型。
73.如镜架105左镜框107a中上部的环绕横剖面4-4所示，电路板(柔性印制电路板(pcb)340)夹在镜架前部330和镜架后部335之间。此外，还进一步详细地显示出通过左铰链126a将左组块110a连接到左镜腿325a上。在某些示例中，深度传感器213的组件，包括红外摄像头220、柔性印制电路板340或其他电气连接件或触点，可位于左镜腿325a或左铰链126a上。
74.在一示例中，左组块110a包括组块主体311、组块帽312、朝内表面391和朝外表面392(标记出但不可见)。布置在左组块110a内的是各种互连电路板，诸如印制电路板或柔性印制电路板，其包括用于给电池充电的控制器电路、朝内的发光二极管(led)和朝外的(向前的)led。尽管显示为在左镜框107a电路板上成型，但深度传感器213(包括红外发射器215和红外摄像头220)也可在右镜框107b电路板上成型，用于捕捉在生成三维深度图像时使用的红外图像，例如，与右侧可见光摄像头114b结合使用。
75.图4是穿过红外摄像头220以及对应于图3所示眼戴设备环绕横剖面4-4镜架的横剖面图。在图4所示横剖面中可以看到眼戴设备100的各层。如图所示，柔性印制电路板340被布置在镜架后部335上，并与镜架前部330相连。红外摄像头220被布置在柔性印制电路板340上，并由红外摄像头盖透镜445覆盖。例如，红外摄像头220通过软熔焊接到柔性印制电路板340的背面。通过使柔性印制电路板340经受受控热，从而将红外摄像头220软熔焊接到柔性印制电路板340背面形成的电气接触垫上，该受控热用于熔化焊膏以实现两个组件之间的连接。在一示例中，软熔焊接被用于将红外摄像头220表面安装到柔性印制电路板340上，并实现两组件之间的电连接。然而，应了解的是，可以用通孔(例如)通过互连将从红外摄像头220的引线连接到柔性印制电路板340上。
76.镜架前部330包括用于红外摄像头盖透镜445的红外摄像头开口450。红外摄像头开口450在镜架前部330正面成型，镜架前部330被配置为朝外远离用户的眼睛，并朝向用户所观察的场景。在示例中，可通过柔性印制电路板粘合剂460将柔性印制电路板340连接到镜架后部335。可通过红外摄像头盖透镜粘合剂455将红外摄像头盖透镜445连接到镜架前部330。连接可通过中间组件间接进行。
77.图5示出了图2a所示眼戴设备的后透视剖面图。眼戴设备100包括红外发射器215、红外摄像头220、镜架前部330、镜架后部335和电路板340。如图3所示，可看到图5中眼戴设备100镜架左镜框的上部包括镜架前部330和镜架后部335。用于红外发射器215的开口在镜架前部330上成型。
78.如镜架左镜框中上部的环绕横剖面6-6所示，电路板(柔性印制电路板340)夹在镜架前部330和镜架后部335之间。此外，还进一步详细地显示出通过左铰链126a将左组块110a连接到左镜腿325a上。在某些示例中，深度传感器213的组件，包括红外发射器215、柔性印制电路板340或其他电连接件或触点，可位于左镜腿325a或左铰链126a上。
79.图6是穿过红外发射器215以及对应于图5所示眼戴设备环绕横剖面6-6的镜架横剖面图。如图6横剖面中眼戴设备100的多层所示，镜架105包括镜架前部330和镜架后部335。柔性印制电路板340被布置在镜架后部335上，并与镜架前部330相连。红外发射器215被布置在柔性印制电路板340上，并由红外发射器盖透镜645覆盖。例如，红外发射器215通过软熔焊接到柔性印制电路板340的背面。通过使柔性印制电路板340经受受控热，从而将红外发射器215软熔焊接到柔性印制电路板340背面形成的电接触垫上，该受控热用于熔化
焊膏以实现两个组件之间的连接。在一个示例中，采用软熔焊接将红外发射器215表面安装在柔性印制电路板340上，并电连接这两个部件。然而，应了解的是，可以用通孔(例如)通过互连将从红外发射器215的引线连接到柔性印制电路板340上。
80.镜架前部330包括用于红外发射器盖透镜645的红外发射器开口650。红外发射器开口650在镜架前部330的正面成型，镜架前部330被配置为朝外远离用户的眼睛，并朝向用户所观察的场景。在示例中，可通过柔性印制电路板粘合剂460将柔性印制电路板340连接到镜架后部335。可通过红外发射器盖透镜粘合剂655将红外发射器盖透镜645连接到镜架前部330。也可采用经由中间部件的间接耦合。
81.图7示出了深度传感器213的红外发射器215所发射红外光781的发射图案示例。如图所示，红外光782发射图案的反射变化被眼戴设备100深度传感器213的红外摄像头220捕捉为红外图像。利用红外光782发射图案的反射变化来测量原始图像(例如，左侧原始图像)中像素的深度，以生成包括深度图像在内的三维深度图像。
82.该示例中的深度传感器213包括用于投射红外光图案的红外发射器215，以及红外摄像头220(用于捕捉空间中对象或对象特征对投射红外光畸变的红外图像)，如眼戴设备100佩戴者所观察场景715所示。例如，红外发射器215可发射红外光781，该红外光落在物对象上，或落在场景715内的对象特征上，就像是大量点的集合。在某些示例中，红外光以线型、螺旋形或同心环等图案发射。肉眼通常无法看到红外光。红外摄像头220类似于标准的红、绿、蓝(rgb)摄像头，其不同之处在于接收并捕捉红外波长范围内光的图像。对于深度感测，红外摄像头220被耦合到图像处理器(图9中的元件912)和照片滤镜(例如，多维)光场效果编程或应用(元件945)，该编程或应用根据所捕捉红外光的红外图像来判断飞行时间。例如，所捕捉红外图像中扭曲点图案782随后可被图像处理器处理，用来根据点的位移确定深度。通常，附近的目标或目标特征会表现为一个图案，上面的点的分布更为稀疏，而远处的对象则呈现出一更密集的点图案。应理解为，前述功能可体现在一个或多个系统组件中可发现的照片滤镜(例如，多维)光场效果编程或应用(元件945)的编程指令中。
83.图8a示出了深度传感器213的红外摄像头220，利用左侧红外摄像头视野812捕捉的红外光示例。红外摄像头220在三维场景715中捕捉红外光782发射图案中的反射变化，作为红外图像859。如进一步所示，具有左侧可见光摄像头视野111a的左侧可见光摄像头114a捕捉可见光以作为左侧原始图像858a。基于红外图像859和左侧原始图像858a，可生成三维场景715的三维深度图像。
84.图8b示出了由左侧可见光摄像头114a所捕捉可见光以及由右侧可见光摄像头114b所捕捉可见光的示例。由左侧可见光摄像头114a利用左侧可见光摄像头视野111a捕捉的可见光作为左侧原始图像858a。由右侧可见光摄像头114b利用右侧可见光摄像头视野111b捕捉的可见光作为右侧原始图像858b。基于左侧原始图像858a和右侧原始图像858b，可生成三维场景715的三维深度图像。
85.图8c示出了用于创建能够提供旋转和过渡效果的多维效果图像的图像示例。该图像包括左下图像87a、右下图像870b、左上图像870c和右上图像870d。在使用中，用户可标记左下图像(例如，使用风格化绘画效果)。照片滤镜(例如，多维)光场效果系统900生成右下图像870b；并在左上图像870c中生成左下图像870a的副本以供用户修改(例如，进一步标记和加滤镜)。用户标记并用滤镜处理左上图像870c，并且照片滤镜(例如，多维)光场效果系
统900生成右上图像870d。在一个示例中，原始图像是在日间拍摄的图像，应用变暗滤镜来创建夜间外观。根据该示例，左右旋转观看设备(或在触摸屏上沿水平方向移动手指)可呈现围绕图像中的对象进行旋转运动的效果，上下旋转观看设备(或在触摸屏上沿垂直水平方向移动手指)可呈现日夜之间的过渡效果。此外，可选择不同的上下图像标记和风格迁移，以给予用户更多的艺术自由。
86.图9是一示例照片滤镜(例如，多维)光场效果系统900的高级功能框图，该光场效果系统包括可穿戴设备(例如，眼戴设备100)、移动设备990，以及通过各种网络相连的服务器系统998。眼戴设备100包括深度捕捉摄像头，诸如至少一个可见光摄像头114a-b；以及深度传感器213，显示为红外发射器215和红外摄像头220。深度捕捉摄像头可有替代性地包括至少两个可见光摄像头114a-b(一个与左侧面170a相关联，另一个与右侧面170b相关联)，在这种情况下，不需要深度传感器。深度捕捉摄像头可生成深度图像961a-n，该图像为渲染后的三维(3d)模型，是红色、绿色和蓝色(rgb)成像场景的肌理映射图像，例如，从原始图像858a-n导出，并处理(例如，校正后)图像965a-n。
87.移动设备990可以是智能手机、平板电脑、笔记本电脑、接入点或任何其他能够使用低功耗无线连接925和高速无线连接937与眼戴设备100连接的此类设备。移动设备990接入服务器系统998和网络995。网络995可以包括有线和无线连接的任意组合
88.眼戴设备100还包括光学组件180a-b的两个图像显示器(一个与左侧面170a相关联，另一个与右侧面170b相关联)。眼戴设备100还包括图像显示驱动器942、图像处理器912、低功耗电路920和高速电路930。光学组件180a-b的图像显示器用于呈现图像，诸如原始图像957a-n(例如，原始图像858a-n和经处理图像965a-n)、照片滤镜(例如，风格化绘画/多维效果)图像963a-n，以及照片滤镜(例如，风格化绘画/多维)光场效果图像964a-n。图像显示驱动器942被耦合到光学组件180a-b的图像显示器上，用来控制光学组件180a-b图像显示器的图像呈现。眼戴设备100还包括用户输入设备991(例如，触摸传感器)，用于接收照片滤镜(例如，风格化绘画/多维效果)选择962a输入(基于标记962b和滤镜输入)；并且可从用户处接收二维(2d)输入选择973。
89.图9所示眼戴设备100组件，例如印制电路板或柔性印制电路板，位于镜框或镜腿中的一个或多个电路板上。作为替代或补充，所示组件可位于眼戴设备100的组块、镜架、铰链或鼻梁架中。左右侧可见光摄像头114a-114b可包括数字摄像头元件，例如互补金属氧化物半导体(cmos)图像传感器、电荷耦合器件、镜片或可用于捕捉数据(包括具有未知对象的场景的图像)的任何其他相应可见光或光捕捉元件。
90.眼戴设备100包括存储器934，该存储器包含照片滤镜(例如，风格化绘画/多维)光场效果编程945，用于执行本文所述的照片滤镜(例如，风格化绘画/多维)光场效果的子集或全部功能，其中，来自用户的照片滤镜选择962a(基于用户标记962b和滤镜选择)被应用于原始图像858a-b或经处理图像965a-b，以生成照片滤镜(例如，风格化绘画/多维)光场效果图像964a-n。如图所示，存储器934还包括由左侧可见光摄像头114a捕捉的左侧原始图像858a，由右侧可见光摄像头114b捕捉的右侧原始图像858b，以及由深度传感器213的红外摄像头220捕捉的红外图像859。存储器934还包括经由深度捕捉摄像头生成的多个深度图像961a-n。存储器934另包括其他图像，例如对应于左和右原始图像的上图像。
91.图11a、11b和11c中示出了概述可在照片滤镜(例如，风格化绘画/多维)光场效果
编程945中实现功能的流程图。存储器934还包括由用户输入设备991接收的二维输入选择962a(例如，初始触点和最终触点)和二维标记962b。存储器934还包括：左侧图像视差图960a、右侧图像视差图960b、照片滤镜(例如，风格化绘画效果/多维)图像963a-n、水平位置参数966a、垂直位置参数966b、包括左侧移动x轴位置坐标968a-n的左侧插值像素矩阵967a，右侧移动x轴位置坐标969a-n的右侧插值像素矩阵967b，以及左侧处理后(例如，校正后)图像965a和右侧处理后(例如，校正后)图像965b(例如，去除朝向透镜末端的渐晕)以及多维图像。如进一步所示，存储器934包括顶点矩阵970和旋转矩阵974。可在原始图像858a-b图像处理期间生成存储器934中存储的部分或全部信息，用于生成相应的照片滤镜(例如，多维)光场效果图像964a-n。
92.如图9所示，高速电路930包括高速处理器932、存储器934和高速无线电路936。在示例中，图像显示驱动器942被耦合到高速电路930，并由高速处理器932操作，以便驱动光学组件180a-b的左右图像显示器。高速处理器932可以是能够管理眼戴设备100所需高速通信和任何通用计算系统操作的任何处理器。高速处理器932包括使用高速无线电路936在高速无线连接937上管理到无线局域网(wlan)的高速数据传输所需的处理资源。在某些示例中，高速处理器932执行眼戴设备100的操作系统，例如linux操作系统或其他此类操作系统，并且操作系统存储在存储器934中以供执行。除了任何其他任务之外，执行眼戴设备100的软件架构的高速处理器932用于管理与高速无线电路936的数据传输。在某些示例中，高速无线电路936被配置为实现电气和电子工程师协会(ieee)802.11通信标准，本文也称为wi-fi。在其他示例中，其他高速通信标准可由高速无线电路936实现。
93.眼戴设备100的低功耗无线电路924和高速无线电路936可包括短程收发器(bluetooth
tm
)以及无线广域、局域或广域网收发器(例如，蜂窝或wifi)。移动设备990包括经由低功耗无线连接925和高速无线连接937通信的收发器，并可以使用眼戴设备100的架构的细节来实现，网络995的其他元件也可以。
94.存储器934包括能够存储各种数据和应用的任何存储设备，除此之外，还包括由左右侧可见光摄像头114a-b、红外摄像头220和图像处理器912生成的摄像头数据，以及由图像显示驱动器942生成以在光学组件180a-b图像显示器上显示的图像。尽管存储器934被显示为与高速电路930集成，但在其他示例中，其可以作为眼戴设备100的独立元件。在某些此类示例中，电路由线路可以提供通过包括高速处理器932的芯片从图像处理器912或低功耗处理器922到存储器934的连接。在其他示例中，高速处理器932可以管理存储器934的寻址，使得低功耗处理器922将在需要涉及存储器934的读或写操作的任何时候均引导高速处理器932。
95.如图9所示，眼戴设备100的处理器932可被耦合到深度捕捉摄像头(可见光摄像头114a-b；或可见光摄像头114a、红外发射器215和红外摄像头220)、图像显示驱动器942、用户输入设备991和存储器934。如图10所示，移动设备990的处理器1030可被耦合到深度捕捉摄像头1070、图像显示驱动器1090、用户输入设备1091和存储器1040a。由于眼戴设备100的处理器932在存储器934中执行照片滤镜(例如，多维)光场效果编程945，眼戴设备100可执行以下任何功能的全部或子集。作为由移动设备990的处理器1030在存储器1040a中执行照片滤镜(例如，多维)光场效果编程945的结果，移动设备990可以执行以下任何功能的全部或子集。可在滤镜(例如，多维)光场效果系统900中划分功能，以便眼戴设备100生成原始图
像858a-b，另一方面，移动设备990则在原始图像858a-b上执行图像处理的剩余部分，以生成照片滤镜(例如，多维)光场效果图像964a-n。
96.在一示例中，眼戴设备100的深度捕捉摄像头包括至少两个可见光摄像头，可见光摄像头由带有左视野111a的左侧可见光摄像头114a以及带有右视野111b的右侧可见光摄像头114b组成。左视野111a和右视野111b具有重叠视野813(参见图8b)。移动设备990的深度捕捉摄像头1070可采用类似构造。
97.由处理器932、1030执行照片滤镜(例如，多维)光场效果编程945，将照片滤镜(例如，多维)光场效果系统900配置为通过深度捕捉摄像头、左侧原始图像858a和右侧原始图像858b执行功能，包括捕捉功能。照片滤镜(例如，多维)光场效果系统900用于计算：(i)左侧像素矩阵和右侧像素矩阵之间的左侧图像视差图960a，以及(ii)右侧像素矩阵和左侧像素矩阵之间的右侧图像视差图960b。左侧原始图像858a或左侧经处理图像965a包括左侧像素矩阵，而右侧原始图像858b或右侧处理图像965b则包括右侧像素矩阵。
98.照片滤镜(例如，多维)光场效果系统900通过图像显示器180a-b、1080呈现原始图像957a。照片滤镜(例如，多维)光场效果系统900通过用户输入设备991、1091接收艺术效果选择962a(基于来自用户的标记962b)，以应用于所呈现原始图像957a。照片滤镜(例如，多维)光场效果系统900可创建至少一个具有风格化绘画效果场景的风格化绘画效果图像，通过将风格化绘画效果选择962(基于来自用户的标记962b)应用于：(i)左侧原始图像858a或左侧经处理图像965a，用于创建左侧风格化绘画效果图像963a，(ii)右侧原始图像858b或右侧经处理图像965b，用于创建右侧风格化绘画效果图像963b，或(iii)以上两种的组合。此外，照片滤镜(例如，多维)光场效果系统900在另一维度(例如，上)创建至少一个具有风格化绘画效果场景的附加图像，用户可对该附加图像添加另一滤镜(例如，夜间滤镜)。
99.照片滤镜(例如，多维)光场效果系统900可生成风格化绘画效果图像964a，其呈现围绕至少具有一个风格化绘画效果图像的风格化绘画效果场景进行空间移动或旋转的外观，并且可过渡到另一维度(例如，日间/黄昏/夜间)。可通过基于左图像视差图960a和右图像视差图960b将左风格化绘画效果图像963a和右风格化绘画效果图像963b混合在一起，并将左下图像和右下图像与左上图像和右上图像混合在一起来实现此目的。照片滤镜(例如，多维)光场效果系统900经由图像显示器180a-b、1080呈现多维效果图像964a。
100.计算左侧图像视差图960a和右侧图像视差图960b的函数包括以下功能。首先，从左侧原始图像858a创建左侧校正图像965a作为左侧经处理图像965a，从右侧原始图像858b创建右侧校正图像965b作为右侧经处理图像965b，以对齐左右原始图像858a-b，并移除左右侧可见光摄像头114a-b各自透镜中的失真情况。其次，通过将左侧校正图像965a和右侧校正图像965b中的像素相关联，来提取左侧图像视差图960a和右侧图像视差图960b，反之亦然，以计算每一相关像素的视差。
101.生成风格化绘画效果图像964a的函数包括以下功能。首先，确定沿左右侧像素矩阵x轴的水平位置移动参数966。其次，通过基于水平移动参数966沿x轴移动左侧像素矩阵中的像素来填充左侧插值像素矩阵967a。再次，通过基于水平移动参数966沿x轴移动右侧像素矩阵中的像素来填充右侧插值像素矩阵967b。最后，通过将左侧插值像素矩阵967a和右侧插值像素矩阵967b进行混合，创建风格化绘画效果图像964a。
102.填充左侧插值像素矩阵967a的函数包括以下功能。首先，将来自左侧像素矩阵中
每一相应像素的左侧图像视差图960a对应的左侧图像视差乘以水平移动参数966，以导出相应的左侧移动x轴位置坐标968a-n。其次，在左侧插值像素矩阵967a中，将每一相应的像素移动到相应的左侧移动x轴位置坐标968a-n。
103.填充右侧插值像素矩阵967b的函数包括以下功能。首先，将来自右侧像素矩阵中每一相应像素的右侧图像视差图960b对应右侧图像视差乘以水平移动参数966的补码，以导出相应的右侧移动x轴位置坐标969a-n。例如，水平运动参数966的补码是数字1减去水平运动参数966(即1-x)。其次，将每一相应的像素移动到右侧插值像素矩阵967b中相应的右侧移动x轴位置坐标969a-n。
104.通过将左侧插值像素矩阵967a和右侧插值像素矩阵967b进行混合，生成风格化绘画效果图像964a的功能可以基于左侧图像视差图960a和右侧图像视差图960b中的视差置信水平、梯度或二者的组合。例如，视差置信水平值是基于左右像素之间的相关性大小。
105.确定水平位置移动参数966的函数包括以下功能。首先，通过用户输入设备991、1091从用户处接收所呈现原始图像957a的二维输入选择973。其次，通过用户输入设备991、1091跟踪二维输入选择973从所呈现原始图像957a的初始接触点到最终接触点的运动。再次，确定描述从初始触点到最终触点旋转的旋转矩阵974，导出水平位置移动参数966a。尽管如此，应当理解为，在风格化绘画效果中不需要旋转矩阵974，除非数据利用3d顶点来表示。在一些示例中，也可以通过惯性测量单元972测量来确定水平位置移动参数966a，例如，利用移动设备990或眼戴设备100的倾斜角度。
106.确定垂直位置移动参数966的函数包括以下功能。首先，通过用户输入设备991、1091从用户处接收所呈现原始图像957a的二维输入选择973。第二，经由用户输入设备991、1091跟踪二维输入选择973从所呈现原始图像957a的初始触点到最终触点的运动。第三，确定描述过渡百分比，即从初始触点到最终触点到另一维度的过渡百分比，以导出垂直位置移动参数966b。在一些示例中，也可以通过惯性测量单元972测量来确定垂直位置移动参数966b，例如，利用移动设备990或眼戴设备100的倾斜角度。
107.在一示例中，用户输入设备991、1091包括触摸传感器，该传感器包括输入界面和传感器阵列，所述传感器阵列被用来耦合到输入界面，以至少能够接收来自用户输入的单指接触。用户输入设备991、1091还包括集成或连接到触摸传感器中或连接到处理器932、1030的传感电路。传感电路被配置用于测量电压，以跟踪用户输入界面上至少一个单指的触碰接触。通过用户输入设备991、1091接收来自用户的风格化绘画效果选择962a和标记962b的功能包括在触摸传感器的输入界面上，至少能够接收来自用户输入的单指接触。通过用户输入设备991、1091跟踪二维输入选择973从初始触点到最终触点运动的功能包括从输入界面上，经由传感电路至少跟踪单指接触，从初始触点拖动到触摸传感器输入表面上的最终触点。
108.触摸式用户输入设备991可被集成到眼戴设备100中。如上所述，眼戴设备100包括集成到或连接到眼戴设备100侧面170a-b上镜架105中的组块110a-b。镜架105、镜腿125a-b或组块110a-b包括带有触摸传感器的电路板。该电路板包括柔性印制电路板。触摸传感器被设置在柔性印制电路板上。传感器阵列为电容阵列或电阻阵列。电容阵列或电阻阵列包括形成二维直角坐标系的网格，用于跟踪x轴和y轴位置坐标。
109.在照片滤镜(例如，多维)光场效果系统900的一示例中，处理器包括第一处理器
932和第二处理器1030。存储器包括第一存储器934和第二存储器1040a。眼戴设备100包括用于通过网络925或937(例如，无线短程网络或无线局域网)进行通信的第一网络通信接口924或936。第一处理器932被耦合到第一网络通信接口924或936。第一存储器934可由第一处理器932访问。眼戴设备100还包括在第一存储器934中的照片滤镜(例如，多维)光场效果编程945。由第一处理器932执行照片滤镜(例如，多维)光场效果编程945，将眼戴设备100配置通过深度捕捉摄像头、左侧原始图像858a和右侧原始图像858b以执行捕捉功能。
110.照片滤镜(例如，多维)光场效果系统900还包括通过网络925或937耦合到眼戴设备100的主机，诸如移动设备990。所述主机包括通过网络925或937进行通信的第二网络通信接口1010或1020。第二处理器1030被耦合到第二网络通信接口1010或1020。第二存储器1040a可由第二处理器1030访问。主机还包括在第二存储器1040a中的照片滤镜(例如，多维)光场效果编程945。
111.由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，将主机配置为执行通过第二网络通信接口1010或1020经由网络925或937从眼戴设备100接收原始图像957a的功能。由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，将主机配置为计算：(i)左侧图像视差图960a，和(ii)右侧图像视差图960b。由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，将主机配置为通过图像显示器1080呈现原始图像957a。由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，将主机配置为通过用户输入设备1091(例如，触摸屏或计算机鼠标)从用户接收风格化绘画效果选择962a和标记962b以及滤镜选择。由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，通过将所选图像的风格应用于标记，并且在不同的维度上创建图像来配置主机，以创建多维效果图像963a-b。由第二处理器1030执行照片滤镜(例如，风格化绘画)光场效果编程945，配置主机以生成具有旋转或空间运动以及维度变化外观的风格化绘画效果图像964a。由第二处理器1030执行照片滤镜(例如，多维)光场效果编程945，将主机配置为通过图像显示器1080呈现多维效果图像964a。
112.每一深度图像961a-n由顶点矩阵970形成。二维图像858a-b、963a-b、964a-n、965a-b的每一像素可与顶点矩阵970的各自顶点相关联。每一顶点均具备一位置属性。每一顶点的位置属性是基于三维位置坐标系，包括x轴上的x位置坐标(表示水平位置)、y轴上的y位置坐标(表示垂直位置)和z轴上的z位置坐标(表示深度位置)。每一顶点还包括颜色属性、肌理属性或反射属性中的一个或多个。因此，将风格化绘画效果选择962a(基于来自用户的标记962b以及风格迁移到标记区域)应用于以下内容的功能：(i)左侧原始图像858a或左侧处理图像965a，用于创建左侧风格化绘画效果图像963a，(ii)右侧原始图像858b或右侧处理图像965b，用于创建右侧风格化绘画效果图像963b，或(iii)以上二者的组合，是基于z位置坐标，以根据与每一像素相关联各顶点的深度位置，改变风格化绘画效果功能971的滤镜效果强度，用于变换每一像素。与在z轴上具有较浅深度的位置相比，具有较深深度位置的z位置坐标的各顶点上应用滤镜效果的强度更强烈。
113.服务器系统998可以是作为服务或网络计算系统(例如，包括处理器、存储器和网络通信接口)一部分的一个或多个计算设备，以通过网络995与移动设备990和眼戴设备100通信。眼戴设备100与主机连接。例如，眼戴设备100经由高速无线连接937与移动设备990配对，或经由网络995连接到服务器系统998。
114.眼戴设备100的输出部件包括视觉部件，诸如图2b-c所示光学组件180a-b的左侧图像显示器和右侧图像显示器(例如，液晶显示器(lcd)、等离子显示屏(pdp)、发光二极管(led)显示器、投影仪或波导管等)。光学组件180a-b的图像显示器由图像显示驱动器942驱动。眼戴设备100的输出组件还包括声学组件(例如，扬声器)、触觉组件(例如，振动电动机)、其他信号发生器等。眼戴设备100、移动设备990和服务器系统998的输入组件可包括字母数字输入组件(例如，键盘、配置为接收字母数字输入的触摸屏、光电键盘或其他字母数字输入组件)、基于点的输入组件(例如，鼠标、触控板、跟踪球、操纵杆、运动传感器或其他指向仪)、触觉输入组件(例如，物理按钮、提供触摸位置和力度或触摸手势的触摸屏或其他触觉输入组件)、音频输入组件(例如，麦克风)等等。
115.眼戴设备100可选择性地包括附加的外围设备元件。此类外围设备元件可包括生物识别传感器、附加传感器或与眼戴设备100集成的显示元件。例如，外围设备元件可包括任何输入/输出组件，包括输出组件、运动组件、位置组件、指示器或本文所述的任何其他此类元件。
116.例如，生物识别组件包括可用于检测表达(例如，手部表达、面部表达、声音表达、身体姿势或眼睛跟踪)、测量生物信号(例如，血压、心率、体温、出汗或脑波)、识别人员(例如，语音识别、视网膜识别、面部识别、指纹识别或基于脑电图的识别)等类似组件。运动组件包括加速度传感器组件(例如，加速计)、重力传感器组件、旋转传感器组件(例如，陀螺仪)等。位置组件包括用于生成位置坐标的位置传感器组件(例如，全球定位系统(gps)接收器组件)、用于生成定位系统坐标的wifi或bluetooth
tm
收发器、高度传感器组件(例如，检测可以从中得出高度的气压的高度计或气压计)、方向传感器组件(例如，磁强计)等。此类定位系统坐标还可以通过无线连接925和937从移动设备990经由低功耗无线电路924或高速无线电路936接收。
117.惯性测量单元(imu)972是一种电子设备，其利用加速计和陀螺仪的组合，有时还会使用磁强计，测量并报告身体的特定力、角速率，有时还可测量并报告身体周围的磁场。如果为磁强计，磁场可被用作输入来检测依赖于地球磁场或人工磁场的特定运动。在该示例中，惯性测量单元用来确定眼戴设备100的旋转加速度。惯性测量单元972的工作原理是利用一个或多个加速计检测线性加速度以及利用一个或多个陀螺仪检测转速。惯性测量单元的典型配置包括三条轴上每条轴的一个加速计、陀螺仪和磁强计：用于左右移动的水平轴(x)、用于上下移动的垂直轴(y)以及用于上下移动的深度轴或距离轴(z)。陀螺仪检测围绕3个轴(x、y和z)的转速。磁强计用于检测磁场(例如，朝南、朝北等)，与罗盘类似，其原理是产生一航向参考，是地球磁场和其他人造磁场(诸如，电线产生的磁场)的混合体。三个加速计沿以上定义的水平(x)、垂直(y)和深度或距离(z)轴检测加速度，这些轴可相对于地面、眼戴设备100、深度捕捉摄像头或佩戴眼戴设备100的用户来定义。因此，加速计用来检测一个三轴加速度矢量，随后可用来检测地球的重力矢量。
118.图10是移动设备990示例的高级功能框图，该移动设备通过图9所示照片滤镜(例如，多维)光场效果系统900进行通信。移动设备990包括用户输入设备1091，用于接收照片滤镜(例如，风格化绘画/多维)选择962a、标记962b或二维输入选择973，应用于原始图像957a以生成照片滤镜(例如，风格化绘画/多维)光场效果图像964a。
119.移动设备990包括闪存1040a，其包含照片滤镜(例如，多维)光场效果编程945，用
来执行本文所述的产生照片滤镜(例如，艺术/风格化绘画/多维)光场效果的全部或子集功能，其中，照片滤镜选择962a(基于来自用户的标记962b以及区域和滤镜的风格迁移)被用于原始图像858a-b或经处理图像965a-b，以生成照片滤镜风格化绘画/多维效果图像964a-n。
120.如图所示，存储器1040a还包括由左侧可见光摄像头114a捕捉的左侧原始图像858a、由右侧可见光摄像头114b捕捉的右侧原始图像858b，以及由深度传感器213的红外摄像头220捕捉的红外图像859。移动设备1090可包括深度捕捉摄像头1070，其包括至少两个可见光摄像头(具有重叠视野的第一和第二可见光摄像头)，或至少一个可见光摄像头和具有实质性重叠视野的深度传感器(如眼戴设备100)。当移动设备990包括诸如眼戴设备100之类的组件(例，如深度捕捉摄像头)时，可通过移动设备990的深度捕捉摄像头1070捕捉左侧原始图像858a、右侧原始图像858b以及红外图像859。
121.存储器1040a还包括多个深度图像961a-n，其通过眼戴设备100的深度捕捉摄像头或通过移动设备990本身的深度捕捉摄像头1070生成。图11a、11b和11c中示出了可在照片滤镜(例如，多维)光场效果编程945中实现功能的概述流程图。存储器934另包括其他图像，例如对应于左和右原始图像的上图像。
122.存储器1040a还包括二维输入选择973，诸如由用户输入设备1091接收的初始触点和最终触点。存储器1040a还包括：左侧图像视差图960a、右侧图像视差图960b、照片滤镜(例如，风格化绘画/多维效果)图像963a-n、水平位置参数966a、垂直位置参数966b、包括左侧移动x轴位置坐标968a-n的左侧插值像素矩阵967a，右侧移动x轴位置坐标969a-n的右侧插值像素矩阵967b，以及左侧经处理(例如，校正后)和右侧经处理(例如，校正后)图像969a-b(例如，去除朝向透镜末端的渐晕)。如进一步所示，存储器1040a包括顶点矩阵970和旋转矩阵974。原始图像858a-b图像处理期间生成的在存储器1040a中存储的部分或全部信息，用于生成相应的照片滤镜(例如，多维)光场效果图像964a-n。
123.如图所示，移动设备990包括图像显示器1080、控制图像显示的图像显示驱动器1090，以及类似于眼戴设备100的用户输入设备1091。在图10所示的示例中，图像显示器1080和用户输入设备1091被集成到触摸屏显示器内。
124.可使用的触摸屏型移动设备的示例包括(但不限于)智能手机、个人数字助理(pda)、平板电脑、笔记本电脑或其他便携式设备。然而，以示例的方式提供触摸屏型设备的结构和操作，并且本文所述的主题技术并不限于此。因此，就本讨论而言，图10提供了示例性移动设备990的框图图示，该示例性移动设备990配备用于显示内容和作为用户界面(或作为其一部分)接收用户输入的触摸屏显示器。
125.本文讨论的重点活动通常涉及将来自用户的照片滤镜选择962a(基于用户标记962b以及到标记区域和滤镜的风格迁移)应用于原始图像858a-b或经处理图像965a-b相关的数据通信，用于便携式眼戴设备100或移动设备990以生成与照片滤镜风格化绘画/多维效果图像964a-n。如图10所示，移动设备990包括至少一个数字收发器(xcvr)1010，其被示为wwanxcvr，用于通过广域无线移动通信网络进行数字无线通信。移动设备990还包括额外的数字或模拟收发器，诸如用于短程网络通信的短程xcvr 1020，例如借助于nfc、vlc、dect、zigbee、bluetooth
tm
,或者wifi。以短距离xcvr 1020为例，其可以采用任何可用的双向无线局域网(wlan)收发器形式，该收发器的类型与无线局域网中实现的一个或多个标准
通信协议相兼容，诸如根据ieee 802.11和wimax的某一个wi-fi标准。
126.为生成用于定位移动设备990的位置坐标，移动设备990可包括全球定位系统(gps)接收器。作为替代或补充，移动设备990可利用短程xcvr 1020和wwan xcvr 1010中的一个或同时利用二者生成定位用位置坐标。例如，基于gps的定位系统的蜂窝网络、wifi或bluetooth
tm
可生成非常精确的位置坐标，尤其是在组合使用的情况下。可通过一个或多个利用xcvr 1010、1020的网络连接将这类位置坐标传输到眼戴设备。
127.收发器1010、1020(网络通信接口)符合现代移动网络使用的各种数字无线通信标准中的一个或多个。wwan收发器1010的示例包括(但不限于)根据码分多址(cdma)和第三代合作伙伴计划(3gpp)网络技术配置运行的收发器，包括但不限于3gpp2型(或3gpp2)和lte，有时称为“4g”。以收发器1010、1020为例，其可提供信息的双向无线通信，包括数字化音频信号、静态图像和视频信号、用于显示的网页信息以及与网页相关的输入，以及与移动设备990之间的各种类型移动消息通信，用于照片滤镜(例如，多维)光场效果。
128.如前所述，几种通过收发器1010、1020和网络的通信类型涉及支持眼戴设备100或服务器系统998之间通信的协议和程序，用于生成照片滤镜(例如，多维)光场效果图像964a-n，诸如，发送左侧原始图像858a、右侧原始图像858b、红外图像859、深度图像961a-n、照片滤镜图像963a-b和处理后(例如，校正后)图像965a-b。以这些通信为例，可以通过无线连接925和937经由短程xcvr 1020将分组数据传输到眼戴设备100，或从眼戴设备100传输分组数据，如图9所示。此外，这类通信还可以通过图9所示的网络(例如，互联网)995经由wwan xcvr 1010传输利用ip分组数据传输的数据。wwanxcvr 1010和短程xcvr 1020均通过射频(rf)发送和接收放大器(未显示)连接到相关天线(未显示)。
129.移动设备990还包括微处理器，图中显示为cpu 1030，在本文中有时被称为主机控制器。处理器是一种电路，其元件被构造和布置成执行一项或多项处理功能，通常是各种数据处理功能。尽管可使用离散逻辑组件，但示例中使用了构成可编程cpu的组件。例如，微处理器包括一个或多个集成电路(ic)芯片，集成了执行cpu功能的电子元件。以处理器1030为例，其可以基于任何已知或可用的微处理器架构，诸如利用arm架构的精简指令集计算(risc)，这种设置在如今的移动设备和其他便携式电子设备上非常常用。其他处理器电路可被用于形成cpu 1030或智能手机、笔记本电脑和平板电脑中的处理器硬件。
130.微处理器1030通过配置移动设备990执行各种操作(例如，根据处理器1030可执行的指令或编程)来充当移动设备990的可编程主机控制器。例如，此类操作可包括移动设备的各种一般性操作，以及与照片滤镜(例如，多维)光场效果编程945以及与眼戴设备100和服务器系统998的通信相关操作。尽管处理器可以通过采用硬接线逻辑来配置，但移动设备中的典型处理器是通过执行编程配置的一般处理电路。
131.移动设备990包括存储器或存储设备系统，用于存储数据和编程。示例中，存储器系统可包括闪存1040a和随机存取存储器(ram)1040b。ram 1040b用作处理器1030处理的指令和数据的短期存储，例如，用作工作数据处理存储器。闪存1040a通常提供更长时间的存储。
132.因此，在移动设备990的示例中，闪存1040a被用于存储由处理器1030执行的编程或指令。根据具体的设备类型，移动设备990可存储并运行移动操作系统，通过该系统执行特定应用，包括照片滤镜(例，多维)光场效果编程945。以照片滤镜(例如，多维)光场效果编
程945应用为例，其可以是本机应用、混合应用，或在移动设备990上运行的web应用(例如，由web浏览器执行的动态网页)，以根据接收到的照片滤镜(例如，风格化绘画)选择962a和标记962b生成照片滤镜(例如，风格化绘画)光场效果图像964a-n。移动操作系统的示例包括google括google(或设备)、windowsamazonos、rim操作系统等。
133.应了解的是，移动设备990仅仅是照片滤镜(例如，多维)光场效果系统900中主机的一种类型，也可以采用其他布置。以图9所示服务器系统998为例，其可以在生成原始图像858a-b后，通过眼戴设备100的深度捕捉摄像头生成照片滤镜(例如，多维)光场效果图像964a。
134.图11a是一种带具体步骤的方法的流程图，这些步骤可在照片滤镜(例如，多维)光场效果系统900中实施，用于将来自用户的照片滤镜选择962a(基于用户标记962b和对标记区域和滤镜选择的风格迁移)应用于原始图像858a-b或经处理图像965a-b，以生成照片滤镜(例如，多维)光场效果图像964a-n。
135.在框1100中，所示方法包括通过深度捕捉摄像头捕捉左侧原始图像858a和右侧原始图像858b。左侧可见光摄像头114a和右侧可见光摄像头114b可分别捕捉左侧原始图像858a和右侧原始图像858b。
136.继续转到框1110，所示方法还包括计算：(i)左侧像素矩阵和右侧像素矩阵之间的左侧图像视差图960a，以及(ii)右侧像素矩阵和左侧像素矩阵之间的右侧图像视差图960b。左侧像素矩阵是根据左侧原始图像858a或左侧经处理图像965a。右侧像素矩阵则基于右侧原始图像858b或右侧经处理图像965b。
137.计算左侧图像视差图960a和右侧图像视差图960b包括以下步骤。首先，从左侧原始图像858a创建左侧校正图像965a作为左侧经处理图像965a，从右侧原始图像858b创建右侧校正图像965b作为右侧经处理图像965b，以对齐左右原始图像858a-b，并去除左右侧可见光摄像头114a-b各自透镜中的失真情况。其次，通过将左侧校正图像965a和右侧校正图像965b中的像素相关，来提取左侧图像视差图960a和右侧图像视差图960b，反之亦然，以计算每一相关像素的视差(例如利用sgbm)。
138.应用校正，以修改每一捕捉的图像或视频，使相应的像素位于同一光栅线上(行)。一旦完成，即可应用图像视差计算算法，诸如sgbm。视差计算算法为右侧图像和左侧图像中的每一像素找到对应的像素。对于右侧图像中的每一像素，在左侧图像中找到对应的像素。对于非遮挡像素(从两个摄像头都可以看到的像素)，通常按照从左到右和从右到左的顺序发现相同的视差；但另一方面，被遮挡的像素需要单独处理，通常利用相邻像素混合技术。
139.在框1120中，所示方法还包括通过图像显示器180a-b、1080呈现原始图像957a。原始图像957a是基于左侧原始图像858a、左侧经处理图像965a、右侧原始图像858b、右侧经处理图像965b，或上述组合。
140.在框1130中，所示方法还包括通过用户输入设备991、1091从用户处接收照片滤镜选择962a，应用于所呈现原始图像957a。
141.在框1135中，所示方法还包括创建具有照片滤镜效果场景的照片滤镜(例如，风格化绘画/多维)图像。在一示例中，通过用户输入设备991、1091接收原始图像957a上的标记(框1135a；图11b)。标记定义出应用图像风格的图像区域。在一示例中，标记被应用于空白
图像并存储在存储器中。随后，将图像的风格应用于标记(框1135b；图11b)。用户可通过用户输入设备991、1091从预选图像列表中选择目标图像，在互联网上找到的图像、存储在移动设备上的图像或由移动设备捕捉的图像。图像风格可通过nst被迁移到标记处。
142.在框1140中，所示方法还包括为响应来自用户的选择而创建的照片滤镜图像应用到：(i)左侧原始图像858a或左侧经处理图像965a，用于创建左侧照片滤镜图像963a，(ii)右侧原始图像858b或右侧经处理图像965b，用于创建右侧照片滤镜图像963b，或(iii)二者的组合。照片滤镜图像可被覆盖在原始图像上以替换标记区域(参见图12c)，或可与来自标记区域中原始图像的像素混合，以便通过阴影等特征穿过(参见图13)。
143.在框1145中，该方法还包括在另一维度上创建照片滤镜效果场景的照片滤镜(例如，风格化绘画/多维)图像，例如，如果来自先前步骤的图像被指定为向下，则该维度为向上。在一示例中，示出了应用了框1140所示照片滤镜图像的图像(框1145a；图11c)。经由用户输入设备991、1091接收对所显示的图像的编辑(例如，附加标记或滤镜选择)(框1145b；图11c)。在一示例中，用户改变风格化绘画标记的一个或多个特征，例如通过选择不同的颜色或不同的风格来迁移到上述区域，或者选择滤镜，例如变暗或夜间滤镜。然后应用用户选择的变化(框1145c；图11c)，以在另一维度(例如，向上维度)创建照片滤镜效果场景的照片滤镜图像。
144.继续讨论框1150，该方法还包括生成照片滤镜多维效果图像964a，其具有围绕至少一个照片滤镜多维效果图像963a-b的照片滤镜场景进行空间移动或旋转的外观以及到另一维度的过渡变化。可通过基于每个维度的左图像视差图960a和右图像视差图960b将左照片滤镜图像963a和右照片滤镜图像963b混合在一起，并将来自每个维度的已混合左右照片滤镜图像混合在一起来实现这一目的。生成照片滤镜多维效果图像964a的步骤包括以下步骤。首先，确定左像素矩阵和右像素矩阵沿x轴的水平位置移动参数966a和沿y轴的垂直移动参数966b。然后，通过基于水平移动参数966a沿x轴移动左侧像素矩阵中的像素来填充左侧插值像素矩阵967a。然后，通过基于水平移动参数966a沿x轴移动右侧像素矩阵中的像素来填充右侧插值像素矩阵967b。随后，根据垂直运动参数确定混合百分比966b。最后，通过将来自各维度的左侧插值像素矩阵967a和右侧插值像素矩阵967b进行混合，创建照片滤镜风格化多维效果图像964a。
145.填充左侧插值像素矩阵967a的步骤包括以下功能。首先，将来自左侧像素矩阵中每一相应像素的左侧图像视差图960a对应的左侧图像视差乘以水平移动参数966，以导出相应的左侧移动x轴位置坐标968a-n。其次，在左侧插值像素矩阵967a中，将每一相应的像素移动到相应的左侧移动x轴位置坐标968a-n。
146.填充右侧插值像素矩阵967b的操作包括以下步骤。首先，将右侧像素矩阵中每一相应像素右侧图像视差图960b中的对应右侧图像视差乘以水平运动参数966的补码(例如，从数字1中减去水平运动参数966)；即1-x)以导出相应的右侧移动x轴位置坐标969a-n。其次，将每一相应像素移动到右侧插值像素矩阵967b中对应的右侧移动x轴位置坐标969a-n。
147.一旦创建了两个视差图(一个左侧图像视差图960a和一个右侧图像视差图960b)，水平移动参数966将在0和1之间移动，以设置或倾斜所生成照片滤镜(例如，多维)光场效果图像964a的空间移动或旋转。假设水平移动参数966设置为0时完全向左侧图像倾斜，则水平移动参数966被设置为1时将完全向右侧图像倾斜。如果水平移动参数966被设置为0，则
权重被设置为输出左侧图像作为照片滤镜(例如，多维)光场效果图像964a。如果水平移动参数966被设置为1，则权重被设置为输出右侧图像作为照片滤镜(例如，多维)光场效果图像964a。当照片滤镜(例如，多维)光场效果图像964a不等于0或1(中间值)时，空间移动或旋转在左右侧图像之间。对于设置为0.5的水平运动参数966，用rgb值填充空的插值像素矩阵967a-b，以导出中间照片滤镜(例如，多维)光场效果图像964a-n。对于左侧插值像素矩阵967a，由于水平运动参数966被设置为0.5，根据来自左侧图像视差图960a的相应视差值，将左侧图像中的像素移动到右侧图像中对应像素的一半。例如，将来自左侧图像视差图960a的各视差值乘以0.5并添加到x轴位置坐标，以导出左侧移动x轴位置坐标968a。通过根据来自右侧图像视差图960b的相应视差值将右侧图像中像素移动到左侧图像中对应像素的一半，以相同方式填充右侧插值像素矩阵967b。例如，将来自右侧图像视差图960b的各视差值乘以0.5并添加到x轴位置坐标，以导出右侧移动x轴位置坐标969a。对于每一像素，颜色值保持不变，但x轴位置坐标在x轴上移动了视差值的一半。如果像素没有值(被遮挡)，但相邻像素有值，则根据加权相邻像素和视差置信水平来计算被遮挡像素的像素值。
148.在另一示例中，假设水平移动参数966被设置为0.1。为填充左侧插值像素矩阵967a，使用以下计算：对于左侧图像中的每一左侧像素，将来自左侧图像视差图960a的相应视差值乘以0.1，以导出相应的左侧移动x轴位置坐标968a-n。为填充右侧插值像素矩阵967b，采用以下计算：对于右侧图像中的每一右侧像素，右侧图像视差图960b中的相应视差值乘以0.9，得到相应的右侧移动x轴位置坐标969a-n。这将在左侧图像和右侧图像之间创建一个新视图。
149.通过在每个维度中将左内插像素矩阵967a和右内插像素矩阵967b混合在一起，然后在各维度之间混合已混合左内插像素矩阵967a和右内插像素矩阵967b来实现生成照片滤镜(例如，多维)光场效果图像964a的步骤。像素矩阵的混合基于左图像视差图960a和右图像视差图960b中的视差置信水平(例如，通过对每一侧的贡献值进行加权)、梯度或二者的组合。视差置信水平值(例如)基于左右像素之间的相关性等级。尽管可能期望获得相同的图像，但由于左侧图像和右侧图像中不同视角而引起的反射、照明等差异，组合后照片滤镜(例如，多维)光场效果图像964a并不相同。这将创建具有新视角图的照片滤镜(例如，多维)光场效果图像964a。
150.在生成照片滤镜(例如，多维)光场效果图像964a时，实际距离或深度不用于旋转，也未采用3d顶点。取而代之，使用的是视差，其与深度有关，但视差并不是直接的深度。相反，视差是像素的移动，这意味着图像处理可在2d空间内完成，以加快运行速度并减少存储器需求。无需任何3d转换，只需提供相应像素和相应像素之间的插值。尽管对应关系(视差)可转化为深度(距离)，但该照片滤镜(例如，多维)光场效果并不需要深度。z轴上的深度是10米还是20米并不重要，因为像素是基于水平移动参数966移动到不同的x轴位置坐标。
151.转到框1160，所示方法还包括通过图像显示器180a-b、1080呈现多维效果图像964a。某些示例中，在眼戴设备100上通过深度捕捉摄像头实现对左侧原始图像858a和右侧原始图像858b的捕捉步骤。计算步骤：(i)左侧图像视差图960a，和(ii)右侧图像视差图960b；通过图像显示器1080呈现原始图像957a；通过用户输入设备1091接收照片滤镜效果选择962a；创建照片滤镜图像963a-b；生成照片滤镜风格化绘画效果图像964a；以及通过图像显示器1080，在主机990、998上实现照片滤镜风格化绘画效果图像964a的呈现。
152.将来自用户的风格化绘画效果选择962a应用于：(i)左侧原始图像858a或左侧经处理图像965a，用于创建左侧风格化绘画/多维效果图像963a，(ii)右侧原始图像858b或右侧经处理图像965b，用于创建右侧风格化绘画/多维效果图像963b，或者(iii)二者的组合，可以基于z位置坐标。这可以改变风格化绘画效果功能971的滤镜效果强度，以根据与每一像素相关联各顶点的深度位置变换每一像素。在z轴上，与具有较浅深度的位置相比，具有较深深度位置的z位置坐标的各顶点上应用滤镜效果的强度更强烈。
153.图12a示出了第一张所呈现原始图像957a的示例，其是处理后(例如，校正后)后图像965a。第一张所呈现原始图像957a包括在x轴1205具有x位置坐标和y轴1210具有y位置坐标的各种二维像素。
154.图12b示出在图12a中第一张所呈现原始图像957a上具有标记962b的图像1202示例。标记962b确定出在图像1202中应用风格化绘画的区域。通过用户输入设备991，用户可输入标记(例如，用手指在显示器上绘制)。标记962b可被记录在空白图像上，并存储在存储器中。
155.图12c的示例示出从图12a中第一张所呈现原始图像957a和图12b中标记962b创建的照片滤镜(例如，风格化绘画效果)图像1204。如图所示，将来自用户的风格化绘画效果选择963a应用于由用户标记962b定义的第一张所呈现原始图像957a的区域是基于第一照片滤镜(例如，风格化绘画效果)功能971，该功能将由标记962b定义区域中第一张所呈现原始图像957a的每一像素转换为创建一风格化绘画效果场景。照片滤镜(例如风格化绘画效果)功能971将风格从edvardmunch 1983年的《呐喊》等绘画转移到作为风格化绘画效果场景的区域。
156.图12d示出了另一维度的照片滤镜(例如，风格化绘画效果)图像1206的示例。照片滤镜图像1206可以是具有来自用户编辑的照片滤镜图像1204的副本。用户编辑可包括改变应用于标记的颜色或风格或添加滤镜(例如，变暗或夜间滤镜)。
157.图12e的示例示出了从图12c和12d的照片滤镜(例如，风格化绘画效果)图像1204生成的第一照片滤镜(例如，风格化绘画效果)光场效果图像1208，其中空间移动或旋转向左倾斜，维度向下倾斜。
158.图12f的示例示出了从图12c和12d的照片滤镜(例如，风格化绘画效果)图像1204生成的第一照片滤镜(例如，风格化绘画效果)光场效果图像1208，其中空间移动或旋转向右倾斜，维度向上倾斜。
159.图13中另一示例示出根据第一张所呈现原始图像和带有风格化绘画963a标记创建的照片滤镜(例如，风格化绘画效果)图像1300。标记包括两个箭头(直箭头和曲线箭头)。照片滤镜图像1300与背景混合，使得来自诸如人1304和结构1306的阴影103被保留。
160.如前所述，本文所述用于眼戴设备100、移动设备990和服务器系统998的照片滤镜(例如，风格化绘画)光场效果功能中的任何一个均可体现在一个或多个应用中。根据一些示例，“功能(一个)”、“功能(多个)”、“应用(一个)”、“应用(多个)”、“指令(一个)”、“指令(多个)”或“编程”是执行程序中所定义功能的程序。可以使用各种编程语言来创建一个或多个以各种方式构造的应用程序，例如面向对象的编程语言(例如，objective-c、java或c )或程序设计语言(例如，c或汇编语言)。在特定示例中，第三方应用程序(例如，由非特定平台的供应商以外的实体使用android
tm
或ios
tm
软件开发工具包(sdk)开发的应用程序)可
以是在ios
tm
、android
tm
、phone等移动操作系统(如ios)上运行的移动软件或其他移动操作系统。在此示例中，第三方应用程序可以调用操作系统提供的api调用，以促进本文所述的功能。
161.因此，机器可读介质可采用多种形式的有形存储介质。以非易失性存储介质为例，其包括光盘或磁盘，诸如任何计算机中的所有存储设备等，可用于实现图中所示的客户端设备、媒体网关、转码器等。易失性存储介质包括动态存储器，诸如某一计算机平台的主存储器。有形传输介质包括同轴电缆；铜线和光纤，包含构成计算机系统内总线的电线。载波传输介质的形式可以采用电信号或电磁信号，或声波或光波，诸如在射频(rf)和红外(ir)数据通信期间产生的声波或光波。因此，计算机可读介质的常见形式包括：软盘、软磁盘、硬盘、磁带、任何其他磁性介质、cd-rom、dvd或dvd-rom、任何其他光学介质、穿孔卡片、纸带、任何其他带孔图案的物理存储介质、ram、prom和eprom、flash-eprom、任何其他存储器芯片或盒带、传输数据或指令的载波、传输此类载波的电缆或链路，或计算机可从中读取编程代码或数据的任何其他介质。其中诸多形式的计算机可读介质可能涉及将一个或多个指令的一个或多个序列传送到处理器用于执行。
162.保护范围完全由随附的权利要求限定。该范围意在且并应被解释成与当依据该规范解释时的范围一样宽泛，权利要求中所使用语言的普通含义与以下审查历史相符并被解释成包括所有结构和功能的等同物。权利要求中不存在一项旨在包括未能满足专利法第101、102或103要求的主题，它们也不应以这样的方式来解释。在此未要求保护这种主题的任何非计划中的覆盖。
163.除上述内容外，所述和所示内容不意指也不应被解释成导致任何部件、步骤、功能、目标、益处、优点或等同物专属于公众，无论其是否记载在权利要求中。
164.应了解的是，除非本文另行规定具体含义，否则本文使用的术语和表达具有相对于该等术语和表达各自的相应调查研究领域所赋予该等术语和表达的一般含义。诸如“第一”和“第二”等关系术语可仅用于将一个实体或动作与另一个实体或动作区别开，而不必要求或暗示该等实体或动作之间存在任何实际的该等关系或顺序。术语“包括”、“包含”、“含有”、“包括在内”或其任何其他变体意在涵盖非排他性的包含，使得包括或包含一系列要素或步骤的过程、方法、物品或装置，不仅包括这些要素或步骤，还可以包括未明确列出的或该等过程、方法、物品或装置固有的其他要素或步骤。在没有进一步限制的情况下，前面带有“一个”的要素并不排除在包括该要素的过程、方法、物品或装置中存在其他相同要素。
165.除非另有说明，否则本说明书(包括随附的权利要求)中所述的任何和所有测量值、数值、额定值、位置、量级、尺寸等规格均为近似值，而非精确值。此类数量意在具有与其涉及的功能相符并且与其所属的领域中的惯例相符的合理范围。例如，除非另有明确说明，否则参数值等可能与规定量相差
±
10％。
166.此外，在前述的具体实施方式中，可以看出，为了简化本次披露，各种示例将各种特征组合在一起。这种公开方法不应被解释为反映如下意图，即要求保护的示例要求具有比每项权利要求中明确叙述的特征更多的特征。相反，正如以下权利要求所反映的，要保护的主题不在于任何单个公开示例的全部特征。因此，特此将以下权利要求并入具体实施方式，每项权利要求作为单独要求保护的主题独立存在。
167.尽管前述内容描述了被认为是最佳的方式和其他示例，但可以理解的是，在该等方式和示例中可以进行各种修改，本文公开的主题可以以各种形式和示例实现，并且该等方式和示例可以应用于多种应用，本文仅描述了其中一些应用。以下权利要求旨在要求保护属于本概念真正范围内的任何以及所有修改和变化。