多维渲染的制作方法

技术特征：
1.一种用于创建多维效果图像的多维效果系统，该系统包括：一种眼戴设备，包括：镜架，配备连接到镜架侧面的镜腿；以及深度捕捉摄像头，其配置可支持捕捉具有重叠视图的左原始图像和右原始图像；用于呈现图像的图像显示器，包括原始图像，其中原始图像基于左侧原始图像、左侧经处理图像、右侧原始图像、右侧经处理图像或其组合；图像显示驱动器，其被耦合到图像显示器以控制图像显示器呈现原始图像；一种用户输入设备，用于从用户接收图像标记、多维效果选择和风格选择；存储器和处理器，其被耦合到深度捕捉摄像头、图像显示驱动器、用户输入设备和存储器；以及在存储器中编程，其中由处理器执行编程将多维效果系统配置为执行功能，包括以下功能：经由深度捕捉摄像头捕捉左原始图像和右原始图像；通过图像显示器显示原始图像；经由用户输入设备从用户接收标记、多维效果选择和风格选择；根据使用标记和风格选择的多维效果选择，在至少两个维度中的每一个维度上至少创建一个具有多维效果场景的多维效果图像；将多维效果图像应用于：(i)左侧原始图像或左侧经处理图像，以创建左侧多维效果图像，(ii)右侧原始图像或右侧经处理图像，以创建右侧多维效果图像，或(iii)在至少两个维度的每一个上创建以上二者的组合；通过在所述至少两个维度中的每一个维度上将所述左侧多维效果图像和所述右侧多维效果图像混合在一起，并且将来自所述至少两个维度的已混合左侧多维效果图像和右侧多维效果图像进行混合，生成多维光场效果图像，所述多维光场效果图像具有围绕所述至少一个多维效果图像的多维效果场景进行空间移动或旋转的外观，以及所述至少两个维度之间的过渡变化；以及经由图像显示器呈现多维光场效果图像。2.根据权利要求1所述的系统，其中接收风格选择的功能包括：接收来自用户的图像选择；以及其中，在每个维度上至少创建一个具有多维效果场景的多维效果图像的函数包括以下功能：在至少一个维度上使用神经风格迁移将图像选择应用于标记。3.根据权利要求2所述的系统，其中创建至少一个多维效果图像的功能包括：接收滤镜选择；以及在所述至少两个维度中的一个维度上应用所选择的滤镜。4.根据权利要求1所述的系统，其中所述用户输入设备包括：一个惯性测量单元，其配置支持至少一个多维光场效果图像围绕多维效果场景进行空间移动或旋转，以及至少两个维度之间的过渡变化。5.根据权利要求1所述的系统，其中所述编程还包括以下功能：计算：(i)左像素矩阵和右像素矩阵之间的左图像视差图，以及(ii)右像素矩阵和左像
素矩阵之间的右图像视差图，其中左侧原始图像或左侧经处理图像包括左像素矩阵，右侧原始图像或右侧经处理图像包括右像素矩阵；其中：生成多维效果图像的功能包括：在各个维度上，确定左像素矩阵和右像素矩阵沿x轴的水平位置移动参数；通过基于水平移动参数沿x轴移动左侧像素矩阵中的像素来填充左侧插值像素矩阵；通过基于水平移动参数沿x轴移动右侧像素矩阵中的像素来填充右侧插值像素矩阵；以及通过将左侧插值像素矩阵和右侧插值像素矩阵进行混合，创建多维光场效果图像。6.根据权利要求5所述的系统，其中：通过将左侧插值像素矩阵和右侧插值像素矩阵进行混合，生成多维光场效果图像的功能是基于左侧图像视差图和右侧图像视差图中的视差置信水平、梯度或二者的组合。7.根据权利要求5所述的系统，其中生成多维效果图像的功能还包括以下功能：确定沿左像素矩阵或右像素矩阵的y轴的垂直位置移动参数。8.根据权利要求7所述的系统，其中确定水平位置移动参数和垂直位置移动参数的函数包括以下功能：经由用户输入设备，从用户接收所呈现原始图像的二维输入选择；经由所述用户输入设备跟踪所述二维输入选择在水平方向上从所呈现原始图像的初始触点到最终触点的运动；以及经由所述用户输入设备跟踪所述二维输入选择在垂直方向上从所呈现原始图像的初始触点到最终触点的运动。9.根据权利要求8所述的系统，其中：用户输入设备包括：触摸传感器，包括输入界面和传感器阵列，被用来耦合到输入界面，以至少能够接收来自用户输入的单指接触；以及集成在触摸传感器中或连接到触摸传感器并连接到处理器的传感电路，该传感电路被配置为测量电压至少能够跟踪输入界面上的单指接触；经由用户输入设备从用户接收多维效果选择的功能包括在触摸传感器的输入表面上接收从用户输入的至少一个手指触点的功能；以及经由用户输入设备跟踪二维输入选择从初始触点到最终触点的运动以导出水平位置移动参数和垂直位置移动参数的功能包括经由感测电路跟踪从触摸传感器的输入表面上的至少一个手指触点到最终触点的拖动的功能。10.一种包括以下步骤的方法：通过深度捕捉摄像头捕捉左侧原始图像和右侧原始图像经由图像显示器呈现原始图像，其中原始图像基于左侧原始图像、左侧经处理图像、右侧原始图像、右侧经处理图像或其组合；经由用户输入设备，接收来自用户的标记、多维效果选择和风格选择；根据使用标记和风格选择的多维效果选择，在至少两个维度中的每一个维度上至少创建一个具有多维效果场景的多维效果图像；
将多维效果图像应用于：(i)左侧原始图像或左侧经处理图像，以创建左侧多维效果图像，(ii)右侧原始图像或右侧经处理图像，以创建右侧多维效果图像，或(iii)以上二者的组合；通过在所述至少两个维度中的每一个维度上将所述左侧多维效果图像和所述右侧多维效果图像混合在一起，并且将来自所述至少两个维度的已混合左侧多维效果图像和右侧多维效果图像进行混合，生成多维光场效果图像，所述多维光场效果图像具有围绕所述至少一个多维效果图像的多维效果场景进行空间移动或旋转的外观，以及所述至少两个维度之间的过渡变化；以及经由图像显示器呈现多维光场效果图像。11.根据权利要求10所述的方法，其中所述的接收包括：接收来自用户的图像选择；以及其中，在每个维度上于多维效果场景内至少创建一个多维效果图像包括：在至少一个维度上使用神经风格迁移将图像选择应用于标记。12.根据权利要求11所述的方法，其中创建至少一个多维效果图像包括：接收滤镜选择；以及在所述至少两个维度中的一个维度上应用所选择的滤镜。13.根据权利要求10所述的方法，其进一步包括：确定图像显示器的惯性运动，支持至少一个多维光场效果图像围绕多维效果场景进行空间移动或旋转，以及至少两个维度之间的过渡变化。14.根据权利要求10所述的方法，其进一步包括：计算：(i)左像素矩阵和右像素矩阵之间的左图像视差图，以及(ii)右像素矩阵和左像素矩阵之间的右图像视差图，其中左侧原始图像或左侧经处理图像包括左像素矩阵，右侧原始图像或右侧经处理图像包括右像素矩阵；其中：生成多维效果图像包括：在各个维度上，确定沿左侧像素矩阵和右侧像素矩阵x轴的水平位置移动参数；通过基于水平移动参数沿x轴移动左侧像素矩阵中的像素来填充左侧插值像素矩阵；通过基于水平移动参数沿x轴移动右侧像素矩阵中的像素来填充右侧插值像素矩阵；以及通过将左侧插值像素矩阵和右侧插值像素矩阵进行混合，创建多维光场效果图像。15.根据权利要求14所述的方法，其中通过将左侧插值像素矩阵和右侧插值像素矩阵进行混合，生成多维光场效果图像，该功能基于左侧图像视差图和右侧图像视差图中的视差置信水平、梯度或二者的组合。16.根据权利要求15所述的方法，其中生成多维光场效果图像还包括：确定沿左像素矩阵或右像素矩阵的y轴的垂直位置移动参数。17.根据权利要求16所述的方法，其中确定水平位置移动参数和垂直位置移动参数包括：经由用户输入设备，从用户接收所呈现原始图像的二维输入选择。经由所述用户输入设备跟踪所述二维输入选择在水平方向上从所呈现原始图像的初
始触点到最终触点的运动；以及经由所述用户输入设备跟踪所述二维输入选择在垂直方向上从所呈现原始图像的初始触点到最终触点的运动；18.根据权利要求15所述的方法，其中：在眼戴设备上实现经由深度捕捉摄像头捕捉左侧原始图像和右侧原始图像的步骤；以及计算步骤：(i)左侧图像视差图，和(ii)右侧图像视差图；通过图像显示器显示原始图像；通过用户输入设备接收照片滤镜效果选择；创建照片滤镜图像；生成所述照片滤镜多维效果图像；通过图像显示器呈现照片滤镜多维效果图像，以上功能为在主机上实现。19.一种存储程序代码的非暂时性计算机可读介质，在执行该程序代码时，可使电子处理器执行以下步骤：通过深度捕捉摄像头捕捉左侧原始图像和右侧原始图像；经由图像显示器，呈现原始图像，其中原始图像基于左侧原始图像、左侧经处理图像、右侧原始图像、右侧经处理图像或其组合；经由用户输入设备，接收来自用户的标记、多维效果选择和风格选择；根据使用标记和风格选择的多维效果选择，在至少两个维度中的每一个维度上至少创建一个具有多维效果场景的多维效果图像；将多维效果图像应用于：(i)左侧原始图像或左侧经处理图像，以创建左侧多维效果图像，(ii)右侧原始图像或右侧经处理图像，以创建右侧多维效果图像，或(iii)以上二者的组合；通过在所述至少两个维度中的每一个维度上将所述左侧多维效果图像和所述右侧多维效果图像混合在一起，并且将来自所述至少两个维度的已混合左侧多维效果图像和右侧多维效果图像进行混合，生成多维光场效果图像，所述多维光场效果图像具有围绕所述至少一个多维效果图像的多维效果场景进行空间移动或旋转的外观，以及所述至少两个维度之间的过渡变化；以及经由图像显示器呈现多维光场效果图像。20.权利要求19所述的非瞬态计算机可读介质，其中所述接收包括：接收来自用户的图像选择；以及其中，在多维效果场景中创建至少一个多维效果图像：使用神经风格迁移将图像选择在至少一个维度上应用于标记。

技术总结
一种照片滤镜(例如，多维)光场效果系统，包括带镜架的眼戴设备、连接到镜架侧面的镜腿，以及深度捕捉摄像头。由处理器执行编程将系统配置为在至少两个维度中的每一个维度上创建图像，通过在每个维度上将左照片滤镜图像和右照片滤镜图像混合在一起，并且混合来自所有维度的混合图像来创建具有空间旋转或移动以及过渡变化外观的多维光场效果图像。以及过渡变化外观的多维光场效果图像。以及过渡变化外观的多维光场效果图像。


技术研发人员：萨基
受保护的技术使用者：美国斯耐普公司
技术研发日：2020.08.28
技术公布日：2022/5/17