一种光场相机的光场重建方法及系统与流程

1.本技术涉及光场相机技术领域，尤其涉及一种光场相机的光场重建方法及系统。


背景技术：

2.随着光场相机应用技术的发展，引发人们对无缝融合角色和环境的高质量混合现实体验的兴趣。对于允许用户在六个自由度下自由移动的沉浸式和交互式体验场景，所呈现的视频内容需要从任何角度进行调整以完成光场重建。
3.然而，现如今对光场相机在深度数据估计方向的开发关注度不够，实时从颜色进行深度估计的成本高、代价大，并且传统光场相机对体量较大的数据解码能力不佳，从而光场重建的效果较差、效率较低。


技术实现要素：

4.本发明实施例的目的在于提供一种光场相机的光场重建方法及系统，本技术实施例能够对光场相机的深度数据进行实时光场重建。具体技术方案如下：
5.在本发明实施例的第一方面，提供一种光场相机的光场重建方法，包括：
6.获取光场信号和光强分布；
7.对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素；
8.获取光场的稀疏表示模型，以及所述光强分布的傅里叶转换公式；
9.基于采样和通过一个或多个计算机处理器的操作来确定线路的值，第一对端点，第二对端点以及用于最小化误差的每个像素的相应调色板索引，其中确定的值对于每个像素的各个调色板索引与所确定的第一对端点或第二对端点相关联；
10.获取光场图像的碎片化观测值和最大似然估计值；
11.存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。
12.可选地，该方法还包括：
13.获取光场的字典训练与稀疏编码模型；
14.通过使用该行的所述像素块的深度数据来压缩所述像素块的功能、所述第一对端点和所述第二对终点。
15.可选地，对于所述像素块的每个像素，该方法还包括：
16.获取落在微透镜阵列前表面的第一波阵面坐标；
17.基于像素相对于线所在的半空间来选择第一对端点或第二端点对中的一个；
18.像素的深度数据中的深度值被捕捉到与所选第一对端点或第二对端点相关联的最近调色板索引。
19.可选地，该方法还包括：
20.获取虚拟角度图像相机阵列获取的光场各角度图像的残差；
21.至少部分地基于深度图像与一个或多个先前深度图像之间的差异，来确定深度图像的掩模。
22.可选地，该方法还包括：
23.获取相位变化；
24.生成四叉树数据结构，该四叉树数据结构包括与被确定的掩模掩蔽的深度图像的像素相关联的节点，其中所生成的四叉树数据结构的每个节点指示多个函数的相应函数和与相应函数相关联的系数值，并且其中多个函数包括该功能。
25.可选地，该方法还包括:
26.获取虚拟角度图像；
27.通过以下方式生成四叉树数据结构的运行时打包形式：自顶向下和深度优先遍历四叉树数据结构；
28.将四叉树数据结构的节点复制到生成的运行时打包形式，这些节点被配置为在误差范围内逼近深度图像的对应部分。
29.可选地，该方法还包括:
30.获取第二波阵面的坐标；
31.将生成的运行时打包表单和与光场探测器相关的其他运行时打包表单组装成视频流。
32.可选地，该方法还包括：
33.对于要显示给用户的视频帧，选择光场探测器的面部的一个或多个可见部分；
34.确定要更新的一个或多个可见部分；
35.构建索引，以索引组装视频流；
36.至少部分地基于索引和要更新的可见部分中的一个或多个部分来确定要解压缩的视频流的一个或多个部分；
37.为所确定的视频流的一个或多个部分产生一个或多个线程组，其中一个或多个线程组中的每一个对视频流的所确定的一个或多个部分中的相应像素块进行解压缩。
38.在本发明实施例的又一方面，提供一种光场相机的光场重建系统，所述系统包括：
39.第一获取模块，用于获取光场信号和光强分布；
40.采样模块，用于对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素；
41.第二获取模块，用于获取光场的稀疏表示模型，以及所述光强分布的傅里叶转换公式；
42.确定模块，用于基于采样和通过一个或多个计算机处理器的操作来确定线路的值，第一对端点，第二对端点以及用于最小化误差的每个像素的相应调色板索引，其中确定的值对于每个像素的各个调色板索引与所确定的第一对端点或第二对端点相关联；
43.第三获取模块，用于获取光场图像的碎片化观测值和最大似然估计值；
44.存储模块，用于存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。
45.在本发明实施例的又一方面，提供一种光场相机的光场重建装置，包括：处理器，
所述处理器用于执行如上所述的方法。
附图说明
46.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
47.图1是本技术实施例提供的一种光场相机的光场重建方法的另一流程示意图；
48.图2是本技术实施例提供的一种光场相机的光场重建方法的流程示意图；
49.图3是本技术实施例提供的一种光场相机的光场重建系统的结构示意图。
具体实施方式
50.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
51.应当理解，本说明书中所使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
52.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
53.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
54.图1示出了本技术实施例提供的一种光场相机的光场重建方法的流程示意图，如图1所示，一种光场相机的光场重建方法包括如下步骤：
55.步骤101、获取光场信号和光强分布。
56.假设为获取的光场信号，基于学习的字典构造方法可以通过对光场多维信号进行特征筛选，构造出更加适合表示特定场景光场信号的基矩阵，光场信号可以稀疏表示为：
57.i＝da，
[0058][0059]
[0060]
其中，a为稀疏表示系数矩阵，d为基矩阵。
[0061]
微尺度流场中不同深度上的两个示踪粒子s1和s2通过光场显微成像系统的成像示意图，ccd传感器面上光强分布可表示为：
[0062]
g(x，y，z)＝h(x，y，z)*o(x，y，z) n(x，y，z)
[0063]
其中，o(x，y，z)为为流场中示踪粒子的光强分布；h(x，y，z)为光场显微成像系统的psf；*为卷积符号；n(x，y，z)为系统噪声。
[0064]
步骤102、对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素。
[0065]
步骤103、获取光场的稀疏表示模型，以及所述光强分布的傅里叶转换公式。
[0066]
光场字典训练与稀疏编码问题是光场图像稀疏逼近的逆问题，将光场的线性稀疏性约束转化到约束函数中，则光场的稀疏表示模型可以表示为：
[0067][0068]
这是一个针对d和a的联合优化问题。但是该(d，a)是非凸的，难以在d与a均未知的情况下求得最优解。但是，如果其中一个变量一旦确定，问题就转化为一个凸优化问题。因此，可以通过对数据预处理，初始化一个适合条件的字典，然后通过逐步迭代求得最优基元素和稀疏编码矩阵。
[0069]
反卷积过程是卷积的逆过程，是一种用于显微镜图像去模糊和三维重建的常用工具。因此通过ccd传感器获得的光场图片和光场显微成像系统的psf可以重建得到流场中示踪粒子的光强分布。对以上公式进行傅里叶变换，即：
[0070][0071]
步骤104、基于采样和通过一个或多个计算机处理器的操作来确定线路的值、第一对端点、第二对端点以及用于最小化误差的每个像素的相应调色板索引。
[0072]
其中，确定的值对于每个像素的各个调色板索引与所确定的第一对端点或第二对端点相关联。
[0073]
步骤105、获取光场图像的碎片化观测值和最大似然估计值。
[0074]
不同角度的光场图像之间形成了严格的全局约束，邻近的互有重叠的光场碎片采样之间形成了强有力的局部约束，这些空间-角度约束关系都经由过完备字典线性映射到了图像的稀疏表示域。光场图像碎片化观测值可以表示为：
[0075][0076]
其中，(p
x
，py)表示窗口大小；ω为图像碎片提取算子；step为图像分解步长，表示分解后的图像序列i
ˊ
的重叠程度，在进行图像碎片提取时，通常将步长设置为1，以计算时间和硬件开销为代价增加待选择光场特征样本数量。
[0077]
最大似然值可以表示为：
[0078][0079]
其中，和分别为第i和第i 1次迭代得到的物点的估计值。h(-x，-y，-z)为h(x，y，z)的转置。
[0080]
步骤106、存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。
[0081]
请参阅图2，图2是本技术实施例提供的一种光场相机的光场重建方法的流程示意图。在一些实施例中，本技术实施例还包括以下步骤：
[0082]
步骤201、获取光场的字典训练与稀疏编码模型。
[0083]
光场的字典训练与稀疏编码模型表示为：
[0084][0085]
通过上述学习的方法可以构造出对特定场景特征自适应的字典，字典中的低维光场原子能够稀疏地表示自然光场的基础元素结构，其线性组合能够高效地表达复杂的光照阴影、纹理、遮挡等自然场景信息，并且能够对光场的局部空间-角度一致性进行稀疏表达，因此以探测器的一个像素为中心的2d局部图像就可以对4d光场块进行重建，并最终融合成4d光场。
[0086]
步骤202、通过使用该行的所述像素块的深度数据来压缩所述像素块的功能、所述第一对端点和所述第二对终点。
[0087]
可选地，本技术实施例还包括以下步骤：
[0088]
对于所述像素块的每个像素，所述方法还包括：
[0089]
获取落在微透镜阵列前表面的第一波阵面坐标；
[0090]
基于像素相对于线所在的半空间来选择第一对端点或第二端点对中的一个；
[0091]
像素的深度数据中的深度值被捕捉到与所选第一对端点或第二对端点相关联的最近调色板索引。
[0092]
可选地，所述方法还包括：
[0093]
获取虚拟角度图像相机阵列获取的光场各角度图像的残差；
[0094]
至少部分地基于深度图像与一个或多个先前深度图像之间的差异，来确定深度图像的掩模。
[0095]
可选地，所述方法还包括：
[0096]
获取相位变化；
[0097]
生成四叉树数据结构，该四叉树数据结构包括与被确定的掩模掩蔽的深度图像的像素相关联的节点，其中所生成的四叉树数据结构的每个节点指示多个函数的相应函数和与相应函数相关联的系数值，并且其中多个函数包括该功能。
[0098]
可选地，所述方法还包括:
[0099]
获取虚拟角度图像；
[0100]
通过以下方式生成四叉树数据结构的运行时打包形式：自顶向下和深度优先遍历四叉树数据结构；
[0101]
将四叉树数据结构的节点复制到生成的运行时打包形式，这些节点被配置为在误差范围内逼近深度图像的对应部分。
[0102]
可选地，所述方法还包括:
[0103]
获取第二波阵面的坐标；
[0104]
将生成的运行时打包表单和与光场探测器相关的其他运行时打包表单组装成视频流。
[0105]
可选地，所述方法还包括：
[0106]
对于要显示给用户的视频帧，选择光场探测器的面部的一个或多个可见部分；
[0107]
确定要更新的一个或多个可见部分；
[0108]
构建索引，以索引组装视频流；
[0109]
至少部分地基于索引和要更新的可见部分中的一个或多个部分来确定要解压缩的视频流的一个或多个部分；
[0110]
为所确定的视频流的一个或多个部分产生一个或多个线程组，其中一个或多个线程组中的每一个对视频流的所确定的一个或多个部分中的相应像素块进行解压缩。
[0111]
高深度误差可能对重建质量造成灾难性影响，会产生动画浮动几何体或孔洞，从而导致颜色重建和用户对环境的感知出现进一步错误。为了防止高深度错误，压缩应用程序使用两个标准来为一个配置中的节点选择最佳近似函数。在这种情况下，第一个标准是每个维度为k的像素块在对数空间中的最大绝对距离:
[0112][0113]
其中，x和y为像素块的坐标值，k为像素块的维度，d为d是量化深度数据，为量化深度数据的预测值。
[0114]
对于每个块，压缩应用程序可以确定建模函数等式的误差，并保留可接受误差e
max
≤e
max
。对于此类可接受的建模函数，压缩应用程序进一步确定上述像素块的均方误差(mse)：
[0115][0116]
其中，该公式中涉及到的e、x、y、k可以参考计算e
max
中的参数。
[0117]
并选择近似于最低mse的像素块的建模函数，这里也称为最佳近似函数。
[0118]
在一些实施例中，本技术实施例的方法可以使用原始建模函数、双二次函数和bc4w建模函数。这些建模函数的系数值可以存储在32个字节内，通过随机访问实现高效解码。在一些实施例中，四叉树140的最细级别可以包括4
×
4像素节点(或任何其他大小的像素节点，例如8
×
8、16
×
16、32
×
32等)存储未压缩的量化数据，从而完全占据所有32个字节。原始建模函数将原始像素数据直接存储为量化的对数z空间中的16个16位值，仅在这个
最精细的级别(4
×
4像素块)中使用，并且在没有良好近似值时作为故障安全存在可以在给定粗级节点中的错误阈值的情况下找到。
[0119]zxy
＝d
xy
，
[0120]
其中，z
xy
是浮点线性深度数据的双二次函数，d是量化深度数据，且x，y∈[1，4]。
[0121]
在一些实施例中，建模函数可以使用由一条线隔开的两个平面表面在任何级别上近似节点的浮点线性深度数据：
[0122][0123]
其中，x和y为像素块的坐标值，k为x和y的最大取值，a和b为参数值。
[0124]
在一些实施例中，双二次建模函数使用双二次曲面逼近任意级别节点的浮点线性深度数据:
[0125]zxy
＝a0x a1y a2xy a3x2 a4yy a5[0126]
在一些实施例中，可以通过求解线性系统来计算双二次函数z
xy
。其中，双二次函数是指多项式函数中，存在两个次数最高的项的次数均为2，以z
xy
为例，其存在两个最高项数a2xy和a3x2，两者的次数最高且均为2，则z
xy
为双二次函数。
[0127]
特别是对于双二次方程，压缩应用程序可以计算设计矩阵a和输出向量b，如下所示：
[0128]
x＝[0，1，0，1，2，0]
[0129]
y＝[0，0，1，1，0，2]
[0130]aij
＝∑
y＝1k
∑
x＝1k
x
x《sub2》i《/sub2》 x《sub2》j《/sub2》yy《sub2》i《/sub2》 y《sub2》j《/sub2》
[0131]bi
＝∑
y＝1k
∑
x＝1k
xyd
xy
，
[0132]
其中，k是块尺寸，d
xy
是是像素(x，y)处的深度值。
[0133]
双二次函数可以很好地捕获结构化表面(平面和光滑)，但可能无法捕获此类表面上的深度变化。当需要高质量近似函数且应用该函数计算失败时，可能需要在四叉树的最精细级别上使用原始建模函数，但使用原始建模函数的成本要高得多。为了提高高质量的近似值，一种配置中的压缩应用程序使用本技术称为bc4w的建模函数。bc4w建模函数在一种配置中适用于每像素16位和8
×
8像素图块，它使用一条线和2对端点，每对端点都是根据相对于线的半空间选择的。在这种情况下，每个8
×
8像素块使用32个字节进行近似，提供4∶1压缩比，每个压缩数据块包括4个深度端点(2个端点对)，8
×
8中每个像素的调色板索引像素图块和线。
[0134]
线路将像素瓦片的像素分开分为两个概念区域，以及两对终点和表示用于近似于地区的深度的深度值，以及调色板指数(例如，调色板指数与端点相关联。在端点之间包括均匀间隔的深度值和以及终点和他们自己。
[0135]
bc4w建模函数背后的直觉是尝试近似像素块上的两个不同的表面。例如，如果像素图块描绘了屏幕的边缘，则bc4w建模函数可以将像素块的一部分近似为屏幕和像素块的其余部分作为背景，这条线是分隔两者的深度边缘表面和两个端点对代表两个深度平面。在这种情况下，存储在屏幕或背景中存储单个值，而不是存储一系列深度值(使用调色板指数量化)。
[0136]
像素瓦片中的像素那是在线的左侧被分配了一个等距的八个调色板索引值中的
一个，并包括端点从而量化像素深度值作为八个调色板索引值，而不是表示像素深度值，例如浮点数。类似地，像素瓦片中的像素那是在线的右侧被分配了一个等距的八个调色板索引值中的一个，并包括端点。说明性地，这对终点与一对终点分开，作为线左侧的深度值的变化大于线的右侧。结果，调色板指数与端点之间也比一对端点之间的调色板指数进一步，在线的左侧使压缩精度更高比在线的右边。
[0137]
与块压缩格式3dc (也称为bc4)不同，bc4w建模函数使用两个端点对而不是单对，并且像素块中的像素选择与线的侧面对应的2个端点对中的一个像素是打开的。例如，8
×
8深度像素中的64个像素中的每一个300选择一个端点对和基于该线的哪一侧像素是打开的。然后，将像素的深度值被捕获到与所选终点对相关联的最近的调色板指数，并用于在端点值之间插入，如下面更详细地讨论的那样。深度值最接近调色板指数与所选端点对相关联，虽然深度值最接近调色板索引。深度值已被扣为调色板指数和深度值已被扣为调色板指数i。因为已知线路的哪一侧每个像素是开启的，所需的唯一信息用于每个像素的是该像素的相关调色板索引。在一种配置中，端点可以使用以下数值顺序来破坏退化:如果d0》d1，调色板指数对应于(且包括)端点之间的8个均匀间隔值，其中如果d0《d1，调色板指数对应于端点之间的(且包括)端点之间的6个均匀间隔值，并且另外包括16位空间:0和65535的边界值。即，深度端点顺序用于确定内插参数。例如，对于x(x)，其中x在0到7之间，深度端点顺序(无论是d0》d1或d0《d1)可以确定f(x)是否仅在2个端点-f(x)＝d之间插入f(x)＝d0 (d1-d0)x/7或者如果将特殊含义分配给x＝5和x＝6，这样f(5)＝0，f(6)＝65535，否则f(x)＝d0 (d1-d0)x/4。
[0138]
为实现上述方法类实施例，本技术实施例还提供一种光场相机的光场重建系统，图3示出了本技术实施例提供的一种光场相机的光场重建系统的结构示意图，所述系统包括：
[0139]
第一获取模块301，用于获取光场信号和光强分布；
[0140]
采样模块302，用于对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素；
[0141]
第二获取模块303，用于获取光场的稀疏表示模型，以及所述光强分布的傅里叶转换公式；
[0142]
确定模块304，用于基于采样和通过一个或多个计算机处理器的操作来确定线路的值、第一对端点、第二对端点以及用于最小化误差的每个像素的相应调色板索引，其中确定的值对于每个像素的各个调色板索引与所确定的第一对端点或第二对端点相关联；
[0143]
第三获取模块305，用于获取光场图像的碎片化观测值和最大似然估计值；
[0144]
存储模块306，用于存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。
[0145]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述装置中模块/单元/子单元/组件的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0146]
综上所述，本技术提供的一种光场相机的光场重建方法及系统，可以获取光场信号和光强分布；对一条线的值的参数空间进行采样，该线的第一侧的第一对端点，与该线的
第一侧不同的该线的第二侧的第二对端点，以及用于的相应调色板索引深度图像的像素块的每个像素；获取光场的稀疏表示模型，以及所述光强分布的傅里叶转换公式；基于采样和通过一个或多个计算机处理器的操作来确定线路的值，第一对端点，第二对端点以及用于最小化误差的每个像素的相应调色板索引，其中确定的值对于每个像素的各个调色板索引与所确定的第一对端点或第二对端点相关联；获取光场图像的碎片化观测值和最大似然估计值；存储线路的确定值、第一对端点、第二对端点和每个像素的各个调色板索引。
[0147]
在本技术所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0148]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0149]
另外，在本技术提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0150]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0151]
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0152]
最后应说明的是：以上所述实施例，仅为本技术的具体实施方式，用以说明本技术的技术方案，而非对其限制，本技术的保护范围并不局限于此，尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本技术实施例技术方案的精神和范围。都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。