一种遮挡场景的绘制方法、装置及存储介质

1.本发明主要涉及光场绘制技术领域，具体涉及一种遮挡场景的绘制方法、装置及存储介质。


背景技术：

2.在信息化的时代中，3d视频技术实现了给人身临其境的沉浸式视觉体验。这些视觉体验主要是通过ibr技术实现。而光场绘制技术是ibr技术常用的方法之一，首先通过相机阵列捕获到场景的一组多视点图像，然后可以通过简单插值的方法绘制出场景的任意新视点。该技术最大的优点是在新视点绘制的过程中，不需要依赖场景表面的精确几何信息，或者仅仅依赖少量的场景表面几何信息。然而，该技术最大的缺点是需要提前获取大量的场景多视点。因此，ibr技术绘制过程中需要采集视点数量的确定是一个关键的问题。
3.目前，全光采样理论都是基于场景无遮挡假设推导得到的。由于在实际场景中遮挡是常见的现象，因此无遮挡假设前提下的研究难以应用于实际复杂场景中。


技术实现要素：

4.本发明所要解决的技术问题是针对现有技术的不足，提供一种遮挡场景的绘制方法、装置及存储介质。
5.本发明解决上述技术问题的技术方案如下：一种遮挡场景的绘制方法，包括如下步骤：
6.s1、向预先布置的相机阵列发送携带初始采样率的拍摄信号，拍摄完成时，从所述相机阵列中获得拍摄得到的多视点图像；
7.s2、分别对所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型；
8.s3、将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数；
9.s4、对所述光场函数进行频谱分析，得到频谱函数，并根据频谱函数得到最小采样率；
10.s5、向所述相机阵列发送新拍摄信号，所述新拍摄信号携带所述最小采样率，所述新拍摄信号用于供相机阵列根据所述最小采样率重新拍摄，得到新的多视点图像。
11.本发明的有益效果是：通过对多视点图像中的场景表面进行数学量化，构建表面遮挡模型来描述遮挡场景，并将表面遮挡模型转换为光场函数，通过对光场函数进行频谱分析来得到最小采样率，并通过最小采样率重新拍摄，从而得到新的多视点图像，能够解决场景中存在遮挡的现象的光场绘制，在减少视点的同时仍可实现高质量的新视点绘制效果。
12.在上述技术方案的基础上，本发明还可以做如下改进。
13.进一步，所述得到新的多视点图像后，还包括步骤：
14.根据双线性插值方法将所述新多视点图像进行视点重构，得到视点。
15.进一步，分别对多个所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型，具体包括：
16.在场景表面任意选取二维平面建立坐标轴，其中，横轴代表相机阵列，纵轴代表场景表面深度信息，通过所述坐标轴中的抛物线表达式将所述多视点图像中的场景表面进行数学量化，所述抛物线表达式z(x)为
[0017][0018]
其中，zc(x)为凸抛物线，z
p
(x)为凹抛物线，n为抛物线的个数，其中抛物线最大模拟个数为n，l为抛物线的长度，z(x)＝ax2 bx c，a为非零的任意常数，b和c均为任意常数，若a为正数，则抛物线为凹抛物线z
p
(x)，若a为负，则抛物线为凸抛物线zc(x)；
[0019]
对所述抛物线表达式z(x)求解一阶导数，得到抛物线的任意点(xi,zi)处的切线方程，所述切线方程为
[0020]
t(x)＝z'(xi)(x-xi) zi，
[0021]
其中，z'(xi)(为z(x)的一阶导数；
[0022]
确定任意点(xi,zi)在场景表面中有无自我遮挡临界点，并通过所述切线方程计算得到所述自我遮挡临界点的值；
[0023]
通过设定的相机最大观测视角确定遮挡场景中的关键点，通过所述关键点和所述自我遮挡临界点构建凸抛物面遮挡函数和凹抛物面遮挡函数，根据所述凸抛物面遮挡函数和所述凹抛物面遮挡函数得到所述表面遮挡模型。
[0024]
进一步，所述确定任意点(xi,zi)在场景表面中有无自我遮挡临界点，并通过所述切线方程计算得到所述自我遮挡临界点的值，具体为：
[0025]
任意点(xi,zi)在场景表面最大斜率处的切线与轴的交点则确定为自我遮挡临界点，其中，所述最大斜率为负值，并通过对所述切线方程求解得到所述自我遮挡临界点的值，求解结果为：
[0026][0027]
其中，tp为自我遮挡临界点，x0为自我遮挡临界点的值；
[0028]
所述通过设定的相机最大观测视角确定遮挡场景中的关键点，通过所述关键点和所述自我遮挡临界点构建凸抛物面遮挡函数和凹抛物面遮挡函数，具体为：
[0029]
所述相机最大观测视角为相机在最大观测视角下观测凸抛物面最左侧边缘点的角度值，通过所述角度值确定相机位置，将所述相机位置作为所述关键点，通过所述关键点和所述自我遮挡临界点构建所述凸抛物面遮挡函数，所述凸抛物面遮挡函数为：
[0030][0031]
通过所述关键点和所述自我遮挡临界点构建所述凹抛物面遮挡函数，所述凸抛物面遮挡函数为：
[0032]
[0033]
其中，ε是阶跃函数的符号。
[0034]
进一步，所述将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数，具体为：
[0035]
基于二维光场函数将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数，所述二维光场函数为：
[0036]
p(t,v)＝l(t,v)
·
occ(t,v)，
[0037]
其中，p(t,v)为二维光场函数，t为相机位置值，相机位置值与代表相机阵列的x值之间的转换关系为f为相机的焦距，v为相机的视角，l(t,v)为二维光场方程，occ(t,v)为表面遮挡模型，所述表面遮挡模型包括凸抛物面遮挡函数和凹抛物面遮挡函数。
[0038]
进一步，所述对所述光场函数进行频谱分析，得到频谱函数，具体为：
[0039]
通过傅里叶公式对所述光场函数进行傅里叶变换，得到凸抛物面频谱函数和凹抛物面频谱函数：
[0040]
所述傅里叶公式为l(x,v)＝sin(x)为场景表面光线，occ(t,v)为遮挡函数，exp(-j(ω
t
t ωvv))表示以e为底的指数函数，
[0041]
对所述傅里叶公式进行变换，得到凸抛物面频谱函数，所述凸抛物面频谱函数为：
[0042][0043]
对所述傅里叶公式进行变换，得到凹抛物面频谱函数，所述凹抛物面频谱函数为：
[0044][0045]
其中，vm为相机最大视角，z(x)为场景深度值，f为相机平面与成像平面之间的焦距，j代表的是虚数单位。
[0046]
进一步，所述根据频谱函数得到最小采样率，具体为：
[0047]
通过频域卷积定理对所述频谱函数进行带宽求解，得到所述频谱函数的带宽；
[0048]
将场景表面光线设为带限信号带宽，将所述带限信号带宽与所述频谱函数的带宽相加，得到遮挡场景带宽，并求取所述遮挡场景带宽的倒数，得到最小采样率。
[0049]
本发明解决上述技术问题的另一技术方案如下：一种遮挡场景的绘制装置，包括：
[0050]
拍摄模块，用于向预先布置的相机阵列发送携带初始采样率的拍摄信号，拍摄完成时，从所述相机阵列中获得拍摄得到的多视点图像；
[0051]
处理模块，用于分别对所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型，
[0052]
将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数；
[0053]
对所述光场函数进行频谱分析，得到频谱函数，并根据频谱函数得到最小采样率；
[0054]
拍摄模块，还用于向所述相机阵列发送新拍摄信号，所述新拍摄信号携带所述采样周期，所述新拍摄信号用于供相机阵列根据所述最小采样率重新拍摄，得到新多视点图像。
[0055]
本发明解决上述技术问题的另一技术方案如下：一种遮挡场景的绘制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的遮挡场景的绘制方法。
[0056]
本发明解决上述技术问题的另一技术方案如下：一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的遮挡场景的绘制方法。
附图说明
[0057]
图1为本发明实施例提供的遮挡场景的绘制方法的流程示意图；
[0058]
图2为本发明实施例提供的遮挡场景的绘制装置的功能模块框图；
[0059]
图3为本发明实施例提供的场景视点获取过程中凹抛物面遮挡量化理论分析模型；
[0060]
图4为本发明实施例提供的遮挡光场频谱示意图；
[0061]
图5为本发明实施例提供的凸抛物面进行频谱分析的仿真实验结果的示意图；
[0062]
图6为本发明实施例提供的双线性插值原理的示意图。
具体实施方式
[0063]
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
[0064]
实施例1：
[0065]
如图1所示，一种遮挡场景的绘制方法，包括如下步骤：
[0066]
s1、向预先布置的相机阵列发送携带初始采样率的拍摄信号，拍摄完成时，从所述相机阵列中获得拍摄得到的多视点图像；
[0067]
s2、分别对所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型；
[0068]
s3、将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数；
[0069]
s4、对所述光场函数进行频谱分析，得到频谱函数，并根据频谱函数得到最小采样率；
[0070]
s5、向所述相机阵列发送新拍摄信号，所述新拍摄信号携带所述采样周期，所述新拍摄信号用于供相机阵列根据所述最小采样率重新拍摄，得到新的多视点图像。
[0071]
上述实施例中，通过对多视点图像中的场景表面进行数学量化，构建表面遮挡模型来描述遮挡场景，并将表面遮挡模型转换为光场函数，通过对光场函数进行频谱分析来得到最小采样率，并通过最小采样率重新拍摄，从而得到新的多视点图像，能够解决场景中存在遮挡的现象的光场绘制，在视点减少的同时仍可实现高质量的新视点绘制效果。
[0072]
具体地，所述得到新的多视点图像后，还包括步骤：
[0073]
根据双线性插值方法将所述新多视点图像进行视点重构，得到视点。
[0074]
双线性插值算法具体在本发明中的应用：
[0075]
例如，如图6所示，利用四个像素(p1,p2,p3,p4)，重构一个像素
[0076]
双线性插值公式可以表示为(即合成视点的表达式)：
[0077][0078]
其中，变量表示通过给定的像素p1和p2第一次插值得到间接像素，变量表示通过给定的像素p3和p4第一次插值得到间接像素。此外，代表场景中每个像素相应的信息(如几何信息或表面纹理信息)的累加。图6中，间接利用到的和像素信息的计算方法为：
[0079][0080][0081][0082][0083]
其中，变量θ和φ表示对角像素的差异值计算方法；α表示像素点p1和p2之间的比例因子；β表示像素点p3和p4之间的比例因子，γ表示间接像素点和之间比例因子。
[0084]
具体地，分别对多个所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型，具体包括：
[0085]
在场景表面任意选取二维平面建立坐标轴，其中，横轴代表相机阵列，纵轴代表场景表面深度信息，通过所述坐标轴中的物线表达式将所述多视点图像中的场景表面进行数学量化，所述抛物线表达式z(x)为：
[0086][0087]
其中，抛物线表达式z(x)表示场景深度值，zc(x)为凸抛物线，z
p
(x)为凹抛物线，n
为抛物线的个数，其中抛物线最大模拟个数为n，l为抛物线的长度，z(x)＝ax2 bx c，a为非零的任意常数，b和c均为任意常数，若a为正数，则抛物线为凹抛物线z
p
(x)，若a为负，则抛物线为凸抛物线zc(x)；
[0088]
例如，在场景表面任意选取二维平面建立坐标轴x-z(x)，其中x轴代表相机阵列所在直线轴，z(x)轴代表场景表面深度信息(通过抛物线表达式来表示)。
[0089]
应理解地，在本发明实施例中，近似的将场景表面构造为由一系列凹抛物线和凸抛物线组成。凹凸抛物面几何模型涵盖了常见的真实复杂场景，因此，抛物线表达式具有普遍适用性。
[0090]
二次项系数a的正负可以确定抛物线的开口方向，即a为正时开口方向向上，抛物线为凹；a为负时开口向下，抛物线为凸。并且，a的大小可以控制抛物线的开口程度，其中|a|越大开口程度越小，|a|越小开口程度越大。利用抛物线的这两个性质，凹凸抛物面几何模型的拟合程度可以通过调整相关系数进行优化。因此，该表面遮挡模型对于任意场景的拟合都具有健壮性。
[0091]
建立描述场景表面的数学方程式之后，可以利用此方程式确定场景表面切线方程的解析表达式，即通过对z(x)求解一阶导数。
[0092]
具体为，对所述抛物线表达式z(x)求解一阶导数，得到抛物线的任意点(xi,zi)处的切线方程，所述切线方程为：
[0093]
t(x)＝z'(xi)(x-xi) zi，
[0094]
其中，z'(xi)为z(x)的一阶导数；
[0095]
确定任意点(xi,zi)在场景表面中有无自我遮挡临界点，并通过所述切线方程计算得到所述自我遮挡临界点的值；
[0096]
通过设定的相机最大观测视角确定遮挡场景中的关键点，通过所述关键点和所述自我遮挡临界点构建凸抛物面遮挡函数和凹抛物面遮挡函数，根据所述凸抛物面遮挡函数和所述凹抛物面遮挡函数得到所述表面遮挡模型。
[0097]
应理解地，从图3中可以观察到在切线t(x)的左边点(x1,z1)不存在遮挡，在切线的右边点(x1,z1)被l2光线与物体表面的交点遮挡。而图3中的切线t(x)为在场景表面斜率最大时确定的切线。该切线与x轴的交点即为相机捕获场景时遮挡的临界点，定义为tp。
[0098]
具体地，所述确定任意点(xi,zi)在场景表面中有无自我遮挡临界点，并通过所述切线方程计算得到所述自我遮挡临界点的值，具体为：
[0099]
任意点(xi,zi)在场景表面最大斜率处的切线与轴的交点则确定为自我遮挡临界点，其中，所述最大斜率为负值，并通过对所述切线方程求解得到所述自我遮挡临界点的值，求解结果为：
[0100][0101]
其中，tp为自我遮挡临界点，x0为自我遮挡临界点的值；
[0102]
得到场景有无遮挡的关键点信息之后，场景表面的自我遮挡就可以通过一个阶跃函数进行表示。
[0103]
所述通过设定的相机最大观测视角确定遮挡场景中的关键点，通过所述关键点
和所述自我遮挡临界点构建凸抛物面遮挡函数和凹抛物面遮挡函数，具体为：
[0104]
所述相机最大观测视角为相机在最大观测视角下观测凸抛物面最左侧边缘点的角度值，通过所述角度值确定相机位置，将所述相机位置作为所述关键点，通过所述关键点和所述自我遮挡临界点构建所述凸抛物面遮挡函数，所述凸抛物面遮挡函数为：
[0105][0106]
通过所述关键点和所述自我遮挡临界点构建所述凹抛物面遮挡函数，所述凸抛物面遮挡函数为：
[0107][0108]
其中，ε代表阶跃函数。
[0109]
应理解地，关键点的引进使得遮挡函数的表示是一个有限的范围，这更接近相机捕获真实场景的情况。
[0110]
得出描述场景表面遮挡的解析表达式，即(表面遮挡模型)后，需要将该表面遮挡模型结合整个场景的光场函数pof进行描述。7维pof p(x,y,z,u,v,λ,τ)可以对任意动态场景进行描述，其中(x,y,z)描述的是场景的位置信息；(u,v)描述的是任意方向信息；(λ)记录的是任意波长的光线；τ记录的是任意时间。由于7维pof太过复杂难以进行数学分析，因此可以通过合理的假设将7维pof进行简化。第一个假设是将波长(λ)和时间τ忽略，即考虑任意光线由三原色组成及静态场景，则7维pof可以简化到5维。第二个假设是利用两个平行的平面以光线与两个平面的交点进行光场的描述，则pof可以进一步的简化为4维。本发明就是基于利用双平面表示光场方法基础上进一步进行简化，即只考虑立体场景中的二维平面，则二维光场函数pof可以最终表示为p(t,v)。二维光场函数pof在时域中也可以称为极线平面图像(epipolar-plane image，epi)。
[0111]
具体地，所述将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数，具体为：
[0112]
基于二维光场函数pof将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数，所述二维光场函数为：
[0113]
p(t,v)＝l(t,v)
·
occ(t,v)，
[0114]
其中，p(t,v)为二维光场函数，t为相机位置值，相机位置值与代表相机阵列的x值之间的转换关系为f为相机的焦距，即成像平面与相机平面之间的距离，v为相机的视角，l(t,v)为二维光场方程，occ(t,v)为表面遮挡模型，所述表面遮挡模型包括凸抛物面遮挡函数和凹抛物面遮挡函数。
[0115]
具体地，所述对所述光场函数进行频谱分析，得到频谱函数，具体为：
[0116]
通过傅里叶公式对所述光场函数进行傅里叶变换，得到凸抛物面频谱函数和凹抛物面频谱函数：
[0117]
所述傅里叶公式为l(x,v)＝sin(x)为场景表面光线，occ(t,v)为遮挡函数，exp(-j(ω
t
t ωvv))表示以e为底的指数函数，
[0118]
对所述傅里叶公式进行变换，得到凸抛物面频谱函数，所述凸抛物面频谱函数为：
[0119][0120]
对所述傅里叶公式进行变换，得到凹抛物面频谱函数，所述凹抛物面频谱函数为：
[0121][0122]
其中，vm为相机最大视角，z(x)为场景深度值，f为相机平面与成像平面之间的焦距，j代表的是虚数单位。
[0123]
具体地，所述根据频谱函数得到最小采样率，具体为：
[0124]
通过频域卷积定理对所述频谱函数进行带宽求解，得到所述频谱函数的带宽；
[0125]
将场景表面光线设为带限信号带宽，将所述带限信号带宽与所述频谱函数的带宽相加，得到遮挡场景带宽，并求取所述遮挡场景带宽的倒数，得到最小采样率。
[0126]
应理解地，使用matlab进行仿真实验得到遮挡场景的频谱表现结构，以图4凹抛物面仿真图为例。从图4可以看出遮挡场景的频谱与传统的无遮挡频谱相比出现频谱扩展现象，这也是场景遮挡会引起ibr采样率改变的原因。为了确定遮挡场景的ibr采样率，使用频域卷积定理进行带宽推导。
[0127]
频域卷积定理表明时域相乘的两个函数转换到频域中为两个函数的卷积，因此可将p(t,v)＝l(t,v)
·
occ(t,v)变为特别地，将以凸抛物面为例进行带宽求解分析。基于可以得到凸抛物面的频谱表达式为其中z
max
为场景表面最大深度值，关键点表示t1对应的x的值，t1表示相机在最大视角情况下观测凸平面最左侧边缘点对应的相机位置值。此外，可以将场景表面光线假设为带限信号，其带宽为ωs。因此，可以确定pof的带宽(bw
p
)为遮挡函数的带宽加上表面光线的带宽ωs，即如图5所示。同理，利用凹抛物面进行分析也可以得到同样的结论。因此，只需要利用深度相机确定场景特定点的深度值就可以确定其特定临界点的值，最终确定遮挡场景的带宽。最后，利用
nyquist采样定理可以确定场景的最小采样率为即最终的最大相机采样间隔。
[0128]
实施例2：
[0129]
如图2所示，一种遮挡场景的绘制装置，包括：
[0130]
拍摄模块，用于向预先布置的相机阵列发送携带初始采样率的拍摄信号，拍摄完成时，从所述相机阵列中获得拍摄得到的多视点图像；
[0131]
处理模块，用于分别对所述多视点图像中的场景表面进行数学量化，得到用于描述遮挡场景的表面遮挡模型，
[0132]
将所述表面遮挡模型转化为二维平面下遮挡场景的光场函数；
[0133]
对所述光场函数进行频谱分析，得到频谱函数，并根据频谱函数得到最小采样率；
[0134]
拍摄模块，还用于向所述相机阵列发送新拍摄信号，所述新拍摄信号携带所述采样周期，所述新拍摄信号用于供相机阵列根据所述最小采样率重新拍摄，得到新多视点图像。
[0135]
实施例3：
[0136]
一种用于遮挡场景的绘制装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，当所述处理器执行所述计算机程序时，实现如上所述的遮挡场景的绘制方法。
[0137]
实施例4：
[0138]
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，当所述计算机程序被处理器执行时，实现如上所述的遮挡场景的绘制方法。
[0139]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。
[0140]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0141]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0142]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本发明实施例方案的目的。
[0143]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以
是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0144]
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0145]
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。