基于相机姿态的虚拟视点生成方法及装置

1.本技术涉及图像处理技术领域，具体涉及一种基于相机姿态的虚拟视点生成方法及装置。


背景技术：

2.真实世界是三维的，但目前主流显示设备依然是二维的。三维显示，特别是裸眼三维显示，收到越来越多的关注。裸眼三维显示需要密集视点图像，而采用相机阵列进行密集视点采集存在许多困难，如相机阵列间的同步调整，相机标定和姿态求解，以及数据存储和传输等。因此，在实际应用中，通常使用少量真实双目相机采集稀疏视点，并通过虚拟视点生成方法生成虚拟视点。
3.相关技术中，可采用dibr(depth image based rendering，基于深度图像的虚拟视点渲染)来生成虚拟视点。然而，通过dibr生成虚拟视点时，由于dibr的虚拟视点生成方法需要校正左右图像，使得两图像极线位于同一水平线上，且只能生成位于同一极线上的虚拟视点，而不能生成任意位置的虚拟视点图像，从而导致虚拟视点的生成效率低。


技术实现要素：

4.本技术实施例提供一种基于相机姿态的虚拟视点生成方法及装置，提高虚拟视点的生成效率。
5.第一方面，本技术实施例提供一基于相机姿态的虚拟视点生成方法，包括：
6.根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
7.根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
8.在一个实施例中，在根据相邻的视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点之前，还包括：
9.从相邻的两幅视点图像的第一视点图像中，提取第一匹配点；
10.根据训练好的光流估计模型，从相邻的两幅视点图像的第二视点图像中，提取与所述第一匹配点相匹配的第二匹配点；
11.根据所述第一匹配点和所述第二匹配点，形成匹配点对。
12.在一个实施例中，所述根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点，包括：
13.根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，确定两个所述相机对应的两条光线方向；
14.根据直接线性变化对两条所述光线方向进行处理，构建与所述匹配点对对应的三
维点。
15.在一实施例中，所述根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：
16.当被选定的相机姿态为水平位置时，根据所述相机阵列中各所述目标相机的三维坐标，对各所述目标相机进行相机位置校平，获取各所述目标相机的校平坐标；
17.根据各所述目标相机的校平坐标，以及由各所述目标相机的旋转角进行平均处理后得到的各所述目标相机的校平旋转角，确定各所述目标相机的目标相机姿态；
18.根据各所述目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
19.在一实施例中，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：
20.对各所述三维点以相邻的两幅所述视点图像作为参考图像进行重投影，确定与所述相机姿态对应的两幅相邻的初始虚拟视点图像；
21.将相邻的所述初始虚拟视点图像中的左图进行空洞填充，生成虚拟视点图像。
22.在一实施例中，所述将相邻的所述初始虚拟视点图像中的左图进行空洞填充，包括：
23.获取相邻的所述初始虚拟视点图像的左图中空洞面积大于预设面积的第一空洞位置；
24.从所述右图中获取与所述第一空洞位置对应的像素填充至所述第一空洞位置。
25.在一实施例中，还包括：
26.获取所述左图中空洞面积小于或等于所述预设面积的第二空洞位置；
27.对所述第二空洞位置通过闭操作进行空洞填充。
28.第二方面，本技术实施例提供一种基于相机姿态的虚拟视点生成装置，包括：
29.三维点构建模块，用于根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
30.虚拟视点生成模块，用于根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
31.第三方面，本技术实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的基于相机姿态的虚拟视点生成方法的步骤。
32.第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于相机姿态的虚拟视点生成方法的步骤。
33.本技术实施例提供的基于相机姿态的虚拟视点生成方法及装置，通过相邻的两幅视点图像之间的匹配点对以及与两幅视点图像对应的两个相机的内部参数和外部参数，重构三维点后，根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影来确定与相机姿态对应的虚拟视点图像，使得可对重构的三维
点基于任意相机姿态进行重投影，生成对应位置的虚拟视点图像，从而可通过选取不同的相机姿态生成不同位置的虚拟视点图像，且无需校正左右图像即可生成虚拟视点图像，进而提高虚拟视点的生成效率。
附图说明
34.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
35.图1是本技术实施例提供的基于相机姿态的虚拟视点生成方法的流程示意图；
36.图2是本技术实施例提供的三角测量示意图；
37.图3是本技术实施例提供的真实水平拍摄时相机位置和光轴方向示意图；
38.图4是本技术实施例提供的位置和光轴校平后的相机位置和光轴方向示意图；
39.图5是本技术实施例提供的基于相机姿态的虚拟视点生成装置的结构示意图；
40.图6是本技术实施例提供的电子设备的结构示意图。
具体实施方式
41.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.为了更好地理解方案，对本发明实施例涉及的专业术语进行解释。
43.相机内部参数，是指与相机自身特性相关的参数，比如相机的焦距、像素大小等；
44.相机姿态，指相机外部参数，即相机在世界坐标系下的参数，如相机的位置和旋转方向等；
45.重投影，指第二次投影，第一次投影指相机拍照时将3d点投影到图像上。利用图像对上的匹配点可以重构3d点，重构的3d点再次通过相机位姿投影到图像平面上，即为重投影。
46.光流，是指空间运动物体在观察成像平面上的像素运动的瞬时速度和方向；
47.卷积神经网络(cnn)，是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的代表算法之一。
48.下面结合附图对本技术实施例进行详细的阐述。
49.参见图1，是本发明实施例提供的基于相机姿态的虚拟视点生成方法的流程示意图之一，该方法应用于服务器或终端设备中，用于生成虚拟视点。如图1所示，本实施例提供的一种基于相机姿态的虚拟视点生成方法包括：
50.步骤101，根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
51.步骤102，根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
52.通过相邻的两幅视点图像之间的匹配点对以及与两幅视点图像对应的两个相机的内部参数和外部参数，重构三维点后，根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影来确定与相机姿态对应的虚拟视点图像，使得可对重构的三维点基于任意相机姿态进行重投影，生成对应位置的虚拟视点图像，从而可通过选取不同的相机姿态生成不同位置的虚拟视点图像，且无需校正左右图像即可生成虚拟视点图像，进而提高虚拟视点的生成效率。
53.在步骤101中，相机的内部参数及外部参数，可通过相机拍摄的棋盘格图像对相机进行标定后获得。具体的，预先使用相机拍摄的棋盘格图像定义真实世界坐标系，得到棋盘格图像中每个棋盘格点在世界坐标系下的3d坐标。同时，对该棋盘格图像进行角点检测，得到每个棋盘格点的2d像素坐标。在得到每个棋盘格点在世界坐标系下的3d坐标和每个棋盘格点在平面直角坐标系下的2d像素坐标后，依据任一棋盘格点的3d坐标和2d像素坐标之间的关系，通过转换公式x＝k[r|t]x(公式1)，对拍摄该棋盘格图像的相机进行校准，得到相机的内部参数和外部参数。
[0054]
其中，x为齐次2d像素坐标，x为齐次3d坐标，k为相机内部参数，r和t分别为相机外部参数中的旋转和平移。
[0055]
在一实施例中，对于相邻的两幅视点图像，可通过图像匹配的方式，对两幅视点图像进行匹配，获取两幅视点图像中第一视点图像的第一匹配点，以及两幅视点图像中第二视点图像与第一视点图像的第一匹配点相匹配的第二匹配点，并将第一匹配点和第二匹配点作为匹配点对。
[0056]
考虑到对于相机阵列拍摄的相邻视点图像，由于多个相机难以水平放置，光轴不一定平行，拍摄的视点图像之间既存在水平视差，也存在垂直视差。因此，为了获取准确的匹配点对，在一实施例中，在根据相邻的视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点之前，还包括：
[0057]
从相邻的两幅视点图像的第一视点图像中，提取第一匹配点；
[0058]
根据训练好的光流估计模型，从相邻的两幅视点图像的第二视点图像中，提取与所述第一匹配点相匹配的第二匹配点；
[0059]
根据所述第一匹配点和所述第二匹配点，形成匹配点对。
[0060]
在一实施例中，先从第一视点图像中提取第一匹配点，然后使用光流估计模型进行视点间的匹配估计，从第二视点图像中提取与第一匹配点相匹配的第二匹配点。考虑到卷积深经网络在光流估计上的准确率和效率较高，因此光流估计模型可以是基于卷积神经网络训练得到的光流估计模型。
[0061]
示例性的，光流估计模型可以为raft模型。由于raft采用循环神经网络进行多次迭代，因此可以通过增加或减少迭代次数，满足匹配点对的计算速度和预测性能需求之间的平衡。
[0062]
通过光流估计模型来从相邻的两幅视点图像中分别提取两个相互匹配的匹配点组成匹配点对，从而减少由于相邻视点图像之间的水平视差和垂直视差导致获取到的匹配点对不准确的问题，提高获取到的匹配点对的准确度和效率，进而提高后续利用匹配点对确定的虚拟视点图像的准确性。
[0063]
在一实施例中，在得到两幅相邻视点图像的匹配点对以及对应的两个相机的内部参数和外部参数后，可以通过三角测量得到三维点的位置。
[0064]
示例性的，在已知两个相机的内外参数以及匹配点对中的第一匹配点p1和第二匹配点p2后，可以根据内部参数和外部参数得到的两个相机的位置o1和o2，以及第一匹配点p1和第二匹配点p2，获得两个相机分别对应的光线方向o1p1以及o2p2。如果所有参量计算绝对准确，则两光线o1p1和o2p2会相交于三维空间中一点p，如图2所示。则该点p即为与匹配点对对应的三维点。
[0065]
然而，考虑到相机标定或光流估计可能存在误差，此时o1p1和o2p2会由于误差导致无法相交，从而无法得到对应的三维点，影响后续虚拟视点图像的生成。为此，在一实施例中，所述根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点，包括：
[0066]
根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，确定两个所述相机对应的两条光线方向；
[0067]
根据直接线性变化对两条所述光线方向进行处理，构建与所述匹配点对对应的三维点。
[0068]
在一实施例中，在确定两光线o1p1和o2p2后，检测光线o1p1和o2p2是否相交。若相交，则直接将相交点作为三维点。若不相交，则可以通过直接线性变化方法求解最近的3d点作为重建的3d点，具体实现可以通过opencv库中的triangulatepoints函数求解，从而构建与匹配点对对应的三维点。
[0069]
通过在确定两幅相邻视点图像对应的两个相机的两条光线不相交时，通过直接线性变化对两条所述光线方向进行处理，来构建三维点，从而避免由于相机标定误差或匹配点误差导致无法构建三维点的情况，进一步提高后续虚拟视点图像的生成效率。
[0070]
在步骤102中，在得到各三维点后，可以基于任意被选定的相机姿态，从相机阵列中确定对应的各目标相机的目标相机姿态以及内部参数后，将目标相机姿态，即外部参数和内部参数通过上述公式1，对各三维点进行重投影，即可得到该给定的相机姿态对应的位置下的虚拟视点图像。
[0071]
其中，任意被选定的相机姿态可以是位置在水平位置上的各目标相机，即针对水平拍摄的各目标相机，也可以是呈环形姿态的各目标相机等等。
[0072]
特别的，当被选定的相机姿态为水平位置时，由于针对水平拍摄的各目标相机位置可能不在同一水平线上，光轴不平行，如图3所示。导致最终形成的虚拟视点图像可能不够准确。为此，在一实施例中，根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：
[0073]
当被选定的相机姿态为水平位置时，根据所述相机阵列中各所述目标相机的三维坐标，对各所述目标相机进行相机位置校平，获取各所述目标相机的校平坐标；
[0074]
根据各所述目标相机的校平坐标，以及由各所述目标相机的旋转角进行平均处理后得到的各所述目标相机的校平旋转角，确定各所述目标相机的目标相机姿态；
[0075]
根据各所述目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0076]
在一实施例中，当被选定的相机姿态为水平位置时，根据水平位置上的各目标相机的内部参数和外部参数，可确定各目标相机的三维坐标。将各目标相机的三维坐标中的竖坐标进行求平均，得到平均竖坐标，并将各目标相机的三维坐标中的横坐标和纵坐标根据最小二乘法进行直线拟合。由于各目标相机为水平位置上的相机，因此各相机的横坐标不变，此时可根据最小二乘法得到各目标相机的新的纵坐标。根据目标相机的横坐标、新的纵坐标和平均竖坐标，得到该目标相机的校平坐标。
[0077]
示例性的，假设有5个目标相机，对于竖坐标z，假设5个相机位置的z坐标分别为z1-z5，则5个目标虚拟相机的平均竖坐标为:
[0078][0079]
对于x方向和y方向，使用最小二乘法进行直线拟合，建立误差函数如下：
[0080][0081]
其中a，b为直线斜率和截距，求解后可以得到直线方程。每个目标相机原有x坐标不变，通过直线方程可以得到新的y坐标。则每个目标相机进行位置校平后的校平坐标为
[0082]
由于不同相机的不同旋转，各目标相机的光轴可能不平行，此时为了校平光轴，可将每个目标相机的外部参数中的旋转矩阵转换为旋转角。具体的，假设目标相机的旋转矩阵r为：
[0083][0084]
则目标相机的三个旋转角分别为：
[0085]
θ
x
＝atan2(r
32
,r
33
)
[0086][0087]
θz＝atan2(r
21
,r
11
)
[0088]
在得到每个目标相机的旋转角后，则对所有目标相机的旋转角进行平均处理，得到各目标相机的校平旋转角为其中，i表示目标相机的序号。
[0089]
在得到各目标相机的校平坐标和校平旋转角后，即可对各目标相机进行整体校平，确定各目标相机的目标相机姿态，如图4所示。
[0090]
在得到各目标相机的目标相机姿态后，即可根据各目标相机的目标相机姿态以及内部参数，对各三维点进行重投影，确定虚拟视点图像。
[0091]
通过在对三维点进行重投影之前，对各目标相机进行相机位置校平和光轴校平，避免在针对水平拍摄的相机进行重投影以生成虚拟视点图像时，会由于各相机位置不在同
一水平线上和/或光轴不平行导致生成的虚拟视点图像不准确，从而提高生成的虚拟视点图像的质量。
[0092]
在一实施例中，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像，包括：
[0093]
对各所述三维点以相邻的两幅所述视点图像作为参考图像进行重投影，确定与所述相机姿态对应的两幅相邻的初始虚拟视点图像；
[0094]
将相邻的所述初始虚拟视点图像中的左图进行空洞填充，生成虚拟视点图像。
[0095]
由于在具体实践中，发现重投影后得到的虚拟视点图像可能会存在空洞，此时为提高虚拟视点图像的质量，可对空洞进行填充，提高虚拟视点图像的质量。
[0096]
在一实施例中，对于面积较大的空洞，可采用双向融合进行填充。具体的，所述将相邻的所述初始虚拟视点图像中的左图进行空洞填充，包括：
[0097]
获取相邻的所述初始虚拟视点图像的左图中空洞面积大于预设面积的第一空洞位置；
[0098]
从所述右图中获取与所述第一空洞位置对应的像素填充至所述第一空洞位置。
[0099]
由于在进行重投影时，参考图像会包括相邻的两幅视点图像，因此重投影后会得到的包括左图v
l
和右图vr的两幅相邻的初始虚拟视点图像。由于v
l
和vr分别由参考图像中的左图和右图平移得到，空洞方向不一致，因此当存在面积较大的空洞位置时，可以用vr中对应的像素填充v
l
上的空洞位置后，将填充后的v
l
作为虚拟视点图像。
[0100]
在一实施例中，还包括：
[0101]
获取所述左图中空洞面积小于或等于所述预设面积的第二空洞位置；
[0102]
对所述第二空洞位置通过闭操作进行空洞填充。
[0103]
在一实施例中，对于细小的空洞，可通过闭操作直接填充，从而得到虚拟视点图像。
[0104]
下面对本技术实施例提供的基于相机姿态的虚拟视点生成装置进行描述，下文描述的基于相机姿态的虚拟视点生成装置与上文描述的基于相机姿态的虚拟视点生成方法可相互对应参照。
[0105]
在一实施例中，如图5所示，提供了一种基于相机姿态的虚拟视点生成装置，包括：
[0106]
三维点构建模块210，用于根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
[0107]
虚拟视点生成模块220，用于根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0108]
在一实施例中，三维点构建模块210还用于：
[0109]
从相邻的两幅视点图像的第一视点图像中，提取第一匹配点；
[0110]
根据训练好的光流估计模型，从相邻的两幅视点图像的第二视点图像中，提取与所述第一匹配点相匹配的第二匹配点；
[0111]
根据所述第一匹配点和所述第二匹配点，形成匹配点对。
[0112]
在一实施例中，三维点构建模块210具体用于：
[0113]
根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的两个相机的内部参数和外部参数，确定两个所述相机对应的两条光线方向；
[0114]
根据直接线性变化对两条所述光线方向进行处理，构建与所述匹配点对对应的三维点。
[0115]
在一实施例中，虚拟视点生成模块220具体用于：
[0116]
当被选定的相机姿态为水平位置时，根据所述相机阵列中各所述目标相机的三维坐标，对各所述目标相机进行相机位置校平，获取各所述目标相机的校平坐标；
[0117]
根据各所述目标相机的校平坐标，以及由各所述目标相机的旋转角进行平均处理后得到的各所述目标相机的校平旋转角，确定各所述目标相机的目标相机姿态；
[0118]
根据各所述目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0119]
在一实施例中，虚拟视点生成模块220具体用于：
[0120]
对各所述三维点以相邻的两幅所述视点图像作为参考图像进行重投影，确定与所述相机姿态对应的两幅相邻的初始虚拟视点图像；
[0121]
将相邻的所述初始虚拟视点图像中的左图进行空洞填充，生成虚拟视点图像。
[0122]
在一实施例中，虚拟视点生成模块220具体用于：
[0123]
获取相邻的所述初始虚拟视点图像的左图中空洞面积大于预设面积的第一空洞位置；
[0124]
从所述右图中获取与所述第一空洞位置对应的像素填充至所述第一空洞位置。
[0125]
在一实施例中，虚拟视点生成模块220还用于：
[0126]
获取所述左图中空洞面积小于或等于所述预设面积的第二空洞位置；
[0127]
对所述第二空洞位置通过闭操作进行空洞填充。
[0128]
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)810、通信接口(communication interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行基于相机姿态的虚拟视点生成方法的步骤，例如包括：
[0129]
根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
[0130]
根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0131]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0132]
另一方面，本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的基于相机姿态的虚拟视点生成方法的步骤，例如包括：
[0133]
根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
[0134]
根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0135]
另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
[0136]
根据相邻的两幅视点图像之间的匹配点对以及相邻的所述视点图像对应的相机阵列中两个相机的内部参数和外部参数，构建与所述匹配点对对应的三维点；
[0137]
根据与被选定的相机姿态对应的各目标相机的目标相机姿态以及内部参数，对各所述三维点进行重投影，确定与所述相机姿态对应的虚拟视点图像。
[0138]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0139]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0140]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0141]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。