虚拟视点生成方法及装置与流程

1.本技术涉及图像处理技术领域，具体涉及一种虚拟视点生成方法及装置。


背景技术：

2.真实世界是三维的，但目前主流显示设备依然是二维的。三维显示，特别是裸眼三维显示，收到越来越多的关注。裸眼三维显示需要密集视点图像，而采用双目相机阵列进行密集视点采集存在许多困难，如双目相机阵列间的同步调整，双目相机标定和姿态求解，以及数据存储和传输等。因此，在实际应用中，通常使用少量真实双目相机采集稀疏视点，并通过虚拟视点生成方法生成密集视点。
3.虚拟视点生成是推动三维显示内容发展的关键。相关技术中，可采用dibr(depth image based rendering，基于深度图像的虚拟视点渲染)来生成虚拟视点，从而形成密集视点。
4.然而，由于在生成真实场景的虚拟视点时，需先通过双目相机阵列采集多视点图像，以及获得视差图像，而dibr在采集多视点图像时，需要对双目相机进行费时的标定和姿态求解来对多视点图像进行极线校正，且dibr获得视差图像的速度较慢，无法保证实时性，从而导致虚拟视点的生成效率低。


技术实现要素：

5.本技术实施例提供一种虚拟视点生成方法及装置，提高虚拟视点的生成效率。
6.第一方面，本技术实施例提供一虚拟视点生成方法，包括：
7.根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
8.将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
9.根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
10.其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
11.在一个实施例中，在根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像之前，还包括：
12.对各双目相机拍摄的各所述棋盘格图像进行角点检测，获取各初始角点像素坐标；
13.根据各所述初始角点像素坐标中各纵坐标的平均值，对各所述双目相机进行水平校正后，从各所述棋盘格图像中获取水平校正后的各双目相机对应的各矫正角点像素坐标；
14.根据各所述初始角点像素坐标以及各所述矫正角点像素坐标，确定单应矩阵。
15.在一个实施例中，所述多视点目标图像由各所述双目相机采集到的各初始视点图
像根据各双目相机的畸变参数进行畸变校正后得到。
16.在一实施例中，所述视差估计模型由各虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型后，将带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练后确定。
17.在一实施例中，根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像，包括：
18.根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像进行前向映射，获取初始虚拟视点图像；
19.对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像。
20.在一实施例中，所述对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像，包括：
21.获取所述初始虚拟视点图像的左图和右图中空洞面积大于预设面积的第一空洞位置；
22.根据左图的第一空洞位置，从所述右图中获取与所述左图的空洞位置对应的像素填充至所述左图的第一空洞位置，生成所述虚拟视点图像。
23.在一实施例中，还包括：
24.对所述初始虚拟视点图像中面积小于或等于所述预设面积的第二空洞位置通过闭操作进行空洞填充。
25.第二方面，本技术实施例提供一种虚拟视点生成装置，包括：
26.多视点图像获取模块，用于根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
27.视差图像获取模块，用于将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
28.虚拟视点图像生成模块，用于根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
29.其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
30.第三方面，本技术实施例提供一种电子设备，包括处理器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述的虚拟视点生成方法的步骤。
31.第四方面，本技术实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现第一方面所述的虚拟视点生成方法的步骤。
32.本技术实施例提供的虚拟视点生成方法及装置，通过各双目相机拍摄的各棋盘格图像确定的单应矩阵，对多视点目标图像进行单应变换，并将水平多视点图像输入训练好的视差估计模型中，获取视差图像后，基于不同位置的控制因子对视差图像进行加权后，将视差图像进行前向映射以生成虚拟视点图像，从而可借助由棋盘格图像确定的单应矩阵来进行多视点图像的水平校正，无需通过复杂的双目相机标定和姿态求解来进行极线校正以实现多视点图像的水平校正，且可通过训练好的视差估计模型快速准确地获取视差图像，从而根据获取到的视差图像生成虚拟视点图像，从而提高虚拟视点生成的实时性和质量，
进而提高虚拟视点的生成效率。
附图说明
33.为了更清楚地说明本技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1是本技术实施例提供的虚拟视点生成方法的流程示意图；
35.图2是本技术实施例提供的棋盘格示意图；
36.图3是本技术实施例提供的虚拟视点生成装置的结构示意图；
37.图4是本技术实施例提供的电子设备的结构示意图；
具体实施方式
38.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
39.为了更好地理解方案，对本发明实施例涉及的专业术语进行解释。
40.视差，是场景中3d点在双目相机拍摄的两张双目图像中，左右图像上投影位置的像素级差距；
41.立体匹配，是根据校准后的双目相机拍摄的两张双目图像，计算表示参考图像(通常为左图)每个像素对应视差值的过程；
42.前向映射，是一种虚拟视点生成技术，它使用一幅参考图像和其相对的视差图像生成目标图像，该技术生成的图像在遮挡区域容易出现空洞；
43.视点，是3d场景在某一双目相机姿态下捕获的2d图像；
44.虚拟视点，不通过双目相机采集获得，具体可以是在真实世界中放置虚拟双目相机采集的视点图像。
45.下面结合附图对本技术实施例进行详细的阐述。
46.参见图1，是本发明实施例提供的虚拟视点生成方法的流程示意图之一，该方法应用于服务器中，用于生成虚拟视点。如图1所示，本实施例提供的一种虚拟视点生成方法包括：
47.步骤101，根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
48.步骤102，将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
49.步骤103，根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
50.其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
51.通过各双目相机拍摄的各棋盘格图像确定的单应矩阵，对多视点目标图像进行单
应变换，并将水平多视点图像输入训练好的视差估计模型中，获取视差图像后，基于不同位置的控制因子对视差图像进行加权后，将视差图像进行前向映射以生成虚拟视点图像，从而可借助由棋盘格图像确定的单应矩阵来进行多视点图像的水平校正，无需通过复杂的双目相机标定和姿态求解来进行极线校正以实现多视点图像的水平校正，且可通过训练好的视差估计模型快速准确地获取视差图像，从而根据获取到的视差图像生成虚拟视点图像，从而提高虚拟视点生成的实时性和质量，进而提高虚拟视点的生成效率。
52.在步骤101中，可通过检测各棋盘格图像的初始角点像素坐标，然后根据初始角点像素坐标对多个双目相机进行水平校正，得到各棋盘格图像的矫正角点像素坐标，从而根据初始角点像素坐标和矫正角点像素坐标，构建方程组，得到单应矩阵。
53.具体的，对各双目相机拍摄的各所述棋盘格图像进行角点检测，获取各初始角点像素坐标；
54.根据各所述初始角点像素坐标中各纵坐标的平均值，对各所述双目相机进行水平校正后，从各所述棋盘格图像中获取水平校正后的各双目相机对应的各矫正角点像素坐标；
55.根据各所述初始角点像素坐标以及各所述矫正角点像素坐标，确定单应矩阵。
56.在一实施例中，对双目相机阵列中每个双目相机拍摄的棋盘格图像进行角点检测，角点检测时可仅检测最外侧4个角点的像素位置c
lt
(x
lt
，y
lt
)，c
ld
(x
ld
，y
ld
)，c
rt
(x
rt
，y
rt
)，c
rd
(x
rd
，y
rd
)，得到4个初始角点像素坐标，如图2所示。然后对4个初始角点像素坐标中的每个初始角点像素坐标，获取各初始角点像素坐标的纵坐标，即y坐标求平均值，得到4个y坐标的平均值从而根据4个y坐标的平均值对多个双目相机进行水平校正，使y坐标一致。水平校正后，每个双目相机的棋盘格图像对应的4个角点像素坐标位置为：点像素坐标位置为：从而得到x轴坐标保持不变，y坐标为4个初始角点像素坐标的y坐标的平均值的4个矫正角点像素坐标。
57.在得到各初始角点像素坐标和各矫正角点像素坐标后，可以用opencv库中的getperspectivetransform函数直接求解单应矩阵h。
58.在一实施例中，在得到单应矩阵后，根据单应矩阵，对多视点目标图像进行单应变换，使得校正后的多视点图像极线保持在同一水平线上，从而得到水平多视点图像。
59.通过获取各双目相机的棋盘格图像的初始角点像素坐标后，计算初始角点像素坐标中各纵坐标的平均值，然后根据各纵坐标的平均值和初始角点像素坐标中的横坐标，形成对应的各矫正角点像素坐标，以根据各初始角点像素坐标和各矫正角点像素坐标来确定单应矩阵，从而无需对双目相机进行复杂的内外参数标定即可快速确定单应矩阵，进而提高后续获得水平多视点图像的效率。
60.为使获取到的水平多视点图像更为准确，在一实施例中，所述多视点目标图像由各所述双目相机采集到的各初始视点图像根据各双目相机的畸变参数进行畸变校正后得到。
61.在一实施例中，在根据单应矩阵对多视点目标图像进行单应变换之前，可预先将双目相机阵列中的每个双目相机，基于该双目相机采集的棋盘格图像，利用opencv库进行
对应的畸变参数求解，得到于各双目相机一一对应的各畸变参数。其中，畸变参数包括径向畸变和切向畸变，畸变公式如下所示：
62.径向畸变：
63.xd＝x(1 k1r2 k2r4 k3r6)
ꢀꢀꢀꢀꢀ
(1)
64.yd＝y(1 k1r2 k2r4 k3r6)
ꢀꢀꢀꢀꢀ
(2)
65.切向畸变：
66.xd＝x (2p1xy p2(r2 2x2))
ꢀꢀꢀꢀꢀꢀ
(3)
67.yd＝y (2p2xy p2(r2 2y2))
ꢀꢀꢀꢀꢀꢀ
(4)
68.其中，(xd，yd)为双目相机拍摄到的初始视点图像上的畸变点，(x，y)是畸变矫正后新的位置，r2＝x2 y2。(k1，k2，p1，p2，k3)为求得的畸变参数。通过上述畸变公式，可以双目相机的畸变参数，从而根据该双目相机的畸变参数，对该双目相机拍摄到的初始视点图像进行畸变校正。在将所有双目相机的初始视点图像根据对应的畸变参数进行畸变校正后，即可得到多视点目标图像。
69.通过对各双目相机拍摄到的初始视点图像进行畸变校正，得到多视点目标图像，从而避免后续将多视点目标图像进行单应变换时，由于多视点目标图像存在畸变导致得到的水平多视点图像的质量差，消除水平多视点图像可能存在的畸变，进而提高水平多视点图像的质量，以提高后续根据水平多视点图像生成的虚拟视点图像的准确度。
70.在步骤102中，在获取水平多视点图像后，将水平多视点图像输入由虚拟数据集训练后得到的视差估计模型中进行立体匹配，以得到视差图像。其中，虚拟数据集包括大量虚拟训练图像以及密集的真实视差。
71.通过大量虚拟图像以及密集的真实视差来进行视差估计模型的训练，可以防止网络过拟合。
72.在一实施例中，视差估计模型可以是由虚拟数据集输入全卷积网络后训练得到。为了提高视差估计的泛化性，可采用超像素引导视差优化网络进行视差估计，从而在一定程度提高真实场景下视差估计的泛化性。
73.具体的，所述视差估计模型由各虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型后，将带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练后确定。
74.示例性的，对于视差估计模型的训练，可先将虚拟数据集中大量的虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型。而由于虚拟数据集缺少真实场景的光照变化等，因此为提高视差估计的泛化性，可使用kitti、eth3d、和middleburyv3三个真实数据集对初始视差估计模型进行微调，即将真实数据集中带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练，从而得到视差估计模型。其中，各真实图像可以是少量的真实图像。
75.在一实施例中，在完成视差估计模型的训练后，即可将水平多视点图像输入到训练好的视差估计模型中进行立体匹配，从而进行相邻视点的视差估计，得到视差图像。其中，视差估计可以在gpu上进行，以加速视差图像的预测过程。
76.在步骤103中，在得到视差图像后，即可通过不同位置的控制因子加权视差图像，并将加权后的视差图像与水平多视点图像进行前向映射，得到不同位置的虚拟视点图像。
其中，前向映射过程如下公式所示：
77.i
l
→v＝f(i
l
，α
·dl
)
ꢀꢀꢀꢀꢀꢀ
(5)
78.其中，α为位置控制因子，取[0，1]；i
l
为水平多视点图像，d
l
为视差图像f为前向映射过程。通过设置不同α值，可以生成不同位置的虚拟视点。其中，前向映射可以通过多线程进一步加速。
[0079]
由于遮挡，前向映射得到的虚拟视点图像通常存在空洞，此时为提高虚拟视点图像的质量，可对面积较大的空洞采用双向融合进行填充。具体的，所述对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像，包括：
[0080]
获取所述初始虚拟视点图像的左图和右图中空洞面积大于预设面积的第一空洞位置；
[0081]
根据左图的第一空洞位置，从所述右图中获取与所述左图的空洞位置对应的像素填充至所述左图的第一空洞位置，生成所述虚拟视点图像。
[0082]
在一实施例中，由于在进行前向映射时，参考图像会包括双目相机拍摄的两张双目图像的左图和右图，因此前向映射后得到的初始虚拟视点图像同样包括左图v
l
和右图vr，由于v
l
和vr分别由参考图像中的左图和右图平移得到，空洞方向不一致，因此当存在面积较大的空洞位置时，可以用vr中对应的像素填充v
l
上的空洞位置后，将填充后的v
l
作为虚拟视点图像。
[0083]
在一实施例中，还包括：
[0084]
对所述初始虚拟视点图像中面积小于或等于所述预设面积的第二空洞位置通过闭操作进行空洞填充。
[0085]
在一实施例中，对于初始虚拟视点图像左图中细小的空洞，可通过闭操作直接填充，从而得到虚拟视点图像。
[0086]
下面对本技术实施例提供的虚拟视点生成装置进行描述，下文描述的虚拟视点生成装置与上文描述的虚拟视点生成方法可相互对应参照。
[0087]
在一实施例中，如图3所示，提供了一种虚拟视点生成装置，包括：
[0088]
多视点图像获取模块210，用于根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0089]
视差图像获取模块220，用于将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0090]
虚拟视点图像生成模块230，用于根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0091]
其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0092]
在一实施例中，多视点图像获取模块210还用于：
[0093]
对各双目相机拍摄的各所述棋盘格图像进行角点检测，获取各初始角点像素坐标；
[0094]
根据各所述初始角点像素坐标中各纵坐标的平均值，对各所述双目相机进行水平校正后，从各所述棋盘格图像中获取水平校正后的各双目相机对应的各矫正角点像素坐
标；
[0095]
根据各所述初始角点像素坐标以及各所述矫正角点像素坐标，确定单应矩阵。
[0096]
在一实施例中，所述多视点目标图像由各所述双目相机采集到的各初始视点图像根据各双目相机的畸变参数进行畸变校正后得到。
[0097]
在一实施例中，所述视差估计模型由各虚拟训练图像以及密集的真实视差输入全卷积网络进行预训练，获取初始视差估计模型后，将带有稀疏视差标注的各真实图像输入初始视差估计模型进行二次训练后确定。
[0098]
在一实施例中，虚拟视点图像生成模块230具体用于：
[0099]
根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像进行前向映射，获取初始虚拟视点图像；
[0100]
对所述初始虚拟视点图像进行空洞填充，生成虚拟视点图像。
[0101]
在一实施例中，虚拟视点图像生成模块230具体用于：
[0102]
获取所述初始虚拟视点图像的左图和右图中空洞面积大于预设面积的第一空洞位置；
[0103]
根据左图的第一空洞位置，从所述右图中获取与所述左图的空洞位置对应的像素填充至所述左图的第一空洞位置，生成所述虚拟视点图像。
[0104]
在一实施例中，虚拟视点图像生成模块230还用于：
[0105]
对所述初始虚拟视点图像中面积小于或等于所述预设面积的第二空洞位置通过闭操作进行空洞填充。
[0106]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)810、通信接口(communication interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的计算机程序，以执行虚拟视点生成方法的步骤，例如包括：
[0107]
根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0108]
将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0109]
根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0110]
其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0111]
此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0112]
另一方面，本技术实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的虚拟视点生成方法的步骤，例如包括：
[0113]
根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0114]
将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0115]
根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0116]
其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0117]
另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行上述各实施例提供的方法的步骤，例如包括：
[0118]
根据由各双目相机拍摄的各棋盘格图像确定的单应矩阵，对由各双目相机采集到的多视点目标图像进行单应变换，获取水平多视点图像；
[0119]
将所述水平多视点图像输入训练好的视差估计模型中，获取视差图像；
[0120]
根据不同位置对应的控制因子对所述视差图像进行加权，以根据加权后的所述视差图像和所述水平多视点图像进行前向映射，生成虚拟视点图像；
[0121]
其中，所述视差估计模型由各虚拟图像以及密集的真实视差输入全卷积网络进行训练后确定。
[0122]
所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0123]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0124]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0125]
最后应说明的是：以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；
而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。