一种基于对象可视范围的2.5D渲染方法与流程

一种基于对象可视范围的2.5d渲染方法
技术领域
1.本发明涉及计算机图形学领域，更为具体的，涉及一种基于对象可视范围的2.5d渲染方法。


背景技术：

2.现在的自由视点视频、交互式、沉浸式视频等高新视频技术成为热点。场景对象重建技术一般用渲染引把整个场景和里面所有的对象进行建模，由于场景对象多且复杂，光影、反射等均需要花费大量资源。而在舞台演出或一些特定视角下，场景重建不需要获得整个场景，所有对象的全方位信息，因此希望有一种灵活、高兼容、可降低计算渲染资源的场景表征方式，本领域技术人员亟待解决这一技术问题。


技术实现要素：

3.本发明的目的在于克服现有技术的不足，提供一种基于对象可视范围的2.5d渲染方法，不需要场景对象把整个场景和里面所有的对象进行建模，只需要在观众视角形成2d图像，能够减少因为多对象渲染而带来的复杂光影、反射、多视角等大量信息获取，并极大减少计算渲染资源等。
4.本发明的目的是通过以下方案实现的：一种基于对象可视范围的2.5d渲染方法，包括步骤：s1，首先进行相机标定，计算相机内参及外参，确定相机模型的焦距和成像大小，确定相机拍摄范围角度φ；s2，根据步骤s1的相机模型，标定每个对象的有效区α1和无效区α2；对一个对象的表达为：α1为该对象的可见部分，α2为对象的未知部分，相机成像范围不包括无效区α2部分；s3，定义在同一坐标系下每个对象1,2,3,4
……
n的可视区域集合ω：（u1，u2，u3，u4
……
un），在可视区域内虚拟相机不会拍摄到非有效区；un为对象n的可视区域，且为自定义三维空间，形状不固定，但要保证相机在un中拍摄无法拍摄到对象n的无效区α2部分；s4，求得所有可视区域u1，u2，u3，u4
……
un的公共可视范围以及最小夹角，最小夹角为公共有效视角θ；s5，在设计相机位置拍摄对象可视区域方案时，按如下方式设计：保证θ大于∠son，同时要求∠son小于φ，若不满足此条件，需要调节对象的可视区域；其中，以θ夹角包围的区域是最小可视区域，o为最小可视区域的起始点，s为相机视点，n为最小可视区域的中轴线；s6，对相机视点s拍摄视角进行渲染输出，每个对象无需进行完全的3d渲染，仅需根据相机的位置和成像大小，通过可视区间将原本的相机成像（x、y、z、θ，φ）的五维表达降低为（x、y、z）三维。
5.进一步地，在步骤s1中，在建模软件环境中进行相机标定。
6.进一步地，在步骤s2中，所述无效区α2无法通过有效区α1的形状进行推断，属于未知区域。
7.进一步地，在步骤s3中，所述同一坐标系下为虚拟空间的世界坐标系。
8.进一步地，在步骤s4中，在公共可视范围区域内相机位置能够随意布置，均不会拍摄到对象的无效区α2。
9.进一步地，在步骤s5中，所述调节对象的可视区域具体为按照步骤s3中记载的方式进行调节。
10.进一步地，在步骤s6中，所述渲染输出包括单帧图像的渲染输出。
11.进一步地，在步骤s6中，在满足公共可视区间内时，无论相机怎么拍，拍到的都是有效区域，无需考虑相机的角度。
12.进一步地，所述建模软件环境为3d max软件。
13.进一步地，所述建模软件环境为maya软件或ue软件。
14.本发明的有益效果包括：本发明不需要场景对象把整个场景和里面所有的对象进行建模，只需要在观众视角形成2d图像，能够减少因为多对象渲染而带来的复杂光影、反射、多视角等大量信息获取，并极大减少计算渲染资源。
15.本发明方法可以大幅减少相机成像（x、y、z、θ,φ）的五维表达所需要的计算，仅需对最小可视角度的计算即可完成相机参数确认。同时本发明方法支持mesh建模、体素、点云、nerf深度学习等多种异构对象，不需要为适应本发明方法而重新进行对象设计和建模，可支持现阶段技术下存在的各类异构对象，具备很好的兼容性和可用性。
16.本发明方法，提供了一种确认相机拍摄范围的方法，保证能够同时拍到所有可视区域集合内所有有效区域的方法，实现在公共可视区间内相无论机怎么拍，拍到的都是有效区域，无需考虑相机的角度。
17.基于本发明方法，可使多种异构对象（可以被设计、采集、重建、表征和渲染）采用不同的方法表征，如表面、体素、点云、深度学习等，各对象在统一场景的位姿、光照要求下，分别用自己的表征方法渲染，输出带通道2d图。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本发明实施例中相机焦距及可拍摄角度的示意图；图2a为本发明实施例中无效区域示意图一；图2b为本发明实施例中无效区域示意图二；图3a为本发明实施例中可视区域示意图一；图3b为本发明实施例中可视区域示意图二；图4为本发明实施例中可视区域内相机位置布置示意图；图5为本发明实施例中设计相机位置拍摄对象可视区域示意图。
具体实施方式
20.本说明书中所有实施例公开的所有特征，或隐含公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合和/或扩展、替换。
21.本发明在寻求解决背景中问题的过程中，发现目前的对象建模方法主要有相机阵列、mesh建模、点云、神经渲染nerf等方法，这些方法在不同场景中各有优劣。场景对象重建一般用渲染引把整个场景和里面所有的对象进行建模，这种方法通常因为对象多且复杂，光影、反射等均需要花费大量资源。在部分场景中，例如舞台演出或一些特定视角下的场景重建，通常这些场景不需要获得整个场景或所有对象的全方位信息，只需要在给定一个特定拍摄角度可视即可。因此本发明构思了一种灵活、高兼容的场景表征方式，能够在控制足够低的制作成本的同时，满足最真实最生动的虚实结合画面呈现。
22.在具体实现过程中，本发明会定义一个视角范围，其表达内容介于[2d 3d]之间，2d则为单一视角，3d为可自由旋转360度的任意视角。那么2.5d则介于所有对象的公共有效视角上。
[0023]
如图1所示，在类似3d max、maya、ue等建模软件环境中，首先进行相机标定，计算相机内参及外参，确定相机模型的焦距和成像大小，确定相机拍摄范围角度φ。
[0024]
如图2a、图2b所示，根据实际模型设计，标定每个对象的有效区α1和无效区α2，对一个对象的表达为：α1为该对象的可见部分，无效区α2为对象的未知部分，无效区无法通过有效区的形状进行推断，属于未知区域，在本发明设计思路里相机成像范围不包括无效区部分。
[0025]
定义在同一坐标系下（虚拟空间的世界坐标系）每个对象1,2,3,4
……
n的可视区域集合ω：（u1，u2，u3，u4
……
un），其中以对象后部通过相机标定确定的视点发散出的射线所形成的三维空间为可视区域u。un为对象n的可视区域，为自定义三维空间，形状不固定，但可以保证相机在un中拍摄无法拍摄到对象n的α2区域，在可视区域内虚拟相机不会拍摄到非有效区。图3a为本发明实施例中可视区域示意图一，图3b为本发明实施例中可视区域示意图二。
[0026]
如图4所示，求得所有可视区域u1，u2，u3，u4
……
un的公共可视范围以及最小夹角，在可视区域内相机位置可随意布置，均不会拍摄到对象的无效区α2。图4中最小夹角即本发明方法中的公共有效视角θ，以θ夹角包围的区域是最小可视区域，o为最小可视区域的起始点，s为相机视点，n为最小可视区域的中轴线，l为相机拍摄范围中轴线。
[0027]
如图5所示，在设计相机位置拍摄对象可视区域方案时，根据本发明方法，要保证最小夹角θ大于∠son，同时要求∠son小于φ，若不满足此条件，需要调节对象的可视区域（步骤3中定义）。图5中角θ大于∠son，且∠son小于φ，那么相机即可在公共有效区域拍摄到u1、u2、u3、u4四个对象的有效区域，如图5所示，如果是s’相机，角θ小于∠s’on，或∠s’on小于φ，可能会导致相机拍摄到无效区域。
[0028]
对相机点s拍摄视角进行单帧图像的渲染输出。每个对象无需进行完全的3d渲染，仅需根据相机的位置和成像大小，通过可视区间将原本的相机成像（x、y、z、θ，φ）的五维表达降低为（x、y、z）三维，在满足本发明方法的公共可视区间内相机怎么拍，拍到的都是有效区域，无需考虑相机的角度。
[0029]
实施例1
一种基于对象可视范围的2.5d渲染方法，包括步骤：s1，首先进行相机标定，计算相机内参及外参，确定相机模型的焦距和成像大小，确定相机拍摄范围角度φ；s2，根据步骤s1的相机模型，标定每个对象的有效区α1和无效区α2；对一个对象的表达为：α1为该对象的可见部分，α2为对象的未知部分，相机成像范围不包括无效区α2部分；s3，定义在同一坐标系下每个对象1,2,3,4
……
n的可视区域集合ω：（u1，u2，u3，u4
……
un），在可视区域内虚拟相机不会拍摄到非有效区；un为对象n的可视区域，且为自定义三维空间，形状不固定，但要保证相机在un中拍摄无法拍摄到对象n的无效区α2部分；s4，求得所有可视区域u1，u2，u3，u4
……
un的公共可视范围以及最小夹角，最小夹角为公共有效视角θ；s5，在设计相机位置拍摄对象可视区域方案时，按如下方式设计：保证θ大于∠son，同时要求∠son小于φ，若不满足此条件，需要调节对象的可视区域；其中，以θ夹角包围的区域是最小可视区域，o为最小可视区域的起始点，s为相机视点，n为最小可视区域的中轴线；s6，对相机视点s拍摄视角进行渲染输出，每个对象无需进行完全的3d渲染，仅需根据相机的位置和成像大小，通过可视区间将原本的相机成像（x、y、z、θ，φ）的五维表达降低为（x、y、z）三维。
[0030]
实施例2在实施例1的基础上，在步骤s1中，在建模软件环境中进行相机标定。
[0031]
实施例3在实施例1的基础上，在步骤s2中，所述无效区α2无法通过有效区α1的形状进行推断，属于未知区域。
[0032]
实施例4在实施例1的基础上，在步骤s3中，所述同一坐标系下为虚拟空间的世界坐标系。
[0033]
实施例5在实施例1的基础上，在步骤s4中，在公共可视范围区域内相机位置能够随意布置，均不会拍摄到对象的无效区α2。
[0034]
实施例6在实施例1的基础上，在步骤s5中，所述调节对象的可视区域具体为按照步骤s3中记载的方式进行调节。
[0035]
实施例7在实施例1的基础上，在步骤s6中，所述渲染输出包括单帧图像的渲染输出。
[0036]
实施例8在实施例1的基础上，在步骤s6中，在满足公共可视区间内时，无论相机怎么拍，拍到的都是有效区域，无需考虑相机的角度。
[0037]
实施例9在实施例2的基础上，所述建模软件环境为3d max软件。
[0038]
实施例10
在实施例2的基础上，所述建模软件环境为maya软件或ue软件。
[0039]
描述于本发明实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现，所描述的单元也可以设置在处理器中。其中，这些单元的名称在某种情况下并不构成对该单元本身的限定。
[0040]
根据本技术的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0041]
作为另一方面，本技术还提供了一种计算机可读介质，该计算机可读介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被一个该电子设备执行时，使得该电子设备实现上述实施例中所述的方法。
[0042]
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
[0043]
上述技术方案只是本发明的一种实施方式，对于本领域内的技术人员而言，在本发明公开了应用方法和原理的基础上，很容易做出各种类型的改进或变形，而不仅限于本发明上述具体实施方式所描述的方法，因此前面描述的方式只是优选的，而并不具有限制性的意义。
[0044]
除以上实例以外，本领域技术人员根据上述公开内容获得启示或利用相关领域的知识或技术进行改动获得其他实施例，各个实施例的特征可以互换或替换，本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。