对多虚拟相机图像的渲染方法、装置、电子设备及存储介质与流程
本发明涉及对多虚拟相机图像的渲染,尤其涉及一种对多虚拟相机图像的渲染方法、装置、电子设备及存储介质。
背景技术:
1、在计算机图形学与仿真可视化领域,多相机并行渲染技术被广泛应用于自动驾驶模拟训练、多路监控预览墙构建、虚拟现实全景生成以及云端批量渲染服务等场景。在这些应用中,系统通常需要在单一帧时间内,从多个不同的视角或传感器位置获取场景图像,并将这些图像组合成一张完整的二维拼图或直接输出到显示终端。
2、现有的技术方案主要依赖于图形应用程序接口提供的标准渲染流程,即通过循环遍历每一个相机视角,依次设置对应的视图矩阵、投影矩阵、视口范围及渲染目标状态,随后针对整个场景提交一次或多次绘制命令来完成该视角的图像生成。对于需要输出单层二维拼图的场景,部分现有技术采用多层帧缓冲或纹理数组技术,先将各个相机的画面渲染至不同的图层或纹理元素中,再通过后续的位块传输、计算着色器合成或全屏拼接算法,将分散的画面拷贝并排列至最终的目标大图中。
3、然而,随着应用场景中相机数量的急剧增加以及对实时性要求的不断提高,当相机数量达到数十甚至上百个时,处理器侧的指令提交量、渲染状态切换频率以及资源绑定开销往往随相机数量呈线性增长,导致中央处理器的负载过高,难以维持高帧率的实时渲染。
技术实现思路
1、基于此,有必要针对现有的对多虚拟相机图像的渲染问题,提出了一种对多虚拟相机图像的渲染方法、装置、电子设备及存储介质。
2、一种对多虚拟相机图像的渲染方法,所述方法包括:
3、获取每个虚拟相机对应的相机视图参数;其中,所述相机视图参数至少包含虚拟相机的投影矩阵、视图矩阵、虚拟相机标识以及虚拟相机在输出图像中的目标分块;
4、根据每个虚拟相机的视图参数对每个预设场景物体进行可见性判定,计算可见虚拟相机位掩码;其中,所述可见虚拟相机位掩码的每一位表示该预设场景物体对目标虚拟相机组内一台虚拟相机是否可见;
5、遍历每个预设场景物体的可见虚拟相机位掩码,对每个可见的预设场景物体和虚拟相机组合生成一条实例项;其中,每条所述实例项至少包含预设场景物体的物体标识和虚拟相机的虚拟相机标识;
6、根据各实例项中的物体标识获取对应预设场景物体所引用的网格模型标识;
7、将具有相同网格模型标识的实例项在实例映射表中连续存放,使每个网格模型标识对应一段连续实例项,记录连续实例项的段起始位置与段长度;
8、对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像。
9、进一步地,所述遍历每个预设场景物体的可见虚拟相机位掩码,对每个可见的预设场景物体和虚拟相机组合生成一条实例项,包括:
10、遍历每个预设场景物体的可见虚拟相机位掩码的每一位;
11、当检测到目标位为第一数值时,获取该目标位对应的虚拟相机标识,并获取该预设场景物体的物体标识;
12、根据所述物体标识和所述虚拟相机标识生成一条实例项。
13、进一步地,所述对每个网格模型标识所对应的连续实例项段进行绘制调用,包括:
14、针对每个网格模型标识所对应的连续实例项段,分别发起一次绘制调用;
15、在所述绘制调用中绑定该网格模型标识对应的顶点缓冲和索引缓冲;
16、将所述段起始位置作为所述绘制调用的实例起始参数,将所述段长度作为所述绘制调用的实例数量参数,以在执行所述绘制调用时,将所述顶点缓冲和索引缓冲中的顶点数据作为所述连续实例项段内各实例项对应的预设场景物体的顶点输入。
17、进一步地,所述将具有相同网格模型标识的实例项在实例映射表中连续存放,包括:
18、遍历各实例项,根据各实例项中的物体标识获取对应预设场景物体所引用的网格模型标识;
19、将引用相同网格模型标识的实例项排列在所述实例映射表中的连续存储区域,形成网格模型标识对应的连续实例项段。
20、进一步地,所述相机视图参数还包括虚拟相机的基底背景色和清除开关;
21、所述对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像之前,还包括:
22、获取各个目标分块对应虚拟相机的清除开关状态;
23、对清除开关为开启状态的目标分块,将目标分块的区域清除为目标分块对应的基底背景色。
24、进一步地,所述对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像,包括:
25、根据所述实例项中的物体标识获取该预设场景物体的世界变换矩阵;
26、根据所述实例项中的虚拟相机标识获取该虚拟相机的视图矩阵、投影矩阵及目标分块;
27、根据所述世界变换矩阵、视图矩阵和投影矩阵将该预设场景物体的顶点变换至裁剪空间;
28、根据目标分块对裁剪空间内的顶点坐标施加偏移,使该顶点落入目标分块内,以对每个目标分块进行渲染,得到渲染后的输出图像。
29、进一步地,所述根据目标分块对裁剪空间内的顶点坐标施加偏移,包括:
30、为每台虚拟相机的目标分块创建等数量的视口与等数量的裁剪范围,并建立各视口与各虚拟相机标识之间的对应关系;
31、根据所述实例项中的虚拟相机标识确定对应的视口,由所述视口将顶点从裁剪空间坐标映射至对应的目标分块的像素位置。
32、一种对多虚拟相机图像的渲染装置,所述装置包括:
33、第一获取模块,用于获取每个虚拟相机对应的相机视图参数;其中,所述相机视图参数至少包含虚拟相机的投影矩阵、视图矩阵、虚拟相机标识以及虚拟相机在输出图像中的目标分块;
34、计算模块,用于根据每个虚拟相机的视图参数对每个预设场景物体进行可见性判定,计算可见虚拟相机位掩码;其中,所述可见虚拟相机位掩码的每一位表示该预设场景物体对目标虚拟相机组内一台虚拟相机是否可见;
35、遍历模块,用于遍历每个预设场景物体的可见虚拟相机位掩码,对每个可见的预设场景物体和虚拟相机组合生成一条实例项;其中,每条所述实例项至少包含预设场景物体的物体标识和虚拟相机的虚拟相机标识;
36、第二获取模块,用于根据各实例项中的物体标识获取对应预设场景物体所引用的网格模型标识;
37、存放模块,用于将具有相同网格模型标识的实例项在实例映射表中连续存放,使每个网格模型标识对应一段连续实例项,记录连续实例项的段起始位置与段长度;
38、渲染模块,用于对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像。
39、一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行以下步骤:
40、获取每个虚拟相机对应的相机视图参数;其中,所述相机视图参数至少包含虚拟相机的投影矩阵、视图矩阵、虚拟相机标识以及虚拟相机在输出图像中的目标分块;
41、根据每个虚拟相机的视图参数对每个预设场景物体进行可见性判定,计算可见虚拟相机位掩码;其中,所述可见虚拟相机位掩码的每一位表示该预设场景物体对目标虚拟相机组内一台虚拟相机是否可见;
42、遍历每个预设场景物体的可见虚拟相机位掩码,对每个可见的预设场景物体和虚拟相机组合生成一条实例项;其中,每条所述实例项至少包含预设场景物体的物体标识和虚拟相机的虚拟相机标识;
43、根据各实例项中的物体标识获取对应预设场景物体所引用的网格模型标识;
44、将具有相同网格模型标识的实例项在实例映射表中连续存放,使每个网格模型标识对应一段连续实例项,记录连续实例项的段起始位置与段长度;
45、对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像。
46、一种计算机可读存储介质,存储有计算机程序,所述计算机程序被处理器执行时,使得所述处理器执行以下步骤:
47、获取每个虚拟相机对应的相机视图参数;其中,所述相机视图参数至少包含虚拟相机的投影矩阵、视图矩阵、虚拟相机标识以及虚拟相机在输出图像中的目标分块;
48、根据每个虚拟相机的视图参数对每个预设场景物体进行可见性判定,计算可见虚拟相机位掩码;其中,所述可见虚拟相机位掩码的每一位表示该预设场景物体对目标虚拟相机组内一台虚拟相机是否可见;
49、遍历每个预设场景物体的可见虚拟相机位掩码,对每个可见的预设场景物体和虚拟相机组合生成一条实例项;其中,每条所述实例项至少包含预设场景物体的物体标识和虚拟相机的虚拟相机标识;
50、根据各实例项中的物体标识获取对应预设场景物体所引用的网格模型标识;
51、将具有相同网格模型标识的实例项在实例映射表中连续存放,使每个网格模型标识对应一段连续实例项,记录连续实例项的段起始位置与段长度;
52、对每个网格模型标识所对应的连续实例项段进行绘制调用,以对每个目标分块进行渲染,得到渲染后的输出图像。
53、本发明的有益效果:通过构建包含投影矩阵、视图矩阵、虚拟相机标识及目标分块的相机视图参数,并结合基于可见虚拟相机位掩码的稀疏实例展开机制,实现了渲染效率与资源利用率的显著提升。通过遍历可见虚拟相机位掩码仅对可见的预设场景物体和虚拟相机组合生成实例项,并利用物体标识与虚拟相机标识构建实例项,使得系统能够精准剔除不可见的渲染组合,从而避免了传统方案中图元向所有视口无差别广播所导致的无效数据传输与光栅化浪费。通过将具有相同网格模型标识的实例项在实例映射表中连续存放并记录段起始位置与段长度,使得每个网格模型每个网格模型仅需发起一次,或按条件分批少数几次绘制调用即可覆盖其所有可见的物体与虚拟相机组合,进而将绘制调用次数与虚拟相机数量解耦,有效降低了处理器侧的指令提交开销与状态切换频率。利用世界变换矩阵、视图矩阵和投影矩阵将顶点变换至裁剪空间,并根据目标分块对裁剪空间内的顶点坐标施加偏移或直接映射至对应视口,确保了各虚拟相机画面能精确落入输出图像中的指定目标分块内,既保证了透视关系的正确性,又实现了分块边界的严格隔离。无需依赖硬件操作,即不依赖多视口/多视图等特定硬件能力,可在任意符合基本可编程图形管线的设备上、且不受最大视口数上限约束地生成大规模相机拼图。
54、可以解决当虚拟相机数量达到数十甚至上百个时,处理器侧的指令提交量、渲染状态切换频率以及资源绑定开销往往随虚拟相机数量呈线性增长,导致中央处理器的负载过高,难以维持高帧率的实时渲染,同时传统的广播式渲染机制倾向于将场景中的图元无差别地发送至所有视图或视口,即便某些图元在特定虚拟相机视角下完全不可见,这种无效的数据传输与光栅化操作造成了巨大的计算资源浪费,此外,在生成大规模二维拼图的过程中,如何高效地管理不同分块的背景清除策略、避免分块边界处的像素溢出与撕裂,以及在不受特定硬件视口数量上限约束的前提下实现任意规模虚拟相机的灵活排布的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com