用于遮挡处理技术的方法和装置与流程

技术特征：
1.一种图形处理方法，包括：基于三维(3d)重建与理解(3dru)网格、立体图像深度(dfs)图、以及显示姿势中的至少一者来确定组合深度图；基于一个或多个眼缓冲区、一个或多个深度缓冲区、一个或多个边界框和变形参数、以及所述显示姿势中的至少一者，来确定一个或多个经重新投影的眼缓冲区和深度缓冲区；以及向显示器发送至少一个合成帧，所述至少一个合成帧是基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区的。2.根据权利要求1所述的方法，进一步包括：基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区来确定所述至少一个合成帧，其中，所述至少一个合成帧是在合成器模块中确定的。3.根据权利要求2所述的方法，其中，所述至少一个合成帧是进一步基于孔掩模、置信度图和经去噪的虚拟深度中的至少一者来确定的。4.根据权利要求3所述的方法，进一步包括：基于所述置信度图来执行阿尔法混合。5.根据权利要求1所述的方法，进一步包括：对所述3dru网格、所述dfs图以及所述显示姿势进行组合，其中，在深度组合器中对所述3dru网格、所述dfs图以及所述显示姿势进行组合。6.根据权利要求1所述的方法，进一步包括：将所述一个或多个眼缓冲区、所述一个或多个深度缓冲区、所述一个或多个边界框和变形参数、以及所述显示姿势进行组合，其中，在重新投影模块中将所述一个或多个眼缓冲区、所述一个或多个深度缓冲区、所述一个或多个边界框和变形参数、以及所述显示姿势进行组合。7.根据权利要求1所述的方法，进一步包括：计算所述一个或多个边界框和变形参数。8.根据权利要求7所述的方法，其中，所述一个或多个边界框和变形参数是基于眼跟踪数据来计算的。9.根据权利要求1所述的方法，进一步包括：从服务器接收所述一个或多个边界框和变形参数。10.根据权利要求1所述的方法，进一步包括：对所述一个或多个眼缓冲区或所述一个或多个深度缓冲区中的至少一者进行编码。11.根据权利要求1所述的方法，进一步包括：从服务器接收一个或多个经编码的眼缓冲区或一个或多个经编码的深度缓冲区。11.根据权利要求11所述的方法，进一步包括：对所述一个或多个经编码的眼缓冲区或所述一个或多个经编码的深度缓冲区中的至少一者进行解码。12.根据权利要求1所述的方法，进一步包括：计算可见几何图形或着色纹理中的至少一者。13.根据权利要求12所述的方法，其中，所述一个或多个经重新投影的眼缓冲区和深度缓冲区是进一步基于所述可见几何图形或所述着色纹理中的至少一者来确定的。14.根据权利要求1所述的方法，进一步包括：从服务器接收可见几何图形或着色纹理中的至少一者。
15.根据权利要求1所述的方法，其中，所述组合深度图由图形处理单元(gpu)或显示处理单元(dpu)确定，其中，所述一个或多个经重新投影的眼缓冲区和深度缓冲区是由gpu或dpu确定的。16.根据权利要求1所述的方法，其中，确定所述组合深度图包括：针对动态对象而将对象跟踪器信息组合到所述3dru和所述dfs图。17.根据权利要求1所述的方法，进一步包括：基于左和右立体眼缓冲区来生成采样的深度纹理。18.根据权利要求1所述的方法，进一步包括：通过分割静态对象和动态对象来生成分割图；以及用所述分割图执行阿尔法混合，以加强虚拟对象和真实对象的边缘附近的混合。19.一种用于图形处理的装置，包括：存储器；以及至少一个处理器，其耦合到所述存储器并且被配置为：基于三维(3d)重建与理解(3dru)网格、立体图像深度(dfs)图、以及显示姿势中的至少一者来确定组合深度图；基于一个或多个眼缓冲区、一个或多个深度缓冲区、一个或多个边界框和变形参数、以及所述显示姿势中的至少一者，来确定一个或多个经重新投影的眼缓冲区和深度缓冲区；以及传送至少一个合成帧，所述至少一个合成帧是基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区的。20.根据权利要求16所述的装置，其中，所述至少一个处理器进一步被配置为：基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区来确定所述至少一个合成帧，其中，所述至少一个合成帧是进一步基于孔掩模、置信度图和经去噪的虚拟深度中的至少一者来确定的。21.根据权利要求20所述的装置，其中，所述至少一个处理器进一步被配置为：基于所述置信度图来执行阿尔法混合，其中，所述至少一个合成帧是在合成器模块中确定的。22.根据权利要求19所述的装置，其中，所述至少一个处理器进一步被配置为：对所述3dru网格、所述dfs图以及所述显示姿势进行组合，其中，在深度组合器中对所述3dru网格、所述dfs图以及所述显示姿势进行组合。23.根据权利要求19所述的装置，其中，所述至少一个处理器进一步被配置为：将所述一个或多个眼缓冲区、所述一个或多个深度缓冲区、所述一个或多个边界框和变形参数、以及所述显示姿势进行组合，其中，在重新投影模块中将所述一个或多个眼缓冲区、所述一个或多个深度缓冲区、所述一个或多个边界框和变形参数、以及所述显示姿势进行组合。24.根据权利要求19所述的装置，其中，所述至少一个处理器进一步被配置为：计算所述一个或多个边界框和变形参数。25.根据权利要求19所述的装置，其中，所述至少一个处理器进一步被配置为：对所述一个或多个眼缓冲区或所述一个或多个深度缓冲区中的至少一者进行编码。26.根据权利要求25所述的装置，其中，所述至少一个处理器进一步被配置为：对所述
一个或多个眼缓冲区或所述一个或多个深度缓冲区中的至少一者进行解码。27.根据权利要求16所述的装置，其中，所述至少一个处理器进一步被配置为：计算可见几何图形或着色纹理中的至少一者。28.根据权利要求27所述的装置，其中，所述一个或多个经重新投影的眼缓冲区和深度缓冲区是进一步基于所述可见几何图形或所述着色纹理中的至少一者来确定的。29.一种用于图形处理的装置，包括：用于基于三维(3d)重建与理解(3dru)网格、立体图像深度(dfs)图、以及显示姿势中的至少一者来确定组合深度图的单元；用于基于一个或多个眼缓冲区、一个或多个深度缓冲区、一个或多个边界框和变形参数、以及所述显示姿势中的至少一者，来确定一个或多个经重新投影的眼缓冲区和深度缓冲区的单元；以及用于传送发送至少一个合成帧的单元，所述至少一个合成帧是基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区的。30.一种存储用于图形处理的计算机可执行代码的计算机可读介质，所述代码在由处理器执行时，使所述处理器进行如下操作：基于三维(3d)重建与理解(3dru)网格、立体图像深度(dfs)图、以及显示姿势中的至少一者来确定组合深度图；基于一个或多个眼缓冲区、一个或多个深度缓冲区、一个或多个边界框和变形参数、以及所述显示姿势中的至少一者，来确定一个或多个经重新投影的眼缓冲区和深度缓冲区；以及传送至少一个合成帧，所述至少一个合成帧是基于所述组合深度图和所述一个或多个经重新投影的眼缓冲区和深度缓冲区的。

技术总结
本公开内容涉及用于图形处理的方法和设备。所述装置可以基于3DRU网格、DFS图、以及显示姿势中至少一者来确定组合深度图。所述装置还可以基于一个或多个眼缓冲区、一个或多个深度缓冲区、一个或多个边界框以及变形参数、以及显示姿势中的至少一者来确定一个或者更多经重新投影的眼缓冲区和深度缓冲区。此外，所述装置可以基于组合深度图和一个或多个经重新投影的眼缓冲区和深度缓冲区来传送至少一个合成帧。所述装置还可以基于组合深度图和一个或多个经重新投影的眼缓冲区和深度缓冲区来确定至少一个合成帧。所述装置还可以对3DRU网格、DFS图、以及显示姿势进行组合。以及显示姿势进行组合。以及显示姿势进行组合。


技术研发人员：S
受保护的技术使用者：高通股份有限公司
技术研发日：2021.04.28
技术公布日：2023/2/23