一种实时渲染管线多目标优化方法

1.本发明涉及计算机图形领域，尤其涉及一种实时渲染管线多目标优化方法。


背景技术：

2.计算机图形学的进步催生了高度复杂的实时渲染算法，渲染具有理想效果的单帧所需的巨大计算能力。如何使渲染程序保证图形生成的实时性(本发明中以帧延时来衡量)、同时尽量提高图形的质量，是计算机图形领域中一个值得探讨的课题。本发明的研究任务是实时渲染管线帧延时及图形质量的多目标自动优化。
3.一直以来，多目标自动优化的相关工作着力于一般计算机程序的性能(编译时间、执行时间)、质量(正确性)、能耗、代码大小等指标的优化，本发明的优化目标则是实时渲染程序的帧延时和图形质量，优化重点在于多种渲染算法的耦合关系，而非单一渲染算法的工作效果。众多优化算法用于平衡渲染应用程序的帧延时和图形质量，如利用时域相干性的渲染算法、着色器简化算法等，有一些工作取得了不错的效果。但是它们或者在离线方案中执行优化，相应的预处理通常很耗时，特别是当场景具有大范围的统一参数时；或者灵活性较差，只适合于特定渲染算法的优化，而不能较好地处理多算法的耦合关系。或者只适用于单一场景的单一视角，且对帧延时的评估是基于相对值而非准确的数值分析从而造成最优配置不明确、调参不准确。因此，它们不能直接适用于本文的研究目标。
4.另一方面，关于设备功耗与图形质量的多目标自动优化问题研究，近年来也取得了不错的进展。一些特定的管道设计和硬件实现已经被开发出来，以优化资源并减少渲染过程中的功耗。针对特定管道的功耗模型和质量模型被提出，它们可以量化实时渲染过程中的设备功耗和图形质量，基于这些量化模型，自动调参框架可以实现两个目标的实时优化任务。


技术实现要素：

5.本发明的目的在于针对现有技术的不足，提供一种实时渲染管线多目标优化方法，以完成多参数空间下帧延时和图形质量的平衡任务。本发明将功耗和图形质量的多目标优化前沿方法引入帧延时和图形质量的多目标优化问题，而将功耗目标改为帧延时目标，并做了必要的改进。
6.本发明的目的是通过以下技术方案来实现的：一种实时渲染管线多目标优化方法，包括以下步骤：
7.步骤一：将近年来关于实时渲染设备功耗和图形质量的多目标优化前沿方法引入帧延时和图形质量的多目标优化问题，基于绘制命令、顶点着色器、片段着色器的相关指标，对多算法耦合实时渲染程序的帧延时及图形质量用线性模型进行准确的数值预测，并基于预测值在给定的帧延时预算内实时动态选择图形质量最佳的渲染配置；
8.步骤二：将步骤一中线性模型得到的结果进行改进，采用贪心策略加入新的模块，解决线性模型失效问题。
9.步骤三：在步骤二的基础上加入神经网络模型，以解决线性模型产生额外错误、优化工作不平滑等问题。
10.进一步地，步骤一通过以下子步骤来实现：
11.(1.1)设计一个多算法耦合的实时渲染流水线，形成了足够大的参数空间以供优化；这些算法包括：环境光贴图、阴影算法、抗锯齿算法、环境光遮蔽、屏幕空间反射等，每一个算法对应一项视觉效果、提供一个调节该视觉效果的控制参数，再加上自发光物体的发光效果、生成图片的分辨率，共7个可变参数；除环境光贴图配置有或无两种取值外，其他6个可变参数都有3种取值，所以总的参数空间包含1458种取值；
12.(1.2)基于设备功耗和图形质量的多目标优化问题的已有研究，建立帧延时预测及图形质量评估的线性模型，在运行时搜索满足帧延时预算的最佳图形质量对应的渲染配置；该方法基于两个关键组件：实时的帧延时预测模型及图形质量评估模型，两个模型的表达形式都是线性方程；其中，帧延时预测模型基于绘制命令、顶点着色器、片段着色器等的相关数据指标，对7个控制参数分别建立指数模型，再将指数模型线性相加，用以计算最终的帧延时；图形质量评估模型基于以下观察：同一控制参数的不同取值下，图形质量损耗值呈线性相关，所以也可以用线性模型加以评估；
13.进一步地，步骤二的具体问题及解决方案为：
14.由于步骤(1.2)中预估图形质量的时间成本较高，优化框架只能以一定频率工作而做不到实时优化；另一方面，帧延时预测模型需要实时拟合，精度不准时还需要启动一个相对时间较长的重新拟合阶段，这也会引入额外的计算误差；由于上述两个问题，在优化间隔内或者由视角变化引起帧延时预测不准时，可能会发生掉帧、图形质量持续低下、图形质量跳变等问题，使得渲染画面不流畅；
15.对此，步骤二的改进方案如下：优化间隔期内视点变化时或者模型修正窗口期间，初始帧采用中等渲染配置，然后基于图形质量评估模型的相关系数，按照各个控制参数对图形质量的相对影响使用贪心策略调参，每帧只调整影响最大的参数，直到帧延时超过预定值；实验结果验证了该方法可以解决上述问题，且能生成接近最高质量的图形。
16.进一步地，步骤三的具体问题及解决方案为：
17.基于设备功耗和图形质量的多目标优化问题的已有研究，引入了一个基于神经网络的优化方法，以适应多场景多视角下平滑稳定的实时优化需求；该框架利用两个完全由合成数据集训练的独立神经网络来预测各种参数配置下的帧延时及图形质量，渲染程序运行期间实时地计算所有配置下的帧延时及图形质量预估值，从而在给定的帧延时预算下最大限度地提高每帧的图形质量。
18.相关现有技术的研究对象是gpu功耗，神经网络模型中考虑了gpu运行频率作为中间结果以加强预测精度，而本发明的实验配置更加简单，不需要实时获取gpu运行频率，而是通过顶点着色器、片段着色器的相关数据隐式地包含了这一因子，本发明修改了网络结构，并将这些相关数据加入到模型输入中；实验结果显示，相比于线性模型，该方法可以实现实时优化，训练一次得到的预测模型能适用于不同的渲染场景，没有长时间的模型修正阶段，不会引入额外的计算误差，可以简单有效地解决目标问题。
19.本发明的有益效果是，本发明的自动调参框架能够在给定的帧延时预算内动态选择图形质量最佳的渲染配置，能较好地完成多参数空间下帧延时和图形质量的平衡任务，
最终结果可以适用于多场景、多视角、多预算、多动态的高性能渲染管线。
附图说明
20.图1是实时渲染管线多目标优化方法框架图；
21.图2是渲染管线的多算法耦合关系图；
22.图3是优化框架的工作流程图；
23.图4是帧延时和图形质量神经网络预测模型的网络结构图。
具体实施方式
24.下面根据附图详细说明本发明。
25.如图1所示，本发明实时渲染管线多目标优化方法，包括以下步骤：
26.步骤一：将近年来关于实时渲染设备功耗和图形质量的多目标优化前沿方法引入帧延时和图形质量的多目标优化问题，基于绘制命令、顶点着色器、片段着色器的相关指标，对多算法耦合实时渲染程序的帧延时及图形质量用线性模型进行准确的数值预测，并基于预测值在给定的帧延时预算内实时动态选择图形质量最佳的渲染配置。
27.该步骤是本发明的技术基础，分为以下子步骤。
28.1)设计一个多算法耦合的实时渲染流水线，形成了足够大的参数空间以供优化；如图2，这些算法包括：环境光贴图、阴影算法、抗锯齿算法、环境光遮蔽、屏幕空间反射等，每一个算法对应一项视觉效果、提供一个调节该视觉效果的控制参数，再加上自发光物体的发光效果、生成图片的分辨率，共7个可变参数；除环境光贴图配置有或无两种取值外，其他6个可变参数都有3种取值，所以总的参数空间包含1458种取值；
29.2)基于设备功耗和图形质量的多目标优化问题的已有研究，建立帧延时预测及图形质量评估的线性模型，在运行时搜索满足帧延时预算的最佳图形质量对应的渲染配置，工作流程如图3所示；该方法基于两个关键组件：实时的帧延时预测模型及图形质量评估模型，两个模型的表达形式都是线性方程；其中，帧延时预测模型基于绘制命令、顶点着色器、片段着色器等的相关数据指标，对7个控制参数分别建立指数模型，再将指数模型线性相加，用以计算最终的帧延时，如公式(1)；图形质量评估模型基于以下观察：同一控制参数的不同取值下，图形质量损耗值呈线性相关，所以也可以用线性模型加以评估，如公式(2)；
30.p(s，c)＝p
min
(p
max-p
min
)(1-e-α
)
[0031][0032]
其中，b，v，f分别表示执行指令数量、顶点着色器执行次数、片段着色器执行次数。b，v，f分别为最大帧延时所对应的b，v，f。分别对b，v，f通过系数kb，kv，kf进行加权，以考虑每个系数对总延时的相对影响。所有参数取决于渲染配置s；此外，相机参数c隐含在基元b，v，f中。
[0033][0034][0035]
其中，s0定义为每个参数均取最高(l0)的渲染配置，则表示除了第x个控制参数取值为l(l＞0)外其余均为最高参数的配置l0。
[0036]
步骤二：将步骤一中线性模型得到的结果进行改进，采用贪心策略加入新的模块，解决线性模型失效问题。
[0037]
该步骤是本发明的核心技术之一，解决的具体问题及方法为：
[0038]
由于步骤一中2)的预估图形质量的时间成本较高，优化框架只能以一定频率工作而做不到实时优化；另一方面，帧延时预测模型需要实时拟合，精度不准时还需要启动一个相对时间较长的重新拟合阶段，这也会引入额外的计算误差；由于上述两个问题，在优化间隔内或者由视角变化引起帧延时预测不准时，可能会发生掉帧、图形质量持续低下、图形质量跳变等问题，使得渲染画面不流畅；
[0039]
对此，步骤二的改进方案如下：优化间隔期内视点变化时或者模型修正窗口期间，初始帧采用中等渲染配置，然后基于图形质量评估模型的相关系数，按照各个控制参数对图形质量的相对影响使用贪心策略调参，每帧只调整影响最大的参数，直到帧延时超过预定值；实验结果验证了该方法可以解决上述问题，且能生成接近最高质量的图形。
[0040]
步骤三：在步骤二的基础上加入神经网络模型，以解决线性模型产生额外错误、优化工作不平滑等问题。
[0041]
步骤三也是本发明的本发明的核心技术之一，解决的具体问题及方案为：
[0042]
基于设备功耗和图形质量的多目标优化问题的已有研究，引入了一个基于神经网络的优化方法，以适应多场景多视角下平滑稳定的实时优化需求；该框架利用两个完全由合成数据集训练的独立神经网络来预测各种参数配置下的帧延时及图形质量，渲染程序运行期间实时地计算所有配置下的帧延时及图形质量预估值，从而在给定的帧延时预算下最大限度地提高每帧的图形质量。其中，帧延时的隐式函数表示为公式(3)。
[0043]
p(c，s)＝θ(b，v，f，s).....................(3)
[0044]
图形质量的函数表示如公式(4)：
[0045]
e(c，sj)＝φ(a，sj，s
cur
，e(c，s
cur
)).......(4)
[0046]
该函数以场景信息a、渲染设置sj、当前渲染设置s
cur
及其图形质量损耗e(c，s
cur
)为输入，预测误差e(c，sj)。
[0047]
相关现有技术的研究对象是gpu功耗，神经网络模型中考虑了gpu运行频率作为中间结果以加强预测精度，而本发明的实验配置更加简单，不需要实时获取gpu运行频率，而是通过顶点着色器、片段着色器的相关数据隐式地包含了这一因子，本发明修改了网络结构，并将这些相关数据加入到模型输入中；相应地将公式(3)调整为公式(5)：
[0048]
p(c，s)＝θ(b，v，f，s，m1，m2，n2)........(5)
[0049]
其中，m1，m2，n2分别与顶点着色器语句、片段着色器语句、片段着色器纹素访问指令的执行成本相关，能很好地反映gpu的工作状态。
[0050]
帧延时和图形质量神经网络预测模型的网络结构的网络结构如图4。
[0051]
实验结果显示，相比于线性模型，该方法可以实现实时优化，训练一次得到的预测模型能适用于不同的渲染场景，没有长时间的模型修正阶段，不会引入额外的计算误差，可以简单有效地解决目标问题。