基于神经网络压缩绘制信息的云渲染方法和装置与流程

1.本发明属于实时渲染领域，具体涉及一种基于神经网络压缩绘制信息的云渲染方法和装置。


背景技术：

2.随着移动设备的普及及其计算能力的提高，在移动设备上实时渲染真实感图像的需求也逐步提高。但与此同时，不断发展的图形渲染技术也对设备的计算能力提出越来越高的要求。移动设备的计算性能增长并没有跟上人们对更高品质画面的追求。在现有的硬件与图形渲染技术下，从业人员不得不在画面质量、画面分辨率与延迟上做平衡。对手机游戏等产品来说，保证较低的延迟和稳定的帧率是首先需要保证的，因此很多产品在移动设备上不得不牺牲画质与分辨率来保证玩家较为流畅的游戏体验。
3.为了让移动设备的用户能够有更好的体验，有人想到把云上强大的计算能力利用起来。如专利文献cn1856819a公开了一种过分布式应用程序的图形数据的网络传输的系统和方法，在强计算能力的服务器上完成绘制操作后把绘制结果压缩传输到移动设备，该方法解决了移动设备实时渲染中低画质、低分辨率的问题，但如何获得低延迟、高帧率的画面这一问题该专利并没有解决。
4.专利文献cn101971625a公开的用于压缩流动互动式视频的系统和方法，针对低延迟的重要性的问题提出了一种基于传统视频编码改进出来的流式传输(视频串流)方式，但是该方式要求使用大量的网络带宽来实现高帧率、高分辨率的画面的实时传输，实际应用三维场景无法提供大量的网络宽带，因此并不适用。


技术实现要素：

5.鉴于上述，本发明的目的是提供一种基于神经网络压缩绘制信息的云渲染方法和装置，通过传输绘制信息的方式，在保持客户端上低延迟、高帧率的同时，获得实时高质量渲染图。
6.为实现上述发明目的，实施例提供了一种基于神经网络压缩绘制信息的云渲染方法，包括以下步骤：
7.云端利用基于神经网络构建的提取模型对第一输入数据进行信息提取，得到绘制信息并传输至客户端；其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；
8.客户端利用基于神经网络构建的重建模型对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。
9.在一个实施例中，云端利用渲染引擎通过渲染流水线对三维场景数据进行渲染得到当前帧的渲染图、历史帧的渲染图、三维场景几何信息、三维场景运动信息；客户端通过渲染流水线对三维场景数据进行处理得到三维场景几何信息、三维场景运动信息。
10.在一个实施例中，所述三维场景几何信息从对三维场景数据的渲染流水线中得到，包括位置贴图、深度贴图、法线贴图、材质贴图；所述三维场景运动信息从对三维场景数据的渲染流水线中得到，包括相邻两帧间的三维场景运动信息，或当前帧与各历史帧之间的三维场景运动信息；所述光照信息包括光源参数，其中，光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种；所述光照信息还包括光源参数经过编码处理的编码向量。在一个实施例中，云端将绘制信息进行量化处理，量化后的绘制信息经过熵编码后输出至客户端。
11.在一个实施例中，所述提取模型和所述重建模型在应用之前需要进行参数优化，在参数优化时，以三维场景数据对应的重建图和渲染流水线使用三维场景数据渲染得到的高质量渲染图之间的差值最小，并结合绘制信息的传输带宽尽可能最小为优化目标，来优化提取模型参数和重建模型参数。
12.在一个实施例中，在优化图像预测模型参数时，优化目标对应的损失函数loss为：
[0013][0014]
其中，i为图像索引，lossi为第i个样本数据对应的预测结果与标签之间的差值，b表示传输这一系列k张图像残差需要的平均/峰值带宽，λ为权重参数，为大于0的实数，值越大，表示传输图像残差需要的带宽越小。
[0015]
为实现上述发明目的，实施例还提供了一种基于神经网络压缩绘制信息的云渲染装置，包括云端和与其实现数据传输的客户端；
[0016]
所述云端部署有基于神经网络构建的提取模型，用于对第一输入数据进行信息提取，得到绘制信息并传输至客户端，其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；
[0017]
所述客户端部署有基于神经网络构建的重建模型，用于对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。
[0018]
与现有技术相比，本发明具有的有益效果至少包括：
[0019]
云端使用高性能渲染引擎对三维场景数据进行快速渲染得到渲染图，并使用基于神经网络构建的提取模型提取渲染图中的绘制信息；该绘制信息被量化压缩后传输至客户端，由于绘制信息数据量小，大幅度减少对网络带宽的需求，从而保证了数据传输的低延迟和高帧率；客户端利用基于神经网络构建的重建模型结合绘制信息和本地渲染得到的三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建结果重建得到重建图，由于该重建图采用了来自于渲染图的绘制信息，保证了重建图的图像质量。
附图说明
[0020]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动前提下，还可以根据这些附图获得其他附图。
[0021]
图1是实施例提供的基于神经网络压缩绘制信息的云渲染方法的流程图；
[0022]
图2是实施例提供的基于神经网络压缩绘制信息的云渲染装置的结构示意图。
具体实施方式
[0023]
为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。
[0024]
经研究，现在图形程序都有复杂的绘制流水线，绘制流水线的很多中间结果也可以通过网络传输，传输这些中间信息需要的带宽要求会比直接传输渲染得到的渲染图要低很多。对于绘制流水线来说，并非所有的流程都同样的消耗计算资源，因此可以把一些简单的渲染流程放到客户端。具体来说，三维场景中物体的位置、法线、深度、材质等几何信息，和由运动向量表征的不同帧之间画面中物体运动信息都可以在本地客户端的渲染流程得到。这些几何信息和运动信息都高度影响最后渲染图的分辨率，但产生这些几何信息和运动信息需要的性能要求并不高，相对更高性能的绘制信息可以在云端计算并经过压缩传到本地。经过上述研究，实施例提供了一种基于神经网络压缩绘制信息的云渲染方法和装置，通过传输绘制信息的方式，在保持客户端上低延迟、高帧率的同时，获得实时高质量渲染图。
[0025]
图1是实施例提供的基于神经网络压缩绘制信息的云渲染方法的流程图。如图1所示，实施例提供的基于神经网络压缩绘制信息的云渲染方法，包括以下步骤：
[0026]
步骤1，云端利用高性能渲染流水线对三维场景数据进行渲染得到当前帧的渲染图、三维场景几何信息、三维场景运动信息，并处理当前三维场景的光照信息。
[0027]
云端具有强大的计算能力，因此能够利用完整的真实感渲染流水线实时对三维场景数据进行渲染，以得到渲染图，同时还能将图像空间位置、深度、法向量、材质等三维场景几何信息作为渲染流水线的中间产物一并输出，其中，空间位置、深度、法向量、材质以位置贴图、深度贴图、法线贴图、材质贴图表示。
[0028]
实施例中，利用三维场景运动信息将当前帧与历史帧联系起来，一般通过当前帧与历史帧物体的运动向量作为三维场景运动信息，在渲染过程中，由运动向量表示的相邻两帧间的三维场景运动信息或是当前帧和各个历史帧之间的三维场景运动信息也可以作为渲染流水线的中间产物进行导出。
[0029]
在一种可能实施方式中，光照信息可以包括光源参数，该光源参数包括光源类型、光源形状、光源位置、光照方向、光照强度、环境光贴图中的至少一种。当为点光源时，光源参数包括光源位置、光照强度，当为平行光源时，光源参数包括光照方向、光照强度，当为面光源时，光源参数包括光源位置、光源形状、光照方向、光照强度分布。应用时，直接将该光源参数输入至着色信息提取模型用于提取着色信息。在另外一种可能实施方式中，三维场景光照信息还可以包括光源参数经过编码处理的编码向量。采用对光源参数进行编码的方式，将光源参数映射到某个隐空间，得到光源参数在隐空间的编码向量，然后将编码向量输入至着色信息提取模型用于提取着色信息。
[0030]
步骤2，云端利用基于神经网络构建的提取模型对输入的当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的渲染图进行计算，以提取
绘制信息并传输至客户端。
[0031]
基于神经网络构建的提取模型对输入数据具有信息提取和压缩功能，主要是提取渲染图中的绘制信息，为了减少绘制信息与其他信息的耦合，还输入三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的渲染图作为辅助数据，该些输入数据经过提取模型计算后，得到当前帧的绘制信息。
[0032]
实施例中，为了降低传输宽带，提升传输效率，云端将绘制信息进行量化处理，优选地，云端采用均匀标量量化器量化绘制信息，以减少网络传输过程中传输数据量，量化后的绘制信息被采用熵编码的方式进一步压缩后传输至客户端。
[0033]
由于提取模型输出的绘制信息是一个由浮点数组成的向量y，为了减少这个向量传输到本地需要的带宽，采用均匀标量量化器绘制信息的浮点数映射到更少比特位的整数值，具体采用计算，量化的绘制信息经过熵编码压缩后，进一步减少绘制信息表示中的冗余。
[0034]
步骤3，客户端利用低性能的渲染流水线对三维场景数据进行渲染得到三维场景几何信息和三维场景运动信息。
[0035]
客户端具有低性能的渲染流水线，使用该低性能的渲染流水线只需计算与云端相同的三维场景下高分辨率的最终画面图像空间中的位置、深度、法向量、材质等三维场景几何信息，该三维场景几何信息同样以位置贴图、深度贴图、法线贴图、材质贴图表示。客户端使用运动向量复用历史帧的重建图，至此渲染流程就结束了，省去了消耗最大的绘制信息的计算环节，节省了客户端的计算开销。
[0036]
步骤4，利用设备利用基于神经网络构建的重建模型对输入的绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图进行计算，以得到重建图。
[0037]
实施例中，历史帧的重建图是历史时间上客户端的重建图，可以是是任意一个历史时刻的重建结果，也是可以多个历史时间的重建图的叠加结果。
[0038]
移动终端使用解码器解码云端传输的绘制信息，通过熵编码的解码与反量化过程还原当前帧的绘制信息，然后利用重建模型对绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图进行重建计算，得到重建图。
[0039]
实施例中，基于神经网络构建的提取模型和重建模型在被应用之前，需要进行参数优化，实施例中，优化目标包括(1)减少绘制信息的传输带宽，(2)减少三维场景数据的高质量渲染图和重建图的偏差，为了实现这两个优化目标，可以用一段绘制信息流压缩后的平均带宽来衡量，记为b(bandwidth)，单位kbps，可用l1、l2、mse、rmse、ssim、psnr等函数来衡量客户端的重建图ri与高质量的渲染图ri之间差异大小，这些函数统称为lossi。对于一个有k帧的视频，优化目标对应的损失函数为：
[0040]
优化目标对应的损失函数loss为：
[0041][0042]
λ是一个大于0的参数，用于控制两个优化目标的权重，λ越小，重建模型的重建图更好，λ越大，传输绘制信息需要的带宽更小，该提取模型对绘制信息的压缩越大。通过调整
λ的大小，可以在重建图质量和传输绘制信息需要的带宽之间的进行权衡。
[0043]
图2是实施例提供的基于神经网络压缩绘制信息的云渲染装置的结构示意图。如图2所示，实施例提供的云渲染装置包括：云端和与其实现数据传输的客户端；云端部署有基于神经网络构建的提取模型，用于对第一输入数据进行信息提取，得到绘制信息并传输至客户端，其中，第一输入数据包括当前帧的渲染图、三维场景几何信息、三维场景运动信息、三维场景光照信息和历史帧的渲染图；客户端部署有基于神经网络构建的重建模型，用于对第二输入数据进行重建得到重建图，其中，第二输入数据包括绘制信息、三维场景几何信息、三维场景运动信息、三维场景光照信息以及历史帧的重建图。
[0044]
需要说明的是，实施例提供的云渲染装置和上述实施例提供的云渲染方法属于一个发明构思，云渲染装置中，输入数据的获取方式，提取模型和重建模型的构建方式以及客户端和云端配合的图像渲染方方式均与上述实施例提供的云渲染方法相同，在此不再赘述。
[0045]
上述实施例提供的基于神经网络压缩绘制信息的云渲染方法和装置，云端使用高性能渲染引擎对三维场景数进行快速渲染得到渲染图，并使用基于神经网络构建的提取模型提取渲染图中的绘制信息；该绘制信息被量化压缩后传输至客户端，由于绘制信息数据量小，大幅度减少对网络带宽的需求，同时保证了数据传输的低延迟和高帧率；客户端利用基于神经网络构建的重建模型结合绘制信息和本地渲染得到的三维场景几何信息、三维场景运动信息以及历史帧的重建结果重建得到重建图，由于该重建图采用了来自于渲染图的绘制信息，保证了重建图的图像质量。
[0046]
以上所述的具体实施方式对本发明的技术方案和有益效果进行了详细说明，应理解的是以上所述仅为本发明的最优选实施例，并不用于限制本发明，凡在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在本发明的保护范围之内。