基于法线贴图的实时多尺度高频材质渲染方法及系统与流程

1.本发明涉及基于物理的实时微表面渲染
技术领域：
，特别是涉及基于法线贴图的实时多尺度高频材质渲染方法及系统。
背景技术：
：2.本部分的陈述仅仅是提到了与本发明相关的
背景技术：
，并不必然构成现有技术。3.基于物理的渲染是通过模拟真实世界中不同材质与光的交互，并使用双向反射分布函数(bidirectionalreflectancedistributionfunction,brdf)来描述这一过程。真实世界的材质的视觉外观具有多尺度的表面特征，几十年来一直受到计算机图形学的高度关注。经典的微表面理论下，物体的表面是由无数不规则分布的微表面组成的宏观表面，人眼在宏观尺度上观察到的物体是由这些微表面共同作用的结果。但传统的双向反射分布函数中采用平滑的法线分布函数(normaldistributionfunction,ndf)无法真实的还原出高频材质所带来的外观变化。高频材质分为离散高频材质和结构化高频材质，离散高频材质包括雪地、划痕、拉丝金属和皮革等，其特点是违反多尺度材质规律的闪烁现象，无法通过简单的非线性预滤波等手段实现这些材质的模拟；而结构化高频材质会引起复杂的各向异性高光，4.近年来在离线渲染领域，通过高精度法线贴图等手段能够准确模拟出材质的法线分布函数，渲染出包含闪烁等高频材质在内的高质量结果，但同时也存在渲染时间过长，数据内存开销过大等诸多的问题，并不适合直接将这些离线渲染方法移植到实时渲染领域。5.发明人发现，现有的实时渲染方法并不是一致性的，通常仅将简单的高频几何特征作为材质的额外特性，使其外观限于特定类型的闪烁(如片状微表面特征引起的闪烁和划痕)或各向异性的高光，即使通过纹理贴图等方式补充也不能得到很好的结果。在实际应用过程中，用户需要根据自己的需求，选择不同方法处理高频材质，且无法同时使用多种高频材质。技术实现要素：6.为了解决现有技术的不足，本发明提供了基于法线贴图的实时多尺度高频材质渲染方法及系统；利用gpu高度并行计算微表面法线分布函数，能够在保持高频材质的特征的同时降低存储空间，首次实现高频材质的多尺度一致性实时渲染。7.第一方面，本发明提供了基于法线贴图的实时多尺度高频材质渲染方法；8.基于法线贴图的实时多尺度高频材质渲染方法，包括：9.获取待渲染高频材质图像；10.获取待渲染高频材质图像的法线贴图；基于待渲染高频材质图像的法线贴图，确定目标法线贴图和映射结构；映射结构，是指：待渲染高频材质图像的法线贴图与目标法线贴图之间块的映射关系；11.获取着色点足迹；基于着色点足迹和映射结构，确定对应的当前层级；根据确定的当前层级，筛选对应当前层级的上层级高斯波瓣和下层级高斯波瓣；计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值；将上、下层的贡献值进行插值得到最终的总贡献值，进而得到待渲染高频材质的没有噪声的直接光照图像；12.将待渲染高频材质的没有噪声的直接光照图像和非高频材质去噪后的间接光照结果图像进行混合，得到最终的渲染图像。13.第二方面，本发明提供了基于法线贴图的实时多尺度高频材质渲染系统；14.基于法线贴图的实时多尺度高频材质渲染系统，包括：15.获取模块，其被配置为：获取待渲染高频材质图像；16.映射结构确定模块，其被配置为：获取待渲染高频材质图像的法线贴图；基于待渲染高频材质图像的法线贴图，确定目标法线贴图和映射结构；映射结构，是指：待渲染高频材质图像的法线贴图与目标法线贴图之间块的映射关系；17.计算模块，其被配置为：获取着色点足迹；基于着色点足迹和映射结构，确定对应的当前层级；根据确定的当前层级，筛选对应当前层级的上层级高斯波瓣和下层级高斯波瓣；计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值；将上、下层的贡献值进行插值得到最终的总贡献值，进而得到待渲染高频材质的没有噪声的直接光照图像；18.混合模块，其被配置为：将待渲染高频材质的没有噪声的直接光照图像和非高频材质去噪后的间接光照结果图像进行混合，得到最终的渲染图像。19.第三方面，本发明还提供了一种电子设备，包括：20.存储器，用于非暂时性存储计算机可读指令；以及21.处理器，用于运行所述计算机可读指令，22.其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。23.第四方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当所述非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。24.第五方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。25.与现有技术相比，本发明的有益效果是：26.本发明实时计算高频材质，使用多尺度材质聚类实现抗锯齿和时序稳定的着色，并具有较强的表达能力，能够对离散和结构化的高频材质都实现一致性渲染，通过直接合成算法需要的高斯波瓣，存储空间稳定，不会随着材质的复杂程度提升而线性增长，同时可以实时的渲染得到结构化高频材质带来的复杂各向异性高光和离散高频材质带来的闪烁现象。27.本发明提供的一种高频材质的实时渲染方法，能够适用于不同类型的高频材质，可以渲染得到由结构化高频材质引起的复杂各向异性高光和由离散高频材质引起的划痕、闪烁等现象，同时还能得到离散高频材质和结构化高频材质混合的结果。28.本发明提供的一种四维的位置-法线波瓣生成方法，适用于各个大小的微表面结构。本发明通过将固定大小的法线贴图作为输入，离散并生成四维高斯波瓣，利用这些波瓣生成更多的波瓣并利用这些波瓣去描述微表面结构。29.本发明在gpu引入了一种四维高斯波瓣的mip-mapped的数据结构，能够充分利用gpu并行计算的能力，实现在着色点对应的足迹范围内四维高斯波瓣在gpu中的快速查找，快速计算得到对应的法线分布函数。30.本发明提供了实时且带有全局光照效果的高频材质渲染，通过将高频材质的直接光照和普通材质去噪后的间接光照混合在一起得到较为不错的渲染结果。附图说明31.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。32.图1是本发明实施例一提供的查询着色点对应的四维高斯波瓣的示意图；33.图2是本发明实施例一提供的在全局光照效果下的高频材质渲染结果的流程示意图；34.图3(a)和图3(b)是本发明实施例一提供的具有多种高频材质的复杂车场景下本实施例渲染方法和其他方法的结果对比图；35.图4(a)和图4(b)是本发明实施例一提供的划痕和各向异性两种高频材质在材质球场景的渲染结果图；36.图5(a)～图5(f)是本发明实施例一提供的划痕、结构化以及两者的混合这三种高频材质在本实施例渲染方法下的渲染结果图；37.图6(a)～图6(c)是本发明实施例一提供的各向同性噪声、拉丝金属、结构化三种高频材质使用本实施例渲染方法在茶壶场景下的渲染结果图；38.图7(a)～图7(d)是本发明实施例一提供的本实施例渲染方法和其他方法的结果对比图。具体实施方式39.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属
技术领域：
的普通技术人员通常理解的相同含义。40.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。41.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。42.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。43.实施例一44.本实施例提供了基于法线贴图的实时多尺度高频材质渲染方法；45.基于法线贴图的实时多尺度高频材质渲染方法，包括：46.s101：获取待渲染高频材质图像；47.s102：获取待渲染高频材质图像的法线贴图；基于待渲染高频材质图像的法线贴图，确定目标法线贴图和映射结构；映射结构，是指：待渲染高频材质图像的法线贴图与目标法线贴图之间块的映射关系；48.s103：获取着色点足迹；基于着色点足迹和映射结构，确定对应的当前层级；根据确定的当前层级，筛选对应当前层级的上层级高斯波瓣和下层级高斯波瓣；计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值；将上、下层的贡献值进行插值得到最终的总贡献值，进而得到待渲染高频材质的没有噪声的直接光照图像；49.s104：将待渲染高频材质的没有噪声的直接光照图像和非高频材质去噪后的间接光照结果图像进行混合，得到最终的渲染图像。50.进一步地，所述s101：获取待渲染高频材质图像；其中，高频材质图像，是指场景中的材质在强烈光源例如点光源等点亮后，显示出各向异性高光、划痕等高频特征的渲染结果图像。51.进一步地，所述s102：获取待渲染高频材质图像的法线贴图；具体包括：52.获取待渲染高频材质图像所需的几何特征数据；53.对待渲染高频材质图像的几何特征数据，提取出待渲染高频材质图像的若干个固定尺寸的法线贴图。54.进一步地，所述s102：基于待渲染高频材质图像的法线贴图，确定目标法线贴图；具体包括：55.s1021：对待渲染高频材质图像的法线贴图i划分为若干个块；每个块被视为若干个四维高斯波瓣的集合；56.s1022：从待渲染高频材质图像的法线贴图i中随机抽取一个块，放置于目标法线贴图h的左上角，这个在目标法线贴图左上角的块被命名为p0；57.s1023：对于已经放置于目标法线贴图上的块pi，遍历待渲染高频材质图像的法线贴图i，选择新的块pj；选择的过程中，计算新的块pj与块pi的重叠面积中包含的四维高斯波瓣的重叠区域误差，随机选择一个满足重叠区域误差约束的块，如果没有满足重叠区域误差约束的块，就选择重叠区域误差最小的块；58.s1024：计算新的块pj与块pi的重叠区域，找到两个块之间的最小接缝误差的路径；59.s1025：将新的块pj固定到目标法线贴图h上，同时被固定的还有最小接缝误差的路径；60.s1026：重复s1023～s1025，直至目标法线贴图h被块填充完毕。61.进一步地，所述s1021：对待渲染高频材质图像的法线贴图i划分为若干个块；每个块被视为若干个四维高斯波瓣的集合；具体包括：62.首先，i上的高斯波瓣被划分为n个空间网格，然后，对于每个网格，使用k-means聚类方法，将每个网格中的四维高斯波瓣聚类为k个新的四维高斯波瓣，在聚类的过程中，同时考虑了波瓣的位置和法线信息，对于不同的空间网格使用相同的k值，使得存储稳定。63.进一步地，所述映射结构，是指：待渲染高频材质图像的法线贴图i与目标法线贴图h之间块的映射关系。64.通过将固定大小的法线贴图作为输入，通过离散化该纹理，提取出对应的四维高斯波瓣，根据提取出的四维高斯波瓣的相似性，类似于纹理合成的思想，隐式的生成固定大小的mip-mapped法线贴图以及对应的查找表(lookuptable，lut)，查找表是一种映射结构，而不是显式的生成一个大尺度的高精度法线贴图，本发明在空间域上建立了mip-map的映射结构，就像纹理贴图的mip-map一样，不同的是本发明的映射结构的每一级的纹素上存储的是四维高斯的近似。生成的mip-map映射结构可以在渲染的着色阶段被重新使用。不同mip-map层级的高斯波瓣是采用k-means聚类算法并按照不同的聚类系数，将类似的高斯波瓣合并成一个大的高斯波瓣，从而组织起来的。65.本实施例提供了一种生成mip-mapped法线贴图的生成方法，首先使用一个固定大小的法线贴图i作为输入，生成目标大尺度的法线贴图h，h被划分为众多的块(patch)，它是纹理空间中的正方形区域，其大小由用户定义，且小于输入纹理i，块被理解为是许多四维高斯波瓣的集合，目标大尺度法线贴图的生成算法具体包括：66.(1)：从输入法线贴图i中的块pi中提取出四维高斯波瓣，其中本发明描述高斯波瓣的属性包括：波瓣在纹理中的二维位置信息u,在该位置下的二维法线信息s,对应的二维标准差σh,对应的用来表示平面的曲率的2x2雅克比行列式j等信息；67.(2)：从i中随机抽取一个块，将其放置于h的左上角，这个在h上的块被命名为p0；68.(3)：对于已经放置于h上的块pi，遍历i来选择新的块pj，对于每个块pi来说，需要计算新选择的块pj和pi的重叠面积中包含的四维高斯波瓣的误差，随机选择一个满足误差约束的块，如果没有满足误差约束的块，那么就选择一个误差最小的新的块；69.(4)：计算所选新的块与原先的块的重叠区域，找到两个块之间的最小误差的接缝路径；70.(5)：将这个新的块固定到目标贴图h上，同时固定的还有s104确定的最小误差接缝路径；71.(6)：重复(3)至(5)的步骤，直到目标法线贴图h被块填充完毕；72.上述合成方法的关键步骤是(3)，即是对于一个块pi从输入法线贴图中找到对应最小重叠区域误差的邻接块pj。本发明首先从i中随机选择pi，然后从i中随机选择同等大小的区域，找到一个满足重叠区域误差约束的区域，将其命名为pj，然后是通过(4)找到两个块之间的最小接缝路径。73.重叠区域误差和最小接缝误差都是通过四维高斯波瓣的相似性评估的，这可以使得h上四维高斯波瓣具有连续性。两个相邻波瓣的相似性通过公式(1)表示：74.distij＝α||ni-nj||2 (1-α)||σi-σj||2；ꢀꢀ(1)75.其中distij是i,j两个高斯波瓣的接缝误差，ni，nj是这两个四维波瓣对应的法线，σi，σj是对应的雅克比矩阵，α用来平衡法线的相似性和雅克比矩阵的相似性，在本实施例中α取为0.9，将本实施例的方法显式导出法线贴图并和其他纹理合成的方法进行对比。对于结构性较强的划痕材质和结构性较弱的皮革材质，本实施例得到的结果都能得到较为不错的连续性纹理特征，且不会出现的模糊和纹理特征丢失的情况。76.本发明进一步定义了映射结构lut来保存i和h之间的映射关系，这些保存的数据包括块的索引和块的边界区域的波瓣索引。由于只保存了输入法线贴图的四维波瓣信息和lut因此，内存开销主要由输入样本贴图的分辨率决定，这也适合于gpu的存储。77.由于空间域上的四维波瓣经常有着相似的法线方向信息，利用lodmip-map模型进行原始四维高斯波瓣的组织，这也符合gpu流式传输同时获取信息的特性。78.首先，i上的高斯波瓣被划分为n个空间网格，然后，对于每个网格，使用k-means聚类方法，将每个网格中的四维高斯波瓣聚类为k个新的四维高斯波瓣，在聚类的过程中，同时考虑了波瓣的位置和法线信息，对于不同的空间网格使用相同的k值，使得存储稳定。79.对于目标大尺度法线贴图h，本发明在渲染过程中总是使用mip-map最底层的波瓣来处理边界情况(通常是2到4个波瓣)，其中mip-map的最底层数据是原始四维高斯波瓣不进行聚类组织的数据，此外本发明通过lut中的索引信息找到不同mip-map层级下的块中内部波瓣。80.本实施统计了不同类型材质的各项内存开销，这从表1可以看出。在本实施例中，输入的法线贴图的大小为256*256或512*512，生成大尺度法线贴图算法过程中，块的大小设置为64*64或者128*128，对于离散特征比较强的材质，比如划痕等材质，将块的大小设置为128*128，同时重叠区域的大小均设置为2，生成算法的时间开销介于10分钟到35分钟之间。81.表1不同材质内存开销统计表82.材质输入大小目标大小mip-mapped大小(mb)lut大小(mb)皮革256*2564k*4k14.313.1各向同性材质256*2564k*4k14.313.1各向异性材质256*2564k*4k14.313.1划痕512*5127k*7k37.338.5结构化材质256*2562k*2k14.34.3拉丝金属256*2564k*4k14.313.1混合材质512*5127k*7k37.338.583.本实施例提供一种在gpu中快速检索得到着色点足迹范围内的高斯波瓣从而快速评估计算出法线分布函数的方法，着色过程中需要获取着色点对应足迹范围内的高斯波瓣，从而进行法线分布函数的评估，如图1所示，具体包括：84.进一步地，所述s103：获取着色点足迹；其中，足迹，是指着色点对应的法线贴图的纹理空间中被查询到的区域。85.进一步地，所述s103：基于着色点足迹和映射结构，确定对应的当前层级；具体包括：86.根据着色点对应的足迹大小，按照公式(2)直接对mip-map的层级进行定位：[0087][0088]其中，λ是直接定位的mip-map层级，是足迹的大小，是比例系数用来控制查询的足迹的大小，在本实施例中被固定设置为0.5。[0089]进一步地，所述s103：根据确定的当前层级，筛选对应当前层级的上层级高斯波瓣和下层级高斯波瓣；具体包括：[0090]根据确定的mip-mapped层级，在相邻两个mip-map层级上查询符合半向量检索范围的条件的高斯波瓣，用分别表示上下两个相邻mip-map层级。其中半向量是指光源方向和视角方向的中间向量，通过定义着色点对应的半向量和高斯波瓣的法线之间的夹角可以度量指定方向范围内的高斯参与贡献的计算，也即是半向量检索范围。[0091]应理解地，如果只用一个mip-mapped层级对应的高斯波瓣进行渲染，显然渲染的相邻像素容易出现明显的不连续现象，而在本发明的实践中在两个不同层级上插值处理能够很好的解决不连续的现象。[0092]进一步地，所述s103：计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值；具体包括：[0093]采用法线分布函数项，计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值。[0094]根据查询得到的符合条件的高斯波瓣，进行法线分布函数项的评估计算；[0095][0096]其中，用分别表示上下相邻两个层级查询得到的波瓣，它们被用来模拟复杂的法线分布函数，其数量分别表示为τ，φ，是关于位置u的高斯分布函数，用来表示着色点对应的足迹的范围，是足迹下查询半向量为s的法线分布函数项，用来表示材质在不同方向的能量分布情况。按照公式(3)定义对符合条件的单个高斯波瓣进行贡献的计算，并最终累加得到法线分布函数项。[0097]进一步地，当一个足迹横跨一个以上的块时，将该足迹划分为若干个子足迹区域，分别计算所有子足迹的贡献值，然后将它们的贡献值进行累加；[0098]当子足迹区域仍然横跨一个以上的块时，将在使用没有参与k-means聚类的mip-map底层进行查询。[0099]在某个mip-map层级进行查询时，本发明可以通过由足迹定义的矩形，通过波瓣的包围盒可以在gpu上快速的得到位于足迹范围内的波瓣，通过剔除法线空间上不符合半向量查询范围的波瓣，得到所有在这个层级上满足条件的波瓣，得益于gpu的并行处理性能使得这个查询过程快速且高效。[0100]本实施统计了不同场景下的不同类型的高频材质的渲染时间，以及场景的复杂程度并罗列在表2中。在测试场景中均达到了1920*1080屏幕空间下的实时渲染(》＝30fps)。[0101]表2不同场景渲染时间统计结果[0102][0103]应理解地，在进行法线分布函数项的估计时，一个足迹可能会横跨多个块，如果忽视这个问题，那么结果会在块的边界处出现不连续现象。[0104]进一步地，所述s104：将待渲染高频材质的没有噪声的直接光照图像和非高频材质去噪后的间接光照结果图像进行混合，得到最终的渲染图像；具体包括：[0105]将有噪声的非高频材质的间接光照的结果通过去噪算法得到去除噪声的图像，然后与没有噪声的高频材质的直接光照结果进行混合，得到具有全局光照效果的最终的渲染图像。[0106]利用基于gpu的渲染引擎内核optix搭建渲染系统，能够实现场景的读入、光线遍历、渲染结果的输出等基础操作，通过gpu端并行计算和cpu端串行计算相结合的异构计算框架加速高频材质并实现延迟隐藏更高效地完成渲染。[0107]在gpu中快速检索得到着色点足迹(footprint)范围内的高斯波瓣从而快速评估计算出法线分布函数的方法，包括：[0108][0109]对于每个着色点根据其足迹的大小，根据公式(4)直接确定mip-mapped层级，其中λ表示直接查询得到的mip-map层级，为着色点对应的足迹的大小，为比例系数用来控制足迹的大小，在实践中我们通常设置为0.5，在相邻两个层级上进行着色点对应足迹下满足半向量检索范围的高斯波瓣查询，对于波瓣的查询可以在任意一个mip-map层级停止，从而减少了算法的查询时间，查询得到两个层级的高斯波瓣，分别计算其在指定半向量下的贡献值，并按照权重将两个层级的贡献值结合。[0110]本发明的高频材质渲染算法可以分为三个主要阶段：预处理阶段、着色阶段、后处理阶段。[0111]在第一个阶段，将输入的固定大小的法线贴图离散并生成四维的高斯波瓣以及对应的映射结构结构，并根据四维高斯的相似性根据生成算法隐式的生成大尺度的法线贴图以及对应的mip-map结构。[0112]在第二阶段，定位mip-mapped层级并查询得到符合要求的四维高斯波瓣，通过计算相邻层级的波瓣的贡献，并通过插值的方式评估计算出最终的法线分布函数项，通过这个评估得到的法线分布函数项，从而更真实地还原出材质的双向反射分布函数，得到没有噪声、准确的高频材质在直接光照下的渲染结果。[0113]在第三个阶段，通过将高频材质的直接光照和普通材质去噪后的间接光照混合得到完整的全局光照。其中去噪方法采用的空间滤波方法，在光线追踪的过程中收集场景的深度、颜色、法线等特征信息，然后进行edge-avoidingwavelettransform(eaw)方法去噪。[0114]在本实施例中，算法的流程图如图2所示，从左至右经历预处理、着色、后处理三个大的步骤或模块得到带有全局光照效果下的高频材质的渲染结果。本实施例使用的平台为个人计算机，图形处理器为英伟达rtxtitan，cpu为主频为3.6ghzintel(r)i9-9900k，内存为32gb，本实施例的所有渲染结果均在1920*1080屏幕空间下测试得到。[0115]本实施例的渲染方法适用于具有多种高频材质的场景模型中，如图3(a)和图3(b)所示，在复杂的车场景中展示了三种不同的高频材质的渲染结果，显示出车引擎盖的各向同性金属、保险杠上的划痕材质引起的闪烁现象以及轮胎上的结构化材质引起的结构化高光。图4(a)和图4(b)显示了使用本实施例的渲染方法对于划痕材质和各向异性材质两种材质分别在材质球场景下的结果。本实施例的方法可以处理不同类型的高频材质，包括离散类型的高频材质如划痕，结构化高频材质，以及两者的混合材质，其结果可以表示如图5(a)～图5(f)的渲染结果所示。图6(a)～图6(c)显示了本实施例的渲染方法能够处理不同类型的高频材质，图6(a)～图6(c)的结果展示了各向同性噪声、拉丝金属、结构化材质三种不同类型的高频材质的渲染结果。[0116]通过离散化纹理，提取贴图中的四维高斯波瓣，根据波瓣的位置、法线方向、形状、大小、雅克比矩阵描述波瓣，根据提取出的波瓣的相似性，类似于纹理合成隐式的生成大尺度的法线贴图，其中生成过程中主要考虑了波瓣的法线方向、位置和雅克比矩阵三种属性；[0117]大尺度法线贴图纹理的生成过程，将高斯波瓣按照块的形式进行组织，大尺度纹理是由原始输入纹理中提取出的高斯波瓣组织成的块拼合成的，按照最小误差原则进行相邻块的选择和块之间的接缝处理。其中，最小误差原则主要是考虑高斯波瓣之间的位置、方向和雅克比矩阵的差异。[0118]将生成的大尺度贴图按照mip-map的形式进行组织，生成过程中同时生成映射结构lut，实现原始高斯波瓣和各个mip-map层级的波瓣的之间的映射关系，其中lut数据结构保存原始块的索引和块间接缝处的索引。[0119]在进行mip-map层级的组织时，不同于常规的mip-map通过纹理空间的滤波操作完成纹理的降采样。[0120]本发明不同mip-map层级的高斯波瓣是采用k-means聚类算法按照不同的聚类系数，将类似的高斯波瓣合并成大的高斯波瓣从而完成结构的组织。[0121]本发明在光线追踪中基于物理的渲染中在gpu中快速检索得到着色点足迹范围内的对应高斯波瓣，从而快速评估出法线分布函数项的方法，从而更真实地还原出材质的双向反射分布函数。直接通过光线微分得到着色点的足迹大小，通过足迹大小确定mip-map层级；[0122]本发明在上下两个层级中得到的高斯波瓣的检索，满足条件的高斯波瓣需要同时满足包围盒在足迹范围的位置限制和法线方向在查询半向量的方向限制，上下两个层级得到的高斯波瓣分别进行贡献计算，通过插值的方式保证层级之间的连续性；[0123]本发明对于查询过程的特殊情况的处理，对于着色点对应的足迹范围横跨多个块，解决策略为：将该足迹划分为四个子足迹区域，分别计算这几个子足迹，然后将它们的贡献进行累加，当子足迹区域仍然横跨一个以上的块时，使用没有使用k-means聚类的mip-map底层波瓣进行查询和贡献计算。[0124]本发明提出带有全局光照效果的高频材质渲染，通过将高频材质的直接光照和普通材质去噪后的间接光照混合在一起得到较为不错的渲染结果，通过渲染过程中光线对场景信息的采集，得到法线、深度、颜色等特征信息；[0125]本发明使用光线追踪算法，将渲染结果的直接光照和间接光照分通道，分开处理，不对高频材质的直接光照进行处理，将高频材质的间接光照和场景中普通材质的进行空间滤波处理，空间滤波处理过程中利用之前采集到的数据，并采用边缘保留的滤波算法，最大程度保留渲染结果的几何边缘信息。[0126]本发明能够适用于不同的高频材质，实现效果包括离散高频材质引发的闪烁现象和结构化高频材质引起的各向异性高光以及混合两者的效果，进行数据结构以及内存的组织，预处理数据的生成，高斯波瓣的查询计算，以及法线分布函数项、双向反射分布函数的评估计算；基于gpu的渲染引擎内核搭建渲染系统，通过gpu端的并行计算；cpu端串行相结合的异构计算框架加速高频材质的计算实现延迟隐藏，达到实时帧率。[0127]本发明能够生成闪烁和划痕等不同高频材质的外观，不同于之前的方法需要额外的定义高精度法线贴图从而产生高的存储和计算开销，本发明提出了一种基于固定大小的法线贴图的实时渲染方法，适用于任意的微观结构材质，这大大减少了所需的存储空间。本发明的方法通过将固定大小的小尺寸法线贴图样本作为输入，从法线贴图样本中隐式的生成一个高精度的法线贴图，并构建mip-map结构映射四维位置-法线高斯，同时本发明基于之前得到的mip-mapped四维高斯波瓣以及lut数据结构提出了一种在渲染过程中快速的查询并评估计算出对应的法线分布函数的方法，这种方法将存储开销也降低到一个较低的水平，如图7(a)～图7(d)所示。[0128]实施例二[0129]本实施例提供了基于法线贴图的实时多尺度高频材质渲染系统；[0130]基于法线贴图的实时多尺度高频材质渲染系统，包括：[0131]获取模块，其被配置为：获取待渲染高频材质图像；[0132]映射结构确定模块，其被配置为：获取待渲染高频材质图像的法线贴图；基于待渲染高频材质图像的法线贴图，确定目标法线贴图和映射结构；映射结构，是指：待渲染高频材质图像的法线贴图与目标法线贴图之间块的映射关系；[0133]计算模块，其被配置为：获取着色点足迹；基于着色点足迹和映射结构，确定对应的当前层级；根据确定的当前层级，筛选对应当前层级的上层级高斯波瓣和下层级高斯波瓣；计算所筛选的上层级高斯波瓣和下层级高斯波瓣的贡献值；将上、下层的贡献值进行插值得到最终的总贡献值，进而得到待渲染高频材质的没有噪声的直接光照图像；[0134]混合模块，其被配置为：将待渲染高频材质的没有噪声的直接光照图像和非高频材质去噪后的间接光照结果图像进行混合，得到最终的渲染图像。[0135]此处需要说明的是，上述获取模块、映射结构确定模块、计算模块和混合模块对应于实施例一中的步骤s101至s104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。[0136]上述实施例中对各个实施例的描述各有侧重，某个实施例中没有详述的部分可以参见其他实施例的相关描述。[0137]所提出的系统，可以通过其他的方式实现。例如以上所描述的系统实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时，可以有另外的划分方式，例如多个模块可以结合或者可以集成到另外一个系统，或一些特征可以忽略，或不执行。[0138]实施例三[0139]本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。[0140]实施例四[0141]本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。[0142]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12