一种双层生成与资产缓存方法、系统、设备及介质与流程

摘要: 本发明涉及游戏引擎资产缓存,具体地涉及一种双层生成与资产缓存方法、系统、设备及介质。背景技术:1、在传统游戏管线中,几乎所有二进制资产(包括网格、贴图、图集、地...
一种双层生成与资产缓存方法、系统、设备及介质与流程

本发明涉及游戏引擎资产缓存,具体地涉及一种双层生成与资产缓存方法、系统、设备及介质。

背景技术:

1、在传统游戏管线中,几乎所有二进制资产(包括网格、贴图、图集、地形)均由美术人员在桌面数字内容创作工具里离线制作,经过烘焙后随游戏安装包一并发布,运行时仅执行加载操作。而在人工智能原生的声明式游戏引擎中,游戏本体由大语言模型生成的结构化纯数据构成,人工智能无法逐字节手写高度图png文件、减面网格或广告牌图集等二进制资产,因此引擎必须在装载或运行阶段从声明式源描述现场生成资产。现场生成地形高度场、随距离切换的多细节层次网格、面向相机的广告牌替身、程序化材质纹理以及碎裂网格的碎块等资产,均属于重计算操作。因此,需要引入缓存来消除重计算操作。

2、针对运行时由声明式源描述生成资产的场景,现有技术中已存在若干缓存方案。以内容为键的构建系统缓存方案(例如开源构建工具bazel、buck以及编译器缓存工具ccache)对编译产物以输入内容哈希为键做缓存,能够实现跨机器共享。着色器编译缓存与管线状态对象缓存方案将编译后的着色器字节码和管线状态对象缓存到磁盘,以避免每次启动重新编译。纹理流送与资产包方案将预制资产分块并按需从磁盘或网络加载。以修改时间为键的增量缓存方案被大量工具采用,以文件修改时间戳判定缓存是否有效。

3、然而,上述现有技术方案在应用于人工智能原生声明式引擎的运行以及可生成资产场景时均存在明显缺陷。以内容为键的构建系统缓存所缓存的产物为构建期编译产物,发生在开发流水线内,并不面向运行时,缺乏随应用包发布的出厂层与玩家设备上一次性生成的用户层双层结构,也未涉及需渲染设备的烘焙与纯cpu烘焙的时机拆分。着色器编译缓存的键往往绑定具体硬件、驱动版本和平台,构建机器与玩家机器不通用,且仅覆盖着色器与管线状态对象这一狭窄类别,不覆盖网格、地形和图集等几何与图像资产,也没有双层随包发布结构。纹理流送与资产包方案假设资产已经以成品形态存在,并未解决资产必须从声明式源描述现场生成的问题,也不存在内容哈希跨机器命中的需求。以修改时间为键的增量缓存在跨机器场景下完全不可靠,文件拷贝会刷新修改时间戳,机器间存在时钟偏移,同一份源描述在不同机器上生成时间必然不同,导致构建机器上预烘焙的缓存条目在玩家设备上被误判为过期。

4、综上所述,现有技术中未见有任何方案将双层(出厂层/用户层)存储+内容哈希跨机器稳定+需渲染设备感知的预热三者结合,以专门服务于运行时由声明式源描述现场生成的游戏资产。如何使引擎生成的资产以内容哈希为键实现构建机器预烘焙与玩家设备现场生成之间的逐字节相同键从而跨机器稳定命中,如何将缓存划分为随包发布的出厂层以及由设备一次性生成的用户层,如何在区分需gpu昂贵烘焙与纯cpu廉价烘焙的前提下实现预热,以及如何使缓存内核后端无关从而在无头进程内烘焙并被单元测试完整覆盖,均是本领域亟待解决的技术问题。

技术实现思路

1、为解决现有技术中的至少部分技术问题,本发明提供一种双层生成与资产缓存方法、系统、设备及介质。具体地,本发明包括以下内容。

2、本发明的第一方面,提供一种双层生成与资产缓存方法,具体技术方案如下:

3、s1,获取源描述符,所述源描述符用于描述待生成资产的规格信息;根据所述源描述符构造缓存键;

4、s2,响应于资产加载请求,根据所述缓存键在第一缓存层中查找缓存文件,所述第一缓存层随应用程序包发布;

5、s3,当所述第一缓存层中存在满足完整性校验的所述缓存文件时,返回所述缓存文件中的资产载荷;否则,根据所述缓存键在第二缓存层中查找缓存文件,所述第二缓存层位于执行设备的可写存储位置;

6、s4,当所述第二缓存层中存在满足完整性校验的所述缓存文件时,返回所述缓存文件中的资产载荷;否则,根据所述源描述符生成资产载荷,根据所述缓存键将所述资产载荷写入所述第二缓存层并返回所述资产载荷。

7、本发明提供的一种双层生成与资产缓存方法的有益效果如下:

8、通过获取源描述符并构造缓存键,使得缓存键完全由源描述符的规格信息决定而不依赖时间信息,确保构建阶段与执行阶段对同一源描述符构造出逐字节相同的缓存键,从而实现构建机预烘焙的缓存条目在执行设备上被稳定命中;通过设置随应用程序包发布的第一缓存层和位于执行设备可写存储位置的第二缓存层,并在第一缓存层未命中时查找第二缓存层、第二缓存层也未命中时才触发现场生成,使得预烘焙的昂贵资产随包发布后可直接命中,无需重复生成,而未被预烘焙的资产则在首次使用时生成一次即存入第二缓存层供后续复用,既避免了每次启动重新生成所带来的重计算开销,又兼顾了包体积与首次加载时长的平衡;通过在返回缓存文件前对缓存文件进行完整性校验,确保损坏或截断的缓存文件不被使用,并在校验失败时自动触发重新生成,保证缓存机制在任何异常情况下都不会返回错误数据或导致系统崩溃,从而在保证资产数据正确性的前提下实现了构建机与执行设备之间的跨机器稳定缓存命中。

9、在某些实施方案中,所述源描述符为用于描述资产生成规格的稳定文本,所述稳定文本包括:几何形状参数、减面比、广告牌方向数、图集尺寸以及引擎版本信息中的至少一项;

10、所述缓存键由所述源描述符构造且不使用时间信息,以使得所述源描述符相同则所述缓存键相同。

11、在某些实施方案中,所述缓存键包括内容哈希值以及参数哈希值;

12、所述内容哈希值用于标识所述资产载荷的内容,所述参数哈希值通过对所述源描述符中至少一个分段进行哈希得到;

13、对每个所述分段先写入该分段的n位长度前缀再写入该分段的内容,再对所有携带长度前缀的分段进行哈希折叠,从而得到所述参数哈希值。

14、在某些实施方案中,所述完整性校验包括:读取所述缓存文件时,依次检查所述缓存文件的头部长度是否完整、头部标识是否匹配、载荷声明长度是否不为零以及实际字节长度是否不小于所述载荷声明长度,当上述任一条件为否时,判定所述缓存文件不满足所述完整性校验;

15、当所述载荷声明长度小于等于所述实际字节长度时,提取所述缓存文件中所述载荷声明长度的数据作为所述资产载荷并返回。

16、在某些实施方案中,根据所述缓存键在各缓存层中查找所述缓存文件,具体包括:

17、根据缓存路径在各缓存层中查找所述缓存文件;

18、所述缓存路径由所述资产加载请求中的资产类别、引擎版本信息以及所述缓存键组成;

19、当所述引擎版本信息变更时,所述缓存路径变更,使已存储的缓存文件整体错位并自动失效。

20、在某些实施方案中,所述响应于资产加载请求,根据所述缓存键在第一缓存层中查找缓存文件之前,还包括:

21、通过自注册的提供者注册表遍历已加载的所述应用程序包,枚举所述应用程序包所需的资产项,每个所述资产项携带需渲染设备标志;

22、对于每个所述资产项,根据所述缓存键在所述第一缓存层中执行查找操作:

23、当所述第一缓存层中存在满足完整性校验的缓存文件时,跳过当前资产项;

24、当所述第一缓存层中不存在满足完整性校验的缓存文件时,若不存在渲染设备,则执行cpu烘焙以生成资产载荷,并将生成的资产载荷写入所述第一缓存层;若存在渲染设备且所述需渲染设备标志显式开启,则将当前资产项委派给渲染服务端进行烘焙以生成资产载荷,并将生成的资产载荷写入所述第一缓存层;若存在渲染设备且所述需渲染设备标志显式关闭,则报告烘焙缺失诊断并跳过当前资产项。

25、在某些实施方案中,所述根据所述源描述符生成资产载荷,包括:

26、对生成器中来源于所述源描述符且影响资产载荷几何形态的每个字段递归取哈希,得到源哈希;将不影响资产载荷几何形态的字段排除在所述源哈希的取哈希范围之外;

27、当两个生成器生成的所述源哈希相同时,仅生成一次资产载荷,并将生成的所述资产载荷在全部相同生成器实体间共享。

28、本发明的第二方面,提供一种双层生成与资产缓存系统,具体技术方案如下,包括:键构造模块、出厂查找模块、用户查找模块以及生成存储模块;

29、所述键构造模块,用于获取源描述符,所述源描述符用于描述待生成资产的规格信息;根据所述源描述符构造缓存键;

30、所述出厂查找模块,用于响应于资产加载请求,根据所述缓存键在第一缓存层中查找缓存文件,所述第一缓存层随应用程序包发布;

31、所述用户查找模块,用于当所述第一缓存层中存在满足完整性校验的所述缓存文件时,返回所述缓存文件中的资产载荷;否则,根据所述缓存键在第二缓存层中查找缓存文件,所述第二缓存层位于执行设备的可写存储位置;

32、所述生成存储模块,用于当所述第二缓存层中存在满足完整性校验的所述缓存文件时,返回所述缓存文件中的资产载荷;否则,根据所述源描述符生成资产载荷,根据所述缓存键将所述资产载荷写入所述第二缓存层并返回所述资产载荷。

33、在某些实施方案中,所述源描述符为用于描述资产生成规格的稳定文本,所述稳定文本包括:几何形状参数、减面比、广告牌方向数、图集尺寸以及引擎版本信息中的至少一项;

34、所述缓存键由所述源描述符构造且不使用时间信息,以使得所述源描述符相同则所述缓存键相同。

35、在某些实施方案中,所述缓存键包括内容哈希值以及参数哈希值;

36、所述内容哈希值用于标识所述资产载荷的内容,所述参数哈希值通过对所述源描述符中至少一个分段进行哈希得到;

37、对每个所述分段先写入该分段的n位长度前缀再写入该分段的内容,再对所有携带长度前缀的分段进行哈希折叠,从而得到所述参数哈希值。

38、在某些实施方案中,所述完整性校验包括:读取所述缓存文件时,依次检查所述缓存文件的头部长度是否完整、头部标识是否匹配、载荷声明长度是否不为零以及实际字节长度是否不小于所述载荷声明长度,当上述任一条件为否时,判定所述缓存文件不满足所述完整性校验;

39、当所述载荷声明长度小于等于所述实际字节长度时,提取所述缓存文件中所述载荷声明长度的数据作为所述资产载荷并返回。

40、在某些实施方案中,根据所述缓存键在各缓存层中查找所述缓存文件,具体包括:

41、根据缓存路径在各缓存层中查找所述缓存文件;

42、所述缓存路径由所述资产加载请求中的资产类别、引擎版本信息以及所述缓存键组成;

43、当所述引擎版本信息变更时,所述缓存路径变更,使已存储的缓存文件整体错位并自动失效。

44、在某些实施方案中,所述响应于资产加载请求,根据所述缓存键在第一缓存层中查找缓存文件之前,还包括:

45、通过自注册的提供者注册表遍历已加载的所述应用程序包,枚举所述应用程序包所需的资产项,每个所述资产项携带需渲染设备标志;

46、对于每个所述资产项,根据所述缓存键在所述第一缓存层中执行查找操作:

47、当所述第一缓存层中存在满足完整性校验的缓存文件时,跳过当前资产项;

48、当所述第一缓存层中不存在满足完整性校验的缓存文件时,若不存在渲染设备,则执行cpu烘焙以生成资产载荷,并将生成的资产载荷写入所述第一缓存层;若存在渲染设备且所述需渲染设备标志显式开启,则将当前资产项委派给渲染服务端进行烘焙以生成资产载荷,并将生成的资产载荷写入所述第一缓存层;若存在渲染设备且所述需渲染设备标志显式关闭,则报告烘焙缺失诊断并跳过当前资产项。

49、在某些实施方案中,所述根据所述源描述符生成资产载荷,包括:

50、对生成器中来源于所述源描述符且影响资产载荷几何形态的每个字段递归取哈希,得到源哈希;将不影响资产载荷几何形态的字段排除在所述源哈希的取哈希范围之外;

51、当两个生成器生成的所述源哈希相同时,仅生成一次资产载荷,并将生成的所述资产载荷在全部相同生成器实体间共享。

52、本发明的第三方面,提供一种计算机设备,所述计算机设备包括处理器,所述处理器与存储器耦合,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行,以使所述计算机设备实现如上任一项方法。

53、本发明的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行,以使计算机实现如上任一项方法。

54、需要说明的是,本发明的第二方面至第四方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面及其对应的可能的实现方式的技术效果,此处不再赘述。