一种扩散模型特征预测的方法和装置与流程

本发明涉及图像处理，更具体地，涉及一种扩散模型特征预测的方法和装置。

背景技术：

1、随着人工智能的发展，扩散模型（diffusion model）的应用也越来越广泛，上述扩散模型包含逐步加噪的前向过程和逐步去噪生成整洁图像的反向过程，上述扩散模型从传统u-net向transformer架构演进，所述扩散模型的参数量激增导致推理速度极其缓慢，消耗大量算力资源，成为实际部署的关键瓶颈。

2、现有技术中，采用先缓存后预测的方法预测未来特征，提升上述扩散模型的计算效率，但在高加速比下容易出现严重的误差累积，造成生成的图像和视频的质量较差。

3、综上所述，如何提高上述扩散模型计算效率的同时保持较好的生成质量，是目前需要解决的问题。

技术实现思路

1、有鉴于此，本发明实施例提供了一种扩散模型特征预测的方法和装置，可以在提高扩散模型计算效率的同时保持较好的生成质量。

2、第一方面，本发明实施例提供了一种扩散模型特征预测的方法，所述方法包括：获取预先确定的目标系数组合，其中，所述目标系数组合在离线状态下采用多保真度自适应搜索策略生成，所述目标系数组合中包括n个目标系数，所述n为大于或等于2的正整数；根据所述目标系数组合以及n个历史缓存残差特征计算当前时间步的目标残差特征，其中，所述n个历史缓存残差特征为所述当前时间步的前n个时间步对应的缓存残差特征；根据所述目标残差特征确定扩散模型在所述当前时间步的输出特征。

3、可选的，所述获取预先确定的目标系数组合，具体包括：根据所述多保真度自适应搜索策略生成n-1个目标系数；根据所述n-1个目标系数和所述n个目标系数之间的仿射约束，确定第n个目标系数；根据所述n-1个目标系数和第n个目标系数确定所述目标系数组合。

4、可选的，所述根据所述多保真度自适应搜索策略生成n-1个目标系数，具体包括：获取多组初始候选系数，其中，每组初始候选系数中包括n-1个候选系数；根据树形结构帕森估计器在所述多组初始候选系数中确定一组初始候选系数；将每组所述初始候选系数进行渐进式过滤，生成评估分数；根据所述评估分数在所述多组初始候选系数确定所述n-1个目标系数。

5、可选的，所述将每组所述初始候选系数进行渐进式过滤，生成评估分数，具体包括：将每组所述初始候选系数在低保真度对应的提示词子集上进行评估，生成第一评估分数；通过连续减半算法剪枝器根据第一中间阈值分数对所述第一评估分数进行判别，响应于所述第一评估分数大于或等于所述第一中间阈值分数，将每组所述初始候选系数在中保真度对应的提示词子集上进行评估，生成第二评估分数；通过连续减半算法剪枝器根据第二中间阈值分数对所述第二评估分数进行判别，响应于所述第二评估分数大于或等于所述第二中间阈值分数，将每组所述初始候选系数在高保真度对应的提示词子集上进行评估，生成所述评估分数。

6、可选的，所述低保真度对应的提示词子集、中保真度对应的提示词子集和所述高保真度对应的提示词子集为嵌套子集。

7、可选的，所述根据所述目标系数组合以及n个历史缓存残差特征计算当前时间步的目标残差特征，具体包括：分别确定所述目标系数组合中每个目标系数与对应的所述历史缓存残差特征的乘积；将n个所述乘积的第一和值确定为所述当前时间步的目标残差特征。

8、可选的，所述根据所述目标残差特征确定扩散模型在所述当前时间步的输出特征，具体包括：确定将当前时间步的输入特征与所述目标残差特征的第二和值；将所述第二和值确定为所述当前时间步的输出特征。

9、第二方面，本发明实施例提供了一种扩散模型特征预测的装置，所述装置包括：

10、获取单元，用于获取预先确定的目标系数组合，其中，所述目标系数组合在离线状态下采用多保真度自适应搜索策略生成，所述目标系数组合中包括n个系数，所述n为大于或等于2的正整数；计算单元，用于根据所述目标系数组合以及n个历史缓存残差特征计算当前时间步的目标残差特征，其中，所述n个历史缓存残差特征为所述当前时间步的前n个时间步对应的缓存残差特征；确定单元，用于根据所述目标残差特征确定扩散模型在所述当前时间步的输出特征。

11、可选的，所述获取单元具体用于：根据所述多保真度自适应搜索策略生成n-1个目标系数；根据所述n-1个目标系数和所述n个目标系数之间的仿射约束，确定第n个目标系数；根据所述n-1个目标系数和第n个目标系数确定所述目标系数组合。

12、可选的，所述获取单元具体还用于：获取多组初始候选系数，其中，每组初始候选系数中包括n-1个候选系数；根据树形结构帕森估计器在所述多组初始候选系数中确定一组初始候选系数；将每组所述初始候选系数进行渐进式过滤，生成评估分数；根据所述评估分数在所述多组初始候选系数确定所述n-1个目标系数。

13、可选的，所述获取单元具体还用于：将每组所述初始候选系数在低保真度对应的提示词子集上进行评估，生成第一评估分数；通过连续减半算法剪枝器根据第一中间阈值分数对所述第一评估分数进行判别，响应于所述第一评估分数大于或等于所述第一中间阈值分数，将每组所述初始候选系数在中保真度对应的提示词子集上进行评估，生成第二评估分数；通过连续减半算法剪枝器根据第二中间阈值分数对所述第二评估分数进行判别，响应于所述第二评估分数大于或等于所述第二中间阈值分数，将每组所述初始候选系数在高保真度对应的提示词子集上进行评估，生成所述评估分数。

14、可选的，所述低保真度对应的提示词子集、中保真度对应的提示词子集和所述高保真度对应的提示词子集为嵌套子集。

15、可选的，所述计算单元具体用于：分别确定所述目标系数组合中每个目标系数与对应的所述历史缓存残差特征的乘积；将n个所述乘积的第一和值确定为所述当前时间步的目标残差特征。

16、可选的，所述确定单元具体用于：确定将当前时间步的输入特征与所述目标残差特征的第二和值；将所述第二和值确定为所述当前时间步的输出特征。

17、第三方面，本发明实施例提供了一种电子设备，包括存储器和处理器，所述存储器用于存储一条或多条计算机程序指令，其中，所述一条或多条计算机程序指令被所述处理器执行以实现如第一方面或第一方面任一种可能中任一项所述的方法。

18、第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如第一方面或第一方面任一种可能中任一项所述的方法。

19、本发明实施例中，通过获取预先确定的目标系数组合，其中，所述目标系数组合在离线状态下采用多保真度自适应搜索策略生成，所述目标系数组合中包括n个目标系数，所述n为大于或等于2的正整数；根据所述目标系数组合以及n个历史缓存残差特征计算当前时间步的目标残差特征，其中，所述n个历史缓存残差特征为所述当前时间步的前n个时间步对应的缓存残差特征；根据所述目标残差特征确定扩散模型在所述当前时间步的输出特征。通过上述方法，采用多保真度自适应搜索策略生成的目标系数组合作为历史缓存残差特征的系数，可以在提高扩散模型计算效率的同时保持较好的生成质量。