基于自适应架构对齐的物理规律分布外泛化视频生成方法

摘要: 本申请属于计算机,具体涉及一种基于自适应架构对齐的物理规律分布外泛化视频生成方法。背景技术:1、目前的物理感知视频生成技术主要包含如下范式:数据驱动方法,其利用...
基于自适应架构对齐的物理规律分布外泛化视频生成方法

本申请属于计算机,具体涉及一种基于自适应架构对齐的物理规律分布外泛化视频生成方法。

背景技术:

1、目前的物理感知视频生成技术主要包含如下范式:数据驱动方法,其利用富含物理信息的数据集或合成数据,结合后训练策略(如基于人类偏好的强化学习)将物理常识隐式烘焙进模型权重;大语言模型/视觉语言模型引导方法,其利用大规模模型作为物理评估器或提示优化器,通过反馈回路优化生成过程;物理引导方法,其将外部物理模拟器、三维表征或神经常微分方程模块集成为条件输入以提供显式控制。

2、然而,目前的视频生成模型虽能对训练分布内的物理现象(如自由落体、物体碰撞)生成视觉上逼真的内容,但存在物理规律的分布外(out-of-distribution,ood)泛化问题,比如当重力加速度、初速度方向、物体质量等物理条件在推理阶段相对于训练阶段发生偏移时,其物理规律一致性即告崩溃,典型表现为在生成视频中出现速度失真、轨迹错误等问题,以致模型在实际应用中的视频生成质量不佳。

技术实现思路

1、本申请实施例的目的是提供一种基于自适应架构对齐的物理规律分布外泛化视频生成方法,能够解决相关技术中因物理规律的分布外泛化问题,而导致模型在实际应用中的视频生成质量不佳的问题。

2、为了解决上述技术问题,本申请是这样实现的:

3、第一方面,本申请实施例提供了一种基于自适应架构对齐的物理规律分布外泛化视频生成方法,该方法包括:

4、将多个候选投影器架构,与单一骨干网络进行整合以构建权重共享超网,其中,所述骨干网络包括预训练的视频生成模型,所述权重共享超网中不同候选投影器架构各自所对应路径中的相同模块被整合为单一模块以共享参数;

5、在超网训练阶段,利用与目标物理场景中的分布内任务和分布外任务相关联的目标数据集,以双层优化问题求解的方式,基于所述权重共享超网进行最优投影器架构搜索,得到与所述目标物理场景相匹配的目标投影器架构,其中,所述双层优化问题基于内层优化阶段中给定架构下最小化训练损失的超网权重求解问题,以及外层优化阶段中给定超网权重下最小化验证损失的架构求解问题构建,不同物理场景关联不同物理规律,同一物理场景中的分布内任务和分布外任务关联不同的物理条件;

6、在全量训练阶段,利用所述目标数据集,基于所述目标投影器架构训练所述权重共享超网中的骨干网络,并将训练完成的骨干网络作为目标视频生成模型;其中,超网训练阶段与全量训练阶段的训练损失基于预设训练目标确定,所述预设训练目标至少包含如下对齐目标:将经过相应投影器架构处理的模型潜在特征,与预训练视觉编码器提取的物理先验在空间维度与时间维度上分别进行对齐,以将可迁移至分布外任务的物理规律注入模型生成过程;

7、在推理阶段,利用所述目标视频生成模型,以所述目标物理场景的分布外任务中作为固定控制条件的初始帧为输入,采用像素到像素的纯数据驱动方式生成物理规律一致的后续视频序列。

8、第二方面,本申请实施例提供了一种基于自适应架构对齐的物理规律分布外泛化视频生成装置,所述装置包括:

9、第一训练模块,用于将多个候选投影器架构,与单一骨干网络进行整合以构建权重共享超网,其中,所述骨干网络包括预训练的视频生成模型,所述权重共享超网中不同候选投影器架构各自所对应路径中的相同模块被整合为单一模块以共享参数;以及在超网训练阶段,利用与目标物理场景中的分布内任务和分布外任务相关联的目标数据集,以双层优化问题求解的方式,基于所述权重共享超网进行最优投影器架构搜索,得到与所述目标物理场景相匹配的目标投影器架构,其中,所述双层优化问题基于内层优化阶段中给定架构下最小化训练损失的超网权重求解问题,以及外层优化阶段中给定超网权重下最小化验证损失的架构求解问题构建,不同物理场景关联不同物理规律,同一物理场景中的分布内任务和分布外任务关联不同的物理条件;

10、第二训练模块,用于在全量训练阶段,利用所述目标数据集,基于所述目标投影器架构训练所述权重共享超网中的骨干网络,并将训练完成的骨干网络作为目标视频生成模型;其中,超网训练阶段与全量训练阶段的训练损失基于预设训练目标确定,所述预设训练目标至少包含如下对齐目标:将经过相应投影器架构处理的模型潜在特征,与预训练视觉编码器提取的物理先验在空间维度与时间维度上分别进行对齐,以将可迁移至分布外任务的物理规律注入模型生成过程;

11、模型推理模块,用于在推理阶段,利用所述目标视频生成模型,以所述目标物理场景的分布外任务中作为固定控制条件的初始帧为输入,采用像素到像素的纯数据驱动方式生成物理规律一致的后续视频序列。

12、第三方面,本申请实施例提供了一种电子设备,该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的基于自适应架构对齐的物理规律分布外泛化视频生成方法的步骤。

13、第四方面,本申请实施例提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的基于自适应架构对齐的物理规律分布外泛化视频生成方法的步骤。

14、第五方面,本申请实施例提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的基于自适应架构对齐的物理规律分布外泛化视频生成方法。

15、在本申请实施例中,采用将预训练视觉编码器提取的物理先验,与经过相应投影器架构处理的模型潜在特征分别在空间维度与时间维度上进行对齐作为预设训练目标中的对齐目标,以确保静态物体属性与动态运动轨迹均能被模型捕获和学习,从而促使模型从高维视觉数据中学习可迁移至分布外任务的底层物理规律而非表面统计模式;构建权重共享超网以将指数级搜索开销降为多项式级,且将投影器的架构设计形式化为双层优化问题,内层优化阶段支持针对不同物理场景动态确定超网权重以提升权重共享超网整体的场景适配性,外层优化阶段支持为不同物理场景动态确定最为适配的候选投影器架构作为目标投影器架构,进而基于目标投影器架构训练所述权重共享超网中的骨干网络,以保证其能够有效内化相应物理场景中不变的物理规律,从而使得训练得到的目标视频生成模型能够在面对目标物理场景中物理条件剧烈变化的分布外任务时仍能生成物理规律一致的视频;由此可以有效解决物理规律的分布外泛化问题,从而提升模型在实际应用中的视频生成质量,并避免额外增加推理成本。

1.一种基于自适应架构对齐的物理规律分布外泛化视频生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述以双层优化问题求解的方式,基于所述权重共享超网进行最优投影器架构搜索,得到与所述目标物理场景相匹配的目标投影器架构,包括:

3.根据权利要求2所述的方法,其特征在于,所述验证损失包括如下经距离线性缩放的对齐损失:

4.根据权利要求2所述的方法,其特征在于,所述根据所述验证损失进行架构搜索,包括:

5.根据权利要求2所述的方法,其特征在于,所述双层优化问题表示如下:

6.根据权利要求1-5任一所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述超网训练阶段与全量训练阶段的训练损失包括如下总训练损失:

8.根据权利要求6所述的方法,其特征在于,所述对齐目标所对应的对齐损失表示如下:

9.根据权利要求1-5任一所述的方法,其特征在于,所述目标数据集至少包含训练集和测试集;所述方法还包括:

10.一种基于自适应架构对齐的物理规律分布外泛化视频生成装置,其特征在于,所述装置包括: