模型训练方法、装置、设备、介质及产品与流程

本申请涉及人工智能，特别涉及一种模型训练方法、装置、设备、介质及产品。

背景技术：

1、视频生成模型能够根据文本提示或初始条件，通过对潜空间中的噪声分布进行迭代去噪或速度场拟合，逐步生成符合用户描述内容的视频画面。

2、相关技术中，训练视频生成模型时，需要基于生成的视频帧内容确定对应的专家模型，并基于专家模型计算误差，进行反向传播以更新模型参数。

3、然而，由于训练初期的视频生成模型生成的视频帧内容质量较差，基于生成的劣质内容确定的专家模型容易出现错误匹配或不适合当前生成状态的问题，导致训练效果不佳甚至训练失败。

技术实现思路

1、本申请实施例提供了一种模型训练方法、装置、设备、介质及产品。本申请提供的技术方案包括如下几个方面。

2、一方面，本申请实施例提供了一种模型训练方法，所述方法包括：

3、基于参考视频构建静态字典，所述静态字典包含所述参考视频中的参考视频帧与物理专家模型的映射关系，其中，所述参考视频符合目标物理规律，且所述物理专家模型用于在验证视频帧是否符合物理规律时提供先验信息；

4、基于提示信息，通过视频生成模型进行视频生成，得到生成式视频（generatedvideo），所述提示信息用于提示生成符合所述目标物理规律的视频；

5、基于所述参考视频中参考视频帧与所述生成式视频中生成式视频帧的对应关系，从所述静态字典中确定待评估视频帧对应的物理专家模型，所述待评估视频帧属于所述生成式视频帧；

6、通过各个所述待评估视频帧对应的物理专家模型，训练所述视频生成模型。

7、另一方面，本申请实施例提供了一种模型训练装置，所述装置包括：

8、构建模块，被配置为基于参考视频构建静态字典，所述静态字典包含所述参考视频中的参考视频帧与物理专家模型的映射关系，其中，所述参考视频符合目标物理规律，且所述物理专家模型用于在验证视频帧是否符合物理规律时提供先验信息；

9、生成模块，被配置为基于提示信息，通过视频生成模型进行视频生成，得到生成式视频，所述提示信息用于提示生成符合所述目标物理规律的视频；

10、确定模块，被配置为基于所述参考视频中参考视频帧与所述生成式视频中生成式视频帧的对应关系，从所述静态字典中确定待评估视频帧对应的物理专家模型，所述待评估视频帧属于所述生成式视频帧；

11、训练模块，被配置为通过各个所述待评估视频帧对应的物理专家模型，训练所述视频生成模型。

12、另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现上述模型训练方法。

13、另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现上述模型训练方法。

14、另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现上述模型训练方法。

15、本申请实施例提供的技术方案可以带来如下有益效果：

16、通过基于参考视频构建静态字典，将专家模型与参考视频帧进行映射绑定，然后基于参考视频帧与生成式视频帧的对应关系，从静态字典中确定专家模型，使得专家模型的匹配依据是帧与帧之间的时序对应关系，而非对生成式视频帧内容的实时分析或评估。由于该匹配过程完全独立于生成式视频的质量，降低了因训练初期生成内容劣质而导致专家模型选择错误或不适合的可能性，从而保证了训练过程中监督信号的准确性，提升了训练的稳定性和收敛效率。

1.一种模型训练方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述基于参考视频构建静态字典，包括：

3.根据权利要求2所述的方法，其特征在于，所述基于所述潜空间特征，确定各个参考视频帧对应的物理专家模型，并构建所述静态字典，包括：

4.根据权利要求2所述的方法，其特征在于，所述基于所述潜空间特征，确定各个参考视频帧对应的物理专家模型，并构建所述静态字典，包括：

5.根据权利要求1至3任一所述的方法，其特征在于，所述基于所述参考视频中参考视频帧与所述生成式视频中生成式视频帧的对应关系，从所述静态字典中确定待评估视频帧对应的物理专家模型，包括：

6.根据权利要求5所述的方法，其特征在于，所述基于预设规则设置掩码矩阵，包括：

7.根据权利要求5所述的方法，其特征在于，所述基于所述参考视频中参考视频帧与所述生成式视频中生成式视频帧的对应关系，以及所述掩码矩阵指示的所述待评估视频帧的第一帧索引，确定所述待评估视频帧对应的参考视频帧的第二帧索引，包括：

8.根据权利要求1至3任一所述的方法，其特征在于，所述通过各个所述待评估视频帧对应的物理专家模型，训练所述视频生成模型，包括：

9.根据权利要求8所述的方法，其特征在于，所述视频生成模型的输出还包括各个生成式视频帧对应的隐状态，所述隐状态用于表征所述生成式视频帧在生成过程中的中间状态；

10.根据权利要求8所述的方法，其特征在于，所述基于所述流匹配损失更新所述视频生成模型的模型参数，包括：

11.根据权利要求1至3任一所述的方法，其特征在于，所述基于提示信息，通过所述视频生成模型进行视频生成，得到生成式视频，包括：

12.根据权利要求11所述的方法，其特征在于，所述提示信息还包括总帧数信息，所述总帧数信息用于指示待生成视频的总帧数，且指示的所述总帧数与所述参考视频帧的总帧数相同。

13.根据权利要求1至3任一所述的方法，其特征在于，所述参考视频基于所述提示信息生成，或，在物理引擎中模拟生成。

14.一种模型训练装置，其特征在于，所述装置包括：

15.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器中存储有计算机程序，所述计算机程序由所述处理器加载并执行以实现如权利要求1至13任一项所述的模型训练方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至13任一项所述的模型训练方法。

17.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序存储在计算机可读存储介质中，处理器从所述计算机可读存储介质读取并执行所述计算机程序，以实现如权利要求1至13任一项所述的模型训练方法。