用于模型训练的方法和终端设备与流程
本公开的示例涉及计算机领域,特别地涉及用于模型训练的方法和终端设备。
背景技术:
1、随着机器学习技术的发展,已经可以利用机器学习模型来执行多种应用环境中的任务。机器学习模型的模型性能会受到机器学习模型的训练效果的影响。扩散模型可以根据输入条件执行图像生成或图像编辑。固定强度的教师监督难以同时适配不同噪声位置,因而少步生成结果可能难以兼顾整体结构与高频细节。现有对较少推理步数下的结构稳定性和纹理清晰度提出了更高要求。
技术实现思路
1、在本文的第一方面,提供了一种模型训练方法。该方法包括:利用第一扩散模型,基于模型输入,确定关于样本图像的第一处理结果,模型输入是通过处理样本图像得到的;利用第二扩散模型,基于多个引导强度和模型输入,得到关于样本图像的多个参考结果,多个参考结果分别对应于多个引导强度,引导强度指示第二扩散模型执行推理过程中对条件信息的依赖程度,条件信息是模型输入的一部分;以及至少基于第一处理结果和多个参考结果,训练第一扩散模型。
2、在本文的第二方面,提供了一种终端设备。该终端设备采用第一方面的方法。
3、以此方式,第一扩散模型能够基于多个引导强度对应的教师参考结果进行训练,从而兼顾少步生成的结构稳定性和纹理恢复能力。
4、应当理解,本内容部分中所描述的内容并非旨在限定本公开中的示例的关键特征或重要特征,也不用于限制方案的范围。其它特征将通过以下的描述而变得容易理解。
1.一种模型训练方法,包括:
2.根据权利要求1所述的方法,其中所述模型输入包括样本中间状态信息、样本时间步信息和样本特征表示,所述样本时间步信息指示所述样本中间状态信息对应的样本时间步,所述样本特征表示是通过对样本输入进行编码得到的,所述样本输入包括所述样本图像、样本噪声和所述条件信息,所述条件信息至少包括样本文本,
3. 根据权利要求1所述的方法,其中所述至少基于所述第一处理结果和所述多个参考结果,训练所述第一扩散模型包括:
4.根据权利要求3所述的方法,还包括:
5.根据权利要求4所述的方法,其中对所述评分模型的模型参数的更新和对所述第一扩散模型的训练被交替执行或联合执行。
6.根据权利要求1所述的方法,其中至少基于所述第一处理结果和所述多个参考结果,训练所述第一扩散模型包括:
7.根据权利要求6所述的方法,其中所述多个引导强度包括第一引导强度和第二引导强度,所述第二引导强度大于所述第一引导强度,至少一个融合权重包括第一融合权重,并且所述按照所述至少一个融合权重融合所述多个参考结果包括:
8.根据权利要求7所述的方法,其中所述第一融合权重随所述噪声强度减小而增大。
9.根据权利要求6所述的方法,其中所述目标参数包括位置切换参数、强度过渡参数和融合比例参数中的至少一项。
10.根据权利要求1所述的方法,其中在所述第一扩散模型的训练过程中,所述第二扩散模型的模型参数保持不变。
11.根据权利要求1所述的方法,其中所述模型输入至少包括样本特征表示,所述样本特征表示是通过对样本输入进行编码得到的,所述样本输入至少包括所述样本图像和所述条件信息;所述多个引导强度包括第三引导强度;
12.根据权利要求11所述的方法,其中所述处理所述样本特征表示的第一部分,以得到经处理的样本特征表示包括:
13.一种终端设备,其采用权利要求1-12所述模型训练方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com