基于双正则约束的扩散模型偏好对齐方法
本发明属于图像生成与偏好对齐,具体涉及一种基于双正则约束的扩散模型偏好对齐方法。
背景技术:
1、近年来,根据文本生成图像的扩散模型取得了显著的进展,能够根据文本提示词生成高质量的图像。然而,这些模型的输出往往难以与人类的偏好相一致,在视觉吸引力、文本忠实度或安全性等方面存在不足。为此,研究者们将直接偏好优化dpo框架从大语言模型领域引入扩散模型领域,形成了diffusion-dpo及其变体方法,通过对偏好图像和非偏好图像的对比学习来优化生成模型。
2、black等在《training diffusion models with reinforcement learning》一文中,采用强化学习方法将扩散模型的去噪过程建模为马尔可夫决策过程,通过策略梯度对生成模型进行优化以对齐人类偏好,但该方法存在计算成本高、训练不稳定的问题,实现复杂度大且效率较低。
3、liang等在《step-aware preference optimization: aligning preferencewith denoising performance at each step》一文中,提出了一种步级偏好优化方法,在每个扩散时间步上进行偏好对齐以精细化生成质量,但该方法与现有dpo变体一样,继承了dpo的二元对比结构,即包含偏好提升和非偏好抑制,缺乏对过拟合和奖励黑客问题的显式正则化约束。
技术实现思路
1、本发明提出了一种基于双正则约束的扩散模型偏好对齐方法,解决了现有扩散模型对齐方法中存在的过拟合和奖励黑客问题,达到了提升生成图像质量、增强模型对人类偏好对齐能力的显著效果。
2、实现本发明的技术解决方案为:一种基于双正则约束的扩散模型偏好对齐方法,步骤如下:
3、步骤s1、采集包含文本提示词、偏好图像和非偏好图像的偏好三元组数据,构建偏好数据集,转入步骤s2。
4、步骤s2、构建参考扩散模型和待对齐扩散模型,上述两个扩散模型均包含一个噪声预测函数和一个预定义的前向加噪调度器。
5、将扩散过程的时间区间划分为t个离散时间步;对偏好数据集中的偏好图像和非偏好图像分别进行时间步采样和高斯噪声采样,对采样得到的时间步和高斯噪声执行扩散前向加噪过程,生成时间步信息和噪声信息,以及对应时间步t的偏好带噪样本和非偏好带噪样本,转入步骤s3。
6、步骤s3、将偏好带噪样本、非偏好带噪样本、时间步信息和噪声信息同时输入参考扩散模型和待对齐扩散模型,通过两个扩散模型对偏好带噪样本和非偏好带噪样本进行噪声预测,计算待对齐扩散模型相对于参考扩散模型在偏好带噪样本上的概率提升程度以及在非偏好带噪样本上的概率抑制程度,分别构建偏好提升项和非偏好抑制项,用于表征待对齐扩散模型对人类偏好样本的学习能力,转入步骤s4。
7、步骤s4、将非偏好带噪样本、时间步信息和噪声信息同时输入参考扩散模型和待对齐扩散模型,通过两个扩散模型对非偏好带噪样本进行噪声预测,计算待对齐扩散模型与参考扩散模型之间的预测差异,构建参考保留项,用于约束待对齐扩散模型在非偏好带噪样本上的分布保持与参考扩散模型的一致性,抑制模型训练过程中产生的过度偏移和过拟合现象,转入步骤s5。
8、步骤s5、将偏好带噪样本、时间步信息和噪声信息同时输入参考扩散模型和待对齐扩散模型,通过两个扩散模型对偏好带噪样本进行噪声预测,计算待对齐扩散模型与参考扩散模型之间的预测差异,构建偏好散度项,用于引导待对齐扩散模型在偏好带噪样本对应的潜空间中进行探索性偏移,增强模型对人类偏好特征的学习能力,避免模型收敛于高偏好得分但低图像质量的局部最优解,转入步骤s6。
9、步骤s6、将偏好提升项、非偏好抑制项、参考保留项和偏好散度项进行联合融合,构建双正则约束偏好对齐损失函数;其中偏好提升项和非偏好抑制项用于增强模型对人类偏好样本的学习能力,参考保留项用于约束模型与参考扩散模型之间的一致性,偏好散度项用于引导模型进行偏好潜空间探索,转入步骤s7。
10、步骤s7、将s1构建的偏好数据集作为输入,以步骤s6构建的双正则约束偏好对齐损失函数作为损失函数,训练待对齐扩散模型,使双正则约束偏好对齐损失函数逐步收敛,最后获得训练完成的偏好对齐扩散模型,转入步骤s8;
11、步骤s8、获取待生成图像对应的文本提示词,采样随机噪声,将随机噪声输入训练完成的偏好对齐扩散模型,待生成图像对应的文本提示词作为条件输入,进行逆向扩散去噪过程,最终获得与文本提示词相符合的图像并输出。
12、本发明与现有技术相比,其显著优点在于:
13、(1)本发明首次提出参考保留项,通过约束待对齐扩散模型在非偏好样本上的分布与参考扩散模型保持一致,有效抑制了模型训练过程中产生的过度偏移和过拟合现象,使得模型在偏好对齐的同时保留基础生成能力,避免了传统方法中因非偏好样本过度抑制而导致的模型退化问题。
14、(2)本发明首次提出偏好散度项,通过引导待对齐扩散模型在偏好样本对应的潜空间中进行探索性偏移,增强了模型对人类偏好特征的学习广度,防止模型收敛于高偏好得分但低图像质量的局部最优解,有效克服了奖励黑客问题。
15、(3)本发明首次将直接模仿学习框架适配到扩散模型领域,通过偏好提升项、非偏好抑制项、参考保留项和偏好散度项的联合优化,构建了双正则约束偏好对齐损失函数,实现了偏好对齐稳定性与探索性的平衡,在保持训练稳定性的同时,显著提升了生成图像的视觉质量与人类偏好对齐程度。
1.一种基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤如下:
2.根据权利要求1所述的基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤s1中,采集包含文本提示词、偏好图像和非偏好图像的偏好三元组数据,构建偏好数据集,具体如下:
3.根据权利要求2所述的基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤s3中,构建偏好提升项和非偏好抑制项,具体如下:
4.根据权利要求3所述的基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤s4中,构建参考保留项,具体如下:
5.根据权利要求4所述的基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤s5中,构建偏好散度项,具体如下:
6.根据权利要求5所述的基于双正则约束的扩散模型偏好对齐方法,其特征在于,步骤s6中,将偏好提升项、非偏好抑制项、参考保留项和偏好散度项进行联合融合,构建双正则约束偏好对齐损失函数,具体如下:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com