基于群体相对策略优化的原生多模态大模型的生成增强训练方法

摘要: 本发明涉及用于统一多模态大语言模型的群体相对策略优化,特别是一种基于群体相对策略优化的原生多模态大模型的生成增强训练方法。背景技术:1、最近,统一多模态大语言模...
基于群体相对策略优化的原生多模态大模型的生成增强训练方法

本发明涉及用于统一多模态大语言模型的群体相对策略优化,特别是一种基于群体相对策略优化的原生多模态大模型的生成增强训练方法。

背景技术:

1、最近,统一多模态大语言模型(mllm)被提出,旨在统一多模态理解和生成。以往的mllm侧重于接收多模态输入,并输出与输入相关问题的答案。然而,大语言模型(llm)的成功证明了自回归范式的强大之处。该领域一直在探索自回归图像生成的方法。通过专门的强化学习框架,语言模型在发展推理能力方面取得了显著进展。尽管目前的原生多模态大模型能够同时生成和理解图片,但是目前的生成效果,包括图片的美观程度以及图片和生成提示的匹配程度,都不能很好地达到令人满意的效果。

2、需要说明的是,在上述背景技术部分公开的信息仅用于对本申请的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的主要目的在于克服上述背景技术中存在的缺陷,提供一种基于群体相对策略优化的原生多模态大模型的生成增强训练方法。

2、为实现上述目的,本发明采用以下技术方案:

3、在本发明第一方面,一种基于群体相对策略优化(grpo)的原生多模态大模型生成增强训练方法,包括以下步骤:

4、(a)输入文本提示,通过所述原生多模态大模型生成多个候选图像;

5、(b)利用预训练的视觉奖励模型对所述候选图像进行多维度评估,输出反映图像美学质量与文本一致性的奖励分数;

6、(c)对所述奖励分数进行群体内统计归一化,计算各候选图像的优势值,以表征其在候选集中的相对优化权重;

7、(d)基于所述优势值,通过裁剪概率比与kl散度约束构建策略优化目标函数,调整模型参数以最大化高奖励图像的生成概率;

8、(e)在微调过程中,仅使用文本数据驱动所述优化目标,并通过冻结参数的参考模型约束输出分布,保持原始生成能力。

9、在本发明第二方面,一种计算机可读存储介质,存储有计算机程序,所述计算机程序由处理器执行时实现所述的基于群体相对策略优化的原生多模态大模型生成增强训练方法。

10、在本发明第三方面,一种计算机程序产品,包括计算机程序,所述计算机程序由处理器执行时实现所述的基于群体相对策略优化的原生多模态大模型生成增强训练方法。

11、在本发明第四方面,一种设备,包括:

12、存储器,用于存储计算机程序;

13、处理器,用于执行所述计算机程序时实现所述的基于群体相对策略优化的原生多模态大模型生成增强训练方法。

14、本发明具有如下有益效果:

15、本发明提出了一种基于群体相对策略优化的原生多模态大模型的生成增强训练方法,通过引入群体相对策略优化(grpo)框架,显著提升了原生多模态大模型在图像生成任务中的能力,能够克服现有技术中图像生成效果在美观度与文本一致性上的不足等缺点。该方法通过输入文本提示生成多张候选图像,利用预训练的视觉奖励模型对图像进行多维度综合评估,包括美学质量、对象特征及与提示的语义匹配度,并通过群体内统计归一化计算各图像的优势值,以相对优化权重驱动模型参数调整。结合裁剪概率比与kl散度约束的策略优化目标函数,在强化学习框架下引导模型向高奖励方向迭代,有效降低了奖励方差并提升了生成稳定性。微调过程中仅依赖文本数据,避免了传统方法对高质量文本-图像对的依赖,大幅降低了数据收集成本;同时通过冻结参数的参考模型约束输出分布,确保模型在优化过程中保留原始生成能力,防止领域偏移。此外,基于janus-pro框架的离散化图像生成机制,将视觉编码解耦为理解与生成路径,使图像生成与语言模型的自回归范式无缝兼容,进一步提升了生成效率与质量。通过上述技术融合,本发明在无需额外图像数据的前提下,实现了生成图像质量与文本一致性的双重提升,为多模态大模型的实用化提供了高效、低成本的解决方案。

16、本发明在计算机视觉领域具有广泛的市场应用潜力。由于其通用性和高效性,可广泛应用于数字创意产业如广告设计、数字媒体与游戏娱乐等领域。其高效的微调方式以及低廉的训练数据的收集成本,使其在实际应用中具有显著的商业价值和市场竞争力。

17、本发明实施例中的其他有益效果将在下文中进一步述及。

1.一种基于群体相对策略优化的原生多模态大模型生成增强训练方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,步骤(b)中,所述预训练的视觉奖励模型为基于人类偏好数据预训练的在线评估模型,其通过多维度评估所述候选图像的美学质量与文本一致性生成综合奖励分数,并对同一次生成的多个候选图像进行并行评分,以动态引导模型优化方向。

3.根据权利要求2所述的方法,其特征在于,所述预训练的视觉奖励模型为基于人类偏好数据微调的clip模型,其通过将生成的图像与文本提示共同输入,输出综合评估美学质量与文本一致性的奖励分数。

4.根据权利要求1至3任一项所述的方法,其特征在于,所述群体相对策略优化的具体方法包括:

5.根据权利要求1至4任一项所述的方法,其特征在于,步骤(e)中,所述冻结参数的参考模型为预训练的统一多模态大语言模型(mllm)。

6.根据权利要求1至5任一项所述的方法,其特征在于,步骤(e)中,微调策略具体包括:

7.根据权利要求1至6任一项所述的方法,其特征在于,所述原生多模态大模型基于janus-pro框架实现图像生成,具体包括:

8.根据权利要求1至7任一项所述的方法,其特征在于,步骤(a)中,生成候选图像的具体流程包括:

9.根据权利要求1至8任一项所述的方法,其特征在于,步骤(b)中,所述预训练的视觉奖励模型为基于blip架构的视觉语言模型,其通过交叉注意力机制融合图像与文本特征,并利用多层感知器预测综合偏好分数,此模型基于包含人类专家标注的绝对评分与相对排名的图像对比对数据集训练,以反映人类对图像美学质量与文本一致性的偏好。

10.根据权利要求1至8任一项所述的方法,其特征在于,步骤(b)中,所述预训练的视觉奖励模型为从clip视觉编码器微调的模型,其通过最大化文本提示与人类偏好图像的相似度、同时最小化与非偏好图像的相似度进行训练,所述训练数据包含从同一提示生成的图像集中人工选择的偏好样本。

11.根据权利要求1至8任一项所述的方法,其特征在于,步骤(b)中,所述预训练的视觉奖励模型为基于多任务学习的视觉语言模型,其在图像生成与视频生成评估任务上联合训练,通过跨领域知识迁移优化对图像美学质量与文本一致性的综合评估能力,此模型基于预训练的视觉语言模型进一步微调,并利用交叉熵损失函数驱动训练过程。

12.一种计算机可读存储介质,存储有计算机程序,其特征在于,所述计算机程序由处理器执行时实现如权利要求1至11任一项所述的基于群体相对策略优化的原生多模态大模型生成增强训练方法。

13.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序由处理器执行时实现如权利要求1至11任一项所述的基于群体相对策略优化的原生多模态大模型生成增强训练方法。

14.一种设备,其特征在于,包括: