基于多层级偏好优化的全模态大语言模型幻觉缓解方法
本发明涉及一种基于模态引导解码与多层级偏好优化的全模态大语言模型幻觉缓解方法,属于人工智能、自然语言处理与多模态大模型。
背景技术:
1、随着全模态大语言模型的发展,模型能够同时理解视觉、音频和文本等多模态输入。然而,由于多模态预训练数据中固有存在的单模态偏见以及模态间的虚假关联,全模态大模型极易产生,例如在回答视觉问题时误将背景音频信息引入回答,或在回答音频问题时产生错误的视觉细节描述。
2、针对上述幻觉问题,现有的偏好优化对齐方法主要存在对比粒度粗糙、数据构建成本高昂以及token级监督信号失真等显著缺陷:现有方法普遍仅构建“完全正确回答”与“完全幻觉回答”的二元对比偏好对,这种粗糙的二元逻辑忽略了仅缺乏细节的粗粒度描述或掺杂了不相关模态干扰的半真实描述等中间过渡状态,导致给模型的监督信号极为稀疏,无法引导模型精准区分不同程度的跨模态冲突;同时,若要在全模态场景下通过人工标注此类多层级、高精度的偏好数据集,需要耗费巨大的人力进行视听交叉比对,使得自动化构建高质量多层级偏好数据面临极大挑战;此外,传统偏好损失在训练时将回答中的所有token一视同仁,未能考虑到虚词(如“的”、“是”)与模态敏感实体词(如“颜色”、“旋律”、“物体名称”)对判断幻觉的贡献截然不同,严重缺乏对模态敏感token的针对性信号增强。
技术实现思路
1、发明目的:本发明所要解决的技术问题是针对现有技术中偏好监督信号稀疏、多层级偏好数据获取困难、以及对模态敏感token缺乏差异化增强,提供一种基于模态引导解码与多层级偏好优化的全模态大语言模型幻觉缓解方法。
2、技术方案:一种基于模态引导解码与多层级偏好优化的全模态大语言模型幻觉缓解方法,通过构建免标注的模态引导解码流水线,利用模型自身的能力自动合成具有四个模态忠实度梯度的四级偏好排序集;随后,设计多响应偏好优化损失函数,通过非对称边距约束联合优化四级偏好链;同时引入细粒度token级重加权机制,放大模态敏感token的梯度信号,实现全模态大模型的高效跨模态对齐。
3、步骤1,接收全模态输入数据;接收到一套包含视频序列、音频轨道以及文本指令的全模态数据。
4、步骤2,确定问题相关模态与干扰模态;对文本指令进行语义解析,根据文本指令的语义解析结果自动将输入数据分为目标相关模态和无关干扰模态。
5、步骤3,利用未微调基座模型提取基础logits、正向logits与负向logits,将输入数据送入冻结的全模态基座大模型中,并行执行三路前向推理,分别提取出全模态基础对数概率分布、仅输入目标相关模态数据时的正向引导对数概率分布,以及仅输入无关干扰模态数据时的负向抑制对数概率分布。
6、步骤4,通过模态引导解码流水线配置不同系数,生成四级偏好响应集;通过调控正向系数与负向系数,展开四个解码分支;在第一个分支中,设置正向系数为1,负向系数为 0,解码生成rank 1详细描述;在第二个分支中,设置正向系数小于0,负向系数为0,解码生成rank 2粗粒度描述;在第三个分支中,设置正向系数小于0,负向系数小于0,解码生成rank 3模态混淆描述;在第四个分支中,设置正向系数为0,负向系数为-1,解码生成rank 4完全脱节描述。
7、步骤5,在获取四级偏好响应集后,计算各token在相关与干扰模态下的对数概率差值。
8、步骤6,对对数概率差值进行截断与线性规范化;
9、步骤7,将每个响应中各token的动态权重与预测对数概率相乘求和,按序列长度归一化并乘以温度超参数,计算出四个等级响应对应的隐式奖励分值。
10、步骤8,基于四级隐式奖励分值并行计算三个非对称边距损失项;设定边距参数,并行启动三个损失计算分支。在第一个分支中,计算边距为的严重幻觉惩罚损失,将rank 1的奖励分值减去rank 3与rank 4奖励分值的平均值,扣除2倍边距后计算负对数,强行拉开高质量回答与幻觉回答之间的梯度距离;在第二个分支中,计算边距为的过渡状态惩罚损失,将rank 2的奖励分值减去rank 3与rank 4的平均奖励分值,扣除的边距后计算负对数,确保模型在细节不足时也优先选择无幻觉回答;在第三个分支中,执行计算边距为的细节鼓励损失,将rank 1与rank 2的奖励分值相减并扣除的边距后计算负对数,鼓励模型捕获高细节描述;将这三个分支的损失值累加,完成当前视觉模态总损失的计算。
11、汇总视觉与音频模态总体损失,将视觉提问下的模态总损失与按相同逻辑计算出的音频提问下的模态总损失进行累加,得到总体损失。
12、步骤9,执行梯度反向传播,更新全模态大模型参数;采用adamw优化器,在大模型注意力机制模块的query与value矩阵上注入低秩适配器,连续训练多个轮次。
13、完成参数更新后,合并低秩适配器权重后的全模态大模型成功消除了跨模态干扰信号,实现了在保持通用推理能力的同时大幅抑制跨模态幻觉。
14、所述步骤3中,对于输入数据,为视觉信号,为音频信号,为文本指令,设指令目标为指定模态,定义问题相关模态为,无关模态为;在同一基座模型下,获取基础logits、正向logits与负向logits:
15、基础logits:
16、正向logits:
17、负向logits:。
18、所述步骤4中,通过调节增强系数与抑制系数,解耦对比方向,构造组合logits分布:
19、
20、通过设置不同的参数配置,模型能够在不依赖任何人工标注的前提下,即可自动合成包含四个忠实度梯度的响应集合:
21、rank 1(详细描述):设置。生成完全由相关模态驱动、具备丰富细节且无幻觉的高质量回答。
22、rank 2(粗粒度描述):设置。抑制相关模态的细粒度特征,逼迫模型生成事实正确但缺乏细节的粗粒度回答。
23、rank 3(模态混淆干扰描述):设置。在抑制正确模态的同时放大干扰模态,生成掺杂不相关模态信息的半真实半幻觉回答。
24、rank 4(完全模态脱节描述):设置。生成完全受无关模态主导的严重幻觉回答。
25、所述步骤5中,在获得多层级偏好响应集后,为了解决传统损失函数对所有token一视同仁而无法突出核心敏感词的问题,本发明进一步提出了细粒度token级模态敏感度量化与动态重加权机制,对于多层偏好响应集中的每一条响应,按照位置索引逐token拆解,其中表示该响应中第个位置的具体token,在离线阶段计算在相关模态与干扰模态下的对数概率差值:
26、
27、其中,表示当前生成token之前的所有已生成的token序列,绝对值量化了token对模态信息的敏感程度,实体词与特征词的敏感度通常远高于语法虚词。
28、所述步骤6中,为了确保训练过程中的数值稳定性并防止梯度爆炸,对该敏感度绝对值实施双向截断处理,并将其线性映射归一化到预设的权重区间内,从而获得每个token的动态重加权权重:
29、
30、其中,表示线性映射归一化函数,该函数将截断后的值映射到[0,1]区间,表示截断函数,若则取,若则取,否则取本身,表示截断阈值(双向截断的上下界),表示最终权重的预设上界和下界。
31、所述步骤7中,将所述动态加权权重融入到基于对数概率的隐式奖励函数中,对不同token的对数概率进行加权累加并按响应长度归一化,形成最终能够精准感知核心特征词的加权隐式奖励分值:
32、
33、其中表示token的位置索引,表示模型在给定历史token和输入的条件下,预测第个token为的概率,表示该概率的自然对数(通常为负值,越接近0表示模型越确定),表示响应长度,为温度超参数。模型将根据上述构建的多层级偏好数据集和token即权重进行后续训练。
34、所述步骤8中,基于四级偏好链与加权隐式奖励函数,设计基于非对称边距约束的多级联合偏好优化损失函数,该损失函数由三个并行计算的子损失函数组合而成。
35、(1)幻觉惩罚损失(、)
36、
37、其中分别代表四级偏好链中rank 1、rank 2、rank 3、rank 4的隐藏奖励分值,是标准二分类交叉熵损失形式,值越大表示模型对偏好的区分能力越差,惩罚越强。
38、对于rank 1,设置较大的边距;对于rank 2,设置较松弛的边距;
39、(2)细节鼓励损失()
40、
41、该损失迫使模型捕获精细化的模态信息特征。
42、结合上述设计的损失函数,单个模态下的总损失为:。全模态联合训练总损失为视听双模态损失之和:。其中,表示视频模态计算出来的单模态损失,表示音频模态计算出来的单模态损失。步骤9通过优化器对大模型注入的lora参数进行微调更新,完成跨模态的精准对齐。
43、一种计算机设备,该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如上所述的基于模态引导解码与多层级偏好优化的全模态大语言模型幻觉缓解方法的步骤。
44、一种计算机可读存储介质,其上存储有计算机程序/指令,该计算机程序/指令被处理器执行时实现如上所述的基于模态引导解码与多层级偏好优化的全模态大语言模型幻觉缓解方法的步骤。
45、有益效果:本发明提出了免标注的模态引导解码算法,仅通过在推理阶段调节logits组合系数,即可利用模型自身能力自动合成包含四个梯度等级的偏好数据集,实现了全模态偏好数据的高效自动化构建,降低了数据集的标注与建设成本;此外,相比于传统偏好对齐方法仅能提供二元粗粒度反馈,本发明引入了非对称边距约束并对整个四级偏好链进行联合优化,为模型训练提供了更加密集且细粒度的梯度监督信号,显著提高了模型消除跨模态虚假关联与单模态过度信任的能力;最后,本发明通过token级的对数概率差值进行动态重加权,有效放大了实体词、特征词等模态敏感token的学习权重,压制了无意义虚词对训练的梯度干扰,使模型能够精准感知跨模态冲突。本发明在大幅缓解模型跨模态幻觉的同时,完全保留并提升了全模态大模型的通用感知与逻辑推理能力,具有广泛的应用前景。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com