一种图像理解模型的训练方法、装置、设备、介质及产品与流程
本公开涉及人工智能,尤其涉及一种图像理解模型的训练方法、装置、设备、介质及产品。
背景技术:
1、随着人工智能技术和多模态模型(multimodal large language model,mllm)的发展,图像理解模型已广泛应用于视觉问答、图文理解、图像内容识别等场景中,为提升模型对图像细节、局部区域和复杂视觉信息的理解能力,业界通常会结合思维链(chain-of-thought,cot)推理、图像预处理或外部图像增强工具辅助模型生成答案,然而,面对包含细粒度视觉信息、局部模糊区域或者需要多轮观察推理的图像理解任务,如何在推理过程中动态利用图像增强结果,并通过训练机制引导模型形成更准确的图像观察和推理路径,是当前面临的主要问题。
2、在相关技术中,图像理解模型通常直接基于输入图像和文本信息生成回答,或者在模型推理前对图像进行固定的增强处理,缺乏在链式推理过程中根据当前推理状态动态调用外部图像增强工具的机制,同时,现有训练方式多侧重于对最终回答结果进行评价,难以同时对答案准确性、图像关注位置、外部图像增强工具调用情况以及推理过程进行统一评估,导致模型在处理复杂图像理解任务时容易出现图像区域关注不准确、工具调用不合理以及推理结果稳定性不足的问题。
技术实现思路
1、本公开提供了一种图像理解模型的训练方法、装置、设备、介质及产品。
2、根据本公开的第一方面,提供了一种图像理解模型的训练方法,包括:
3、获取训练样本;训练样本包括样本图像和与样本图像对应的文本信息;
4、通过待训练多模态模型对训练样本进行链式推理,生成多个候选推理数据以及各候选推理数据对应的候选回答;其中,候选推理数据包括按照推理顺序关联的多个阶段推理数据,阶段推理数据用于表征对应推理阶段的推理过程信息;
5、基于各候选推理数据和对应的候选回答,确定各候选回答对应的奖励分数,并基于奖励分数确定各候选回答对应的优势评价信息;
6、基于各候选回答对应的优势评价信息和惩罚项约束,确定训练损失,并基于训练损失更新待训练多模态模型,得到图像理解模型。
7、进一步地,推理过程信息包括:推理思考、动作信息和观察反馈;推理思考用于表征对应推理阶段生成的思考内容,动作信息用于表征对应推理阶段是否调用外部图像增强工具,观察反馈用于表征是否继续进行链式推理。
8、进一步地,推理思考包括:语义推理信息和图像位置信息;其中,图像位置信息用于表征样本图像中需要聚焦的图像区域;动作信息用于表征是否调用外部图像增强工具以及在调用外部图像增强工具的情况下对图像区域进行图像增强处理的图像增强处理方式。
9、进一步地,通过待训练多模态模型对训练样本进行链式推理,生成多个候选推理数据以及各候选推理数据对应的候选回答,包括:
10、通过待训练多模态模型基于训练样本生成当前阶段推理数据;
11、在当前阶段推理数据中的动作信息指示调用外部图像增强工具,且当前阶段推理数据中的观察反馈指示继续进行链式推理的情况下,基于图像位置信息确定样本图像中的目标图像区域,并按照图像增强处理方式调用外部图像增强工具对目标图像区域进行处理,得到图像增强结果;
12、基于当前阶段之前已生成的提示词信息、当前阶段推理数据和图像增强结果,生成下一阶段输入信息;
13、通过待训练多模态模型基于下一阶段输入信息生成下一阶段推理数据,直至观察反馈指示结束推理或达到预设迭代轮次,得到候选推理数据和对应的候选回答。
14、进一步地,外部图像增强工具包括:图像裁剪工具、灰度变换工具、亮度调节工具、对比度调节工具、饱和度调节工具、超分辨率重建工具、对比度优化工具和细节锐化工具中的至少一种。
15、进一步地,基于各候选推理数据和对应的候选回答,确定各候选回答对应的奖励分数,包括:
16、基于候选回答的答案准确度确定准确度奖励;
17、基于候选推理数据的输出格式确定格式奖励;
18、基于候选推理数据中的图像位置信息确定图像位置准确性奖励;
19、基于候选推理数据中的动作信息确定外部图像增强工具调用准确性奖励;
20、基于准确度奖励、格式奖励、图像位置准确性奖励和外部图像增强工具调用准确性奖励,确定奖励分数。
21、进一步地,基于奖励分数确定各候选回答对应的优势评价信息,包括:
22、确定多个候选回答对应的奖励分数的奖励均值;
23、基于各候选回答对应的奖励分数与奖励均值之间的差值,确定各候选回答对应的相对优势;
24、将相对优势确定为各候选回答对应的优势评价信息。
25、进一步地,惩罚项约束基于当前策略与参考策略之间的输出分布差异确定;其中,当前策略为待训练多模态模型的输出概率分布,参考策略为参考模型或更新前的待训练多模态模型的输出概率分布。
26、进一步地,基于各候选回答对应的优势评价信息和惩罚项约束,确定训练损失,包括:
27、基于各候选回答对应的优势评价信息,确定用于引导待训练多模态模型更新的奖励引导项;
28、基于惩罚项约束,确定用于限制当前策略相对于参考策略的更新偏移的策略约束项;
29、基于奖励引导项和策略约束项,确定训练损失。
30、进一步地,基于训练损失更新待训练多模态模型,得到图像理解模型,包括:
31、基于训练损失对待训练多模态模型进行参数更新,得到更新后多模态模型;
32、将更新后多模态模型作为下一轮训练使用的待训练多模态模型,并返回执行通过待训练多模态模型对训练样本进行链式推理,生成多个候选推理数据以及各候选推理数据对应的候选回答的步骤,以对待训练多模态模型进行至少一轮迭代优化,得到迭代优化后多模态模型;
33、将迭代优化后多模态模型确定为图像理解模型。
34、根据本公开的第二方面,提供了一种图像理解模型的训练装置,该装置包括:
35、获取模块,用于获取训练样本;训练样本包括样本图像和与样本图像对应的文本信息;
36、推理模块,用于通过待训练多模态模型对训练样本进行链式推理,生成多个候选推理数据以及各候选推理数据对应的候选回答;其中,候选推理数据包括按照推理顺序关联的多个阶段推理数据,阶段推理数据用于表征对应推理阶段的推理过程信息;
37、评价模块,用于基于各候选推理数据和对应的候选回答,确定各候选回答对应的奖励分数,并基于奖励分数确定各候选回答对应的优势评价信息;
38、训练模块,用于基于各候选回答对应的优势评价信息和惩罚项约束,确定训练损失,并基于训练损失更新待训练多模态模型,得到图像理解模型。
39、根据本公开的第三方面,提供了一种电子设备。该电子设备包括:存储器和处理器,存储器上存储有计算机程序,处理器执行程序时实现如以上的方法。
40、根据本公开的第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,程序被处理器执行时实现本公开的上述方法。
41、根据本公开的第五方面,提供了一种计算机程序产品。该计算机程序产品包括计算机程序,计算机程序被处理器执行时实现本公开的上述方法。
42、本公开实施例提供的一种图像理解模型的训练方法、装置、设备、介质及产品,在本技术实施例中,首先,获取训练样本;训练样本包括样本图像和与样本图像对应的文本信息;然后,通过待训练多模态模型对训练样本进行链式推理,生成多个候选推理数据以及各候选推理数据对应的候选回答;其中,候选推理数据包括按照推理顺序关联的多个阶段推理数据,阶段推理数据用于表征对应推理阶段的推理过程信息;之后,基于各候选推理数据和对应的候选回答,确定各候选回答对应的奖励分数,并基于奖励分数确定各候选回答对应的优势评价信息;最后,基于各候选回答对应的优势评价信息和惩罚项约束,确定训练损失,并基于训练损失更新待训练多模态模型,得到图像理解模型。
43、通过上述描述可知,本公开实施例通过待训练多模态模型对包括样本图像和文本信息的训练样本进行链式推理,使模型在生成候选回答的同时生成能够反映推理过程的候选推理数据,从而使后续训练过程不再仅依据最终回答结果对模型进行更新,而是能够结合候选推理数据和候选回答对模型的推理过程及回答结果进行评价;进一步地,本公开实施例基于各候选回答对应的奖励分数确定优势评价信息,使不同候选回答及其对应候选推理数据之间能够形成相对优劣评价,从而引导待训练多模态模型朝向奖励分数更优的推理过程和回答结果进行优化;同时,本公开实施例在基于优势评价信息确定训练损失时结合惩罚项约束,能够限制模型更新过程中的策略偏移,避免模型在优化过程中相对于参考策略产生过度偏离。由此,本公开实施例能够在提升图像理解模型对样本图像和文本信息的推理理解能力的同时,提高模型训练过程的稳定性和图像理解结果的准确性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com