基于民族语言和标题的自适应视觉层融合生成方法及系统

摘要: 本发明属于人工智能与多模态信息处理,特别涉及一种基于民族语言和标题的自适应视觉层融合生成方法及系统。背景技术:1、近年来,多模态大语言模型在图像描述、视觉问答、...
基于民族语言和标题的自适应视觉层融合生成方法及系统

本发明属于人工智能与多模态信息处理,特别涉及一种基于民族语言和标题的自适应视觉层融合生成方法及系统。

背景技术:

1、近年来,多模态大语言模型在图像描述、视觉问答、图文理解和视觉条件文本生成等任务中取得了较快发展。现有模型通常通过视觉编码器提取图像特征,再将视觉特征投影到语言模型空间,由语言模型根据用户指令生成文本。然而,现有技术主要围绕英语、汉语等高资源语言构建,面向藏语、维吾尔语、朝鲜语、蒙古语等民族语言的真实世界图文生成能力仍然不足。

2、在实际新闻报道、文化宣传、政务传播、文旅咨询和民族语言媒体生产场景中,输入往往并非单独图像,而是“图像加民族语言标题”。模型需要根据标题提供的事件语义和图像中的可见内容,生成同一民族语言的完整描述。这类任务既要求模型理解图像,又要求模型理解标题中的事件、地点、文化对象和语言表达习惯,还要求输出保持目标民族语言的一致性和流畅性。

3、现有技术方案包括:

4、(1)基于通用多模态大模型的图像条件生成方法

5、该类方法通常使用视觉编码器获取图像特征,并通过多模态投影层将视觉特征输入语言模型。模型可以根据图像和文本提示生成回答或描述,但通常缺少对民族语言标题语义和语言身份的专门建模。

6、(2)基于固定多层视觉特征融合的方法

7、该类方法会从视觉编码器的多个层级提取视觉特征,并按照预设方式进行拼接、求和或固定加权,以提升视觉信息表达能力。其不足在于,融合策略在不同语言、不同标题和不同图像样本之间保持不变,难以适应民族语言脚本差异、标题语义差异和场景复杂度差异。

8、(3)基于机器翻译或通用网页爬取的数据构建方法

9、该类方法通常将英文或汉语图文数据翻译为目标低资源语言,或者直接从互联网抓取图文对。其优势是成本较低,但容易造成图文语义错配、文化专有表达丢失、重复样本泄漏、正文信息过度依赖以及样本质量难以控制等问题。

10、(4)基于通用文本相似度指标的自动评价方法

11、现有生成任务常使用字符重叠、序列重叠或语义相似度等指标进行评价。这些指标能够衡量模型输出与参考文本的相似程度,但无法单独证明输出是否真正来自图像证据。因此,在民族语言标题引导生成任务中,还需要结合数据质量控制和防泄漏划分来保证评价结果的可信度。

12、但是,现有技术方案存在以下问题:

13、(1)民族语言多模态训练样本的原生性和可控性不足

14、现有翻译式数据构建方法容易将具有民族文化特征的对象泛化为普通词汇,导致视觉对象与目标语言表达之间的对应关系被削弱。粗放式网页爬取又容易引入无效图片、噪声正文、非目标语言片段、弱图文对齐样本和版权风险样本。

15、(2)固定视觉层融合不能适应不同语言和标题语义

16、视觉编码器浅层、中层和深层特征通常包含不同粒度的信息。浅层可能包含局部纹理和位置线索,中层可能包含物体和空间关系,深层可能包含语义抽象信息。现有固定融合方式对所有样本使用同一层级组合,无法根据藏语、维吾尔语、朝鲜语、蒙古语等语言特征及标题语义动态调整视觉信息来源。

17、进一步地,现有固定多层视觉融合方法通常是在模型训练前预先确定视觉层组合或融合权重,例如对浅层、中层和深层视觉特征进行固定拼接、固定求和或固定加权。该类方法中的融合权重不随输入民族语言、标题语义和具体图像样本变化。即使引入文本提示,现有方法也多是在语言模型解码阶段使用文本提示,而未在视觉特征进入多模态投影器之前,利用目标语言身份和标题语义对不同视觉层进行条件化选择。因此,现有方法难以解决民族语言标题引导生成场景中的视觉证据错配问题。

18、(3)模型容易依赖标题而忽略图像证据

19、在标题引导生成任务中,标题往往包含较强的事件语义。如果训练样本中包含大量无法从图像和标题推断的文章正文细节,模型可能学习到“根据标题编写新闻式文本”的捷径,而不是学习图像、标题和目标语言描述之间的稳健对应关系。

20、(4)随机划分训练集和测试集容易造成数据泄漏

21、真实网页数据中,同一图像、同一新闻事件、同一文章或近重复转载内容可能多次出现。如果不进行按图像、文章和近重复事件的分组划分,训练集和测试集中可能出现高度相似样本,导致评测结果虚高。

22、因此,需要一种能够同时覆盖“高质量民族语言图文标题样本构建”和“语言标题条件下自适应视觉融合”的技术方案。其中,数据构建环节用于获得真实、可追溯、经过质量控制的图像、标题、描述训练样本;模型方法环节用于根据语言标识和标题语义动态融合多层视觉特征,从而提升民族语言多模态生成中的图文对齐能力、标题语义利用能力和目标语言生成质量。

技术实现思路

1、为解决上述技术问题,本发明提供一种基于民族语言和标题的自适应视觉层融合生成方法,包括如下步骤:

2、步骤s1:采集原始样本,并保留所述原始样本的元数据;通过清洗、筛选所述元数据获得目标样本;再对所述目标样本进行描述构建、专家审核到难度标注和防泄漏划分,构建图像-标题-描述的训练样本;

3、步骤s2:在语言标题自适应视觉层融合模型的训练阶段,输入训练样本,通过视觉编码器从多个指定层级提取视觉token特征,并通过构建标题语义表示和语言嵌入生成视觉特征的融合权重,最终生成融合视觉表示,进而得到目标民族语言描述;

4、步骤s3:在推理阶段,用户输入图像和民族语言标题,由训练好的语言标题自适应视觉层融合模型输出民族语言描述。

5、有益效果:

6、1、本发明通过将数据构建与模型训练统一到同一标题引导生成任务中,减少翻译式数据和粗放网页数据导致的图文错配与文化语义失真。

7、2、本发明通过专家审核、正文仅用于构建阶段、防泄漏分组划分等措施,减少模型学习不可见正文细节和重复样本记忆的风险。

8、3、本发明通过目标民族语言嵌入和标题语义表示共同生成视觉层融合权重,使视觉层融合权重能够随不同语言、不同标题和不同图像样本动态变化,避免固定视觉层融合对所有样本采用同一视觉层组合导致的视觉证据错配问题。

9、4、本发明通过在多模态投影器之前对浅层、中层和深层视觉token特征进行条件化加权融合,使模型能够根据标题所指向的对象、场景、事件或文化语义,自动调整局部纹理、物体关系和高层语义特征的使用比例,从而提高图像-标题对齐能力和目标民族语言描述生成稳定性。

10、5、本发明通过冻结视觉编码器和投影层,仅训练lora与自适应融合模块,降低训练成本,提高方法在不同多模态大模型上的可移植性。

11、6、本发明通过针对民族语言标题生成目标进行训练和推理,提高目标语言一致性、描述流畅性、图像-标题对齐能力和低资源语言生成稳定性。

1.一种基于民族语言和标题的自适应视觉层融合生成方法,其特征在于,包括:

2.根据权利要求1所述的基于民族语言和标题的自适应视觉层融合生成方法,其特征在于,所述步骤s1具体包括:

3.根据权利要求2所述的基于民族语言和标题的自适应视觉层融合生成方法,其特征在于,所述步骤s2具体包括:

4.根据权利要求3所述的基于民族语言和标题的自适应视觉层融合生成方法,其特征在于,所述步骤s2还包括:

5.一种基于民族语言和标题的自适应视觉层融合生成系统,其特征在于,包括下述模块:

6.一种基于民族语言和标题的自适应视觉层融合生成装置,其特征在于,包括一个或多个电子设备,其中所述一个或多个电子设备用于实现权利要求1至4任一项所述的方法。

7.一种电子设备,其特征在于,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至4任一项所述的方法。

8.一种计算机可读存储介质,其特征在于,其上存储有可执行指令,该指令被处理器执行时使处理器实现权利要求1至4任一项所述的方法。

9.一种非暂态计算机可读存储介质,其特征在于,其上存储有计算机程序,该计算机程序被处理器执行时实现如权利要求1至4中任一项所述的方法。