一种基于多模态融合的参考内容全局特征编码方法及装置与流程
本技术涉及人工智能,具体涉及一种基于多模态融合的参考内容全局特征编码方法及装置。
背景技术:
1、随着多模态人工智能技术的快速迭代,跨模态内容检索、条件式内容生成、数字资产管理、智能内容合规校验等业务场景中,以多模态参考内容为基准的语义比对、约束引导需求呈指数级增长。多模态参考内容全局特征编码作为上述下游任务的核心支撑技术,其核心作用是将包含文本、图像、音频、视频等任意模态组合的参考内容,映射为统一维度的稠密特征向量,使特征向量能够完整、精准地表征参考内容的全局核心语义,同时具备跨模态语义一致性、高区分度、强泛化性与低冗余度,直接决定了下游任务的精度上限与可用性。
2、本领域公知,单模态全局特征编码是跨模态融合的基础。目前主流的单模态全局编码方案中,文本模态多基于transformer架构的自注意力机制完成语义建模,通过cls标记提取、全局平均池化等方式生成全局特征;图像、视频等视觉模态多基于卷积神经网络或视觉transformer架构完成特征提取,通过金字塔特征聚合、注意力加权池化等方式生成全局表征。但上述方案均采用前向单向的特征聚合范式,针对长文本、长时序视频等长序列参考内容建模时,远距离语义单元的依赖权重随序列长度呈指数级衰减,无法完整保留细粒度语义单元-中层语义簇-全局主题的层级语义关联,存在本质性的长序列全局信息丢失问题,单模态全局特征的语义覆盖度与上下文一致性存在难以突破的天然瓶颈。
3、在跨模态融合编码层面,现有技术经历了多轮演进:早期方案多采用特征拼接、门控线性融合的方式,直接对不同模态的全局特征执行维度拼接或加权求和,该类方案计算复杂度低但未实现语义层面的深度对齐,融合特征的跨模态语义一致性较差;当前主流方案则采用交叉注意力对齐、对比学习联合嵌入的技术路线,通过逐元素交叉注意力运算或全局对比损失约束实现跨模态语义对齐,一定程度上提升了融合特征的语义一致性。但上述两类方案均采用模态对等的局部逐元素对齐模式,未建立全局语义层面的统一锚定基准,多模态交叉对齐过程中易出现误差累积与语义漂移;同时弱相关、噪声语义单元可直接参与融合过程,导致融合特征中模态噪声占比高,全局语义中心稳定性不足,该缺陷在三类及以上模态的融合场景中被进一步放大,无法满足高精度场景的应用要求。
4、进一步地,现有多模态编码技术普遍存在输入前置处理与输出形态设计的双重缺失:在输入侧,现有方案默认所有模态语义均为有效互补信息,未针对多模态参考内容中普遍存在的跨模态语义重复问题进行前置消解,同一语义信息在多个模态中被重复编码,直接导致融合特征出现语义偏置与维度冗余,编码效率与表征精度同步受损;在输出侧,现有编码方案均输出扁平化的一维特征向量,特征维度间存在严重的语义耦合与重叠,无明确的语义层级划分,不仅可解释性差,下游任务也无法根据自身需求分层调用对应语义特征,难以适配不同业务场景的差异化表征需求。
5、综上,现有多模态全局特征编码技术受限于单模态聚合的长序列信息衰减、跨模态对齐的无基准语义漂移、输入输出两端的架构缺失等多重机制性缺陷,无法满足高端业务场景对全局编码的高精度、高一致性、高可用性要求。目前,本领域尚未有能够从全流程架构层面同步解决上述全部缺陷的技术方案,亟需一种全新的基于多模态融合的参考内容全局特征编码方法,突破现有技术的固有瓶颈。
技术实现思路
1、本发明的目的在于提供一种基于多模态融合的参考内容全局特征编码方法来至少解决上述的一个技术问题。
2、本发明的一个方面,提供一种基于多模态融合的参考内容全局特征编码方法,所述基于多模态融合的参考内容全局特征编码方法包括:
3、步骤1:获取待编码多模态参考内容对应的初始语义单元特征集合;
4、步骤2:对待编码多模态参考内容对应的初始语义单元特征集合进行跨模态语义冗余消解与层级划分,从而获取带语义层级分类标签的提纯多模态语义单元集合;
5、步骤3:对带语义层级分类标签的提纯多模态语义单元集合进行全局主从模态判定与基准锚定,从而获取全局语义基准锚定配置;
6、步骤4:对所述带语义层级分类标签的提纯多模态语义单元集合以及全局语义基准锚定配置进行多模态语义锚定递归融合的全局特征初编码,从而获取带锚点维度映射关系的全局特征初编码向量;
7、步骤5:对带锚点维度映射关系的全局特征初编码向量进行全局语义层级结构化映射编码,从而获取全局特征编码向量。
8、可选地,所述步骤2包括:
9、步骤21:对所述初始语义单元特征集合进行跨模态单元两两语义相似度计算与冗余分组,从而获取包含跨模态冗余语义组与独立语义单元的初分类结果;
10、步骤22:对所述跨模态冗余语义组进行核心语义单元筛选与重复冗余单元剔除,从而获取去重后的有效语义单元集合;
11、步骤23:对所述去重后的有效语义单元集合进行语义层级属性映射与分类标签标注,从而获取带语义层级分类标签的提纯多模态语义单元集合。
12、可选地,所述步骤3包括:
13、步骤31:对所述带语义层级分类标签的提纯多模态语义单元集合进行逐模态全局语义密度统计计算,从而获取各模态全局语义密度参数集合;
14、步骤32:对所述各模态全局语义密度参数集合进行语义承载度排序与模态角色划分,从而获取包含主导模态与从属模态的模态主从角色划分结果;
15、步骤33:基于所述模态主从角色划分结果进行主导模态全局语义基准锚提取与配置封装,从而获取全局语义基准锚定配置。
16、可选地,所述步骤4包括:
17、步骤41:对所述带语义层级分类标签的提纯多模态语义单元集合进行初始语义簇划分与递归全局上下文聚合,从而获取各模态层级化全局特征集合;
18、步骤42:对所述各模态层级化全局特征集合结合全局语义基准锚定配置进行基准锚点匹配与跨模态单向校准融合,从而获取带锚点匹配关联关系的跨模态融合特征;
19、步骤43:对所述带锚点匹配关联关系的跨模态融合特征进行正交语义基构建与保真映射编码,从而获取带锚点维度映射关系的全局特征初编码向量。
20、可选地,所述步骤5包括:
21、步骤51:对所述带锚点维度映射关系的全局特征初编码向量进行语义层级归属匹配与维度分段划分,从而获取三段式语义维度分段结果;
22、步骤52:对所述三段式语义维度分段结果进行分段正交解耦与段间语义干扰消除,从而获取正交独立的语义分段编码集合;
23、步骤53:对所述正交独立的语义分段编码集合进行固定顺序拼接与归一化规整,从而获取结构化全局特征编码向量。
24、可选地,所述步骤41包括:
25、步骤411:对所述带语义层级分类标签的提纯多模态语义单元集合进行固定规模语义聚类与簇中心特征提取,从而获取各模态初始语义簇特征集合;
26、步骤412:对所述各模态初始语义簇特征集合进行多层级前向全局聚合与反向上下文修正的递归闭环处理,从而获取各模态多层级递归簇特征集合;
27、步骤413:对所述各模态多层级递归簇特征集合进行层级语义规整与维度统一,从而获取各模态层级化全局特征集合。
28、可选地,所述步骤412包括:
29、步骤4121:对当前层级的语义簇特征集合执行簇内自注意力语义细化与簇间全局交互聚合,从而获取上一层级高层全局簇特征集合;
30、步骤4122:将所述上一层级高层全局簇特征集合反向映射至当前层级语义空间,执行全局语义约束下的低层特征加权修正,从而获取上下文校准后的当前层级语义簇特征集合;
31、步骤4123:按照预设固定递归层数逐层重复执行前向聚合与反向修正的闭环操作,直至完成全部层级处理,从而获取各模态多层级递归簇特征集合。
32、可选地,所述步骤43包括:
33、步骤431:基于所述带锚点匹配关联关系的跨模态融合特征,以每组匹配锚点对对应独立语义维度生成初始向量,从而获取初始语义基向量集合;
34、步骤432:对所述初始语义基向量集合执行施密特正交化处理与语义能量保真约束修正,从而获取正交无干扰的语义基矩阵;
35、步骤433:将跨模态融合特征映射至正交语义基空间执行维度变换与归一化规整,从而获取带锚点维度映射关系的全局特征初编码向量。
36、本技术还提供了一种基于多模态融合的参考内容全局特征编码装置,所述基于多模态融合的参考内容全局特征编码装置包括:
37、初始语义单元特征集合获取模块,所述初始语义单元特征集合获取模块用于获取待编码多模态参考内容对应的初始语义单元特征集合;
38、提纯多模态语义单元集合获取模块,所述提纯多模态语义单元集合获取模块用于对待编码多模态参考内容对应的初始语义单元特征集合进行跨模态语义冗余消解与层级划分,从而获取带语义层级分类标签的提纯多模态语义单元集合;
39、全局语义基准锚定配置获取模块,所述全局语义基准锚定配置模块用于对带语义层级分类标签的提纯多模态语义单元集合进行全局主从模态判定与基准锚定,从而获取全局语义基准锚定配置;
40、全局特征初编码向量获取模块,所述全局特征初编码向量获取模块用于对所述带语义层级分类标签的提纯多模态语义单元集合以及全局语义基准锚定配置进行多模态语义锚定递归融合的全局特征初编码,从而获取带锚点维度映射关系的全局特征初编码向量;
41、全局特征编码向量获取模块,所述全局特征编码向量获取模块用于对带锚点维度映射关系的全局特征初编码向量进行全局语义层级结构化映射编码,从而获取全局特征编码向量。
42、本技术基于多模态融合的参考内容全局特征编码方法具有如下优点:
43、针对现有单模态单向聚合架构存在的长序列远距离依赖衰减、层级语义关联丢失的固有缺陷,本发明采用前向高层语义聚合与反向全局上下文修正的递归闭环聚合机制,通过高层全局语义特征反向加权校准低层细粒度簇特征,从根本上打破了单向聚合的信息传递瓶颈,完整保留了参考内容从细粒度语义单元到全局核心主题的完整层级语义关联,大幅提升了长文本、长时序视频等长序列参考内容的全局特征表征完整性与上下文一致性。
44、针对现有对等模态交叉对齐方案存在的无统一语义基准、误差累积漂移、噪声特征易干扰全局语义的缺陷,本发明采用全局主从模态判定与基准锚定的单向校准融合机制,以全局语义密度最高的主导模态为唯一语义基准,所有从属模态均向主导模态执行全局最优锚点匹配与单向语义校准,从根源上规避了多模态交叉对齐的误差累积问题;同时通过高语义贡献度锚点筛选天然过滤弱相关噪声单元,显著提升了多模态融合特征的全局语义一致性与稳定性,尤其在三类及以上模态的融合场景中优势更为突出。
45、针对现有编码方案未处理多模态参考内容跨模态语义重复、导致融合特征语义偏置与维度冗余的缺陷,本发明在编码前置环节设置跨模态语义冗余消解与层级划分步骤,通过跨模态语义相似度判定与核心单元筛选剔除重复冗余语义,将有效语义划分为跨模态共性语义与模态独立互补语义两类层级,从输入源净化了编码语义基底,既避免了重复语义造成的融合权重偏置,也降低了后续编码环节的无效计算量,实现了编码精度与计算效率的同步提升。
46、针对现有扁平化全局编码存在的维度语义耦合冗余、可解释性差、下游适配灵活性不足的缺陷,本发明采用语义导向的正交保真编码与三段式结构化映射机制,基于匹配锚点构建正交语义基实现无冗余的保真编码,彻底消除特征维度间的语义重叠;同时按语义归属将编码向量划分为全局共性、主导核心、多模态互补三个正交独立的语义段,使输出编码具备明确的语义层级与可解释性,下游任务可根据自身需求分段调用对应语义特征,大幅提升了全局编码的场景适配性与工程可用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com