基于多模态模型内生语义投影的视觉标签生成方法与系统与流程

本发明涉及计算机视觉与多模态信息处理，具体为基于多模态模型内生语义投影的视觉标签生成方法与系统。

背景技术：

1、随着移动计算设备的普及和成像技术的进步，用户生成的视觉内容数量呈指数级增长。如何高效地理解和组织海量的图像、视频等视觉内容，使其可被检索、归档和推荐，已成为计算机视觉和多模态信息处理领域的重要技术挑战。视觉内容标签生成为视觉输入对象自动赋予描述其语义内容的文本标签，是实现上述目标的关键技术手段。

2、目前，视觉内容标签生成领域主要存在以下几类技术方案。

3、方案一：现有一类方案采用人工标签库、业务规则库或固定分类体系实现视觉内容标注。该类方案通常需要预先定义标签层级、维护别名词典并持续补充新词、新领域术语和跨语言表达。其技术路径虽然便于人工控制，但标签覆盖能力和更新效率高度依赖人工维护，难以适应开放场景下视觉内容语义变化快、术语分布广、语种混杂等情况。

4、方案二：现有另一类方案采用视觉语言生成模型对输入视觉内容进行自回归文本生成，再从生成文本中抽取关键词或标签。该类方案能够输出较自然的描述语句，但其核心过程依赖逐步解码，导致推理时延较高，且输出长度、措辞风格和信息颗粒度不稳定，容易出现叙述性冗余、格式不一致或标签边界模糊的问题，因此在高频批处理、严格结构化索引和实时检索场景中的适配性有限。

5、方案三：还有一类方案采用外部预建标签集合并进行嵌入匹配，即先构建人工标签库，再将视觉对象向量与标签向量进行相似度检索。该类方案虽可避免生成式解码，但其结果上限仍然受制于外部标签库本身。一旦标签库未覆盖某些领域词、专业术语、别名表达或不同语言表述，系统即难以稳定召回相应标签，且标签库规模越大，维护和更新成本越高。

6、公开号为us20250259463a1的美国专利申请公开了一种利用兴趣图谱（interestgraph）进行视觉内容自动标签生成的方法，其首先通过无监督学习技术从多个内容来源的用户生成内容中提取关键词和关键短语，构建一个包含大量节点的兴趣图谱。该兴趣图谱的节点之间通过语义相似度（基于词嵌入模型）和用户协同参与模式（co-engagementpatterns）建立连接，形成一个动态演进的分类体系。该兴趣图谱包含数千个节点，能够捕获细粒度的用户兴趣。随后，该方案训练一个成对（pairwise）模型：使用视觉编码器对图像或视频进行编码得到视觉嵌入向量，使用文本编码器对兴趣图谱中的关键词和关键短语进行编码得到文本嵌入向量。相似度层（similarity layers）通过计算二者在共享嵌入空间中的距离来生成相似度分数。训练过程中采用成对损失函数（pairwise loss function），使匹配的图文对在嵌入空间中靠近、不匹配的对远离。在推理阶段，对于新的视觉内容，系统计算其视觉嵌入与兴趣图谱中各标签文本嵌入的相似度分数，将分数超过预设阈值的标签分配给该视觉内容。该方案利用视觉对象表示与文本表示之间的相关度关系来完成标签获取，均采用多模态嵌入空间中的相似度计算作为核心技术手段。但是其候选标签来源于外部构建的兴趣图谱，即需要预先通过额外的数据预处理、关键词提取和无监督学习流程来构建和维护标签集合，而非来源于模型内部已有的语义参数。因此，其仍需依赖外部标签体系建设，难以充分复用模型内部已经蕴含的大规模语义单元资源。并且现有技术方案缺少面向候选语义空间内部拓扑关系的一致性后验证机制，导致中后排候选标签中易混入孤立噪声词条，从而影响检索质量和结果可信度。

技术实现思路

1、本发明的目的在于提供基于多模态模型内生语义投影的视觉标签生成方法与系统，其能够解决如何在不依赖外部大规模人工标签库且不执行自回归文本解码的条件下，直接利用多模态表征模型内部文本侧语义表示参数，对视觉输入对象生成稳定、可检索、可扩展的标签结果。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供了基于多模态模型内生语义投影的视觉标签生成方法，包括以下步骤：

4、步骤1：接收待处理视觉输入对象；

5、步骤2：通过多模态表征模型获得视觉表征向量；

6、步骤3：加载候选语义空间，所述候选语义空间由多模态表征模型内部的文本侧离散语义单元表示参数直接构建而成；

7、步骤4：将视觉表征向量与所述候选语义空间建立相关度计算关系，得到初始候选标签集合，所述初始候选标签集合包含对应的内部标识；

8、步骤5：通过分词器字典将所述内部标识恢复为可读词条；

9、步骤6：对初始候选标签集合或恢复后的可读词条执行候选子集划分、跨子集语义增强、标签规整与一致化处理以及语义拓扑一致性校验；

10、步骤7：按照预定的业务层级输出标签结果。

11、优选的，所述文本侧离散语义单元表示参数包括：所述多模态表征模型的文本输入侧与文本输出侧共享的文本嵌入参数；所述视觉表征向量通过跨模态对齐训练被锚定到所述共享文本嵌入参数所定义的文本语义空间中。

12、优选的，所述候选语义空间的构建包括：提取文本侧离散语义单元表示参数；结合分词器字典建立内部标识与可读词条的映射；对文本侧离散语义单元表示参数执行有效性筛选、可读化恢复、特殊标记剔除或词形归一；将处理后的参数以压缩缓存持久化保存。

13、优选的，所述压缩缓存包括：对文本侧离散语义单元表示参数执行l2归一化、维度裁剪以及fp8低精度量化，并配套记录缩放或标定信息。

14、优选的，所述跨子集语义增强包括：将候选标签划分为至少两个候选子集，根据子集间的映射关系、翻译关系、同义关系或别名关系，将一个子集中的候选语义单元向另一子集补充或重排序。

15、优选的，所述标签规整与一致化处理包括：分词或切分判断、短语与子词关系处理、词形归一、重复项归并、同义项合并、字符集统一、停用项过滤、长度权重调节、子串并列归组以及术语标准化。

16、优选的，所述语义拓扑一致性校验包括：围绕某一候选标签获取其局部近邻集合，并结合当前视觉输入对象的激活候选集合，计算所述候选标签与当前语义区域的一致性程度；当一致性不足时，可将其降权、延后或剔除。

17、优选的，所述按照预定的业务层级输出标签结果包括：输出至少包括面向展示的第一标签结果集和面向检索的第二标签结果集的多层级标签结果集；对候选标签进行置信度评估，将满足预设置信度阈值的标签归入所述第一标签结果集作为高置信展示层标签。

18、第二方面，本发明提供了基于多模态模型内生语义投影的视觉标签生成系统，包括：

19、视觉输入模块，用于接收待处理视觉输入对象；

20、表征获取模块，用于获得视觉表征向量；

21、候选语义空间加载模块，用于加载或构建候选语义空间参数；

22、语义投影模块，用于计算视觉表征向量与候选语义空间的相关度；

23、候选增强模块，用于执行跨子集语义增强；

24、标签规整模块，用于执行候选归并、一致化及排序优化；

25、一致性校验模块，用于根据语义拓扑关系对候选标签进行后验证；

26、结果输出模块，用于生成多层级标签结果集。

27、与现有技术相比，本发明的有益效果如下：

28、1、本发明通过采用“视觉表征向量直接映射候选语义空间”的技术特征，不需要执行自回归文本解码过程，因此能够有效降低标签生成时延，提高批处理和在线调用场景下的响应效率。

29、2、本发明通过利用多模态表征模型内部文本侧离散语义单元表示参数构建候选语义空间，避免了标签候选完全依赖外部人工标签库，因此能够降低标签体系建设与持续维护成本，并扩大对长尾词汇、领域术语和模型内生语义能力的利用范围。

30、3、本发明通过设置语义拓扑一致性校验机制，可利用候选语义空间中的局部邻近关系对中后排结果进行后验证，因此能够抑制孤立噪声标签进入最终检索结果，提高标签可信度和检索质量。

31、4、本发明通过设置跨子集语义增强机制，可将不同候选子集在术语表达、语言表达或语义覆盖上的优势相互补充，因此能够提升跨语言概念、术语变体和长尾概念的召回能力。

32、5、本发明通过设置标签规整与一致化机制，可对候选标签执行归并、统一和粒度修正，因此能够减少子词碎片、词形混乱、表达重复和颗粒度失衡等问题，使输出结果更适于展示和索引。

33、6、本发明通过设置多层级标签输出机制，因此能够面向不同业务侧分别输出展示型标签、检索型标签、跨语言标签或其他层级标签结果，从而同时兼顾前端展示、搜索召回、知识归档和系统集成需求。