一种基于多模态认知增强的智能运维图文检索方法及系统与流程

本技术属于多模态检索，特别涉及一种基于多模态认知增强的智能运维图文检索方法及系统。

背景技术：

1、随着数字化转型的持续推进，智能运维对图文多模态信息的精准检索需求日益突出，例如通过文本描述定位设备图像或结合图像特征查询相关文字记录。传统信息检索方法局限于单一模态，无法挖掘图像与文本之间的关联价值。跨模态图文检索技术旨在建立图文间的语义映射，实现不同模态信息的精准匹配与互查，成为解决该问题的关键方向。早期跨模态检索多采用统计学习方法构建公共表示空间，随后出现的预训练模型通过大规模数据学习深层语义特征，显著提升了模态对齐精度，其典型架构包括将图文特征直接融合的单流架构和采用独立编码器后融合的双流架构。

2、然而，将上述方法应用于智能运维场景时，仍面临一系列挑战。首先，现有跨模态检索模型在预训练阶段依赖通用图文数据集及互联网数据，此类数据缺乏运维领域专业知识，图像与文本描述往往弱相关且语义噪声较高，难以提供细粒度、高相关的领域文本描述，导致模型无法充分学习设备图像与精确文字记录之间的细致对应关系。其次，图像与文本之间存在跨模态语义差异，预训练模型输出的视觉特征与文本特征仍保留较强的模态特异性，使两者在同一语义空间中的分布出现偏移，跨模态语义对齐的稳定性和准确性不足，影响检索匹配效果。再者，当前检索模型主要聚焦于特征层面的相似度计算，缺乏对运维业务逻辑的深度理解，无法有效融合时间范围、设备状态、设备类型等多维条件进行约束性检索，难以满足如查找近三个月内温度异常升高的变压器设备图像这类复合查询需求。这些问题严重制约了跨模态检索在智能运维中的实用化水平，迫切需要能够融合运维领域知识、实现精细跨模态语义对齐并具备业务认知能力的图文检索方法。

技术实现思路

1、针对上述问题，本技术提供一种基于多模态认知增强的智能运维图文检索方法，包括以下步骤：

2、根据查询请求的模态类型，将查询数据输入训练后的特征投影网络，获取查询特征；基于所述查询特征在向量数据库中进行相似度检索，获取第一召回结果；利用多维类别标签库对查询数据进行处理，获取匹配标签关联的图文记录作为第二召回结果；将第一召回结果和第二召回结果聚合，经加权融合排序后输出最终检索结果；

3、特征投影网络和向量数据库的构建步骤包括：获取图像数据，利用多模态大模型生成各图像对应的基础文本描述和增强文本描述并对增强文本描述进行处理，处理后与对应图像构建图文对数据集；利用参数冻结的预训练多模态特征提取器分别提取图文对数据集中图像和文本的初始特征，并输入可训练的特征投影网络进行映射，输出视觉投影特征和文本投影特征；基于视觉投影特征和文本投影特征计算跨模态对比损失，并通过模态判别器计算模态对抗损失；联合跨模态对比损失和模态对抗损失对特征投影网络进行训练，并利用训练后的特征投影网络提取图像视觉特征存入向量数据库。

4、进一步地，利用多模态大模型生成各图像对应的基础文本描述和增强文本描述，包括：

5、将图像数据输入多模态大模型，通过预设的第一提示约束生成基础文本描述，基础文本描述用于概括图像中可直接观察到的场景、设备类型及外在状态；

6、将图像数据和基础文本描述共同输入多模态大模型，通过预设的第二提示约束生成增强文本描述，增强文本描述包含对关键部件细节、设备状态规范化表达和场景语义结构化重组的补充描述。

7、进一步地，对增强文本描述进行处理包括：

8、将增强文本描述、对应的基础文本描述和运维巡检图像共同输入评估模型，获得事实一致性评分；

9、当事实一致性评分达到预设阈值时，保留当前增强文本描述，否则舍弃当前增强文本描述；

10、对保留的增强文本描述执行规则化清洗，删除包含推测性词汇、不确定性词汇和建议性词汇的语句，并过滤重复语义内容，得到清洗后的增强文本描述。

11、进一步地，多维类别标签库的构建步骤包括：

12、将巡检图像输入到训练好的多模态大模型，通过训练好的多模态大模型生成状态标签；

13、采用文本嵌入模型将状态标签转化为状态标签向量，与预设的枚举标签库判断是否匹配，若匹配则直接映射至现有标签并输出；

14、对于未能与枚举标签库匹配的状态标签向量作为异常描述归入异常描述池，异常描述通过聚类算法进行聚类并提取新标签候选；新标签候选进行人工审核，若审核不通过则将新标签候选对应的状态标签向量重新归入异常描述池；若审核通过则将新标签候选写入枚举标签库并输出。

15、进一步地，特征投影网络为由全连接层、归一化层和非线性激活函数构成的多层感知机。

16、进一步地，跨模态对比损失为对称式infonce损失，模态对抗损失为交叉熵损失；联合优化目标函数为：

17、；

18、其中，、分别为跨模态对比损失权重系数和模态对抗损失权重系数，为跨模态对比损失，为模态对抗损失，为联合优化目标函数。

19、进一步地，在特征投影网络的训练过程中，冻结预训练多模态特征提取器的参数，仅对特征投影网络和模态判别器的参数进行更新。

20、进一步地，向量数据库为milvus向量数据库。

21、进一步地，加权融合排序包括：根据第一召回结果和第二召回结果中携带的事件标识，将源自同一事件的图文信息进行聚合，并按照预设权重对聚合结果计算综合得分后排序输出。

22、本技术还提供一种基于多模态认知增强的智能运维图文检索系统，其用于执行上述任一基于多模态认知增强的智能运维图文检索方法，包括：

23、模态判断模块，用于获取查询请求，并判断查询请求的模态类型；

24、文本描述生成和增强模块，用于利用多模态大模型对运维巡检图像进行分阶段文本描述生成，得到基础文本描述和增强文本描述，对增强文本描述进行一致性校验和规则化清洗，保留清洗后的增强文本描述，并与基础文本描述和运维巡检图像共同形成图文对数据集；

25、标签库构建和更新模块，用于对图文对数据集中的图像，利用多模态大模型生成状态标签描述，通过语义向量映射与动态聚类补充，构建多维类别标签库；

26、向量库构建和更新模块，用于利用训练后的特征投影网络提取图文对数据集中图像的视觉特征，存入向量数据库；

27、文本检索模块，用于将查询文本输入训练后的特征投影网络，得到查询文本特征；基于查询文本特征在向量数据库中进行相似度检索，得到第一文本召回结果；利用多维类别标签库对查询文本进行标签匹配，获取匹配标签关联的图文记录作为第二文本召回结果；将第一文本召回结果和第二文本召回结果聚合，经加权融合排序后输出最终检索结果；

28、视觉检索模块，用于将查询图像输入训练后的特征投影网络，得到查询图像特征；基于查询图像特征在向量数据库中进行相似度检索，得到第一视觉召回结果；利用多维类别标签库对查询图像进行标签匹配，获取匹配标签关联的图文记录作为第二视觉召回结果；将第一视觉召回结果和第二视觉召回结果聚合，经加权融合排序后输出最终检索结果。

29、本技术实施例提供的技术方案带来的有益效果至少包括：

30、1、通过分阶段文本描述生成与增强策略，结合一致性校验与规则化清洗机制，将运维巡检图像转化为符合领域语义的结构化文本描述，同时通过多维运维类别标签体系为检索任务提供细粒度业务先验知识，有效解决了通用图文数据噪声高、领域适配性差的问题，提升了检索模型训练的精准度与数据质量；

31、2、通过特征投影网络对预训练多模态模型输出的初始特征进行二次映射与语义解耦，并结合跨模态对比学习与对抗式模态消除机制的联合优化，在不修改预训练底座模型参数的前提下，实现了视觉特征与文本特征的深度语义对齐，有效降低了跨模态检索的语义鸿沟，提升了语义匹配的稳定性与准确性；

32、3、通过多模态向量检索与标签检索相结合的多路召回融合排序架构，支持文本与图像在统一语义空间中的匹配检索，结合设备-异常和人员-行为-风险双维度标签体系，能够响应设备类型、状态特征及时间维度等多维复合检索条件，解决了现有方法仅能进行单一特征匹配、业务逻辑适配性弱的缺陷，提升了复杂业务场景下的检索精度与实用性。

33、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。