基于多智能体意图分析的多模态大模型防御方法及装置
本技术涉及人工智能安全和大模型内容安全防护,具体涉及多模态大模型人机交互安全检测、多智能体协同意图识别、大模型提示词注入与有害输入防御,更具体地涉及一种基于多智能体意图分析的多模态大模型防御方法及装置。
背景技术:
1、随着多模态大模型(multimodal large language model,mllm)的广泛落地,攻击者将有害指令(例如越狱类指令、恶意攻击指令等)、违规文字、诱导性图案隐写于输入图像局部区域,配合看似合规的用户提问诱导模型输出有害内容(例如恶意代码、违法违规言论等)。因此,针对mllm的视觉输入信息,有必要在多模态信息融合之前,对携带有害信息的视觉区域进行细粒度过滤和防御。
2、相关技术方案有规则匹配结合独立模态分类的输入侧检测方案、基于单一安全智能体的内容审核方案和以用户问题为查询的视觉词元(vision token)筛选方案。然而,相关技术方案存在以下问题:(1)处置粒度停留在整幅图像层面,缺少多模态融合前的细粒度视觉过滤手段;(2)以原始用户问题作为视觉筛选的引导信息,筛选基准本身可被攻击者操纵;(3)过滤过程改变原始视觉特征分布或破坏图像空间结构,损害模型正常图文问答能力;(4)依赖对模型骨干网络的重训练或微调,部署成本高、迁移性差。
技术实现思路
1、鉴于上述问题,本技术的实施例提供了一种基于多智能体意图分析的多模态大模型防御方法及装置。
2、本技术的第一方面,提供了一种基于多智能体意图分析的多模态大模型防御方法,包括:利用多模态大模型的视觉塔编码器对输入图像进行编码,得到原始视觉补丁嵌入序列;利用图像理解智能体对输入图像进行全局语义解析与内容识别,得到输入图像的多维度语义信息,基于多维度语义信息生成图像全局描述文本,利用短语线索提取智能体对输入图像进行局部文本标识检测,得到短语线索,并利用意图推断智能体将图像全局描述文本和短语线索进行融合,得到输入图像的多智能体推断意图;利用多模态大模型的辅助视觉-文本对齐子模型针对原始视觉补丁嵌入序列中的各视觉补丁与多智能体推断意图进行相关性打分,得到视觉补丁相关性得分序列;利用视觉补丁相关性得分序列对原始视觉补丁嵌入序列执行索引筛选操作和空间保序重排操作,得到筛选后的视觉补丁嵌入序列;利用多模态大模型对筛选后的视觉补丁嵌入序列和原始用户问题进行多模态融合处理,生成过滤掉风险信息的安全回答。
3、根据本技术的实施例,上述利用多模态大模型的视觉塔编码器对输入图像进行编码,得到原始视觉补丁嵌入序列包括:对输入图像进行预处理与像素值归一化处理,得到标准输入图像;将标准输入图像切分为多个互不重叠的图像块;将多个互不重叠的图像块中的像素向量映射为具有预设维度的特征向量,得到多个初始视觉补丁嵌入;为每个初始视觉补丁嵌入添加位置编码,得到多个具有空间位置信息的视觉补丁嵌入;对每个具有空间位置信息的视觉补丁嵌入执行基于自注意力交互机制的特征更新操作和语义关联操作,得到多个更新后的视觉补丁嵌入;对多个更新后的视觉补丁嵌入进行归一化处理,得到原始视觉补丁嵌入序列。
4、根据本技术的实施例,上述利用图像理解智能体对输入图像进行全局语义解析与内容识别,得到输入图像的多维度语义信息,基于多维度语义信息生成图像全局描述文本包括:对输入图像进行图像尺寸归一化处理和像素值标准化处理,得到预处理后的输入图像;对预处理后的输入图像进行视觉特征提取,得到图像视觉特征;基于图像视觉特征,对预处理后的输入图像分别执行目标对象检测操作、场景分类操作、人物检测操作、人体动作识别操作和文本内容识别操作,得到对象信息、场景信息、人物信息、动作信息和图像内嵌文本信息;将对象信息、场景信息、人物信息、动作信息和图像内嵌文本信息整合为结构化的多维度语义信息,并基于多维度语义信息生成表征输入图像全局内容的图像全局描述文本。
5、根据本技术的实施例,上述利用短语线索提取智能体对输入图像进行局部文本标识检测,得到短语线索包括:对输入图像的局部文字、局部标识和/或局部截图文本信息进行筛选,得到局部文本信息筛选结果;在局部文本信息筛选结果为符合预设参考价值的有效局部文本的情况下,对局部文本信息筛选结果进行文本特征提取,得到短语线索;在局部文本信息筛选结果为不符合预设参考价值的有效局部文本的情况下,将短语线索置空。
6、根据本技术的实施例,上述利用意图推断智能体将图像全局描述文本和短语线索进行融合,得到输入图像的多智能体推断意图包括:在短语线索置空的情况下,对图像全局描述文本进行语义推理,得到多智能体推断意图;在短语线索为非置空的情况下,对图像全局描述文本和短语线索进行融合,并对融合结果进行语义推理,得到多智能体推断意图。
7、根据本技术的实施例,上述利用多模态大模型的辅助视觉-文本对齐子模型针对原始视觉补丁嵌入序列中的各视觉补丁与多智能体推断意图进行相关性打分,得到视觉补丁相关性得分序列包括:利用辅助视觉-文本对齐子模型的辅助视觉编码器对输入图像进行编码,得到与原始视觉补丁嵌入序列中的视觉补丁相对应的视觉补丁级特征序列;利用辅助视觉-文本对齐子模型的辅助文本编码器对多智能体推断意图进行编码,得到文本向量;对视觉补丁级特征序列进行归一化处理,得到归一化后的视觉补丁级特征序列;计算文本向量与所述归一化后的视觉补丁级特征序列中每个归一化后的视觉补丁级特征之间的相似度,得到视觉补丁相关性得分序列。
8、根据本技术的实施例,上述辅助视觉-文本对齐子模型包括批次对比式图文语义对齐预训练子模型、逐对判定式图文语义对齐预训练子模型或噪声图文嵌入对齐预训练子模型;其中,相似度包括余弦相似度、欧式距离相似度和内积相似度。
9、根据本技术的实施例,上述利用视觉补丁相关性得分序列对原始视觉补丁嵌入序列执行索引筛选操作和空间保序重排操作,得到筛选后的视觉补丁嵌入序列包括:对视觉补丁相关性得分序列进行基于降序索引的筛选,得到候选索引集合;对候选索引集合按照视觉补丁嵌入在输入图像中的空间位置进行升序排序,得到保序索引集合;根据保序索引集合对原始视觉补丁嵌入序列进行筛选,得到筛选后的视觉补丁嵌入序列。
10、根据本技术的实施例,上述利用多模态大模型对筛选后的视觉补丁嵌入序列和原始用户问题进行多模态融合处理,生成过滤掉风险信息的安全回答包括:利用多模态大模型的多模态投影器将筛选后的视觉补丁嵌入序列映射值语言模型特征空间,得到投影后的视觉补丁嵌入序列;将投影后的视觉补丁嵌入序列和原始用户问题进行多模态融合处理,并基于多模态融合处理的结果,利用多模态大模型的语言模型自回归生成过滤掉风险信息的安全回答。
11、本技术的第二个方面,提供了一种基于多智能体意图分析的多模态大模型防御装置,包括:输入获取单元,用于获取输入图像和原始用户问题;视觉塔编码单元,用于利用多模态大模型的视觉塔编码器对输入图像进行编码,得到原始视觉补丁嵌入序列;多智能体意图分析单元,用于利用图像理解智能体对输入图像进行全局语义解析与内容识别,得到输入图像的多维度语义信息,基于多维度语义信息生成图像全局描述文本,利用短语线索提取智能体对输入图像进行局部文本标识检测,得到短语线索,并利用意图推断智能体将图像全局描述文本和短语线索进行融合,得到输入图像的多智能体推断意图;补丁相关性打分单元,用于利用多模态大模型的辅助视觉-文本对齐子模型针对原始视觉补丁嵌入序列中的各视觉补丁与多智能体推断意图进行相关性打分,得到视觉补丁相关性得分序列;视觉补丁筛选单元,用于利用视觉补丁相关性得分序列对原始视觉补丁嵌入序列执行索引筛选操作和空间保序重排操作,得到筛选后的视觉补丁嵌入序列;多模态投影与回答生成单元,用于利用多模态大模型对筛选后的视觉补丁嵌入序列和原始用户问题进行多模态融合处理,生成过滤掉风险信息的安全回答。
12、本技术的第三方面,提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个计算机程序,其中,上述一个或多个处理器执行上述一个或多个计算机程序以实现上述方法的步骤。
13、本技术的第四方面,还提供了一种计算机可读存储介质,其上存储有计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
14、本技术的第五方面,还提供了一种计算机程序产品,包括计算机程序或指令,上述计算机程序或指令被处理器执行时实现上述方法的步骤。
15、本技术提供的基于多智能体意图分析的多模态大模型防御方法,通过设置图像理解智能体、短语线索提取智能体、意图推断智能体三类协同智能体,以输入图像本体信息生成推断意图作为筛选引导,使筛选基准脱离潜在攻击者可控的输入文本,规避了用户问题中诱导话术、越狱指令、格式要求对筛选结果的干扰,降低了攻击者通过文本诱导使隐写有害指令的局部补丁被优先保留的风险,克服了筛选基准可被操纵的缺陷;以视觉补丁为最小处置单位,实现多模态融合前的细粒度有害视觉信息过滤。同时,本技术使用的辅助视觉-文本对齐子模型既不引起视觉特征分布偏移,也不破坏图像空间拓扑信息,最大限度保留了原始模型在计数、定位、版面理解等正常图文问答任务上的能力,克服了过滤过程损害模型正常能力的缺陷。此外,本技术提供的方法,能够避免了二元判定误报导致的正常请求被整体拦截问题,保证输出内容始终贴合用户真实诉求,在提升安全性的同时保持了模型的交互可用性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com