一种基于多智能体专家协同的多模态生成式AI内容违规信息识别方法及介质与流程
本技术涉及信息识别,尤其涉及一种基于多智能体专家协同的多模态生成式ai内容违规信息识别方法及介质。
背景技术:
1、随着生成式人工智能(aigc)技术发展,多模态违规内容泛滥,相关识别技术成为热点,但现有方案存在明显局限。主流方案主要分为三类:一是单模态违规识别,分别针对文本、图像、音频独立检测,未考虑模态关联,无法应对多模态场景,易漏判隐晦违规内容;二是简单多模态融合识别,通过特征拼接或结果加权浅层融合,未解决模态异构问题,无法识别“单模合规、多模合谋”的隐蔽违规,误漏判率高;三是aigc违规内容针对性识别,仅提取生成痕迹并结合简单违规识别,未深度融合生成特征与违规特征,缺乏全局决策机制,适配性差。综上,现有技术未形成完整识别框架,存在模态语义错位、aigc特征强化不够、决策僵化等问题,难以平衡高精度、高召回、高效率、高可解释性的工业级审核需求。
2、当前多模态违规识别技术存在明显缺陷:其一,模态异构融合不充分,不同模态特征空间不一致,语义对齐难度大,难以有效捕捉跨模态语义关联与冲突,导致对“单模态合规、多模态协同违规”等隐蔽场景识别失效。其二,决策视角单一固化,依赖单一模型或静态规则,缺乏多维度交叉验证机制,面对生成式ai特有的模糊化、诱导性、隐性违规内容时,识别稳定性不足,误判、漏判率居高不下。其三,推理过程缺乏可解释性,决策链路黑盒化,无结构化证据支撑与可追溯推理路径,无法满足合规审查、责任溯源的行业要求。
技术实现思路
1、本技术提供一种基于多智能体专家协同的多模态生成式ai内容违规信息识别方法及介质,以解决现有方案存在模态异构融合不充分难以有效捕捉跨模态语义关联与冲突、决策视角单一固化,依赖单一模型或静态规则,缺乏多维度交叉验证机制、推理过程缺乏可解释性,决策链路黑盒化,无结构化证据支撑与可追溯推理路径的问题。
2、第一方面,本技术提供了一种基于多智能体专家协同的多模态生成式ai内容违规信息识别方法,方法包括:
3、将待审核多模态内容,进行模态拆解出来,获得各自独立的基础模态数据;基于具体模态类型,将基础模态数据输入对应的单模态专家智能体,获得各基础模态数据对应的初步判断结果;
4、将各类型的初步判断结果向量化,进而映射至同一预设高维空间;基于预设高维空间,计算模态间的余弦相似度与注意力权重;基于余弦相似度与注意力权重,利用多模态预训练模型,获得模态间相关性;基于预设互斥识别机制,生成模态间互斥性;基于模态间相关性和模态间互斥性加权,确定模态间逻辑关系;
5、基于图神经网络技术,将各模态的初步判断结果中的风险点作为图谱节点,将模态间逻辑关系作为边,构建证据关联图谱;利用图推理算法,从证据关联图谱中识别预设核心风险证据链;
6、将预设核心风险证据链、证据关联图谱、支撑证据及置信度输入预设正方专家智能体和预设反方专家智能体,获得预设正方专家智能体和预设反方专家智能体之间的辩论纪要数据;
7、基于初步判断结果、预设核心风险证据链、辩论纪要数据,利用预设决策专家智能体进行数据推理,获得最终审核结果。
8、在本技术的一种实现方式中,在利用预设决策专家智能体进行数据推理,获得最终审核结果之后,方法还包括:
9、将最终审核结果输入风控专家智能体,根据风控专家智能体内预设的预设合规规则与风险处置策略,确定最终判定结论;执行最终判定结论;
10、存储最终判定结论和多模态内容。
11、在本技术的一种实现方式中,在利用预设决策专家智能体进行数据推理,获得最终审核结果之后,方法还包括:
12、获取系统各智能体的最新提示词,更新至对的智能体;其中,智能体至少包括:单模态专家智能体、预设正方专家智能体和预设反方专家智能体、预设决策专家智能体。
13、在本技术的一种实现方式中,将待审核多模态内容,进行模态拆解出来,获得各自独立的基础模态数据;基于具体模态类型,将基础模态数据输入对应的单模态专家智能体,获得各基础模态数据对应的初步判断结果,具体包括:
14、将待审核多模态内容按文本、图像、音频三类原始数据进行结构化拆解,同步生成独立的模态数据流;
15、文本合规专家基于qwen3.5-9b模型,结合敏感词库与语法规则库,对文本流进行语义级解析,识别预设违规内容,输出含违规片段定位与置信度评分的初步判断结果;
16、图像视觉专家调用qwen3-vl模型,提取预设敏感场景、预设违规元素与预设ai生成异常纹理,输出含坐标区域、视觉证据截图及置信度的初步判断结果;
17、音频语义专家利用moss-audio模型同步完成语音转写与声纹特征提取,识别预设敏感语音、预设合成音断层与预设异常环境音,输出带时间戳的转写文本与置信度的初步判断结果。
18、在本技术的一种实现方式中,将各类型的初步判断结果向量化,进而映射至同一预设高维空间;基于预设高维空间,计算模态间的余弦相似度与注意力权重;基于余弦相似度与注意力权重,利用多模态预训练模型,获得模态间相关性,具体包括:
19、将各模态类型的初步判断结果嵌入向量,通过统一的预设高维语义空间映射模块进行对齐,将异构特征压缩至预设高维空间;
20、基于预设高维空间,计算各模态向量间的余弦相似度矩阵,并引入qwen3-vl动态门控交叉注意力机制,通过可学习门控参数自适应加权文本-图像、图像-音频、文本-音频三组模态交互强度,生成细粒度注意力权重;
21、将余弦相似度与注意力权重输入多模态预训练模型,获得模态间相关性。
22、在本技术的一种实现方式中,基于预设互斥识别机制,生成模态间互斥性;基于模态间相关性和模态间互斥性加权,确定模态间逻辑关系,具体包括:
23、基于预设互斥识别机制,当文本描述与图像内容存在语义冲突或音频声纹特征与转写文本时间戳不匹配时,qwen3-vl动态门控机制计算各模态对同一风险点的响应分歧度,生成互斥评分;
24、将互斥评分与模态间相关性共同输入加权融合模块,将支持与补充关系赋予正向权重,矛盾关系映射为负向衰减因子,形成三类逻辑关系的连续值表征;通过可学习的门控网络,输出的模态间逻辑关系向量。
25、在本技术的一种实现方式中,基于图神经网络技术,将各模态的初步判断结果中的风险点作为图谱节点,将模态间逻辑关系作为边,构建证据关联图谱;利用图推理算法,从证据关联图谱中识别预设核心风险证据链,具体包括:
26、将模态间逻辑关系向量作为图神经网络的边属性输入,与各模态风险点节点共同构建证据关联图谱;该图谱中每条边的权重包括:语义关联强度、逻辑关系向量;
27、基于模态间逻辑关系向量构建的证据关联图谱,采用图注意力网络进行异构图编码,形成具有语义判别力的动态图结构;
28、在动态图结构编码基础上,引入多跳图推理机制,通过迭代消息传递聚合邻域节点的置信度与逻辑一致性特征;每轮传播中,节点表示融合来自文本-图像-音频三模态的证据线索,结合qwen3-vl动态门控机制对跨模态冲突进行自适应加权,逐步聚焦于预设高置信度、预设强关联的局部子图,形成潜在风险证据簇;
29、基于图嵌入的子图匹配算法从若干潜在风险证据簇中识别出满足预设模式的连通子图,作为核心风险证据链。
30、在本技术的一种实现方式中,将预设核心风险证据链、证据关联图谱、支撑证据及置信度输入预设正方专家智能体和预设反方专家智能体,获得预设正方专家智能体和预设反方专家智能体之间的辩论纪要数据,具体包括:
31、将预设核心风险证据链、证据关联图谱、支撑证据及置信度按照预设引导模板输入对应的专家智能体;
32、基于预设引导模板,引导预设正方专家智能体和预设反方专家智能体以多轮结构化对话形式推进,每轮输出均被记录为带时间戳的逻辑断言序列,自动聚合双方论点中的共识节点、争议焦点与证据修正建议,最终生成辩论纪要数据。
33、在本技术的一种实现方式中,基于初步判断结果、预设核心风险证据链、辩论纪要数据,利用预设决策专家智能体进行数据推理,获得最终审核结果,具体包括:
34、决策专家智能体首先对单模态专家的初步判断结果进行置信度加权聚合,结合证据关联图谱中核心风险证据链的拓扑结构与节点置信度分布,识别出跨模态协同违规的预设高置信度子图模式,形成结构化风险摘要;
35、基于该风险摘要,决策专家智能体调用辩论纪要数据中的逻辑断言序列,提取正反方专家在争议焦点上的论点对齐度、证据修正建议及认知偏差标记,构建动态论证空间;
36、通过语义一致性校验与逻辑矛盾消解算法,对动态论证空间中正方支持证据与反方质疑论据进行双向验证,自动识别诱导性规避、语义偷换与跨模态掩盖行为,输出修正风险图谱;
37、决策专家智能体将修正风险图谱与原始预设核心风险证据链进行多维度交叉验证,输出结构化审核结果;其中,结构化审核结果包含违规类型、风险等级、置信度区间。
38、第二方面,本技术提供了一种非易失性计算机存储介质,其上存储有计算机指令,计算机指令在被执行时实现如上述任一项的一种基于多智能体专家协同的多模态生成式ai内容违规信息识别方法。
39、从以上技术方案可以看出,本技术具有以下优点:
40、通过将多模态基础数据分别输入对应单模态专家智能体后,统一向量化并映射至预设高维语义空间,系统可基于余弦相似度与注意力权重动态计算模态间关联强度,并结合预设互斥识别机制量化模态间的逻辑冲突。该机制直接构建了跨模态语义的结构化关系模型,使系统能够识别如“文本描述合规、图像内容隐含违规”或“语音语调中性、字幕语义诱导”等隐蔽协同违规模式,提升了对多模态协同风险的感知能力,解决了传统方法因特征空间异构导致的语义对齐失效问题。
41、引入正方专家智能体与反方专家智能体对核心风险证据链、支撑证据及置信度进行对抗性辩论,生成结构化辩论纪要,再由决策专家智能体综合初步判断、证据链与辩论结果进行最终推理。该机制实现了决策视角的多元化与动态校验,避免依赖单一模型或静态规则导致的僵化判断,有效应对生成式ai内容中语义模糊、语境诱导、隐性违规等复杂场景,降低误判与漏判率,增强系统在高噪声、高对抗环境下的鲁棒性与一致性。
42、基于图神经网络,将各模态风险点作为节点、模态间逻辑关系作为边,构建证据关联图谱,并通过图推理算法识别核心风险证据链。该图谱完整记录了从原始输入到最终结论的每一步推理依据、证据来源与逻辑推导路径,使决策过程从黑盒转变为透明、可回溯的结构化链条。审查人员可依据图谱逐层追溯风险判定依据,支撑合规审计、争议复核与责任界定,满足金融、政务、社交平台等高合规要求场景对决策可解释性的强制性规范。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com