一种基于多模态内容识别的互联网信息实时监测系统的制作方法

本发明涉及互联网信息安全与内容监测，具体是一种基于多模态内容识别的互联网信息实时监测系统。

背景技术：

1、现有互联网广告监测技术主要分为两类：一是网络边界安全检测设备（如dpi、ngfw），仅基于ip、端口、协议等流量层特征进行粗粒度管控，不具备内容级语义识别能力，对https/quic加密流量中的广告内容除完整解密外无有效检测手段，且管控粒度粗糙，误拦率高；二是应用层多模态内容审核系统，部署于业务服务器侧或云端，需对全量流量完成内容解码与多模态融合推理，算力开销极大，万兆级大带宽场景下难以兼顾实时性与识别精度，且现有多模态融合普遍采用特征相关性匹配，对拆分式隐性广告（如画面展示普通食品、音频口播医疗功效、字幕夹带联系方式，各模态单看均合规、跨模态组合才构成完整广告逻辑）漏检率高达42%以上。

2、此外，现有系统均为“单次静态判定”，无法反映广告风险的动态累积与衰减过程，对渐进式、间歇式广告缺乏有效检测；检测与处置完全脱节，系统以生成告警为业务终点，不具备流量层传播溯源与边界联动阻断能力；面对对抗性样本依赖人工标注迭代，响应周期长达1~2周；且无法识别黑产广告的群体性协同行为。上述缺陷使得现有技术无法同时满足大带宽实时性、隐性内容高精度、传播级闭环管控三大核心诉求。

技术实现思路

1、本发明所要解决的技术问题是提供一种基于多模态内容识别的互联网信息实时监测系统，可以有效解决上述背景技术中提出的问题。

2、为解决上述问题，本发明所采取的技术方案是：一种基于多模态内容识别的互联网信息实时监测系统，包括：

3、边界流量感知与预筛选模块，部署于网络边界，用于线速接入互联网流量并对流量会话进行协议解析与会话重组，从流量中提取文本模态、视觉模态及音频模态的轻量语义指纹，基于各模态指纹的可疑度计算综合风险评分，并根据所述综合风险评分执行分级分流，其中综合风险评分低于第一阈值的正常流量直接放行回归原链路，综合风险评分达到第一阈值的可疑流量被分流至深度识别引擎；

4、多模态深度解析与因果融合识别模块，用于对所述分流的可疑流量完成内容还原与单模态语义解析，从解析结果中抽取若干语义节点，并将所述语义节点映射至预构建的广告语义因果依赖图谱上进行跨模态因果链推理，当形成的候选因果链路同时包含产品展示层节点与引流转化层节点且链路置信度不低于预设判决阈值时，判定对应流量内容为违规广告；

5、溯源与联动处置模块，用于基于跨模态融合特征生成抗压缩抗裁剪的鲁棒内容指纹，以该鲁棒内容指纹为锚点在流量日志中匹配相同指纹的会话以反向追溯源节点并正向梳理分发节点，生成传播链路拓扑，进而通过安全设备对接协议向网络边界防火墙、dns服务器或流量清洗设备下发内容级精准阻断规则。

6、优选的，所述边界流量感知与预筛选模块中：所述文本模态指纹通过字符级n-gram采样生成语义哈希值并与内置广告关键词及谐音暗语特征库进行布隆过滤器匹配来获得；

7、所述视觉模态指纹通过从图片载荷的前若干个tcp分片中提取不完整图像数据、输入轻量化视觉编码模型输出低维特征向量并在预建向量索引库中执行近似最近邻检索来获得；

8、所述音频模态指纹通过对音频载荷分帧提取mfcc系数及能量特征后生成感知哈希序列并与口播模板指纹库进行汉明距离匹配来获得；

9、所述综合风险评分为文本模态可疑度、视觉模态可疑度、音频模态可疑度分别以预设权重加权求和的结果；

10、所述分级分流还设有高于第一阈值的第二阈值：当综合风险评分达到第二阈值时，所述边界流量感知与预筛选模块还对当前会话执行边界临时管控。

11、优选的，所述广告语义因果依赖图谱的节点体系至少包括按因果逻辑顺序排列的以下层级：场景铺垫层、产品展示层、功效描述层、引流转化层；其中，连接不同层级节点的因果递进边仅允许从高层级向低层级或同层有序推进的方向连接，赋予基础权重0.8~1.0；连接同一语义层不同模态节点的模态互补边赋予权重0.6~0.9。

12、优选的，所述多模态深度解析与因果融合识别模块计算候选因果链路的链路置信度时，采用如下公式：

13、；

14、其中为第i个节点的置信度，为节点权重，n为链路节点总数，c为跨模态互补系数，t为时序连贯系数；当s≥0.75时判定为广告内容，当链路中包含法定违规功效类型的功效描述层节点时进一步判定为违规广告。

15、优选的，所述多模态深度解析与因果融合识别模块还包括对抗样本自适应校正单元，用于：

16、对单一模态上置信度低于第一置信度阈值但高于第二置信度阈值的争议语义节点，由其余两个模态的已确认节点对其进行联合投票校正；

17、对视觉模态中被遮挡的二维码区域，当周边文本的引流语义概率超过预设阈值时，启动基于生成式模型的局部修复补全后再执行二维码识别。

18、优选的，还包括：

19、动态风险场评估模块，用于为每个监测对象维护一时间窗序列上的连续风险值，按指数平滑关系进行更新，其中为当前时间窗内由文本风险、视觉风险、音频风险、行为风险及网络风险加权得到的增量风险；

20、当持续上升但未达判决阈值时，所述动态风险场评估模块通知所述边界流量感知与预筛选模块降低第一阈值以扩大可疑流量采样覆盖；

21、当经衰减降至低位时，恢复默认阈值。

22、优选的，所述溯源与联动处置模块还包括传播图谱构建与异常推理单元，用于：

23、构建传播图谱，其节点集至少涵盖内容节点、账号节点、链接节点及网络节点，边集至少涵盖发布关系、跳转关系、共现关系和协同关系；

24、以所述鲁棒内容指纹在全量流量日志中的命回结果为种子，采用图注意力网络对传播图谱中围绕该种子的局部子图进行异常评分，当子图呈现出多账号汇聚到同一落地页或同源归因id跨域名共现的拓扑模式且异常评分超过图谱阈值时，将判定结论升级为有组织黑产投放子图，并将子图中全部关联域名及归因节点一并纳入阻断范围。

25、优选的，所述内容级精准阻断规则为精确到单条url路径或具体文件路径的拦截规则，且该拦截规则被配置为带有效期的临时规则，到期后自动失效，当人工复核判定为误报时可一键撤销。

26、优选的，所述边界流量感知与预筛选模块采用dpdk用户态驱动实现流量线速处理，并将多模态指纹提取逻辑卸载至fpga硬件加速单元，单报文处理延迟小于1微秒。

27、优选的，所述多模态深度解析与因果融合识别模块采用增量训练与自进化机制：当新增样本量达到预设数量时，通过lora低秩适配进行样本微调，训练完成后自动提取对应的指纹并同步更新所述边界流量感知与预筛选模块中的特征库，同步耗时小于5分钟。

28、与现有技术相比，本发明提供了一种基于多模态内容识别的互联网信息实时监测系统，具备以下有益效果：

29、实时性与算力效率的突破性提升：通过边界流量感知与预筛选模块，采用多模态轻量指纹实现90%以上正常流量的线速放行，仅分流可疑流量进入深度识别引擎，整体算力开销降低90%以上，边界层单条流量处理延迟小于1ms，端到端从内容识别到边界阻断的响应延迟小于50ms，首次在大规模网络边界实现多模态内容识别的毫秒级实时监测。

30、隐性拆分式广告检出率的跨越式提高：摒弃传统特征相关性融合范式，独创广告语义因果依赖图谱与跨模态因果链推理机制，从广告传播的完整逻辑链路进行判定。结合三模态投票校正、遮挡二维码修复、变声语音校正等对抗样本自适应手段，隐性拆分式广告检出率达到95%以上，较传统相关性融合方案提升40个百分点以上，对抗性样本漏检率低于5%。

31、动态风险感知能力的建立：引入动态风险场评估模块，基于指数平滑模型实现广告风险的连续累积与衰减，有效检测渐进式、间歇式广告，避免单次静态判定带来的误报和漏报，对此类广告的检出率提升30%以上。

32、黑产投放网络的群体性行为识别：构建传播图谱，通过图注意力网络对多账号、多链路的协同传播模式进行异常检测，即使单条内容伪装完美，只要其传播拓扑呈现异常模式即可被揪出，实现对有组织黑产投放子图的整体打击。

33、检测与处置的全链路闭环治理：基于鲁棒内容指纹实现跨平台传播链路溯源，通过标准化安全设备对接协议下发内容级精准阻断规则（精确到单条url路径），误拦率低于0.1%，阻断规则自带有效期并可一键回滚，实现“发现即阻断”的毫秒级闭环治理。

34、模型自进化与快速适配能力：采用lora低秩适配的小样本增量训练机制，结合边界指纹库的自动同步更新，新型广告样本的适配周期从传统的1~2周缩短至4小时以内，系统持续保持高检出率。