一种基于实时流与对抗学习的弹幕风险监测系统和方法与流程

本发明涉及互联网安全，更具体的说是涉及一种基于实时流与对抗学习的弹幕风险监测系统和方法。

背景技术：

1、

2、现有弹幕监测技术存在显著缺陷：一是对抗防御不足，如传统关键词过滤难以识别谐音字如“嬴麻了”、拼音缩写如“zqsg”等变体；二是多模态割裂，文本、画面、音频独立分析，表面合规但语义冲突内容容易漏检，如弹幕伟大配敏感画面。

3、需要指出的是，弹幕风险监测与通用视频内容审核存在本质差异：弹幕具有高频实时性（每秒可达数百条）、文本短小精悍（通常不超过20字）、对抗变体更新极快（新谐音/缩写隔天即可能流行）等特点。通用视频审核模型（如仅分析画面或长文本）无法适应弹幕场景的时效要求和对抗强度，亟需一套专为弹幕设计的、融合多模态上下文且具备主动对抗进化能力的轻量级实时监测方案。

4、因此，如何准确检测弹幕是否合规是本领域技术人员亟需解决的问题。

技术实现思路

1、鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于实时流与对抗学习的弹幕风险监测系统和方法。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明实施例提供一种基于实时流与对抗学习的弹幕风险监测系统，包括：

4、多模态数据采集模块，用于采集网络视频的多模态数据，并将所述多模态数据进行时空对齐，所述多模态数据至少包括弹幕流、网络视频的视频帧数据和音频转译数据，所述音频转译数据用于云端执行单元进行多模态联合分析时提供音频语义信息；

5、边缘计算部署模块，用于根据对应于所述弹幕流的弹幕文本、所述视频帧数据和识别模型进行多模态联合分析，确定用于评价所述弹幕文本与所述视频帧数据之间存在语义冲突的风险等级；

6、多模态对抗学习模块，用于生成对应于所述多模态数据的多模态对抗样本，并通过所述多模态对抗样本对所述识别模型进行训练；

7、风险处置模块，用于根据所述风险等级处置所述弹幕文本。

8、在一实施方式中，所述多模态数据采集模块，具体包括：

9、弹幕采集单元，用于调用所述网络视频所处平台的平台接口，实时获取弹幕流；

10、视频帧抓取单元，用于通过自适应关键帧提取策略抓取视频帧，得到所述视频帧数据；

11、音频转译单元，用于通过流式whisper模型处理音频，得到所述音频转译数据；

12、时空对齐引擎单元，用于通过flink流处理引擎将所述弹幕文本、所述视频帧数据和所述音频转译数据进行时空对齐。

13、在一实施方式中，所述边缘计算部署模块，具体包括：

14、预处理单元，用于对所述弹幕文本和所述视频帧数据进行预处理，得到预处理后的弹幕文本和预处理后的视频帧数据；

15、特征推理引擎单元，用于提取预处理后的弹幕文本的文本特征和预处理后的视频帧数据的图像特征，并输出对应于所述弹幕文本的文本类别信息和所述图像特征，其中，文本类别信息包括文本类别和各所述文本类别的评分值，所述文本类别包括弹幕文本违规和弹幕文本未违规；

16、置信度确定单元，用于根据所述文本类别信息和softmax函数，确定对应于所述文本类别的最大预测置信度；

17、设备信息获取单元，用于获取设备能耗和设备时延；

18、动态模型卸载单元，用于根据所述最大预测置信度、所述设备能耗、所述设备时延和决策卸载函数确定综合决策分数，并根据综合决策分数和所述最大预测置信度确定任务执行位置，所述任务执行位置包括边缘设备和云端；

19、边缘设备执行单元，用于当所述任务执行位置为所述边缘设备时，根据所述综合决策分数确定风险等级，并输出所述风险等级；

20、云端执行单元，用于当所述任务执行位置为所述云端时，通过所述文本特征、所述图像特征、所述音频转译数据和clip模型确定风险等级。

21、在一实施方式中，所述特征推理引擎单元，具体包括：

22、文本推理引擎子单元，用于加载distilbert模型进行前向推理，输出所述文本类别和对应于所述文本类别的评分值；

23、视觉推理引擎子单元，用于加载mobilenetv3模型提取所述图像特征，输出所述图像特征。

24、在一实施方式中，所述云端执行单元，包括：

25、联合特征构造子单元，用于将所述文本特征、所述图像特征和所述音频转译数据进行特征融合，得到联合特征；

26、多层感知机分类器，用于通过所述联合特征，输出目标风险分数；

27、clip模型，用于通过所述文本特征和所述图像特征，确定图文相似度，所述图文相似度用于表征所述弹幕文本与所述视频帧内容之间的语义匹配程度；

28、风险等级确定子单元，用于当所述图文相似度低于预设图文相似度阈值时，判定所述弹幕文本与所述视频帧存在语义冲突，并根据语义冲突对所述目标风险分数进行校正，然后根据校正后的目标风险分数确定对应的风险等级；

29、其中，所述风险等级包括高风险、中风险和低风险，所述低风险用于指示所述弹幕文本未违规。

30、在一实施方式中，所述多模态对抗学习模块，具体包括：

31、文本对抗单元，用于使用改进型cyclegan和训练弹幕文本生成第一文本对抗样本，并通过所述第一文本对抗样本训练所述distilbert模型，以增强所述distilbert模型对谐音变异文本的识别能力；

32、语音对抗单元，用于生成对应于所述训练弹幕文本的第二文本对抗样本，以及生成对应于所述训练弹幕文本的语音对抗样本，并根据所述语音对抗样本和所述第二文本对抗样本对所述clip模型的文本编码器进行联合优化，以提升所述clip模型对谐音文本的语义理解能力；

33、动态防御单元，用于在所述distilbert模型和所述clip模型进行梯度反向传播时添加梯度掩码层。

34、在一实施方式中，所述文本对抗单元，具体包括：

35、生成器，用于通过编码器-解码器结构生成对应于所述训练弹幕文本的第一文本对抗样本；

36、判别器，用于提取所述训练弹幕文本的拼音特征和字形特征，构造融合特征，并通过所述融合特征和所述第一文本对抗样本确定概率值，所述概率值用于表征所述第一文本对抗样本为真实原始文本的概率；

37、第一损失计算子单元，用于根据预设的第一总损失函数、所述概率值和所述第一文本对抗样本，对所述distilbert模型进行迭代训练。

38、在一实施方式中，所述语音对抗单元，具体包括：

39、攻击生成器，用于生成叠加人耳不可感知扰动的语音对抗样本，以及独立生成对应于所述训练弹幕文本的第二文本对抗样本；

40、融合器，用于根据所述语音对抗样本和所述第二文本对抗样本，构造跨模态矛盾样本对；

41、第二损失计算子单元，用于根据对应于所述跨模态矛盾样本对的跨模态矛盾损失和所述第一总损失函数生成第二总损失函数，并通过第二总损失函数对所述clip模型进行迭代训练。

42、在一实施方式中，所述基于实时流处理与对抗学习弹幕风险监测系统，还包括：

43、增量学习引擎模块，用于裁剪反向传播时所述识别模型的梯度，并加密传输模型参数。

44、第二方面，本发明实施例提供一种基于实时流与对抗学习的弹幕风险监测方法，应用于如第一方面所述的一种基于实时流与对抗学习的弹幕风险监测系统，包括：

45、采集网络视频的多模态数据，并将所述多模态数据进行时空对齐，所述多模态数据至少包括弹幕流、网络视频的视频帧数据和音频转译数据；

46、根据对应于所述弹幕流的弹幕文本、所述视频帧数据和识别模型进行多模态联合分析，确定用于评价所述弹幕文本与所述视频帧数据之间的语义冲突的风险等级；

47、生成对应于所述多模态数据的多模态对抗样本，并通过所述多模态对抗样本对所述识别模型进行训练；

48、根据所述风险等级处置所述弹幕文本。

49、本发明实施例提供的上述技术方案的有益效果至少包括：

50、采集网络视频的多模态数据，并将多模态数据进行时空对齐，然后根据时空对齐后的弹幕文本、视频帧数据和音频转移数据进行联合分析以确定弹幕文本是否与视频帧数据之间存在语义冲突，同时实时生成对抗样本，并通过对抗样本对识别模型进行训练，以提高识别模型的对抗防御能力，从而有效识别过滤谐音字，再根据风险等级对存在语义冲突的弹幕文本进行相应的处置，从而有效提高了弹幕监测的精准度。