标识流量数据内容安全性核查方法及装置与流程

摘要: 本发明涉及内容安全领域,具体涉及一种标识流量数据内容安全性核查方法及装置。背景技术:1、随着互联网技术的飞速发展,网络数据量呈现爆炸式增长,各类网络平台上的内容...
标识流量数据内容安全性核查方法及装置与流程

本发明涉及内容安全领域,具体涉及一种标识流量数据内容安全性核查方法及装置。

背景技术:

1、随着互联网技术的飞速发展,网络数据量呈现爆炸式增长,各类网络平台上的内容形式日益丰富,包括文章、图片、短视频、长视频、直播流、广告素材等。为便于内容分类管理、推荐分发及合规审查,平台通常会为各类内容打上特定标识(标签),例如“新闻”“教育”“娱乐”“金融理财”“广告”“权威发布”等。监管部门及平台方需对这些带标识的内容进行安全核查,确保内容符合法律法规及平台管理规范,防止不法分子利用虚假标识(标签滥用)传播有害信息,规避监管审查。然而,现有内容安全核查技术存在以下显著缺陷:

2、(1)过度依赖人工审核:当前主流的内容安全性核查方式仍以人工查看为主。面对海量的网络流量数据,人工审核存在人力严重不足、审核效率低下、审核标准不一致、易受主观因素影响、大量违规内容被遗漏等问题,形成严重的监管漏洞,无法满足实时性、大规模核查需求。

3、(2)技术手段落后且单一:现有辅助审核工具多采用简单的关键词过滤或图片特征比对技术。例如,文本内容审核仅通过匹配预设违禁词库进行报警,图片或视频审核仅通过与已知违规图片库进行特征相似度比对实现拦截。此类方法机械死板,仅能实现表层特征匹配,无法理解内容的上下文语义、深层含义及情感倾向,导致大量误判(如正常文本因包含违禁词片段被误拦)和漏判(如违规内容通过同义词替换、谐音改写规避关键词过滤)。

4、(3)无法应对标签滥用等复杂场景:不法分子为逃避审查,常采用“标签造假”手段,将违规内容贴上合法合规的标识。现有技术仅能对内容本身或标签本身进行单独核查,无法建立标签与内容之间的关联验证机制,难以识别“标签与实际内容不符”的欺骗行为,导致此类违规内容大量流入网络。

5、(4)核查结果缺乏精细度:人工审核或简单工具审核通常仅输出“违规”或“不违规”的二元判定结果。但网络内容中存在大量“边界性”内容(如边缘性营销广告、轻度不良导向内容等),无法通过二元判定实现精准管理。现有技术无法对这类内容的违规风险进行量化分级,导致监管方要么“一刀切”全部放过(引发合规风险),要么“一刀切”全部拦截(影响合法内容传播),无法实现差异化、精准化监管。

6、因此,迫切需要一种自动化、智能化、精准化的技术手段,构建从标识验证到内容核查、从一致性判定到风险分级的全流程自动化核查体系,提升核查效率、覆盖范围和准确性,解决现有技术的诸多缺陷。

技术实现思路

1、本发明提供一种标识流量数据内容安全性核查方法及装置,以解决现有技术过度依赖人力、技术手段不足导致的效率低下和准确性低等问题。

2、一方面,本发明提供一种标识流量数据内容安全性核查方法,所述方法包括:

3、采集各内容单元的多源异构数据,并为各内容单元分配唯一id,生成与各内容单元id关联的多模态特征集合;所述多源异构数据包括以下任意一种或多种格式:文本数据、图像数据、视频数据、音频数据、标识信息;

4、验证所述标识信息的真实性;

5、如果验证通过,则根据所述多模态特征集合进行内容与标识的一致性检查,以确定是否存在标签滥用行为。

6、可选地,所述方法还包括:对采集的各内容单元数据采用原始层、预处理层、特征层三级架构进行存储管理,所述原始层存储原始数据,所述预处理层存储对所述原始数据进行清洗后的中间数据,所述特征层存储对所述中间数据提取出的结构化特征。

7、可选地,对应所述文本数据的结构化特征包括以下任意一种或多种:基础统计特征、语义特征、实体信息;所述基础统计特征包括:字词级别的统计特征和句法级别的统计特征;对应所述图像数据、视频数据以及音频数据的语义特征包括以下任意一种或多种:人脸id、ocr文字、时序动态、内容语义。

8、可选地,所述验证所述标识信息的真实性包括:

9、验证所述标识信息的合规性;

10、如果验证不合格,则将所述标识信息标记为高风险;

11、如果验证合格,则利用梯度提升树及所述标识信息的相关特征对所述标识信息进行可信度评估,得到所述标识信息的可信度评分;

12、如果所述标识信息的可信度评分大于设定的可信度阈值,则真实性验证通过。

13、可选地,所述验证所述标识信息的合规性包括:

14、利用合规标识库检查所述标识信息是否合法、并满足规范要求及层级关系;

15、对合法且满足规范要求的标识信息利用大语言模型进行谐音伪装识别,确定所述标识信息是否合规。

16、可选地,所述利用大语言模型进行谐音伪装识别包括:

17、利用大语言模型进行上下文语义理解,确定所述标识信息是否谐音伪装和/或对大语言模型进行提示词引导,确定所述标识信息是否谐音伪装。

18、可选地,所述标识信息的相关特征包括:所述标识信息的主体特征、行为特征、上下文特征;所述梯度提升树采用xgboost模型或者lightgbm模型。

19、可选地,所述方法还包括:如果所述标识信息的可信度评分小于等于所述设定的可信度阈值,则触发针对所述标识信息的深度核查流程。

20、可选地,所述多模态特征集合包括:内容摘要和综合内容语义向量;所述根据所述多模态特征集合进行内容与标识的一致性检查,以确定是否存在标签滥用行为包括:

21、将所述文本信息编码为标准的语义向量,得到标签语义向量;

22、计算所述综合内容语义向量与所述标签语义向量的相似度,得到相似度得分;

23、利用大语言模型确定所述内容摘要和所述标识信息的语义匹配度得分;

24、对所述相似度得分和所述语义匹配度得分进行加权计算,得到一致性得分;

25、如果所述一致性得分大于设定的一致性阈值,则确定不存在标签滥用行为。

26、可选地,所述方法还包括:对各内容单元关联的内容本体进行安全检查,确定所述内容单元的违规程度评分;所述安全检查包括以下任意一项或多项:定位显性违规词和命名实体;识别谐音、隐喻、或者反讽表达;识别异常非语音。

27、可选地,所述方法还包括:

28、根据不同层级的验证及检查结果,进行风险评估并确定对应的处置建议;

29、生成并输出结构化的检查报告,所述检查报告包括:内容单元id、各环节得分、风险等级、处置建议、违规定位信息。

30、另一方面,本发明还提供一种标识流量数据内容安全性核查装置,所述装置包括:

31、数据采集模块,用于采集各内容单元的多源异构数据,并为各内容单元分配唯一id,生成与各内容单元id关联的多模态特征集合;所述多源异构数据包括以下任意一种或多种格式:文本数据、图像数据、视频数据、音频数据、标识信息;

32、标识验证模块,用于验证所述标识信息的真实性;

33、一致性检查模块,用于在标识验证通过后,根据所述多模态特征集合进行内容与标识的一致性检查,以确定是否存在标签滥用行为。

34、可选地,所述标识验证模块包括:

35、合规性验证单元,用于验证所述标识信息的合规性,并在验证不合格的情况下,将所述标识信息标记为高风险;

36、可信度评估单元,用于在所述合规性验证单元验证所述标识信息合格的情况下,利用梯度提升树及所述标识信息的相关特征对所述标识信息进行可信度评估,得到所述标识信息的可信度评分;在所述标识信息的可信度评分大于设定的可信度阈值的情况下,确定真实性验证通过。

37、可选地,所述装置还包括:

38、内容检查模块,用于对各内容单元关联的内容本体进行安全检查,确定所述内容单元的违规程度评分;所述安全检查包括以下任意一项或多项:定位显性违规词和命名实体;识别谐音、隐喻、或者反讽表达;识别异常非语音。

39、可选地,所述装置还包括:

40、风险评估模块,用于根据不同层级的验证及检查结果,进行风险评估并确定对应的处置建议;

41、报告生成模块,用于生成输出结构化的检查报告,所述检查报告包括:内容单元id、各环节得分、风险等级、处置建议、违规定位信息。

42、另一方面,本发明还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器运行时执行所述标识流量数据内容安全性核查方法的步骤。

43、本发明提供的标识流量数据内容安全性核查方法及装置,采集各内容单元的多源异构数据,并为各内容单元分配唯一id,生成与各内容单元id关联的多模态特征集合,通过构建多层智能核查模型,实现从标识真实性验证到内容与标识一致性判定的全流程自动化分析,可以显著提升核查效率、覆盖范围和准确性。

44、进一步地,在验证标识信息的真实性时,不仅对其合规性进行验证,而且利用梯度提升树及标识信息的相关特征对其进行可信度评估,保证了验证的全面性和结果的可靠性。进一步地,在标识信息的可信度评分较低时,还可触发针对该标识信息的深度核查流程。

45、进一步地,在验证标识信息的合规性时,不仅基于合规标识库对其合法性及层级关系进行检验,而且利用大语言模型进行谐音伪装识别,有效防止通过谐音伪装的不合格标识信息。

46、进一步地,在进行内容与标识的一致性检查时,可以根据多模态特征集合生成多维的综合内容语义向量,同时将标识信息编码为标准的语义向量,得到标签语义向量。一方面,计算综合内容语义向量与标签语义向量的相似度,得到相似度得分;另一方面,利用大语言模型确定内容摘要和标识信息的语义匹配度得分。综合相似度得分和语义匹配度得分来确定内容与标识的一致性,保证了检查结果的准确性。

47、进一步地,还可以对各内容单元id关联的内容本体进行安全检查,保证检查的全面性。

48、进一步地,还可以根据各环节的检查结果,输出结构化的检查报告。在检查报告中,还可针对检查结果给出处置建议、违规定位信息等,为后续的决策提供有效参考,提升处置效率。