一种基于AI智能分析的内容审核方法和装置与流程
本技术涉及机器学习领域,尤其涉及一种基于ai智能分析的内容审核方法和装置。
背景技术:
1、随着短视频平台、社交媒体平台以及生成式人工智能内容平台的快速发展,网络内容的生成规模与传播速度持续提升,内容审核技术逐渐由人工审核发展为基于人工智能模型的自动审核技术。
2、现有的内容审核系统普遍采用单内容独立审核方式,即针对单条待审核内容分别进行风险识别,并依据识别结果执行对应审核操作。然而,在实际内容传播过程中,越来越多的违规传播行为并非通过单条明显违规内容实现,而是通过多个单独合规的内容形成连续认知诱导。由于现有技术缺乏对不同内容之间语义递进关系、情绪强化关系以及行为诱导关系的关联分析能力,因此无法有效识别连续内容序列形成的认知操控风险,容易导致隐蔽性违规内容通过审核,从而诱导用户形成错误投资认知、非理性消费行为以及网络诈骗参与等高风险决策行为。
3、因此,亟需一种基于ai智能分析的内容审核方法和装置。
技术实现思路
1、本技术提供一种基于ai智能分析的内容审核方法和装置,解决了现有的内容审核系统无法有效识别连续内容序列形成的认知操控风险,容易导致隐蔽性违规内容通过审核的问题。
2、在本技术的第一方面提供了一种基于ai智能分析的内容审核方法,方法包括:响应于针对多个目标内容的审核触发操作,获取第一目标内容对应的第一多模态数据和第二目标内容对应的第二多模态数据;第一目标内容和第二目标内容为多个目标内容中任意两个不同的待审核内容;对第一多模态数据和第二多模态数据分别进行特征提取操作,得到第一多模态数据对应的第一风险特征组和第二多模态数据对应的第二风险特征组;将第一风险特征组和第二风险特征组分别进行特征融合操作后输入认知诱导路径推演模型,并基于认知诱导路径推演模型输出第一风险特征组和第二风险特征组之间的组合观看路径特征;组合观看路径特征包括跨内容语义诱导特征、风险认知累积特征、观看顺序关联特征、跨模态协同演化特征以及用户认知偏移特征;将组合观看路径特征输入多维风险评估模型,并基于多维风险评估模型输出综合风险值;基于综合风险值,对目标内容按照预设分级审核策略进行审核。
3、可选地,获取目标内容对应的多模态数据,具体包括:通过内容接入通道获取目标内容,并获取目标内容对应的多模态数据;内容接入通道包括发布接口、内容推荐接口以及内容缓存队列;多模态数据包括文本数据、图像数据、视频数据以及音频数据。
4、可选地,对多模态数据进行特征提取操作,得到风险特征组,具体包括:对文本数据执行认知诱导信息解析,得到文本诱导特征;对图像数据执行视觉行为感知,得到视觉诱导特征;对视频数据执行时序演化分析,得到行为演化特征;对音频数据执行情绪传播识别,得到音频诱导特征;对文本诱导特征、视觉诱导特征、行为演化特征以及音频诱导特征进行关联耦合,得到各个模态对应的风险特征组。
5、可选地,构建认知诱导路径推演模型,具体包括:获取历史审核记录中已经确认存在认知诱导风险的多个历史目标内容组合,并基于各个历史目标内容组合提取历史风险特征组;对历史风险特征组进行关联标注,得到认知诱导标记序列;基于认知诱导标记序列,对不同历史审核记录之间的语义递进关系、情绪强化关系以及行为诱导关系进行关联学习,得到路径关联参数;基于路径关联参数,构建内容认知演化图谱,并基于内容认知演化图谱建立跨内容认知状态转移关系;认知演化图谱包括内容状态节点和认知状态转移边;内容状态节点用于表征不同历史目标内容对应的认知演化状态,认知状态转移边用于表征不同历史目标内容之间的语义递进关系、情绪强化关系以及行为诱导关系;基于跨内容认知状态转移关系,对认知诱导路径推演模型进行迭代训练以完成模型构建。
6、可选地,基于认知诱导路径推演模型输出第一风险特征组和第二风险特征组之间的组合观看路径特征,具体包括:将第一风险特征组和第二风险特征组输入认知诱导路径推演模型,并基于跨内容认知状态转移关系建立第一风险特征组和第二风险特征组之间的认知关联路径;基于认知关联路径,对第一风险特征组和第二风险特征组之间的语义递进关系、情绪强化关系以及行为诱导关系进行路径推演,得到认知演化结果;基于认知演化结果,计算第一风险特征组和第二风险特征组之间的认知影响传递强度值和风险累积趋势值;基于认知影响传递强度和风险累积趋势,生成组合观看路径特征;组合观看路径特征包括跨内容语义诱导特征、风险认知累积特征、观看顺序关联特征、跨模态协同演化特征以及用户认知偏移特征。
7、可选地,基于多维风险评估模型输出综合风险值,具体包括:基于跨内容语义诱导特征以及风险认知累积特征,计算认知诱导风险值;基于观看顺序关联特征以及跨模态协同演化特征,计算路径传播风险值;基于用户认知偏移特征,计算认知偏移风险值;对认知诱导风险值、路径传播风险值以及认知偏移风险值进行关联融合,得到综合风险特征向量;将综合风险特征向量输入多维风险评估模型,并基于多维风险评估模型输出综合风险值。
8、可选地,基于综合风险值,对目标内容按照预设分级审核策略进行审核,具体包括:基于综合风险值,确定目标内容对应的目标风险等级;基于目标风险等级,获取对应的目标分级审核策略;目标分级审核策略包括内容处置规则、传播限制规则以及账号管控规则;基于内容处置规则,对目标内容执行内容审核操作;内容审核操作包括内容通过、内容限流、内容下架以及内容删除;基于传播限制规则,对目标内容对应的内容传播路径进行传播控制;传播控制包括推荐降权、曝光限制、传播阻断以及关联内容拦截;基于账号管控规则,对目标内容对应的目标发布账号执行账号审核操作;账号审核操作包括风险警告、功能限制、阶段封禁以及永久封禁;基于目标风险等级对应的审核结果,生成审核记录,并对审核记录进行关联存储。
9、在本技术的第二方面提供了一种基于ai智能分析的内容审核装置,装置包括获取模块以及处理模块,其中,
10、获取模块,用于响应于针对多个目标内容的审核触发操作,获取第一目标内容对应的第一多模态数据和第二目标内容对应的第二多模态数据;第一目标内容和第二目标内容为多个目标内容中任意两个不同的待审核内容。
11、获取模块,用于对第一多模态数据和第二多模态数据分别进行特征提取操作,得到第一多模态数据对应的第一风险特征组和第二多模态数据对应的第二风险特征组。
12、处理模块,用于将第一风险特征组和第二风险特征组分别进行特征融合操作后输入认知诱导路径推演模型,并基于认知诱导路径推演模型输出第一风险特征组和第二风险特征组之间的组合观看路径特征;组合观看路径特征包括跨内容语义诱导特征、风险认知累积特征、观看顺序关联特征、跨模态协同演化特征以及用户认知偏移特征。
13、处理模块,用于将组合观看路径特征输入多维风险评估模型,并基于多维风险评估模型输出综合风险值。
14、处理模块,用于基于综合风险值,对目标内容按照预设分级审核策略进行审核。
15、在本技术的第三方面提供了一种电子设备,包括处理器、存储器、用户接口及网络接口,存储器用于存储指令,用户接口和网络接口用于给其他设备通信,处理器用于执行存储器中存储的指令,以使电子设备执行如上述任意一项的方法。
16、在本技术的第四方面提供了一种非暂态计算机可读存储介质,非暂态计算机可读存储介质存储有计算机程序,计算机程序被处理器执行如上述任意一项的方法。
17、本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
18、1、响应于针对多个目标内容的审核触发操作,获取第一目标内容对应的第一多模态数据和第二目标内容对应的第二多模态数据;对第一多模态数据和第二多模态数据进行特征提取,得到第一风险特征组和第二风险特征组;将第一风险特征组和第二风险特征组输入认知诱导路径推演模型,输出组合观看路径特征;将组合观看路径特征输入多维风险评估模型,输出综合风险值;基于综合风险值,对目标内容按照预设分级审核策略进行审核,从而实现对多个单独合规内容连续传播后形成的认知诱导风险进行识别与审核,有效提高了连续内容序列场景下的隐蔽性认知诱导风险识别能力以及内容审核准确性。
19、2、获取历史审核记录中已经确认存在认知诱导风险的多个历史目标内容组合,并基于各个历史目标内容组合提取历史风险特征组;对历史风险特征组进行关联标注,得到认知诱导标记序列;基于认知诱导标记序列,对不同历史审核记录之间的语义递进关系、情绪强化关系以及行为诱导关系进行关联学习,得到路径关联参数;基于路径关联参数,构建内容认知演化图谱,并基于内容认知演化图谱建立跨内容认知状态转移关系;认知演化图谱包括内容状态节点和认知状态转移边;内容状态节点用于表征不同历史目标内容对应的认知演化状态,认知状态转移边用于表征不同历史目标内容之间的语义递进关系、情绪强化关系以及行为诱导关系;基于跨内容认知状态转移关系,对认知诱导路径推演模型进行迭代训练以完成模型构建,从而实现对多个目标内容连续传播过程中认知状态演化关系的学习,提高连续内容序列场景下认知诱导风险的推演能力以及隐蔽性风险识别能力。
20、3、将第一风险特征组和第二风险特征组输入认知诱导路径推演模型,并基于跨内容认知状态转移关系建立第一风险特征组和第二风险特征组之间的认知关联路径;基于认知关联路径,对第一风险特征组和第二风险特征组之间的语义递进关系、情绪强化关系以及行为诱导关系进行路径推演,得到认知演化结果;基于认知演化结果,计算第一风险特征组和第二风险特征组之间的认知影响传递强度值和风险累积趋势值;基于认知影响传递强度和风险累积趋势,生成组合观看路径特征;组合观看路径特征包括跨内容语义诱导特征、风险认知累积特征、观看顺序关联特征、跨模态协同演化特征以及用户认知偏移特征,从而实现对多个目标内容连续传播过程中认知影响变化趋势的动态推演,提高连续内容序列场景下认知诱导风险的关联识别能力以及风险累积分析能力。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com