一种多媒体素材实时合规性巡检方法及设备与流程

本申请涉及计算机视觉与多模态数据处理，一种多媒体素材实时合规性巡检方法及设备，国际专利分类号为g06v。

背景技术：

1、在多媒体数据处理平台中，违规内容的传播具有瞬时性和破坏性的特点。现有的巡检系统引入多模态模型进行推理。多模态模型内部自注意力机制的计算复杂度随着输入图像特征序列数量的增加呈平方级增长趋势。在面对高并发图像数据流时，针对单次画面的推理存在明显的数据处理延迟。目前的巡检系统多采用级联架构以降低云端负载。云端模型在接收到任务后依然需要对高分辨率的全图进行完整的特征提取与计算，单次推理延迟未得到改善。由于现阶段系统普遍采用固定置信度阈值进行粗筛判定，在平台业务热度高峰期时，边缘模块将由于固定门槛而触发大量疑似违规任务，导致云端模型的计算队列出现严重堆积，引发算力节点响应迟滞效应，造成平台巡检失效。

技术实现思路

1、本申请解决现有级联合规巡检系统在处理高分辨率多模态数据时由于全图处理导致推理延迟高，以及系统在面对高并发突发流量时因固定阈值触发引起算力队列崩溃的问题。本申请实施例提供了一种多媒体素材实时合规性巡检方法及设备。

2、该方法包括从多媒体数据节点提取多媒体素材的图像；通过边缘计算节点对图像执行特征提取并输出初始合规性打分，同时根据特征提取过程中的特征映射图生成二值化掩码矩阵；获取当前数据源的实时在线处理请求量及云端精审模型的队列负载状态，并据此计算置信度触发阈值；当初始合规性打分超过置信度触发阈值时，通过边缘计算节点向云端精审模型发送图像以及二值化掩码矩阵；在云端精审模型中将图像划分为多个图像区块，根据尺寸对齐后的二值化掩码矩阵剔除对应掩码值为零的图像区块，并将对应掩码值为一的图像区块转化为视觉特征序列输入至自注意力计算网络进行分类推理，输出判定结果。

3、生成二值化掩码矩阵的过程包括获取位于全局平均池化层之前的多维空间特征映射图，沿通道维度执行均值计算生成二维空间注意力权重分布矩阵，应用激活函数进行非线性映射并利用预设阈值分割算法对空间数值元素进行二值化处理。云端精审模型提取特征时获取自身的空间排布分辨率，执行上采样插值算法使得二值化掩码矩阵尺寸与该空间排布分辨率对齐一致，执行空间裁剪操作丢弃背景图像区块，并对保留的疑似风险图像区块执行线性投影变换操作以生成降维后的视觉特征序列。

4、本申请实施例还提供了一种电子设备。该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时能够实现前述多媒体素材实时合规性巡检方法的步骤。

5、本申请实施例还提供了一种计算机可读存储介质。该计算机可读存储介质内部存储有计算机程序，计算机程序被处理器执行时实现前述多媒体素材实时合规性巡检方法的步骤。

6、本申请将边缘模型生成的掩码矩阵干预至云端模型的输入特征层，实现了对高分辨率原始图像中无用背景区块的前置裁剪，减少了向深层自注意力计算网络输入的视觉特征序列数量，降低了多模态模型的推理计算时延。本申请构建了融合数据源流量热度与集群负载率的动态闭环反馈控制逻辑，在高并发工况下通过指数级攀升逻辑控制前置送检门槛，避免了算力队列崩溃事件，保障了多媒体合规巡检链路的运转。

1.一种多媒体素材实时合规性巡检方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据特征提取过程中的特征映射图生成二值化掩码矩阵，包括，

3.如权利要求2所述的方法，其特征在于，所述根据尺寸对齐后的二值化掩码矩阵剔除对应掩码值为零的图像区块，并将对应掩码值为一的图像区块转化为视觉特征序列输入至自注意力计算网络进行分类推理，输出判定结果，包括，

4.如权利要求1所述的方法，其特征在于，所述获取当前数据源的实时在线处理请求量及云端精审模型的队列负载状态，并据此计算置信度触发阈值，包括，

5.如权利要求4所述的方法，其特征在于，所述根据基础初筛阈值、所述风险暴露补偿项以及所述指数级惩罚项进行组合运算，更新生成所述置信度触发阈值，包括，

6.如权利要求1所述的方法，其特征在于，所述获取多媒体素材的图像之前，还包括，

7.如权利要求6所述的方法，其特征在于，所述通过边缘计算节点对所述图像执行特征提取并输出初始合规性打分，包括，

8.如权利要求1所述的方法，其特征在于，所述当所述初始合规性打分超过所述置信度触发阈值时，通过所述边缘计算节点向所述云端精审模型发送所述图像以及所述二值化掩码矩阵的步骤，还包括，

9.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至8中任一项所述的方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述的方法的步骤。