一种视频数据去重方法与流程

本发明涉及计算机视觉与多媒体信息处理的，尤其是涉及一种视频数据去重方法。

背景技术：

1、随着短视频平台、流媒体服务及社交媒体的高速发展，视频数据呈现爆炸式增长，海量视频中存在大量重复或近似重复内容，主要包括同一文件多次上传、经压缩、转码、水印、裁剪等处理的近似重复内容、语义相似以及部分重复的片段，这些内容占据了大量的存储和网络资源，同时侵犯了视频版权保护，也给视频审核带来了严峻的挑战。

2、现有技术往往基于哈希的方法（如phash、dhash）通过提取视频帧的哈希指纹并比较汉明距离判断相似性，计算效率高，但对几何变换、水印添加、分辨率变化等视频编辑操作较为敏感；并且传统手段通过匹配关键帧中的局部特征进行相似判断，在场景相对固定的情况下表现良好，但计算复杂度较高；此外基于深度学习的视频检索方法通过提取视频帧的全局特征进行相似度计算，能够在一定程度上理解视频的语义信息，但面对复杂视频时，未能有效区分主题目标和背景内容，容易产生漏判、错判的错误。

3、因此，亟需一种能够从目标语义层面理解视频内容、兼顾检测精度与计算效率、能够有效应对多种视频变换的视频去重方法。

技术实现思路

1、为了克服上述现有技术中的缺陷，本发明提供一种视频数据去重方法，以目标检测网络检测到的语义目标作为视频内容理解的核心载体，通过提取目标的类别标签、外观特征和空间位置特征进行视频表征，通过检测并聚焦于检测目标主体及其运动特征，能够准确识别重复内容，提高去重精度，防止错判漏判。

2、本发明提供一种视频数据去重方法，包括：

3、步骤s1，对输入视频进行预处理并提取关键帧序列；所述预处理包括分辨率归一化、色彩空间转换和像素值归一化；

4、步骤s2，利用目标检测网络对所述关键帧序列中的每一关键帧进行目标检测，输出检测结果集合，所述检测结果集合包括每一检测目标的目标类别标签、目标边界框和目标检测置信度，并对所述检测结果集合进行过滤；

5、步骤s3，对过滤后的每一检测目标，提取目标外观特征向量和目标空间位置特征向量，并对每一关键帧中检测到的检测目标进行特征聚合，生成每一关键帧的帧级目标语义特征向量；

6、步骤s4，基于所述过滤后的检测目标构建目标统计指纹，基于所述目标外观特征向量构建语义内容指纹；

7、步骤s5，对所述关键帧序列中跨帧的检测目标进行关联生成目标运动轨迹，提取所述目标运动轨迹的运动特征并编码为轨迹运动特征向量；对各关键帧的帧级目标语义特征向量构成的序列进行时序建模，生成视频级时序特征向量；

8、步骤s6，将所述目标统计指纹、所述语义内容指纹、所述轨迹运动特征向量和所述视频级时序特征向量进行融合，生成所述输入视频的综合视频指纹；

9、步骤s7，获得待查询视频和视频库中各视频的综合视频指纹后，基于所述目标统计指纹对所述视频库进行粗筛以确定候选相似视频集合，再对所述候选相似视频集合中的视频与所述待查询视频的综合视频指纹进行相似度计算，获得综合相似度评分，根据所述综合相似度评分与预设阈值的比较结果判定是否重复，并执行去重策略。

10、作为进一步的技术方案，步骤s7中，计算综合相似度评分的方法通过加权融合网络实现：

11、

12、其中，为待查询视频与视频库视频之间的综合相似度评分，为待查询视频与视频库视频之间的时序特征相似度，为待查询视频与视频库视频之间的语义特征相似度，为待查询视频与视频库视频之间的运动特征相似度，为待查询视频与视频库视频之间的统计特征相似度，、、和均为加权系数；

13、当所述综合相似度评分大于等于预设高相似度阈值时，判定为完全重复；

14、当所述综合相似度评分大于等于预设低相似度阈值且小于预设高相似度阈值时，判定为近似重复；

15、当所述综合相似度评分小于所述预设低相似度阈值但存在片段级指纹匹配时判定为部分重复视频并输出匹配片段的时间区间；

16、所述片段级指纹生成的方法包括：

17、按预设的窗口时长和滑动步长将所述输入视频划分为多个重叠片段，对各片段独立执行步骤s2至步骤s5中生成综合视频指纹的相应操作，生成各片段的片段级指纹；

18、当所述输入视频存在至少一个片段的片段级指纹与候选视频的片段级指纹之间的相似度超过预设片段相似度阈值时，判定为片段级指纹匹配，若整体综合相似度评分低于预设低相似度阈值但存在片段级指纹匹配，则判定为部分重复，并定位重复片段的时间范围。

19、作为进一步的技术方案，步骤s1中的自适应关键帧提取策略包括：

20、固定间隔采样，以预设帧率间隔均匀抽取关键帧；

21、场景切换检测，在检测到场景发生切换时强制插入关键帧；

22、运动显著帧提取，在帧间运动量超过预设阈值时提取关键帧；

23、对自适应关键帧提取策略提取的关键帧取并集，去重后形成所述关键帧序列，并记录每帧对应的时间戳信息；

24、所述场景切换检测具体包括：

25、计算相邻帧之间的归一化像素均方差作为像素差异度量；

26、计算相邻帧之间颜色直方图的巴氏距离作为分布差异度量；

27、对所述像素差异度量和所述分布差异度量进行加权求和，得到场景切换度量值；

28、当所述场景切换度量值超过预设场景切换阈值时，判定当前帧位置发生场景切换并提取关键帧。

29、作为进一步的技术方案，步骤s3中，提取目标外观特征向量具体包括：

30、对每个检测到的目标边界框所限定的检测区域，从目标检测网络的中间层特征图中提取固定尺寸的目标区域特征图；

31、对所述目标区域特征图分别进行全局平均池化、局部区域划分池化和细粒度属性预测，对应生成全局外观特征、局部纹理特征和属性特征；

32、将所述全局外观特征、局部纹理特征和属性特征进行拼接，并映射至统一维度的嵌入空间，得到所述目标外观特征向量。

33、作为进一步的技术方案，步骤s3中，提取目标空间位置特征向量，具体包括：

34、将所述目标边界框的绝对坐标归一化至预设区间，得到相对位置坐标；

35、对所述相对位置坐标通过正弦-余弦位置编码生成目标空间位置特征向量。

36、作为进一步的技术方案，步骤s3中，对每一关键帧中检测到的多个检测目标进行特征聚合生成帧级目标语义特征向量的方法包括：

37、将每一关键帧中检测到的各检测目标的目标外观特征向量和目标空间位置特征向量进行拼接，得到各检测目标的联合特征向量；

38、对同一关键帧内所有检测目标的所述联合特征向量进行聚合，得到所述帧级目标语义特征向量；

39、所述聚合采用以下方式中的至少一种：

40、类别加权聚合，根据各检测目标所属类别的语义重要性权重对各检测目标的所述联合特征向量进行加权求和，将加权求和结果作为所述帧级目标语义特征向量；

41、注意力聚合，通过自注意力模块自适应学习各检测目标的重要性权重，根据所述重要性权重对各检测目标的所述联合特征向量进行加权池化，将加权池化结果作为所述帧级目标语义特征向量。

42、作为进一步的技术方案，步骤s4中，所述目标统计指纹具体包括：

43、类别分布直方图指纹，统计所述关键帧序列中各类别目标出现的帧数占比，生成归一化的类别分布向量，作为所述类别分布直方图指纹；

44、目标共现矩阵指纹，统计不同类别目标在同一关键帧中共同出现的频率，生成对称共现矩阵并将所述对称共现矩阵展开为共现向量，作为所述共现矩阵指纹；

45、目标数量时序分布指纹，按照预设的时间段将视频划分为多个时间窗口，统计各时间窗口内检测到的目标总数，生成时序数量直方图，作为所述目标数量时序分布指纹；

46、根据所述类别分布直方图指纹、所述目标共现矩阵指纹和所述目标数量时序分布指纹共同构成所述目标统计指纹。

47、作为进一步的技术方案，步骤s5中，生成视频级时序特征向量的方法包括：

48、将所有关键帧的帧级目标语义特征向量按时间顺序排列，形成帧级特征序列；

49、将所述帧级特征序列输入时序编码器，通过自注意力机制计算帧级特征序列中任意两个位置之间的注意力权重以捕获帧间时序依赖关系，输出编码后的帧级时序特征序列；

50、对所述帧级时序特征序列沿时间维度进行平均池化，将帧级时序特征序列中各帧对应的编码后的帧级目标语义特征向量逐元素相加后除以序列长度，得到视频级时序特征向量。

51、作为进一步的技术方案，步骤s5中，生成目标运动轨迹的方法包括：

52、利用目标外观特征向量计算跨帧目标的外观相似度；

53、预测检测目标在下一帧的位置，计算预测位置与实际检测位置之间的距离度量；

54、结合所述外观相似度和所述距离度量构建关联代价矩阵进行最优目标关联，生成各检测目标的目标运动轨迹。

55、作为进一步的技术方案，得到轨迹运动特征向量的方法包括：

56、提取每条目标运动轨迹的运动方向特征、速度特征、加速度特征及轨迹形态特征，拼接后形成轨迹多模态特征；

57、其中所述运动方向特征为轨迹的主要运动方向角度序列，所述速度特征为轨迹各段的归一化速度时间序列，所述加速度特征为速度序列的差分，所述轨迹形态特征包括曲率、总位移和路径长度；

58、将所述轨迹多模态特征输入一维卷积网络提取轨迹的局部时序模式；

59、将提取局部时序模式后的特征输入双向长短期记忆网络建模轨迹的全局时序依赖，得到轨迹运动特征向量

60、综上所述，本发明包括以下至少一种有益技术效果：

61、1.本发明以目标检测网络检测到的语义目标作为视频内容理解的核心载体，通过提取目标的类别标签、外观特征和空间位置特征进行视频表征，通过检测并聚焦于检测目标主体及其运动特征，能够准确识别重复内容，提高去重精度，防止错判漏判。

62、2.本发明通过构建融合目标外观特征、空间位置特征、运动轨迹特征和时序特征的多维度视频指纹，实现了对视频静态内容与动态行为的全面刻画，提高了去重决策的准确性，通过跨帧目标关联生成目标运动轨迹，提取目标的运动方向、速度、加速度和轨迹形态等动态特征，并利用一维卷积网络和双向长短期记忆网络对轨迹时序进行建模，能够有效捕获检测目标的行为模式，从而准确识别不同视角下的重复目标。

63、3.本发明并采用“粗筛+精检”的两阶段检索架构，兼顾了检索精度与大规模视频库的工程检测效率，通过滑动窗口机制将视频划分为重叠片段并生成片段级指纹，当两段视频整体不相似但存在片段级指纹匹配时，可判定为部分重复并输出重复片段的时间区间，将检索时间复杂度降低，能够满足大容量视频库的实时去重需求。