基于运动矢量熵的视频数据关键帧自适应提取方法与流程
本发明涉及视频数据处理与图像通信,具体而言,涉及基于运动矢量熵的视频数据关键帧自适应提取方法。
背景技术:
1、视频关键帧提取是指从视频序列中选取若干最能反映视频主要内容的帧,用于代替完整视频进行内容浏览、检索和存储。目前,常见的视频关键帧提取方法主要包括以下几类:
2、第一类是基于内容变化的方法。该类方法计算相邻帧之间的灰度直方图差异、颜色直方图差异或帧差等特征,当相邻帧之间的差异超过预设阈值时判定为场景发生切换,并将切换处的帧作为关键帧。然而,此类方法仅利用帧间的浅层像素统计特征,难以识别视频中的语义事件,也无法区分同一场景内由背景变化与显著事件引起的差异,对光照变化、镜头抖动等干扰十分敏感,鲁棒性较差。
3、第二类是基于聚类的关键帧提取方法。该类方法首先提取各帧的颜色、纹理或深层卷积特征,再通过k均值、均值漂移等聚类算法将全部视频帧划分为若干类别,最后选取每个类别中最具代表性的帧作为关键帧。然而,然而,此类方法直接对全部视频帧进行聚类,未对视频内容进行结构性区分,聚类得到的类别通常混杂了背景帧与事件帧,导致所选关键帧中背景冗余帧占比较高,难以突出视频中的事件内容。
4、第三类是基于稀疏重构的方法。该类方法以全部视频帧为字典,通过稀疏编码重构出视频内容,并依据各帧被选作基函数的频次或重构贡献度来确定关键帧。然而,此类方法对视频中持续时间较短但语义重要的突发事件,因其在整体重构中的贡献度较低而往往被忽略,导致事件相关的关键内容丢失。
5、因此,现有技术中的视频关键帧提取方法普遍存在以下不足:难以准确识别语义事件且鲁棒性差、未利用帧间低秩背景与稀疏事件的全局结构区分而导致背景冗余高、缺乏对突发事件的检测与优先保留机制而易遗漏关键事件信息。
技术实现思路
1、本技术的目的在于提供基于运动矢量熵的视频数据关键帧自适应提取方法,其解决了现有技术中存在的难以准确识别语义事件且鲁棒性差、未利用帧间低秩背景与稀疏事件的全局结构区分而导致背景冗余高、缺乏对突发事件的检测与优先保留机制而易遗漏关键事件信息等技术问题。
2、为了解决上述技术问题,本技术采用的方案如下:
3、基于运动矢量熵的视频数据关键帧自适应提取方法,包括:
4、s1、获取待处理的压缩视频码流,从压缩视频码流中提取各帧的运动矢量场,得到运动矢量矩阵场;
5、s2、对每帧运动矢量场矩阵进行低秩稀疏分解,得到表征全局运动结构的低秩分量和表征局部运动事件的稀疏分量;
6、s3、对相邻帧的低秩分量的子空间表示进行差异度量,基于差异度量结果检测全局运动结构发生突变的帧,作为全局结构突变候选帧;
7、s4、对相邻帧的稀疏分量的支持集进行差异度量,基于差异度量结果检测局部运动事件发生突变的帧,作为局部事件候选帧;
8、s5、根据全局结构突变候选帧与局部事件候选帧的时间耦合关系,对候选帧进行事件分类和优先级标记;
9、s6、基于低秩分量的子空间表示,以最小化所有帧到其最近关键帧的子空间距离之和为目标,从候选帧中选取满足预设数量约束的关键帧集合。
10、优选的,所述步骤s1的具体实现方法包括:
11、s11、获取待处理的压缩视频码流,对压缩视频码流中各帧间预测编码帧的编码块进行解析,得到其运动矢量,运动矢量包括水平分量和垂直分量;
12、s12、将每帧各编码块的运动矢量按照编码块在图像中的空间位置排列,得到运动矢量场矩阵;
13、s13、对比帧内编码帧和其前后相邻帧间预测编码帧的编码块数量是否一致,若一致,则执行步骤s14;否则执行步骤s15;
14、s14、利用帧内编码帧前后相邻帧间预测编码帧的运动矢量进行插值估计,得到帧内编码帧的运动矢量场矩阵;
15、s15、将帧内编码帧重采样,使其编码块数量和前后相邻帧间预测编码帧的数量一致,并执行步骤s14。
16、优选的,所述步骤s2的具体实现方法包括以下步骤:
17、s21、将每帧运动矢量场矩阵按行展开为运动矢量列向量,将各帧的运动矢量列向量按时间顺序排列,构造运动矢量数据矩阵;
18、s22、构建低秩稀疏分解优化模型,将运动矢量数据矩阵分解为低秩分量矩阵与稀疏分量矩阵之和;
19、s23、利用增广拉格朗日乘子法对低秩稀疏分解优化模型进行迭代求解,得到最优低秩分量矩阵和最优稀疏分量矩阵;
20、s24、将最优低秩分量矩阵按帧还原为与各帧运动矢量场矩阵维度一致的低秩分量,将最优稀疏分量矩阵按帧还原为与各帧运动矢量场矩阵维度一致的稀疏分量。
21、优选的,所述利用增广拉格朗日乘子法对低秩稀疏分解优化模型进行迭代求解,其具体实现方法包括:
22、s231、初始化低秩分量矩阵、稀疏分量矩阵、拉格朗日乘子矩阵,设置惩罚参数、最大迭代次数和收敛阈值;
23、s232、固定稀疏分量矩阵和拉格朗日乘子矩阵,利用奇异值阈值算子更新低秩分量矩阵;
24、s233、固定低秩分量矩阵和拉格朗日乘子矩阵,利用软阈值算子更新稀疏分量矩阵;
25、s234、更新拉格朗日乘子矩阵和惩罚参数;
26、s235、判断是否满足收敛条件,若相邻两次迭代中低秩分量矩阵和稀疏分量矩阵的变化量均小于收敛阈值或达到最大迭代次数,则停止迭代,输出最优低秩分量矩阵和最优稀疏分量矩阵;否则返回步骤s232继续迭代。
27、优选的,s3的具体实现方法包括以下步骤:
28、s31、对每帧低秩分量矩阵进行奇异值分解,提取其列空间的正交基,作为该帧低秩分量的子空间表示;
29、s32、构建相邻帧子空间差异度量函数,计算相邻两帧低秩分量子空间之间的距离,得到子空间差异度量序列;
30、s33、对子空间差异度量序列进行统计分析与突变检测,将差异度量超过自适应阈值的帧判定为全局结构突变候选帧;
31、s34、将各全局结构突变候选帧按时间顺序排列,得到全局结构突变候选帧集合。
32、优选的,s4的具体实现方法包括以下步骤:
33、s41、对每帧稀疏分量矩阵进行阈值二值化处理,提取其非零元素所在位置构成该帧稀疏分量的支持集;
34、s42、构建相邻帧支持集差异度量函数,计算相邻两帧稀疏分量支持集之间的差异程度,得到支持集差异度量序列;
35、s43、对支持集差异度量序列进行统计分析与突变检测,将差异度量超过自适应阈值的帧判定为局部事件候选帧;
36、s44、将各局部事件候选帧按时间顺序排列,输出局部事件候选帧集合。
37、优选的,s5的具体实现方法包括以下步骤:
38、s51、对全局结构突变候选帧集合与局部事件候选帧集合进行时间对齐处理,构建候选帧的时间耦合关系;
39、s52、基于时间耦合关系,将各候选帧划分为全局结构突变事件、局部运动事件和全局-局部耦合突变事件三类事件;
40、s53、根据事件类型对各候选帧进行优先级标记,构建带优先级的事件候选帧序列,得到输出事件分类结果与优先级标记结果。
41、优选的,s6的具体实现方法包括以下步骤:
42、s61、构造所有帧的低秩分量子空间表示集合;
43、s62、定义任意两帧低秩分量子空间之间的子空间距离度量函数;
44、s63、以最小化所有帧到其最近关键帧的子空间距离之和为目标,结合预设数量约束构建关键帧选取优化模型;
45、s64、对关键帧选取优化模型进行求解,输出满足约束条件的关键帧集合。
46、优选的,s63中,以最小化所有帧到其最近关键帧的子空间距离之和为目标,结合预设数量约束构建关键帧选取优化模型,其具体实现方法包括:
47、将事件候选帧序列作为候选集,设预设的关键帧数量为;其中为不超过的正整数;
48、以最小化全部帧到其最近关键帧的子空间距离之和为目标,构建关键帧选取优化模型,即:
49、;
50、其中,为待选取的关键帧集合;为第帧低秩分量的子空间表示矩阵;为定义的子空间距离;表示对第帧取其距离最近的关键帧。
51、本技术的技术方案至少具有如下优点和有益效果:
52、本技术从压缩视频码流中直接解析帧间预测编码块的运动矢量,构造运动矢量场矩阵,以运动信息替代像素统计量作为分析基础,规避了像素域干扰;基于此,本技术对运动矢量数据矩阵进行低秩稀疏分解,将其分解为表征全局运动结构的低秩分量和表征局部运动事件的稀疏分量,实现了两种运动模式的解耦,避免了相互干扰;基于此,本技术对每帧低秩分量进行奇异值分解,提取其列空间正交基作为子空间表示,并采用相邻帧子空间投影矩阵的frobenius范数距离度量差异,结合自适应阈值检测全局结构突变候选帧,准确捕捉摄像机运动的方向性本质变化;同时,对每帧稀疏分量进行阈值二值化提取支持集,采用jaccard距离度量相邻帧支持集差异,结合自适应阈值检测局部事件候选帧,有效识别局部运动空间分布的突变,由此通过全局与局部双重差异度量,解决了语义事件识别困难及鲁棒性差的问题;
53、然而,两类候选帧独立产生,未区分事件类型和重要性,缺乏对突发事件的优先保留机制,且仅从候选帧选取关键帧未考虑全部帧在全局运动结构上的覆盖程度,易引入背景冗余帧。对此,本技术进一步根据时间耦合窗口对两类候选帧进行时间对齐,划分为全局结构突变事件、局部运动事件和全局-局部耦合突变事件三类,并赋予耦合事件最高优先级,建立突发事件的优先保留机制;在此基础上,以全部帧的低秩分量子空间表示为依据,以最小化所有帧到其最近关键帧的子空间距离之和为目标,从事件候选帧中选取满足预设数量约束的关键帧集合,通过迭代优化保证所选关键帧既能优先覆盖高优先级突变事件,又能最全面地表征整个视频序列的全局运动结构,从而有效降低背景冗余,实现了事件代表性与内容完整性的统一,解决了背景技术中的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com