基于解析稀疏表示的关键帧提取方法与流程

1.本发明涉及计算机视觉关键帧提取技术，具体是一种基于解析稀疏表示的关键帧提取方法。


背景技术：

2.人工智能越来越充斥到我们的生活，类人机器人的研究可以协助人类生活或代替人类在严峻的环境工作。计算机视觉作为类人机器人的重要环节，赋予机器人感知周围信息的能力。计算机视觉的发展进一步拓展了机器人感知精度广度，从而更方便准确的处理下一步任务。视频处理是计算机视觉的重要课题。由于视频数据量巨大，且含有很多噪音，如何有效提取视频的关键帧信息非常重要。视频信号是由连接的帧组成，且时间冗余特别大，即帧间相关性很强，因此十分适合使用关键帧提取方法。关键帧提取是使用一小组信息量最大的帧去表示原始视频，极大的缓解高维视频信号处理的压力，补充和完善视频信号分析处理理论。
3.目前，基于稀疏编码的关键帧提取由于其突出的优点、简单性和成熟的数学分析而引起了极大的关注。信号的稀疏编码有完善的数学表示。其通过字典或变换用少量元素来描述信号，可获得复杂信号更为简洁的表示方式，从而提高信号处理性能。值得注意的是，传统的稀疏编码可以提取一些(稀疏)帧，其中包含原始视频的主要信息，也就是可以用少数的关键帧近似表示原始视频信息。现有的基于稀疏编码的关键帧提取算法主要基于现阶段研究比较成熟的合成模型，需要一个稀疏系数矩阵来学习，原始视频可以表示为几个选定关键帧的线性组合。具体来说，稀疏系数矩阵的少数非零元素对应的行代表整个视频的少数(稀疏)的关键帧。
4.稀疏编码关键帧提取方法的有效性取决于用于约束稀疏性的正则化项，这通常基于l1或l0范数。例如用于视频分类和摘要的稀疏建模表示选择(smrs)方法使用l1范数来实现与关键帧对应的稀疏表示。此外，行列式度量也被用作稀疏约束以获得更好的关键帧提取结果。但是现有的稀疏约束无法提取到有效的关键帧，并且基本都是基于传统的合成模型，没有考虑稀疏系数矩阵中视频帧的结构信息，因此，开发更有效的算法以获得更好的视频关键帧是必要的。


技术实现要素：

5.为了解决现有技术中指出的问题，本发明提出了一种基于解析稀疏表示的关键帧提取方法，该方法利用解析稀疏表示模型及minimax concave penalty(mcp)稀疏正则化进行视频的关键帧提取，减少关键帧提取算法的计算复杂度，同时降低关键帧提取的压缩率。
6.实现本发明目的的技术方案是：
7.一种基于解析稀疏表示的关键帧提取方法，包括如下步骤：
8.(1)将视频信号转化为计算机可识别的机内矩阵表示，矩阵的行代表视频每一帧的图像信息；
9.(2)设计一个基于minimax concave penalty(mcp)稀疏正则化的解析稀疏编码模型；
10.(3)将视频矩阵作为原信号，视频矩阵的转置矩阵作为解析字典，带入解析稀疏编码模型；
11.(4)通过解析稀疏编码算法计算出稀疏系数矩阵，其中稀疏系数矩阵的非零行代表关键帧的索引；
12.(5)根据关键帧的索引选择出对应的该视频关键帧。
13.进一步的，步骤(3)所述使用原视频信号带入解析稀疏编码模型，视频矩阵和其转置矩阵的矩阵乘积为稀疏系数，优化解析稀疏编码问题，即求出满足mcp稀疏约束的稀疏系数矩阵，构造的解析稀疏编码公式如下：
[0014][0015]
其中s为原视频信号，s
t
为视频信号的转置矩阵，x为稀疏系数矩阵。j
mcp
(x)为mcp稀疏约束，具体表达式如下：
[0016][0017]
其中ρ、λ为权重系数，一般取值大于0小于1。
[0018]
进一步的，步骤(4)所述通过解析稀疏编码算法计算出稀疏系数矩阵，其中稀疏系数矩阵的非零行代表关键帧的索引；采用fbp计算步骤(3)的稀疏系数矩阵。计算求解如下公式：
[0019][0020][0021]
x为稀疏系数矩阵，其中非零行代表视频中的关键帧索引。
[0022]
进一步的，步骤(5)所述根据关键帧的索引选择出对应的该视频关键帧是使用视频关键帧压缩率(summary length)和f-measure作为评价指标，用于提取的关键帧和视频所有帧的数量之比，其单位为％，数值越小表示视频压缩水平越强，给定一个视频，其关键帧压缩率为：
[0023][0024]
其中n
select
为提取的关键帧个数，n
whole
为视频全部的帧数。
[0025]
同时，采用f-measure衡量所提取关键帧的准确效果。f-measure的定义如下：
[0026][0027]
其中p和r分别为准确率和召回率；f-measure越高表示提取的关键帧效果越好，越能准确反映原视频的内容。
[0028]
本发明提出的基于解析稀疏编码的关键帧提取方法，相对于传统基于合成稀疏编码的视频关键帧提取方法有以下优点：
[0029]
(1)本发明针对视频信号冗余性强的问题，提出一种基于解析稀疏编码的关键帧提取方法，这将减少关键帧提取算法的计算复杂度，同时降低关键帧提取的压缩率；
[0030]
(2)本发明提出的关键帧提取方法，在利用稀疏系数矩阵表示视频关键帧的情况下，可以形成对称稀疏系数矩阵，相较于传统的合成稀疏编码方法具有更高的结构性。
附图说明
[0031]
图1为本发明提出的基于解析稀疏编码的关键帧提取模型示意图。
[0032]
图2为优化算法示意图。
具体实施方式
[0033]
下面结合附图及实施例，对本发明所述的方法作详细阐述。
[0034]
如图1所示，基于解析稀疏编码的关键帧提取方法，流程如下：首先视频转化为矩阵表示，视频矩阵的每一列为视频的每一帧信号。然后把视频矩阵信号输入设计好的解析稀疏编码模型。该模型包含解析字典、原信号和稀疏系数矩阵。其中原信号即为视频矩阵，解析字典为视频矩阵的转置矩阵，稀疏系数矩阵为解析字典和原信号的矩阵乘积。为了充分关注稀疏系数矩阵的稀疏约束，本发明引入mcp作为稀疏约束。该mcp约束作用于稀疏系数矩阵，由于解析稀疏编码对视频信号表达的对称性质，产生的稀疏系数矩阵呈现非零行、列对称(“井”字形分布)的现象。因此本模型对结构化视频数据有更好的表达特性。
[0035]
步骤1：将视频转化为矩阵表示，视频矩阵的每一列为视频的每一帧信号；
[0036]
该数据集使用的是视频信号，每个视频有多个视频帧组成，每个视频帧是一张含有视频信息的图像。
[0037]
步骤2：设计一个基于minimax concave penalty(mcp)稀疏正则化的解析稀疏编码模型；
[0038]
为了更好地对少数关键帧进行选择，该模型引入了mcp稀疏正则化约束，对产生的稀疏系数矩阵进行稀疏约束。该约束可以使稀疏矩阵具有强稀疏性并可采用凸优化方法求解问题。
[0039]
步骤3：将视频矩阵作为原信号，视频矩阵的转置矩阵作为解析字典，带入步骤2的解析稀疏编码模型；
[0040]
使用原视频信号带入解析稀疏编码模型，视频矩阵和其转置矩阵的矩阵乘积为稀疏系数，优化解析稀疏编码问题，即求出满足mcp稀疏约束的稀疏系数矩阵。构造的解析稀疏编码公式如下：
[0041][0042]
其中s为原视频信号，s
t
为视频信号的转置矩阵，x为稀疏系数矩阵。j
mcp
(x)为mcp稀疏约束，具体表达式如下：
[0043][0044]
其中ρ、λ为权重系数，一般取值大于0小于1。
[0045]
步骤4：通过解析稀疏编码算法计算出稀疏系数矩阵，如图2所示，其中稀疏系数矩阵的非零行代表关键帧的索引；
[0046]
采用fbp计算步骤3的稀疏系数矩阵。计算求解如下公式：
[0047][0048][0049]
x为稀疏系数矩阵，其中非零行代表视频中的关键帧索引。
[0050]
步骤5：根据步骤4得到的关键帧索引选择出对应的该视频关键帧；
[0051]
为了测试步骤5所提取的关键帧效果，使用测试集对其进行验证。本发明使用视频关键帧压缩率(summary length)和f-measure作为评价指标。关键帧压缩率是一种评价视频处理的客观标准，经常作为关键帧的测量方法，用于所提取的关键帧和视频所有帧的数量之比，其单位为％，数值越小表示视频压缩水平越强。给定一个视频，其关键帧压缩率为
[0052][0053]
其中n
select
为提取的关键帧个数，n
whole
为视频全部的帧数。
[0054]
同时我们采用f-measure衡量所提取关键帧的准确效果。f-measure的定义如下
[0055][0056]
其中p和r分别为准确率和召回率。f-measure越高表示提取的关键帧效果越好，越能准确反映原视频的内容。