一种视频关键帧智能提取系统的制作方法

1.本发明涉及动漫视频处理技术领域，更具体地说，它涉及一种视频关键帧智能提取系统。


背景技术：

2.动漫视频与普通拍摄的视频在制作方式和素材来源存在较大的差异，动漫视频所包含的内容更加富有想象力，更加超越现实，因此应用于一般视频的基于内容的关键帧提取方法应用于动漫视频的关键帧提取的效果不佳。


技术实现要素：

3.本发明提供一种视频关键帧智能提取系统，解决相关技术中一般视频的基于内容的关键帧提取方法应用于动漫视频的关键帧效果不佳的技术问题。
4.根据本发明的一个方面，提供了一种视频关键帧智能提取系统，包括：帧提取模块，其用于从动漫视频中提取帧单元；预处理模块，其对帧单元的图像进行二值化处理获得二值图像；轮廓处理模块，其基于预处理模块获得的二值图像处理获得帧单元的图像的轮廓，一个二值化图像包括一个以上的轮廓，两个轮廓之间不存在相交的像素点；序列生成模块，其基于帧单元的图像的轮廓将其映射到序列集合；第一筛选模块，其用于计算帧单元的图像的轮廓与帧单元的图像边框轮廓之间的距离，删除距离小于第一阈值的帧单元的图像的轮廓，生成第一轮廓集；第二筛选模块，其用于计算第一轮廓集内的轮廓的距离；通过以下步骤对第一轮廓集进行整理生成第二轮廓集：步骤s101，从第一轮廓集中生成第一中间集，第一中间集中的轮廓与同一个第一中间集中的一个以上的轮廓的距离小于第二阈值；步骤s102，对第一中间集进行处理，第一中间集中属于一个动漫剧集的同一集，并且时间值的差值小于第三阈值的轮廓只保留其中一个，所有第一中间集保留的轮廓的集合即为第二轮廓集；第三筛选模块，其基于第二轮廓集生成内层轮廓集和外层轮廓集，内层轮廓集的轮廓所要满足的条件是：对于内层轮廓集的一个a轮廓，a轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内a轮廓的外部存在一个以上的轮廓；外层轮廓集的轮廓所要满足的条件是：对于外层轮廓集的一个b轮廓，b轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内b轮廓的外部不存在轮廓；第一帧单元处理模块，其提取与第二轮廓集关联的帧单元之后生成第一帧集；从第一帧集中提取不包含外层轮廓集和内层轮廓集的轮廓的帧单元生成第二帧
集；从第一帧集中提取不属于第二帧集的帧单元生成第三帧集；从外层轮廓集中提取满足以下条件的轮廓生成第三轮廓集：外层轮廓集中与提取的轮廓的距离小于第六阈值的轮廓的数量大于第五阈值；从内层轮廓集中提取与第三轮廓集的轮廓属于相同的帧单元的图像的轮廓生成第四轮廓集；从第四轮廓集中生成小集合，小集合中的轮廓与同一小集合的其他一个以上的轮廓的距离小于第七阈值，且小集合中的轮廓与小集合之外的轮廓的距离大于或等于第七阈值；第四轮廓集中的每个小集合中随机选择一个轮廓生成第五轮廓集；从第三帧集中提取关联第五轮廓集的轮廓的帧单元生成第四帧集；关键帧生成模块，其将第二帧集和第四帧集取并集得到关键帧集，关键帧集中的帧单元即是所提取的关键帧。
5.进一步地，轮廓处理模块生成帧单元的图像的轮廓时删除与帧单元的图像边框轮廓的距离小于基准阈值的轮廓，基准阈值小于第一阈值。
6.进一步地，序列生成模块预先将帧单元的图像边框轮廓映射到一个序列集合。
7.进一步地，一个轮廓的序列集合为a={a1,a2...an}；an表示轮廓的一个像素。
8.进一步地，外层轮廓集与内层轮廓集之间不存在交集，外层轮廓集与内层轮廓集的并集小于或等于第二轮廓集。
9.进一步地，第二筛选模块对第二轮廓集进行进一步处理，包括以下步骤：步骤s201，从第二轮廓集中生成第二中间集，第二中间集中的轮廓与同一个第二中间集中的一个以上的轮廓的距离小于第二阈值；步骤s202，对第二中间集进行处理，一个第二中间集中只保留一个轮廓；所有第二中间集中保留的轮廓的集合作为新的第二轮廓集。
10.进一步地，步骤s102中的时间值的差值小于1s。
11.进一步地，第一筛选模块和第二筛选模块计算轮廓的距离的方法包括：计算两个轮廓序列集合的序列单元之间的距离获得第一距离矩阵；第一距离矩阵的元素u
ij
表示一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离；计算轮廓的距离的公式如下：其中，n和m分别表示两个轮廓的序列集合的序列单元的总数，d
nm
表示第一距离矩阵的第n行第m列的元素的值。
12.进一步地，一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离的计算公式如下：其中xi和yi为第i个序列单元的两个坐标，xj和yj为第j个序列单元的两个坐标；d
ij
即为第一距离矩阵的元素u
ij
的值。
13.进一步地，还包括核心帧提取模块，其用于执行以下步骤生成核心帧集：步骤s301，建立一个n*n矩阵，，其中r为关键帧集的关键帧的数量；步骤s302，从关键帧集中随机选择n*n个关键帧作为矩阵的元素；步骤s303，从关键帧集中随机选择一个不属于矩阵的元素的关键帧，然后计算该关键帧与矩阵元素之间的相似度，选择与其相似度最大的矩阵元素作为中心元素；标记中心元素以及矩阵中与中心元素距离小于2的元素为标记元素；矩阵的元素的距离的计算公式如下：其中为u
h1
和u
h2
分别为两个矩阵元素的行值，u
l1
和u
l2
分别为两个矩阵元素的列值；步骤s304，依次更新标记元素的属性值，更新的公式如下：其中t表示更新标记元素的次数，表示更新之后的标记元素的第k项属性的值，表示更新之前的标记元素的第k项属性的值，表示步骤s303中提取的关键帧的第k项属性的值；k≤3，关键帧的三项属性分别为第一属性、第二属性和第三属性；第一属性的取值为关键帧包含的轮廓的数量；第二属性的取值为关键帧包含的内轮廓的数量；第三属性的取值为关键帧的播放时间值；步骤s305，迭代执行步骤s303和步骤s304，迭代执行的次数为，r为关键帧集的关键帧的数量；步骤s306，提取与矩阵的元素相似度大于第八阈值的关键帧集中的关键帧作为核心帧，生成核心帧集。
14.本发明的有益效果在于：本发明基于动漫视频的制作特点设计基于图像轮廓的关键帧提取系统，针对于动漫视频能够获得优于基于内容的关键帧提取方法提取关键帧的效果。
附图说明
15.图1是本发明的一种视频关键帧智能提取系统的模块示意图一；图2是本发明的对第一轮廓集进行整理生成第二轮廓集的流程图；图3是本发明的第二筛选模块对第二轮廓集进行进一步处理的流程图；图4是本发明的一种视频关键帧智能提取系统的模块示意图二；图5是本发明的核心帧提取模块生成核心帧集的流程图。
16.图中：帧提取模块101，预处理模块102，轮廓处理模块103，序列生成模块104，第一筛选模块105，第二筛选模块106，第三筛选模块107，第一帧单元处理模块108，关键帧生成模块109，核心帧提取模块110。
具体实施方式
17.现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。
18.实施例一如图1-图3所示，一种视频关键帧智能提取系统，包括：帧提取模块101，其用于从动漫视频中提取帧单元；预处理模块102，其对帧单元的图像进行二值化处理获得二值图像；轮廓处理模块103，其基于预处理模块102获得的二值图像处理获得帧单元的图像的轮廓，一个二值化图像包括一个以上的轮廓，两个轮廓之间不存在相交的像素点；序列生成模块104，其基于帧单元的图像的轮廓将其映射到序列集合；例如一个轮廓的序列集合为a={a1,a2...an}；an表示轮廓的一个像素；第一筛选模块105，其用于计算帧单元的图像的轮廓与帧单元的图像边框轮廓之间的距离，删除距离小于第一阈值的帧单元的图像的轮廓，生成第一轮廓集；第二筛选模块106，其用于计算第一轮廓集内的轮廓的距离；通过以下步骤对第一轮廓集进行整理生成第二轮廓集：步骤s101，从第一轮廓集中生成第一中间集，第一中间集中的轮廓与同一个第一中间集中的一个以上的轮廓的距离小于第二阈值；步骤s102，对第一中间集进行处理，第一中间集中属于一个动漫剧集的同一集，并且时间值的差值小于第三阈值的轮廓只保留其中一个，所有第一中间集保留的轮廓的集合即为第二轮廓集；在本发明的一个实施例中，第二筛选模块106对第二轮廓集进行进一步处理，包括以下步骤：步骤s201，从第二轮廓集中生成第二中间集，第二中间集中的轮廓与同一个第二中间集中的一个以上的轮廓的距离小于第二阈值；步骤s202，对第二中间集进行处理，一个第二中间集中只保留一个轮廓；所有第二中间集中保留的轮廓的集合作为新的第二轮廓集。
19.针对于动漫剧集原画复用的特性，来通过以上策略删除基于复用原画生成的帧单元，但是仍保留了比较相似的轮廓；在此对时间值进行规范，例如某一集的10分23秒的第3帧，则其时间值为623.03，某一集的10分22秒的第20帧，则其时间值为622.20，步骤s102中的时间值的差值一般选择为小于1，一般第二阈值设置的较小，这一条件是清理为了满足24帧影像的格式而进行的重复插帧。
20.第三筛选模块107，其基于第二轮廓集生成内层轮廓集和外层轮廓集，内层轮廓集的轮廓所要满足的条件是：对于内层轮廓集的一个a轮廓，a轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内a轮廓的外部存在一个以上的轮廓；外层轮廓集的轮廓所要满足的条件是：
对于外层轮廓集的一个b轮廓，b轮廓关联的帧单元的图像内存在两个以上的轮廓，并且在该图像内b轮廓的外部不存在轮廓；外层轮廓集与内层轮廓集之间不存在交集，外层轮廓集与内层轮廓集的并集小于或等于第二轮廓集。
21.第一帧单元处理模块108，其提取与第二轮廓集关联的帧单元之后生成第一帧集；从第一帧集中提取不包含外层轮廓集和内层轮廓集的轮廓的帧单元生成第二帧集；从第一帧集中提取不属于第二帧集的帧单元生成第三帧集；从外层轮廓集中提取满足以下条件的轮廓生成第三轮廓集：外层轮廓集中与提取的轮廓的距离小于第六阈值的轮廓的数量大于第五阈值；从内层轮廓集中提取与第三轮廓集的轮廓属于相同的帧单元的图像的轮廓生成第四轮廓集；从第四轮廓集中生成小集合，小集合中的轮廓与同一小集合的其他一个以上的轮廓的距离小于第七阈值，且小集合中的轮廓与小集合之外的轮廓的距离大于或等于第七阈值；第四轮廓集中的每个小集合中随机选择一个轮廓生成第五轮廓集；从第三帧集中提取关联第五轮廓集的轮廓的帧单元生成第四帧集；关键帧生成模块109，其将第二帧集和第四帧集取并集得到关键帧集，关键帧集中的帧单元即是所提取的关键帧；第一筛选模块105和第二筛选模块106计算轮廓的距离的方法包括：计算两个轮廓序列集合的序列单元之间的距离获得第一距离矩阵；第一距离矩阵的元素u
ij
表示一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离；计算轮廓的距离的公式如下：其中，n和m分别表示两个轮廓的序列集合的序列单元的总数，d
nm
表示第一距离矩阵的第n行第m列的元素的值；其中d（n-1，m）、d（n，m-1）、d（n-1，m-1）的值参考上述公式迭代计算；对于动漫中常用的放大镜头也能够良好的进行轮廓相似的计算；在本发明的一个实施例中，一个轮廓的序列集合的第i个序列单元与另一个轮廓的序列集合的第j个序列单元的距离的计算公式如下：其中xi和yi为第i个序列单元的两个坐标，xj和yj为第j个序列单元的两个坐标；d
ij
即为第一距离矩阵的元素u
ij
的值；在本发明的一个实施例中，序列生成模块104预先将帧单元的图像边框轮廓同样映射到一个序列集合，在提取帧单元的图像的轮廓时是不包含图像边框轮廓的，所有帧单元的图像边框轮廓应该是相同的，因此可以单独的预先生成帧单元的图像边框轮廓。
22.在本发明的一个实施例中，轮廓处理模块103生成帧单元的图像的轮廓时删除与
帧单元的图像边框轮廓的距离小于基准阈值的轮廓，基准阈值小于第一阈值，属于图像边框轮廓的像素点分布于帧单元的图像的边界；在本发明的一个实施例中，轮廓以链码的方式存储。
23.如图4、图5所示，在本发明的一个实施例中，一种视频关键帧智能提取系统还包括核心帧提取模块110，其用于执行以下步骤生成核心帧集：步骤s301，建立一个n*n矩阵，，其中r为关键帧集的关键帧的数量；步骤s302，从关键帧集中随机选择n*n个关键帧作为矩阵的元素；步骤s303，从关键帧集中随机选择一个不属于矩阵的元素的关键帧，然后计算该关键帧与矩阵元素之间的相似度，选择与其相似度最大的矩阵元素作为中心元素；标记中心元素以及矩阵中与中心元素距离小于2的元素为标记元素；矩阵的元素的距离的计算公式如下：其中为u
h1
和u
h2
分别为两个矩阵元素的行值，u
l1
和u
l2
分别为两个矩阵元素的列值；步骤s304，依次更新标记元素的属性值，更新的公式如下：其中t表示更新标记元素的次数，表示更新之后的标记元素的第k项属性的值，表示更新之前的标记元素的第k项属性的值，表示步骤s303中提取的关键帧的第k项属性的值；k≤3，关键帧的三项属性分别为第一属性、第二属性和第三属性；第一属性的取值为关键帧包含的轮廓的数量；第二属性的取值为关键帧包含的内轮廓的数量；第三属性的取值为关键帧的播放时间值；步骤s305，迭代执行步骤s303和步骤s304，迭代执行的次数为，r为关键帧集的关键帧的数量；步骤s306，提取与矩阵的元素相似度大于第八阈值的关键帧集中的关键帧作为核心帧，生成核心帧集；需要说明的是步骤s303选择关键帧应该是未在前面的迭代执行步骤中被选择的；步骤s306中所述的矩阵元素是指步骤s305迭代之后被更新的矩阵；其中，计算关键帧与矩阵元素之间的相似度的公式如下：其中u
11
、u
12
、u
13
分别为矩阵元素的第一属性、第二属性和第三属性的值，u
21
、u
22
、u
23
分别为关键帧的第一属性、第二属性和第三属性的值；关键帧生成模块109所生成的关键帧集对于一个总帧数较大的视频来说仍然具有较大的数据量，核心帧提取模块110基于关键帧生成模块所生成关键帧集的特性进行进一
步处理缩小规模获得数量更少的核心帧。
24.上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，在不脱离本实施例宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本实施例的保护之内。