一种基于特征的视音频检索方法与流程

1.本技术涉及音视频检索技术领域，尤其涉及一种具体基于特征的视音频检索方法。


背景技术：

2.随着现代计算机及互联网技术的发展，多媒体数据的种类越来越丰富，规模也越来越大，这使得多媒体检索技术编的越来越重要，例如，广告投放方需要监控投放的广告是否按约定播出，又例如，影视出品方需要确定作品的播放情况。
3.目前现有的视音频检索方案常见的是基于单维度的检索。例如，先将语音转换为文字，然后基于文字做检索，只提取的音频特征，未关联图像特征检索，且将语音先转换为文字这种识别技术，耗费大量的算力且无法精确到毫秒级的匹配，在背景音嘈杂时检索结果不理想。而单纯的图像检索，由于大量不同的视音频会采用相同或者相近的图像，导致采用图像检索方式，获得的检索结果存在较大的误差，不利于视音频的高效精确检索。


技术实现要素：

4.为了提供一种高效精确的视音频检索方法，本技术实施例提供一种基于特征的视音频检索方法。
5.本技术第一方面提供一种基于特征的视音频检索方法，包括：
6.取待检测样本的图像特征点，以及待检测样本的音频特征点；
7.利用待检测样本图像特征点对预先建立的图像素材库进行筛选，若图像素材库的素材图像特征点与待检测样本图像特征点内积距离处于预设区间内，则提取出对应的素材图像特征点，并以所有提取的素材图像特征点建立第一特征集合；以及，利用待检测样本音频特征点对预先建立的音频素材库进行筛选，若音频素材库的素材音频特征点与待检测样本音频特征点内积距离处于预设区间内，则提取出对应的素材音频特征点，并以所有提取的素材音频特征点建立第二特征集合；
8.对第一特征集合的素材图像特征点按照节目id进行分组，同一id分组的素材图像特征点按照时间戳进行排序，获得多组素材图像特征序列集合；以及，对第二特征集合的素材音频特征点按照节目id进行分组，同一id分组的音频特征点按照时间戳进行排序，获得多组素材音频特征序列集合；
9.在素材图像特征序列集合下，对同一id分组的素材图像特征序列中的素材图像特征点进行时间性聚类，获得多个同类图像簇；以及，在素材音频特征序列集合下，对同一id分组的素材音频特征序列中的素材音频特征点进行时间性聚类，获得多个同类音频簇；
10.分别对同类图像簇中的素材图像特征点和同类音频簇中的素材音频特征点进行连续性验证，确定同类图像簇中素材图像特征序列的起始及结束时间，获得连续素材图像特征序列集合；以及，确定同类音频簇中素材音频特征序列的起始及结束时间，获得连续素材音频特征序列集合；
11.根据节目id，对连续素材图像特征序列集合与连续素材音频特征序列集合，求并集或子集。
12.可选地，所述获取待检测样本的图像特征点，以及待检测样本的音频特征点的步骤，具体为：
13.获取待检测样本的音视频；
14.提取的所述待检测样本的音视频的样本图像序列和样本音频序列；
15.对所述样本图像序列4进行特征提取的，生成待检测样本的图像特征点，所述待检测样本的图像特征点包括节目id信息、时间信息和指纹信息；
16.对所述样本音频序列基于频谱峰值进行特征提取的，生成待检测样本的音频特征点，所述待检测样本的音频特征点包括节目id信息、时间信息和声纹信息。
17.可选地，所述在素材图像特征序列集合下，对同一id分组的素材图像特征序列中的素材图像特征点进行时间性聚类，获得多个同类图像簇的步骤，具体为：
18.获取素材图像特征点的unix时间戳信息，若连续的素材图像特征点之间的时间戳满足以下公式，则将连续的素材图像特征点归类一个同类图像簇；
19.t
n2-t
n1
《10*ia
20.或者t
n2-t
n1
》＝10*ia且|(t
afn2-》saf-t
afn1-》saf
)-(t
n2-t
n1
)|《3*ia；
21.其中，t
n2
和t
n1
为两个连续的素材图像特征点的unix时间戳信息，ia为预设的隔帧提取的间隔时间；t
afn2-》saf
和t
afn1-》saf
为两个连续的素材图像特征点对应的待检测样本图像特征点的unix时间戳信息。
22.可选地，所述视音频检索方法还包括：
23.若所述同类图像簇中只有一个素材图像特征点，则去除该同类图像簇；
24.计算任一同类图像簇的持续时间，若所述持续时间小于预设时长，则去除该同类图像簇。
25.可选地，所述在素材音频特征序列集合下，对同一id分组的素材音频特征序列中的素材音频特征点进行时间性聚类，获得多个同类音频簇的步骤，具体为：
26.获取素材音频特征点的unix时间戳信息，若连续的音频特征点之间的时间戳满足以下公式，则将连续的素材音频特征点归类一个同类音频簇；
27.t
n2-t
n1
《10*ip
28.或者t
n2-t
n1
》＝10*ip且|(t
afn2-》saf-t
afn1-》saf
)-(t
n2-t
n1
)|《3*ip；
29.其中，t
n2
和t
n1
为两个连续的素材音频特征点的unix时间戳信息，ip为预设的隔帧提取的间隔时间；t
afn2-》saf
和t
afn1-》saf
为两个连续的素材音频特征点对应的待检测样本音频特征点的unix时间戳信息。
30.可选地，所述视音频检索方法还包括：
31.若所述同类音频簇中只有一个素材音频特征点，则去除该同类音频簇；
32.计算任一同类音频簇的持续时间，若所述持续时间小于预设时长，则去除该同类音频簇。
33.可选地，所述预先建立的图像素材库和预先建立的音频素材库通过以下方法建立：
34.获取音视频素材，并按照预设的切片时长对所述音视频素材进行切片；
35.对切片后的音视频素材进行解码，生成素材图像序列和素材音频序列，所述素材图像序列和素材音频序列的序列戳根据解码时间及录像自然时间生成；
36.对素材图像序列进行隔帧提取特征，生成素材图像特征点，对素材音频序列基于频谱峰值特征进行特征提取的，生成素材音频特征点；
37.将所有素材图像特征点独立建库，获得图像素材库，以及，将所有素材音频特征点独立建库，获得音频素材库；所述所述素材图像特征点和素材音频特征点独立建库时，均设置有独立id，所述独立id包括节目id信息及unix时间戳信息。
38.本技术第二方面提供一种基于特征的视音频检索装置，所述视音频检索装置用于执行本技术第一方面提供的视音频检索方法，所述视音频检索装置包括：
39.获取装置，用于获取待检测样本的图像特征点，以及用于获取待检测样本的音频特征点；
40.筛选模块，用于根据待检测样本图像特征点对预先建立的图像素材库进行筛选，若图像素材库的素材图像特征点与待检测样本图像特征点内积距离处于预设区间内，则提取出对应的素材图像特征点，并以所有提取的素材图像特征点建立第一特征集合；
41.以及，用于根据待检测样本音频特征点对预先建立的音频素材库进行筛选，若音频素材库的素材音频特征点与待检测样本音频特征点内积距离处于预设区间内，则提取出对应的素材音频特征点，并以所有提取的素材音频特征点建立第二特征集合；
42.分组模块，用于对第一特征集合的素材图像特征点按照节目id进行分组，同一id分组的素材图像特征点按照时间戳进行排序，获得多组素材图像特征序列集合；
43.以及，用于对第二特征集合的素材音频特征点按照节目id进行分组，同一id分组的音频特征点按照时间戳进行排序，获得多组素材音频特征序列集合；
44.聚类模块，用于在素材图像特征序列集合下，对同一id分组的素材图像特征序列中的素材图像特征点进行时间性聚类，获得多个同类图像簇；
45.以及，用于在素材音频特征序列集合下，对同一id分组的素材音频特征序列中的素材音频特征点进行时间性聚类，获得多个同类音频簇；
46.排序模块，用于对同类图像簇中的素材图像特征点进行连续性验证，确定同类图像簇中素材图像特征序列的起始及结束时间，获得多组连续素材图像特征序列集合；
47.以及，用于对同类音频簇中的素材音频特征点进行连续性验证，确定同类音频簇中素材音频特征序列的起始及结束时间，获得多组连续素材音频特征序列集合；
48.合并模块，用于根据节目id，对连续素材图像特征序列集合与连续素材音频特征序列集合，求并集或子集。
49.本技术第三方面提供一种存储介质，所述存储介质存储有计算机程序；所述计算机程序被执行时，实现如本技术第一方面提供的一种基于特征的视音频检索方法的步骤。
50.本技术第四方面提供一种计算机设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如本技术第一方面提供的一种基于特征的视音频检索方法的步骤。
51.本技术提供的一种基于特征的视音频检索方法，通过预先建立图像素材库以及预先建立音频素材库，对待检测样本进行索引，例如，可针对广播电视节目广告播出进行精准的监控统计，广播电视播出广告具有不变性特点，基于该方法提取各电视频道的特征构建
素材特征库(图像素材库和音频素材库)，然后基于广告样本特征检索，统计广告播出情况，基于特征的毫秒级特点，可对广告进行精准定位及查看。又例如。针对节目转播监测，可将要求转播的频道提取特征，构件素材特征库，然后将转播的节目提取特征在素材库中检索，核查节目是否有正常转播。本技术提供的一种基于特征的视音频检索方法，通过构建的素材特征库，可重复对不同待检测样本进行检索。基于时间连续性判断输出检索结果。特征id根据节目 id和特征时间生成，可快速对检索的媒资进行分组，可精确到毫秒级的精准定位，精确匹配节目中素材出现的位置，且可对素材进行反复追溯检索。
附图说明
52.为了更清楚地说明本技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
53.图1为本技术实施例提供的一种基于特征的视音频检索方法的流程示意图；
54.图2为本技术实施例提供的已经过排序的连续素材音频特征序列示意图；
55.图3为本技术实施例提供的图像素材库和音频素材库的建立方法的流程示意图。
具体实施方式
56.为了更清楚的描述本技术实施例的技术方案，在此作出如下约定，以图像特征为例，特征点：具备三个信息(描述图像指纹信息、图像时间信息和图像节目id信息)；特征序列：特征点有前后关系，这样的特征点集合称之为序列；序列集合：多条特征序列构成的一个序列集合，序列和序列之间没有绝对关系。
57.为了提供一种高效精确的视音频检索方法，本技术实施例提供一种基于特征的视音频检索方法。如图1所示，为本技术实施例提供的一种基于特征的视音频检索方法的流程示意图，本技术实施例第一方面提供一种基于特征的视音频检索方法，包括：
58.步骤s101，获取待检测样本的图像特征点，以及待检测样本的音频特征点。
59.具体的，首先获取待检测样本的音视频；然后提取的所述待检测样本的样本图像序列和样本音频序列，该步骤生成的样本图像序列和样本音频序列，不用关注自然时间，定义重样本时长。最后对所述样本图像序列的全局信息进行特征提取的，生成待检测样本的图像特征点，所述待检测样本的图像特征点包括节目id信息、时间信息和指纹信息；以及，对所述样本音频序列基于频谱峰值进行特征提取的，生成待检测样本的音频特征点，所述待检测样本的音频特征点包括节目id信息、时间信息和声纹信息，其中，所述指纹信息是用于计算两个图像特征点之间的内积距离，所述声纹信息是用于计算两个音频特征点之间的内积距离。
60.步骤s102，利用待检测样本图像特征点对预先建立的图像素材库进行筛选，若图像素材库的素材图像特征点与待检测样本图像特征点内积距离处于预设区间内，则提取出对应的素材图像特征点，并以所有提取的素材图像特征点建立第一特征集合；以及，利用待检测样本音频特征点对预先建立的音频素材库进行筛选，若音频素材库的素材音频特征点与待检测样本音频特征点内积距离处于预设区间内，则提取出对应的素材音频特征点，并以所有提取的素材音频特征点建立第二特征集合。
61.其中，以待检测样本图像特征点为例，在预先建立的图像素材库中，计算图像素材库中的素材图像特征点与待检测样本图像特征点内积距离，并将内积距离归一化后，判断内积距离是否处于预设区间，归一化后的内积距离越接近于1，则表示两个对象越相似，归一化后的内积距离等于1，则表示两个对象完全一致，在实际应用过程中，可以根据精度需要，设置预设区间，在本技术的实施例中，将预设区间设置为[0.8,1.0]。需要说明的是，第一特征集合存在的素材图像特征点是杂乱无序的组合在一起，以及，第二特征集合存在的素材音频特征点是杂乱无序的组合在一起。
[0062]
步骤s103，对第一特征集合的素材图像特征点按照节目id进行分组，同一id分组的素材图像特征点按照时间戳进行排序，获得多组素材图像特征序列集合；以及，对第二特征集合的素材音频特征点按照节目id进行分组，同一id分组的音频特征点按照时间戳进行排序，获得多组素材音频特征序列集合。
[0063]
对于第一特征集合与第二特征集合中杂乱无序的特征点，需要一定规律进行整合，本技术实施例中，先通过节目id，对素材图像特征点或音频特征点进行分组，在同一id分组下，在根据素材图像特征点或音频特征点的时间戳进行排序，从而获得一组有序排列的素材图像特征序列，多组素材图像特征序列集合或多组素材音频特征序列集合。
[0064]
步骤s104，在素材图像特征序列集合下，对同一id分组的素材图像特征序列中的素材图像特征点进行时间性聚类，获得多个同类图像簇；以及，在素材音频特征序列集合下，对同一id分组的素材音频特征序列中的素材音频特征点进行时间性聚类，获得多个同类音频簇。
[0065]
其中，对素材图像特征点进行时间性聚类，具体为：获取素材图像特征点的unix时间戳信息，若连续的素材图像特征点之间的时间戳满足以下公式，则将连续的素材图像特征点归类一个同类图像簇。
[0066]
t
n2-t
n1
《10*ip
[0067]
或者t
n2-t
n1
》＝10*ip且|(t
afn2-》saf-t
afn1-》saf
)-(t
n2-t
n1
)|《3*ip。
[0068]
其中，t
n2
和t
n1
为两个连续的素材图像特征点的unix时间戳信息，ip为预设的隔帧提取的间隔时间；t
afn2-》saf
和t
afn1-》saf
为两个连续的素材图像特征点对应的待检测样本图像特征点的unix时间戳信息。
[0069]
对素材音频特征点进行时间性聚类具体为：获取素材音频特征点的unix时间戳信息，若连续的音频特征点之间的时间戳满足以下公式，则将连续的素材音频特征点归类一个同类音频簇。
[0070]
t
n2-t
n1
《10*ia
[0071]
或者t
n2-t
n1
》＝10*ia且|(t
afn2-》saf-t
afn1-》saf
)-(t
n2-t
n1
)|《3*ia。
[0072]
其中，t
n2
和t
n1
为两个连续的素材音频特征点的unix时间戳信息，ia为预设的隔帧提取的间隔时间；t
afn2-》saf
和t
afn1-》saf
为两个连续的素材音频特征点对应的待检测样本音频特征点的unix时间戳信息。
[0073]
需要说明的是，在获得多个同类图像簇或多个同类音频簇后，需要去除噪声，对于同类图像簇，若所述同类图像簇中只有一个素材图像特征点，则去除该同类图像簇，以及，计算任一同类图像簇的持续时间，若所述持续时间小于预设时长，则去除该同类图像簇，对于同类图像簇，预设时长为待检测音视频的图像序列的十分之一。
[0074]
对于同类音频簇，若所述同类音频簇中只有一个素材音频特征点，则去除该同类音频簇，以及，计算任一同类音频簇的持续时间，若所述持续时间小于预设时长，则去除该同类音频簇，对于同类音频簇，预设时长为待检测音视频的音频序列的十分之一。
[0075]
步骤s105，分别对同类图像簇中的素材图像特征点和同类音频簇中的素材音频特征点进行连续性验证，确定同类图像簇中素材图像特征序列的起始及结束时间，获得连续素材图像特征序列集合；以及，确定同类音频簇中素材音频特征序列的起始及结束时间，获得连续素材音频特征序列集合。
[0076]
对同一个同类图像簇或者同类音频簇中的特征点，进行连续性验证，并确定匹配的素材起始及结束时间。例如，在本技术实施例中，通过对同类音频簇中素材音频特点的起始及结束时间，按照从小到大的顺序进行排列，从而获得连续素材图像特征序列集合。如图2所示，本技术实施例提供的已经过排序的连续素材音频特征序列示意图。对于一个同类音频簇，tn1 至tnn为n个素材音频特征点，afn1至afnn为n个素材音频特征点对应的时间戳信息，saf1 至safn为n个待检测样本的音频特征点的时间戳信息，按照待检测样本的音频特征点的时间戳信息，对素材音频特征点进行排序，获得一个连续素材音频特征序列，多个连续素材音频特征序列组合为一个连续素材音频特征序列集合。
[0077]
步骤s106，根据节目id，对连续素材图像特征序列集合与连续素材音频特征序列集合，求并集或子集。
[0078]
如图3所示，为本技术实施例提供的图像素材库和音频素材库的建立方法的流程示意图，对于本技术实施例中提及的图像素材库音频素材库，通过以下方法预先建立：
[0079]
步骤s301，获取音视频素材，并按照预设的切片时长对所述音视频素材进行切片。
[0080]
在实际应用过程中，针对实时流节目或者长录像节目，需要做切片处理，在本技术实施例中，预设的切片时长为1小时。
[0081]
步骤s302，对切片后的音视频素材进行解码，生成素材图像序列和素材音频序列，所述素材图像序列和素材音频序列的序列戳根据解码时间及录像自然时间生成。
[0082]
在实际环境会存在视音频缺失情况，图像序列戳及音频序列戳的时间将结合解码时刻的时间戳时间及录像自然时间生成。比如切片起始帧开始的自然时间是2021-3-2500:00:00 (ts)，切片起始是ptss,第n帧图片的序列戳是ptsn，则时间戳信息tn的时间为： tn＝ts (ptsn-ptss)。
[0083]
步骤s303，对素材图像序列进行隔帧提取的特征，生成素材图像特征点，对素材音频序列基于频谱峰值特征进行特征提取的，生成素材音频特征点。
[0084]
对于素材图像序列，基于图像的全局信息进行特征提取，因图像的连续性、特征的鲁棒性及特征提取的效率，对素材图像序列进行隔帧提取特征，可使用pdq特征提取算法或感知哈希特征与像差特征提取算法，两两特征点之间的时间间隔ip，即素材图像特征序列预设的隔帧提取的间隔时间。素材音频序列基于频谱峰值特征，该特征约90ms一个特征，音频特征点之间的间隔为ia，即素材音频特征序列预设的隔帧提取的间隔时间。
[0085]
步骤s304，将所有素材图像特征点独立建库，获得图像素材库，以及，将所有素材音频特征点独立建库，获得音频素材库；所述所述素材图像特征点和素材音频特征点独立建库时，均设置有独立id，所述独立id包括节目id信息及unix时间戳信息。
[0086]
其中。所述独立id有128bit构成，其中前64bit代表节目id信息，后64bit是tn换算
为unix时间戳信息。
[0087]
本技术实施例第二方面还提供一种基于特征的视音频检索装置，所述视音频检索装置用于执行本技术实施例第一方面提供的视音频检索方法，所述视音频检索装置包括：
[0088]
获取装置，用于获取待检测样本的图像特征点，以及用于获取待检测样本的音频特征点；
[0089]
筛选模块用于根据待检测样本图像特征点对预先建立的图像素材库进行筛选，若图像素材库的素材图像特征点与待检测样本图像特征点内积距离处于预设区间内，则提取出对应的素材图像特征点，并以所有提取的素材图像特征点建立第一特征集合；
[0090]
以及，用于根据待检测样本音频特征点对预先建立的音频素材库进行筛选，若音频素材库的素材音频特征点与待检测样本音频特征点内积距离处于预设区间内，则提取出对应的素材音频特征点，并以所有提取的素材音频特征点建立第二特征集合；
[0091]
分组模块，用用于对第一特征集合的素材图像特征点按照节目id进行分组，同一id分组的素材图像特征点按照时间戳进行排序，获得多组素材图像特征序列集合；
[0092]
以及，用于对第二特征集合的素材音频特征点按照节目id进行分组，同一id分组的音频特征点按照时间戳进行排序，获得多组素材音频特征序列集合；
[0093]
聚类模块，用于在素材图像特征序列集合下，对同一id分组的素材图像特征序列中的素材图像特征点进行时间性聚类，获得多个同类图像簇；
[0094]
以及，用于在素材音频特征序列集合下，对同一id分组的素材音频特征序列中的素材音频特征点进行时间性聚类，获得多个同类音频簇；
[0095]
排序模块，用于对同类图像簇中的素材图像特征点进行连续性验证，确定同类图像簇中素材图像特征序列的起始及结束时间，获得多组连续素材图像特征序列集合；
[0096]
以及，用于对同类音频簇中的素材音频特征点进行连续性验证，确定同类音频簇中素材音频特征序列的起始及结束时间，获得多组连续素材音频特征序列集合；
[0097]
合并模块，根据节目id，对连续素材图像特征序列集合与连续素材音频特征序列集合，求并集或子集。
[0098]
本技术实施例第三方面还提供一种存储介质，所述存储介质存储有计算机程序；所述计算机程序被执行时，实现如本技术实施例第一方面提供的一种基于特征的视音频检索方法的步骤。
[0099]
本技术实施例第三方面还提供一种计算机设备，所述一种计算机设备包括：存储器和处理器；所述存储器，用于存储计算机程序；所述处理器用于执行所述计算机程序时实现本技术实施例第一方面提供的一种基于特征的视音频检索方法的步骤。
[0100]
本技术实施例提供的一种基于特征的视音频检索方法，通过预先建立图像素材库以及预先建立音频素材库，对待检测样本进行索引，例如，可针对广播电视节目广告播出进行精准的监控统计，广播电视播出广告具有不变性特点，基于该方法提取各电视频道的特征构建素材特征库(图像素材库和音频素材库)，然后基于广告样本特征检索，统计广告播出情况，基于特征的毫秒级特点，可对广告进行精准定位及查看。又例如。针对节目转播监测，可将要求转播的频道提取特征，构件素材特征库，然后将转播的节目提取特征在素材库中检索，核查节目是否有正常转播。本技术提供的一种基于特征的视音频检索方法，通过构建的素材特征库，可重复对不同待检测样本进行检索。基于时间连续性判断输出检索结果。
特征id根据节目id和特征时间生成，可快速对检索的媒资进行分组，可精确到毫秒级的精准定位，精确匹配节目中素材出现的位置，且可对素材进行反复追溯检索。
[0101]
以上结合具体实施方式和范例性实例对本技术进行了详细说明，不过这些说明并不能理解为对本技术的限制。本领域技术人员理解，在不偏离本技术精神和范围的情况下，可以对本技术技术方案及其实施方式进行多种等价替换、修饰或改进，这些均落入本技术的范围内。本技术的保护范围以所附权利要求为准。