视频处理方法、设备、可读存储介质及程序产品与流程

1.本公开涉及视频处理技术领域，并且更具体地涉及一种视频处理方法、设备、可读存储介质及程序产品。


背景技术：

2.视频检测技术广泛应用于诸如视频版权保护、原创作品识别、视频查重、视频推荐等应用场景。为了增大视频检测的范围，以保证检测结果的全面性，通常参与匹配的参考视频数据量多达几百万个视频，这将带来巨大的数据计算量。为了提高检测速率，提出有提取视频关键帧或者简化进行匹配的图像特征以减少计算量，但是，这将不可避免的降低检测结果的准确性。因此，有需要提出一种兼顾检测处理效率与检测准确性的视频检测方法。


技术实现要素：

3.为了解决上述问题，本公开提供一种视频处理方法、设备、可读存储介质及程序产品，用于快速、准确地进行视频检测。
4.根据本公开实施例的一个方面，提供了一种视频处理方法。该方法包括：按照第一时间间隔，从待检测视频截取多个待检测视频帧；基于多个待检测视频帧中的每个待检测视频帧的第一级特征，对待检测视频与视频特征库中的参考视频进行第一级特征匹配；在第一级特征匹配的匹配结果指示视频特征库中存在与待检测视频匹配的参考视频的情况下，在视频特征库中确定候选参考视频，并对待检测视频与候选参考视频进行第二级特征匹配，其中，第二级特征匹配的匹配精度高于第一级特征匹配；以及在第二级特征匹配的匹配结果指示至少一个参考视频中存在与待检测视频匹配的参考视频的情况下，将所匹配的参考视频确定为待检测视频的检测命中视频。
5.根据本公开实施例的另一方面，提供了另一种视频处理方法。该方法包括：按照第一时间间隔，从待检测视频截取多个待检测视频帧；基于多个待检测视频帧中的每个待检测视频帧的第一级特征，对待检测视频与参考视频进行第一级特征匹配；在第一级特征匹配的匹配结果指示待检测视频与参考视频匹配的情况下，在多个待检测视频帧中确定至少一个候选待检测视频帧，并基于至少一个候选待检测视频帧的第二级特征，对待检测视频与参考视频进行第二级特征匹配，其中，第二级特征匹配的匹配精度高于第一级特征匹配；以及在第二级特征匹配的匹配结果指示待检测视频与参考视频匹配的情况下，确定参考视频为待检测视频的检测命中视频。
6.根据本公开实施例的另一方面，提供了一种视频处理设备。该视频处理设备包括处理器和存储器。存储器中存储有计算机可读代码，计算机可读代码在由处理器运行时，使得处理器执行根据本公开实施例的视频处理方法。
7.根据本公开实施例的另一方面，提供了一种计算机可读存储介质，其上存储有计算机程序。该计算机程序被处理器执行时实现根据本公开实施例的视频处理方法的步骤。
8.根据本公开实施例的又一方面，提供了一种计算机程序产品，其包括计算机可读
指令。该计算机可读指令在被处理器执行时，使得处理器执行根据本公开实施例的视频处理方法。
9.利用根据本公开上述各个方面的视频处理方法、设备、可读存储介质及程序产品，能够实现在进行视频检测的过程中，首先基于计算速率较高的第一级特征进行特征匹配，以快速地确定潜在的候选检测视频，接着，对于基于第一级特征筛选出的部分候选检测视频进行第二级特征匹配，以准确地确定最终的检测命中视频，其中，第二级特征可以是匹配准确性高于第一级特征的图像特征，以保证最终检测结果的准确性。在根据本公开实施例的检测方案中，通过两级匹配来兼顾视频检测的计算速率以及结果准确性，从而实现高效、准确的相似视频检测，这对于视频检测的实际应用具有重要意义，更有利于应用于例如需要快速进行视频拷贝检测、视频查重、视频检索、视频推荐、原创作品识别等应用领域，促进视频管理业务的发展。
附图说明
10.通过结合附图对本公开实施例进行更详细的描述，本公开实施例的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本公开实施例的进一步理解，并且构成说明书的一部分，与本公开实施例一起用于解释本公开，并不构成对本公开的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
11.图1是根据本公开实施例的视频处理方法的应用场景的示例示意图；
12.图2是根据本公开实施例的视频处理方法的示意性流程图；
13.图3是根据本公开实施例的视频处理方法的另一示意性流程图；
14.图4示出了根据本公开实施例的感知哈希特征的示意图；
15.图5是根据本公开实施例的视频处理方法的另一示意性流程图；
16.图6示出了根据本公开实施例的时序校验的示意图；
17.图7是根据本公开实施例的视频处理方法的另一示意性流程图；
18.图8示出了根据本公开实施例的尺度不变特征变换特征的示意图；
19.图9是根据本公开实施例的视频处理方法的应用流程图；
20.图10是根据本公开实施例的另一视视频处理方法的示意性流程图；
21.图11示出了根据本公开实施例的视频处理装置的示意性框图；
22.图12示出了根据本公开实施例的视频处理设备的示意性框图；
23.图13示出了根据本公开实施例的示例性计算设备的架构的示意图；
24.图14示出了根据本公开实施例的非暂时性计算机可读存储介质的示意图。
具体实施方式
25.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本公开一部分的实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
26.首先，参照图1示意性地描述根据本公开实施例的视频处理方法的示例应用场景。
27.在图1示出的视频处理系统10中，视频处理设备100包括但不限于配置有大数据处
理能力和大容量数据存储能力的服务器装置，诸如内容提供服务器等。用户设备102a
‑
102c包括但不限于笔记本计算机、台式计算机、智能电话、平板电脑等具有数据处理能力的移动终端或者固定终端。通信网络103包括但不限于遵循诸如传输控制协议和互联网协议(tcp/ip)、用户数据报协议(udp)、超文本传输协议(http)和/或文件传输协议(ftp)配置的互联网、iptv网络、无线保真(wi
‑
fi)网络、无线局域网(wlan)、局域网(lan)和/或城域网(man)等。
28.如图1所示，视频处理装置100经由通信网络103与一个或多个设备102a
‑
102c执行数据传输，一个或多个设备102a
‑
102c可以分别对应于在其上注册或登录的用户101a
‑
101c。经由通信网络103，诸如设备102a
‑
102c可以上传或下载视频数据。作为示例，设备102a
‑
102c上可以安装有视频浏览类的应用程序，通过设备上的该应用程序，用户可以浏览其他用户上传的视频、视频内容提供商提供的视频等内容，此外，用户也可以将其自身设备采集、制作的视频传输至互联网上。
29.在本公开的一些实施例中，视频处理设备100为视频内容提供服务器。视频处理设备100响应于来自用户设备102a
‑
102c的请求提供视频内容数据或者主动向用户设备102a
‑
102c推送视频内容数据。在视频处理设备100主动向用户设备102a
‑
102c推送视频内容数据的情况下，视频处理设备100可以对视频数据库内存储的大量视频进行预处理，例如进行视频分类、视频去重等，以向用户设备102a
‑
102c提供高质量的视频推荐服务。作为一个示例，视频处理设备100可以分析与各个用户设备102a
‑
102c的用户101a
‑
101c对应的用户数据的特征信息，并依据该特征信息来有针对性地推荐某些类别的视频内容。作为另一示例，视频处理设备100通过对视频数据库中存储的视频进行视频去重，可以避免向用户提供重复的视频内容，从而提高用户体验。
30.在本公开的另一些实施例中，视频处理设备100为视频内容处理服务器。视频处理设备100可以接收并管理由用户设备102a
‑
102c上传的视频内容。对于接收的海量视频内容，视频处理设备100可以对当前接收的视频数据进行重复检测以确定该视频内容是否属于与现有视频具有较高相似性的视频，例如，是否属于现有视频的拷贝视频。通过此步骤，视频处理设备100实现诸如视频版权保护、原创识别等视频管理功能。
31.以下将以利用图1中示出的处理系统进行视频拷贝检测作为具体示例来对根据本公开实施例的视频处理方法的应用场景进行描述。可以理解的是，根据本公开实施例的视频处理方法的应用场景并不限于视频拷贝检测，其可以适用于基于视频相似度进行的其他应用场景，例如视频查重、视频检索、视频推荐、原创作品识别、版权保护、商标/外观设计识别与检测、视频内容监测、视频传播效果评估、热点事件预测等应用领域，在此不再一一列举。在以上图1示出的视频处理系统中，视频处理设备100需要对待检测视频与诸如视频数据库中的至少一部分现有视频进行视频拷贝检测处理，以确定该待检测视频是否属于该部分现有视频的拷贝视频，以进一步确定是否与现有视频存在重复、抄袭等风险，从而实现视频管理。
32.由于视频数据库中参与匹配的参考视频数据量可以多达几百万个甚至几亿个视频，视频拷贝检测面临巨大的数据处理计算量，使得拷贝检测的处理周期较长，不利于视频拷贝检测的实际应用。为了提高计算速率，提出有基于诸如局部图像特征聚合或者求平均以得到全局视频特征的检测方法，例如应用基于颜色直方图的特征进行视频匹配，然而此
种匹配方法的检测结果的准确性不高，匹配命中率较低。相关技术还提出对视频提取关键帧进行匹配检测以提高检测效率，然而，实际场景中通常很难准确定位视频的关键帧，且不同方法得到的关键帧也不相同，因此使用关键帧进行拷贝检测存在很大的漏检风险。此外，相关技术中的以上或其他拷贝检测算法还存在准确率低的缺陷，即，将不相关的视频错误的判断为拷贝视频。近期还提出有基于深度学习的视频检测方法，然而，此类方法需要预先进行大量的神经网络训练过程，且用于训练的训练数据对该神经网络的检测结果的影响较大，很难保证不同平台的检测结果的一致性和准确性。
33.以上视频检测领域中存在的关于检测速率、检测准确性的问题影响了视频管理业务的进展。
34.本公开提出一种视频处理方法，通过两级特征匹配以保证检测效率与检测准确性，同时提高视频检测的召回率。第一级特征匹配可以采用高效的轻量级特征，以保证整体检测系统的计算效率与召回率，接着，第二级特征匹配可以采用较为复杂的重量级特征，对第一级特征匹配召回的视频进行更精确的特征匹配，以准确确定拷贝视频。可以理解的是，尽管本文描述的方案中采用了两级特征匹配的过程，实际应用中，还可以增加特征匹配的环节，例如，进行多级视频特征匹配。
35.以上结合图1描述的仅是本公开实施例的示例应用场景，根据本公开实施例提供的视频处理方法还可以应用于以上列出的其他应用场景中，在此不作限制。以下，将参照附图2描述根据本公开实施例的视频处理方法的过程，在描述方法的过程中，以视频拷贝检测作为示例。
36.图2是根据本公开实施例的视频处理方法的示意性流程图，如图2所示，在步骤s102，按照第一时间间隔，从待检测视频截取多个待检测视频帧。该待检测视频可以是需要对其进行视频检测的视频，例如，可以是用视频用户新上传的视频，作为视频内容处理服务器的设备需要对其进行检测，以判断其是否属于现有视频的重复视频。在本公开的一些实施例中，采用按照时间间隔提取视频帧的方式来获得该视频的多个图像，作为示例，可以将第一时间间隔设置为1秒，即，每1秒提取一帧图像数据。例如，对于一个时间长度为100秒的待检测视频，通过等间隔截帧可以得到整个视频均匀分布的100帧图像，这100帧图像作为待检测视频的多个待检测视频帧。
37.接着，在步骤s104，基于多个待检测视频帧中的每个待检测视频帧的第一级特征，对待检测视频与视频特征库中的参考视频进行第一级特征匹配。根据本公开实施例，该第一级特征可以是处理速度快、效率高、占用存储空间小的图像相似度特征，也可以表示为轻量级特征。作为一个示例，该第一级特征可以是基于感知哈希算法(perceptual hash algorithm，phash)得到的感知哈希特征。具体的，感知哈希算法是对图像生成特征字符串，通过比较两个图像之间的特征字符串来判断该两个图像是否相似。作为其他示例，该第一级特征可以是均值哈希特征、颜色直方图特征等其他轻量级图像特征，在此不再一一列举。
38.在此步骤s104中，对待检测视频与视频特征库中的参考视频进行第一级特征匹配可以理解为对从待检测视频提取的视频帧的第一级特征与从参考视频提取的视频帧的第一级特征进行比较匹配，以确定该两帧图像是否相似，依据视频帧之间的相似程度来确定是否可能存在具有较高视频相似性的情形。将在下文详细描述关于此步骤的具体实现过程。根据本公开实施例，视频特征库可以是存储参考视频的数据库，例如可以是图1中示出
的视频处理设备100中的视频数据库，其中存储有大量的视频数据作为参考视频，又例如，该视频特征库也可以是存储于云端服务器等设备中，在此不做限制。
39.接着，在步骤s106，在第一级特征匹配的匹配结果指示视频特征库中存在与待检测视频匹配的参考视频的情况下，在视频特征库中确定候选参考视频，并对待检测视频与候选参考视频进行第二级特征匹配。在步骤s104进行的第一级特征匹配过程中，可以在视频特征库中快速地确定潜在的候选参考视频，为了进一步确定候选参考视频的准确性，可以基于第一级特征匹配的结果来进行第二特征匹配。
40.根据本公开的一些实施例，第二级特征匹配的匹配精度高于第一级特征匹配。例如，该第二级特征可以是处理速度低于以上第一级特征但精度更高的图像特征，也可以表示为重量级特征。作为一个示例，该第二级特征可以是尺度不变特征变换(scale
‑
invariant feature transform，sift)特征。sift特征表示图像局部特征，其对旋转、尺度缩放、亮度变化具有不变性，对视角变化、仿射变换、噪声也具有较高的稳定性，此外，sift特征的区分性好，包含的图像特征的信息量丰富，适用于在海量特征数据中进行准确匹配。作为其他示例，该第二级特征可以是加速稳健特征(speeded up robust features，surf)等图像特征，在此不再一一列举。
41.在步骤s108，在第二级特征匹配的匹配结果指示至少一个参考视频中存在与待检测视频匹配的参考视频的情况下，将所匹配的参考视频确定为待检测视频的检测命中视频。相比于第一级特征匹配，第二级特征匹配的结果可以进一步准确地确定检测命中视频。由此，利用根据本公开提供的视频处理方法，通过利用两级视频检测过程，能够在提高图像处理速率的基础上保证视频检测的准确性以及召回率。
42.下面，将参照附图进一步详细描述根据本公开实施例的视频处理方法。
43.图3是根据本公开实施例的视频处理方法的另一示意性流程图，其中具体示出了以上步骤s104的实现过程。
44.为了便于描述，视频特征库可以包括m个参考视频，其中，m为大于1的整数，示意性地，m可以是500万，即，视频特征库中包括有500万个参考视频。
45.根据本公开实施例，对待检测视频与视频特征库中的参考视频进行第一级特征匹配(步骤s104)可以包括步骤s1042和s1044。如图3所示，在步骤s1042，对于m个参考视频中的每个参考视频，按照第一时间间隔，从参考视频截取多个参考视频帧，并提取每个参考视频帧的第一级特征。如上所述，该第一时间间隔可以设置为1秒，由此，对于视频特征库中的每个参考视频，可以按照1秒的间隔提取参考视频帧，并针对每个参考视频帧提取该第一级特征。可以理解的是，此步骤的执行顺序可以先于以上步骤s102进行，即，在对某一待检测视频进行检测之前可以预先完成参考视频的第一级特征提取步骤，并存储于视频特征库中，以在第一级特征匹配过程中使用。
46.如图3所示，在步骤s1044，对于多个待检测视频帧中的每个待检测视频帧，基于第一级特征在视频特征库中进行第一级特征匹配。在此步骤中，例如，对于从长度为100秒的待检测视频中提取的100个待检测视频帧中的每一个，可以分别基于该待检测视频帧的第一级特征与视频特征库中的参考视频的参考视频帧的第一级特征进行匹配，以确定是否存在与该待检测视频帧相似度较高的视频帧。
47.根据本公开实施例，视频特征库还包括针对每个参考视频帧的第一级特征构建的
特征索引。该特征索引可以用于针对待检测视频帧的第一级特征进行特征检索，以确定所述待检索视频帧的邻近参考视频帧，其中，邻近参考视频帧的第一级特征与待检测视频帧的第一级特征之间的特征相似度满足第一阈值。作为示例，该特征索引可以用于确定待检索视频帧的的最多k个邻近参考视频帧，例如，在第一级特征为感知哈希特征的情况下，可以依据特征之间的汉明距离来判断其相似度，即，通过设置汉明距离阈值来作为该第一阈值。
48.作为示例，如果参考视频帧的特征a与待检测视频帧的特征b之间的汉明距离小于第一阈值，则表示该参考视频帧的特征a与该待检测视频帧的特征b之间的特征相似度满足该第一阈值，可以将该参考视频帧确定为该待检测视频帧的邻近参考视频帧。作为另一示例，如果参考视频帧的特征a与待检测视频帧的特征b之间的汉明距离大于或等于该第一阈值，则表示该参考视频帧的特征a与该待检测视频帧的特征b之间的特征相似度不满足该第一阈值，则不能将将该参考视频帧确定为该待检测视频帧的邻近参考视频帧。根据本公开的一些实施例，对于针对每个待检测视频帧的第一级特征，在视频特征库中的参考视频帧的第一级特征进行特征检索的过程中，例如经过特征检索，可能出现在视频特征库中的参考视频帧的第一级特征均不满足该特征相似度的情形，则可以得到第一级特征匹配的匹配结果指示视频特征库中不存在与待检测视频匹配的参考视频的检测结果，即可以确定该视频特征库中不存在该待检测视频的检测命中视频。根据本公开的一些实施例，对于针对每个待检测视频帧的第一级特征，在视频特征库中的参考视频帧的第一级特征进行特征检索的过程中，例如经过特征检索，可能出现在视频特征库中的部分参考视频帧(例如，k个)的第一级特征满足该特征相似度的情形，则可以将该k个参考视频帧确定为该待检测视频帧的k个邻近参考视频帧。对于视频特征库中存在大量参考视频的情形，通过截帧提取到的参考视频帧的数目将更大，为了提升检测效率以快速地对参考视频帧与待检测视频帧进行特征匹配，本公开实施例采用在视频特征库中建立特征索引的方式，通过特征索引来快速确定某一待检测视频帧的邻近视频帧(即，特征相似的视频帧)。
49.作为示例，对于针对参考视频提取到的第一级特征可以采用faiss(facebook ai similarity search)算法来建立特征索引，并存储于视频特征库中。针对高维空间中的海量数据，faiss算法可以提供高效且可靠的检索方案。faiss的核心是索引(index)的概念，用于高效的向量检索，通过该特征索引，可以针对待检测视频帧的第一级特征进行快速检索，以在视频特征库的海量特征中确定与其相近的特征，从而确定与该待检测视频帧相近的参考视频帧。
50.根据本公开实施例，在视频特征库中建立有特征索引的情况下，基于第一级特征在视频特征库中进行第一级特征匹配包括：对于多个待检测视频帧中的每个待检测视频帧，基于待检测视频帧的第一级特征利用特征索引来确定在固定半径r范围内，k个邻近参考视频帧，该固定半径r例如可以是基于以上描述的特征之间的汉明距离来确定的，关于确定邻近参考视频帧的具体步骤将在下文描述。作为示例，在多个待检测视频帧的数目为n的情况下，所确定的邻近参考视频帧的数目为n*k个，n和k为大于1的整数，即，针对每个待检测视频帧分别确定k个邻近参考视频帧。可以理解的是，以上确定的n*k个邻近参考视频帧中可能存在重复的视频帧，例如，对于第m个待检测视频帧，某一参考视频帧c被确定为与其邻近的参考视频帧，而对于第n个待检测视频帧，该参考视频帧c也被确定为与其邻近的参
考视频帧。
51.此外，对于多个待检测视频帧中的每个待检测视频帧，基于该待检测视频帧的第一级特征利用建立的特征索引确定邻近参考视频帧的过程中，如果确定的邻近参考视频帧的数目例如均为0，则可以得出第一级特征匹配的匹配结果指示视频特征库中不存在与待检测视频匹配的参考视频的检测结果。
52.以下将以第一级特征为感知哈希特征为例，来具体描述利用特征索引为待检测视频帧确定邻近参考视频帧的过程。
53.对于一个视频帧，提取其感知哈希特征的过程可以包括：对视频帧进行缩放处理以将该视频帧缩放到预定图像尺寸，并将经过缩放处理的图像变换为灰度图像，其中灰度图像表示为缩放灰度矩阵。例如，可以将视频帧的尺寸缩放到32*32像素尺寸，并且将其转换为单通道灰度图像，由此可以得到32*32大小的缩放灰度矩阵，表示为矩阵a。
54.接着，对于缩放灰度矩阵进行离散余弦变换(discrete cosine transform，dct)以得到离散矩阵，并截取离散矩阵的左上角区域作为特征矩阵。例如，对矩阵a进行离散余弦变换以得到变换后的32*32的离散矩阵，表示为矩阵b。截取上述矩阵b的左上角8*8的区域，得到特征矩阵，表示为矩阵c。dct是种图像压缩算法，其将图像从像素域变换到频率域，一般地，在转换到频率域之后，只有很少一部分频率分量的系数不为0，大部分系数都为0(或者说接近于0)，换句话说，图像的能量几乎都集中在左上角这个地方的低频系数上面。由此，通过对矩阵a进行dct处理并截取矩阵b的特征矩阵c可以获取视频帧的低频成分。
55.最后，基于特征矩阵的像素均值，对特征矩阵进行二值化处理以得到特征向量，其中特征向量作为待检测视频帧的感知哈希特征。例如，可以首先计算矩阵c中所有元素的均值t，接着，将矩阵c的每一个元素的值与均值t进行比较，若大于等于均值t则将该元素值取为1，若小于均值则取为0由此，得到一个8*8的二值化后的特征向量。具体的，图4示出了根据本公开实施例的提取感知哈希特征的示意图，其中，左侧的矩阵表示为二值化后的矩阵，将这个矩阵的元素值按照从上到下、从左到右的顺序串接起来可以得到一个包括64位的特征向量，该特征向量表示该视频帧的感知哈希特征。
56.对于不同视频帧的感知哈希特征，可以依据汉明距离来确定特征之间的相关度，即，依据视频帧的感知哈希特征的汉明距离表示视频帧的相似性，距离值越近，相似性越高。其中，汉明距离是一个概念，其表示两个长度相同的向量对应位不同的数量，例如，以d(x,y)表示两个向量x,y之间的汉明距离。通过对两个向量进行异或运算，并统计结果为1的数目，该数目则表示这两个向量的汉明距离。
57.按照如上方式，可以对待检测视频的每个待检测视频帧确定与其对应的感知哈希特征，该感知哈希特征为图4所示出的二值化特征向量的形式，且包括64个元素值。此外，还可以预先对视频特征库中的参考视频进行处理，以分别提取该感知哈希特征，并利用faiss算法建立特征索引。由此，在进行第一级特征匹配阶段，可以基于感知哈希特征之间的汉明距离来确定一系列的邻近视频帧。
58.根据本公开实施例中，确定k个邻近参考视频帧可以包括：基于待检测视频帧的感知哈希特征利用特征索引来确定k个邻近参考视频帧，其中，k个邻近参考视频帧的感知哈希特征与待检测视频帧的感知哈希特征之间的汉明距离满足预定距离，其中，汉明距离表示特征相似度。作为示例，可以将该预定距离设置为r＝8，在上述特征索引中进行检索，可
以得到该检测视频帧的k个近邻，例如，可以将k设置为等于128。此外，对于满足预定距离r＝8的视频帧，存在检索到多于128个视频帧的情形，在此种情形下，可以按照汉明距离来确定最接近的128个邻近视频帧。此外，对于每个待检测视频帧，经过特征检索，可能预定距离满足r＝8的参考视频帧的数目小于k个，则可以得到第一级特征匹配的匹配结果指示视频特征库中不存在与待检测视频匹配的参考视频的检测结果，在此情形下，不再进行第二级特征匹配，可以确定该视频特征库中不存在该待检测视频的检测命中视频。
59.以上以感知哈希特征描述了第一级特征匹配的过程。通过此步骤s104，可以从视频特征库中筛选出可能相似的参考视频，例如基于第一级特征匹配的结果，可以确定候选参考视频以用于进一步地第二级特征匹配过程。可以理解的是，以上确定的候选参考视频的数目将远远小于视频特征库中包括的参考视频的数目，由此，通过第一级特征匹配对大量的参考视频进行初步筛选，缩小重量级特征匹配的匹配范围，提高视频检测的处理速率。
60.下面将描述根据本公开实施例的确定候选参考视频以及进行第二级特征匹配的过程。
61.图5是根据本公开实施例的视频处理方法的另一示意性流程图，如图5所示，在视频特征库中确定候选参考视频可以包括步骤s1062和s1064。首先，在步骤s1062，对与n*k个邻近参考视频帧对应的参考视频进行标记，并依据各参考视频被标记的次数来确定l个参考视频，其中，l为大于等于1的整数。例如，在通过特征索引检索到n*k个邻近参考视频帧之后，可以分别确定该邻近参考视频帧所属于的参考视频，并对该参考视频进行一次标记。然后，按照各参考视频被标记的次数由高到低进行排序，选取标记次数最多的l个参考视频，作为示例，可以将l设置为等于3。即，通过对n*k个邻近参考视频帧对应的参考视频进行标记来确定3个参考视频。
62.为了进一步保证进行第二级特征匹配的候选参考视频的准确性，还可以进行步骤s1064，以时序校验的方式来确定得到的3个参考视频是否合适。具体的，在步骤s1064，基于多个待检测视频帧的时序以及l个参考视频中各参考视频所包括的邻近参考视频帧的时序，在l个参考视频中确定候选参考视频。
63.下面将描述通过时序校验来确定候选参考视频的过程。
64.根据本公开实施例，对于l个参考视频中的每个参考视频进行以下处理：对参考视频中属于邻近参考视频帧的匹配帧对进行时序校验以去除不符合时序关系的匹配帧对。其中，匹配帧对包括待检测视频中的一个待检测视频帧和参考视频中与其匹配的参考视频帧。如上所述，对于确定的n*k个邻近参考视频帧，将存在与其对应的待检测视频帧。换句话说，利用特征索引，一个待检测视频帧可以检索到128个邻近参考视频帧，由此形成128个匹配帧对，在这128个邻近参考视频帧中，其可能属于一个或多个参考视频。
65.在待检测视频帧为100个的情况下，将可以得到k’＝128*100个匹配帧对。在这k’个匹配帧对中，基于该匹配帧对内的参考视频帧，可以确定该匹配帧对所属于的参考视频。由此，对于l个参考视频中的一个参考视频，可以确定由来自其的参考视频帧组成的匹配帧对。假设对于参考视频v，其中有50个参考视频帧作为邻近参考视频帧与待检测视频帧组成了50个匹配帧对。对于这50个匹配帧对可以进行时序校验，时序校验可以理解为校验以上50个匹配帧对的时序是否符合逻辑。通常情况下，由于用于检测的视频帧是从视频中按照相等的时间间隔提取的，由此，在待检测视频与参考视频为拷贝或部分重复的视频的情况
下，匹配上的匹配帧对的时序也将是对应的。
66.图6示出了根据本公开实施例的时序校验的示意图，对于l个参考视频中的其中一个参考视频，例如，可以匹配到50个匹配帧对，每个匹配帧对中的待检测视频帧以及参考视频帧可以确定其在视频中所对应的时间点。如图6所示，上面的横线601表示参考视频时序，下面的横线602表示待检测视频的时序，基于匹配帧对中的待检测视频帧以及参考视频帧的时间点可以确定601与602之间的连线，其中，一个连线表示一个匹配帧对。图6左侧示意性地示出了4条以虚线示出的不符合时序关系的4个匹配帧对，即，这4个匹配帧对的时序与其余由实线示出的匹配帧对的时序规则不一致，这表示，该4个匹配帧对可能存在错误匹配的情形，图6右侧示出了通过时序校验去除掉不符合时序关系的4个匹配帧对的示意图，在此情形下，例如是剩余50
‑
4＝46个符合时序关系的匹配帧对。
67.作为示例，为了从参考视频的多个匹配帧对中去除不符合时序关系的误匹配帧对，可以采用随机抽样一致(random sample consensus，ransac)算法。ransac算法的输入是一组观测数据，其中包括少量的局外点以大量局内点。ransac可以从这组观测数据中，通过迭代方式估计数学模型的参数，并由此剔除这些局外点。例如以上50个匹配帧对可以作为一组观测数据，利用ransac算法可以确定其中不符合时序关系的误匹配帧对。
68.接着，在进行上述时序校验的步骤之后，可以确定通过时序校验的候选匹配帧对的数目，作为示例，以上通过时序校验的46个匹配帧对可以作为候选匹配帧对，在候选匹配帧对的数目大于预定数目的情况下，将参考视频确定为候选参考视频。例如，该预定数目可以设置为等于30。由此，该具有46个候选匹配帧对的参考视频可以被确定为候选参考视频。类似地，对于以上确定的l个参考视频，可以分别进行时序校验，并确定其中的候选匹配帧对的数目是否大于30，如果大于30则被确定为候选参考视频以用于第二级视频特征匹配。
69.作为一些示例，存在l个参考视频中每个参考视频的候选匹配帧对的数目均不大于该预定数目的情形，在这种情况下，可以结束针对此待检测视频的视频检测过程，得出不存在检测命中视频(表示为未命中)的结果而不进行第二级特征匹配过程，即，视频特征库中不存在与该待检测视频的具有较高相似度的参考视频。
70.作为另一些示例，l个参考视频中存在候选匹配帧对的数目大于该预定数目的参考视频，针对该候选参考视频，可以进行第二级特征匹配的过程。
71.图7是根据本公开实施例的视频处理方法的另一示意性流程图，其中示出了对待检测视频与候选参考视频进行第二级特征匹配包括步骤s1066和s1068。首先，在步骤s1066，对于该基于第一级特征匹配结果确定的候选参考视频，在通过时序校验的候选匹配帧对的数目为r的情况下，从r个候选匹配帧对中等间隔的确定p个候选匹配帧对。在以上示例中，r＝46，在这46对匹配帧对中，为了减少第二级特征匹配的计算量，可以等间隔的进一步确定p个候选匹配帧对，以用于第二级特征匹配。接着，在步骤s1068，针对确定的p个候选匹配帧对进行第二级特征匹配，其中，r和p为大于1的整数。
72.根据本公开实施例，第二级特征可是尺度不变特征变换特征(sift)。如上文描述的，sift特征表示图像局部特征，其对旋转、尺度缩放、亮度变化具有不变性，对视角变化、仿射变换、噪声也具有较高的稳定性。图8示出了根据本公开实施例的尺度不变特征变换特征的示意图，参考图8左侧，对于左侧示出的匹配帧对，可以按照诸如每5个确定一个候选匹配帧对的方式来确定p个候选匹配帧对。作为示例，在r＝46个候选匹配帧对的情况下，每5
个匹配帧对选取1一个，即可获得p＝10个候选匹配帧对，对于这10个候选匹配帧对中的参考视频帧和待检测视频帧分别提取sift特征，并进行特征匹配，图8右侧示出了其中一个待检测视频帧801与一个参考视频帧802之间进行sift特征匹配的结果。
73.进一步地，在p个候选匹配帧对中通过基于该sift特征进行的第二级特征匹配的候选匹配帧对的数目满足第二阈值的情况下，第二级特征匹配的匹配结果指示候选参考视频与待检测视频匹配。例如，可以将该第二阈值设置为p/2。即，在p个候选匹配帧对中有一半以上的匹配帧对通过第二级特征匹配的情况下，可以将该参考视频确定为待检测视频的检测命中视频，并得到命中的视频检测结果。
74.图9是根据本公开实施例的视频处理方法的应用流程图，以下将结合图9来描述根据本公开实施例的视频处理方法的整体流程。
75.如图9所示，对于视频特征库，对其中每个参考视频，首先做截帧处理，得到多个参考视频帧，然后对截取到的每一参考视频帧，提取第一级特征，例如是感知哈希特征，对所有提取到的大量的第一级特征，可以利用faiss算法建立特征索引，并存入视频特征库。上述对参考视频进行截帧处理、提取第一级特征、建立特征索引的过程可以离线完成。此外，在进行视频检测之前完成以上步骤可以减少视频检测的检测周期。给定一个待检测视频，类似地对其进行截帧处理，然后对截取到的每个待检测视频帧，提取第一级特征。基于该待检测视频帧的第一级特征可以在上述视频特征库中进行特征检索以确定是否存在候选参考视频。可以将此部分第一级特征匹配的过程901表示为轻量级特征匹配过程。如果第一级特征匹配指示未命中任何参考视频，则可以结束此待检测视频的检测过程，并且检测结果为未命中。
76.否则，将基于确定的候选参考视频进行第二级特征匹配过程。例如，针对以上确定的p个候选匹配帧对进一步提取第二级特征，以做进一步地验证，例如，第二级特征为sift特征。可以将此部分第二级特征匹配的过程902表示为重量级特征匹配过程，并基于此过程来确定最终的检测命中视频。
77.利用根据本公开上述各个方面的视频处理方法，能够实现在进行视频检测的过程中，首先基于计算速率较高的第一级特征进行特征匹配，以快速地确定潜在的候选检测视频，接着，对于基于第一级特征筛选出的部分候选检测视频进行第二级特征匹配，以准确地确定最终的检测命中视频，其中，第二级特征可以是匹配准确性高于第一级特征的图像特征，以保证最终检测结果的准确性。在根据本公开实施例的检测方案中，通过两级匹配来兼顾视频检测的计算速率以及结果准确性，从而实现高效、准确的相似视频检测，这对于视频检测的实际应用具有重要意义，更有利于应用于例如需要快速进行视频拷贝检测、视频查重、视频检索、视频推荐、原创作品识别、商标/外观设计识别检测等各类应用领域，促进视频管理业务的发展。
78.以上结合图2
‑
9描述了根据本公开一些实施例进行视频处理方法的实现过程，其中，由视频特征库中的大量参考视频与待检测视频进行匹配以确定其中是否存在检测命中视频。
79.根据本公开的一些其他实施例，存在一个参考视频与待检测视频进行匹配与确定该参考视频是否是该待检测视频的检测命中视频的应用场景。
80.图10是根据本公开实施例的另一视频处理方法的示意性流程图，如图10所示，首
先在步骤s202，按照第一时间间隔，从待检测视频截取多个待检测视频帧；在步骤s204，基于多个待检测视频帧中的每个待检测视频帧的第一级特征，对待检测视频与参考视频进行第一级特征匹配；在步骤s206，在第一级特征匹配的匹配结果指示待检测视频与参考视频匹配的情况下，在多个待检测视频帧中确定至少一个候选待检测视频帧，并基于至少一个候选待检测视频帧的第二级特征，对待检测视频与参考视频进行第二级特征匹配，其中，第二级特征匹配的匹配精度高于第一级特征匹配；以及，在步骤s208，在第二级特征匹配的匹配结果指示待检测视频与参考视频匹配的情况下，确定参考视频为待检测视频的检测命中视频。
81.可以理解的是，以上图10中示出的视频处理方法与以上结合图2描述的视频处理方法相比，仅是参考视频的个数不同，进行两级视频特征检测以确定是否为检测命中视频的过程可以参照上文的描述，在此不再重复。
82.根据本公开实施例，第一级特征为感知哈希特征，该方法还包括：对于多个待检测视频帧中的每个待检测视频帧，提取待检测视频帧的感知哈希特征。根据本公开实施例，提取待检测视频帧的感知哈希特征包括：对待检测视频帧进行缩放处理以将待检测视频帧缩放到预定图像尺寸，并将经过缩放处理的图像变换为灰度图像，其中灰度图像表示为缩放灰度矩阵；对缩放灰度矩阵进行离散余弦变换以得到离散矩阵，并截取离散矩阵的左上角区域作为特征矩阵；以及基于特征矩阵的像素均值，对特征矩阵进行二值化处理以得到特征向量，其中特征向量作为待检测视频帧的感知哈希特征。以上提取哈希特征的过程可以上文参考图4进行的描述。
83.根据本公开实施例，以上步骤s204可以包括：按照第一时间间隔，从参考视频截取多个参考视频帧；对于多个参考视频帧中的每个参考视频帧，提取参考视频帧的感知哈希特征；以及对于每个待检测视频帧，基于待检测视频帧的第一级特征与每个参考视频帧的感知哈希特征之间的汉明距离，进行第一级特征匹配。
84.根据本公开实施例，对于每个待检测视频帧，在待检测视频帧的感知哈希特征与参考视频帧的感知哈希特征之间的汉明距离小于第三阈值的情况下，第一级特征匹配的匹配结果指示待检测视频与参考视频匹配。作为示例，在第一级特征匹配指示待检测视频与参考视频匹配的情况下，例如存在待检测视频帧的感知哈希特征与参考视频帧的感知哈希特征之间的汉明距离小于预先设置的第三阈值，则第一级特征匹配的匹配结果包括至少一个匹配帧对，至少一个匹配帧对中的每个匹配帧对包括待检测视频中的一个待检测视频帧和参考视频中与其匹配的参考视频帧。作为另一示例，在第一级特征匹配的匹配结果指示待检测视频与参考视频不匹配的情况下，例如对于每个待检测视频帧，均不存在待检测视频帧的感知哈希特征与参考视频帧的感知哈希特征之间的汉明距离小于该预先设置的第三阈值，在这种情况下，则不再进行后续的第二级特征匹配的步骤，直接得出该参考视频不是该待检测视频的检测命中视频的检测结果。
85.根据本公开实施例，在第一级特征匹配指示待检测视频与参考视频匹配的情况下，第一级特征匹配的匹配结果包括至少一个匹配帧对，至少一个匹配帧对中的每个匹配帧对包括待检测视频中的一个待检测视频帧和参考视频中与其匹配的参考视频帧；其中，确定至少一个候选待检测视频帧包括：将在第一级特征匹配中的匹配结果中的至少一个匹配帧对中的至少一部分匹配帧对确定为至少一个候选匹配帧对。
86.根据本公开实施例，对于每个候选匹配帧对，将候选匹配帧对中的待检测视频帧作为候选待检测视频帧，并将候选匹配帧对中的参考视频帧作为候选参考视频帧，并且第二级特征为尺度不变特征变换特征，进行第二级特征匹配包括：对于每个候选匹配帧对，分别提取候选待检测视频帧以及候选参考视频帧的尺度不变特征变换特征；基于提取的尺度不变特征变换特征，进行第二级特征匹配。
87.根据本公开实施例，在第一级特征匹配的匹配结果指示待检测视频与参考视频匹配的情况下，将在第一级特征匹配中的匹配结果中的至少一个匹配帧对中的至少一部分匹配帧对确定为至少一个候选匹配帧对包括：对至少一个匹配帧对进行时序校验以确定不符合时序关系的误匹配帧对；将至少一个匹配帧对中除误匹配帧对之外的匹配帧对确定为至少一个候选匹配帧对。
88.按照以上过程，可以实现参考视频与待检测视频之间的两级特征匹配，并基于匹配结果来确定该参考视频是否是待检测视频的检测命中视频。在两级特征匹配的过程中，首先基于轻量级特征(例如，感知哈希特征)确定出候选待检测视频帧，然后对确定的候选待检测视频帧进一步进行重量级特征(例如，sift特征)的匹配过程。以上进行两级特征匹配的过程相比于仅进行轻量级特征匹配的方案准确性更高，而相比于仅进行重量级特征匹配的方案处理速率更高，更有利于进行快速、准确的视频检测，从而适用于诸如视频版权保护、原创识别、视频查重、视频推荐等视频管理应用。
89.根据本公开的另一方面，还提供了一种视频处理装置，图11示出了根据本公开实施例的视频处理装置的示意性框图，如图11所示，视频处理装置1000可以包括视频截取单元1010、第一级特征匹配单元1020、第二级特征匹配单元1030以及确定单元1040。
90.根据本公开的一些实施例，视频截取单元1010可以配置成按照第一时间间隔，从待检测视频截取多个待检测视频帧；第一级特征匹配单元1020可以配置成基于多个待检测视频帧中的每个待检测视频帧的第一级特征，以及对待检测视频与视频特征库中的参考视频进行第一级特征匹配；第二级特征匹配单元1030可以配置成：在第一级特征匹配的匹配结果指示视频特征库中存在与待检测视频匹配的参考视频的情况下，在视频特征库中确定候选参考视频，并对待检测视频与候选参考视频进行第二级特征匹配；确定单元1040可以配置成：在第二级特征匹配的匹配结果指示至少一个参考视频中存在与待检测视频匹配的参考视频的情况下，将所匹配的参考视频确定为待检测视频的检测命中视频。根据本公开的一些实施例，第二级特征匹配的匹配精度高于第一级特征匹配。
91.根据本公开的一些实施例，该视频特征库包括m个参考视频，m为大于1的整数。例如，该视频特征库可以是图9中示出的数据库，其中存储有大量的参考视频，以用于进行特征匹配。
92.根据本公开的一些实施例，第一级特征匹配单元1020配置成对于m个参考视频中的每个参考视频，按照第一时间间隔，从参考视频截取多个参考视频帧，并提取每个参考视频帧的第一级特征；以及对于多个待检测视频帧中的每个待检测视频帧，基于第一级特征在视频特征库中进行第一级特征匹配。
93.根据本公开的一些实施例，视频特征库还可以包括针对每个参考视频帧的第一级特征构建的特征索引，其中，特征索引用于针对待检测视频帧的第一级特征进行特征检索，以确定待检索视频帧的至少一个邻近参考视频帧，其中，至少一个邻近参考视频帧的第一
级特征与待检测视频帧的第一级特征之间的特征相似度满足第一阈值。
94.根据本公开的一些实施例，第一级特征匹配单元1020可以配置成：对于多个待检测视频帧中的每个待检测视频帧，基于待检测视频帧的第一级特征利用特征索引来确定k个邻近参考视频帧，其中，在多个待检测视频帧的数目为n的情况下，所确定的邻近参考视频帧的数目为n*k个，n和k为大于1的整数。
95.根据本公开的一些实施例，第一级特征为感知哈希特征，第一级特征匹配单元1020配置成：基于待检测视频帧的感知哈希特征利用特征索引来确定k个邻近参考视频帧，其中，k个邻近参考视频帧的感知哈希特征与待检测视频帧的感知哈希特征之间的汉明距离满足预定距离，其中，汉明距离表示特征相似度。关于提取感知哈希特征的过程可以参考上文结合图4所进行的描述，在此不再重复。
96.根据本公开的一些实施例，为了在视频特征库中确定候选参考视频，第二级特征匹配单元1030可以配置成：对与n*k个邻近参考视频帧对应的参考视频进行标记，并依据各参考视频被标记的次数来确定l个参考视频，其中，l为大于等于1的整数；以及基于多个待检测视频帧的时序以及l个参考视频中各参考视频所包括的邻近参考视频帧的时序，在l个参考视频中确定候选参考视频。
97.根据本公开的一些实施例，为了在l个参考视频中确定候选参考视频，第二级特征匹配单元1030配置成：对于l个参考视频中的每个参考视频进行以下过程：对参考视频中属于邻近参考视频帧的匹配帧对进行时序校验以去除不符合时序关系的匹配帧对，其中，匹配帧对包括待检测视频中的一个待检测视频帧和参考视频中与其匹配的参考视频帧；确定通过时序校验的候选匹配帧对的数目；以及在候选匹配帧对的数目大于预定数目的情况下，将参考视频确定为候选参考视频。
98.根据本公开的一些实施例，为了对待检测视频与候选参考视频进行第二级特征匹配，第二级特征匹配单元1030可以配置成：对于候选参考视频，在通过时序校验的候选匹配帧对的数目为r的情况下，从r个候选匹配帧对中等间隔的确定p个候选匹配帧对；以及针对p个候选匹配帧对进行第二级特征匹配，其中，r和p为大于1的整数。
99.根据本公开的一些实施例，第二级特征为尺度不变特征变换特征，在p个候选匹配帧对中通过基于尺度不变特征变换特征进行的第二级特征匹配的候选匹配帧对的数目满足第二阈值的情况下，第二级特征匹配的匹配结果指示候选参考视频与待检测视频匹配。关于提取尺度不变特征变换特征以及基于提取的尺度不变特征变换特征进行第二级特征匹配的过程可以参考上文结合图8所进行的描述，在此不再重复。
100.根据本公开的一些实施例，第一级特征匹配单元1020还配置成：在针对l个参考视频中的每个参考视频确定的候选匹配帧对的数目均小于或等于预定数目的情况下，确定不存在候选参考视频；以及响应于确定不存在候选参考视频，确定视频特征库中不存在待检测视频的检测命中视频的检测结果而不进行第二级特征匹配。
101.可以理解的是，根据本公开实施例提供的视频处理装置可以利用其中包括的上述单元来实现根据本公开实施例提供的视频处理方法的过程，其具体内容不再重复。视频处理装置进行的过程以及实现技术效果参照上文结合附图的描述将显而易见。
102.此外，本公开中的术语“单元”或“模块”表示存储在硬件、固件中的逻辑或一组软件指令。这里所指的“单元”能够通过软件和/或硬件模块执行，或被存储于任何一种计算机
可读的非临时媒介或其他存储设备中。在一些实施例中，一个软件模块可以被编译并连接到一个可执行的程序中。显然，这里的软件模块可以对自身或其他模块传递的信息做出回应，并且/或者可以在检测到某些事件或中断时做出回应。可以在一个计算机可读媒介上提供软件模块，该软件模块可以被设置为在计算设备上(例如，处理器)执行操作。这里的计算机可读媒介可以是光盘、数字光盘、闪存盘、磁盘或任何其他种类的有形媒介。也可以通过数字下载的模式获取软件模块(这里的数字下载也包括存储在压缩包或安装包内的数据，在执行之前需要经过解压或解码操作)。这里的软件模块的代码可以被部分的或全部的储存在执行操作的计算设备的存储设备中，并应用在计算设备的操作之中。软件指令可以被植入在固件中，例如可擦可编程只读存储器(eprom)。显然，硬件单元可以包含连接在一起的逻辑单元，例如门、触发器，以及/或包含可编程的单元，例如可编程的门阵列或处理器。这里所述的单元或计算设备的功能优选的作为软件单元实施，但是也可以被表示在硬件或固件中。一般情况下，这里所说的单元是逻辑单元，不受其具体的物理形态或存储器的限制。一个单元能够与其他的单元组合在一起，或被分隔成为一系列子单元。
103.根据本公开的又一方面，还提供了一种视频处理设备。图12示出了根据本公开实施例的视频处理设备的示意性框图；
104.如图12所示，视频处理设备2000可以包括处理器2010以及存储器2020。根据本公开实施例，存储器2020中存储有计算机可读代码，该计算机可读代码当由处理器2010运行时，执行如上所述的视频处理方法。
105.处理器2010可以根据存储在存储器2020中的程序执行各种动作和处理。具体地，处理器2010可以是一种集成电路芯片，具有信号的处理能力。上述处理器可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中公开的各种方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，可以是x86架构或者是arm架构等。
106.存储器2020存储有计算机可执行指令代码，该指令代码在被处理器2010执行时用于实现根据本公开一些实施例的视频处理方法。存储器2020可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(rom)、可编程只读存储器(prom)、可擦除可编程只读存储器(eprom)、电可擦除可编程只读存储器(eeprom)或闪存。易失性存储器可以是随机存取存储器(ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)、双倍数据速率同步动态随机存取存储器(ddrsdram)、增强型同步动态随机存取存储器(esdram)、同步连接动态随机存取存储器(sldram)和直接内存总线随机存取存储器(dr ram)。应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
107.作为示例，根据本公开实施例的方法或装置可以借助于图13所示的计算设备3000的架构来实现。如图13所示，计算设备3000可以包括总线3010、一个或多个cpu 3020、只读存储器(rom)3030、随机存取存储器(ram)3040、连接到网络的通信端口3050、输入/输出组件3060、硬盘3070等。计算设备3000中的存储设备，例如rom 3030或硬盘3070可以存储本公开提供的视频处理方法的处理和/或通信使用的各种数据或文件以及cpu所执行的程序指
令。计算设备3000还可以包括用户界面3080。当然，图13所示的架构只是示例性的，在实现不同的设备时，根据实际需要，可以省略图13示出的计算设备中的一个或多个组件。作为示例，上述计算设备3000可以实现为安装有视频浏览类应用程序的终端设备或者是图1中示出的用于提供视频内容的视频处理设备100，在此不作限制。
108.根据本公开的又一方面，还提供了一种计算机可读存储介质，例如，具体为非暂时性计算机可读存储介质。图14示出了根据本公开实施例的非暂时性计算机可读存储介质的示意图。
109.如图14所示，计算机可读存储介质4020上存储有指令，指令例如是计算机可读指令4010。当计算机可读指令4010由处理器运行时，可以执行参照以上附图描述的视频处理方法。计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、闪存等。例如，计算机可读存储介质4020可以连接于诸如计算机等的计算设备，接着，在计算设备运行计算机可读存储介质4020上存储的计算机可读指令4010的情况下，可以进行如上所述的视频处理方法。
110.根据本公开的又一方面，还提供了一种计算机程序产品或计算机程序，该计算机程序产品或者计算机程序包括计算机可读指令，该计算机可读指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机可读指令，处理器执行该计算机可读指令，使得该计算机设备执行上述各个实施例中描述的视频处理方法。
111.利用根据本公开上述各个方面的视频处理方法、设备、可读存储介质及程序产品，能够实现在进行视频检测的过程中，首先基于计算速率较高的第一级特征进行特征匹配，以快速地确定潜在的候选检测视频，接着，对于基于第一级特征筛选出的部分候选检测视频进行第二级特征匹配，以准确地确定最终的检测命中视频，其中，第二级特征可以是匹配准确性高于第一级特征的图像特征，以保证最终检测结果的准确性。在根据本公开实施例的检测方案中，通过两级匹配来兼顾视频检测的计算速率以及结果准确性，从而实现高效、准确的相似视频检测，这对于视频检测的实际应用具有重要意义，更有利于应用于例如需要快速进行视频处理的应用领域(诸如视频版权保护、原创识别、视频查重、视频推荐、视频检索等)，促进视频管理业务的发展。
112.本领域技术人员能够理解，本公开所披露的内容可以出现多种变型和改进。例如，以上所描述的各种设备或组件可以通过硬件实现，也可以通过软件、固件、或者三者中的一些或全部的组合实现。
113.此外，虽然本公开对根据本公开的实施例的系统中的某些单元做出了各种引用，然而，任何数量的不同单元可以被使用并运行在客户端和/或服务器上。单元仅是说明性的，并且系统和方法的不同方面可以使用不同单元。
114.本公开中使用了流程图用来说明根据本公开的实施例的方法的步骤。应当理解的是，前面或后面的步骤不一定按照顺序来精确的进行。相反，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中。
115.本领域普通技术人员可以理解上述方法中的全部或部分的步骤可通过计算机程序来指令相关硬件完成，程序可以存储于计算机可读存储介质中，如只读存储器、磁盘或光盘等。可选地，上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现。相应
地，上述实施例中的各模块/单元可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。本公开并不限制于任何特定形式的硬件和软件的结合。
116.除非另有定义，这里使用的所有术语具有与本公开所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
117.以上是对本公开的说明，而不应被认为是对其的限制。尽管描述了本公开的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本公开的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本公开范围内。应当理解，上面是对本公开的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本公开由权利要求书及其等效物限定。