场景切换检测方法及装置、计算机可读存储介质、终端与流程

1.本发明涉及视频处理技术领域，尤其涉及一种场景切换检测方法及装置、计算机可读存储介质、终端。


背景技术：

2.在现有技术中，场景切换检测技术用于检测一段视频帧中发生场景变换的帧并确定该帧的位置，属于计算机视觉中重要任务。
3.然而，在现有的一种传统的场景切换检测方法中，可以基于灰度图或基于边缘轮廓或基于运动进行场景切换检测，但是上述方法需要人为设定特征，受到用户的经验限制，且数据量较大时性能不达标。
4.在现有的另一种场景切换检测方法中，可以基于深度学习的方法进行场景切换检测，然而，上述方法需要特定的数据集，并且计算效率较低。
5.亟需一种场景切换检测方法，能够降低运算复杂度，提高检测效率。


技术实现要素：

6.本发明解决的技术问题是提供一种场景切换检测方法及装置、计算机可读存储介质、终端，降低运算复杂度，提高检测效率。
7.为解决上述技术问题，本技术提供了以下技术方案：
8.第一方面，提供了一种场景切换检测方法，所述方法包括：在待检测视频中提取多帧视频帧；在各帧视频帧中提取前景目标图像块以及背景图像块，其中，前景目标图像块用于指示一个或多个前景目标所占的区域，背景图像块为在视频帧中去除各个前景目标图像块后的剩余区域；逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，以及计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数；基于前景相似性分数以及背景相似性分数得到相似性融合分数；对所述相似性融合分数与预设分数进行比较；如果相似性融合分数大于等于预设分数，则对后一视频帧的相似性融合分数与所述预设分数进行比较，直至相似性融合分数小于预设分数时，判断为场景切换后的视频帧。
9.可选的，逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数包括：选取位于当前帧之前的至少一部分视频帧，记为比较帧；逐个选取当前帧的前景目标图像块，确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块；如果存在，则确定每个有效映射图像块与该前景目标图像块之间的图像块相似度；基于每个有效映射图像块的图像块相似度，确定当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
10.可选的，选取位于当前帧之前的至少一部分视频帧包括：在前一次场景切换后的视频帧中，选取部分或全部视频帧。
11.可选的，确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块包
括：确定当前帧的前景目标图像块的中心位置在每个比较帧中的映射位置；确定每个比较帧中与映射位置之间的距离小于预设距离的前景目标图像块，作为该比较帧中的有效映射图像块。
12.可选的，预设距离根据比较帧与当前帧的时间差值以及预设距离阈值确定；其中，所述预设距离阈值为预先采用第一速度，在单帧时长内移动所述前景目标后得到的距离差值，所述第一速度小于预设移动速度。
13.可选的，采用下述公式，确定所述预设距离阈值：
14.r＝(n-q)
×
thf15.其中，r用于表示预设距离阈值，n用于表示当前帧tn的帧序号，q用于表示比较帧tq的帧序号，thf用于表示预设距离阈值。
16.可选的，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度包括：分别提取所述有效映射图像块以及所述前景目标图像块的特征向量；确定所述有效映射图像块以及所述前景目标图像块的特征向量的乘积，以及所述有效映射图像块以及所述前景目标图像块的特征向量的模长乘积；根据所述乘积与所述模长乘积之间的商值，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度。
17.可选的，采用下述公式，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度：
[0018][0019]
其中，s
intra
用于表示图像块相似度，用于表示当前帧tn的第i个前景目标图像块fi的特征向量，用于表示第tq帧比较帧中的第k个有效映射图像块fk的特征向量，用于表示前景目标图像块fi与有效映射图像块fk的特征向量之间的模长乘积，l用于表示第tq帧比较帧中的有效映射图像块的数量，1≤k≤l。
[0020]
可选的，基于每个有效映射图像块的图像块相似度，确定当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数包括：对各个比较帧中的各个有效映射图像块的图像块相似度进行求和平均运算，以得到当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
[0021]
可选的，采用下述公式，确定当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数：
[0022][0023]
其中，sf用于表示前景相似性分数，用于表示图像块相似度，用于表示当前帧tn的第i个前景目标图像块fi的特征向量，用于表示第tq帧比较帧中的第k个有效映射图像块fk的特征向量，q用于表示之前的至少一部分视频帧的数量，且1≤q≤q＜n-1，m用于表示当前帧tn的前景目标图像块fi的数量，且1≤i≤m。
[0024]
可选的，计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数包括：在前一次场景切换后的视频帧中，选取部分或全部视频帧；自选取的首帧视频帧至当前帧，逐帧计算每一帧视频帧与前一帧视频帧之间的背景图像块的平均灰度值的差值；确定各个差值的绝对值的平均值，作为当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数。
[0025]
可选的，当前帧tn的帧序号为n，之前的至少一部分视频帧的数量为n-1；采用下述公式，确定当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数：
[0026][0027]
d(h)＝|h(th)-h(t
h-1
)|
[0028]
其中，sb用于表示背景相似性分数，h(th)用于表示第th帧视频帧的平均灰度值，h(t
h-1
)用于表示第t
h-1
帧视频帧的平均灰度值，d(h)用于表示第h个平均灰度值的差值的绝对值，且2≤h≤n。
[0029]
可选的，采用加权平均运算，基于前景相似性分数以及背景相似性分数得到相似性融合分数；其中，第一权重小于第二权重。
[0030]
可选的，在各帧视频帧中提取前景目标图像块以及背景图像块时，构建前景序列以及背景序列；每当确定场景切换时，清空前景序列中的前景目标图像块，以及清空背景序列中的背景图像块，并以场景切换后的视频帧的前景目标图像块作为重置的前景序列中的第一批前景目标图像块，以及以场景切换后的视频帧的背景图像块作为重置的背景序列中的第一批背景图像块。
[0031]
可选的，在各帧视频帧中提取前景目标图像块以及背景图像块包括：采用目标检测网络，在各帧视频帧中提取前景目标图像块；在每帧视频帧中去除所述前景目标图像块，以得到的剩余区域作为背景图像块。
[0032]
第二方面，提供了一种场景切换检测装置，包括：视频帧提取模块，用于在待检测视频中提取多帧视频帧；图像块提取模块，用于在各帧视频帧中提取前景目标图像块以及背景图像块，其中，前景目标图像块用于指示一个或多个前景目标所占的区域，背景图像块为在视频帧中去除各个前景目标图像块后的剩余区域；计算模块，用于逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，以及计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数；融合模块，用于基于前景相似性分数以及背景相似性分数得到相似性融合分数；比较模块，用于对所述相似性融合分数与预设分数进行比较；场景切换判断模块，用于当相似性融合分数大于等于预设分数时，对后一视频帧的相似性融合分数与所述预设分数进行比较，直至相似性融合分数小于预设分数时，判断为场景切换后的视频帧。
[0033]
第三方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，使得第一方面提供的任一种的场景切换检测方法被执行。
[0034]
第四方面，提供了一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行第一方面提供的任一种场景切换检测方法。
[0035]
第五方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行第一方面提供的任一种场景切换检测方法。
[0036]
第六方面，提供了一种芯片，该芯片上存储有计算机程序，在计算机程序被芯片执行时，使得第一方面提供的任一种场景切换检测方法被执行。
[0037]
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
[0038]
在本发明实施例中，通过在各帧视频帧中提取前景目标图像块以及背景图像块，然后分别计算前景相似性分数、背景相似性分数，再将二者融合，并根据相似性融合分数与预设分数的比较作为场景切换检测的依据。采用上述方案，通过对计算值进行比较确定场景切换，运算量较小，相比于人为设定特征，可以有效提高检测准确性，相比于模型训练，可以有效降低运算复杂度，提高检测效率。
[0039]
进一步，采用目标检测网络，在各帧视频帧中提取前景目标图像块，相比于人为划分图像块，导致位置固定，在本发明实施例中，采用目标检测网络提取的方式，得到的前景目标图像块能够跟随前景目标移动，提高图像分块的灵活性。
[0040]
进一步，选取比较帧，并确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块，当存在时确定每个有效映射图像块与该前景目标图像块之间的图像块相似度，并基于图像块相似度确定前景相似性分数，相比于采用常规的图像相关性算法或图像相似度算法对不同帧之间的同一位置确定相似度，采用本发明实施例的方案，可以在充分考虑到不同帧之间前景目标的移动性的基础上，确定有效映射图像块，从而提高场景切换检测准确性。
[0041]
进一步，确定当前帧的前景目标图像块的中心位置在每个比较帧中的映射位置；确定每个比较帧中与映射位置之间的距离小于预设距离的前景目标图像块，作为该比较帧中的有效映射图像块，可以在确定有效映射图像块时，既考虑到不同帧之间前景目标的移动性，又通过设置预设距离，适当地扩大有效映射图像块的搜索范围的同时，对扩大的区域大小进行限制，提高确定有效性。
[0042]
进一步，分别提取所述有效映射图像块以及所述前景目标图像块的特征向量，确定所述有效映射图像块以及所述前景目标图像块的特征向量的乘积，以及所述有效映射图像块以及所述前景目标图像块的特征向量的模长乘积，根据所述乘积与所述模长乘积之间的商值，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度，相比于采用常规的图像相关性算法或图像相似度算法对不同的图像块确定相似度，采用本发明实施例的方案，计算特征向量的乘积以及模长乘积，并采用两者的商值确定图像块相似度，可以进一步提高确定图像块相似度的准确性。
[0043]
进一步，对各个比较帧中的各个有效映射图像块的图像块相似度进行求和平均运算，以得到当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，可以通过求和平均运算，去除极值的影响，提高计算得到的前景相似性分数的准确性。
[0044]
进一步，自选取的首帧视频帧至当前帧，逐帧计算每一帧视频帧与前一帧视频帧之间的背景图像块的平均灰度值的差值；确定各个差值的绝对值的平均值，作为当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数，相比于采用
常规的图像相关性算法或图像相似度算法对不同的背景图像块确定相似度，由于背景区域大部分为静止区域，因此相邻两帧的背景信息差距很小，采用本发明实施例的方案，可以引入平均灰度值及其差值，降低计算量，提高运算效率。
[0045]
进一步，采用加权平均运算，基于前景相似性分数以及背景相似性分数得到相似性融合分数，其中，第一权重小于第二权重。由于前景目标容易发生较大的形变，采用本发明实施例的方案，通过将前景相似度权重设置较低，从而可以避免受到极值影响而错误增大相似性融合分数，导致遗漏场景切换帧。
[0046]
进一步，每当确定场景切换时，清空前景序列中的前景目标图像块，以及清空背景序列中的背景图像块，并以场景切换后的视频帧的前景目标图像块作为重置的前景序列中的第一批前景目标图像块，以及以场景切换后的视频帧的背景图像块作为重置的背景序列中的第一批背景图像块。采用本发明实施例的技术方案，可以在场景切换后，去除之前场景的影响，从而提高对当前场景的判断准确性。
附图说明
[0047]
图1是本发明实施例中一种场景切换检测方法的流程图；
[0048]
图2是本发明实施例中一种场景未切换的视频帧示意图；
[0049]
图3是本发明实施例中一种场景切换前后的视频帧示意图；
[0050]
图4是图1中步骤s13的一种具体实施方式的流程图；
[0051]
图5是本发明实施例中另一种场景切换检测方法的流程图；
[0052]
图6是本发明实施例中一种场景切换检测装置的结构示意图。
具体实施方式
[0053]
如前所述，在现有的场景切换检测方法中，存在运算复杂度较高或检测效率较低等问题。
[0054]
本发明的发明人经过研究发现，在一种现有技术中，可以基于灰度图或基于边缘轮廓或基于运动进行场景切换检测，上述方法存在运算复杂度低，在数据量少的情况下性能好等优点，然而，需要人为设定特征，且数据量较大时，往往由于人为设定的特征覆盖性不足导致性能不达标。
[0055]
本发明的发明人经过研究还发现，在另一种现有技术中，还可以基于深度学习的方法将图像按照通道拼接，或者以图像对的形式作为输入，采用编码-解码(encoder-decoder)的方式解决场景切换检测问题，这类方法不需要人工设定特征，准确率高，但是需要特定的数据集预先对模型进行训练及优化，并且不同融合方式的计算量相差很大，且存在计算效率较低的问题。
[0056]
在本发明实施例中，通过在各帧视频帧中提取前景目标图像块以及背景图像块，然后分别计算前景相似性分数、背景相似性分数，再将二者融合，并根据相似性融合分数与预设分数的比较作为场景切换检测的依据。采用上述方案，通过对计算值进行比较确定场景切换，运算量较小，相比于人为设定特征，可以有效提高检测准确性，相比于模型训练，可以有效降低运算复杂度，提高检测效率。
[0057]
为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本
发明的具体实施例做详细的说明。
[0058]
参照图1，图1是本发明实施例中一种场景切换检测方法的流程图。所述场景切换检测方法可以包括步骤s11至步骤s16：
[0059]
步骤s11：在待检测视频中提取多帧视频帧；
[0060]
步骤s12：在各帧视频帧中提取前景目标图像块以及背景图像块，其中，前景目标图像块用于指示一个或多个前景目标所占的区域，背景图像块为在视频帧中去除各个前景目标图像块后的剩余区域；
[0061]
步骤s13：逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，以及计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数；
[0062]
步骤s14：基于前景相似性分数以及背景相似性分数得到相似性融合分数；
[0063]
步骤s15：对所述相似性融合分数与预设分数进行比较；
[0064]
步骤s16：如果相似性融合分数大于等于预设分数，则对后一视频帧的相似性融合分数与所述预设分数进行比较，直至相似性融合分数小于预设分数时，判断为场景切换后的视频帧。
[0065]
可以理解的是，在具体实施中，所述方法可以采用软件程序的方式实现，该软件程序运行于芯片或芯片模组内部集成的处理器中。
[0066]
在步骤s11的具体实施中，可以将视频转为视频帧序列，例如逐帧提取或采用一定的间隔提取。
[0067]
其中，提取间隔可以保持一致，还可以采用多种提取间隔进行提取。
[0068]
在步骤s12的具体实施中，可以在各帧视频帧中提取前景目标图像块以及背景图像块。
[0069]
其中，前景目标图像块可以用于指示一个或多个前景目标所占的区域，背景图像块可以为在视频帧中去除各个前景目标图像块后的剩余区域。
[0070]
具体地，可以在各帧视频帧中提取前景目标的边框坐标(bounding box)，相邻的边框坐标之间的连线能够构成一定的形状，形成前景目标图像块。
[0071]
其中，前景目标图像块以及背景图像块可以通过以下两种方式确定：
[0072]
方式一，在各帧视频帧中提取前景目标图像块以及背景图像块的步骤可以包括：采用目标检测网络，在各帧视频帧中提取前景目标图像块；在每帧视频帧中去除所述前景目标图像块，以得到的剩余区域作为背景图像块。
[0073]
在本发明实施例中，采用目标检测网络，在各帧视频帧中提取前景目标图像块，相比于人为划分图像块，导致位置固定，在本发明实施例中，采用目标检测网络提取的方式，得到的前景目标图像块能够跟随前景目标移动，提高图像分块的灵活性。
[0074]
更进一步地，所述目标检测网络可以选自：骨干网络(mobilenet_v3)搭建检测网络(yolov4)。
[0075]
其中，mobilenet_v3可以是一种高精度的计算量少和参数少的骨干网络，适用于移动端部署的深度卷积网络，yolov4可以是一种目标检测网络，能达到精度速度最优平衡。
[0076]
在一个非限制性的具体实施例中，一个或多个前景目标所占的区域可以是预设形状的，其中，该预设形状可以为矩形，边框坐标例如可以为(x1,y1,x2,y2)，进而可以根据该
坐标位置裁剪得到矩形的前景目标图像块。
[0077]
在本发明实施例中，通过设置预设形状，并裁剪得到该预设形状的前景目标图像块，有利于在后续比较前景目标图像块的相似度时，基于形状相近且具有各自大小的图像块进行比较，提高比较的有效性。
[0078]
方式二，采用常规的目标对象提取方法。非限制性的，例如可以首先勾勒前景目标的轮廓，然后提取该轮廓内的区域，作为前景目标图像块，背景图像块为在视频帧中去除各个前景目标图像块后的剩余区域。
[0079]
结合参照图2和图3，图2是本发明实施例中一种场景未切换的视频帧示意图，图3是本发明实施例中一种场景切换前后的视频帧示意图。
[0080]
如图2所示，可以采用实线框、虚线框以及点线框分别表示三个不同的前景目标图像块，去除这三个框之后的剩余区域为背景图像块。
[0081]
由图2可知，在场景未切换的情况下(即均为背景1)，两个视频帧的前景目标图像块之间的前景相似度较高，两个视频帧的背景图像块之间的背景相似度也较高。
[0082]
如图3所示，可以采用实线框表示前景目标图像块，去除该实线框之后的剩余区域为背景图像块。
[0083]
由图3可知，在场景切换的情况下(即从背景1切换至背景2)，前景目标往往也发生变化，两个视频帧的前景目标图像块之间的前景相似度较低，两个视频帧的背景图像块之间的背景相似度也较低。
[0084]
进一步地，可以在各帧视频帧中提取前景目标图像块以及背景图像块时，构建前景序列以及背景序列；每当确定场景切换时，清空前景序列中的前景目标图像块，以及清空背景序列中的背景图像块，并以场景切换后的视频帧的前景目标图像块作为重置的前景序列中的第一批前景目标图像块，以及以场景切换后的视频帧的背景图像块作为重置的背景序列中的第一批背景图像块。
[0085]
在一个非限制性的例子中，前景序列例如可以采用pf表示，背景序列例如可以采用pb表示，表示，用于表示第ti帧视频帧的背景图像块。
[0086]
其中，t1至tn可以表示时域信息，tn表示当前帧为第tn帧，f用于表示该帧中检测到的前景目标，p
fti
用于表示当前场景中第tj视频帧的前景目标图像块的集合，由于每一帧中可能有多个前景目标，故m用于表示该帧中的前景目标图像块的数量，对于每个前景目标具有各自的前景目标图像块的情况，m还可以用于表示前景目标的数量。
[0087]
每个pf和pb共同保存一个场景的内容，通过在确定场景切换时，清空前景序列中的前景目标图像块，以及清空背景序列中的背景图像块，可以对pf和pb初始化为空集合，也即重置为空。
[0088]
在本发明实施例中，每当确定场景切换时，清空前景序列中的前景目标图像块，以及清空背景序列中的背景图像块，并以场景切换后的视频帧的前景目标图像块作为重置的前景序列中的第一批前景目标图像块，以及以场景切换后的视频帧的背景图像块作为重置的背景序列中的第一批背景图像块。采用本发明实施例的技术方案，可以在场景切换后，去
除之前场景的影响，从而提高对当前场景的判断准确性。
[0089]
继续参照图1，在步骤s13的具体实施中，逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，以及计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数。
[0090]
其中，可以是在前一次场景切换后的视频帧中选取的之前的至少一部分视频帧，从而避免受到切换之前的场景的影响。然后，在选取的视频帧中，逐帧计算前景相似性分数以及背景相似性分数。
[0091]
参照图4，图4是图1中步骤s13的一种具体实施方式的流程图。所述逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数的步骤可以包括步骤s41至步骤s44，以下对各个步骤进行说明。
[0092]
在步骤s41中，选取位于当前帧之前的至少一部分视频帧，记为比较帧。
[0093]
进一步地，选取位于当前帧之前的至少一部分视频帧的步骤可以包括：在前一次场景切换后的视频帧中，选取部分或全部视频帧。
[0094]
在具体实施中，可以根据视频长度以及预估的切换频率，选取适当数量的视频帧，并且通过在前一次场景切换后的视频帧中进行选取，可以避免受到切换之前的场景的影响。
[0095]
在步骤s42中，逐个选取当前帧的前景目标图像块，确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块。
[0096]
根据图2可知，由于位于实线框中的前景目标为移动状态，因此存在误判为后一帧中的虚线框或点线框的情况，需要通过设置有效映射图像块的判断步骤，确定在两个视频帧中一致的前景目标。
[0097]
继续参照图4，在步骤s42中，进一步地，确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块的步骤可以包括：确定当前帧的前景目标图像块的中心位置在每个比较帧中的映射位置；确定每个比较帧中与映射位置之间的距离小于预设距离的前景目标图像块，作为该比较帧中的有效映射图像块。
[0098]
具体地，所述当前帧的前景目标图像块的中心位置与其在每个比较帧中的映射位置可以是具有相同坐标的位置，通过选择与映射位置之间距离较近的前景目标图像块，有利于确定同一个前景目标。
[0099]
更进一步地，预设距离根据比较帧与当前帧的时间差值以及预设距离阈值确定；其中，所述预设距离阈值为预先采用第一速度，在单帧时长内移动所述前景目标后得到的距离差值，所述第一速度小于预设移动速度。
[0100]
具体地，通过采用较快的第一速度预先确定的距离差值作为基础，确定预设距离阈值，可以更充分地考虑前景目标的运动特性，从而在比较帧的较大的范围内确定前景目标图像块，提高确定同一个前景目标的准确性。
[0101]
更进一步地，可以采用下述公式，确定所述预设距离阈值：
[0102]
r＝(n-q)
×
thf[0103]
其中，r用于表示预设距离阈值，n用于表示当前帧tn的帧序号，q用于表示比较帧tq的帧序号，thf用于表示预设距离阈值。
[0104]
在本发明实施例中，确定当前帧的前景目标图像块的中心位置在每个比较帧中的
映射位置；确定每个比较帧中与映射位置之间的距离小于预设距离的前景目标图像块，作为该比较帧中的有效映射图像块，可以在确定有效映射图像块时，既考虑到不同帧之间前景目标的移动性，又通过设置预设距离，适当地扩大有效映射图像块的搜索范围的同时，对扩大的区域大小进行限制，提高确定有效性。
[0105]
在步骤s43中，如果存在，则确定每个有效映射图像块与该前景目标图像块之间的图像块相似度。
[0106]
具体地，图像块相似度可以通过以下两种方式确定：
[0107]
方式一，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度的步骤可以包括：分别提取所述有效映射图像块以及所述前景目标图像块的特征向量(又可以称为特征图)；确定所述有效映射图像块以及所述前景目标图像块的特征向量的乘积，以及所述有效映射图像块以及所述前景目标图像块的特征向量的模长乘积；根据所述乘积与所述模长乘积之间的商值，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度。
[0108]
其中，可以采用常规方法，提取图像块的特征向量，例如可以提取各个边框坐标构成图像块的特征向量(特征图)，本发明实施例中对于具体的特征向量的提取不作限制。
[0109]
在本发明实施例中，可以分别提取所述有效映射图像块以及所述前景目标图像块的特征向量，确定所述有效映射图像块以及所述前景目标图像块的特征向量的乘积，以及所述有效映射图像块以及所述前景目标图像块的特征向量的模长乘积，根据所述乘积与所述模长乘积之间的商值，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度，相比于采用常规的图像相关性算法或图像相似度算法对不同的图像块确定相似度，采用本发明实施例的方案，计算特征向量的乘积以及模长乘积，并采用两者的商值确定图像块相似度，可以进一步提高确定图像块相似度的准确性。
[0110]
更进一步地，可以采用下述公式，确定每个有效映射图像块与该前景目标图像块之间的图像块相似度：
[0111][0112]
其中，s
intra
用于表示图像块相似度，用于表示当前帧tn的第i个前景目标图像块fi的特征向量，用于表示第tq帧比较帧中的第k个有效映射图像块fk的特征向量，用于表示前景目标图像块fi与有效映射图像块fk的特征向量之间的模长乘积，l用于表示第tq帧比较帧中的有效映射图像块的数量，1≤k≤l。其中，可以用于表示余弦距离。
[0113]
方式二，可以采用常规的图像相关性算法或图像相似度算法，在有效映射图像块与前景目标图像块之间确定相似度，例如结构相似性(structural similarity，ssim)相似度算法等。
[0114]
在步骤s44中，基于每个有效映射图像块的图像块相似度，确定当前帧的前景目标
图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
[0115]
其中，前景相似性分数可以通过以下两种方式确定：
[0116]
方式一，基于每个有效映射图像块的图像块相似度，确定当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数的步骤可以包括：对各个比较帧中的各个有效映射图像块的图像块相似度进行求和平均运算，以得到当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
[0117]
在本发明实施例中，对各个比较帧中的各个有效映射图像块的图像块相似度进行求和平均运算，以得到当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，可以通过求和平均运算，去除极值的影响，提高计算得到的前景相似性分数的准确性。
[0118]
进一步地，可以采用下述公式，确定当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数：
[0119][0120]
其中，sf用于表示前景相似性分数，用于表示图像块相似度，用于表示当前帧tn的第i个前景目标图像块fi的特征向量，用于表示第tq帧比较帧中的第k个有效映射图像块fk的特征向量，q用于表示之前的至少一部分视频帧的数量，且1≤q≤q＜n-1，m用于表示当前帧tn的前景目标图像块fi的数量，且1≤i≤m。
[0121]
方式二，还可以对各个比较帧中的各个有效映射图像块的图像块相似度进行其他适当的运算，例如取中位值运算，以得到当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
[0122]
在本发明实施例中，选取比较帧，并确定每个前景目标图像块在每个比较帧中是否存在有效映射图像块，当存在时确定每个有效映射图像块与该前景目标图像块之间的图像块相似度，并基于图像块相似度确定前景相似性分数，相比于采用常规的图像相关性算法或图像相似度算法对不同帧之间的同一位置确定相似度，采用本发明实施例的方案，可以在充分考虑到不同帧之间前景目标的移动性的基础上，确定有效映射图像块，从而提高场景切换检测准确性。
[0123]
继续参照图1，在步骤s13的具体实施中，还需要计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数。
[0124]
其中，背景相似性分数可以通过以下两种方式确定：
[0125]
方式一，计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数的步骤可以包括：在前一次场景切换后的视频帧中，选取部分或全部视频帧；自选取的首帧视频帧至当前帧，逐帧计算每一帧视频帧与前一帧视频帧之间的背景图像块的平均灰度值的差值；确定各个差值的绝对值的平均值，作为当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数。
[0126]
在本发明实施例中，自选取的首帧视频帧至当前帧，逐帧计算每一帧视频帧与前一帧视频帧之间的背景图像块的平均灰度值的差值；确定各个差值的绝对值的平均值，作为当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数，
相比于采用常规的图像相关性算法或图像相似度算法对不同的背景图像块确定相似度，由于背景区域大部分为静止区域，因此相邻两帧的背景信息差距很小，采用本发明实施例的方案，可以引入平均灰度值及其差值，降低计算量，提高运算效率。
[0127]
进一步地，当前帧tn的帧序号为n，之前的至少一部分视频帧的数量为n-1；可以采用下述公式，确定当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数：
[0128][0129]
d(h)＝|h(th)-h(t
h-1
)|
[0130]
其中，sb用于表示背景相似性分数，h(th)用于表示第th帧视频帧的平均灰度值，h(t
h-1
)用于表示第t
h-1
帧视频帧的平均灰度值，d(h)用于表示第h个平均灰度值的差值的绝对值，且2≤h≤n。
[0131]
方式二，可以采用常规的图像相关性算法或图像相似度算法，在有效映射图像块与前景目标图像块之间确定相似度，例如结构相似性(structural similarity，ssim)相似度算法等。
[0132]
在步骤s14的具体实施中，基于前景相似性分数以及背景相似性分数得到相似性融合分数。
[0133]
其中，相似性融合分数可以通过以下两种方式确定：
[0134]
方式一，采用加权平均运算，基于前景相似性分数以及背景相似性分数得到相似性融合分数；其中，第一权重小于第二权重。
[0135]
在本发明实施例中，采用加权平均运算，基于前景相似性分数以及背景相似性分数得到相似性融合分数，其中，第一权重小于第二权重。由于前景目标容易发生较大的形变，采用本发明实施例的方案，通过将前景相似度权重设置较低，从而可以避免受到极值影响而错误增大相似性融合分数，导致遗漏场景切换帧。
[0136]
进一步地，可以采用下述公式，基于前景相似性分数以及背景相似性分数得到相似性融合分数：
[0137]
s＝αsf βsb[0138]
其中，s用于表示相似性融合分数，α用于表示第一权重，sf用于表示前景相似性分数，β用于表示第二权重，sb用于表示背景相似性分数。
[0139]
方式二，还可以采用其他适当的运算方式，例如采用加权平均运算，基于前景相似性分数以及背景相似性分数得到相似性融合分数。
[0140]
在步骤s15的具体实施中，对所述相似性融合分数与预设分数进行比较。
[0141]
其中，所述预设分数可以是基于经验值预先设定的，还可以根据之前场景的判断结果进行实时调整。
[0142]
在步骤s16的具体实施中，如果相似性融合分数大于等于预设分数，则对后一视频帧的相似性融合分数与所述预设分数进行比较，直至相似性融合分数小于预设分数时，判断为场景切换后的视频帧。
[0143]
具体地，当相似性融合分数小于预设分数时，可以判断为场景切换后的视频帧，还可以输出该视频在待检测视频中的指示信息，例如输出序列号，从而对场景切换的情况进
行记录。
[0144]
在本发明实施例中，通过在各帧视频帧中提取前景目标图像块以及背景图像块，然后分别计算前景相似性分数、背景相似性分数，再将二者融合，并根据相似性融合分数与预设分数的比较作为场景切换检测的依据。采用上述方案，通过对计算值进行比较确定场景切换，运算量较小，相比于人为设定特征，可以有效提高检测准确性，相比于模型训练，可以有效降低运算复杂度，提高检测效率。
[0145]
参照图5，图5是本发明实施例中另一种场景切换检测方法的流程图。所述另一种场景切换检测方法可以包括步骤s501至步骤s509，以下对各个步骤进行说明。
[0146]
在步骤s501中，可以提取视频帧。
[0147]
在步骤s502中，可以提取前景目标图像块。
[0148]
在步骤s503中，可以提取背景图像块。
[0149]
在步骤s504中，可以计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数。
[0150]
在步骤s505中，可以计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数。
[0151]
在步骤s506中，可以得到相似性融合分数。
[0152]
在步骤s507中，可以判断相似性融合分数是否小于预设分数，如果判断结果为是，则可以继续执行步骤s508，反之，如果判断结果为否，则可以执行步骤s510。
[0153]
在步骤s508中，可以判断为场景切换后的视频帧。
[0154]
在步骤s509中，可以输出该视频帧在待检测视频中的序列号。
[0155]
在步骤s510中，可以选择当前帧的后一帧。
[0156]
具体地，可以选择后一帧视频帧，作为下一轮判断的当前帧。
[0157]
在具体实施中，有关步骤s501至步骤s510的更多详细内容请参照前文以及图1至图4的描述进行执行，此处不再赘述。
[0158]
参照图6，图6是本发明实施例中一种场景切换检测装置的结构示意图。所述场景切换检测装置可以包括：
[0159]
视频帧提取模块61，用于在待检测视频中提取多帧视频帧；
[0160]
图像块提取模块62，用于在各帧视频帧中提取前景目标图像块以及背景图像块，其中，前景目标图像块用于指示一个或多个前景目标所占的区域，背景图像块为在视频帧中去除各个前景目标图像块后的剩余区域；
[0161]
计算模块63，用于逐帧计算当前帧的前景目标图像块与之前的至少一部分视频帧的前景目标图像块之间的前景相似性分数，以及计算当前帧的背景图像块与之前的至少一部分视频帧的背景图像块之间的背景相似性分数；
[0162]
融合模块64，用于基于前景相似性分数以及背景相似性分数得到相似性融合分数；
[0163]
比较模块65，用于对所述相似性融合分数与预设分数进行比较；
[0164]
场景切换判断模块66，用于当相似性融合分数大于等于预设分数时，对后一视频帧的相似性融合分数与所述预设分数进行比较，直至相似性融合分数小于预设分数时，判断为场景切换后的视频帧。
[0165]
在具体实施中，上述装置可以对应于终端中具有数据处理功能的芯片；或者对应于终端中包括具有数据处理功能芯片的芯片模组，或者对应于终端。
[0166]
关于该场景切换检测装置的原理、具体实现和有益效果请参照前文所述的关于场景切换检测方法的相关描述，此处不再赘述。
[0167]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时，使得上述的场景切换检测方法被执行。所述计算机可读存储介质可以包括只读存储器(read-only memory，简称rom)、随机存取存储器(random access memory，简称ram)、磁盘或光盘等。所述计算机可读存储介质还可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器等。
[0168]
具体地，在本发明实施例中，所述处理器可以为中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0169]
还应理解，本技术实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器(random access memory，ram)可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0170]
本发明实施例还提供了一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序时执行上述方法的步骤。所述终端包括但不限于手机、计算机、平板电脑、服务器、云平台等终端设备。
[0171]
上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机程序可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机程序可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。
[0172]
应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。
另外，本文中字符“/”，表示前后关联对象是一种“或”的关系。
[0173]
本技术实施例中出现的“多个”是指两个或两个以上。
[0174]
本技术实施例中出现的第一、第二等描述，仅作示意与区分描述对象之用，没有次序之分，也不表示本技术实施例中对设备个数的特别限定，不能构成对本技术实施例的任何限制。
[0175]
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。