视频帧选取方法、装置、电子设备及计算机可读存储介质与流程

1.本公开涉及人工智能技术，尤其涉及一种视频帧选取方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.基于视频数据的行为识别是视频行为理解领域中，一个重要且极具挑战性的课题。基于视频的行为识别模型在很多领域都起到了重要的作用，比如视频推荐和人机交互等等。
3.基于视频的行为识别任务主要解决的问题是，给定一段包含特定动作的视频，需要判断这段视频的具体动作类别；同时分类的准确度是检测模型优良的重要指标。然而，通常用于检测的视频是长视频，且长视频中往往存在大量的无用信息，而目标动作(感兴趣内容)往往只发生了短暂的片刻。为此，相关技术中通常运用采样的方式从视频中提取一些图像帧以进行检测。然而，相关技术中的采样方式通常采样间隔比较固定，导致容易忽视关键的信息，且采样出来的图像帧也容易包含冗余的信息，采样出的图像帧并不准确，采样效果较差，而且对不同节奏/快慢的行为的自适应性不强。


技术实现要素：

4.本公开实施例提供一种视频帧选取方法、装置、电子设备、存储介质，能够提高采样出的图像帧的准确性和有效性，实现对视频帧序列的自适应采样。
5.本公开实施例的技术方案是这样实现的：
6.本公开实施例提供一种视频帧选取方法，包括：
7.确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；
8.确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的累积运动差分分布情况；
9.基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
10.在本公开的一些实施例中，所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差，包括：
11.确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素差值，得到与所述像素点的数量一致的像素差值；
12.将与所述像素点的数量一致的像素差值求和，得到所述每一组相邻图像帧对应的所述帧差。
13.在本公开的一些实施例中，在所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和之前，所述方法还包括：
14.获取目标场景的视频序列；
15.将所述视频序列中与预设时间窗口对应的连续图像帧，确定为所述目标视频帧序列；或，在从所述视频序列中获取到第二预设数量的连续图像帧的情况下，将所述第二预设数量的连续图像帧确定为所述目标视频帧序列。
16.在本公开的一些实施例中，所述确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值，包括：
17.对所述目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到所述每个帧差对应的归一化值；
18.确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值。
19.在本公开的一些实施例中，所述确定每个归一化值对应的累积概率分布值，包括：
20.对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值；
21.确定所述增强值对应的所述累积概率分布值。
22.在本公开的一些实施例中，所述对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值，包括：
23.采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的所述增强值；
24.所述基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，包括：
25.基于多个所述增强值一一对应的多个所述累积概率分布值，确定累积运动差分分布曲线；
26.基于所述累积运动差分分布曲线，对所述目标视频帧序列进行图像帧采样，得到所述关键图像帧。
27.在本公开的一些实施例中，所述采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值，包括：
28.对于所述每个归一化值，确定所述每个归一化值的所述目标次方值，得到第一数值；
29.对所述各个归一化值的第一数值进行求和，得到第二数值；
30.将所述每个归一化值的所述第一数值与所述第二数值之间的比值，确定为所述每个归一化值对应的所述增强值。
31.在本公开的一些实施例中，所述确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值，包括：
32.根据所述多个帧差的获得顺序，对与所述多个帧差对应的多个归一化值进行排序，得到排序结果；
33.根据所述排序结果，确定出每个归一化值与排列在所述每个归一化值之前的归一化值之间的数值之和，得到所述每个归一化值对应的所述累积概率分布值，从而得到所述多个归一化值对应的所述多个累积概率分布值。
34.在本公开的一些实施例中，所述基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，包括：
35.基于所述多个累积概率分布值，确定累积运动差分分布曲线；所述累积运动差分分布曲线的纵坐标为所述多个累积概率分布值组成的概率分布值范围，横坐标为所述目标视频帧序列中的图像帧的标识；其中，所述概率分布值范围中的每个概率分布值与所述目标视频帧序列中的一个图像帧对应；
36.基于所述累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧。
37.在本公开的一些实施例中，所述基于累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧，包括：
38.将所述概率分布值范围均匀划分为所述第一预设数量的子范围，并确定每个子范围对应的图像帧；
39.将与所述第一预设数量的子范围对应的所述第一预设数量的图像帧，确定为所述关键图像帧。
40.本公开实施例提供一种视频帧选取装置，包括：
41.确定单元，用于确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征所述目标视频帧序列中相邻图像帧之间的累积运动差分分布情况；
42.采样单元，用于基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
43.在本公开的一些实施例中，所述确定单元，还用于确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素差值，得到与所述像素点的数量一致的像素差值；将与所述像素点的数量一致的像素差值求和，得到所述每一组相邻图像帧对应的所述帧差。
44.在本公开的一些实施例中，所述视频帧选取装置还包括获取单元，所述获取单元，用于在所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和之前，获取目标场景的视频序列；所述确定单元，还用于将所述视频序列中与预设时间窗口对应的连续图像帧，确定为所述目标视频帧序列；或，在从所述视频序列中获取到第二预设数量的连续图像帧的情况下，将所述第二预设数量的连续图像帧确定为所述目标视频帧序列。
45.在本公开的一些实施例中，所述确定单元，还用于对所述目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到所述每个帧差对应的归一化值；确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值。
46.在本公开的一些实施例中，所述确定单元，还用于对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值；确定所述增强值对应的所述累积概率分布值。
47.在本公开的一些实施例中，所述确定单元，还用于采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的所述增强值；所述采样单元，还用于基于多个所述增强值一一对应的多个所述累积概率分布值，确定累积运动差分分布曲线；基于所述累积运动差分分布曲线，对所述目标视频帧序列进行图像帧采样，得到关键图像帧。
48.在本公开的一些实施例中，所述确定单元，还用于对于所述每个归一化值，确定所述每个归一化值的目标次方值，得到第一数值，对于各个归一化值，得到所述各个归一化值各自的第一数值；对所述各个归一化值的第一数值进行求和，得到第二数值；将所述每个归一化值的所述第一数值与所述第二数值之间的比值，确定为所述每个归一化值对应的所述增强值。
49.在本公开的一些实施例中，所述确定单元，还用于根据所述多个帧差的获得顺序，对与所述多个帧差对应的多个归一化值进行排序，得到排序结果；根据所述排序结果，确定出每个归一化值与排列在所述每个归一化值之前的归一化值之间的数值之和，得到所述每个归一化值对应的所述累积概率分布值，从而得到所述多个归一化值对应的所述多个累积概率分布值。
50.在本公开的一些实施例中，所述采样单元，还用于基于所述多个累积概率分布值，确定累积运动差分分布曲线；所述累积运动差分分布曲线的纵坐标为所述多个累积概率分布值组成的概率分布值范围，横坐标为所述目标视频帧序列中的图像帧的标识；其中，所述概率分布值范围中的每个概率分布值与所述目标视频帧序列中的一个图像帧对应；基于所述累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧。
51.在本公开的一些实施例中，所述采样单元，还用于将所述概率分布值范围均匀划分为所述第一预设数量的子范围，并确定每个子范围对应的图像帧；将与所述第一预设数量的子范围对应的所述第一预设数量的图像帧，确定为所述关键图像帧。
52.本公开实施例提供一种电子设备，包括：存储器，用于存储可执行计算机程序；处理器，用于执行所述存储器中存储的可执行计算机程序时，实现上述的视频帧选取方法。
53.本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器执行时，实现上述的视频帧选取方法。
54.本公开实施例具有如下技术效果：
55.由于是根据目标视频帧序列中相邻图像帧之间的累积运动差分分布情况，来采样出一些图像帧，且相邻图像帧之间的累积运动差分分布情况能够反映图像帧中的物体的运动变化情况，所以，根据目标视频帧序列的相邻图像帧之间的运动差分分布情况，能够采样出图像帧中的物体运动变化时的图像帧，使得采样出的图像帧是有效且准确的，同时，实现了对视频帧序列的自适应采样。
56.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。
附图说明
57.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
58.图1为本公开实施例提供的示例性的基于两个时间周期内采样出的图像帧进行行为识别的过程示意图；
59.图2为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
60.图3为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
61.图4为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
62.图5为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
63.图6为本公开实施例提供的示例性的不同μ对应的不同运动差分分布曲线的示意图；
64.图7为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
65.图8为本公开实施例提供的示例性的一个目标视频帧序列中的图像帧与对应的概率分布值范围中的每个概率分布值之间的对应关系示意图；
66.图9为本公开实施例提供的视频帧选取方法的一个可选的流程示意图；
67.图10为本公开实施例提供的示例性的根据累积运动差分分布曲线，从目标视频帧序列中采样n个关键图像帧的示意图；
68.图11a为本公开实施例提供的示例性的另一个目标视频帧序列对应的累积运动差分分布曲线，以及根据该累积运动差分分布曲线采集出的8个关键图像帧的示意图；
69.图11b为本公开实施例提供的示例性的又一个目标视频帧序列对应的累积运动差分分布曲线，以及根据该累积运动差分分布曲线采集出的8个关键图像帧的示意图；
70.图11c为本公开实施例提供的示例性的再一个目标视频帧序列对应的累积运动差分分布曲线，以及根据该累积运动差分分布曲线采集出的8个关键图像帧的示意图；
71.图12为本公开实施例提供的视频帧选取装置的结构示意图；
72.图13为本公开实施例提供的电子设备的结构示意图。
具体实施方式
73.为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。
74.对本公开实施例进行进一步详细说明之前，对本公开实施例中涉及的名词和术语进行说明，本公开实施例中涉及的名词和术语适用于如下的解释。
75.1)累积概率分布，又称累积分布函数、分布函数等，用于描述随机变量落在任一区间上的概率，常被视为数据的某种特征。若该变量是连续变量，则累积概率分布是由概率密度函数积分求得的函数；若该变量是离散变量，则累积概率分布是由分布律加和求得的函数。
76.2)归一化是一种简化计算的方式，即将有量纲的表达式，经过变换化为无量纲的表达式，成为标量。归一化方法有两种形式，一种是把数变为[0,1]之间的小数，一种是把有量纲表达式变为无量纲表达式。主要是为了数据处理方便提出来的，把数据映射到[0,1]范围之内处理，更加便捷快速。
[0077]
基于视频数据的行为识别是视频行为理解领域中，一个重要且极具挑战性的课题。基于视频的行为识别模型在很多领域都起到了重要的作用，比如视频推荐和人机交互等等。
[0078]
基于视频的行为识别任务主要解决的问题是，给定一段包含特定动作的视频，需要判断这段视频的具体动作类别；同时分类的准确度是检测模型优良的重要指标。然而，通常用于检测的视频是长视频，且长视频中往往存在大量的无用信息，而目标动作(感兴趣内
容)往往只发生了短暂的片刻。现有的方法通常是在每个固定的检测周期内(例如z秒)，按照均匀等间隔采样t帧的方式来形成连续的图像序列，经过相应的预处理后送入到动作分类模型或其他检测模型中进行事件检测。然而，本案的发明人发现，这种采样方式容易忽视关键的信息，且采样出来的图像帧也容易包含冗余的信息，并不准确，采样效果较差，而且对不同节奏/快慢的行为的自适应性不强；同时，本案的发明人经研究还发现，相关技术中的采样方式忽略了不同帧之间的信息权重差异，致使现有的检测模型需要足量的输入帧才能取得良好的检测性能，导致需要线性增长的计算量来作为开销，无法在性能和速度上达到一个平衡，无法实现真正意义的高效长视频理解。例如，图1为两个相同检测周期(时间周期)3秒内，以均匀采样间隔分别采集到的3个图像帧，其中，在第一个检测周期内采集到的3个图像帧为a1、a2和a3，在相邻的第二个检测周期内采集到的3个图像帧为a4、a5和a6，根据图1可知，单独分析第一个检测周期内采集到的3个图像，以及单独分析第二个检测周期内采集到的3个图像，均无法判断出当前行人的行为是上车还是下车，但若结合第一个检测周期内采集到的3个图像和第二个检测周期内采集到的3个图像来判断，则可以确定当前行人的行为是上车。
[0079]
为此，本公开实施例提供一种视频帧选取方法，能够提高采样出的图像帧的准确性和有效性，实现对视频帧序列的自适应采样。本公开实施例提供的视频帧选取方法，应用于电子设备。
[0080]
下面说明本公开实施例提供的电子设备的示例性应用，本公开实施例提供的电子设备可以实施为ar眼镜、笔记本电脑，平板电脑，台式计算机，机顶盒，移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的用户终端(以下简称终端)，也可以实施为服务器。
[0081]
以下将对视频帧选取方法进行说明。图2是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将结合图2示出的步骤进行说明。
[0082]
s101、确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到每一组相邻图像帧对应的帧差。
[0083]
这里，目标视频帧序列可以是由多个连续的图像帧组成的视频帧序列，可以是针对商场、道路、医院等等目标场景的视频帧序列，本公开实施例对此目标场景不作限定。
[0084]
电子设备可以通过图像采集的方式获得目标视频帧序列，也可以从其他电子设备处直接获得目标视频帧序列，本公开实施例对此不作限定。
[0085]
电子设备对于目标视频帧序列中每两个相邻的图像帧而言，可以计算这两个相邻的图像帧中每个像素点之间的像素差值，根据得到的这两个相邻的图像帧中所有像素点之间的像素差值，来计算出这两个相邻的图像帧的像素点的差值之和，从而得到这两个相邻的图像帧对应的帧差(即像素差分)。例如，在目标视频帧序列由三个连续的图像帧a11、a12和a13组成，且a11、a12和a13依次相邻的情况下，电子设备可以通过计算出a11与a12中所有像素点之间的像素差值，来得到a11与a12对应的帧差，通过计算出a12与a13中所有像素点之间的像素差值，来得到a12与a13对应的帧差。
[0086]
在一些实施例中，对于目标视频帧序列中每一组相邻图像帧而言，电子设备可以确定这一组相邻图像帧中每个对应像素点之间的像素差值，得到与像素点的数量一致的像素差值；之后，确定与像素点的数量一致的像素差值之和，并将像素差值之和确定为这一组
相邻图像帧对应的帧差。示例性的，每一组相邻图像帧对应的帧差可以采用下述公式(1)表示，公式(1)如下：
[0087][0088]
其中，s
t
表示帧差，h和w表示每个图像帧的宽和高，i(x,y,t)-i(x,y,t-1)表示相邻的两个图像帧中每个对应的像素点之间的像素差值，x、y分别代表像素点的x坐标和y坐标，t表示图像帧的帧序号，t∈{2,3,...,t}，t表示目标视频帧序列中的图像帧的总帧数。
[0089]
s102、确定与目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；多个累积概率分布值表征目标视频帧序列中相邻图像帧之间的累积运动差分分布情况。
[0090]
电子设备在得到目标视频帧序列对应的多组相邻图像帧的多个帧差的情况下，对于每个帧差而言，可以计算出每个帧差的累积概率分布值，从而得到与多个帧差一一对应的多个累积概率分布值。这里，每个帧差实质是对应的一组相邻图像帧之间的像素差分，而像素差分能够表征这一组相邻图像帧之间的物体运动差分，所以，与多个帧差一一对应的多个累积概率分布值表征了目标视频帧序列中相邻图像帧之间的累积运动差分分布情况。
[0091]
s103、基于多个累积概率分布值，对目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
[0092]
电子设备在获得目标视频帧序列对应的多个累积概率分布值的情况下，可以根据这些累积概率分布值所表征的目标视频帧序列中相邻图像帧之间的累积运动差分分布情况，确定出目标视频帧序列中各个图像帧中的目标对象的运动信息，根据运动信息来进行目标视频帧序列中的关键帧采样，从而得到关键图像帧，并对采样得到的关键图像帧进行目标检测或行为检测等任务识别，从而得到准确的识别结果。
[0093]
本公开实施例中，由于是根据目标视频帧序列中相邻图像帧之间的累积运动差分分布情况，来采样出一些图像帧，且相邻图像帧之间的累积运动差分分布情况能够反映图像帧中的物体的运动变化情况，所以，根据目标视频帧序列的相邻图像帧之间的累积运动差分分布情况，能够采样出图像帧中物体的运动变化时的图像帧，使得采样出的图像帧是有效且准确的，实现了对视频帧序列的自适应采样；同时，相比于现有技术中通过固定采样间隔进行帧采样而言，不会因检测周期设置的太大(即固定帧数下采样间隔过大)，而造成信息缺失，可以允许设置更大的检测周期，从而有利于实现更好的长视频理解和行为事件的识别；以及，相比于现有技术中通过固定采样间隔进行帧采样而言，还允许采样出较少的图像帧以用于后续的任务识别，从而有利于提高后续任务识别时的精度和效率。
[0094]
在一些实施例中，在上述s101之前可以执行s201，以及s202或s203；图3是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将以图3中的步骤进行说明。
[0095]
s201、获取目标场景的视频序列。
[0096]
s202、将视频序列中与预设时间窗口对应的连续图像帧，确定为目标视频帧序列。
[0097]
在一些实施例中，电子设备可以采用自身的图像采集设备来获取例如商场、道路、医院等目标场景的视频序列，并可以在通过自身的图像采集设备采集目标场景的视频序列的过程中，实时检测是否到达预设时间窗口，并在到达预设时间窗口的情况下，将目标场景的视频序列中预设时间窗口对应的连续图像帧作为目标视频帧序列，之后，重新进行连续
的图像帧的采集，并重新检测是否到达预设时间窗口，如此循环往复。例如，预设时间窗口可以为3秒，从而电子设备可以在通过自身的图像采集设备采集目标场景的视频序列的过程中，每3秒将这3秒内采集到的90帧连续的图像帧作为一个目标视频帧序列。
[0098]
这里，预设时间窗口可以根据实际需要设定，本公开实施例对此不作限定。
[0099]
s203、在从视频序列中获取到第二预设数量的连续图像帧的情况下，将第二预设数量的连续图像帧确定为目标视频帧序列。
[0100]
在一些实施例中，电子设备也可以在通过自身的图像采集设备采集目标场景的视频序列的过程中，每采集一个图像帧便检测当前采集的图像帧的数量是否达到第二数量，并在从视频序列中采集到了第二预设数量的连续的图像帧的情况下，将这第二预设数量的连续的图像帧作为目标视频帧序列，之后，重新进行图像帧的采集与对采集的图像帧数量的检测，如此循环往复。例如，电子设备可以在通过自身的图像采集设备采集目标场景的视频序列的过程中，每采集到80个连续的图像帧，便将这80个连续的图像帧作为一个目标视频帧序列。
[0101]
需要说明的是，为方便说明，本公开实施例中以一个目标视频帧序列为例，对视频帧选取方法进行说明。
[0102]
在一些实施例中，上述s102可以通过s1021-s1022实现，图4是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将以图2中的s102可以通过s1021-s1022实现为例，结合图4中的步骤进行说明。
[0103]
s1021、对目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到每个帧差对应的归一化值。
[0104]
电子设备可以对得到的目标视频帧序列的每个帧差进行归一化处理，从而将每个帧差归一化至0～1中的某个数值。
[0105]
这里，电子设备可以在得到目标视频帧序列对应的所有帧差之后，统一对帧差进行归一化处理，也可以每得到一个帧差便将该帧差进行归一化处理，本公开实施例对此不作限定。
[0106]
s1022、确定每个归一化值对应的累积概率分布值，从而得到多个帧差对应的多个累积概率分布值。
[0107]
电子设备在得到每个帧差的归一化值之后，可以根据所有帧差对应的归一化值确定出每个归一化值对应的累积概率分布值，从而对于与多个帧差一一对应的多个归一化值而言，得到了与多个归一化值一一对应的多个累积概率分布值，从而也得到了与多个帧差一一对应的多个累积概率分布值。
[0108]
在一些实施例中，上述s1022可以采用下述方法实现：根据多个帧差的获得顺序，对与多个帧差对应的多个归一化值进行排序，得到排序结果；对于每个归一化值而言，根据排序结果，确定出该归一化值与排列在该归一化值之前的归一化值之间的数值之和，得到该归一化值对应的累积概率分布值，从而得到多个归一化值对应的多个累积概率分布值。
[0109]
这里，电子设备在得到目标视频帧序列对应的所有帧差之后，可以根据帧差的先后获得顺序(电子设备会先获得帧序号小的相邻图像帧对应的帧差，后获得帧序号大的相邻图像帧对应的帧差)，对与帧差对应的归一化值进行同样的排序，并在排序完成后，根据排序情况采用下述公式(2)进行每个归一化值对应的累积概率分布值的计算，公式(2)如
下：
[0110][0111]
其中，f
x
(x)表示累积概率分布值，i表示图像帧的帧序号，m(xi)表示归一化值，xi表示图像帧，f
x
(0)＝0，f
x
(xn)＝1，n＝t，表示目标视频帧序列的总帧数。
[0112]
在一些实施例中，上述s1022还可以通过s301-s302实现，图5是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将结合图5中的步骤进行说明。
[0113]
s301、针对每个归一化值，对该归一化值进行增强处理，得到该归一化值对应的增强值。
[0114]
在一些实施例中，对于每个归一化值，电子设备可以对该归一化值进行增强处理，从而得到该归一化值对应的增强值。
[0115]
在一些实施例中，上述s301可以通过以下方式实现：采用多个预设次方值中的目标次方值，对每个归一化值进行增强处理，得到每个归一化值对应的增强值；相应地，上述s103可以通过以下方式实现：基于多个增强值一一对应的多个累积概率分布值，确定累积运动差分分布曲线；基于累积运动差分分布曲线，对目标视频帧序列进行图像帧采样，得到关键图像帧。
[0116]
这里，电子设备可以从多个预设次方值中，确定出目标次方值，并采用目标次方值对每个归一化值进行增强处理，得到每个归一化值对应的增强值，之后，根据多个增强值一一对应的多个累积概率分布值，绘制累积运动差分分布曲线，并基于累积运动差分分布曲线对目标视频帧序列进行图像帧采样，得到关键图像帧，以用于任务识别。
[0117]
这里，多个预设次方值为预先设置的，且可根据实际需要设定。在一些实施例中，电子设备可以采用多个预设次方值中的每个预设次方值，对每个归一化值进行增强处理，得到每个归一化值对应的增强值，并根据得到的增强值对应的累积概率分布值，绘制累积运动差分分布曲线，从而根据绘制出的与多个预设次方值一一对应的累积运动差分分布曲线的斜率(即所展示的物体的运动差分分布情况的显著程度)，从这多个预设次方值中选取目标次方值。示例性的，预设次方可以采用μ表示；图6为根据0.1、0.3、0.5、0.8、1和2，这6个不同的μ得到的不同的增强值的累积概率分布值所绘制出的6条不同的累积运动差分分布曲线，其中，纵坐标为累积概率分布值，横坐标为目标视频帧序列中的所有图像帧的帧序号，如图6所示，当μ不同时，对应的累积运动差分分布曲线的斜率也不同，从而使得累积运动差分分布曲线所展示的物体的运动差分分布情况的显著程度也不同；从而，电子设备可以根据累积运动差分分布曲线所展示的物体的运动差分分布情况的显著程度，从多个不同μ中选取一个μ。示例性的，根据图6可知，当μ＝0.5时，累积运动差分分布曲线所展示的物体的运动差分分布情况的显著程度适中，因而可以选μ＝0.5。在另一些实施例中，也可以选其他μ。
[0118]
在一些实施例中，上述s301可以通过s3011～s3012实现：
[0119]
s3011、对于每个归一化值，确定该归一化值的目标次方值，得到第一数值；对各个归一化值的第一数值进行求和，得到第二数值。
[0120]
s3012、将该归一化值的第一数值与第二数值之间的比值，确定为该归一化值对应的增强值。
[0121]
这里，对于每个归一化值，电子设备可以采用下述公式(3)确定出该归一化值对应的增强值，公式(3)如下：
[0122][0123]
其中，表示增强值，m
t
表示归一化值，t表示图像帧的帧序号，t∈{2,3,...,t}，μ表示目标次方值，t表示目标视频帧序列的总帧数。
[0124]
s302、针对每个增强值，确定该增强值对应的累积概率分布值，从而得到多个帧差对应的多个累积概率分布值。
[0125]
电子设备在得到目标视频帧对应的多个归一化值所对应的增强值之后，对于每个增强值而言，可以根据这多个归一化值对应的多个增强值，计算出该增强值的累积概率分布值，从而对于与这多个增强值对应的多个归一化值而言，可以得到一一对应的多个累积概率分布值，而由于多个归一化值与多个帧差一一对应，从而也得到了与多个帧差一一对应的多个累积概率分布值。
[0126]
在一些实施例中，上述s302可以采用下述方法实现：根据多个帧差的获得顺序，对与多个帧差对应的多个增强值进行排序，得到排序结果；对于每个增强值而言，根据排序结果，确定出该增强值与排列在该增强值之前的增强值之间的数值之和，得到该增强值对应的累积概率分布值，从而得到与多个增强值对应的多个累积概率分布值。
[0127]
这里，多个帧差与多个归一化值一一对应，且多个归一化值与多个增强值一一对应，所以，多个帧差与多个增强值一一对应。电子设备在得到目标视频帧序列对应的所有增强值之后，可以根据增强值对应的帧差的获得顺序(电子设备会先获得帧序号小的相邻图像帧对应的帧差，后获得帧序号大的相邻图像帧对应的帧差)，对增强值进行同样的排序，并在排序完成后，根据排序情况采用下述公式(4)进行每个增强值对应的累积概率分布值的计算，公式(4)如下：
[0128][0129]
其中，f
x
(x)表示累积概率分布值，i表示图像帧的帧序号，表示增强值，xi表示图像帧，f
x
(0)＝0，f
x
(xn)＝1，n＝t，表示目标视频帧序列的总帧数。
[0130]
本公开实施例中，通过对每个归一化值进行增强处理，得到每个归一化值对应的增强值，并对每个增强值进行累计概率分布处理，得到每个增强值对应的累积概率分布值，可以放大图像帧之间的信息差，使得多个累积概率分布值所表征的相邻图像帧之间的累积运动差分分布情况更显著，从而有利于后续的关键帧采样。
[0131]
在一些实施例中，上述s103可以通过s1031-s1032实现，图7是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将以图5中的s103可以通过s1031-s1032实现为例，结合图7中的步骤进行说明。
[0132]
s1031、基于多个累积概率分布值，确定累积运动差分分布曲线；累积运动差分分布曲线的纵坐标为多个累积概率分布值组成的概率分布值范围，横坐标为目标视频帧序列中的图像帧的标识；其中，概率分布值范围中的每个概率分布值与目标视频帧序列中的一
个图像帧对应。
[0133]
电子设备在得到目标视频帧序列对应的多个累积概率分布值的情况下，可以采用得到的所有累积概率分布值绘制曲线，从而得到纵坐标为多个累积概率分布值组成的概率分布值范围，且横坐标为目标视频帧序列中的图像帧的标识的累积运动差分分布曲线；其中，可以根据这多个累积概率分布值中的最大值和最小值，得到这多个累积概率分布值组成的概率分布值范围([0,1])，并且概率分布值范围中的每个概率分布值与目标视频帧序列中的一个图像帧对应。
[0134]
示例性的，累积概率分布值绘制曲线的横坐标可以为目标视频帧序列中的图像帧的帧序号；图8为根据多个累积概率分布值，绘制的累积运动差分分布曲线。如图8所示，纵坐标表示概率分布值范围，横坐标表示目标视频帧序列中的图像帧的帧序号；累积运动差分分布曲线m由该某个目标视频帧序列对应的多个累积概率分布值绘制成。根据图8可知，该某个目标视频帧序列中的每个图像帧，与对应的概率分布值范围中的每个概率分布值之间是唯一对应关系。
[0135]
s1032、基于累积运动差分分布曲线，从目标视频帧序列中采样第一预设数量的图像帧，得到关键图像帧，以用于任务识别。
[0136]
电子设备在得到概率分布值范围之后，可以以概率值范围为依据，从目标视频帧序列中采样出第一预设数量的图像帧，从而得到目标视频帧序列的关键图像帧。
[0137]
在一些实施例中，电子设备可以从概率值范围中选出多个概率值，并将与选出的概率值对应的多个图像帧作为采样到的关键图像帧。
[0138]
在一些实施例中，上述s1032可以通过s401-s402实现，图9是本公开实施例提供的视频帧选取方法的一个可选的流程示意图，将结合图9中的步骤进行说明。
[0139]
s401、将概率分布值范围均匀划分为第一预设数量的子范围，并确定每个子范围对应的图像帧。
[0140]
s402、将与第一预设数量的子范围对应的第一预设数量的图像帧，确定为关键图像帧，以用于任务识别。
[0141]
在一些实施例中，电子设备可以将概率分布值范围等分为第一预设数量的子范围，并确定出每个子范围的最大值，得到第一预设数量的最大值，之后，根据概率分布值范围中，每个概率分布值与目标视频帧序列中的图像帧之间的对应关系，确定出每个最大值对应的图像帧，从而得到第一预设数量的子范围对应的第一预设数量的图像帧，并将这第一预设数量的图像帧作为从目标视频帧序列中采样出的关键图像帧。
[0142]
这里，第一预设数量可以根据实际需要设定，例如，可以是8或10等，本公开实施例对此不作限定。
[0143]
示例性的，图10是本公开实施例提供的示例性的根据累积运动差分分布曲线，从目标视频帧序列中采样n个关键图像帧的示意图。如图10所示，将概率分布值范围[0,1]划分为n个子范围：[0,1/n]、(1/n,i-1/n]、(i-1/n,i/n]、(i/n,n-1/n]、(n-1/n,1]，并确定出每个子范围中的最大值，得到n个最大值:1/n、i-1/n、i/n、n-1/n、1)；之后，通过累积运动差分分布曲线，确定与n个最大值一一对应的图像帧的帧序号，便得到了n个关键图像帧。
[0144]
为方便说明，图11a、图11b和图11c分别示出了与三个不同的目标视频帧序列一一对应的三个不同的对应的累积运动差分分布曲线，以及基于累积运动差分分布曲线，采用
上述s401-s402所述的方法，通过将概率分布值范围均匀划分为8个子范围而从三个不同的目标视频帧序列中分别采集出的8个关键图像帧。如图11a、图11b和图11c所示，采集出的这三类8个关键图像帧均是行人的运动发生变化时的图像帧，使得后续的任务识别模型(例如，行为识别模型等)可以根据采样出图像帧，准确识别到目标事件(例如，摔倒等)。
[0145]
本公开还提供一种视频帧选取装置，图12为本公开实施例提供的视频帧选取装置的结构示意图；如图12所示，视频帧选取装置1包括：确定单元11，用于确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和，得到所述每一组相邻图像帧对应的帧差；确定与所述目标视频帧序列的多组相邻图像帧的多个帧差对应的多个累积概率分布值；所述多个累积概率分布值表征对应的多组相邻图像帧之间的累积运动差分分布情况；采样单元12，用于基于所述多个累积概率分布值，对所述目标视频帧序列进行图像帧采样，得到关键图像帧，以用于目标检测。
[0146]
在本公开的一些实施例中，所述确定单元11，还用于确定所述目标视频帧序列中，每一组相邻图像帧中每个对应像素点之间的像素差值，得到与所述像素点的数量一致的像素差值；将与所述像素点的数量一致的像素差值求和，得到所述每一组相邻图像帧对应的所述帧差。
[0147]
在本公开的一些实施例中，所述视频帧选取装置1还包括获取单元13，所述获取单元13，用于在所述确定目标视频帧序列中每一组相邻图像帧的像素点的差值之和之前，获取目标场景的视频序列；所述确定单元11，还用于将所述视频序列中与预设时间窗口对应的连续图像帧，确定为所述目标视频帧序列；或，在从所述视频序列中获取到第二预设数量的连续图像帧的情况下，将所述第二预设数量的连续图像帧确定为所述目标视频帧序列。
[0148]
在本公开的一些实施例中，所述确定单元11，还用于对所述目标视频帧序列的多组相邻图像帧的多个帧差中的每个帧差进行归一化处理，得到所述每个帧差对应的归一化值；确定每个归一化值对应的累积概率分布值，从而得到所述多个帧差对应的所述多个累积概率分布值。
[0149]
在本公开的一些实施例中，所述确定单元11，还用于对所述每个归一化值进行增强处理，得到所述每个归一化值对应的增强值；确定所述增强值对应的所述累积概率分布值。
[0150]
在本公开的一些实施例中，所述确定单元11，还用于采用多个预设次方值中的目标次方值，对所述每个归一化值进行增强处理，得到所述每个归一化值对应的所述增强值；所述采样单元12，还用于基于多个所述增强值一一对应的多个所述累积概率分布值，确定累积运动差分分布曲线；基于所述累积运动差分分布曲线，对所述目标视频帧序列进行图像帧采样，得到关键图像帧。
[0151]
在本公开的一些实施例中，所述确定单元11，还用于对于所述每个归一化值，确定所述每个归一化值的所述目标次方值，得到第一数值；对各个归一化值的第一数值进行求和，得到第二数值；将所述每个归一化值的所述第一数值与所述第二数值之间的比值，确定为所述每个归一化值对应的所述增强值。
[0152]
在本公开的一些实施例中，所述确定单元11，还用于根据所述多个帧差的获得顺序，对与所述多个帧差对应的多个归一化值进行排序，得到排序结果；根据所述排序结果，确定出每个归一化值与排列在所述每个归一化值之前的归一化值之间的数值之和，得到所
述每个归一化值对应的所述累积概率分布值，从而得到所述多个归一化值对应的所述多个累积概率分布值。
[0153]
在本公开的一些实施例中，所述采样单元12，还用于基于所述多个累积概率分布值，确定累积运动差分分布曲线；所述累积运动差分分布曲线的纵坐标为所述多个累积概率分布值组成的概率分布值范围，横坐标为所述目标视频帧序列中的图像帧的标识；其中，所述概率分布值范围中的每个概率分布值与所述目标视频帧序列中的一个图像帧对应；基于所述累积运动差分分布曲线，从所述目标视频帧序列中采样第一预设数量的图像帧，得到所述关键图像帧。
[0154]
在本公开的一些实施例中，所述采样单元12，还用于将所述概率分布值范围均匀划分为所述第一预设数量的子范围，并确定每个子范围对应的图像帧；将与所述第一预设数量的子范围对应的所述第一预设数量的图像帧，确定为所述关键图像帧。
[0155]
本公开实施例还提供一种电子设备，图13为本公开实施例提供的电子设备的结构示意图，如图13所示，电子设备2包括：存储器21和处理器22，其中，存储器21和处理器22通过通信总线23连接；存储器21，用于存储可执行计算机程序；处理器22，用于执行存储器21中存储的可执行计算机程序时，实现本公开实施例提供的视频帧选取方法。
[0156]
本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器22执行时，实现本公开实施例提供的视频帧选取方法。
[0157]
在本公开的一些实施例中，存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
[0158]
在本公开的一些实施例中，计算机程序可以采用软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
[0159]
作为示例，计算机程序可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(html，hyper text markup language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
[0160]
作为示例，计算机程序可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
[0161]
综上，采用本技术实现方案，由于是根据目标视频帧序列中相邻图像帧之间的累积运动差分分布情况，来采样出一些图像帧，且相邻图像帧之间的累积运动差分分布情况能够反映图像帧中的物体的运动变化情况，所以，根据目标视频帧序列的相邻图像帧之间的累积运动差分分布情况，能够采样出图像帧中物体的运动变化时的图像帧，使得采样出的图像帧是有效且准确的，实现了对视频帧序列的自适应采样；同时，相比于现有技术中通过固定采样间隔进行帧采样而言，不会因检测周期设置的太大(即固定帧数下采样间隔过大)，而造成信息缺失，可以允许设置更大的检测周期，从而有利于实现更好的长视频理解和行为事件的识别；以及，相比于现有技术中通过固定采样间隔进行帧采样而言，还允许采
样出较少的图像帧以用于后续的任务识别，从而有利于提高后续任务识别时的精度和效率。
[0162]
以上，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。