一种视频片段抽取方法、装置、设备及存储介质与流程

1.本公开涉及数据处理技术领域，尤其涉及视频处理技术领域，进一步涉及一种视频片段抽取方法、装置、设备及存储介质。


背景技术：

2.体育比赛的视频中一般不仅包括比赛过程中各回合的回合视频片段，还有可能包括参赛人员休息的视频片段、回放视频片段等。而用户在观看体育比赛的视频时，可能更加关注比赛过程，因此，可能会希望集中注意力观看比赛回合视频片段，而跳过参赛人员休息的视频片段、回放视频片段等。为此，需要从体育比赛的视频中抽取比赛回合视频片段。


技术实现要素：

3.本公开提供了一种用于视频片段抽取方法、装置、设备及存储介质。
4.根据本公开的一方面，提供了一种视频片段抽取方法，包括：
5.对体育比赛视频的视频帧进行计分牌区域检测；
6.根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；
7.根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；
8.根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。
9.根据本公开的一方面，提供了一种视频片段抽取装置，包括：
10.区域检测模块，用于对体育比赛视频的视频帧进行计分牌区域检测；
11.时刻确定模块，用于根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；
12.时间段获得模块，用于根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；
13.视频片段抽取模块，用于根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。
14.根据本公开的一方面，提供了一种电子设备，包括：
15.至少一个处理器；以及
16.与所述至少一个处理器通信连接的存储器；其中，
17.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行视频片段抽取的方法。
18.根据本公开的一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介
质，其中，所述计算机指令用于使所述计算机执行视频片段抽取的方法。
19.根据本公开的一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行视频片段抽取的方法。
20.由以上可见，应用本公开的实施例提供的方案抽取视频片段时，首先根据存在计分牌区域的视频帧的第一播放时刻，在第一候选时间段中，获得了各回合视频片段的发生时间段，然后根据上述发生时间段抽取得到各回合视频片段，因此，不需要人工识别回合视频片段，也不需要手动抽取回合视频片段，进而提高了抽取视频片段的效率。
21.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
22.附图用于更好地理解本方案，不构成对本公开的限定。其中：
23.图1为本公开的实施例提供的第一种视频片段抽取方法的流程示意图；
24.图2为本公开的实施例提供的视频帧示意图；
25.图3为本公开的实施例提供的第二种视频片段抽取方法的流程示意图；
26.图4为本公开的实施例提供的第三种视频片段抽取方法的流程示意图；
27.图5为本公开的实施例提供的第四种视频片段抽取方法的流程示意图；
28.图6为本公开的实施例提供的第一种视频片段抽取装置的结构示意图；
29.图7为本公开的实施例提供的第二种视频片段抽取装置的结构示意图；
30.图8为本公开的实施例提供的第三种视频片段抽取装置的结构示意图；
31.图9是用来实现本公开实施例的视频片段抽取方法的电子设备的框图。
具体实施方式
32.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
33.由于相关技术中抽取回合视频片段时，是人工识别回合视频片段，并手动抽取回合视频片段，这样抽取回合视频片段费时费力、效率低。所以，本公开实施例提供了一种视频片段抽取方法、装置、设备及存储介质。
34.本公开的一个实施例中，提供了一种视频片段抽取方法，该方法包括：
35.对体育比赛视频的视频帧进行计分牌区域检测；
36.根据检测到的计分牌区域，确定体育比赛视频中比分发生变化的第一时刻；
37.根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，第一候选时间段包括：体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；
38.根据每一回合视频片段的发生时间段，从体育比赛视频中抽取回合视频片段。
39.可见本公开实施例提供的方案中，首先根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，获得了各回合视频片段的发生时间段，然后根据上述发生时
间段抽取得到各回合视频片段，因此，不需要人工识别回合视频片段，也不需要手动抽取回合视频片段，进而提高了抽取视频片段的效率。
40.除此之外，第一时刻是比赛过程中比分发生变化的时刻，比分发生变化后，表示比赛开启新的比赛回合，所以，第一时刻与回合视频片段的发生时间段具有关联性；第一播放时间段是存在计分牌区域的视频帧的播放时间段，视频帧中存在计分牌区域表示比赛正在进行的概率较高，所以，第一播放时间段也与回合视频片段的发生时间段具有关联性；鉴于上述思考，本公开实施例提出根据与第一时刻相关的第一候选时间段和第一播放时间段，获得回合视频片段的发生时间段，从而提高了所获得发生时间段的准确性，进而提高了所抽取回合视频片段的准确性。
41.下面对本公开实施例的应用场景进行说明。
42.本公开实施例提供的方案应用于对体育比赛视频的回合视频片段进行抽取的场景。
43.上述体育比赛视频可以是排球比赛视频，当然也可以是其他与排球比赛规则类似的体育比赛视频。
44.以排球比赛视频为例，排球运动员在比赛场地准备好后，裁判第一次吹哨，第一个比赛回合开始，排球运动员调整姿势并发球，双方运动员传球。在裁判第一次吹哨后，排球比赛视频的视频帧中可能会马上出现计分牌区域，也有可能间隔一个小的时间段出现计分牌区域。随着比赛进行，球落地，裁判第二次吹哨，第一个比赛回合结束，一方得分，由于调整双方比分需要时间，所以，在裁判第二次吹哨后间隔一个小的时间段，计分牌区域的比分才发生变化。回放第一个比赛回合的精彩片段，此时可以只回放画面，不回放声音。裁判第三次吹哨，第二个比赛回合开始，回放结束。由于结束回放需要一定的反应时间，所以，在裁判第三次吹哨之后，可能会间隔一个小的时间段，才能从回放画面切换至比赛画面，正因如此，可能不会显示第二个比赛回合过程中排球运动员发球的画面。回放结束切换至比赛画面后，视频帧中显示计分牌区域，随着比赛进行，球再次落地，第二个比赛回合结束，裁判第四次吹哨，间隔一个小的时间段计分牌区域中比分发生变化。
45.本公开实施例仅以上述为例说明排球比赛的过程，实际比赛过程中可能会在细节处存在差异。
46.以下对本公开实施例提供的视频片段抽取方法进行详细说明。
47.参见图1，图1为本公开的实施例提供的第一种视频片段抽取方法的流程示意图，上述方法包括以下步骤s101
‑
s104。
48.步骤s101：对体育比赛视频的视频帧进行计分牌区域检测。
49.计分牌区域是指：视频帧中显示比赛比分的计分牌所在的区域。
50.以图2为例，图2为排球比赛视频的视频帧，左上角白色矩形框区域为计分牌区域，该区域中显示了比赛的比分。
51.对计分牌区域进行检测时，一种实现方式中，可以对体育比赛视频的每一视频帧进行计分牌区域检测，另一种实现方式中，考虑到视频帧数据量较大，且相邻视频帧之间在画面内容上具有较强的关联性，也可以对体育比赛视频中间隔预设帧数的视频帧进行计分牌区域检测，例如，上述预设帧数可以是2、3、4、5等。
52.可选的，对于一帧视频帧而言，可以提取该视频帧的图像特征，确定上述图像特征
中与预先获得的计分牌区域的特征相匹配的特征，将视频帧中与所确定特征对应的图像区域，作为视频帧中的计分牌区域。
53.上述图像特征可以是视频帧的颜色特征、纹理特征、边缘特征等。
54.步骤s102：根据检测到的计分牌区域，确定体育比赛视频中比分发生变化的第一时刻。
55.由于计分牌区域中记录了比赛的比分，所以，可以识别计分牌区域中的比分，确定比分发生变化的相邻视频帧，根据上述相邻视频帧的播放时刻，确定体育比赛视频中比分发生变化的第一时刻。
56.一种实现方式中，可以从相邻视频帧的播放时刻中，选择在时间顺序上靠后的播放时刻作为上述第一时刻；也可以选择在时间顺序上靠前的播放时刻作为上述第一时刻。
57.例如：假设相邻视频帧的播放时刻包括00:10:00和00:10:04，00:10:04为在时间顺序上靠后的播放时刻，第一时刻可以为00:10:04，00:10:00为在时间顺序上靠前的播放时刻，第一时刻也可以为00:10:00。
58.另一种实现方式中，还可以计算相邻视频帧的播放时刻的平均值，将该平均值作为上述第一时刻。
59.沿用上述举例00:10:00和00:10:04的平均值为00:10:02，所以，第一时刻可以为00:10:02。
60.除上述实现方式外，还可以通过其他实现方式确定上述第一时刻，具体可以参见下述图4所示实施例，这里暂不详述。
61.步骤s103：根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段。
62.上述第一候选时间段包括：体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段。
63.上述第一时刻中最早时刻是指：在时间顺序上最前的第一时刻。上述相邻两个第一时刻是指：在时间顺序上相邻的两个第一时刻。
64.可选的，可以按照时间排列顺序，对体育比赛视频的开始时刻和各第一时刻进行排序，得到第一时刻中最早时刻，以及相邻两个第一时刻，从而确定开始时刻与第一时刻中最早时刻间的时间段，以及相邻两个第一时刻间的时间段。
65.例如，按照时间顺序排列各第一时刻分别为：00:01:00、00:10:00、00:20:00、00:30:00，在时间顺序上最前的时刻为00:01:00，所以00:01:00为第一时刻中最早时刻。在时间顺序上00:01:00与00:10:00相邻，00:10:00与00:20:00相邻，00:20:00与00:30:00相邻，所以，相邻两个第一时刻分别为：00:01:00与00:10:00、00:10:00与00:20:00、00:20:00与00:30:00。体育比赛视频的开始时刻00:00:00位于各个第一时刻之前，所以，各第一候选时间段分别为：00:00:00
‑
00:01:00、00:01:00
‑
00:02:00、00:02:00
‑
00:03:00、00:03:00
‑
00:04:00。
66.上述回合视频片段为：描述比赛过程中一个回合的视频片段。
67.比赛过程中，当比分发生变化时，表示一个比赛回合结束，新的比赛回合开启，所以，上述第一时刻与回合视频片段的发生时间段具有关联性。又由于上述第一候选时间段是与第一时刻相关的，所以，第一候选时间段也与回合视频片段的发生时间段具有关联性。
68.视频帧中存在计分牌区域表示比赛正在进行的概率较高，由于第一播放时间段是存在计分牌区域的视频帧的播放时间段，所以，可以认为第一播放时间段内进行比赛的概率较高，是各个比赛回合进行过程中的时间段，进而可以认为第一播放时间段与回合视频片段的发生时间段具有关联性。
69.由以上可见，第一候选时间段和第一播放时间段均与回合视频片段的发生时间段具有关联性，因此，根据第一播放时间段，在第一候选时间段中能够获得回合视频片段的发生时间段。
70.本公开的一种实现方式中，针对每一第一候选时间段，可以确定该第一候选时间段内与第一播放时间段重叠的子时间段，将所确定的子时间段确定为一个回合视频片段的发生时间段。
71.可见上述实现方式中是根据第一播放时间段，在第一候选时间段内直接确定各个回合视频片段的发生时间段的，还可以通过其他方式获得上述发生时间段，具体参见后续图3所示实施例，在此不进行详述。
72.步骤s104：根据每一回合视频片段的发生时间段，从体育比赛视频中抽取回合视频片段。
73.可选的，可以确定体育比赛视频中与上述发生时间段的开始时刻相对应的第一数据，并确定体育比赛视频中与上述发生时间段的结束时刻相对应的第二数据，从体育比赛视频中抽取第一数据至第二数据间的数据，得到回合视频片段。
74.例如，可以根据体育比赛视频中携带的时间戳，确定体育比赛视频中与上述发生时间段的开始时刻相对应的第一数据，以及与上述发生时间段的结束时刻相对应的第二数据。
75.由以上可见，应用本公开的实施例提供的方案中，首先根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，获得了各回合视频片段的发生时间段，然后根据上述发生时间段抽取得到各回合视频片段，因此，不需要人工识别回合视频片段，也不需要手动抽取回合视频片段，进而提高了抽取视频片段的效率。
76.除此之外，第一时刻是比赛过程中比分发生变化的时刻，比分发生变化后，表示比赛开启新的比赛回合，所以，第一时刻与回合视频片段的发生时间段具有关联性；第一播放时间段是存在计分牌区域的视频帧的播放时间段，视频帧中存在计分牌区域表示比赛正在进行的概率较高，所以，第一播放时间段也与回合视频片段的发生时间段具有关联性；鉴于上述思考，本公开实施例提出根据与第一时刻相关的第一候选时间段和第一播放时间段，获得回合视频片段的发生时间段，从而提高了所获得发生时间段的准确性，进而提高了所抽取回合视频片段的准确性。
77.随着比赛进行，除了比分发生变化外，裁判还有可能针对比赛过程中出现的各种情况作出处置动作，例如，吹哨。鉴于此，不同于前述步骤s103处根据第一播放时间段，在第一候选时间段中直接确定各个回合视频片段的发生时间段，还可以在第一播放时间段的基础上，结合体育比赛视频中出现哨声的时刻，确定各回合视频片段的发生时间段。
78.鉴于上述情况，本公开的一个实施例中，参见图3，提供了第二种视频片段抽取方法的流程示意图，与前述图1所示实施例相比，上述方法还包括以下步骤s105
‑
步骤s106。
79.步骤s105：获得体育比赛视频的音频数据。
80.由于视频是对视频帧数据和音频数据进行系统层封装得到的流数据，因此，可以使用解码工具对上述体育比赛视频进行解码，从上述体育比赛视频中解码出音频数据。例如，上述解码工具可以为：ffmpeg(fast forward mpeg)等，具体解码工具可以依据视频采用的编码标准选定。
81.步骤s106：对音频数据进行哨声识别，获得体育比赛视频中出现哨声的第二时刻。
82.在体育比赛过程中，裁判会通过吹哨示意一个比赛回合开始，或者一个比赛回合结束，因此，对音频数据进行哨声识别得到的第二时刻能够表征回合视频片段的开始时刻或结束时刻。
83.一种实现方式中，可以对音频数据进行频域变换，得到音频数据的频域信息，然后根据上述频域信息进行哨声识别，得到上述第二时刻。
84.例如，可以确定上述频域信息中频率大于预设频率阈值的信息，将所确定信息对应的音频数据的音频播放时刻，作为上述第二时刻。
85.另一种实现方式中，可以获得音频数据的能量谱分布信息，根据能量谱分布信息确定上述第二时刻。
86.例如，可以根据能量谱分布信息，确定音频数据中能量发生突变的音频数据段，如，预设时间段内能量变化量大于预设能量阈值，将所确定音频数据段对应的播放时刻，作为上述第二时刻。
87.再一种实现方式中，还可以基于网络模型确定上述第二时刻，具体实现方式可以参见后续步骤b1
‑
b3，这里暂不详述。
88.在上述步骤s106获得第二时刻的基础上，在上述步骤s103中，可以按照步骤s1031
‑
s1032实现。
89.步骤s1031；将每一第一候选时间段内两个相邻第二时刻之间的时间段确定为第二候选时间段。
90.可选的，可以针对每一第一候选时间段，从各第二时刻中确定位于该第一候选时间段内的两个相邻第二时刻，将两个相邻第二时刻之间的时间段确定为第二候选时间段。
91.例如：第一候选时间段为：00:10:00
‑
00:20:00，第二时刻包括：00:02:00、00:08:00、00:12:00、00:18:00、00:22:00、00:28:00，可以确定位于上述第一候选时间段内的两个相邻第二时刻为：00:12:00、00:18:00，上述两个相邻第二时刻之间的时间段为00:12:00
‑
00:18:00，所以第二候选时间段为00:12:00
‑
00:18:00。
92.由于第二时刻能够表征回合视频片段的开始时刻或结束时刻，根据第一候选时间段内两个相邻第二时刻确定的第二候选时间段，能够使得回合视频片段的发生时间段进一步被细化，第二候选时间段对回合视频片段的发生时间具有更强的表征性。
93.步骤s1032：根据存在计分牌区域的视频帧的第一播放时间段，获得每一第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为各回合视频片段的发生时间段。
94.可选的，针对每一第二候选时间段，可以根据第一播放时间段，获得该第二候选时间段内存在计分牌区域的视频帧连续出现的子时间段，将上述子时间段确定为一个回合视频片段的发生时间段。
95.例如：第二候选时间段为：00:12:00
‑
00:18:00，根据第一播放时间段确定的存在计分牌区域的视频帧连续出现的子时间段为：00:12:20
‑
00:17:15，这时上述发生时间段
为：00:12:20
‑
00:17:15。
96.由以上可见，本实施例提供的方案中，确定回合视频片段的发生时间段时，首先基于比分发生变化的第一时刻，初步确定出回合视频发生的第一候选时间段，为防止第一候选时间段不够精确，例如，第一候选时间段内存在比赛人员休息、回放等情况，本实施例中还引入了出现哨声的第二时刻，基于第二时刻在第一候选时间段内确定第二候选时间段，使得回合视频发生的时间进一步被细化，最后在第二候选时间段的基础上，进一步确定了存在计分牌区域的视频帧对应的时间段，作为回合视频片段发生的时间段。可见，本实施例提供的方案中，根据第一播放时间段和第二时刻不断细化回合视频片段发生的时间段，使得最终得到的发生时间段更加精确。
97.在确定回合视频片段的发生时间时，除了上述步骤s1032处提及的根据存在计分牌区域的视频帧连续出现的子时间段确定外，还可以考虑不存在计分牌区域的视频帧出现的时间段。基于此，本公开的一个实施例中，上述步骤s1032，可以按照以下步骤a1
‑
a3实现。
98.步骤a1：根据存在计分牌区域的视频帧的第一播放时间段，确定体育比赛视频中不包含计分牌区域的视频帧对应的第二播放时间段。
99.由于第一播放时间段为存在计分牌区域的视频帧的播放时间段，体育比赛视频包括的视频帧中，除上述存在计分牌区域的视频帧外，即为不存在计分牌区域的视频帧。因此，体育比赛视频的整个播放时间中，除第一播放时间段外，即为不存在计分牌区域的视频帧的第二播放时间段。
100.可选的，确定第二播放时间段时，可以以第二候选时间段为单位进行。
101.步骤a2：获得第二播放时间段中时长大于预设时长阈值的目标时间段。
102.上述预设时长阈值可以由工作人员根据经验设定，例如：上述预设时长阈值可以为1s、2s、4s、5s等。
103.受计分牌区域检测算法、检测精度等因素的影响，计分牌区域的检测结果可能会存在误差，从而导致未从原本存在计分牌区域的视频帧中检测出计分牌区域。为防止这一情况影响回合视频片段的抽取精度，可以不挑选时长过短的第二播放时间段作为目标时间段，也就是，若不存在计分牌区域的视频帧连续出现的时长过短，则认为这些视频帧可能为存在计分牌区域的视频帧。
104.步骤a3：针对每一第二候选时间段，从该第二候选时间段中排除目标时间段，得到该第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为一个回合视频片段的发生时间段。
105.例如：第二候选时间段为：00:12:00
‑
00:18:00，目标时间段为00:12:00
‑
00:12:30；则从第二候选时间段中排除上述目标时间段后，所得时间段为：00:12:30
‑
00:18:00；这样一个回合视频片段的发生时间段包括：00:12:30
‑
00:18:00。
106.由以上可见，本实施例提供的方案中在确定回合视频片段的发生时间段时，并不是根据第一播放时间段直接确定包含计分牌区域的视频帧对应的时间段，而是反向考虑，根据第一播放时间段确定的是不包含计分牌区域的视频帧对应的第二播放时间段，并且在基于第二播放时间段确定回合视频片段的发生时间段时，也没有考虑第二播放时间段中时长较短的时间段，由于时长较短的第二播放时间段有可能是计分牌区域检测算法、检测精度等原因引起的，因此，应用本实施例提供的方案确定回合视频片段的发生时间段，能够有
效排除计分牌区域检测误差对确定回合视频片段的发生时间产生的影响，从而提高所确定发生时间段的准确度。
107.为提高哨声识别准确度，进而提高所获得的第二时刻的准确度，本公开的一个实施例中，上述步骤s106，可以按照以下步骤b1
‑
步骤b3实现。
108.步骤b1：将音频数据按照预设时间间隔切分，得到至少一个音频段。
109.上述预设间隔可以由工作人员根据经验设定，例如：上述预设间隔可以0.5s、1s等。
110.可选的，可以从音频数据的开始时刻起，按照预设间隔对音频数据进行切分，得到时长为上述预设间隔的时长的各音频段。
111.步骤b2：分别将各个音频段输入预先训练的哨声识别模型进行哨声识别，得到各个音频段中出现哨声的置信度。
112.上述哨声识别模型为：采用样本音频段和样本音频段的第一标注信息，对第一预设神经网络模型进行训练得到的、用于进行哨声识别的二分类模型，上述第一标注信息表征样本音频段中是否出现哨声。
113.上述第一预设神经网络模型可以为cnn(conv neural network，卷积神经网络)、rnn(recurrent neural network，循环神经网络)等。
114.在训练上述第一预设神经网络模型的过程中，可以以样本音频段的第一标注信息为训练基准，将样本音频段输入第一预设神经网络模型，第一预设神经网络模型对样本音频段进行哨声识别，输出样本音频段中出现哨声的置信度，将上述置信度表征的样本音频段中是否出现哨声的结果与第一标记信息进行对比，依据对比结果调整第一预设神经网络模型的参数，重复上述过程，直至满足预设的训练结束条件，得到哨声识别模型。
115.上述预设的训练结束条件可以为训练次数达到预设次数、第一预设神经网络模型的参数满足预设收敛条件等。
116.步骤b3：选择置信度大于预设置信度阈值的音频段，根据所选择音频段的播放时间段，获得体育比赛视频中出现哨声的第二时刻。
117.上述置信度用于表征音频段中出现哨声的可能性。当置信度越大，表示该音频段中出现哨声的可能性越高，当置信度越小，表示该音频段中出现哨声的可能性越低。
118.上述预设置信度阈值可以由工作人员根据经验设定，例如：预设置信度阈值可以为9、9.5等。
119.可选的，在获得体育比赛视频中出现哨声的第二时刻时，一种实施方式中，可以从所选择的音频段的播放时间段中，选择一时刻，作为上述第二时刻；还可以计算所选择音频段的播放时间段开始时刻和结束时刻的平均值，将该平均值确定为第二时刻。
120.由以上可见，本实施例提供的方案中，是通过预先训练的网络模型获得体育比赛视频中出现哨声的第二时刻的，上述哨声识别模型是采用大量样本音频段进行训练得到的，因此，哨声识别模型能够学习到样本音频段中出现哨声的特征，进而哨声识别模型输出的各个音频段中出现哨声的置信度的准确度较高，这样根据上述置信度获得的体育比赛视频中出现哨声的第二时刻准确度也较高。
121.为提高所确定的第一时刻的准确度，本公开的一个实施例中，参见图4，提供了第三种视频片段抽取方法的流程示意图，在上述图1所示实施例的基础上，上述步骤s102包括
以下步骤s1021
‑
s1023。
122.步骤s1021：对检测到的计分牌区域进行字符识别，得到各个计分牌区域内记录的比分。
123.一种方式中，可以采用ocr(optical character recognition,光学字符识别)技术对计分牌区域进行字符识别。可选的，可以预先训练基于ocr技术的ocr识别模型，然后通过上述ocr识别模型对计分牌区域进行字符识别。
124.另一种方式中，可以提取计分牌区域中文字的语义特征，根据语义特征确定上述比分。
125.步骤s1022：在存在计分牌区域的视频帧中，检测相邻视频帧中计分牌区域内记录的比分发生变化的视频帧对。
126.上述相邻视频帧是指：存在计分牌区域、且播放时刻相邻的视频帧。
127.例如：存在计分牌区域、且按照视频播放顺序排列的视频帧包括：p1、p2、p3、p4、p5，那么相邻视频帧包括：p1
‑
p2、p2
‑
p3、p3
‑
p4、p4
‑
p5。
128.可选的，可以根据存在计分牌区域的各视频帧的播放时刻，确定相邻视频帧，比较相邻视频帧中两个视频帧对应的比分是否相等，若相等，表示上述相邻视频帧对应的比分未发生变化；若不相等，表示上述相邻视频帧对应的比分发生变化，从而将上述相邻视频帧确定为视频帧对。
129.例如：沿用上述例子，各视频帧中计分牌区域内记录的比分如下表1所示。
130.表1
131.p1p2p3p4p50:00:00:10:10:2
132.相邻视频帧p1和p2，二者比分相等，p1和p2对应的比分未发生变化，p1和p2不能作为上述视频帧对；
133.相邻视频帧p2和p3，二者比分不相等，p2和p3对应的比分发生变化，p2和p3作为视频帧对；
134.相邻视频帧p3和p4，二者比分相等，p3和p4对应的比分未发生变化，p3和p4不能作为上述视频帧对；
135.相邻视频帧p4和p5，二者比分不相等，p4和p5对应的比分发生变化，p4和p5作为视频帧对。
136.步骤s1023：根据每一视频帧对中各视频帧的播放时刻，确定体育比赛视频中比分发生变化的第一时刻。
137.一种实施方式中，可以从视频帧对中选择一视频帧，直接将所选择的视频帧的播放时刻确定为第一时刻。
138.例如：视频帧对中包含视频帧：p2、p3，其中p2的播放时刻为t1，p2的播放时刻为t2，可以将p2的播放时刻t1作为第一时刻，也可以将p3的播放时刻t2作为第一时刻。
139.另一种实施方式中，可以从视频帧对中选择一视频帧，采用预设的时刻调整系数对所选择视频帧的播放时刻进行调整，将调整后的播放时刻确定为第一时刻。
140.例如：视频帧对中包含视频帧：p2、p3，其中p2的播放时刻为t1，p3的播放时刻为t2，预设的时刻调整系数为δt，当所选择的视频帧为p2时，可以计算(t2 δt)的值，将计算
得到的时刻确定为第一时刻，当所选择的视频帧为p3时，可以计算(t3
‑
δt)的值，将计算得到的时刻确定为第二时刻。
141.再一种实施方式中，还可以计算视频帧对中两个视频帧的播放时刻的平均值，将平均值作为第一时刻。
142.由以上可见，本实施例提供的方案中，由于视频帧对是根据相邻视频帧中计分牌区域内记录的比分，从存在计分牌区域的视频帧中确定的，这样视频帧对包含的视频帧不仅存在计分牌区域，而且在播放时间上相邻，因此，视频帧对中视频帧的播放时刻能够更加精确反映体育比赛视频中比分发生变化的时刻，所以根据视频帧对中视频帧的播放时刻确定的第一时刻的准确度较高。
143.为准确进行计分牌区域检测，本公开的一个实施例，上述步骤s101，可以按照以下方式实现。
144.对体育比赛视频进行视频解码，得到解码图像；将各个解码图像输入预先训练的计分牌区域检测模型进行计分牌区域检测。
145.由于视频是对视频帧数据和音频数据进行系统层封装得到的流数据，因此，可以使用解码工具对上述体育比赛视频进行解码，从上述体育比赛视频中解码出视频帧数据，得到解码图像。例如，上述解码工具可以为：ffmpeg等，具体解码工具可以依据视频采用的编码标准选定。
146.上述计分牌区域检测模型为：采用样本图像和样本图像的第二标注信息，对第二预设神经网络模型进行训练得到的、用于进行计分牌区域检测的模型。
147.上述第二标注信息表征样本图像中计分牌区域的位置。上述第二预设神经网络模型可以为cnn、rnn等。
148.在训练上述第二预设神经网络模型的过程中，可以以样本图像的第二标注信息为训练基准，将样本图像作为第二预设神经网络模型的输入，第二预设神经网络模型对样本图像进行计分牌区域检测，输出样本图像中计分牌区域的检测位置，根据上述计分牌区域的检测位置与第二标记信息记录进行比对，依据对比结果调整第二预设神经网络模型的参数，重复上述过程，直至满足预设的训练结束条件，得到计分牌区域检测模型。
149.上述预设的训练结束条件可以为训练次数达到预设次数、第二预设神经网络模型的参数满足预设收敛条件等。
150.由以上可见，本实施例提供的方案中，是通过预先训练的计分牌区域检测模型获得体育比赛视频中解码图像上的计分牌区域，上述计分牌区域检测模型是采用大量样本图像进行训练得到的，因此，计分牌区域检测模型学习到样本图像中存在计分牌区域的特征，这样计分牌区域检测模型输出的计分牌区域的准确度高。
151.以下为排球比赛视频为例，并结合图5，对本公开实施例提供的视频片段抽取方法再进行具体说明。
152.参见图5，图5为本公开实施例提供的第四种视频片段抽取方法的流程框图。按照从左到右箭头指向的顺序依次进行说明。
153.提取排球比赛视频的音频数据、视频帧；
154.对每一视频帧进行计分牌区域检测，确定排球比赛视频中存在计分牌区域的视频帧的播放时间段，即前述第一播放时间段；同时，对存在计分牌区域的视频帧进行比分识
别，确定比分发生变化的时刻，即前述第一时刻。
155.对音频数据进行哨声识别，确定排球比赛视频帧中出现哨声的时刻，即前述第二时刻。
156.在得到上述第一时刻、第一播放时间段以及第二时刻后，确定各回合视频片段的发生时间段。
157.可选的，可以确定相邻的第一时刻，以及第一时刻中的最早时刻，得到相邻第一时刻间的时间段、排球比赛视频的开始时刻与上述最早时刻之间的时间段，将上述两类时间段作为第一候选时间段；然后将每一第一候选时间段内两个第二时刻之间的时间段确定为第二候选时间段；最后针对每一第二候选时间段，与第一播放时间段进行对比，获得该第二候选时间段内存在计分牌区域的视频帧对应的时间段，将该子时间段确定为一个回合视频片段的发生时间段。
158.对各发生时间段的视频片段进行抽取，得到各回合视频片段的集合。
159.与上述视频片段抽取方法相对应的，本公开实施例还提供了视频片段抽取装置。
160.参见图6，图6为本公开的实施例提供的第一种视频片段抽取装置的结构示意图，上述装置包括以下模块601
‑
604。
161.区域检测模块601，用于对体育比赛视频的视频帧进行计分牌区域检测；
162.时刻确定模块602，用于根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；
163.时间段获得模块603，用于根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；
164.视频片段抽取模块604，用于根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。
165.由以上可见，应用本公开的实施例提供的方案中，首先根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，获得了各回合视频片段的发生时间段，然后根据上述发生时间段抽取得到各回合视频片段，因此，不需要人工识别回合视频片段，也不需要手动抽取回合视频片段，进而提高了抽取视频片段的效率。
166.除此之外，第一时刻是比赛过程中比分发生变化的时刻，比分发生变化后，表示比赛开启新的比赛回合，所以，第一时刻与回合视频片段的发生时间段具有关联性；第一播放时间段是存在计分牌区域的视频帧的播放时间段，视频帧中存在计分牌区域表示比赛正在进行的概率较高，所以，第一播放时间段也与回合视频片段的发生时间段具有关联性；鉴于上述思考，本公开实施例提出根据与第一时刻相关的第一候选时间段和第一播放时间段，获得回合视频片段的发生时间段，从而提高了所获得发生时间段的准确性，进而提高了所抽取回合视频片段的准确性。
167.参见图7，图7为本公开的实施例提供的第二种视频片段抽取装置的结构示意图，上述装置还包括以下模块605
‑
606。
168.数据获得模块605，用于获得所述体育比赛视频的音频数据；
169.时刻获得模块606，用于对所述音频数据进行哨声识别，获得所述体育比赛视频中
出现哨声的第二时刻；
170.所述时间段获得模块603，包括：
171.候选时间段确定子模块6031，用于将每一第一候选时间段内两个相邻第二时刻之间的时间段确定为第二候选时间段；
172.发生时间段确定子模块6032，用于根据存在计分牌区域的视频帧的第一播放时间段，获得每一第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为各回合视频片段的发生时间段。
173.由以上可见，本实施例提供的方案中，确定回合视频片段的发生时间段时，首先基于比分发生变化的第一时刻，初步确定出回合视频发生的第一候选时间段，为防止第一候选时间段不够精确，例如，第一候选时间段内存在比赛人员休息、回放等情况，本实施例中还引入了出现哨声的第二时刻，基于第二时刻在第一候选时间段内确定第二候选时间段，使得回合视频发生的时间进一步被细化，最后在第二候选时间段的基础上，进一步确定了存在计分牌区域的视频帧对应的时间段，作为回合视频片段发生的时间段。可见，本实施例提供的方案中，根据第一播放时间段和第二时刻不断细化回合视频片段发生的时间段，使得最终得到的发生时间段更加精确。
174.本公开的一个实施例中，上述发生时间段确定子模块6032，还用于根据存在计分牌区域的视频帧的第一播放时间段，确定所述体育比赛视频中不包含计分牌区域的视频帧的第二播放时间段；获得所述第二播放时间段中时长大于预设时长阈值的目标时间段；针对每一第二候选时间段，从该第二候选时间段中排除目标时间段，得到该第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为一个回合视频片段的发生时间段。
175.由以上可见，本实施例提供的方案中在确定回合视频片段的发生时间段时，并不是根据第一播放时间段直接确定包含计分牌区域的视频帧对应的时间段，而是反向考虑，根据第一播放时间段确定的是不包含计分牌区域的视频帧对应的第二播放时间段，并且在基于第二播放时间段确定回合视频片段的发生时间段时，也没有考虑第二播放时间段中时长较短的时间段，由于时长较短的第二播放时间段有可能是计分牌区域检测算法、检测精度等原因引起的，因此，应用本实施例提供的方案确定回合视频片段的发生时间段，能够有效排除计分牌区域检测误差对确定回合视频片段的发生时间产生的影响，从而提高所确定发生时间段的准确度。
176.本公开的一个实施例中，上述时刻获得模块606，包括：
177.音频数据切分子模块，用于将所述音频数据按照预设时间间隔切分，得到至少一个音频段；
178.置信度确定子模块，用于分别将各个音频段输入预先训练的哨声识别模型进行哨声识别，得到各个音频段中出现哨声的置信度，其中，所述哨声识别模型为：采用样本音频段和所述样本音频段的第一标注信息，对第一预设神经网络模型进行训练得到的、用于进行哨声识别的二分类模型，所述第一标注信息表征所述样本音频段中是否出现哨声；
179.时刻获得子模块，用于选择置信度大于预设置信度阈值的音频段，根据所选择音频段的播放时间段，获得所述体育比赛视频中出现哨声的第二时刻。
180.由以上可见，本实施例提供的方案中，是通过预先训练的网络模型获得体育比赛视频中出现哨声的第二时刻的，上述哨声识别模型是采用大量样本音频段进行训练得到
的，因此，哨声识别模型能够学习到样本音频段中出现哨声的特征，进而哨声识别模型输出的各个音频段中出现哨声的置信度的准确度较高，这样根据上述置信度获得的体育比赛视频中出现哨声的第二时刻准确度也较高。
181.参见图8，图8为本公开的实施例提供的第三种视频片段抽取装置的结构示意图，在上述实施例的基础上，时刻确定模块602包括以下子模块6021
‑
6023。
182.比分确定子模块6021，用于对检测到的计分牌区域进行字符识别，得到各个计分牌区域内记录的比分；
183.比分检测子模块6022，用于在存在计分牌区域的视频帧中，检测相邻视频帧中计分牌区域内记录的比分发生变化的视频帧对；
184.时刻确定子模块6023，用于根据每一视频帧对中各视频帧的播放时刻，确定所述体育比赛视频中比分发生变化的第一时刻。
185.由于视频帧对是根据相邻视频帧中计分牌区域内记录的比分，从存在计分牌区域的视频帧中确定的，这样视频帧对包含的视频帧不仅存在计分牌区域，而且在播放时间上相邻，因此，视频帧对中视频帧的播放时刻能够更加精确反映体育比赛视频中比分发生变化的时刻，所以根据视频帧对中视频帧的播放时刻确定的第一时刻的准确度较高。
186.本公开的一个实施例中，上述区域检测模块601，包括：
187.视频解码子模块，用于对体育比赛视频进行视频解码，得到解码图像；
188.区域检测子模块，用于将各个解码图像输入预先训练的计分牌区域检测模型进行计分牌区域检测，其中，所述计分牌区域检测模型为：采用样本图像和所述样本图像的第二标注信息，对第二预设神经网络模型进行训练得到的、用于进行计分牌区域检测的模型，所述第二标注信息表征所述样本图像中计分牌区域的位置。
189.由以上可见，本实施例提供的方案中，是通过预先训练的计分牌区域检测模型获得体育比赛视频中解码图像上的计分牌区域，上述计分牌区域检测模型是采用大量样本图像进行训练得到的，因此，计分牌区域检测模型学习到样本图像中存在计分牌区域的特征，这样计分牌区域检测模型输出的计分牌区域的准确度高。
190.本公开的技术方案中，所涉及的用户个人信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
191.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
192.本公开的一个实施例中，提供了一种电子设备，包括：
193.至少一个处理器；以及
194.与所述至少一个处理器通信连接的存储器；其中，
195.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行前述方法实施例中任一视频片段抽取方法。
196.本公开的一个实施例中，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行前述方法实施例中任一视频片段抽取方法。
197.本公开的一个实施例中，提供了一种计算机程序产品，包括计算机程序，所述计算
机程序在被处理器执行时实现前述方法实施例中任一视频片段抽取方法。
198.图9示出了可以用来实施本公开的实施例的示例电子设备900的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
199.如图9所示，设备900包括计算单元901，其可以根据存储在只读存储器(rom)902中的计算机程序或者从存储单元908加载到随机访问存储器(ram)903中的计算机程序，来执行各种适当的动作和处理。在ram 903中，还可存储设备900操作所需的各种程序和数据。计算单元901、rom 902以及ram 903通过总线904彼此相连。输入/输出(i/o)接口905也连接至总线904。
200.设备900中的多个部件连接至i/o接口905，包括：输入单元906，例如键盘、鼠标等；输出单元907，例如各种类型的显示器、扬声器等；存储单元908，例如磁盘、光盘等；以及通信单元909，例如网卡、调制解调器、无线通信收发机等。通信单元909允许设备900通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
201.计算单元901可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元901的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元901执行上文所描述的各个方法和处理，例如视频片段抽取方法。例如，在一些实施例中，视频片段抽取方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元908。在一些实施例中，计算机程序的部分或者全部可以经由rom 902和/或通信单元909而被载入和/或安装到设备900上。当计算机程序加载到ram 903并由计算单元901执行时，可以执行上文描述的视频片段抽取方法的一个或多个步骤。备选地，在其他实施例中，计算单元901可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频片段抽取方法。
202.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
203.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
204.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
205.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
206.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
207.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
208.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
209.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。