一种视频片段抽取方法、装置、设备及存储介质与流程

技术特征：
1.一种视频片段抽取方法，包括：对体育比赛视频的视频帧进行计分牌区域检测；根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。2.根据权利要求1所述的方法，还包括：获得所述体育比赛视频的音频数据；对所述音频数据进行哨声识别，获得所述体育比赛视频中出现哨声的第二时刻；所述根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，包括：将每一第一候选时间段内两个相邻第二时刻之间的时间段确定为第二候选时间段；根据存在计分牌区域的视频帧的第一播放时间段，获得每一第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为各回合视频片段的发生时间段。3.根据权利要求2所述的方法，其中，所述根据存在计分牌区域的视频帧的第一播放时间段，获得每一第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为各回合视频片段的发生时间段，包括：根据存在计分牌区域的视频帧的第一播放时间段，确定所述体育比赛视频中不包含计分牌区域的视频帧的第二播放时间段；获得所述第二播放时间段中时长大于预设时长阈值的目标时间段；针对每一第二候选时间段，从该第二候选时间段中排除目标时间段，得到该第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为一个回合视频片段的发生时间段。4.根据权利要求2所述的方法，其中，所述对所述音频数据进行哨声识别，获得所述体育比赛视频中出现哨声的第二时刻，包括：将所述音频数据按照预设时间间隔切分，得到至少一个音频段；分别将各个音频段输入预先训练的哨声识别模型进行哨声识别，得到各个音频段中出现哨声的置信度，其中，所述哨声识别模型为：采用样本音频段和所述样本音频段的第一标注信息，对第一预设神经网络模型进行训练得到的、用于进行哨声识别的二分类模型，所述第一标注信息表征所述样本音频段中是否出现哨声；选择置信度大于预设置信度阈值的音频段，根据所选择音频段的播放时间段，获得所述体育比赛视频中出现哨声的第二时刻。5.根据权利要求1
‑
4中任一项所述的方法，其中，所述根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻，包括：对检测到的计分牌区域进行字符识别，得到各个计分牌区域内记录的比分；在存在计分牌区域的视频帧中，检测相邻视频帧中计分牌区域内记录的比分发生变化的视频帧对；根据每一视频帧对中各视频帧的播放时刻，确定所述体育比赛视频中比分发生变化的第一时刻。
6.根据权利要求1
‑
4中任一项所述的方法，其中，所述对体育比赛视频的视频帧进行计分牌区域检测，包括：对体育比赛视频进行视频解码，得到解码图像；将各个解码图像输入预先训练的计分牌区域检测模型进行计分牌区域检测，其中，所述计分牌区域检测模型为：采用样本图像和所述样本图像的第二标注信息，对第二预设神经网络模型进行训练得到的、用于进行计分牌区域检测的模型，所述第二标注信息表征所述样本图像中计分牌区域的位置。7.一种视频片段抽取装置，包括：区域检测模块，用于对体育比赛视频的视频帧进行计分牌区域检测；时刻确定模块，用于根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；时间段获得模块，用于根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；视频片段抽取模块，用于根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。8.根据权利要求7所述的装置，还包括：数据获得模块，用于获得所述体育比赛视频的音频数据；时刻获得模块，用于对所述音频数据进行哨声识别，获得所述体育比赛视频中出现哨声的第二时刻；所述时间段获得模块，包括：候选时间段确定子模块，用于将每一第一候选时间段内两个相邻第二时刻之间的时间段确定为第二候选时间段；发生时间段确定子模块，用于根据存在计分牌区域的视频帧的第一播放时间段，获得每一第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为各回合视频片段的发生时间段。9.根据权利要求8所述的装置，其中，所述发生时间段确定子模块，还用于根据存在计分牌区域的视频帧的第一播放时间段，确定所述体育比赛视频中不包含计分牌区域的视频帧的第二播放时间段；获得所述第二播放时间段中时长大于预设时长阈值的目标时间段；针对每一第二候选时间段，从该第二候选时间段中排除目标时间段，得到该第二候选时间段内存在计分牌区域的视频帧对应的时间段，作为一个回合视频片段的发生时间段。10.根据权利要求8所述的装置，其中，所述时刻获得模块，包括：音频数据切分子模块，用于将所述音频数据按照预设时间间隔切分，得到至少一个音频段；置信度确定子模块，用于分别将各个音频段输入预先训练的哨声识别模型进行哨声识别，得到各个音频段中出现哨声的置信度，其中，所述哨声识别模型为：采用样本音频段和所述样本音频段的第一标注信息，对第一预设神经网络模型进行训练得到的、用于进行哨
声识别的二分类模型，所述第一标注信息表征所述样本音频段中是否出现哨声；时刻获得子模块，用于选择置信度大于预设置信度阈值的音频段，根据所选择音频段的播放时间段，获得所述体育比赛视频中出现哨声的第二时刻。11.根据权利要求7
‑
10中任一项所述的装置，其中，时刻确定模块，包括：比分确定子模块，用于对检测到的计分牌区域进行字符识别，得到各个计分牌区域内记录的比分；比分检测子模块，用于在存在计分牌区域的视频帧中，检测相邻视频帧中计分牌区域内记录的比分发生变化的视频帧对；时刻确定子模块，用于根据每一视频帧对中各视频帧的播放时刻，确定所述体育比赛视频中比分发生变化的第一时刻。12.根据权利要求7
‑
10中任一项所述的装置，其中，所述区域检测模块，包括：视频解码子模块，用于对体育比赛视频进行视频解码，得到解码图像；区域检测子模块，用于将各个解码图像输入预先训练的计分牌区域检测模型进行计分牌区域检测，其中，所述计分牌区域检测模型为：采用样本图像和所述样本图像的第二标注信息，对第二预设神经网络模型进行训练得到的、用于进行计分牌区域检测的模型，所述第二标注信息表征所述样本图像中计分牌区域的位置。13.一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1
‑
6中任一项所述的方法。14.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1
‑
6中任一项所述的方法。15.一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1
‑
6中任一项所述的方法。

技术总结
本公开提供了一种视频片段抽取方法、装置、设备及存储介质，涉及数据处理技术领域，尤其涉及视频处理技术领域。具体实现方案为：对体育比赛视频的视频帧进行计分牌区域检测；根据检测到的计分牌区域，确定所述体育比赛视频中比分发生变化的第一时刻；根据存在计分牌区域的视频帧的第一播放时间段，在第一候选时间段中，确定各回合视频片段的发生时间段，其中，所述第一候选时间段包括：所述体育比赛视频的开始时刻与第一时刻中最早时刻间的时间段、以及相邻两个第一时刻间的时间段；根据每一回合视频片段的发生时间段，从所述体育比赛视频中抽取回合视频片段。应用本公开实施例提供的方案抽取视频片段，能够提高抽取视频片段的效率。率。率。


技术研发人员：张沁怡 王冠皓
受保护的技术使用者：北京百度网讯科技有限公司
技术研发日：2021.07.14
技术公布日：2021/10/23