视频剪辑方法、装置及存储介质与流程

技术特征：
1.一种视频剪辑方法，其特征在于，包括：抽取待剪辑视频中的多个视频帧；将所述多个视频帧输入至第一卷积网络模型进行特征提取，得到所述多个视频帧的图像特征；将所述多个视频帧的图像特征输入时序动作分割网络模型，得到目标事件在所述待剪辑视频中的起止时间；将所述目标事件的起止时间对应的视频帧输入至第二卷积网络模型进行事件分类，得到所述目标事件的事件类型；根据所述目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息；根据所述目标事件在所述待剪辑视频中的起止时间，剪辑所述待剪辑视频，并将所述目标事件的标签信息赋予所述目标事件对应的视频片段，得到所述待剪辑视频对应的目标视频片段。2.根据权利要求1所述的方法，其特征在于，所述根据所述目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息，包括：根据所述目标事件的事件类型，按照特定帧率对所述目标事件对应的视频帧进行抽帧；根据所述目标事件的事件类型，获取抽取的视频帧中的特定区域的图像，其中，所述特定区域的图像为所述视频帧中包含文本信息的图像；将所述特定区域的图像输入至光学文字识别ocr模块，得到所述视频帧中所包括的文本信息以及所述文本信息对应的文本框的坐标信息；根据所述文字信息和所述文本信息对应的文本框的坐标信息，确定所述目标事件的标签信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述文字信息和所述文本信息对应的文本框的坐标信息，确定所述目标事件的标签信息，包括：根据所述文本框的坐标信息，进行文本框的合并，得到完整文本信息；将所述完整文本信息和词组字典进行匹配，确定所述完整文本信息所匹配的目标文本信息；根据所述目标文本信息，确定所述目标事件的标签信息。4.根据权利要求3所述的方法，其特征在于，所述根据所述文本框的坐标信息，进行文本框的合并，包括：将满足以下条件的两个文本框合并为一个文本框：所述两个文本框的横向间距小于第一阈值；所述两个文本框的纵向高度差小于第二阈值；所述两个文本框的纵向重合范围大于第三阈值。5.根据权利要求3所述的方法，其特征在于，所述将所述完整文本信息和词组字典进行匹配，确定所述完整文本信息所匹配的目标文本信息，包括：将所述完整文本信息和所述词组字典中的词条进行整体匹配，确定所述完整文本信息和所述词组字典中的词条的第一文本编辑距离；
将第一文本编辑距离最小，并且所述第一文本编辑距离小于第四阈值的词条作为所述目标文本信息。6.根据权利要求3所述的方法，其特征在于，所述将所述完整文本信息和词组字典进行匹配，确定所述完整文本信息所匹配的目标文本信息，包括：将所述完整文本信息和所述词组字典中的词条进行整体匹配，确定所述完整文本信息和所述词组字典中的词条的第一文本编辑距离；将所述完整文本信息中的每个单词和所述词组字典中的词条进行独立匹配，确定所述完整文本信息与所述词组字典中的词条的第二文本编辑距离；将所述第一文本编辑距离和所述第二文本编辑距离中的较小值所对应的词条作为与所述完整文字信息匹配的目标文本信息。7.根据权利要求3
‑
6中任一项所述的方法，其特征在于，所述目标视频片段包括至少一个精彩片段，或所述目标视频片段包括至少一个精彩片段和至少一个关键帧，所述目标事件包括第一类事件和第二类事件，所述关键帧包括所述第一类事件对应的多个视频帧，所述精彩片段包括所述第二类事件对应的多个视频帧，所述根据所述目标文本信息，确定所述目标事件的标签信息，包括：将在第二类事件对应的视频帧中检测到的文本信息所匹配的目标文本信息作为所述第二类事件的标签信息；将在相邻并且事件类型相同的第一类事件对应的视频帧中检测到的文本信息所匹配的目标文本信息作为所述相邻的第一类事件之间的第二类事件的标签信息。8.根据权利要求1所述的方法，其特征在于，所述待剪辑视频为点播游戏视频，所述目标视频片段包括至少一个精彩片段，或所述目标视频片段包括至少一个精彩片段和至少一个关键帧，其中，所述目标事件包括第一类事件和第二类事件，所述关键帧包括所述第一类事件对应的多个视频帧，所述精彩片段包括所述第二类事件对应的多个视频帧。9.根据权利要求8所述的方法，其特征在于，所述方法还包括：若所述目标视频片段中包括第一虚拟事件对应的视频片段，并且在所述第一虚拟事件对应的视频片段之前以及之后均包括第二虚拟事件对应的视频片段，并且所述第一虚拟事件和所述第二虚拟事件对应的第一类事件标签相同，将所述第一虚拟事件对应的视频片段以及在所述第一虚拟事件对应的视频片段之前以及之后的所述第二虚拟事件对应的视频片段进行拼接，其中所述第一虚拟事件和所述第二虚拟事件均为所述第二类事件。10.根据权利要求1所述的方法，还包括：接收客户端发送的剪辑请求；根据所述剪辑请求获取所述待剪辑视频；将对所述待剪辑视频剪辑得到的所述目标视频片段发送给对应的一个或多个客户端。11.根据权利要求1所述的方法，其特征在于，所述方法还包括：抽取训练视频中的多个视频帧；对所述多个视频帧中的目标事件的事件类型进行标注；将所述多个视频帧输入至所述第二卷积网络模型进行训练，得到所述第二卷积网络模型的模型参数。12.根据权利要求1所述的方法，其特征在于，所述方法还包括：
对训练视频中的目标事件的起止时间进行标注；抽取标注的所述训练视频中的多个视频帧；将所述多个视频帧输入至第一卷积网络模型进行特征提取，得到所述多个视频帧的图像特征；将所述多个视频帧的图像特征输入至所述时序动作分割网络进行训练，得到所述时序动作分割网络的模型参数。13.一种视频剪辑装置，其特征在于，包括：抽帧模块，用于抽取待剪辑视频中的多个视频帧；特征提取模块，用于通过第一卷积网络模型提取所述多个视频帧的图像特征；时序动作分割模块，用于将所述多个视频帧的图像特征输入至时序动作分割网络模型，输出目标事件在所述待剪辑视频中的起止时间；事件分类模块，用于通过第二卷积网络模型对所述目标事件的起止时间对应的视频帧进行事件分类，输出所述目标事件的事件类型；标签生成模块，用于根据所述目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息；剪辑模块，用于根据所述目标事件在所述待剪辑视频中的起止时间，剪辑所述待剪辑视频，并将所述目标事件的标签信息赋予所述目标事件对应的视频片段，得到所述待剪辑视频对应的目标视频片段。14.一种视频剪辑装置，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至12中任一项所述的方法。15.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至12中任一项所述的方法。

技术总结
本申请提供了一种视频剪辑方法、装置及计算机可读存储介质，能够实现将视频自动生成视频片段，节约人力成本，并减少人为误差，该方法包括：抽取待剪辑视频中的多个视频帧；将多个视频帧输入至第一卷积网络模型进行特征提取得到多个视频帧的图像特征；将多个视频帧的图像特征输入时序动作分割网络模型得到目标事件的起止时间；将目标事件的起止时间对应的视频帧输入至第二卷积网络模型，得到目标事件的事件类型；根据目标事件的事件类型，获取目标事件对应的视频帧中的文本信息生成目标事件的标签信息；根据目标事件的起止时间剪辑待剪辑视频，并将目标事件的标签信息赋予目标事件对应的视频片段，得到待剪辑视频对应的目标视频片段。频片段。频片段。


技术研发人员：赵天昊 田思达 袁微
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.12.25
技术公布日：2021/10/21