直播视频剪辑方法、装置及计算机设备与流程

技术特征：
1.一种直播视频剪辑方法，其特征在于，包括：利用直线检测算法检测直播视频中的主播框和目标视频画面的分割线；抽取所述直播视频中的多个直播视频帧；根据所述分割线，去除所述多个直播视频帧中的主播框，得到多个视频帧；将所述多个视频帧输入至第一卷积网络模型进行特征提取，得到所述多个视频帧的图像特征；将所述多个视频帧的图像特征输入时序动作分割网络模型，得到目标事件在所述直播视频中的起止时间；将所述目标事件的起止时间对应的视频帧输入至第二卷积网络模型进行事件分类，得到所述目标事件的事件类型；根据所述目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息；根据所述目标事件在所述直播视频中的起止时间，剪辑所述直播视频，并将所述目标事件的标签信息赋予所述目标事件对应的视频片段，得到所述直播视频对应的目标视频片段。2.根据权利要求1所述的方法，其特征在于，所述利用直线检测算法检测所述直播视频中的主播框和目标视频画面的分割线，包括：抽取所述直播视频中的多个视频帧；利用直线检测算法检测所述多个视频帧中竖直方向的直线，删除所述多个视频帧中满足第一条件的直线，并合并所述多个视频帧中水平距离小于第一阈值的直线；对所述多个视频帧中的剩余直线进行统计，确定满足第二条件的直线作为主播和目标视频画面界面的分割线。3.根据权利要求2所述的方法，其特征在于，所述第一条件包括：长度小于或等于第二阈值，或距离视频帧的左右边缘的距离小于或等于第三阈值；所述第二条件包括：直线在所述多个视频帧中的出现次数最高且高于第四阈值。4.根据权利要求1中任一项所述的方法，其特征在于，所述根据目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息，包括：根据所述目标事件的事件类型，按照特定帧率对所述目标事件对应的视频帧进行抽帧；根据所述目标事件的事件类型，获取抽取的视频帧中的特定区域的图像，其中，所述特定区域的图像为所述视频帧中包含文本信息的图像；将所述特定区域的图像输入至光学文字识别ocr模块，得到所述视频帧中所包括的文本信息以及所述文本信息对应的文本框的坐标信息；根据所述文本信息和所述文本信息对应的文本框的坐标信息，确定所述目标事件的标签信息。5.根据权利要求4所述的方法，其特征在于，所述根据所述文本信息和所述文本信息对应的文本框的坐标信息，确定所述目标事件的标签信息，包括：根据所述文本框的坐标信息，进行文本框的合并，得到完整文本信息；将所述完整文本信息和词组字典进行匹配，确定目标文本信息；
根据所述目标文本信息，确定所述目标事件的标签信息。6.根据权利要求5所述的方法，其特征在于，所述根据所述文本框的坐标信息，进行文本框的合并，包括：将满足以下条件的两个文本框合并为一个文本框：所述两个文本框的横向间距小于第五阈值；所述两个文本框的纵向高度差小于第六阈值；所述两个文本框的纵向重合范围大于第七阈值。7.根据权利要求5所述的方法，其特征在于，所述将所述完整文本信息和词组字典进行匹配，确定目标文本信息，包括：计算所述完整文本信息和所述词组字典中的词条的文本编辑距离；将文本编辑距离最小并且文本编辑距离小于第八阈值的词条确定为所述目标文本信息。8.根据权利要求5所述的方法，其特征在于，所述目标视频片段包括至少一个精彩片段，或所述目标视频片段包括至少一个精彩片段和至少一个关键帧，所述目标事件包括第一类事件和第二类事件，所述关键帧包括所述第一类事件对应的多个视频帧，所述精彩片段包括所述第二类事件对应的多个视频帧，所述根据所述目标文本信息，确定所述目标事件的标签信息，包括：将在第二类事件对应的视频帧中检测到的文本信息所匹配的目标文本信息作为所述第二类事件的标签信息；将在相邻并且事件类型相同的第一类事件对应的视频帧中检测到的文本信息所匹配的目标文本信息作为所述相邻的第一类事件之间的第二类事件的标签信息。9.根据权利要求1所述的方法，其特征在于，所述直播视频为直播游戏视频，所述目标视频片段包括至少一个精彩片段，或所述目标视频片段包括至少一个精彩片段和至少一个关键帧，其中，所述目标事件包括第一类事件和第二类事件，所述关键帧包括所述第一类事件对应的多个视频帧，所述精彩片段包括所述第二类事件对应的多个视频帧。10.根据权利要求9所述的方法，其特征在于，所述方法还包括：根据所述目标视频片段中包括的视频片段的事件类型，进行所述目标视频片段的输出。11.根据权利要求10所述的方法，其特征在于，所述根据所述目标视频片段中包括的视频片段的事件类型，进行所述目标视频片段的输出，包括：若所述目标视频片段中包括人物动画精彩片段，将第一个人物动画精彩片段和所述第一个人物动画精彩片段之前的精彩片段进行拼接得到第一视频片段，并输出所述第一视频片段，或者，将两段人物动画精彩片段之间的精彩片段进行拼接得到第二视频片段，并输出所述第二视频片段；或者若所述目标视频片段中不包括人物动画精彩片段，将所述精彩片段进行缓存。12.根据权利要求1
‑
11中任一项所述的方法，其特征在于，所述方法还包括：抽取训练视频中的多个视频帧；对所述多个视频帧中的目标事件的事件类型进行标注；将所述多个视频帧输入至所述第二卷积网络模型进行训练，得到所述第二卷积网络模
型的模型参数。13.根据权利要求1
‑
11中任一项所述的方法，其特征在于，所述方法还包括：对训练视频中的目标事件的起止时间进行标注；抽取标注的所述训练视频中的多个视频帧；将所述多个视频帧输入至第一卷积网络模型进行特征提取，得到所述多个视频帧的图像特征；将所述多个视频帧的图像特征输入至所述时序动作分割网络进行训练，得到所述时序动作分割网络的模型参数。14.根据权利要求1
‑
11中任一项所述的方法，还包括：接收客户端发送的剪辑请求；根据所述剪辑请求确定待剪辑的所述直播视频；将对所述直播视频剪辑得到的所述目标视频片段发送至对应的一个或多个客户端。15.一种直播视频剪辑装置，其特征在于，包括：直线检测模块，用于利用直线检测算法检测所述直播视频中的主播框和目标视频画面的分割线；抽帧模块，用于抽取直播视频中的多个直播视频帧；主播框去除模块，用于根据所述分割线，去除所述多个直播视频帧中的主播框，得到多个视频帧；特征提取模块，用于通过第一卷积网络模型提取所述多个视频帧的图像特征；时序动作分割模块，用于将所述多个视频帧的图像特征输入至时序动作分割网络模型，得到目标事件在所述直播视频中的起止时间；事件分类模块，用于通过第二卷积网络模型对所述目标事件的起止时间对应的视频帧进行事件分类，得到所述目标事件的事件类型；标签生成模块，用于根据所述目标事件的事件类型，获取所述目标事件对应的视频帧中的文本信息，生成所述目标事件的标签信息；剪辑模块，用于根据所述目标事件在所述直播视频中的起止时间，剪辑所述直播视频，并将所述目标事件的标签信息赋予所述目标事件对应的视频片段，得到所述直播视频对应的目标视频片段。16.一种计算机设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行权利要求1至14中任一项所述的方法。

技术总结
本申请提供了一种直播视频剪辑方法、装置及计算机设备，该方法包括：利用直线检测算法检测直播视频中的主播框和目标视频画面的分割线；抽取直播视频中的多个直播视频帧；根据分割线去除多个直播视频帧中的主播框得到多个视频帧；将多个视频帧输入至第一卷积网络模型进行特征提取得到多个视频帧的图像特征；将多个视频帧的图像特征输入时序动作分割网络模型得到目标事件的起止时间；将目标事件的起止时间对应的视频帧输入至第二卷积网络模型进行事件分类得到目标事件的事件类型；根据目标事件的事件类型，获取目标事件对应的视频帧中的文本信息，生成目标事件的标签信息，得到直播视频对应的目标视频片段。直播视频对应的目标视频片段。直播视频对应的目标视频片段。


技术研发人员：赵天昊 田思达 袁微
受保护的技术使用者：腾讯科技（深圳）有限公司
技术研发日：2020.12.25
技术公布日：2021/10/21