一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频片段的整合方法、装置、电子设备及存储介质与流程

2021-12-15 01:03:00 来源:中国专利 TAG:

技术特征:
1.一种视频片段的整合方法,其特征在于,包括:对目标视频进行分段,得到多个视频片段;提取每一个视频片段的视觉特征和音频特征;针对每一个视频片段,将所述视频片段的视觉特征和音频特征进行融合,得到所述视频片段对应的视频特征;调用预先训练的视频评估模型对所述视频特征进行处理,依据处理结果确定出待整合视频片段,所述待整合视频片段为符合预先设定条件的视频片段,所述视频评估模型为利用样本视频进行训练后得到的模型,所述样本视频为符合所述预先设定条件的视频片段;对识别出的待整合视频片段进行整合,得到所述目标视频的高光片段。2.根据权利要求1所述的方法,其特征在于,所述提取每一个视频片段的视觉特征和音频特征,包括:针对每一个视频片段,提取所述视频片段的视频帧和音频帧;将所述视频帧输入到3d卷积神经网络模型中,得到所述视频片段的视觉特征;获取所述音频帧的梅尔倒频滤波系数,并将所述梅尔倒频滤波系数输入到vggsih神经网络模型中,得到所述视频片段的音频特征。3.根据权利要求1所述的方法,其特征在于,所述视频评估模型的训练过程,包括:获取样本视频的视频特征以及样本视频的高光性评分;将所述样本视频的视频特征输入到初始模型中进行运算,得到当前视频片段的高光性评分;判断所述当前视频片段的高光性评分与实际标注的视频片段的高光性评分是否一致;若所述当前视频片段的高光性评分与实际标注的视频片段的高光性评分一致,则完成所述视频评估模型的构建;若所述当前视频片段的高光性评分与实际标注的视频片段的高光性评分不一致,则求出误差函数,并利用所述误差函数调整所述神经网络模型的参数,直至输出的所述当前视频片段的高光性评分与实际标注的视频片段的高光性评分一致,则完成所述视频评估模型构建。4.根据权利要求1所述的方法,其特征在于,所述对识别出的待整合视频片段进行整合,得到所述目标视频的高光片段,包括:获取每一个视频片段的时间区间;将时间区间有重合的视频片段进行合并,得到合并后的视频片段,并计算所述合并后的视频片段的高光性评分;将所述合并后的视频片段和未合并的视频片段按照所述高光性评分的高低进行排序;按照排序后的顺序对所述合并后的视频片段和所述未合并的视频片段进行合并,得到所述目标视频的高光片段。5.根据权利要求1所述的方法,其特征在于,所述对识别出的待整合视频片段进行整合,得到所述目标视频的高光片段之后,还包括:对所述目标视频的高光片段进行镜头切分,得到视频的分镜数据;基于所述分镜数据对所述高光片段的时间区间进行调整,得到调整后的高光片段。6.一种视频片段的整合装置,其特征在于,包括:
分段单元,用于对目标视频进行分段,得到多个视频片段;提取单元,用于提取每一个视频片段的视觉特征和音频特征;融合单元,用于针对每一个视频片段,将所述视频片段的视觉特征和音频特征进行融合,得到所述视频片段对应的视频特征;处理单元,用于调用预先训练的视频评估模型对所述视频特征进行处理,依据处理结果确定出待整合视频片段,所述待整合视频片段为符合预先设定条件的视频片段,所述视频评估模型为利用样本视频进行训练后得到的模型,所述样本视频为符合所述预先设定条件的视频片段;整合单元,用于对识别出的待整合视频片段进行整合,得到所述目标视频的高光片段。7.根据权利要求6所述的装置,其特征在于,所述提取单元,包括:提取子单元,用于针对每一个视频片段,提取所述视频片段的视频帧和音频帧;第一运算子单元,用于将所述视频帧输入到3d卷积神经网络模型中,得到所述视频片段的视觉特征;第二运算子单元,用于获取所述音频帧的梅尔倒频滤波系数,并将所述梅尔倒频滤波系数输入到vggsih神经网络模型中,得到所述视频片段的音频特征。8.根据权利要求6所述的装置,其特征在于,所述整合单元,包括:获取子单元,用于获取每一个视频片段的时间区间;第一合并子单元,用于将时间区间有重合的视频片段进行合并,得到合并后的视频片段,并计算所述合并后的视频片段的高光性评分;排序子单元,用于将所述合并后的视频片段和未合并的视频片段按照所述高光性评分的高低进行排序;第二合并子单元,用于按照排序后的顺序对所述合并后的视频片段和所述未合并的视频片段进行合并,得到所述目标视频的高光片段。9.一种电子设备,其特征在于,包括:一个或多个处理器;存储装置,其上存储有一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至5中任意一项所述的方法。10.一种计算机存储介质,其特征在于,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1至5中任意一项所述的方法。

技术总结
本申请提供了一种视频片段的整合方法、装置、电子设备及存储介质。其中,在视频片段的整合方法中,首先对目标视频进行分段,得到多个视频片段。然后提取每一个视频片段的视觉特征和音频特征,并针对每一个视频片段,将视频片段的视觉特征和音频特征进行融合,得到视频片段对应的视频特征。接着调用预先训练的视频评估模型对视频特征进行处理,依据处理结果确定出待整合视频片段。最后对识别出的待整合视频片段进行整合,得到目标视频的高光片段。利用本申请的方法,可以自动将视频切分成多个视频片段,并对各个视频片段进行高光性评分,筛选出其中的评分较高的视频片段进行整合,得到视频的高光片段。频的高光片段。频的高光片段。


技术研发人员:胡玮 杨杰 宋施恩 罗思伟 孙钱丽
受保护的技术使用者:湖南快乐阳光互动娱乐传媒有限公司
技术研发日:2021.09.14
技术公布日:2021/12/14
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献