视频处理方法、程序产品、电子设备及存储介质与流程
本发明涉及计算机,尤其涉及一种视频处理方法、程序产品、电子设备及存储介质。
背景技术:
1、在新闻剪辑、多摄像头合成、多版本事件汇编、用户视频混剪等应用场景中,常有多台拍摄设备从不同的视角进行现场拍摄或跨时间、跨地点、跨人物的不同视频,后期需将不同的视频片段(多设备、多视角、多场景),剪辑、拼接为一个内容连贯的视频进行展现。
2、相关技术中,主要依靠人工根据诸如拍摄时间、视觉动作匹配或音频特征比对进行剪辑、拼接,工作繁琐,且难以捕捉视频中的高层语义信息,难以实现关键事件的精确对齐与融合,对剪辑人员的专业化程度要求高。
技术实现思路
1、有鉴于此,本发明实施例提供了一种视频处理方法、程序产品、电子设备及存储介质。
2、本发明实施例的技术方案是这样实现的:
3、一方面,本发明实施例提供了一种视频处理方法,该方法包括:
4、对至少两个视频文件进行切片处理,得到每个视频文件的多个切片文件;
5、确定每个视频文件的每个切片文件的语义嵌入向量;
6、基于每个视频文件的每个切片文件的语义嵌入向量,确定每个视频文件的每个切片文件与其他视频文件的所有切片文件的语义相似度;
7、基于所述语义相似度,将所述至少两个视频文件中的切片文件融合至所述至少两个视频文件中的预设的主视频文件中,得到融合视频文件。
8、在上述方案中,所述基于所述语义相似度,将所述至少两个视频文件中的切片文件融合至所述至少两个视频文件中的预设的主视频文件中,包括:
9、将语义相似度大于相似度阈值的多个切片文件汇聚为一个语义锚点集合,所述语义锚点集合中的多个切片文件对应同一个语义事件;
10、将所述语义锚点集合中的多个切片文件与所述语义锚点集合中的所述主视频文件的切片文件进行融合。
11、在上述方案中,所述将所述语义锚点集合中的多个切片文件与所述语义锚点集合中的所述主视频文件的切片文件进行融合,包括以下任意一项:
12、根据预设的多个时序阶段,对所述语义锚点集合中的多个切片文件进行排序,根据排序结果将所述语义锚点集合中非主视频文件的多个切片文件与所述主视频文件的切片文件进行拼接;
13、将所述语义锚点集合中的多个切片文件进行融合,使用融合结果替换所述主视频文件中所述语义锚点集合中的切片文件,所述融合结果的视频长度与切片文件相同。
14、在上述方案中,所述至少两个视频文件中的第一视频文件的多个切片文件在所述融合视频文件中的先后顺序,与在所述第一视频文件中的先后顺序一致,所述第一视频文件为至少两个视频文件中的任意一个非主视频文件。
15、在上述方案中,所述确定每个视频文件的每个切片文件的语义嵌入向量,包括:
16、确定每个切片文件的多模态向量;所述多模态向量包括文本模态向量、图像模态向量和音频模态向量中的多项;
17、对所述多模态数据进行融合,得到所述语义嵌入向量。
18、在上述方案中,所述至少两个视频文件的时间戳相同,所述对至少两个视频文件进行切片处理,包括:
19、根据同一长度的时间窗口将至少两个视频划分为多个切片文件。
20、在上述方案中,所述至少两个视频文件的拍摄视角不同或对应的拍摄设备不同。
21、另一方面,本申请实施例还提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时,实现上述方法的步骤。
22、另一方面,本发明实施例提供了一种电子设备,包括处理器和存储器,所述处理器和存储器相互连接,其中,所述存储器用于存储计算机程序,所述计算机程序包括程序指令,所述处理器被配置用于调用所述程序指令,执行本发明实施例上述方法的步骤。
23、另一方面,本发明实施例提供了一种计算机可读存储介质,包括:所述计算机可读存储介质存储有计算机程序。所述计算机程序被处理器执行时实现如本发明实施例上述方法的步骤。
24、本发明实施例的方案,对至少两个视频文件进行切片处理,得到每个视频文件的多个切片文件;确定每个视频文件的每个切片文件的语义嵌入向量;基于每个视频文件的每个切片文件的语义嵌入向量,确定每个视频文件的每个切片文件与其他视频文件的所有切片文件的语义相似度;基于语义相似度,将至少两个视频文件中的切片文件融合至至少两个视频文件中的预设的主视频文件中,得到融合视频文件。本发明实施例将需要融合的多个视频文件进行切片,根据切片文件的语义相似度,将多个视频文件进行切片融合,能够实现跨视频内容对齐与融合,适应目前如一个场景下多镜头视频的融合,提升视频效果。同时能够在节省人工成本和检测时间的同时,提高检测任务的工作效率。
1.一种视频处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述语义相似度,将所述至少两个视频文件中的切片文件融合至所述至少两个视频文件中的预设的主视频文件中,包括:
3.根据权利要求2所述的方法,其特征在于,所述将所述语义锚点集合中的多个切片文件与所述语义锚点集合中的所述主视频文件的切片文件进行融合,包括以下任意一项:
4.根据权利要求3所述的方法,其特征在于,所述至少两个视频文件中的第一视频文件的多个切片文件在所述融合视频文件中的先后顺序,与在所述第一视频文件中的先后顺序一致,所述第一视频文件为至少两个视频文件中的任意一个非主视频文件。
5.根据权利要求1所述的方法,其特征在于,所述确定每个视频文件的每个切片文件的语义嵌入向量,包括:
6.根据权利要求1所述的方法,其特征在于,所述至少两个视频文件的时间戳相同,所述对至少两个视频文件进行切片处理,包括:
7.根据权利要求1所述的方法,其特征在于,所述至少两个视频文件的拍摄视角不同或对应的拍摄设备不同。
8.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序在被处理器执行时,实现如权利要求1至7任一项所述的视频处理方法的步骤。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的视频处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的视频处理方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com