一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频划分方法、装置、服务器、终端及存储介质与流程

2021-11-26 21:42:00 来源:中国专利 TAG:


1.本技术实施例涉及计算机技术领域,特别涉及一种视频划分方法、装置、服务器、终端及存储介质。


背景技术:

2.随着多媒体技术的不断发展,播放视频已成为用户休闲状态下常用的一种娱乐形式,受到广大用户的青睐。为了便于用户在观看视频时跳转到自己感兴趣的视频情节,可以先将视频划分为多个视频段,以使每个视频段包含一个视频情节。
3.相关技术中,对原始视频中的多个视频段进行动作识别,得到每个视频段中包含的动作,将包含同一个动作且相邻的视频段确定为属于同一个视频情节的视频段。但是,由于能够识别到的动作有限,因此上述技术具有较大的局限性,导致视频划分的效果不佳。


技术实现要素:

4.本技术实施例提供了一种视频划分方法、装置、服务器、终端及存储介质,能够提高视频划分的效果。所述技术方案如下:
5.一方面,提供了一种视频划分方法,所述方法包括:
6.将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
7.基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
8.响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
9.创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
10.可选地,所述对所述原始视频段中的每个视频帧的背景区域进行特征提取,得到所述每个视频帧的背景特征,包括:
11.对于所述每个视频帧,对所述视频帧进行图像分割,得到所述视频帧对应的背景图像,所述背景图像中包括所述视频帧的背景区域,不包括所述视频帧的前景区域;
12.对所述背景图像进行特征提取,得到所述视频帧的背景特征。
13.可选地,所述基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征,包括:
14.基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
15.在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
16.将所述参考视频帧集合中的多个视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
17.可选地,所述响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的原始视频段之后,所述方法还包括:
18.将属于同一个视频情节的多个原始视频段进行合并。
19.另一方面,提供了一种视频划分方法,所述方法包括:
20.接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
21.基于所述校验请求显示用于指示所述关联关系的视频划分信息;
22.响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
23.向所述服务器发送更新后的视频划分记录。
24.可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
25.响应于对第一指示标记和第二指示标记的合并操作,在所述视频划分记录中创建所述第一指示标记和所述第二指示标记对应的多个视频段标识之间的关联关系,所述第一指示标记与所述第二指示标记相邻。
26.可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
27.响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
28.将所述视频划分记录中的所述第四指示标记对应的多个视频段标识之间的关联关系删除;
29.对于每个第五指示标记,在所述视频划分记录中创建所述第五指示标记对应的多个视频段标识之间的关联关系。
30.可选地,所述响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,包括:
31.响应于对第三指示标记的删除操作,将所述视频划分记录中的所述第三指示标记对应的多个视频段标识之间的关联关系删除。
32.另一方面,提供了一种视频划分装置,所述装置包括:
33.视频划分模块,用于将原始视频划分为连续的多个原始视频段,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值;
34.特征获取模块,用于基于每个原始视频段中的每个视频帧的背景区域,获取所述每个原始视频段的背景特征;
35.视频段确定模块,用于响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将所述至少两个原始视频段确定为属于同一个视频情节的视频段;
36.划分记录创建模块,用于创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频
段的视频段标识之间的关联关系。
37.可选地,所述特征获取模块,包括:
38.特征提取单元,用于对于所述每个原始视频段,对所述原始视频段中的每个视频帧的背景区域进行特征提取,得到所述每个视频帧的背景特征;
39.特征确定单元,用于基于所述原始视频段中的多个视频帧的背景特征,确定所述原始视频段的背景特征。
40.可选地,所述特征提取单元,用于:
41.对于所述每个视频帧,对所述视频帧进行图像分割,得到所述视频帧对应的背景图像,所述背景图像中包括所述视频帧的背景区域,不包括所述视频帧的前景区域;
42.对所述背景图像进行特征提取,得到所述视频帧的背景特征。
43.可选地,所述特征确定单元,用于:
44.从所述原始视频段中提取多个参考视频帧,且所述多个参考视频帧中不包含所述原始视频段的起始视频帧和终止视频帧;
45.将所述多个参考视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
46.可选地,所述特征确定单元,用于:
47.基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
48.在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
49.将所述参考视频帧集合中的多个视频帧的背景特征的均值,确定为所述原始视频段的背景特征。
50.可选地,所述特征确定单元,用于:
51.基于所述原始视频段中的多个视频帧的背景特征,对所述多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中至少包括一个中心视频帧;
52.在所述多个视频帧集合中选取参考视频帧集合,所述参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
53.将所述参考视频帧集合中的中心视频帧的背景特征,确定为所述原始视频段的背景特征。
54.可选地,所述视频段确定模块,包括:
55.相似度确定单元,用于在所述连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度;
56.视频段确定单元,用于响应于任一原始视频段与所述任一原始视频段的前一个原始视频段的背景特征之间的相似度大于所述第二阈值,将所述任一原始视频段与所述前一个原始视频段确定为属于同一个视频情节的视频段。
57.可选地,所述装置还包括:
58.视频段合并模块,用于将属于同一个视频情节的多个原始视频段进行合并。
59.可选地,所述装置还包括:
60.校验请求发送模块,用于向终端发送校验请求,所述校验请求携带所述视频划分记录;所述终端用于基于所述校验请求显示用于指示所述关联关系的视频划分信息,响应
于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系,返回更新后的视频划分记录;
61.划分记录接收模块,用于接收所述更新后的视频划分记录。
62.另一方面,提供了一种视频划分装置,所述装置包括:
63.校验请求接收模块,用于接收服务器发送的校验请求,所述校验请求携带所述服务器创建的视频划分记录,所述视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
64.信息显示模块,用于基于所述校验请求显示用于指示所述关联关系的视频划分信息;
65.关联关系更新模块,用于响应于对所述视频划分信息的编辑操作,更新所述视频划分记录中的所述关联关系;
66.划分记录发送模块,用于向所述服务器发送更新后的视频划分记录。
67.可选地,所述信息显示模块,包括:
68.信息显示单元,用于基于所述校验请求,显示所述视频划分记录中的多个视频段标识对应的指示标记,其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。
69.可选地,所述校验请求还携带所述每个视频段标识对应的一个视频帧,所述信息显示模块,用于在每个指示标记对应的显示位置,显示与所述每个指示标记对应于同一视频段标识的视频帧。
70.可选地,所述关联关系更新模块,包括:
71.关联关系创建单元,用于响应于对第一指示标记和第二指示标记的合并操作,在所述视频划分记录中创建所述第一指示标记和所述第二指示标记对应的多个视频段标识之间的关联关系,所述第一指示标记与所述第二指示标记相邻。
72.可选地,所述关联关系更新模块,包括:
73.关联关系删除单元,用于响应于对第三指示标记的删除操作,将所述视频划分记录中的所述第三指示标记对应的多个视频段标识之间的关联关系删除。
74.可选地,所述关联关系更新模块,包括:
75.指示标记确定单元,用于响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
76.关联关系删除单元,用于将所述视频划分记录中的所述第四指示标记对应的多个视频段标识之间的关联关系删除;
77.关联关系创建单元,用于对于每个第五指示标记,在所述视频划分记录中创建所述第五指示标记对应的多个视频段标识之间的关联关系。
78.另一方面,提供了一种服务器,所述服务器包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
79.另一方面,提供了一种终端,所述终端包括处理器和存储器,所述存储器中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
80.另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有至少一条计算机程序,所述至少一条计算机程序由处理器加载并执行以实现如上述方面所述的视频划分方法中所执行的操作。
81.另一方面,提供了一种计算机程序产品或计算机程序,所述计算机程序产品或计算机程序包括计算机程序代码,所述计算机程序代码存储在计算机可读存储介质中,处理器从计算机可读存储介质读取所述计算机程序代码,处理器执行所述计算机程序代码,以实现如上述方面所述的视频划分方法中所执行的操作。
82.本技术实施例提供的方法、装置、服务器、终端及存储介质,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本技术基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
附图说明
83.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术实施例的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
84.图1是本技术实施例提供的一种实施环境的示意图。
85.图2是本技术实施例提供的另一种实施环境的示意图。
86.图3是本技术实施例提供的一种视频划分方法的流程图。
87.图4是本技术实施例提供的一种视频划分方法的流程图。
88.图5是本技术实施例提供的一种视频划分方法的流程图。
89.图6是本技术实施例提供的一种视频帧的示意图。
90.图7是本技术实施例提供的一种获取背景图像的流程图。
91.图8是本技术实施例提供的一种视频帧和视频帧的背景图像的示意图。
92.图9是本技术实施例提供的一种获取视频帧对应的背景图像的流程图。
93.图10是本技术实施例提供的一种获取视频段的背景特征的流程图。
94.图11是本技术实施例提供的一种视频划分方法的流程图。
95.图12是本技术实施例提供的一种视频划分结果的示意图。
96.图13是本技术实施例提供的一种视频划分信息的示意图。
97.图14是本技术实施例提供的一种视频划分和视频播放的流程图。
98.图15是本技术实施例提供的一种视频划分装置的结构示意图。
99.图16是本技术实施例提供的一种视频划分装置的结构示意图。
100.图17是本技术实施例提供的一种视频划分装置的结构示意图。
101.图18是本技术实施例提供的一种视频划分装置的结构示意图。
102.图19是本技术实施例提供的一种终端的结构示意图。
103.图20是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
104.为使本技术实施例的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施方式作进一步地详细描述。
105.可以理解,本技术所使用的术语“第一”、“第二”等可在本文中用于描述各种概念,但除非特别说明,这些概念不受这些术语限制。这些术语仅用于将一个概念与另一个概念区分。举例来说,在不脱离本技术的范围的情况下,可以将第一指示标记称为第二指示标记,且类似地,可将第二指示标记称为第一指示标记。
106.其中,至少一个是指一个或者一个以上,例如,至少一个视频段可以是一个视频段、两个视频段、三个视频段等任一大于等于一的整数个视频段。多个是指两个或者两个以上,例如,多个视频段可以是两个视频段、三个视频段等任一大于等于二的整数个视频段。每个是指至少一个中的每一个,例如,每个视频段是指多个视频段中的每一个视频段,若多个视频段为3个视频段,则每个视频段是指3个视频段中的每一个视频段。
107.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说,人工智能是计算机科学的一个综合技术,它企图了解智能的实质,并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法,使机器具有感知、推理与决策的功能。
108.人工智能技术是一门综合学科,涉及领域广泛,既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术包括自然语言处理技术和机器学习。
109.机器学习(machine learning,ml)是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心,是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。机器学习和深度学习包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、示教学习等技术。
110.计算机视觉技术(computer vision,cv)计算机视觉是一门研究如何使机器“看”的科学,更进一步的说,就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉,并进一步做图形处理,使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科,计算机视觉研究相关的理论和技术,试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术包括图像处理、图像识别、图像语义理解、图像检索、ocr(optical character recognition,光学字符识别)、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d(3

dimension,三维)技术、虚拟现实、增强现实、同步定位与地图构建等技术,还包括常见的人脸识别、指纹识别等生物特征识别技术。
111.云技术(cloud technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据需要强大的系统后盾支撑,只能通过云计算来实现。
112.云存储(cloud storage)是在云计算概念上延伸和发展出来的一个新的概念,分布式云存储系统(以下简称存储系统)是指通过集群应用、网格技术以及分布存储文件系统等功能,将网络中大量各种不同类型的存储设备(存储设备也称之为存储节点)通过应用软件或应用接口集合起来协同工作,共同对外提供数据存储和业务访问功能的一个存储系统。
113.以下将基于人工智能技术和云存储技术,对本技术实施例提供的视频划分方法进行说明。
114.图1是本技术实施例提供的一种实施环境的示意图,参见图1,该实施环境包括:服务器101和终端102,服务器101和终端102之间通过无线或者有线网络连接。服务器101用于对原始视频进行划分,得到属于同一个视频情节的视频段。服务器101还用于根据划分结果创建视频划分记录,并将视频划分记录发送给终端102进行校验。
115.其中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network,内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能电视、智能车载终端等,但并不局限于此。可选地,终端102上设置有客户端,终端102能够通过该客户端实现播放视频、校验视频划分记录等功能。该客户端可以为终端102的操作系统中的客户端,或者为第三方提供的客户端。该客户端可以为视频播放客户端、浏览器客户端、即时通信客户端、教育客户端等。
116.需要说明的是图1中仅以实施环境中包括服务器101和终端102为例,而在另一实施例中,服务器101无需将视频划分记录发送给其他终端进行校验,则实施环境中仅包括服务器101,不包括终端102。或者,在另一实施例中,如图2所示,实施环境中包括服务器101、终端102和终端103,服务器101将原始视频和视频划分记录下发给终端103,终端103在播放原始视频时,还会基于该视频划分记录来标记该原始视频中的视频情节划分的位置,以便用户了解视频情节的划分情况。
117.本技术实施例提供的视频划分方法,可应用于进行视频划分的任一场景下,例如划分电影情节的场景中。一部影片中包括多个电影情节,例如在餐厅吃饭、到游乐场游玩、在街上发生枪战等。为了便于用户在观看电影时跳转到自己感兴趣的电影情节,则采用本技术实施例提供的方法,对该影片进行划分,确定在多个视频段中,确定属于同一个电影情节的视频段,因此在播放该影片时即可将属于同一个电影情节的视频段添加标记,以便用户得知哪些视频段属于同一个电影情节,哪些视频段属于下一个电影情节。
118.图3是本技术实施例提供的一种视频划分方法的流程图。以执行主体为服务器为
例,参见图3,该方法包括:
119.301、服务器将原始视频划分为连续的多个原始视频段。
120.服务器获取需要进行划分的原始视频,该原始视频可以为多种类型的视频,如电影、电视剧、综艺、动漫或者纪录片等。可选地,服务器获取已存储的原始视频,或者服务器通过其他途径获取该原始视频等,本技术实施例对此不做限定。
121.服务器将该原始视频划分为连续的多个原始视频段,每个原始视频段中包括连续的多个视频帧,且多个视频帧中相邻的视频帧之间的相似度大于第一阈值,也即是每个原始视频段中包括多个相似的视频帧。可选地,该第一阈值为服务器默认设置的,或者服务器根据运维人员的操作设置的。
122.302、服务器基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。
123.每个视频帧包括前景区域和背景区域。其中,前景是指在视频帧中相对靠近镜头的对象,是视频帧的主体,如人物、动物或者车辆等。背景是指视频帧中的位于前景后面的景物,能够表现前景所处的时空环境,如街道、餐厅、篮球场等。
124.对于划分得到的每个原始视频段,服务器基于原始视频段中的每个视频帧的背景区域,获取该原始视频段的背景特征,该背景特征用于描述该原始视频段中的背景,也即是该原始视频段中的对象所处的环境。
125.303、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
126.服务器获取每两个相邻的原始视频段的背景特征之间的相似度,若两个相邻的原始视频段的背景特征之间的相似度大于第二阈值,则说明这两个原始视频段中的环境相似或者相同,由于这两个原始视频段相邻,则可以认为这两个原始视频段中的视频情节是同一个视频情节。可选地,该第二阈值为服务器默认设置的,或者服务器根据运维人员的操作设置的。
127.因此,服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将该至少两个原始视频段确定为属于同一个视频情节的原始视频段。若某一个原始视频段与相邻的原始视频段的背景特征之间的相似度不大于第二阈值,则该原始视频段单独属于一个视频情节。服务器可以在原始视频中的多个原始视频段中,确定多组原始视频段,每组原始视频段分别表示不同的视频情节,且每组原始视频段中包括一个原始视频段或者多个原始视频段。例如,当一组原始视频段中仅包括一个原始视频段时,该原始视频段单独属于一个视频情节,当一组原始视频段中包括多个原始视频段时,该多个原始视频段属于同一个视频情节。
128.304、服务器创建原始视频对应的视频划分记录。
129.当服务器完成对原始视频的视频情节划分,确定哪些原始视频段为属于同一个视频情节的视频段后,创建该原始视频对应的视频划分记录。其中,该视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
130.本技术实施例提供的方法,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两
个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本技术基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
131.需要说明的是,本技术实施例仅以执行主体为服务器为例进行说明,在另一实施例中,上述步骤301

304的执行主体也可以为其他计算机设备,例如执行主体为终端等。
132.图4是本技术实施例提供的一种视频划分方法的流程图。以执行主体为终端为例,参见图4,该方法包括:
133.401、终端接收服务器发送的校验请求。
134.在上述图3的实施例中服务器完成对原始视频的划分之后,还可以创建该原始视频的视频划分记录,视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。为了进一步提高视频划分的准确性,服务器在完成自动划分视频的情节之后,还可以将视频划分记录发送给终端进行人工校验,则服务器向终端发送携带该视频划分记录的校验请求。
135.则终端接收服务器发送的该校验请求,该校验请求用于请求终端对原始视频的视频划分记录进行校验。
136.402、终端基于校验请求显示用于指示关联关系的视频划分信息。
137.终端获取校验请求中携带的视频划分记录,根据视频划分记录中的关联关系,生成用于指示该关联关系的视频划分信息,并显示该视频划分信息,以便校验人员查看视频划分信息,根据视频划分信息来判断关联关系是否准确,也即是视频段的划分方式是否准确。
138.该视频划分信息包括多种类型的划分信息,只需表示出属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系即可,本技术实施例对此不做限定。
139.403、终端响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系。
140.校验人员查看视频划分信息来判断该视频划分信息是否准确,由于视频划分信息用于指示关联关系,因此如果服务器创建的视频划分记录中的关联关系不准确,则终端显示的视频划分信息也不准确,如果关联关系是准确的,则视频划分信息也是准确的。相应的,校验人员可以通过校验视频划分信息来对视频划分记录中的关联关系进行校验。例如,校验人员通过查看视频划分信息,来判断关联关系对应的多个原始视频段标识指示的原始视频段是不是属于同一个视频情节的视频段,如果确实是属于同一个视频情节的视频段,则该关联关系是准确的,如果不是属于同一个视频情节的视频段,则该关联关系是错误的。
141.当校验人员认为视频划分信息不准确时,则需要对视频划分信息进行编辑。因此校验服务器响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,从而将错误的关联关系纠正过来。
142.404、终端向服务器发送更新后的视频划分记录。
143.终端更新视频划分记录中的关联关系之后,则向服务器发送更新后的视频划分记录,服务器获取该更新后的视频划分记录。
144.本技术实施例提供的方法,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,能够进一步提高视频划分的准确性。因此,本技术实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
145.图5是本技术实施例提供的一种视频划分方法的流程图。以交互主体为服务器和终端为例,参见图5,该方法包括:
146.501、服务器将原始视频划分为连续的多个原始视频段。
147.服务器获取需要进行划分的原始视频,该原始视频可以为多种类型的视频,如电影、电视剧、综艺、动漫或者纪录片等。可选地,服务器获取已存储的原始视频,例如该服务器为视频应用服务器,该视频应用服务器中存储有多个视频,用于将存储的视频提供给视频应用进行播放。
148.服务器将该原始视频划分为连续的多个原始视频段,每个原始视频段中包括连续的多个视频帧,且多个视频帧中相邻的视频帧之间的相似度大于第一阈值,也即是每个原始视频段中包括多个相似的视频帧。
149.其中,服务器得到的每个原始视频段可以看作一个分镜,服务器通过对原始视频进行镜头切分得到连续的多个分镜。其中,镜头切分是指将连续的视频画面以一次运镜为单位进行分解,一个分镜是指通过一次连续的拍摄所得到的连续的视频画面。可选地,服务器采用开源库pyscenedetect(视频切分器)进行镜头切分。
150.在一种可能实现方式中,服务器将原始视频划分为连续的多个视频帧,并提取每个视频帧的帧特征,确定每两个相邻的视频帧的帧特征之间的相似度,响应于相邻的至少两个视频帧的帧特征之间的相似度大于第一阈值,将该至少两个视频帧确定为一个原始视频段,从而得到连续的多个原始视频段。
151.图6是本技术实施提供的一种视频帧的示意图,服务器对原始视频进行划分得到多个原始视频段,图6中展示了划分得到的原始视频段601、原始视频段602、原始视频段603、原始视频段604和原始视频段605。每个原始视频段中包括多个相似的视频帧,图6中分别选取每个原始视频段中的两个视频帧进行展示。
152.502、对于每个原始视频段,服务器对原始视频段中的每个视频帧的背景区域进行特征提取,得到每个视频帧的背景特征。
153.每个视频帧包括前景区域和背景区域。其中,前景是指在视频帧中相对靠近镜头的对象,是视频帧的主体,如人物、动物或者车辆等。背景是指视频帧中的位于前景后面的景物,能够表现前景所处的时空环境,如街道、餐厅、篮球场等。
154.对于划分得到的每个原始视频段,服务器对原始视频段中的每个视频帧的背景区域进行特征提取,得到该原始视频段中的每个视频帧的背景特征。其中视频帧的背景特征用于描述视频帧中的背景,也即是该视频帧中的对象所处的环境。
155.在一种可能实现方式中,对于每个视频帧,服务器对视频帧进行图像分割,得到视频帧对应的背景图像;对背景图像进行特征提取,得到视频帧的背景特征。其中,背景图像中包括视频帧的背景区域,不包括视频帧的前景区域。也即是该背景图像中仅包括背景区
域的图像信息,不包括前景区域的图像信息,因此直接对该背景图像进行特征提取,即可得到该视频帧的背景特征。可选地,服务器基于训练好的特征提取模型,对背景图像进行特征提取,得到背景图像对应的视频帧的背景特征。
156.可选地,服务器基于视频帧中的前景区域或背景区域所在的位置,生成视频帧对应的背景标注图;基于背景标注图,对视频帧进行图像分割,得到背景图像。其中,背景标注图用于指示视频帧中的背景区域。可选地,视频帧对应的背景标注图与视频帧的尺寸相同,背景标注图中的各个像素点的像素值均为0或者1,其中像素值为1的像素点位于背景区域,像素值为0的像素点位于前景区域,例如该背景标注图为背景mask(掩模)图。则服务器将该背景标注图与视频帧相乘,即可得到该视频帧对应的背景图像。
157.可选地,服务器检测视频帧中的前景区域,基于检测到的前景区域,生成视频帧对应的前景标注图,该前景标注图用于指示视频帧中的前景区域。然后将视频帧对应的前景标注图取反,得到视频帧对应的背景标注图。可选地,服务器可采用显著性检测算法来检测视频帧中的前景区域,或者还可以采用其他算法进行检测,本技术实施例对此不做限定。
158.其中,视频帧对应的前景标注图与视频帧的尺寸相同,前景标注图中的各个像素点的像素值均为0或者1,其中像素值为1的像素点位于前景区域,像素值为0的像素点位于背景区域,例如该前景标注图为前景mask(掩模)图。则将前景标注图取反是指在前景标注图中,将像素值中的0替换为1,将像素值中的1替换为0,从而得到背景标注图。
159.图7是本技术实施例提供的一种获取背景图像的流程图,参加图7,服务器检测视频帧701中的前景区域,基于检测到的前景区域,生成视频帧701对应的前景标注图702,然后将前景标注图702取反,得到视频帧701对应的背景标注图703,服务器基于背景标注图703,对视频帧701进行图像分割,得到背景图像704。其中,前景标注图像702中像素值为1的像素点位于前景区域,像素值为0的像素点位于背景区域,因此前景区域显示为黑色,背景区域显示为白色。背景标注图703中像素值为1的像素点位于背景区域,像素值为0的像素点位于前景区域,因此前景区域显示为白色,背景区域显示为黑色。
160.图8是本技术实施例提供的一种视频帧和视频帧的背景图像的示意图,参见图8,图8中包括视频帧801以及对应的背景图像802,视频帧803以及对应的背景图像804,视频帧805以及对应的背景图像806,其中背景图像802、背景图像804和背景图像806中仅包括背景区域,不包括前景区域。
161.图9是本技术实施例提供的一种获取视频帧对应的背景图像的流程图,如图9所示,包括:
162.901、获取视频帧;
163.902、检测视频帧中的前景区域;
164.903、通过检测视频帧中的前景区域得到前景标注图;
165.904、将前景标注图中的像素值取反,得到背景标注图;
166.905、基于背景标注图对视频帧进行图像分割得到背景图像。
167.在另一种可能实现方式中,服务器预先训练背景识别模型,该背景识别模型用于生成任一图像对应的背景图像。后续基于训练好的背景识别模型,对视频帧进行背景识别,得到视频帧对应的背景图像。可选地,该背景识别模型可以为基于imagenet(一种大型通用物体识别开源数据集)训练的一个深度学习网络模型,通过训练得到该深度学习网络模型
的参数权重,从而得到imagenet预训练模型作为背景识别模型。
168.503、服务器基于原始视频段中的多个视频帧的背景特征,确定原始视频段的背景特征。
169.服务器得到每个原始视频段中的每个视频帧的背景特征,则对于每个原始视频段,基于该原始视频段中的多个视频帧的背景特征,确定该原始视频段的背景特征,原始视频段的背景特征用于描述该原始视频段的背景,也即是该原始视频段中的对象所处的环境。
170.在一种可能实现方式中,服务器从原始视频段中提取多个参考视频帧,将多个参考视频帧的背景特征的均值,确定为原始视频段的背景特征。其中,该多个参考视频帧中不包含原始视频段的起始视频帧和终止视频帧,也即是在起始视频帧和终止视频帧之间的位于中间部分的视频帧中,选取多个参考视频帧。该多个参考视频帧的背景特征的均值,即为该原始视频段的embedding特征(嵌入特征),作为该原始视频段的背景特征。由于一个原始视频段的起始视频帧和终止视频帧可能包括原始视频段之间进行切换的特效,因此起始视频帧和终止视频帧的背景特征不能准确地表示整个原始视频段的背景特征,会影响分镜特征的表达,因此去除起始视频帧和终止视频帧,根据参考视频帧的背景特征确定的原始视频段的背景特征更加准确。
171.可选地,服务器先确定与原始视频段中的多个视频帧的总数量之间的比例为第一比例的第一数量,以及与总数量之间的比例为第二比例的第二数量,然后从原始视频段的起始视频帧开始依次往前,去除第一数量的视频帧,从原始视频段的终止视频帧开始依次往后,去除第二数量的视频帧,剩余的多个视频帧作为参考视频帧。
172.例如,以选取80%的参考视频帧为例,服务器从原始视频段的起始视频帧开始依次往前,去除10%的视频帧,从原始视频段的终止视频帧开始依次往后,去除10%的视频帧,得到位于中间部分的80%的参考视频帧,作为确定原始视频段的背景特征的依据。
173.在另一种可能实现方式中,服务器基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;将参考视频帧集合中的多个视频帧的背景特征的均值,确定为原始视频段的背景特征。
174.对多个视频帧进行聚类得到的多个视频帧集合中,每个视频帧集合中包括的至少一个视频帧的背景特征之间彼此相似,视频帧集合中的视频帧的个数越多,说明该原始视频段中与该视频帧集合中的视频帧的背景特征相似的视频帧越多,该视频帧集合中的视频帧的背景特征更能反映该原始视频段的背景特征。因此服务器确定每个视频帧集合中包括的视频帧的个数,并从中选取包括的视频帧的个数最多的参考视频帧集合,将参考视频帧集合中的多个视频帧的背景特征,作为确定该原始视频段的背景特征的依据,得到的原始视频段的背景特征更加准确。
175.可选地,服务器可采用k

means算法(一种聚类算法)对多个视频帧进行聚类,或者采用其他聚类算法对多个视频帧进行聚类,本技术实施例对此不做限定。
176.在另一种可能实现方式中,服务器基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到每个视频帧集合,每个视频帧集合中至少包括一个中心视频
帧,视频帧集合中的中心视频帧为聚类过程中的聚类中心。服务器在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合,将该参考视频帧集合中的中心视频帧的背景特征,确定为原始视频段的背景特征。
177.由于参考视频帧集合中的视频帧的背景特征更能反映该原始视频段的背景特征,而参考视频帧集合中的每个视频帧的背景特征均与中心视频帧的背景特征相似度较高,因此与参考视频帧集合中的其他视频帧相比,该中心视频帧的背景特征更能反映该原始视频段的背景特征,将中心视频帧的背景特征确定为原始视频段的背景特征,该原始视频段的背景特征更加准确。
178.图10是本技术实施例提供的一种获取原始视频段的背景特征的流程图,参见图10,包括:
179.1001、获取视频帧对应的背景图像;
180.1002、对背景图像进行特征提取;
181.1003、通过对背景图像进行特征提取得到视频帧的背景特征;
182.1004、基于多个视频帧的背景特征,确定原始视频段的背景特征。
183.需要说明的是,服务器通过执行上述步骤502

503,实现了基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。除了采用上述步骤502

503中提供的方法之外,服务器还可以采用其他方法,基于每个视频帧的背景区域获取原始视频段的背景特征。
184.需要说明的是,本技术实施例中进行背景区域识别和背景特征提取等过程,均可基于深度学习模型来执行,能够加强本方案的泛化性,后续可以通过优化模型来不断提高本方案的准确性。
185.504、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
186.服务器获取每两个相邻的原始视频段的背景特征之间的相似度,若两个相邻的原始视频段的背景特征之间的相似度大于第二阈值,则说明这两个原始视频段中的环境相似或者相同,由于这两个原始视频段相邻,则可以认为这两个原始视频段中的视频情节是连续的相同的视频情节。因此,服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将该至少两个原始视频段确定为属于同一个视频情节的视频段。其中,属于同一个视频情节的多个原始视频段中,第一个原始视频段中的起始视频帧的位置即为一个视频情节开始的位置,最后一个原始视频段中的终止视频帧的位置即为一个视频情节结束的位置。
187.服务器可以在原始视频中的多个原始视频段中,确定出多组原始视频段,每组原始视频段分别表示不同的视频情节,且每组原始视频段中包括一个原始视频段或者多个原始视频段。例如,多组原始视频段中包括属于视频情节a的一组原始视频段、属于视频情节b的一组原始视频段和属于视频情节c的一组原始视频段。其中,属于视频情节a的一组原始视频段中仅包括一个原始视频段1;属于视频情节b的一组原始视频段中包括原始视频段2和原始视频段3,则原始视频段2和原始视频段3的背景特征之间的相似度大于第二阈值;属于视频情节c的一组原始视频段中包括原始视频段4、原始视频段5和原始视频段6,则原始视频段4和原始视频段5的背景特征之间的相似度大于第二阈值,且原始视频段5和原始视
频段6的背景特征之间的相似度大于第二阈值。
188.在一种可能实现方式中,服务器在连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度,响应于任一原始视频段与任一原始视频段的前一个原始视频段的背景特征之间的相似度大于第二阈值,将任一原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段。
189.服务器从第二个原始视频段开始进行遍历,确定每一个原始视频段与上一个原始视频段的背景特征之间的相似度是否大于第二阈值。如果某一个原始视频段与前一个原始视频段的背景特征之间的相似度大于第二阈值,则服务器将该原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段,如果某一个原始视频段与前一个原始视频段的背景特征之间的相似度不大于第二阈值,说明该原始视频段与前一个原始视频段的视频情节不同,则服务器继续执行对下一个原始视频段的遍历。
190.图11是本技术实施例提供的一种视频划分方法的流程图,参见图11,包括:
191.1101、对原始视频进行镜头切分,得到连续的多个视频分镜(原始视频段);
192.1102、获取每个视频分镜中的每个视频帧对应的背景图像;
193.1103、基于视频帧对应的背景图像,提取视频帧的背景特征;
194.1104、基于多个视频帧的背景特征,获取视频分镜的背景特征;
195.1105、基于每个视频分镜的背景特征,进行多分镜聚合,其中聚合得到的多个视频分镜的背景特征相似,聚合得到的多个视频分镜属于同一个视频情节;
196.1106、完成对原始视频的情节划分。
197.图12是本技术实施例提供的一种视频划分结果的示意图,参见图12,对原始视频进行划分得到原始视频段1201、原始视频段1202、原始视频段1203、原始视频段1204、原始视频段1205、原始视频段1206和原始视频段1207。采用本技术实施例提供的方法进行视频情节切分,确定原始视频段1201属于一个视频情节,原始视频段1202和原始视频段1203属于一个视频情节,原始视频段1204属于一个视频情节,原始视频段1205、原始视频段1206和原始视频段1207属于一个视频情节。
198.通过执行上述步骤501

504,完成对原始视频的视频情节切分,从而将一个视频根据叙事划分成多个视频情节,如餐厅吃饭情节、停车场对话情节等。需要说明的是,本技术实施例仅说明了对原始视频进行视频情节划分的过程。在另一实施例中,当服务器执行上述步骤504完成视频情节的划分之后,还可以将属于同一个视频情节的多个原始视频段进行合并,则合并得到的每个原始视频段分别属于一个视频情节,其他未合并的每个原始视频段也分别属于一个视频情节。
199.505、服务器创建原始视频对应的视频划分记录。
200.当服务器完成对原始视频的视频情节划分,确定哪些原始视频段为属于同一个视频情节的视频段后,创建该原始视频对应的视频划分记录,其中,该视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。其中,视频段标识用于指示原始视频段,例如视频段标识为原始视频段的序号等。
201.该视频划分记录能够表示该原始视频中的哪些原始视频段属于同一个视频情节,后续当服务器将原始视频下发给终端进行播放时,可同步将该原始视频的视频划分记录发
送给终端。则终端可以根据视频划分记录得知原始视频中的哪些原始视频段属于同一个视频情节,从而在原始视频中确定不同的视频情节切分的位置对应的视频帧,以便在播放原始视频时为这些视频帧添加标记,例如在进度条中该视频帧对应的位置添加标记,以便用户在观看原始视频时根据显示的标记跳转到自己感兴趣的视频情节。
202.506、服务器向终端发送校验请求。
203.为了进一步提高视频划分的准确性,服务器在完成自动划分视频的情节之后,还可以将视频划分记录发送给终端进行人工校验,则服务器向终端发送携带该视频划分记录的校验请求。
204.507、终端接收服务器发送的校验请求。
205.508、终端基于校验请求显示用于指示关联关系的视频划分信息。
206.终端获取校验请求中携带的视频划分记录,根据视频划分记录中的关联关系,生成用于指示该关联关系的视频划分信息,并显示该视频划分信息,以便校验人员查看视频划分信息,根据视频划分信息来判断关联关系是否准确。
207.在一种可能实现方式中,终端基于校验请求,显示视频划分记录中的多个视频段标识对应的指示标记。其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。则校验人员查看到多个不同的原始视频段的视频段标识与一个指示标记对应,可以得知该多个不同的原始视频段之间具有关联关系,也即是服务器将该多个不同的原始视频段确定为属于同一个视频情节的视频段。如果校验人员查看到某一个原始视频段的视频段标识单独与一个指示标记对应,可以得知服务器将该原始视频段单独确定为属于一个视频情节的视频段。因此通过显示视频段标识对应的指示标记,校验人员即可得知服务器对原始视频的划分结果,从而对划分结果进行校验。
208.在另一种可能实现方式中,校验请求还携带每个视频段标识对应的一个视频帧。则终端除了显示多个视频段标识对应的指示标记,还会在每个指示标记对应的显示位置,显示与每个指示标记对应于同一视频段标识的视频帧。
209.其中,视频段标识对应的一个视频帧,是指该视频段标识指示的原始视频段中的一个视频帧,例如该视频帧为原始视频段中的位于中间位置的一个视频帧等,能够通过该视频帧来表示该原始视频段所属的视频情节。则终端通过显示与每个指示标记对应于同一视频段标识的视频帧,便于校验人员通过查看视频帧来确定指示标记对应的每个原始视频段所属的视频情节,更加直观形象,从而判断一个指示标记对应的多个原始视频段是不是确实属于同一个视频情节,以及判断两个不同的指示标记分别对应的原始视频段是不是确实不属于同一个视频情节。
210.图13是本技术实施例提供的一种视频划分信息的示意图,参见图13,将原始视频段中的视频帧按顺序展示在校验人员的面前,指示标记为长条形的指示标记,校验人员通过修正长条形的指示标记的位置来对视频划分信息进行校正。其中在指示标记1308对应的显示位置,显示视频帧1301,该视频帧1301所在的原始视频段属于一个视频情节;在指示标记1309对应的显示位置,显示视频帧1302和视频帧1303,该视频帧1302和视频帧1303所在的原始视频段属于同一个视频情节;在指示标记1310对应的显示位置,显示视频帧1304,该视频帧1304所在的原始视频段属于一个视频情节;在指示标记1311对应的显示位置,显示
视频帧1305、视频帧1306和视频帧1307,该视频帧1305、视频帧1306和视频帧1307所在的原始视频段属于同一个视频情节。
211.509、终端响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系。
212.校验人员查看视频划分信息来判断该视频划分信息是否准确,由于视频划分信息用于指示关联关系,因此如果服务器创建的视频划分记录中的关联关系不准确,则终端显示的视频划分信息也不准确,如果关联关系是准确的,则视频划分信息也是准确的。相应的,校验人员可以通过校验视频划分信息来对视频划分记录中的关联关系进行校验。当校验人员认为视频划分信息不准确时,则需要对视频划分信息进行编辑。因此校验服务器响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,从而将错误的关联关系纠正过来。
213.在一种可能实现方式中,如上述步骤508中所说的,终端显示的视频划分信息包括多个视频段标识对应的指示标记,且属于同一个视频情节的不同原始视频段的视频段标识与一个指示标记对应,其他的视频段标识分别与一个指示标记对应。则响应于对视频划分信息的编辑操作更新关联关系的方式,包括以下几种:
214.第一种方式,终端响应于对第一指示标记和第二指示标记的合并操作,在视频划分记录中创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系。
215.其中,第一指示标记与第二指示标记相邻,第一指示标记对应一个视频段标识,第二指示标记也对应至少一个视频段标识,也即是第一指示标记对应的至少一个原始视频段与第二指示标记对应的至少一个原始视频段相邻。服务器将第一指示标记对应的至少一个原始视频段确定为属于一个视频情节的视频段,将第二指示标记对应的至少一个原始视频段确定为属于另一个视频情节的视频段。如果校验人员确定第一指示标记和第二指示标记对应的多个原始视频段其实是属于同一个视频情节的视频段,则将第一指示标记和第二指示标记进行合并。终端响应于对第一指示标记和第二指示标记的合并操作,创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系,该关联关系表示该多个视频段标识指示的多个原始视频段是属于同一个视频情节的视频段。
216.第二种方式,终端响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除。
217.其中,该第三指示标记对应多个视频段标识,也即是对应多个原始视频段。服务器将第三指示标记对应的多个原始视频段确定为属于一个视频情节的视频段。如果校验人员确定第三指示标记对应的多个原始视频段其实并不是属于同一个视频情节的视频段,则将该第三指示标记删除。终端响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除,不再将该多个原始视频段确定为属于同一个视频情节的视频段。
218.第三种方式,终端响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除;对于每个第五指示标记,在视频划分记录中创建第五指示标记对应的多个视频段标识之间的关联关系。
219.其中,该第四指示标记对应多个视频段标识,也即是对应多个原始视频段。服务器将第四指示标记对应的多个原始视频段确定为属于一个视频情节的视频段。如果校验人员
确定该多个原始视频段其实并不是属于同一个视频情节的视频段,而是多个原始视频段中包括多组原始视频段,每组原始视频段分别属于一种视频情节,则校验人员按照该多个原始视频段中的视频情节的切分情况,将该第四指示标记拆分成多个第五指示标记,每个第五指示标记对应一组属于同一个视频情节的视频段。
220.则终端将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除。对于每个第五指示标记,如果某一个第五指示标记对应多个原始视频段,也即是对应多个视频段标识,则终端在视频划分记录中创建该第五指示标识对应的多个视频段标识之间的关联关系,以表示该多个视频段标识指示的多个原始视频段是属于同一个视频情节的视频段。
221.510、终端向服务器发送更新后的视频划分记录。
222.终端更新视频划分记录中的关联关系之后,得到更新后的视频划分记录,该更新后的视频划分记录为经人工校验的更加准确的视频划分记录。终端向服务器发送该更新后的视频划分记录。
223.511、服务器接收更新后的视频划分记录。
224.服务器接收更新后的视频划分记录,可以将原先的视频划分记录替换为该更新后的视频划分记录,后续将原始视频下发给终端进行播放时,可以将更新后的视频划分记录同步下发给终端。
225.需要说明的是,本技术实施例仅以创建视频划分记录并发送给终端进行校验为例进行说明。在另一实施例中,服务器完成对视频的划分后,还可以不创建视频划分记录,也即是不执行上述步骤505

511。或者,服务器在创建视频划分记录后,还可以不发送给终端进行校验,也即是不执行上述步骤506

511。
226.本技术实施例提供的方法,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本技术基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
227.并且,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,因此能够进一步提高视频划分的准确性。因此,本技术实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
228.并且,由于一个视频段的起始视频帧和终止视频帧可能包括视频段之间进行切换的特效,因此起始视频帧和终止视频帧的背景特征不能准确地表示整个视频段的背景特征,会影响分镜特征的表达,因此去除起始视频帧和终止视频帧,根据参考视频帧的背景特征确定的视频段的背景特征更加准确。
229.并且,相关技术中采用人工标注的方法来划分一个完整的视频中所有的视频情节,耗费大量人力和时间。而本技术实施例结合人工智能技术,能够实现自动化划分视频的视频情节,减少人力投入,提高了视频划分的效率。
230.并且,对多个视频帧进行聚类得到的多个视频帧集合中,包括的视频帧的个数最多的参考视频帧集合更能反映该视频段的背景特征,因此将参考视频帧集合中的多个视频帧的背景特征,作为确定该视频段的背景特征的依据,得到的视频段的背景特征更加准确。
231.并且,参考视频帧集合中的每个视频帧的背景特征均与中心视频帧的背景特征相似度较高,因此与参考视频帧集合中的其他视频帧相比,中心视频帧的背景特征更能反映该视频段的背景特征,将中心视频帧的背景特征确定为视频段的背景特征,该视频段的背景特征更加准确。
232.并且,终端显示与每个指示标记对应于同一视频段标识的视频帧,便于校验人员通过查看视频帧来确定指示标记对应的每个视频段所属的视频情节,更加直观形象。
233.并且,本技术实施例中进行背景区域识别和背景特征提取等过程,均可基于深度学习模型来执行,从而加强本方案的泛化性,后续还可以通过优化模型来不断提高视频划分的准确性。
234.上述实施例提供的方法可应用于根据视频情节播放视频的场景中,在该场景中包括视频划分和视频播放两个过程,则如图14所示,视频划分和视频播放的过程包括:
235.1401、服务器将原始视频划分为连续的多个原始视频段,其中,每个原始视频段中的相邻视频帧之间的相似度大于第一阈值。
236.1402、服务器基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征。
237.1403、服务器响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段。
238.1404、服务器创建原始视频对应的视频划分记录,其中,视频划分记录中包括每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
239.1405、服务器响应于终端发送的视频播放请求,将该原始视频和原始视频的视频划分记录发送给终端。
240.1406、终端接收原始视频和视频划分记录。
241.1407、终端根据视频划分记录确定属于一个视频情节的至少一个原始视频段。
242.1408、终端在播放原始视频时,确定属于一个视频情节的至少一个原始视频段中的起始视频帧,在进度条中的起始视频帧对应的位置处显示跳转标记,其中,进度条中每两个跳转标记之间的至少一个原始视频段属于一个视频情节。
243.1409、终端响应于对任一跳转标记的点击操作,跳转至该跳转标记对应的视频帧进行播放。其中,如果用户对当前播放的原始视频段的视频情节不感兴趣,则可以点击下一个跳转标记,跳转至下一个视频情节的原始视频段。
244.图15是本技术实施例提供的一种视频划分装置的结构示意图。参见图15,该装置包括:
245.视频划分模块1501,用于将原始视频划分为连续的多个原始视频段,每个原始视
频段中的相邻视频帧之间的相似度大于第一阈值;
246.特征获取模块1502,用于基于每个原始视频段中的每个视频帧的背景区域,获取每个原始视频段的背景特征;
247.视频段确定模块1503,用于响应于相邻的至少两个原始视频段的背景特征之间的相似度大于第二阈值,将至少两个原始视频段确定为属于同一个视频情节的视频段;
248.划分记录创建模块1504,用于创建所述原始视频对应的视频划分记录,所述视频划分记录中包括所述每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系。
249.本技术实施例提供的视频划分装置,由于视频段的背景特征表示视频段中对象所处的环境,因此相邻的至少两个视频段的背景特征之间的相似度大于第二阈值,则说明该至少两个视频段中的环境相似或者相同,可以认为该至少两个视频段中的视频情节是相同的,因此将该至少两个视频段确定为属于同一视频情节的视频段。本技术基于视频段的背景特征之间的相似度来进行视频划分,从而确定哪些视频段属于同一个视频情节,能够覆盖任一类型的视频情节,避免了基于动作进行视频划分的局限性,提高了视频划分的效果。并且,通过创建视频划分记录,维护视频划分结果,便于后续根据视频划分记录对视频划分结果进行校验,或者根据视频划分记录对视频按照视频情节进行播放。
250.可选地,参见图16,特征获取模块1502,包括:
251.特征提取单元15021,用于对于每个原始视频段,对原始视频段中的每个视频帧的背景区域进行特征提取,得到每个视频帧的背景特征;
252.特征确定单元15022,用于基于原始视频段中的多个视频帧的背景特征,确定原始视频段的背景特征。
253.可选地,参见图16,特征提取单元15021,用于:
254.对于每个视频帧,对视频帧进行图像分割,得到视频帧对应的背景图像,背景图像中包括视频帧的背景区域,不包括视频帧的前景区域;
255.对背景图像进行特征提取,得到视频帧的背景特征。
256.可选地,参见图16,特征确定单元15022,用于:
257.从原始视频段中提取多个参考视频帧,且多个参考视频帧中不包含原始视频段的起始视频帧和终止视频帧;
258.将多个参考视频帧的背景特征的均值,确定为原始视频段的背景特征。
259.可选地,参见图16,特征确定单元15022,用于:
260.基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中包括至少一个视频帧;
261.在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的视频帧集合;
262.将参考视频帧集合中的多个视频帧的背景特征的均值,确定为原始视频段的背景特征。
263.可选地,参见图16,特征确定单元15022,用于:
264.基于原始视频段中的多个视频帧的背景特征,对多个视频帧进行聚类,得到多个视频帧集合,每个视频帧集合中至少包括一个中心视频帧;
265.在多个视频帧集合中选取参考视频帧集合,参考视频帧集合是指包括的视频帧的个数最多的参考视频帧集合;
266.将参考视频帧集合中的中心视频帧的背景特征,确定为原始视频段的背景特征。
267.可选地,参见图16,视频段确定模块1503,包括:
268.相似度确定单元15031,用于在连续的多个原始视频段中,从第二个原始视频段开始,确定每个原始视频段与前一个原始视频段的视频背景特征之间的相似度;
269.视频段确定单元15032,用于响应于任一原始视频段与任一原始视频段的前一个原始视频段的背景特征之间的相似度大于第二阈值,将任一原始视频段与前一个原始视频段确定为属于同一个视频情节的视频段。
270.可选地,参见图16,装置还包括:
271.视频段合并模块1505,用于将属于同一个视频情节的多个原始视频段进行合并。
272.可选地,参见图16,装置还包括:
273.校验请求发送模块1506,用于向终端发送校验请求,校验请求携带视频划分记录;终端用于基于校验请求显示用于指示关联关系的视频划分信息,响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系,返回更新后的视频划分记录;
274.划分记录接收模块1507,用于接收更新后的视频划分记录。
275.需要说明的是:上述实施例提供的视频划分装置在对视频进行划分时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将服务器的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频划分装置与视频划分方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
276.图17是本技术实施例提供的一种视频划分装置的结构示意图。参见图17,该装置包括:
277.校验请求接收模块1701,用于接收服务器发送的校验请求,校验请求携带服务器创建的视频划分记录,视频划分记录中包括原始视频中的每个原始视频段的视频段标识,以及属于同一个视频情节的不同原始视频段的视频段标识之间的关联关系;
278.信息显示模块1702,用于基于校验请求显示用于指示关联关系的视频划分信息;
279.关联关系更新模块1703,用于响应于对视频划分信息的编辑操作,更新视频划分记录中的关联关系;
280.划分记录发送模块1704,用于向服务器发送更新后的视频划分记录。
281.本技术实施例提供的视频划分装置,由于服务器已创建视频划分记录,因此终端基于携带视频划分记录的校验请求来显示视频划分信息,校验人员通过查看视频划分信息来判断该视频划分信息指示的关联关系是否准确,从而执行对视频划分信息的编辑操作,以使终端对关联关系进行更新,来纠正错误的关联关系,得到更加准确的视频划分记录,因此能够进一步提高视频划分的准确性。因此,本技术实施例兼顾自动划分的便捷性与人工划分的准确性,提升了视频划分的整体性能。
282.可选地,参见图18,信息显示模块1702,包括:
283.信息显示单元17021,用于基于校验请求,显示视频划分记录中的多个视频段标识对应的指示标记,其中属于同一个视频情节的不同原始视频段的视频段标识与一个指示标
记对应,其他的视频段标识分别与一个指示标记对应。
284.可选地,参见图18,校验请求还携带每个视频段标识对应的一个视频帧,信息显示模块1702,用于在每个指示标记对应的显示位置,显示与每个指示标记对应于同一视频段标识的视频帧。
285.可选地,参见图18,关联关系更新模块1703,包括:
286.关联关系创建单元17031,用于响应于对第一指示标记和第二指示标记的合并操作,在视频划分记录中创建第一指示标记和第二指示标记对应的多个视频段标识之间的关联关系,第一指示标记与第二指示标记相邻。
287.可选地,参见图18,关联关系更新模块1703,包括:
288.关联关系删除单元17032,用于响应于对第三指示标记的删除操作,将视频划分记录中的第三指示标记对应的多个视频段标识之间的关联关系删除。
289.可选地,参见图18,关联关系更新模块1703,包括:
290.指示标记确定单元17033,用于响应于对第四指示标记的拆分操作,确定拆分得到的多个第五指示标记;
291.关联关系删除单元17032,用于将视频划分记录中的第四指示标记对应的多个视频段标识之间的关联关系删除;
292.关联关系创建单元17031,用于对于每个第五指示标记,在视频划分记录中创建第五指示标记对应的多个视频段标识之间的关联关系。
293.需要说明的是:上述实施例提供的视频划分装置在对视频进行划分时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将终端的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的视频划分装置与视频划分方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
294.本技术实施例还提供了一种终端,该终端包括处理器和存储器,存储器中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的视频划分方法中所执行的操作。
295.图19示出了本技术一个示例性实施例提供的终端1900的结构示意图。
296.终端1900包括有:处理器1901和存储器1902。
297.处理器1901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器1901可以采用dsp(digital signal processing,数字信号处理)、fpga(fieldprogrammable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器1901可以集成有gpu(graphics processing unit,图像处理的交互器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器1901还可以包括ai(artificial intelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。
298.存储器1902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可
units,cpu)2001和一个或一个以上的存储器2002,其中,所述存储器2002中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器2001加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
306.本技术实施例还提供了一种计算机可读存储介质,该计算机可读存储介质中存储有至少一条计算机程序,该至少一条计算机程序由处理器加载并执行,以实现上述实施例的视频划分方法中所执行的操作。
307.本技术实施例还提供了一种计算机程序产品或计算机程序,计算机程序产品或计算机程序包括计算机程序代码,计算机程序代码存储在计算机可读存储介质中,处理器从计算机可读存储介质读取计算机程序代码,处理器执行计算机程序代码,以实现如上述实施例的视频划分方法中所执行的操作。
308.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
309.以上所述仅为本技术实施例的可选实施例,并不用以限制本技术实施例,凡在本技术实施例的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本技术的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献