一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种视频剪辑方法、装置、设备及存储介质与流程

2023-01-15 18:41:21 来源:中国专利 TAG:


1.本发明涉及多媒体的技术领域,尤其涉及一种视频剪辑方法、装置、设备及存储介质。


背景技术:

2.在推广游戏、电子产品等业务对象的场景中,常使用视频数据介绍游戏、电子产品等业务对象,视频数据以画面、声音的方式呈现游戏、电子产品等业务对象的信息,方便用户阅读。
3.在录制完原始的视频数据之后,美术人员主要是使用专业的视频剪辑工具剪辑视频数据,即,不断拖动视频数据的播放进度,快速浏览视频数据并进行剪辑,剪辑的地方主要依赖美术人员浏览画面的内容,反复在时间轴上的不同位置进行切换、对比,从而决定剪辑的位置,导致剪辑的效率较低。


技术实现要素:

4.本发明提供了一种视频剪辑方法、装置、设备及存储介质,以解决如何提高剪辑视频数据的效率的问题。
5.根据本发明的一方面,提供了一种视频剪辑方法,包括:
6.获取用于推广业务对象的原始视频数据;
7.以视频场景作为切分的节点,将所述原始视频数据切分为多个候选片段;
8.针对每段所述候选片段计算在视觉上表征精彩程度的段精彩值;
9.根据所述段精彩值挑选部分所述候选片段为目标片段;
10.按照顺序将所述目标片段拼接为目标视频数据。
11.根据本发明的另一方面,提供了一种视频剪辑装置,包括:
12.原始视频数据获取模块,用于获取用于推广业务对象的原始视频数据;
13.候选片段切分模块,用于以视频场景作为切分的节点,将所述原始视频数据切分为多个候选片段;
14.精彩值计算模块,用于针对每段所述候选片段计算在视觉上表征精彩程度的段精彩值;
15.目标片段挑选模块,用于根据所述段精彩值挑选部分所述候选片段为目标片段;
16.目标视频数据拼接模块,用于按照顺序将所述目标片段拼接为目标视频数据。
17.根据本发明的另一方面,提供了一种电子设备,所述电子设备包括:
18.至少一个处理器;以及
19.与所述至少一个处理器通信连接的存储器;其中,
20.所述存储器存储有可被所述至少一个处理器执行的计算机程序,所述计算机程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行本发明任一实施例所述的视频剪辑方法。
21.根据本发明的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序用于使处理器执行时实现本发明任一实施例所述的视频剪辑方法。
22.在本实施例中,获取用于推广业务对象的原始视频数据;以视频场景作为切分的节点,将原始视频数据切分为多个候选片段;针对每段候选片段计算在视觉上表征精彩程度的段精彩值;根据段精彩值挑选部分候选片段为目标片段;按照顺序将目标片段拼接为目标视频数据。在摆脱美术人员的主观判断的情况下,按照视频场景切分候选片段可以保证情节的完整性,以段精彩值作为参考筛选候选片段可以保证筛选出的候选片段的质量,从而保证目标视频数据的质量,并且,原始视频数据具有复用性,可以制作出数量众多、内容各异的目标视频数据,降低了剪辑目标视频数据的工作量,缩短了制作周期,人力、时间等成本将大大减少,提高整体的剪辑效率,较短的制作周期可满足游戏等推广周期较短的业务对象对于时限性的要求。
23.应当理解,本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征,也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
24.为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
25.图1是根据本发明实施例一提供的一种视频剪辑方法的流程图;
26.图2是根据本发明实施例一提供的一种剪辑视频数据的示例图;
27.图3是根据本发明实施例二提供的一种视频剪辑装置的结构示意图;
28.图4是实现本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
29.为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分的实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
30.需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.实施例一
32.图1为本发明实施例一提供的一种视频剪辑方法的流程图,本实施例可适用于根据视频场景的精彩程度对视频数据进行剪辑的情况,该方法可以由视频剪辑装置来执行,该视频剪辑装置可以采用硬件和/或软件的形式实现,该视频剪辑装置可配置于电子设备中。如图1所示,该方法包括:
33.步骤101、获取用于推广业务对象的原始视频数据。
34.在不同的业务场景中分布有具备该业务场景中业务特性的对象,记为业务对象,业务对象可以是实体物品,例如,手机、平板电脑、智能手表,等等,业务对象也可以为虚拟数据,多为第三方的应用程序,例如,游戏、游戏分发应用、短视频应用、购物应用,等等,本实施例对此不加以限制。
35.为使本领域技术人员更好地理解本发明,在本实施例中,将游戏作为业务对象的一种示例进行说明。
36.其中,游戏的类型可以包括moba(multiplayer online battle arena,多人在线战术竞技游戏)、rpg(role-playing game,角色扮演游戏)、slg(simulation game,策略类游戏),等等,本实施例对此不加以限制。
37.针对既定的业务对象,可能会在不同的渠道进行推广,不同的渠道在时长、内容等方面存在差异,为了方便后续的推广,美术人员可以预先制作一个或多个可覆盖不同渠道的视频数据,记为原始视频数据,这些原始视频数据可以按照渠道的规范进行编辑,例如,原始视频数据的时长较长,该时长大于或等于所有渠道限制的时长,使得美术人员可针对特定的渠道进行剪辑,原始视频数据并未配置背景音乐,使得美术人员可针对特定的渠道配置背景音乐,等等。
38.进一步而言,该原始视频数据的内容(包含画面与声音)与业务对象相关,可用于介绍业务对象、对业务对象进行推广。
39.以游戏为例,原始视频数据的内容可以划分为游戏的内容、真实的剧情两种主要的形式,其中,游戏的内容可以为用户控制游戏的过程介绍,也可以为代言人介绍游戏,还可以是代言人穿着游戏中的服饰进行介绍,而剧情可以进一步划分为如下类别:
40.1、伪美食分享
41.原始视频数据包含一些美食类的素材,吸引起用户的注意,植入玩游戏吃美食的玩法。
42.2、贴近用户生活题材
43.原始视频数据的内容贴近用户现在的生活状态,将游戏植入到生活的方方面面,如玩游戏吃饭、买零食等。这类素材前半段主要以2人对话为主,后半段为游戏的植入片段。
44.3、夸张情景剧
45.原始视频数据包含情景剧的素材,某些剧情较为夸张,用以吸引起用户的注意。
46.当然,上述原始视频数据只是作为示例,在实施本实施例时,可以根据实际情况设置其它原始视频数据,本实施例对此不加以限制。另外,除了上述原始视频数据外,本领域技术人员还可以根据实际需要采用其它原始视频数据,本实施例对此也不加以限制。
47.在实际应用中,原始视频数据中具有多帧图像数据,为了推广业务对象,在不同的图像数据中通常配置有图标(logo)、横幅信息(banner)、结束片段(ending card,ec)等信息。
48.其中,图标logo为业务对象自身的标志,可以为文字性的图标logo(包含业务对象的名称)、也可以为图形性的图标logo。
49.横幅信息banner一般为矩形的信息,通常位于图像数据的顶部和/或底部,可记录业务对象自身的信息(如游戏中的画面、游戏中的角色、名称)、吸引用户购置或下载业务对象的信息(如礼品码)。
50.结束片段ec中具有下载业务对象的标识,例如,业务对象自身的信息(如游戏中的画面、角色、名称)、购置或下载业务对象的方式(如应用分发平台的图标、应用分发平台的名称及图标、购物平台的名称及图标等)。
51.步骤102、以视频场景作为切分的节点,将原始视频数据切分为多个候选片段。
52.在本实施例中,可以使用命令行工具、库文件等方式对原始视频数据检测视频场景,所谓视频场景,可以指在原始视频数据中构成的场景,可以体现原始视频数据中较为独立的情景。
53.从而以视频场景作为切分的节点(即对相邻两个视频场景之间的时间点进行切分),将原始视频数据切分为多个片段,记为候选片段,那么,在每个候选片段中具有一个或多个独立的视频场景。
54.在具体实现中,对原始视频数据检测场景,在原始视频数据上表征视频场景切换的切分点。
55.其中,检测的场景的方式包括如下至少一种:
56.1、阈值模式
57.阈值模式适用于存在明显视频场景边界的原始视频数据,将每帧图像数据指定通道的颜色值与设置的第一阈值(第一阈值用于表征黑色、白色等视频场景边界的颜色值)进行比较,如果图像数据指定通道的颜色值大于第一阈值,则可以检测出淡入、淡出、切成黑色等视频场景的边界,此时,将该帧图像数据设置为第一目标帧,将第一目标帧所处的时间点设置为切分点,即,切分点为第一目标帧所处的时间点,第一目标帧为指定通道的颜色值大于第一阈值的图像数据。
58.2、内容模式
59.内容模式适用于视频场景之间快速切换的原始视频数据,比较相邻每帧图像数据之间内容的变化量,如果该变化量大于第二阈值,则表示相邻两帧图像数据之间的内容变化较大,属于视频场景的切换,此时,将相邻两帧图像数据设置为第二目标帧,将两帧第二目标帧之间的时间点设置为切分点,即,切分点为两帧第二目标帧之间的时间点,两帧第二目标帧为位置相邻且内容的变化量大于第二阈值的两帧图像数据。
60.在遍历完整个原始视频数据时,在各个切分点对原始视频数据进行切分,得到多个候选片段。
61.一般情况下,可以将包含一个独立视频场景的数据切分为一个候选片段,而考虑到某些包含一个独立视频场景的候选片段的时长较短,单独剪辑时可能导致内容的连续性脱节较为明显,影响用户观看的体验。
62.因此,可以按照时间顺序对各个候选片段进行排序,按照排序的顺序遍历各个候选片段,在遍历时,依次查询当前候选片段的时长,并将该时长与预设的第三阈值进行比较,若时长小于或等于第三阈值,表示候选片段的时长较短,则可以将当前候选片段合并至
相邻的其他候选片段(即排序在上一位的候选片段或排序在下一位的候选片段),减少剪辑时出现内容碎片化的情况。
63.步骤103、针对每段候选片段计算在视觉上表征精彩程度的段精彩值。
64.针对每段候选片段,可以使用深度学习、业务规则(如在业务上设置多个目标及其分数,在画面上检测到目标时按照其分数进行增减,最终得到段精彩值)等方式对其在整体的视觉语义(即画面内容)上的精彩程度(又称重要性)进行量化,得到段精彩值。
65.一般情况下,候选片段在整体的视觉语义上的精彩程度与段精彩值是正相关的关系,段精彩值越高,候选片段在整体的视觉语义上的精彩程度越高,反之,段精彩值越低,候选片段在整体的视觉语义上的精彩程度越低。
66.在一种方式中,可以加载摘要生成网络(a flexible detect to summarize network for video summarization,dsnet)至内存运行,摘要生成网络可将视频数据中的主要部分抽离出来生成片段,用这段片段概括视频数据的内容,摘要生成网络包括两种网络框架,分别为anchor-based method和anchor-free method。
67.在anchor-based method中,提供一个多尺度区间的proposals(候选框)进行密集抽样,提取其长期的具有时间依赖的特征,用于proposal location(候选地点)回归和重要性预测,这里分配了正负样本来用于生成摘要的正确性和完整性信息。
68.在anchor-free method中,直接预测视频数据中各帧图像数据和片段位置的重要性。
69.在本方式中,将候选片段中的每帧图像数据输入摘要生成网络中进行处理,得到每帧图像数据在视觉上表征精彩程度的帧精彩值。
70.一般情况下,图像数据在视觉语义上的精彩程度与帧精彩值是正相关的关系,帧精彩值越高,图像数据在视觉语义上的精彩程度越高,反之,帧精彩值越低,图像数据在视觉语义上的精彩程度越低。
71.通过求平均值、加权求和等方式将候选片段中所有图像数据的帧精彩值融合为候选片段在视觉上表征精彩程度的段精彩值。
72.进一步而言,如图2所示,可以预先加载摘要生成网络并将原始视频数据中的每帧图像数据输入摘要生成网络中进行处理,得到每帧图像数据在视觉上表征精彩程度的帧精彩值,以精彩坐标系210等方式记录,其中,精彩坐标系210的横轴为帧(frame)的id,纵轴为帧的帧精彩值(frame_score)。
73.在计算每段候选片段计算在视觉上表征精彩程度的段精彩值时,从缓存中读取每段候选片段中各帧帧图像数据在视觉上表征精彩程度的帧精彩值,并将候选片段中所有图像数据的帧精彩值融合为候选片段在视觉上表征精彩程度的段精彩值,从而提高计算段精彩值的效率。
74.步骤104、根据段精彩值挑选部分候选片段为目标片段。
75.在实际应用中,如图2所示,从原始视频数据切分的候选片段的数量较多,筛选出部分候选片段组成的候选集合较多,此时,可以以段精彩值作为评价各个候选集合的指标之一,筛选出一个或多个适合的候选集合,将每个候选集合中的候选片段分别记为目标片段220。
76.在本发明的一个实施例中,步骤104可以包括如下步骤:
77.步骤1041、将总时长与总精彩值设置为筛选条件。
78.步骤1042、按照筛选条件筛选部分候选片段为目标片段,以在约束总时长的条件下,使总精彩值趋向极大值。
79.在本实施例中,可以设定两个变量作为筛选条件,其中一个变量是总时长,总时长为目标片段的时长之和,另一个变量是总精彩值,总精彩值为目标片段的段精彩值之和。
80.一般情况下,总时长可以根据业务的需求(如待推广的渠道的限制)进行设置,可约束总时长符合某个条件,如小于某个时间数值、或在某个时间范围(如10秒-15秒、25秒-30秒等)内。
81.那么,将时长视为背包内单个元素(即候选片段)的重量,将总时长视为背包内所有元素(即候选片段)的重量,背包本身具有额定的容量target(即约束总时长的条件),将段精彩值视为背包内单个元素(即候选片段)的价值,将总精彩值视为背包内所有元素(即候选片段)的总价值,从而将从候选片段筛选出部分合适的候选片段作为目标片段视为背包问题(尤其为01背包问题),在总的重量不超过背包容量的承载上限时,通过两层循环(外循环候选片段、内循环总精彩值)等方式对背包问题进行求解,使得总精彩值趋向极大值(极大值为所有候选集合对应的总精彩值中的最大值),即,使得总精彩值尽可能大。
82.在本发明的另一个实施例中,步骤104还可以包括如下步骤:
83.步骤1043、若候选片段包含业务对象中的业务场景,则将候选片段设置为业务片段。
84.在实际应用中,由于原始视频数据的多样化,使得原始视频数据中部分内容与业务对象之间是弱相关性,并且,原始视频数据在视觉上的精彩程度与业务对象之间也是弱相关性的,那么,在约束总时长的条件下,依据总精彩值筛选出来目标片段可能与业务对象之间的联系较弱,影响推广业务对象的效果。
85.因此,在本实施例中,可以依据业务对象的特性对总精彩值进行动态调整,从而在约束总时长的条件下,提高依据总精彩值筛选出来的目标片段与与业务对象之间的联系,保证推广业务对象的效果。
86.在具体实现中,可以对候选片段进行场景检测,检测是否包含业务对象中的业务场景,其中,业务场景可以指在业务对象中构成的场景,可以体现业务对象中较为独立的情景。
87.如果某个业务对象包含业务对象中的一个或多个业务场景,则可以将候选片段设置为业务片段。
88.进一步而言,视频场景、业务场景均属于某个对象中的场景,检测视频场景的对象为原始视频数据,检测业务场景的对象为候选片段。
89.诸如游戏等业务对象,美术人员可能会使用游戏各个业务场景(如游戏中装备栏、角色触发技能、组队打副本、打怪爆装备等)的画面拼凑的集合,每个场景就几十毫秒到几百毫秒,时间较短。
90.对于原始视频数据而言,因剧情考虑,时长从几十秒至1分钟不等,除了存在镜头的切换之外,还存在结束片段ec,因此,通常使用较为宽松的方式对原始视频数据切分视频场景,如阈值模式,这样会切分的粒度更大,有较大的概率将使用游戏各个业务场景的画面拼凑的集合切分至同一个视频场景中。
91.为此,本实施例可以先按照视频场景对视频切分候选片段,此时,针对候选片段再使用更加细致方式(如内容模式)切分出业务对象中各个粒度更小的业务场景。
92.在本发明的一个实施例中,步骤1043进一步可以包括如下步骤:
93.步骤10431、筛选出时长在预设的范围外的候选片段,作为参考片段。
94.在某种设计方式中,美术人员将业务对象中的业务场景剪辑成一个个时长较短的片段并将这些片段拼接为一个新的片段,可能直接将新的片段的画面设置为原始视频数据的画面、直接呈现给用户,或者,以画中画的方式将新的片段的画面嵌入到原始视频数据的画面中、由演员进行介绍。
95.以游戏为例,美术人员将游戏中装备栏、角色触发技能、组队打副本、打怪爆装备等业务场景单独剪辑出来,每个业务场景可能分配几时毫秒到几百毫秒不等的时间,以在有限的时间内尽可能地展示游戏的内容。
96.进一步地,这些业务场景可以是原图显示,即,将业务场景直接作为原始视频数据的帧,也可以是画中画显示,即,以矩形(如手机)、圆形(如魔法洞)的边框显示上述业务场景,并由演员(如代言人)进行讲解。
97.这些片段虽然短暂,业务场景的情节简单,但是,业务对象的信息量大,可以展示业务对象的方方面面,给用户一个宏观的初步印象,尤其适合在时间受限的情况下展示业务对象的内容。
98.对于原图显示业务场景,由于不同业务场景之间存在切换,因而在检测视频场景时,一个或多个业务场景可能会切分至时长较短的候选片段中。
99.对于画中画显示业务场景,由于画面大部分内容未发生大的变化,因而在检测视频场景时,多个业务场景可能会切分至时长较长的候选片段中。
100.这对此种情况,可以预先设置一个时间的范围,如果候选片段小于该范围的下限值,则有可能符合原图显示业务场景的情况,如果候选片段大于该范围的上限值,则有可能符合画中画显示业务场景的情况。
101.那么,将所有候选片段的时长依次与该范围进行比较,在所有候选片段中筛选出时长在该范围外的候选片段,记为参考片段。
102.步骤10432、在参考片段中提取图像数据。
103.在本实施例中,可以在参考片段中提取全部的图像数据,也可以以间隔相同的距离抽帧等采样方式在参考片段中提取部分的图像数据。
104.步骤10433、在图像数据中提取内容为业务对象的画面。
105.在本实施例中,可以对提取出来的每帧图像数据进行语义识别,在每帧图像数据检测是否存在业务对象的画面,如果存在,则在该帧图像数据中截取内容为业务对象的画面,该画面可以为图像数据的部分区域,也可以为图像数据的全部区域。
106.在具体实现中,若参考片段的时长小于范围的下限值,则在图像数据中均匀采样多个区域,记为第一区域,例如,在图像数据的左上角、右上角、左下角、右下角、中间各提取一个形状为矩形的区域,记为第一区域。
107.将每个第一区域分别输入分类器中进行分类,该分类器可以为用于二分类的分类器,划分的分类为虚拟世界(尤其为游戏的虚拟世界)或真实世界,因此,分类器的结构可以为简单的卷积层(convolutional layer)与全连接层(fully connected layer,fc)。
108.考虑到简单结构的分类器可能存在一定误判,尤其为演员穿着游戏道具(演员穿着游戏道具的样本较少,使得分类器训练不够充分)的情况下,误判的概率可能较高,符合整帧图像数据的画面为业务对象的情况,因此,可以统计分类为虚拟世界的第一区域在所有第一区域中的占比。
109.若分类为虚拟世界的第一区域在所有第一区域中的占比大于或等于第六阈值,表示分类为虚拟世界的第一区域在所有第一区域中的占比较高,较多的区域属于虚拟世界,则可以确定整帧图像数据的内容为业务对象的画面,通过占比来确认业务对象的画面可以减少分类器误判的影响。
110.若参考片段的时长大于范围的上限值,则可使用roberts、canny等算法对图像数据检测边缘,在图像数据中提取边缘为指定形状(如矩形、圆形等)的第二区域、并在第二区域之外采样第三区域。
111.考虑到此种情况下演员一般不会穿着游戏道具,分类器误判的概率较低,为了降低分类器的运算量,可分别将第二区域、第三区域输入分类器中进行分类,该分类器可以为用于二分类的分类器,划分的分类为虚拟世界(尤其为游戏的虚拟世界)或真实世界,因此,分类器的结构可以为简单的卷积层与全连接层。
112.遍历第二区域的分类、第三区域的分类。
113.若第二区域分类为虚拟世界、第三区域分类为真实世界,表示该帧图像数据在边缘为指定形状内的区域为虚拟世界、在边缘为指定形状外的区域为真实世界,符合演员介绍业务对象的情况,则确定第二区域的内容为业务对象的画面。
114.步骤10434、计算相邻两帧画面之间的相似度。
115.在本实施例中,可以使用ssim(结构相似性度量)、cosin(余弦相似度)、基于直方图等方式计算相邻两帧画面之间的相似度。
116.步骤10435、若相似度大于或等于第四阈值,则对参考片段累计业务场景的第二数量。
117.在本实施例中,可以对参考片段设置一个变量,记为业务场景的第二数量,业务场景的第二数量初始化为1,表示参考片段初始至少具有一个业务场景,每遍历一个大于或等于第四阈值的相似度时,则可以对业务场景的第二数量累加1。
118.步骤10436、若第二数量大于或等于第五阈值,则将参考片段设置为业务片段。
119.在遍历完整个参考片段中内容为业务对象的画面时,如果第二数量大于或等于第五阈值,表示参考片段的主要内容为业务对象中的业务场景,则可以将参考片段标记为业务片段。
120.步骤1044、在候选集合中统计业务片段的第一数量。
121.不同的候选片段在总时长的约束下可以组成多个候选集合,那么,候选集合中包含多个候选片段,候选集合在符合筛选条件时被筛选为目标片段。
122.遍历每个候选集合,在每个候选集合中统计业务片段的第一数量。
123.步骤1045、依据第一数量调整候选集合对应的总精彩值。
124.以每个候选集合中业务片段的第一数量作为参考,对候选集合对应的总精彩值进行调整,从而按照筛选条件筛选部分候选片段为目标片段,以在约束总时长的条件下,使调整后的总精彩值趋向极大值。
125.在具体实现中,若候选集合中业务片段的第一数量为零,则维持候选集合对应的总精彩值不变。
126.若候选集合中业务片段的第一数量为一,则统计业务片段中业务场景的第二数量,按照第二数量上调候选集合对应的总精彩值。
127.其中,上调候选集合对应的总精彩值的第一幅度与第二数量正相关,即,业务片段中业务场景的第二数量越多,则上调候选集合对应的总精彩值的第一幅度越大,反之,业务片段中业务场景的第二数量越少,则上调候选集合对应的总精彩值的第一幅度越低。
128.若候选集合中业务片段的第一数量大于一,则按照第一数量上调候选集合对应的总精彩值。
129.其中,上调候选集合对应的总精彩值的第二幅度与第一数量正相关,即,候选集合中业务片段的第一数量越多,则上调候选集合对应的总精彩值的第二幅度越大,反之,候选集合中业务片段的第一数量越少,则上调候选集合对应的总精彩值的第一幅度越低。
130.进一步而言,候选集合中业务片段的第一数量为一时,上调候选集合对应的总精彩值属于轻度上调,候选集合中业务片段的第一数量大于一时,上调候选集合对应的总精彩值属于中度上调,即,上调候选集合对应的总精彩值的第一幅度均小于上调候选集合对应的总精彩值的第二幅度。
131.在本实施例中,业务片段、业务场景是业务对象的特征表现,基于业务片段、业务场景对候选集合对应的总精彩值进行上调,可以提高选择与业务对象相关性更强的候选集合的概率,从而提高目标片段与业务对象之间的相关性,保证推广业务对象的效果。
132.步骤105、按照顺序将目标片段拼接为目标视频数据。
133.在本实施例中,如图2所示,将各个目标片段220按照位于原始视频数据的时间轴上的时间进行排序,按照排序顺序依次拼接各个目标片段,即,将排序在下一位的目标片段的开头拼接至排序在上一位的目标片段的结尾,在拼接完成时,得到新的视频数据,记为目标视频数据230。
134.在实际应用中,挑选出的目标片段可能是连续的、也可能不连续的(即在原始视频数据的时间轴上,目标片段之间间隔了其他候选片段),为了保证剪辑的质量,每个目标视频数据可以呈现给美术人员进行浏览、对比,由美术人员进一步对目标视频数据进行调整。
135.在目标视频数据中具有与业务对象相关的信息,此后,可以在指定的渠道(如新闻资讯、短视频、小说阅读、运动健康等)发布目标视频数据,以在客户端访问渠道时,将目标视频数据推送至客户端进行播放,用户在对业务对象感兴趣时,可以通过目标视频数据中的信息搜索业务对象,例如,从分发游戏的平台中搜索并下载游戏,等等。
136.在本实施例中,获取用于推广业务对象的原始视频数据;以视频场景作为切分的节点,将原始视频数据切分为多个候选片段;针对每段候选片段计算在视觉上表征精彩程度的段精彩值;根据段精彩值挑选部分候选片段为目标片段;按照顺序将目标片段拼接为目标视频数据。在摆脱美术人员的主观判断的情况下,按照视频场景切分候选片段可以保证情节的完整性,以段精彩值作为参考筛选候选片段可以保证筛选出的候选片段的质量,从而保证目标视频数据的质量,并且,原始视频数据具有复用性,可以制作出数量众多、内容各异的目标视频数据,降低了剪辑目标视频数据的工作量,缩短了制作周期,人力、时间等成本将大大减少,提高整体的剪辑效率,较短的制作周期可满足游戏等推广周期较短的
业务对象对于时限性的要求。
137.实施例二
138.图3为本发明实施例二提供的一种视频剪辑装置的结构示意图。如图3所示,该装置包括:
139.原始视频数据获取模块301,用于获取用于推广业务对象的原始视频数据;
140.候选片段切分模块302,用于以视频场景作为切分的节点,将所述原始视频数据切分为多个候选片段;
141.精彩值计算模块303,用于针对每段所述候选片段计算在视觉上表征精彩程度的段精彩值;
142.目标片段挑选模块304,用于根据所述段精彩值挑选部分所述候选片段为目标片段;
143.目标视频数据拼接模块305,用于按照顺序将所述目标片段拼接为目标视频数据。
144.在本发明的一个实施例中,所述候选片段切分模块302还用于:
145.在所述原始视频数据上表征视频场景切换的切分点,所述切分点为第一目标帧所处的时间点和/或两帧第二目标帧之间的时间点,所述第一目标帧为指定通道的颜色值大于第一阈值的图像数据,两帧所述第二目标帧为位置相邻且内容的变化量大于第二阈值的两帧图像数据;
146.在所述切分点对所述原始视频数据进行切分,得到多个候选片段。
147.在本发明的一个实施例中,所述候选片段切分模块302还用于:
148.查询当前所述候选片段的时长;
149.若所述时长小于或等于第三阈值,则将当前所述候选片段合并至相邻的其他所述候选片段。
150.在本发明的一个实施例中,所述精彩值计算模块303还用于:
151.加载摘要生成网络;
152.将所述候选片段中的每帧图像数据输入所述摘要生成网络中进行处理,得到所述图像数据在视觉上表征精彩程度的帧精彩值;
153.将所述候选片段中所有所述图像数据的所述帧精彩值融合为所述候选片段在视觉上表征精彩程度的段精彩值。
154.在本发明的一个实施例中,所述目标片段挑选模块304还用于:
155.将总时长与总精彩值设置为筛选条件,所述总时长为所述目标片段的时长之和,所述总精彩值为所述目标片段的所述段精彩值之和;
156.按照所述筛选条件筛选部分所述候选片段为目标片段,以在约束所述总时长的条件下,使所述总精彩值趋向极大值。
157.在本发明的一个实施例中,所述目标片段挑选模块304还用于:
158.若所述候选片段包含所述业务对象中的业务场景,则将所述候选片段设置为业务片段;
159.在候选集合中统计所述业务片段的第一数量,其中,所述候选集合中包含多个所述候选片段,所述候选集合在符合所述筛选条件时被筛选为所述目标片段;
160.依据所述第一数量调整所述候选集合对应的所述总精彩值。
161.在本发明的一个实施例中,所述目标片段挑选模块304还用于:
162.筛选出时长在预设的范围外的所述候选片段,作为参考片段;
163.在所述参考片段中提取图像数据;
164.在所述图像数据中提取内容为所述业务对象的画面;
165.计算相邻两帧所述画面之间的相似度;
166.若所述相似度大于或等于第四阈值,则对所述参考片段累计业务场景的第二数量;
167.若所述第二数量大于或等于第五阈值,则将所述参考片段设置为业务片段。
168.在本发明的一个实施例中,所述目标片段挑选模块304还用于:
169.若所述参考片段的时长小于所述范围的下限值,则在所述图像数据中均匀采样多个第一区域;
170.将每个所述第一区域分别输入分类器中进行分类;
171.若分类为虚拟世界的所述第一区域的占比大于或等于第六阈值,则确定整帧所述图像数据的内容为所述业务对象的画面;
172.若所述参考片段的时长大于所述范围的上限值,则在所述图像数据中提取边缘为指定形状的第二区域、并在所述第二区域之外采样第三区域;
173.分别将所述第二区域、所述第三区域输入所述分类器中进行分类;
174.若所述第二区域分类为虚拟世界、所述第三区域分类为真实世界,则确定所述第二区域的内容为所述业务对象的画面。
175.在本发明的一个实施例中,所述目标片段挑选模块304还用于:
176.若所述第一数量为零,则维持所述候选集合对应的所述总精彩值;
177.若所述第一数量为一,则统计所述业务片段中所述业务场景的第二数量,按照所述第二数量上调所述候选集合对应的所述总精彩值,其中,上调的第一幅度与所述第二数量正相关;
178.若所述第一数量大于一,则按照所述第一数量上调所述候选集合对应的所述总精彩值,其中,上调的第二幅度与所述第一数量正相关。
179.本发明实施例所提供的视频剪辑装置可执行本发明任意实施例所提供的视频剪辑方法,具备执行视频剪辑方法相应的功能模块和有益效果。
180.实施例三
181.图4示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本发明的实现。
182.如图4所示,电子设备10包括至少一个处理器11,以及与至少一个处理器11通信连接的存储器,如只读存储器(rom)12、随机访问存储器(ram)13等,其中,存储器存储有可被至少一个处理器执行的计算机程序,处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序,来执行各种
适当的动作和处理。在ram 13中,还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
183.电子设备10中的多个部件连接至i/o接口15,包括:输入单元16,例如键盘、鼠标等;输出单元17,例如各种类型的显示器、扬声器等;存储单元18,例如磁盘、光盘等;以及通信单元19,例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
184.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理,如视频剪辑方法。
185.在一些实施例中,视频剪辑方法可被实现为计算机程序,其被有形地包含于计算机可读存储介质,例如存储单元18。在一些实施例中,计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时,可以执行上文描述的视频剪辑方法的一个或多个步骤。备选地,在其他实施例中,处理器11可以通过其他任何适当的方式(例如,借助于固件)而被配置为执行视频剪辑方法。
186.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
187.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器,使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行,作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
188.在本发明的上下文中,计算机可读存储介质可以是有形的介质,其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备,或者上述内容的任何合适组合。备选地,计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
189.为了提供与用户的交互,可以在电子设备上实施此处描述的系统和技术,该电子
设备具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
190.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)、区块链网络和互联网。
191.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务中,存在的管理难度大,业务扩展性弱的缺陷。
192.实施例四
193.本发明实施例还提供了一种计算机程序产品,该计算机程序产品包括计算机程序,该计算机程序在被处理器执行时实现如本发明任一实施例所提供的视频剪辑方法。
194.计算机程序产品在实现的过程中,可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言,诸如java、smalltalk、c ,还包括常规的过程式程序设计语言,诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
195.应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本发明的技术方案所期望的结果,本文在此不进行限制。
196.上述具体实施方式,并不构成对本发明保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等,均应包含在本发明保护范围之内。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献