一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

视频产生方法、电子设备以及存储介质与流程

2023-01-14 13:38:42 来源:中国专利 TAG:


1.本公开涉及视频技术领域,尤其涉及一种视频产生方法、电子设备以及存储介质。


背景技术:

2.短视频是指短片视频,一般是在互联网新媒体上传播的时长在5分钟以内的视频。随着移动互联网的兴起,短视频越来越受到用户的青睐。因此,对于电影、电视剧等时长较长的视频内容,如何将其转换为短视频内容也已成为业界的研究热点。
3.在相关技术中,一般通过动作识别来定位视频中的精彩片段。例如,对于体育比赛视频,通过对进球、射门、投篮等赛事中的动作进行识别,从而定位体育比赛视频中的精彩片段。但是,对应其他视频,如电影、电视剧等视频,动作检测并不适用。例如,仅通过动作检测,导致无法一些以精彩台词对白为基础的片段被忽略。


技术实现要素:

4.为克服相关技术中存在的问题,本公开提供一种视频产生方法、电子设备以及存储介质。
5.根据本公开实施例的第一方面,提供一种视频产生方法,包括:
6.对待处理视频进行分割,得到多个视频分段;
7.基于所述视频分段的属性信息,计算每一所述视频分段的推荐指数,其中,所述属性信息包括以下至少一种信息:
8.所述视频分段的画面分类与所述待处理视频的视频分类之间的第一匹配度;
9.所述视频分段中包括的目标对象的影响力指数;
10.所述视频分段的音频分类与所述待处理视频的视频分类之间的第二匹配度;
11.用户在观看所述待处理视频时,将播放进度移动至所述视频分段所在的时间段的跳转动作次数;
12.根据每一所述视频分段的所述推荐指数,从所述多个视频分段中确定目标视频分段。
13.在一些实施例,所述对待处理视频进行分割,得到多个视频分段,包括:
14.提取所述待处理视频中的音频,得到音频文件;
15.确定所述音频文件中的音频帧所属的音频种类,其中,所述音频种类包括人声音频以及非人声音频;
16.基于所述音频文件中属于所述人声音频的音频帧与属于所述非人声音频的音频帧之间的分界线,对所述音频文件进行分割,得到包括连续人声的音频分段;
17.基于所述音频分段,得到所述视频分段。
18.在一些实施例,所述方法还包括:
19.确定所述待处理视频中的转场视频帧对应的时间点;
20.所述基于所述音频分段,得到所述视频分段,包括:
21.针对每一个所述音频分段,均执行以下步骤:
22.基于该音频分段的开始时间点,在所述转场视频帧对应的时间点中查找第一目标时间点,并将所述第一目标时间点确定为该音频分段的新的开始时间点,其中,所述第一目标时间点是所述转场视频帧对应的时间点中早于所述开始时间点、且距离所述开始时间点最近的时间点;
23.基于该音频分段的结束时间点,在所述转场视频帧对应的时间点中查找第二目标时间点,并将所述第二目标时间点确定为该音频分段的新的结束时间点,其中,所述第二目标时间点是所述转场视频帧对应的时间点中晚于所述结束时间点、且距离所述结束时间点最近的时间点;
24.基于所述新的开始时间点、以及所述新的结束时间点,得到新的音频分段;
25.基于所述新的音频分段,得到所述视频分段。
26.在一些实施例,所述将所述第二目标时间点确定为该音频分段的新的结束时间点,包括:
27.计算该音频分段对应的结束时间点与所述第二目标时间点之间的时间差;
28.在所述时间差大于等于预设时间阈值的情况下,将所述第二目标时间点确定为该音频分段的新的结束时间点;
29.在所述时间差小于所述预设时间阈值的情况下,依次以该音频分段后续的每一个音频分段的结束时间点在所述转场视频帧对应的时间点中查找新的第二目标时间点,并在查找到的所述新的第二目标时间点与用于查找到所述新的第二目标时间点的音频分段对应的结束时间点之间的时间差大于等于所述预设时间阈值的情况下,将所述新的第二目标时间点确定为该音频分段的新的结束时间点。
30.在一些实施例,所述第一匹配度通过以下步骤获得:
31.获取所述待处理视频所属的视频分类;
32.将所述视频分段的图像帧作为第一分类模型的输入,获得所述视频分段所属的画面分类;
33.基于所述视频分段所属的视频分类、以及所述待处理视频所属的视频分类,确定所述第一匹配度。
34.在一些实施例,所述影响力指数通过以下步骤获得:
35.对所述视频分段的视频画面进行图像识别,确定所述视频分段包括的目标对象;
36.基于预设的不同的目标对象对应的分值,计算所述视频分段中包括的目标对象的影响力指数。
37.在一些实施例,所述第二匹配度通过以下步骤获得:
38.获取所述待处理视频所属的视频分类;
39.将所述视频分段的背景音作为第二分类模型的输入,获得所述视频分段的背景音所属的音频分类;
40.基于所述视频分段的背景音所属的音频分类、以及所述待处理视频所属的视频分类,确定所述第二匹配度。
41.在一些实施例,所述跳转动作次数通过以下步骤获得:
42.获取所述待处理视频的播放记录;
43.基于所述播放记录,确定用户在观看所述待处理视频时,将播放进度移动至所述视频分段所在的时间段的次数,并将该次数作为所述跳转动作次数。
44.根据本公开实施例的第二方面,提供一种电子设备,包括:
45.处理器;
46.用于存储处理器可执行指令的存储器;
47.其中,所述处理器被配置为执行所述存储器中存储的指令,以实现如本公开第一方面所述的视频产生方法的步骤。
48.根据本公开实施例的第三方面,提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开第一方面所提供的视频产生方法的步骤。
49.本公开的实施例提供的技术方案可以包括以下有益效果:通过将待处理视频分割为多个视频分段,进而计算每个视频分段的推荐指数,从而根据推荐指数从多个视频分段中选取目标视频分段。可以从多个维度上对待处理视频进行分析,从而从待处理视频中准确剪辑出精彩片段。而且通过多维度分析,可以适用于不同类型的视频剪辑,如既适用于体育比赛视频,也适用于电视剧、电影等视频内容。
50.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
51.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
52.图1是根据一示例性实施例示出的一种视频产生方法的流程图;
53.图2是根据一示例性实施例示出的对待处理视频进行分割的流程图;
54.图3是根据一示例性实施例示出的对待处理视频进行分割的原理示意图;
55.图4是根据一示例性实施例示出的基于音频分段对待处理视频进行分段的流程示意图;
56.图5是根据一示例性实施例示出的基于音频分段对待处理视频进行分段的原理示意图;
57.图6是根据一示例性实施例示出的得到音频分段的流程示意图;
58.图7是根据一示例性实施例示出的深度学习模型的结构示意图;
59.图8是根据一示例性实施例示出的一种视频产生装置的框图;
60.图9是根据一示例性实施例示出的一种电子设备800的框图。
具体实施方式
61.这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
62.图1是根据一示例性实施例示出的一种视频产生方法的流程图。该方法可以应用
于电子设备中,其中,电子设备可以是终端、服务器等设备,如图1所示,该视频产生方法可以包括以下步骤。
63.在步骤110中,对待处理视频进行分割,得到多个视频分段。
64.这里,待处理视频是指需要进行剪辑的具有较长时长的视频,如电影视频、电视剧视频等。通过对待处理视频进行分割,得到多个视频分段。其中,可以基于预设的时间间隔对待处理视频进行分割,也可以通过对待处理视频的画面进行检测,在待处理视频的转场视频帧处对待处理视频进行分割,还可以是对待处理视频的音频进行检测,在待处理视频的人声音频帧与非人声音频帧的分界线之间对待处理视频进行分割。
65.在一些实施例中,对待处理视频进行分割前,可以对待处理视频进行预处理。其中,预处理操作可以包括去除待处理视频的片头、片尾,以降低计算量。
66.在步骤120中,基于所述视频分段的属性信息,计算每一所述视频分段的推荐指数,其中,所述属性信息包括以下至少一种信息:
67.所述视频分段的画面分类与所述待处理视频的视频分类之间的第一匹配度;所述视频分段中包括的目标对象的影响力指数;所述视频分段的音频分类与所述待处理视频的视频分类之间的第二匹配度;用户在观看所述待处理视频时,将播放进度移动至所述视频分段所在的时间段的跳转动作次数;
68.这里,视频分段的属性信息可以包括第一匹配度、影响力指数、第二匹配度、以及跳转动作次数中的一种或多种。
69.其中,第一匹配度是指根据视频分段的视频画面确定到的画面分类与待处理视频的视频分类之间的相似度,该画面分类表征视频分段所属的类型,如动作片、悬疑片、灾难片、战争片等类型,待处理视频的视频分类是指待处理视频所属的分类,如动作片、悬疑片、灾难片、战争片等。例如,对视频分段的视频画面进行分析,如分析视频画面的色调、动作、台词等要素来确定视频分段的画面分类,再将确定到的画面分类与待处理视频的视频分类进行相似度计算,得到第一匹配度。
70.视频分段中包括的目标对象的影响力指数是指在该视频分段中出现的所有演员的影响力指数。其中,目标对象的影响力指数可以是根据演员的知名度确定的,对于不同知名度的演员,对应不同的影响力指数,且知名度与影响力指数正相关。例如,对于一线演员、二线演员,一线演员的影响力指数大于二线演员的影响力指数。其中,在一个视频分段中出现的知名演员较多的情况下,该视频分段可以作为待处理视频的精彩片段。
71.应当理解的是,本公开所说的目标对象可以是人,也可以是动画形象或者是动物等。对于不同类型的待处理视频,其包括的目标对象可以根据待处理视频的实际情况进行设定。
72.第二匹配度是指根据视频分段的音频确定到的音频分类与待处理视频的视频分类之间的相似度,该音频分类表征视频分段所属的类型,如动作片、悬疑片、灾难片、战争片等类型,待处理视频的视频分类是指待处理视频所属的分类,如动作片、悬疑片、灾难片、战争片等。例如,对视频分段的音频进行分析,如分析背景音乐等要素来确定视频分段的音频分类,再将确定到的音频分类与待处理视频的视频分类进行相似度计算,得到第二匹配度。
73.跳转动作次数是指用户在观看待处理视频时,将播放进度移动至视频分段所在的时间段的seek(跳转)动作的次数。一般而言,用户在观看视频时,对于无聊的片段,其会选
择跳过该片段,在剧情精彩的时间点上观看。因此,该跳转动作次数能够表征视频分段的精彩程度。
74.值得说明的是,视频分段的推荐指数可以是根据待处理视频信息的属性信息中的一种或多种进行计算得到。当属性信息包括第一匹配度、影响力指数、第二匹配度、以及跳转动作次数中的一种时,该第一匹配度、影响力指数、第二匹配度、以及跳转动作次数中的一种作为推荐指数;当属性信息包括第一匹配度、影响力指数、第二匹配度、以及跳转动作次数中的多种时,可以通过加权的方式进行计算得到。例如,当属性信息包括第一匹配度、影响力指数、第二匹配度、以及跳转动作次数时,可以通过以下计算式计算推荐指数:
75.score=αr
video
βr
audio
θr
star
γr
seek
76.其中,score为推荐指数,r
video
为第一匹配度,r
audio
为影响力指数,r
seek
为跳转动作次数,α、β、θ、γ为权重值。其中,可以针对不同的剪辑精彩片段的策略设置α、β、θ、γ的取值。
77.在步骤130中,根据每一所述视频分段的所述推荐指数,从所述多个视频分段中确定目标视频分段。
78.这里,在确定到每一视频分段的推荐指数之后,可以根据推荐指数对多个视频分段进行排序,然后根据排序结果选择目标视频分段。例如,可以根据推荐指数进行从大到小的排序,然后将处于预设排序位置的视频分段作为目标视频分段。例如,处于排序结果前10位的视频分段作为目标视频分段。
79.值得说明的是,目标视频分段是待处理视频对应的精彩视频,视频分段的推荐指数越高,说明该视频分段的精彩程度越大。
80.由此,本公开实施例中通过将待处理视频分割为多个视频分段,进而计算每个视频分段的推荐指数,从而根据推荐指数从多个视频分段中选取目标视频分段。可以从多个维度上对待处理视频进行分析,从而从待处理视频中准确剪辑出精彩片段。而且通过多维度分析,可以适用于不同类型的视频剪辑,如既适用于体育比赛视频,也适用于电视剧、电影等视频内容。
81.图2是根据一示例性实施例示出的对待处理视频进行分割的流程图。如图2所示,在一些可以实现的实施方式中,步骤110中,对待处理视频进行分割,得到多个视频分段,可以包括以下步骤:
82.在步骤111中,提取所述待处理视频中的音频,得到音频文件。
83.这里,音频文件是从待处理视频中分离出的音频流,该音频文件的时间轴与待处理视频的时间轴一一对应。
84.应当理解的是,从待处理视频中提取音频可以通过特定的算法或软件进行,如音频转换器等,在此不对获得音频文件的过程进行详细说明。
85.在步骤112中,确定所述音频文件中的音频帧所属的音频种类,其中,所述音频种类包括人声音频以及非人声音频。
86.这里,音频帧是指根据音频文件的编码格式得到的一帧音频,对于不同的编码格式,音频帧的长度不同。例如,对于amr(adaptive multi-rate,自适应多速率)格式,每20ms的音频是一帧音频帧,对于mp3(moving picture experts group audio layer iii,动态影像专家压缩标准音频层面3)格式,音频帧的个数由文件大小和帧长决定,每一帧的长度
可能不固定,也可能固定,其由码率决定,每个音频帧又分为帧头和数据实体两部分,帧头记录了mp3的码率,采样率,版本等信息,每个帧之间相互独立。音频种类包括人声音频和非人声音频,其中,人声音频是指音频文件中的人发出的语音信号,如影视剧中的台词对话,非人声音频是指音频文件中的背景噪音,如影视剧中的背景音乐等。
87.对于音频文件中的每一帧音频帧,可以对其进行检测,以确定出每一帧音频帧所属的音频种类。其中,可以通过vad(voice activity detection,语音激活检测)算法来确定音频帧的所属音频种类。其中,vad算法的作用是检测音频帧是否属于人的语音。
88.在步骤113中,基于所述音频文件中属于所述人声音频的音频帧与属于所述非人声音频的音频帧之间的分界线,对所述音频文件进行分割,得到包括连续人声的音频分段。
89.这里,基于人声音频与非人声音频之间的分界线来将音频文件分割为多个分段,进而保留包括连续人声的分段作为音频分段。其中,分界线是指属于人声音频的音频帧与属于非人声音频的音频帧之间的分界线。例如,在第一帧至第五帧音频帧为属于人声音频的音频帧,第六帧至第七帧音频帧为属于非人声音频的音频帧时,在第五帧音频帧与第六帧音频帧之间进行分段,得到包括第一帧至第五帧音频帧的音频分段。
90.在步骤114中,基于所述音频分段,得到所述视频分段。
91.这里,可以基于音频分段的临界时刻对待处理视频进行分段,获得多个视频分段。其中,音频分段的临界时刻是指音频分段的开始时间点和结束时间点,由于音频分段与待处理视频的时间轴一致,则在获得音频分段之后,可以基于每个音频分段的临界时刻对待处理视频进行分割,得到音频分段对应的视频分段。
92.下面结合附图3对上述实施方式进行详细说明。
93.图3是根据一示例性实施例示出的对待处理视频进行分割的原理示意图。如图3所示,从待处理视频中提取音频,得到音频文件,其中,待处理视频、音频文件的时间轴长度一致,而且音频帧与视频帧的时间点一一对应。然后,对音频文件进行分段,得到包括连续的人声的音频分段,如图3中的灰色方块。然后基于音频分段的临界时刻对待处理视频进行分割,得到对应的视频分段,如图3中的黑色方块。应当理解的是,最终分割得到的就是如图3中的黑色方块所示的视频分段。
94.图4是根据一示例性实施例示出的基于音频分段对待处理视频进行分段的流程示意图。如图4所示,该视频产生方法还可以包括:
95.在步骤210中,确定所述待处理视频中的转场视频帧对应的时间点。
96.这里,转场视频帧是指待处理视频中从一个场景切换至另一个场景的视频帧。其中,可以通过逐点像素算法获取待处理视频的视频帧图像的颜色模型hsv空间的直方图,再根据相邻两帧视频帧图像的直方图判断视频帧图像是否属于转场视频帧。对于同一场景,相邻两帧视频帧图像的直方图变化不大,对于不同场景,相邻两帧视频帧图像的直方图变化较大。
97.步骤114中,基于所述音频分段,得到所述视频分段,可以包括以下步骤:
98.在步骤211中,基于该音频分段的开始时间点,在所述转场视频帧对应的时间点中查找第一目标时间点,并将所述第一目标时间点确定为该音频分段的新的开始时间点,其中,所述第一目标时间点是所述转场视频帧对应的时间点中早于所述开始时间点、且距离所述开始时间点最近的时间点。
99.这里,音频分段的开始时间点是指第一帧音频帧或者该音频分段对应的视频分段中的第一帧视频帧对应的时间点。
100.在步骤212中,基于该音频分段的结束时间点,在所述转场视频帧对应的时间点中查找第二目标时间点,并将所述第二目标时间点确定为该音频分段的新的结束时间点,其中,所述第二目标时间点是所述转场视频帧对应的时间点中晚于所述结束时间点、且距离所述结束时间点最近的时间点。
101.这里,音频分段的结束时间点是指最后一帧音频帧或者该音频分段对应的视频分段中的最后一帧视频帧对应的时间点。
102.在步骤213中,基于所述新的开始时间点、以及所述新的结束时间点,得到新的音频分段。
103.这里,新的音频分段是以查找到的第一目标时间点、第二目标时间点作为新的开始时间点和新的结束时间点的分段。例如,原视频分段的开始时间、结束时间为【11:08,12:07】,查找到的第一目标时间点为“11:05”、第二目标时间点为“12:09”,则新的音频分段为【11:05,12:09】。
104.在步骤214中,基于所述新的音频分段,得到所述视频分段。
105.这里,基于新的音频分段,得到视频分段,也是基于新的视频分段的临界时刻对待处理视频进行分割。具体分割方法已在上述实施例中进行了详细说明,在此不再赘述。
106.图5是根据一示例性实施例示出的基于音频分段对待处理视频进行分段的原理示意图。如图5所示,在待处理视频帧中识别出的转场视频帧对应的时间点依次包括a、b、c、d、e,则基于图5中第一个音频分段10的开始时间点在转场视频帧对应的时间点中查找第一目标时间点,会查找到时间点a,然后将时间点a作为第一个音频分段10的新的开始时间。然后基于第一个音频分段10的结束时间点在转场视频帧对应的时间点中查找第二目标时间点,会查找到时间点b,然后将时间点b作为第一个音频分段10的新的结束时间点。对于第二个音频分段20,其新的开始时间点为时间点c,新的结束时间点位d。对于第三个音频分段30,其新的开始时间点位时间点e,其新的结束时间点为第三个音频分段30的原结束时间点。得到的新的音频分段如图5中的灰色方块所示,然后基于新的音频分段对待处理视频进行分割,得到视频分段,该视频分段如图5中的黑色方块所示。
107.应当理解的是,在进行时间点查找时,若并未查找到符合条件的第一目标时间点,则以音频分段原来的开始时间点作为第一目标时间点,若并未查找到符合条件的第二目标时间点,则以音频分段原来的结束时间点作为第二目标时间点。
108.由此,通过结合vad检测结果以及转场视频帧的检测结果对待处理视频进行分割,可以在每个视频分段能够保留精彩片段的前提下,确保镜头的完整性。例如,对于音频分段,其相邻两个音频分段之间存在语音静默片段。对于影视剧视频而言,当影视情节出现转换时,两个情节之间会出现语音静默片段,也可能是由于人物之间的对话时间间隔较长。因此,为了保证基于vad检测结果得到的音频分段的对应的视频分段的镜头完整,每个音频分段的开始时间点以及结束时间点结合转场视频帧的检测结果进行重新确定,使得最后得到的视频分段的镜头能够保持完整性。
109.在一些可以实现的实施方式中,步骤212中,将所述第二目标时间点确定为该音频分段的新的结束时间点,包括:
110.计算该音频分段对应的结束时间点与所述第二目标时间点之间的时间差;
111.在所述时间差大于等于预设时间阈值的情况下,将所述第二目标时间点确定为该音频分段的新的结束时间点;
112.在所述时间差小于所述预设时间阈值的情况下,依次以该音频分段后续的每一个音频分段的结束时间点在所述转场视频帧对应的时间点中查找新的第二目标时间点,并在查找到的所述新的第二目标时间点与用于查找到所述新的第二目标时间点的音频分段对应的结束时间点之间的时间差大于等于所述预设时间阈值的情况下,将所述新的第二目标时间点确定为该音频分段的新的结束时间点。
113.这里,当基于第一个音频分段的结束时间点查找到第一个第二目标时间点时,计算该第一个第二目标时间点与第一个音频分段的结束时间点之间的时间差。当该时间差大于等于预设时间阈值时,将该第一个第二目标时间点作为第一个音频分段的新的结束时间点。当该时间差小于预设时间阈值时,以第二个音频分段的结束时间点查找新的第二目标时间点,若新的第二目标时间点与第二个音频分段的结束时间点之间的时间差大于等于预设时间阈值,将新的第二目标时间点作为第一个音频分段的结束时间点,若该时间差小于预设时间阈值,则继续以第三个音频分段的结束时间点来查找新的第二目标时间点,以此类推。
114.图6是根据一示例性实施例示出的得到音频分段的流程示意图。如图6所示,音频分段可以通过以下步骤获得:
115.步骤310,初始化音频分段的索引i=0,新的音频分段结果索引j=0,音频分段的总数为n。
116.步骤320,判断i是否满足i<n。
117.当i<n时,执行步骤330,以第i个音频分段的开始时间点在转场视频帧的时间点中查找第一目标时间点,并将第一目标时间点作为第j个新的音频分段的开始时间点。
118.当i≥n时,执行步骤380,输出结果。
119.步骤340,以第i个音频分段的结束时间点在转场视频帧的时间点中查找第二目标时间点,计算第i个音频分段的结束时间点与第二目标时间点之间的时间差

t。
120.步骤350,判断时间差

t是否满足

t<t。其中,t可以根据实际情况设置,如设置为5秒。
121.当

t<t时,执行步骤351,令i=i 1。
122.步骤352,判断i是否满足i<n,当i小于n时,执行步骤340。
123.当

t≥t时,执行步骤360,将第二目标时间点作为第j个新的音频分段的结束时间点。
124.步骤370,将第j个新的音频分段作为结果,令i=i 1,j=j 1,返回执行步骤320。
125.在一些可以实现的实施方式中,第一匹配度通过以下步骤获得:
126.获取所述待处理视频所属的视频分类;
127.将所述视频分段的图像帧作为第一分类模型的输入,获得所述视频分段所属的画面分类;
128.基于所述视频分段所属的画面分类、以及所述待处理视频所属的视频分类,确定所述第一匹配度。
129.这里,关于视频分类的含义已在上述实施方式中进行了详细说明,在此不再赘述。在一些实施例中,可以通过在视频网站中获取待处理视频的视频分类标签,从而得到待处理视频的视频分类。
130.其中,第一分类模型可以是利用训练样本进行训练得到的神经网络模型,其中,训练样本可以包括视频分段以及用于标记该视频分段所属的画面分类的标签。该第一分类模型可以对视频分段的图像帧进行分析,可以是对图像帧的颜色、纹理、色调等进行分析,得到每个图像帧所属的画面分类,然后在根据所有的图像帧所属的画面分类确定视频分段的画面分类。在一些实施例中,可以基于videotag模型对每个视频分段进行分类,以确定视频分段所属的画面分类。然后基于画面分类与待处理视频的视频分类之间的相似度,计算得到第一匹配度。
131.应当理解的是,第一匹配度越大,说明视频分段与待处理视频的视频分类越契合,则该视频分段是该待处理视频的精彩片段的可能性越大。
132.在一些可以实现的实施方式中,影响力指数通过以下步骤获得:
133.对所述视频分段的视频画面进行图像识别,确定所述视频分段包括的目标对象;
134.基于预设的不同的目标对象对应的分值,计算所述视频分段中包括的目标对象的影响力指数。
135.这里,对视频分段的视频画面进行图像识别,可以是基于训练好的神经网络模型对视频画面进行识别,以在视频画面中确定出包括的目标对象。然后,基于预设的不同目标对象对应的分值,计算视频分段中包括的目标对象的影响力指数。其中,目标对象的影响力指数可以是根据演员的知名度确定的,对于不同知名度的演员,对应不同的影响力指数,且知名度与影响力指数正相关。例如,对于一线演员、二线演员,一线演员的影响力指数大于二线演员的影响力指数。
136.应当理解的是,当视频分段中出现的目标对象的影响力指数越大,说明该视频分段是待处理视频对应的精彩片段的可能性越大。
137.在一些可以实现的实施方式中,第二匹配度通过以下步骤获得:
138.获取所述待处理视频所属的视频分类;
139.将所述视频分段的背景音作为第二分类模型的输入,获得所述视频分段的背景音所属的音频分类;
140.基于所述视频分段的背景音所属的音频分类、以及所述待处理视频所属的视频分类,确定所述第二匹配度。
141.这里,关于视频分类的含义已在上述实施方式中进行了详细说明,在此不再赘述。在一些实施例中,可以通过在视频网站中获取待处理视频的视频分类标签,从而得到待处理视频的视频分类。
142.其中,第二分类模型可以是利用训练样本进行训练得到的神经网络模型,其中,训练样本可以包括背景音以及用于标记该视频分段所属的音频分类的标签。训练好的第二分类模型可以对视频分段的背景音进行分类,以确定视频分段所属的音频分类。然后计算确定到的音频分类与待处理视频的视频分类之间的相似度,得到第二匹配度。应当理解的是,该第二匹配度越大,说明视频分段是待处理视频对应的精彩片段的可能性越大。
143.其中,第二分类模型可以是深度学习模型audioclassifier。图7是根据一示例性
实施例示出的深度学习模型的结构示意图。如图7所示,视频分段中的背景音作为audioclassifier的输入,依次经过vggish特征提取层、128维全连接层(fully_connect_layer1)、relu层、dropout层、128维全连接层(fully_connect_layer1)、relu层、dropout层、64维全连接层(fully_connect_layer1)、relu层、dropout层、k维全连接层(fully_connect_layer1)、softmax分类层,得到背景音的分类结果。
144.其中,输入的背景音可以经过vggish特征提取层之后,可以得到一个128维的高级特征向量。再此之后添加了4层全连接层来加深网络,以便网络能够提取到更好的音频特征表示,最后一层全连接层中的参数k为实际要分类的音频类别数。最终,通过softmax层来实现分类,得到背景音的分类结果。
145.应当理解的是,深度学习模型audioclassifier是基于要分类的k种音频分类而收集到的音频样本进行训练得到的机器学习模型。在训练过程中,损失函数可以采用交叉熵损失函数,优化器可以采用adam优化器。
146.在一些可以实现的实施方式中,跳转动作次数通过以下步骤获得:
147.获取所述待处理视频的播放记录;
148.基于所述播放记录,确定用户在观看所述待处理视频时,将播放进度移动至所述视频分段所在的时间段的次数,并将该次数作为所述跳转动作次数。
149.这里,跳转动作次数是指用户在观看待处理视频时,将播放进度移动至视频分段所在的时间段的seek动作的次数。一般而言,用户在观看视频时,对于无聊的片段,其会选择跳过该片段,在剧情精彩的时间点上观看。因此,该跳转动作次数能够表征视频分段的精彩程度。因此,通过获取待处理视频的播放记录,从而根据待处理视频的播放记录确定跳转动作次数。
150.其中,待处理视频的播放记录可以通过在视频网站上进行获取,该播放记录包括待处理视频的播放次数,以及每次播放过程中记录到的跳转动作次数。
151.应当理解的是,跳转动作次数越大,说明视频分段是待处理视频对应的精彩片段的可能性越大。
152.图8是根据一示例性实施例示出的一种视频产生装置的框图。参照图8,该装置包括分割模块121,得分计算模块122和确定模块123。
153.该分割模块121被配置为对待处理视频进行分割,得到多个视频分段;
154.该得分计算模块122基于所述视频分段的属性信息,计算每一所述视频分段的推荐指数,其中,所述属性信息包括以下至少一种信息:
155.所述视频分段的画面分类与所述待处理视频的视频分类之间的第一匹配度;
156.所述视频分段中包括的目标对象的影响力指数;
157.所述视频分段的音频分类与所述待处理视频的视频分类之间的第二匹配度;
158.用户在观看所述待处理视频时,将播放进度移动至所述视频分段所在的时间段的跳转动作次数;
159.该确定模块123被配置为根据每一所述视频分段的所述推荐指数,从所述多个视频分段中确定目标视频分段。
160.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
161.本公开还提供一种计算机可读存储介质,其上存储有计算机程序指令,该程序指令被处理器执行时实现本公开提供的视频产生方法的步骤。
162.图9是根据一示例性实施例示出的一种电子设备800的框图。例如,电子设备800可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。
163.参照图9,电子设备800可以包括以下一个或多个组件:处理组件802,存储器804,电力组件806,多媒体组件808,音频组件810,输入/输出(i/o)的接口812,传感器组件814,以及通信组件816。
164.处理组件802通常控制电子设备800的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令,以完成上述的视频产生方法的全部或部分步骤。此外,处理组件802可以包括一个或多个模块,便于处理组件802和其他组件之间的交互。例如,处理组件802可以包括多媒体模块,以方便多媒体组件808和处理组件802之间的交互。
165.存储器804被配置为存储各种类型的数据以支持在电子设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。
166.电力组件806为电子设备800的各种组件提供电力。电力组件806可以包括电源管理系统,一个或多个电源,及其他与为电子设备800生成、管理和分配电力相关联的组件。
167.多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件808包括一个前置摄像头和/或后置摄像头。当电子设备800处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
168.音频组件810被配置为输出和/或输入音频信号。例如,音频组件810包括一个麦克风(mic),当电子设备800处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中,音频组件810还包括一个扬声器,用于输出音频信号。
169.i/o接口812为处理组件802和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
170.传感器组件814包括一个或多个传感器,用于为电子设备800提供各个方面的状态评估。例如,传感器组件814可以检测到电子设备800的打开/关闭状态,组件的相对定位,例如所述组件为电子设备800的显示器和小键盘,传感器组件814还可以检测电子设备800或
电子设备800一个组件的位置改变,用户与电子设备800接触的存在或不存在,电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件814还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。
171.通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件816还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
172.在示例性实施例中,电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述视频产生方法。
173.在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器804,上述指令可由电子设备800的处理器820执行以完成上述视频产生方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
174.在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的视频产生方法的代码部分。
175.本领域技术人员在考虑说明书及实践本公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
176.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于创业者技术爱好者查询,仅供学习研究,如用于商业用途,请联系技术所有人。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献