一种视频处理方法、装置、设备及存储介质与流程

1.本发明涉及多媒体的技术领域，尤其涉及一种视频处理方法、装置、设备及存储介质。


背景技术：

2.在推广游戏、电子产品等场景中，常使用视频数据介绍游戏、电子产品等对象，视频数据以画面、声音的方式呈现游戏、电子产品等业务对象的信息，方便用户阅读。
3.在录制完原始的视频数据之后，美术人员多使用专业的视频制作工具对视频数据进行后期加工，以提升视频数据的质量。
4.在一种常用的后期加工中，美术人员使用视频制作工具对视频数据添加统一的边框，但是，这些边框会遮挡视频数据的部分内容，对视频数据表达的信息造成影响。


技术实现要素：

5.本发明提供了一种视频处理方法、装置、设备及存储介质，以解决如何在对视频数据制作边框时，减少对视频数据表达的信息的影响。
6.根据本发明的一方面，提供了一种视频处理方法，包括：
7.获取原始视频数据，所述原始视频数据中具有多帧原始图像数据；
8.在每帧所述原始图像数据中提取指定的目标对象；
9.在至少部分所述原始图像数据中添加边框；
10.若完成添加所述边框，则将所述目标对象映射回所述原始图像数据中，得到目标图像数据；
11.在所述原始视频数据中，将所述目标图像数据替换所述原始图像数据，得到目标视频数据。
12.根据本发明的另一方面，提供了一种视频处理装置，包括：
13.原始视频数据获取模块，用于获取原始视频数据，所述原始视频数据中具有多帧原始图像数据；
14.目标对象提取模块，用于在每帧所述原始图像数据中提取指定的目标对象；
15.边框添加模块，用于在至少部分所述原始图像数据中添加边框；
16.目标对象映射模块，用于若完成添加所述边框，则将所述目标对象映射回所述原始图像数据中，得到目标图像数据；
17.目标视频数据生成模块，用于在所述原始视频数据中，将所述目标图像数据替换所述原始图像数据，得到目标视频数据。
18.根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：
19.至少一个处理器；以及
20.与所述至少一个处理器通信连接的存储器；其中，
21.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序
被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的视频处理方法。
22.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使处理器执行时实现本发明任一实施例所述的视频处理方法。
23.根据本发明的另一方面，提供了一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序在被处理器执行时实现根据本发明任一实施例所述的视频处理方法。
24.在本实施例中，获取原始视频数据，原始视频数据中具有多帧原始图像数据；在每帧原始图像数据中提取指定的目标对象；在至少部分原始图像数据中添加边框；若完成添加边框，则将目标对象映射回原始图像数据中，得到目标图像数据；在原始视频数据中，将目标图像数据替换原始图像数据，得到目标视频数据。本实施例先从原始图像数据中提取目标对象，在原始图像数据添加边框之后将目标对象映射回原始图像数据中，使得目标对象在边框之上，避免边框遮挡目标对象，保证目标视频数据正常表达主要的信息，并且，在视觉上目标对象与非目标对象之间形成差距，可制作立体的视觉效果，连续多帧目标图像数据中目标对象与边框之间会存在连续性的变化，可营造出目标对象从边框内部与边框外部之间跳跃的多种动态效果。
25.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
26.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
27.图1是根据本发明实施例一提供的一种视频处理方法的流程图；
28.图2a至图2d是根据本发明实施例一提供的一种添加边框的示例图；
29.图3是根据本发明实施例一提供的一种设置边框的尺寸的示意图；
30.图4是根据本发明实施例二提供的一种视频处理装置的结构示意图；
31.图5是实现本发明实施例三提供的一种电子设备的结构示意图。
具体实施方式
32.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
33.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用
的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.实施例一
35.图1为本发明实施例一提供的一种视频处理方法的流程图，本实施例可适用于对原始视频数据制作边框时排除目标对象的情况，该方法可以由视频处理装置来执行，该视频处理装置可以采用硬件和/或软件的形式实现，该视频处理装置可配置于电子设备中。如图1所示，该方法包括：
36.步骤101、获取原始视频数据。
37.在实际应用中，用户可以在生活、学习、工作等情况中采集或制作不同内容的视频数据，记为原始视频数据，原始视频数据在后期处理中等待添加边框。
38.若用户为美术人员，则可以针对业务对象制作原始视频数据，所谓业务对象，是指在不同的业务场景中分布有具备该业务场景中业务特性的对象。
39.进一步而言，业务对象可以是实体物品，例如，手机、平板电脑、智能手表，等等，业务对象也可以为虚拟数据，多为第三方的应用程序，例如，游戏、游戏分发应用、短视频应用、购物应用，等等，本实施例对此不加以限制。
40.为使本领域技术人员更好地理解本发明，在本实施例中，将游戏作为业务对象的一种示例进行说明。
41.其中，游戏的类型可以包括moba(multiplayer online battle arena，多人在线战术竞技游戏)、rpg(role-playing game，角色扮演游戏)、slg(simulation game，策略类游戏)，等等，本实施例对此不加以限制。
42.针对既定的业务对象，可能会在不同的渠道进行推广，不同的渠道在时长、内容等方面存在差异，为了方便后续的推广，美术人员可以预先制作一个或多个可覆盖不同渠道的视频数据，记为原始视频数据，这些原始视频数据可以按照渠道的规范进行编辑，例如，原始视频数据的时长较长，该时长大于或等于所有渠道限制的时长，使得美术人员可针对特定的渠道进行剪辑，原始视频数据并未配置背景音乐，使得美术人员可针对特定的渠道配置背景音乐，等等。
43.进一步而言，该原始视频数据的内容(包含画面与声音)与业务对象相关，可用于介绍业务对象、对业务对象进行推广。
44.以游戏为例，原始视频数据的内容可以划分为游戏的内容、真实的剧情两种主要的形式，其中，游戏的内容可以为用户控制游戏的过程介绍，也可以为代言人介绍游戏，还可以是代言人穿着游戏中的服饰进行介绍，而剧情可以进一步划分为如下类别：
45.1、伪美食分享
46.原始视频数据包含一些美食类的素材，吸引起用户的注意，植入玩游戏吃美食的玩法。
47.2、贴近用户生活题材
48.原始视频数据的内容贴近用户现在的生活状态，将游戏植入到生活的方方面面，
如玩游戏吃饭、买零食等。这类素材前半段主要以2人对话为主，后半段为游戏的植入片段。
49.3、夸张情景剧
50.原始视频数据包含情景剧的素材，某些剧情较为夸张，用以吸引起用户的注意。
51.当然，上述原始视频数据只是作为示例，在实施本实施例时，可以根据实际情况设置其它原始视频数据，本实施例对此不加以限制。另外，除了上述原始视频数据外，本领域技术人员还可以根据实际需要采用其它原始视频数据，本实施例对此也不加以限制。
52.在实际应用中，原始视频数据中具有多帧图像数据，为了推广业务对象，在不同的图像数据中通常配置有图标(logo)、横幅信息(banner)、结束片段(ending card，ec)等信息。
53.其中，图标logo为业务对象自身的标志，可以为文字性的图标logo(包含业务对象的名称)、也可以为图形性的图标logo。
54.横幅信息banner一般为矩形的信息，通常位于图像数据的顶部和/或底部，可记录业务对象自身的信息(如游戏中的画面、游戏中的角色、名称)、吸引用户购置或下载业务对象的信息(如礼品码)。
55.结束片段ec中具有下载业务对象的标识，例如，业务对象自身的信息(如游戏中的画面、角色、名称)、购置或下载业务对象的方式(如应用分发平台的图标、应用分发平台的名称及图标、购物平台的名称及图标等)。
56.步骤102、在每帧原始图像数据中提取指定的目标对象。
57.一般情况下，原始视频数据中具有多帧图像数据，记为原始图像数据，在每帧原始图像数据中具有不同的元素，这些元素可以为显示的元素，也可以为虚拟的元素，例如，人像数据、字幕数据、树木数据、建筑数据，等等，本实施例对此不加以限制。
58.在本实施例中，针对不同的业务，原始视频数据中各个元素所提供的信息有所不同，因而可以根据不同业务的需求，选择一种或多种提供信息量较多的元素，防止禁止被边框遮挡，这些元素可记为目标对象。
59.以游戏为例，原始视频数据在推广游戏时，人像数据多为游戏中的角色，是用户的焦点所在，而与配音匹配的字幕数据可以为用户提供准确的信息，因而可以选择人像数据、字幕数据作为目标对象。
60.那么，针对既定的目标对象，则可以遍历原始视频数据中的每帧原始图像数据，对原始视频数据中的每帧原始图像数据进行语义识别，在原始视频数据中的每帧原始图像数据中检测并提取目标对象。
61.在一个示例中，目标对象为人像数据(即角色在平面或立体上的描述)，那么，在本示例中，可以加载预先训练的相关向量机(relevance vector machine，rvm)至内存运行，该相关向量机被训练至分割人像数据。
62.相关向量机的训练是在贝叶斯框架下进行的，在先验参数的结构下基于主动相关决策理论(automatic relevance determination，ard)来移除不相关的点，从而获得稀疏化的模型。在样本数据的迭代学习过程中，大部分参数的后验分布趋于零，与预测值无关，那些非零参数对应的点被称作相关向量(relevance vectors)，体现了数据中主要的特征。
63.那么，将原始图像数据输入相关向量机中进行语义识别，以提取人像数据作为目标对象。
64.一般情况下，角色及其装饰物(如帽子、游戏道具等)在语义上较为接近，因此，相关向量机在分割人像数据时，除了角色之外，还可能将其装饰物一同分割到人像数据中。
65.例如，如图2a所示的原始图像数据，一个形象为马戏团团长的角色佩戴着帽子，使用相关向量机对如图2a所示的原始图像数据分割出入图2b所示的人像数据，其佩戴帽子的形象被分割出来。
66.在另一个示例中，目标对象为字幕数据，字幕数据一般位于图像数据底布居中的位置，在添加边框时容易被遮挡。
67.考虑到图像数据中除了字幕数据之外，还可能存在其他文本数据，而区分字幕数据与非字幕数据的运算量比较大，因此，可以将目标对象从字幕数据扩展为文本数据。
68.在本示例中，可以加载文本识别网络，文本识别网络支持光学字符识别(optical character recognition，ocr)。
69.为了降低光学字符识别的计算量，可以使用texrnet(深度文本匹配)、hrnet(高分辨率网络)等深度学习或规则(位于图像数据底部的区域)的方式从原始图像数据中分割内容为文字的区域，作为文本图像数据。
70.将区域图像数据输入文本识别网络中进行光学字符识别，以提取文本数据作为目标对象。
71.当然，上述目标对象及其提取的方式只是作为示例，在实施本发明实施例时，可以根据实际情况设置其它目标对象及其提取的方式，本发明实施例对此不加以限制。另外，除了上述目标对象及其提取的方式外，本领域技术人员还可以根据实际需要采用其它目标对象及其提取的方式，本发明实施例对此也不加以限制。
72.步骤103、在至少部分原始图像数据中添加边框。
73.在具体实现中，可以根据业务(美术设计)、原始视频数据的内容等情况筛选出至少部分(即部分或全部)原始图像数据，并对筛选出来的图像数据添加边框。
74.在对全部原始图像数据添加边框时，多帧原始视频数据的边框整齐、统一，可以降低运算量，提高后期处理的效率。
75.在对部分原始图像数据中添加边框时，多帧原始图像数据呈现出边框的变化，可以对营造出动态变化的效果，更加适配原始视频数据的内容，提高后期处理的质量。
76.在本发明的一个实施例中，步骤103可以包括如下步骤：
77.步骤1031、对至少部分原始图像数据设置边框的尺寸。
78.针对筛选待添加边框的原始图像数据，可以对边框设置统一的尺寸，也可以基于原始图像数据的内容对边框设置可变动的尺寸，本实施例对此不加以限制。
79.在本发明的一个实施例中，如果是对全部原始图像数据添加边框，那么，可以统一全部原始图像数据的边框的尺寸。
80.在本实施例中，可以查询原始图像数据的属性，得知原始图像数据的宽度width、高度height。
81.如图2c所示，对原始图像数据的宽度width取预设的第一比例(第一比例为经验值，如10％)，即，将原始图像数据的宽度width乘以预设的第一比例(如10％)，获得边框201在水平方向上的尺寸a。
82.对原始图像数据的高度height取预设的第二比例(第二比例为经验值，如10％)，
即，将原始图像数据的高度height乘以预设的第二比例(如10％)，获得边框201在垂直方向上的尺寸b。
83.在本发明的另一个实施例中，步骤1031进一步可以包括如下步骤：
84.步骤10311、在原始视频数据中查询人像数据所处的时间范围。
85.一般情况下，原始视频数据中的角色是推动剧情发展的主要要素之一，原始视频数据中主要的角色(如代言人、游戏中的主角等)对剧情发展的推动尤为明显。
86.因此，在本实施例中，可以参考原始视频数据中人像数据的分布情况动态地设置边框，使得边框与原始视频数据的剧情发展适配，使得用户的注意力集中至剧情发展之处。
87.进一步而言，在原始视频数据的时间轴上标记人像数据所处的时间范围，其中，该人像数据可以为任一角色的人像数据，也可以为主要的角色的人像数据，本实施例对此不加以限制。
88.对这些时间范围内的原始图像数据设置边框，这些时间范围外的原始图像数据并不设置边框。
89.在具体实现中，可以在原始视频数据的时间轴中查询人像数据所处的时间点，如果人像数据为目标对象，则可以查询在先识别目标对象时缓存的、人像数据所处的时间点。
90.对人像数据进行人脸识别，从而识别人脸数据。
91.对于同一角色的人脸数据，可以遍历所有的时间点，针对任意相邻两个时间点，分别计算相邻两个时间点之间的差值，得到其间隔的时间差值，并将该时间差值与预设的距离阈值进行比较，若相邻两个时间点之间间隔的时间差值小于或等于预设的距离阈值，表示相邻两个时间点之间较近，则可以将相邻两个时间点相连，在遍历完所有的时间点、将较近的时间点相连时，得到一个或多个时间点连接之后组成的范围，作为时间范围。
92.此外，可以判断不同角色对应的时间范围是否重叠，若不同角色对应的时间范围存在重叠，则可以设置第一角色范围与第二角色范围，其中，第一角色范围为在原始视频数据的时间轴上排序在前的角色对应的时间范围、第二角色范围为在原始视频数据的时间轴上排序在后的角色对应的时间范围。
93.一方面，计算第一角色范围与第二角色范围之间重叠的时长，并计算该时长与第一角色范围之间的比值。
94.另一方面，计算第一角色范围与第二角色范围之间的差值，作为差异范围。
95.若比值小于预设的重叠阈值、且差异范围小于预设的范围阈值，表示第一角色范围与第二角色范围之间重叠的范围较少、且第一角色范围与第二角色范围之间在时长上较为接近，即，第一角色范围与第二角色范围在剧情上互为独立，为了避免边框在短时间内频繁出现，保证聚焦能力，则可以忽略第一角色范围或第二角色范围。
96.若占比大于或等于预设的重叠阈值、或差异范围大于或等于预设的范围阈值，表示第一角色范围与第二角色范围之间重叠的范围较多、且第一角色范围与第二角色范围之间在时长上差异较大，即，第一角色范围与第二角色范围在剧情上具有关联性，为了保证剧情的连贯，则可以叠加第一角色范围与第二角色范围，得到新的时间范围。
97.步骤10312、将时间范围依次划分出三个区域，分别作为头部范围、中部范围与尾部范围。
98.步骤10313、以递增的方式对头部范围内的原始图像数据设置边框的尺寸。
99.步骤10314、对中部范围内的原始图像数据维持边框的尺寸不变。
100.步骤10315、以递减的方式对头部范围内的原始图像数据设置边框的尺寸。
101.在本实施例中，如图3所示，在原始视频数据的时间轴t上，针对每个时间范围[t1，t2]，均可以划分出三个区域，分别记为头部范围[t1，t4]、中部范围[t4，t6]与尾部范围[t6，t2]。
[0102]
其中，头部范围[t1，t4]位于中部范围[t4，t6]之前，中部范围[t4，t6]位于尾部范围[t6，t2]之前，即，头部范围[t1，t4]的时间点均小于中部范围[t4，t6]的时间点，中部范围[t4，t6]的时间点均小于尾部范围[t6，t2]的时间点。
[0103]
对于头部范围[t1，t4]，可以以递增的方式对头部范围[t1，t4]内的原始图像数据设置边框的尺寸s(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)，即，在头部范围[t1，t4]内，各帧原始图像数据的边框的尺寸s(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)按照时间顺序从零开始递增，直至到达极大值。
[0104]
递增的方式一般为均匀递增，假设头部范围[t1，t4]内原始图像数据的帧数为f1，边框的尺寸(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)的极大值为s1，那么每两帧原始图像数据之间递增的第一步长为f1/s1。
[0105]
进一步地，若f1/s1不为整数，则可以对f1/s1进行向上取整或向下取整，将向上取整或向下取整的数值设置为每两帧原始图像数据之间递增的第一步长。
[0106]
对于中部范围[t4，t6]，可以对中部范围[t4，t6]内的原始图像数据维持边框的尺寸s(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)不变，使得边框的尺寸保持在极大值s1。
[0107]
对于尾部范围[t6，t2]，可以以递减的方式对尾部范围[t6，t2]内的原始图像数据设置边框的尺寸s(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)，即，在尾部范围[t6，t2]内，各帧原始图像数据的边框的尺寸s(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)按照时间顺序从极大值开始递减，直至到达零。
[0108]
递减的方式一般为均匀递减，假设尾部范围[t6，t2]内原始图像数据的帧数为f2，边框的尺寸(包括如图2c所示的边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)的极大值为s1，那么每两帧原始图像数据之间递减的第二步长为f2/s1。
[0109]
进一步地，若f2/s1不为整数，则可以对f2/s1进行向上取整或向下取整，将向上取整或向下取整的数值设置为每两帧原始图像数据之间递减的第二步长。
[0110]
对于整个时间范围而言，各帧原始图像数据的边框的尺寸会呈现从零递增到极大值、维持极大值、从极大值递减至零的方式变化，以递增的方式引出边框、以递减的方式消除边框，循序渐进，在吸引用户的注意力的情况下，使得边框的边框更加自然，减少突兀感。
[0111]
在具体实现中，考虑到时间范围的长度并不固定，因而可以先确定头部范围的长度与尾部范围的长度，中部范围为时间范围内除头部范围与尾部范围之外的其他区域，简化划分头部范围、中部范围与尾部范围的操作，减少处理的耗时。
[0112]
进一步而言，头部范围的长度与尾部范围的长度可以是默认的经验值，也可以根据原始视频数据的剧情发展而动态设置，此时，本实施例对此不加以限制。
[0113]
在一种动态设置的方式中，如图3所示，从时间范围[t1，t2]的起始点t1开始顺序取第一候选范围[t1，t3]、从时间范围[t1，t2]的结束点t2开始倒序取第二候选范围[t5，t2]，其中，第一候选范围[t1，t3]的长度与第二候选范围[t5，t2]的长度可以是默认的经验值。
[0114]
一方面，使用摘要生成网络(a flexible detect to summarize network for video summarization，dsnet)等方式对第一候选范围内的每帧原始图像数据计算表征精彩程度的第一精彩值，其中，摘要生成网络可将原始视频数据中的主要部分抽离出来生成片段，用这段片段概括原始视频数据的内容，摘要生成网络包括两种网络框架，分别为anchor-based method和anchor-free method。
[0115]
在anchor-based method中，提供一个多尺度区间的proposals(候选框)进行密集抽样，提取其长期的具有时间依赖的特征，用于proposal location(候选地点)回归和重要性预测，这里分配了正负样本来用于生成摘要的正确性和完整性信息。
[0116]
在anchor-free method中，直接预测视频数据中各帧图像数据和片段位置的重要性。
[0117]
将时间范围[t1，t2]的起始点t1到第一精彩值最高的原始原始数据所处的时间点t4之间的区域设置为头部范围[t1，t4]，那么，在该头部范围[t1，t4]中，边框的尺寸s从零开始递增，在到达极大值s1时为原始视频数据局部区域内的最精彩的画面(即原始图像数据)，使得头部范围[t1，t4]内边框的尺寸s的递增与原始视频数据局部区域内的内容同步，提高了头部范围[t1，t2]内边框的尺寸s与原始视频数据局部区域内的内容的适配程度。
[0118]
另一方面，使用摘要生成网络等方式对第二候选范围内的每帧原始图像数据计算表征精彩程度的第二精彩值。
[0119]
将时间范围[t1，t2]的结束点t2到第二精彩值最高的原始原始数据所处的时间点t6之间的区域设置为尾部范围[t6，t2]，那么，在该尾部范围[t6，t2]中，边框的尺寸s在原始视频数据局部区域内的最精彩的画面(即原始图像数据)开始从极大值s1递减，直至为零，使得尾部范围[t6，t2]内边框的尺寸s的递减与原始视频数据局部区域内的内容同步，提高了尾部范围[t6，t2]内边框的尺寸s与原始视频数据局部区域内的内容的适配程度。
[0120]
由于头部范围[t1，t4]与尾部范围[t6，t2]相互独立，因而可以异步划分头部范围[t1，t4]与尾部范围[t6，t2]，在确定头部范围[t1，t4]与尾部范围[t6，t2]时，可以将时间范围[t1，t2]内除头部范围[t1，t4]与尾部范围[t6，t2]之外的其他区域设置为中部范围[t4，t3]。
[0121]
步骤1032、按照尺寸在至少部分原始图像数据中的边缘设置目标范围。
[0122]
在本实施例中，如图2c所示，对于待添加边框的至少部分原始图像数据，可以按照边框的尺寸(包括边框201在水平方向上的尺寸a、边框201在垂直方向上的尺寸b)在每帧原始图像数据中的各个边缘向内延伸，得到目标范围。
[0123]
步骤1033、在目标范围内填涂指定的颜色，作为边框。
[0124]
在本实施例中，可以在目标范围内填涂指定的颜色，即，对目标范围内的像素点统一调整至颜色，此时，该目标范围记为边框。
[0125]
在具体实现中，该颜色可以为默认的颜色值，也可以根据原始图像数据的颜色而动态设置值，使得边框的颜色与原始图像数据的颜色适配，从而突出边框，避免边框的颜色与原始图像数据的颜色过于接近导致分辨不清的情况。
[0126]
在一种动态设置边框的颜色的方式中，针对等待添加边框的至少部分原始图像数
据，可以使用k-means(k均值聚类)按像素点的照颜色值对至少部分原始图像数据中的像素点进行聚类，得到多个候选簇。
[0127]
从所有候选簇中筛选出像素点的数量按照从大到小排序时排序在前n(n为正整数)个的候选簇，作为目标簇。
[0128]
以目标簇作为至少部分原始图像数据的颜色的参考，筛选满足偏离条件的颜色值、作为目标颜色，其中，偏离条件为与任一目标簇表征的颜色值(即目标簇的中心点所表征的颜色值)之间的距离均大于预设的颜色阈值，即，目标颜色与任一目标簇表征的颜色值之间的距离较大，使得目标颜色与任一目标簇表征的颜色值对比明显，在视觉上突出边框的存在。
[0129]
此时，将目标范围中的像素点填涂目标颜色，作为边框。
[0130]
步骤104、若完成添加边框，则将目标对象映射回原始图像数据中，得到目标图像数据。
[0131]
如图2d所示，如果已经完成对至少部分原始图像数据添加边框201，则可以将目标对象202映射回原始图像数据中，得到目标图像数据，即，将目标对象202中各个像素点按照其在原始图像数据中所处的坐标映射回原始图像数据，得到目标图像数据。
[0132]
对于目标对象与边框重叠的情况，目标对象位于原始图像数据的边缘，此时分割出目标对象，在原始图像数据未添加边框时，目标对象并未被遮挡，在原始图像数据添加边框时，目标对象在边缘的部分区域被边框遮挡，那么，将分割出的目标对象映射回原始图像数据得到目标图像数据时，目标图像数据内的目标对象相对于原始图像数据内的目标对象未发生变化，但目标对象位于边框之上、未被边框遮挡，而除目标对象之外的其他元素保持被边框遮挡的状态。
[0133]
步骤105、在原始视频数据中，将目标图像数据替换原始图像数据，得到目标视频数据。
[0134]
在原始视频数据中遍历每帧原始图像数据，对于已添加边框并重新映射目标对象的目标图像数据，可以将该目标图像数据替换相应的原始图像数据，对于未添加边框的原始图像数据，可以维持该原始图像数据不变，此时，将原始视频数据记为目标视频数据。
[0135]
在视觉效果上，用户通常会认为边框是叠加在目标图像数据之上、目标图像数据的目标对象是映射在边框之上，即，目标图像数据的画面位于边框之后，目标对象是位于边框之前，在播放目标视频数据时，连续多帧目标图像数据可以呈现目标对象从边框内部与边框外部之间跳跃的动态效果。
[0136]
进一步地，在边框的尺寸逐渐递增时，连续多帧目标图像数据可以呈现目标对象(尤其为角色(即人像数据))由远至近从边框内部跃出边框外部的动态效果，在边框的尺寸维持不变时，连续多帧目标图像数据可以呈现目标对象(尤其为角色(即人像数据))跃出边框外部停留的动态效果，在边框的尺寸逐渐递减时，连续多帧目标图像数据可以呈现目标对象(尤其为角色(即人像数据))由近至远从边框外部跃回边框内部的动态效果。
[0137]
在某些情况中，在目标视频数据中具有与业务对象相关的信息，那么，可以在指定的渠道(如新闻资讯、短视频、小说阅读、运动健康等)发布目标视频数据，以在客户端访问渠道时，将目标视频数据推送至客户端进行播放，用户在对业务对象感兴趣时，可以通过目标视频数据中的信息搜索业务对象，例如，从分发游戏的平台中搜索并下载游戏，等等。
[0138]
在本实施例中，获取原始视频数据，原始视频数据中具有多帧原始图像数据；在每帧原始图像数据中提取指定的目标对象；在至少部分原始图像数据中添加边框；若完成添加边框，则将目标对象映射回原始图像数据中，得到目标图像数据；在原始视频数据中，将目标图像数据替换原始图像数据，得到目标视频数据。本实施例先从原始图像数据中提取目标对象，在原始图像数据添加边框之后将目标对象映射回原始图像数据中，使得目标对象在边框之上，避免边框遮挡目标对象，保证目标视频数据正常表达主要的信息，并且，在视觉上目标对象与非目标对象之间形成差距，可制作立体的视觉效果，连续多帧目标图像数据中目标对象与边框之间会存在连续性的变化，可营造出目标对象从边框内部与边框外部之间跳跃的多种动态效果。
[0139]
实施例二
[0140]
图4为本发明实施例二提供的一种视频处理装置的结构示意图。如图4所示，该装置包括：
[0141]
原始视频数据获取模块401，用于获取原始视频数据，所述原始视频数据中具有多帧原始图像数据；
[0142]
目标对象提取模块402，用于在每帧所述原始图像数据中提取指定的目标对象；
[0143]
边框添加模块403，用于在至少部分所述原始图像数据中添加边框；
[0144]
目标对象映射模块404，用于若完成添加所述边框，则将所述目标对象映射回所述原始图像数据中，得到目标图像数据；
[0145]
目标视频数据生成模块405，用于在所述原始视频数据中，将所述目标图像数据替换所述原始图像数据，得到目标视频数据。
[0146]
在本发明的一个实施例中，所述目标对象提取模块402还用于：
[0147]
加载相关向量机；
[0148]
将所述原始图像数据输入所述相关向量机中进行语义识别，以提取人像数据作为目标对象。
[0149]
在本发明的另一个实施例中，所述目标对象提取模块402还用于：
[0150]
加载文本识别网络；
[0151]
从所述原始图像数据中分割内容为文字的区域，作为文本图像数据；
[0152]
将所述区域图像数据输入所述文本识别网络中进行光学字符识别，以提取文本数据作为目标对象。
[0153]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0154]
对至少部分所述原始图像数据设置边框的尺寸；
[0155]
按照所述尺寸在至少部分所述原始图像数据中的边缘设置目标范围；
[0156]
在所述目标范围内填涂指定的颜色，作为边框。
[0157]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0158]
查询所述原始图像数据的宽度、高度；
[0159]
对所述宽度取预设的第一比例，获得边框在水平方向上的尺寸；
[0160]
对所述高度取预设的第二比例，获得边框在垂直方向上的尺寸。
[0161]
在本发明的另一个实施例中，所述边框添加模块403还用于：
[0162]
在所述原始视频数据中查询人像数据所处的时间范围；
[0163]
将所述时间范围依次划分出三个区域，分别作为头部范围、中部范围与尾部范围；
[0164]
以递增的方式对所述头部范围内的所述原始图像数据设置边框的尺寸；
[0165]
对所述中部范围内的所述原始图像数据维持所述边框的尺寸；
[0166]
以递减的方式对所述头部范围内的所述原始图像数据所述设置边框的尺寸。
[0167]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0168]
在所述原始视频数据中查询人像数据所处的时间点；
[0169]
对所述人像数据识别人脸数据；
[0170]
对于同一角色的所述人脸数据，若相邻两个所述时间点之间间隔的时间差值小于或等于预设的距离阈值，则将相邻两个所述时间点相连，得到时间范围。
[0171]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0172]
若不同角色对应的所述时间范围存在重叠，则计算第一角色范围与第二角色范围之间重叠的时长，所述第一角色范围为排序在前的角色对应的所述时间范围、所述第二角色范围为排序在后的角色对应的所述时间范围；
[0173]
计算所述时长与所述第一角色范围之间的比值；
[0174]
计算所述第一角色范围与所述第二角色范围之间的差值，作为差异范围；
[0175]
若所述比值小于预设的重叠阈值、且所述差异范围小于预设的范围阈值，则忽略所述第一角色范围或所述第二角色范围；
[0176]
若所述占比大于或等于预设的重叠阈值、或所述差异范围大于或等于预设的范围阈值，则叠加所述第一角色范围与所述第二角色范围，得到新的时间范围。
[0177]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0178]
从所述时间范围的起始点开始顺序取第一候选范围、从所述时间范围的结束点开始倒序取第二候选范围；
[0179]
对所述第一候选范围内的每帧所述原始图像数据计算表征精彩程度的第一精彩值；
[0180]
将所述时间范围的起始点到所述第一精彩值最高的所述原始原始数据所处的时间点之间的区域设置为头部范围；
[0181]
对所述第二候选范围内的每帧所述原始图像数据计算表征精彩程度的第二精彩值；
[0182]
将所述时间范围的结束点到所述第二精彩值最高的所述原始原始数据所处的时间点之间的区域设置为尾部范围；
[0183]
将所述时间范围内除所述头部范围与所述尾部范围之外的其他区域设置为中部范围。
[0184]
在本发明的一个实施例中，所述边框添加模块403还用于：
[0185]
按照颜色值对至少部分所述原始图像数据中的像素点进行聚类，得到多个候选簇；
[0186]
筛选出所述像素点的数量按照从大到小排序时排序在前n个的所述候选簇，作为目标簇；
[0187]
筛选满足偏离条件的颜色值、作为目标颜色，所述偏离条件为与任一所述目标簇表征的颜色值之间的距离均大于预设的颜色阈值；
[0188]
将所述目标范围中的所述像素点填涂所述目标颜色，作为边框。
[0189]
本发明实施例所提供的视频处理装置可执行本发明任意实施例所提供的视频处理方法，具备执行视频处理方法相应的功能模块和有益效果。
[0190]
实施例三
[0191]
图5示出了可以用来实施本发明的实施例的电子设备10的结构示意图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
[0192]
如图5所示，电子设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储电子设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
[0193]
电子设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许电子设备10通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0194]
处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，如视频处理方法。
[0195]
在一些实施例中，视频处理方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到电子设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的视频处理方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频处理方法。
[0196]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0197]
用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0198]
在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0199]
为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0200]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
[0201]
计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
[0202]
实施例四
[0203]
本发明实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序在被处理器执行时实现如本发明任一实施例所提供的视频处理方法。
[0204]
计算机程序产品在实现的过程中，可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计
算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0205]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
[0206]
上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。