视频处理方法及装置与流程

1.本说明书涉及视频处理技术领域，特别涉及一种视频处理方法。本说明书同时涉及一种视频处理装置，一种计算设备，以及一种计算机可读存储介质。


背景技术：

2.随着互联网技术的发展，视频处理技术变得愈发成熟，为了能够响应于下游业务的使用，当前处理节点会根据下游业务需求对视频进行不同操作的处理。且在此过程中，为了能够保证视频处理后的可用性较高，通常会采用引入人工处理加审核的方式完成，这就导致会消耗较多的时间才能够完成视频处理流程。尤其是在对视频中目标对象打标签场景下，人工手动打标签不仅会存在效率低下的问题，而且标准不一致，导致处理后的视频可用性极低。因此亟需一种有效的方案以解决上述问题。


技术实现要素：

3.有鉴于此，本说明书实施例提供了一种视频处理方法。本说明书同时涉及一种视频处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种视频处理方法，包括：
5.获取待处理视频以及所述待处理视频对应的关键点数据；
6.根据所述关键点数据对所述待处理视频进行标准化处理，根据标准化处理结果生成初始视频片段；
7.确定所述初始视频片段中包含的目标对象，并根据所述目标对象将所述初始视频片段更新为目标视频片段；
8.在所述关键点数据中提取所述目标对象关联的目标关键点数据，并对具有关联关系的所述目标视频片段和所述目标关键点数据进行存储。
9.根据本说明书实施例的第二方面，提供了一种视频处理装置，包括：
10.获取模块，被配置为获取待处理视频以及所述待处理视频对应的关键点数据；
11.生成模块，被配置为根据所述关键点数据对所述待处理视频进行标准化处理，根据标准化处理结果生成初始视频片段；
12.确定模块，被配置为确定所述初始视频片段中包含的目标对象，并根据所述目标对象将所述初始视频片段更新为目标视频片段；
13.存储模块，被配置为在所述关键点数据中提取所述目标对象关联的目标关键点数据，并对具有关联关系的所述目标视频片段和所述目标关键点数据进行存储。
14.根据本说明书实施例的第三方面，提供了一种计算设备，包括：
15.存储器和处理器；
16.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现所述视频处理方法的步骤。
17.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现所述视频处理方法的步骤。
18.本实施例提供的视频处理方法，在获取到待处理视频及其对应的关键点数据后，为了能够快速且高效的完成关键点数据的提取和存储，可以在处理过程中，先根据关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到符合当前业务场景的初始视频片段，之后定位初始视频片段中的目标对象，并根据目标对象将初始视频片段更新为目标视频片段，最后在关键点数据中提取目标对象关联的目标关键点数据，通过建立目标关键点数据和目标视频片段的关联关系并存储；实现了快速且高效的完成视频处理，且删除了视频中冗余的特征信息，保证目标关键点数据与目标视频片段中目标对象的关联性强度，以方便下游业务在不作任何处理的情况下，即可直接进行复用，有效的降低了视频处理过程中时间成本的消耗。
附图说明
19.图1是本说明书一实施例提供的一种视频处理方法的示意图；
20.图2是本说明书一实施例提供的一种视频处理方法的流程图；
21.图3是本说明书一实施例提供的一种视频处理方法中的相似度示意图；
22.图4是本说明书一实施例提供的一种视频处理方法的处理流程图；
23.图5是本说明书一实施例提供的一种视频处理装置的结构示意图；
24.图6是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
25.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
26.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
27.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
28.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
29.ai：(artificial intelligence，人工智能)是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
30.app：(application，手机软件)主要指安装在智能手机上的软件，完善原始系统的不足与个性化。使手机完善其功能，为用户提供更丰富的使用体验的主要手段。
31.在本说明书中，提供了一种视频处理方法，本说明书同时涉及一种视频处理装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
32.随着人们对健康意识的加强，大家更希望在兼顾运动的同时能更具娱乐性，因此基于ai视觉为核心的ai健身app成为趋势。其中操课跟练打分类型不仅能够辅助用户学习操课内容，还能够体现用户的学习情况，可以起到有效辅导用户学习的健身课程的目的。但是由于操课类的业务需要大量的教学视频为基础，而教学视频还需要制作，导致操课类业务更新缓慢，大家需要等待很长时间才能够学习到新的课程，致使用户体验较差。而造成上述问题的主要原因是操课类业务涉及到的教学视频需要手动打标签，而手动打标签标准不一致且费时费力，因此亟需一种有效的方案以解决上述问题。
33.有鉴于此，参见图1所示的示意图，本实施例提供的视频处理方法，在获取到待处理视频及其对应的关键点数据后，为了能够快速且高效的完成关键点数据的提取和存储，可以在处理过程中，先根据关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到符合当前业务场景的初始视频片段，之后定位初始视频片段中的目标对象，并根据目标对象将初始视频片段更新为目标视频片段，最后在关键点数据中提取目标对象关联的目标关键点数据，通过建立目标关键点数据和目标视频片段的关联关系并存储；实现了快速且高效的完成视频处理，且删除了视频中冗余的特征信息，保证目标关键点数据与目标视频片段中目标对象的关联性强度，以方便下游业务在不作任何处理的情况下，即可直接进行复用，有效的降低了视频处理过程中时间成本的消耗。
34.图2示出了根据本说明书一实施例提供的一种视频处理方法的流程图，具体包括以下步骤：
35.步骤s202，获取待处理视频以及所述待处理视频对应的关键点数据。
36.具体的，待处理视频具体是指与下游业务需求对应的视频，且该视频未被处理，其包含冗余数据；如下游业务为舞蹈学习业务，则待处理视频为包含用户跳舞的教学视频；或者下游业务为瑜伽学习业务，则待处理视频为包含用户做瑜伽的教学视频；再或者下游业务为武术学习业务，则待处理视频为包含用户练武的教学视频。也就是说，为了能够向其他用户提供教学视频，将先获取大量对应下游业务的待处理视频，之后再通过本实施例提供的视频处理方法对其进行处理，以得到能够满足下游业务场景的标准视频片段，实现在其他用户学习视频中的内容时，可以不被视频中的其他干扰因素所打扰，以方便用户进行学习。
37.相应的，关键点数据具体是指待处理视频中的用户在作出舞蹈动作、瑜伽动作或武术动作时，用户身体的各个关节点的位置数据；用于辅助观看视频的用户准确学习视频中用户做出的各种动作，以达到辅助用户学习视频内容的目的。
38.基于此，由于不同的待处理视频包含的内容不同，且由于视频的录制问题，可能会存在一些干扰元素也会被录制到视频当中，这就导致观看视频的用户无法准确的学习视频中用户的动作；因此为了能够方便用户准确的进行学习视频中用户的动作，且降低干扰元素的影响，可以在获取到待处理视频后，同时获取待处理视频中的用户对应的关键点数据，以方便后续可以以关键点数据为基础对待处理视频进行处理，以得到满足下游使用需求的目标视频片段，供下游业务使用。需要说明的是，如果待处理视频中包含多个用户，则在确定关键点数据时，将会确定每个用户分别对应的关键点数据，以方便后续能够以全局关键
点数据为基础确定目标对象的目标关键点数据。
39.进一步的，在确定待处理视频对应的关键点数据时，实则是提取待处理视频中包含的各个相同类型的对象分别对应的子关键点数据，从而整合为关键点数据，为后续定位目标对象后，可以从全局的关键点数据中筛选出仅对应目标对象的目标关键点数据。本实施例中，关键点数据的确定如下所述：
40.获取所述待处理视频，并构建所述待处理视频对应的待处理视频帧序列；通过预设的关键点识别算法，对所述待处理视频帧序列中包含的待处理视频帧分别进行处理，获得每个待处理视频帧对应的子关键点数据；对每个待处理视频帧对应的子关键点数据进行整合，获得所述待处理视频对应的所述关键点数据。
41.具体的，待处理视频帧序列具体是指对待处理视频进行分帧处理后得到的视频帧，且待处理视频帧序列中包含的待处理视频帧按照时间顺序进行依次排序；相应的，关键点识别算法具体是指能够对每个待处理视频帧中用户对应的关键点进行识别的算法，可以采用关键点识别模型实现，即将待处理视频帧输入至关键点识别模型，以获得模型输出的对应待处理视频帧的关键点数据，实际应用中，关键点识别算法可以根据实际应用场景进行选择，本实施例在此不作任何限定。相应的，子关键点数据具体是指每个待处理视频帧中用户的各个关节点坐标数据。
42.基于此，当获取到待处理视频后，为了能够在后续从待处理视频中提取出目标视频片段时，可以同时得到目标视频片段中用户对应的关键点数据，以此对学习目标视频片段中动作的用户做出的动作进行打分，以响应于下游业务。在此之间，则需要得到待处理视频对应的全局关键点数据，以方便后续从中筛选出目标关键点数据。也就是说，当得到待处理视频后，可以先对待处理视频进行分帧处理得到待处理视频帧序列；之后通过预设的关键点识别算法对待处理视频帧序列中的待处理视频帧分别进行关键点识别处理，从而得到每个待处理视频帧对应的子关键点数据，之后通过将每个待处理视频帧对应的子关键点数据进行整合，即可得到待处理视频对应的关键点数据，以方便后续进行使用。
43.综上，通过采用逐帧创建子关键点数据的方式，整合出对应待处理视频的关键点数据，实现了能够保证关键点数据采集的精准度，充分反映待处理视频中包含的用户对应的全局关键点数据，以方便后续以此为基础构建目标关键点数据。
44.步骤s204，根据所述关键点数据对所述待处理视频进行标准化处理，根据标准化处理结果生成初始视频片段。
45.具体的，在上述获取到待处理视频及其对应的关键点数据后，进一步的，为了能够从待处理视频中整理出能够用于下游业务的视频片段，此时可以先基于关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到初始视频片段，再从初始视频片段出发构建目标视频片段即可。
46.其中，标准化处理具体是指根据下游业务需求，剔除待处理视频中无效的区域，即不参与下游业务使用的区域，使得整理后的待处理视频中不包含冗余数据；同时考虑到待处理视频在录制时，可能存在场景视角切换的行为，这就导致视角切换时，会存在关键点数据无法在切换后的视角中充分体现的情况，也就无法作为目标视频片段供用户使用；因此标准化处理时，还可以根据视角切换的动作对待处理视频进行切分，以得到初步满足使用需求的初始视频片段；相应的，初始视频片段具体是指经过标准化处理后，初步满足下游业
务使用的视频片段，且视频片段属于待处理视频。
47.进一步的，在基于关键点数据对待处理视频进行标准化处理时，实则是基于关键点数据剔除待处理视频中无效的区域，且该无效区域对应两个维度，其一为无效视频帧，即待处理视频中与用户做出的动作无关紧要的视频帧；其二为每个待处理视频帧中对用户动作产生干扰的区域，通过对不同维度的无效区域进行剔除，即可得到初步满足下游使用需求的初始视频片段。本实施例中，具体实现如步骤s2062至步骤s2066。
48.步骤s2062，根据所述关键点数据，对所述待处理视频帧序列中包含的待处理视频帧分别进行区域切分处理，获得第一视频帧组成的第一视频帧序列；
49.步骤s2064，按照预设的视频帧处理策略对所述第一视频帧序列进行处理，获得初始视频帧序列。
50.具体的，区域切分处理具体是指对每个待处理视频帧对应的展示区域进行切分处理的操作，以保留待处理视频帧中包含关键点数据的区域，其他区域均做切割处理。也就是说，先确定每个待处理视频帧中其对应的子关键点数据所在的区域，之后对不包含子关键点数据的区域进行切除，剩余的区域即为待处理视频帧对应的第一视频帧。相应的，第一视频帧序列具体是指对每个待处理视频帧进行区域切分处理后，得到的第一视频帧组成的序列。相应的，视频帧处理策略具体是指对第一视频帧序列中与用户做出的动作不相关的视频帧进行剔除的策略，如待处理视频为舞蹈视频，舞蹈开始跳的时间是从视频第7秒开始，则0-7秒对应的视频帧即为需要进行剔除的视频帧，以实现通过视频帧处理策略减少冗余视频帧产生的干扰。
51.基于此，当得到待处理视频及其对应的关键点数据后，为了能够精准且高效的构建出目标视频片段，此时可以先根据关键点数据对待处理视频帧序列中包含的待处理视频帧分别进行区域切分处理，以实现将每个待处理视频帧中与关键点数据对应的区域无关的区域进行切除，从而获得第一视频帧组成的第一视频帧序列。进一步的，再按照预设的视频帧处理策略对第一视频帧序列中包含的每个第一视频帧进行分析，并根据分析处理结果剔除无关动作的视频帧，以得到初始视频帧序列，用于后续构建初始视频片段。
52.进一步的，在按照预设的视频帧处理策略对每个第一视频帧进行分析和处理时，考虑到第一视频帧序列中包含的第一视频帧较多，因此可以按照信息遍历视频帧的方式剔除无效的视频帧，以得到初步满足使用需求的第二视频帧序列，之后再以此构建初始视频帧序列。本实施例中，具体实现方式如下：
53.根据所述视频帧处理策略确定关键帧筛选信息；利用所述关键帧筛选信息对所述第一视频帧序列进行处理，获得第二视频帧序列；计算所述第二视频帧序列中相邻第二视频帧之间的相似度，根据相似度计算结果生成所述初始视频帧序列。
54.具体的，关键帧筛选信息具体是指筛选第一视频帧序列中与动作相关程度较高的条件信息，以实现对无效第一视频帧进行剔除；相应的，第二视频帧序列具体是指由关联度较高的第一视频帧组成的序列；相应的，相邻第二视频帧之间的相似度具体是指第二视频帧序列中任意相邻的两个第二视频帧之间的相似度，用于表征录制视角是否发生切换，以实现后续切分出多个初始视频片段。
55.基于此，当确定第一视频帧组成的第一视频帧序列后，考虑到第一视频帧序列中的第一视频帧虽然切除了与关键点数据无关的区域，但是其中还存在与动作无关的第一视
频帧，因此可以根据视频帧处理策略确定关键帧筛选信息，之后利用关键帧筛选信息对第一视频帧序列中包含的每个第一视频帧分别进行遍历，以根据遍历结果得到与动作相关程度较高的第一视频帧，将其作为第二视频帧并组成第二视频帧序列，此时即完成了从第一视频帧序列中剔除无效视频帧的操作；最后再通过计算第二视频帧序列中任意两个相邻第二视频帧之间的相似度的方式，从第二视频帧序列中划分出属于同一视角的初始视频帧序列，用于后续构建属于同一视角的初始视频片段，更加方便下游业务进行使用。
56.实际应用中，考虑到不同场景下对第二视频帧的筛选需求可能不同，因此关键帧筛选信息可以根据实际应用场景进行设定，比如设定筛选包含关键点数据的第一视频帧作为第二视频帧，或者筛选包含关键点数据的数量大于阈值的第一视频帧作为第二视频帧，关键帧筛选信息的设定可以根据实际需求进行调整，本实施例在此不作任何限定。
57.综上，通过采用关键帧筛选信息遍历第一视频帧，以得到组成第二视频帧序列的第二视频帧，实现了可以根据下游业务需求精准的提取出第一视频帧序列中无关紧要的第一视频帧，将能够用于下游业务的第一视频帧作为第二视频帧组成第二视频帧序列，为后续构建初始视频片段打下基础。
58.更进一步的，在完成第二视频帧序列的构建后，此时虽然第二视频帧中包含的第二视频帧都与下游业务相关，即第二视频帧均与用户需要学习的动作相关，但是考虑到待处理视频在录制时，可能存在视角切换的行为，如果以存在视角切换的视频帧构建初始视频片段，将会导致关键点数据无法充分表征用户需要学习的动作，也就无法在下游业务准确的对学习用户的动作进行打分，因此在待处理视频中存在视角切换行为时，可以采用计算相邻第二视频帧相似度的方式，将第二视频帧序列切分为至少两个初始视频帧序列，以此再构建初始视频片段。本实施例中，具体实现方式如下：
59.构建所述第二视频帧序列中包含的第二视频帧对应的直方图，并计算所述第二视频帧序列中相邻第二视频帧对应的直方图之间的图距离；根据所述图距离确定所述第二视频帧序列中相邻第二视频帧之间的相似度，并选择小于相似度阈值的相似度作为切分相似度；确定所述切分相似度对应的目标第二视频帧，并基于所述目标第二视频帧对所述第二视频帧序列进行切分，获得所述初始视频帧序列。
60.具体的，第二视频帧对应的直方图具体是指充分表征第二视频帧特征的统计报告图，通过比较直方图，可以确定相邻第二视频帧之间的相似度，相似度大小将反映当前视频帧是否发生视角变换，因为相邻视频帧中用户动作是连贯的，且视频帧中的内容变化并不会很大，因此可以通过相似度定位视角变换情况。相应的，图距离具体是指直方图之间的距离，用于表征直方图之间的相似程度。相应的，切分相似度具体是指对第二视频帧序列进行切分的相似度，该相似度表征第二视频帧序列中发生视角变换的帧数。
61.基于此，当得到第二视频帧序列后，可以先构建第二视频帧序列中包含的第二视频帧对应的直方图，而由于第二视频帧序列中包含的第二视频帧都是按照时间顺序进行排序的，因此可以通过计算第二视频帧序列中相邻第二视频帧对应的直方图之间的图距离，确定相邻第二视频帧之间的相似度；若相似度大于等于相似度阈值，则说明未发生视角变换；若相似度小于相似度阈值，则说明发生视角变换。基于此设定可以选择小于相似度阈值的相似度作为切分相似度，通过切分相似度可以在第二视频帧序列中确定目标第二视频帧，即发生视角变换的视频帧，之后以目标第二视频帧为切分位置，对第二视频帧序列进行
切分处理，即可得到属于同一视角的初始视频帧序列，在此基础上构建初始视频片段即可。
62.实际应用中，相似度阈值决定着如何定位目标第二视频帧，而不同的场景下视角切换后的视频片段与视角切换前的视频片段相似度可能不同，因此相似度阈值的设定可以根据实际需求进行调整，本实施例在此不作任何限定。
63.综上，通过采用构建直方图的方式计算相邻第二视频帧之间的相似度，从而精准的定位视角切换位置，以从第二视频帧序列中切分出初始视频片段，可以保证初始视频片段的准确性，以方便后续进行使用。
64.步骤s2066，基于所述初始视频帧序列生成所述初始视频片段。
65.具体的，在上述得到初始视频帧序列后，再基于初始视频帧序列即可创建出满足后续使用的初始视频片段，以方便后续可以以初始视频片段为基础，构建出满足下游业务使用的目标视频片段。
66.本实施例以待处理视频为舞蹈视频为例进行说明，其它场景下的视频处理过程均可参见本实施例相同或相应的描述内容，本实施例在此不作过多赘述。
67.举例说明，获取到300s的待处理舞蹈视频后，通过对待处理舞蹈视频进行分帧处理，得到待处理视频帧序列；之后将每一待处理视频帧输入至预先训练好的关键点识别模型，用于对待处理舞蹈视频中包含的用户的骨架点进行识别，以获得每个待处理视频帧对应的子骨架点数据，并整合为待处理舞蹈视频对应的骨架点数据。
68.基于此，为了能够避免视频中冗余元素对舞蹈视频的质量产生影响，此时可以根据骨架点数据对待处理视频帧序列中包含的每个待处理视频帧分别进行区域切分处理，即第1待处理视频帧原尺寸为l1*k1，经过区域切分处理后，得到第1待处理视频帧对应的第一视频帧的尺寸为l11*k11(其中，l11≤l1，k11≤k1)，以此类推，将待处理视频帧序列中包含的全部待处理视频帧进行区域切分处理后，将得到第一视频帧组成的第一视频帧序列。
69.进一步的，为了能够减少一些无效视频帧对舞蹈视频长度以及教学过程产生干扰，此时可以先确定关键帧筛选信息(筛选存在骨架点数据的第一视频帧作为第二视频帧)，之后利用关键帧筛选信息对第一视频帧序列中包含的第一视频帧分别进行分析，以根据分析结果从第一视频帧序列中剔除s1个第一视频帧，被剔除的s1个第一视频帧对应待处理舞蹈视频的0-10s(为舞蹈准备阶段视频片段)，之后将剩余的第一视频帧作为第二视频帧组成第二视频帧序列。
70.更进一步的，在得到第二视频帧序列后，考虑到待处理舞蹈视频在录制时，可能存在视角切换的情况，为了能够有效的辅导用户进行舞蹈学习，可以以同一视角为基础，对待处理舞蹈视频进行切分。即先构建第二视频帧序列中每个第二视频帧对应的直方图，之后计算第二视频帧序列中相邻第二视频帧对应的直方图之间的相似度，从而确定任意相邻第二视频帧之间的相似度，根据直方图相似度计算结果得到如图3所示的直方图相似性曲线，其中，横坐标为第i个第二视频帧(i≥1，且i为正整数)纵坐标为第i个第二视频帧与第i-1个第二视频帧对应的直方图之间的相似度，相似度值域为0～1。也就是说，通过计算相似度可以确定上一第二视频帧和下一第二视频帧之间的相关程度，从而确定是否发生视角变换。即可以将相似度与预设相似度阈值进行比较，之后选择小于相似度阈值0.15的相似度作为切分相似度，并确定切分相似度对应的目标第二视频帧，最后按照目标第二视频帧对第二视频帧序列进行切分，即可得到两个初始视频帧序列，并以此构建出两个初始舞蹈视
频片段，分别对应两个不同的视角。以用于后续支持下游业务进行使用。
71.综上，通过以关键点数据为基础触发构建初始视频片段，可以使得待处理视频被处理完成后，剔除了不同维度的无效区域，使得初始视频片段仅包含供下游业务使用的视频内容，从而可以以此为基础得到满足使用需求的目标视频片段。
72.步骤s206，确定所述初始视频片段中包含的目标对象，并根据所述目标对象将所述初始视频片段更新为目标视频片段。
73.具体的，在上述得到初始视频片段后，进一步的，考虑到初始视频片段中包含的初始视频帧均在标准化处理过程发生了变化，如无效区域被切分、无效视频帧被剔除，因此为了能够保证后续构建出更加平滑且稳定的目标视频片段，可以先定位初始视频片段中的目标对象，之后基于目标对象将初始视频片段更新为目标视频片段，即基于目标对象将初始视频片段中的初始视频帧属性统一，以使得目标视频片段更加平滑和稳定。
74.其中，目标对象具体是指初始视频片段中作出动作且能够用于下游业务的对象，包括但不限于用户、动物或者机器人等。如在舞蹈视频中，目标对象即为跳舞的用户；或者在拟物表演视频中，目标对象即为被拟的动物或者机器人等，本实施例在此不作任何限定。相应的，目标视频片段具体是指对初始视频片段对应的初始视频帧进行属性统一处理后得到的目标视频片段，其能够保证视频帧中的目标对象动作更加连贯且平滑。
75.进一步的，在定位目标对象，且基于目标对象更新视频片段时，为了能够保证更新后的目标视频片段播放效果更好，更具有教导意义，则可以通过对象跟踪的方式完成更新处理操作，本实施例中，具体实现方式如下：
76.确定所述初始视频帧序列包含的每个初始视频帧中的所述目标对象；在所述初始视频帧序列包含的初始视频帧中针对所述目标对象添加对象框，根据对象框添加结果生成中间视频帧组成的中间视频帧序列；对所述中间视频帧序列包含的中间视频帧中的对象框进行更新，根据更新结果生成目标视频帧组成的目标视频帧序列；基于所述目标视频帧序列生成所述目标视频片段。
77.具体的，对象框具体是指能够对初始视频帧序列中的目标对象进行框选的跟踪框；通过对象框可以确定初始视频帧中能够使用的区域；相应的，中间视频帧序列具体是指由中间视频帧组成的序列，且中间视频帧即为包含对象框的初始视频帧。相应的，对对象框进行更新是指对对象框进行扩充、平滑和稳定的操作，即使得每个中间视频帧中的对象框可以相同大小，且位置相同，从而可以创建出更加平滑的目标视频帧序列。
78.基于此，当得到初始视频帧后，可以先确定每个初始视频帧中的目标对象，如舞蹈视频中，即为领舞的用户；之后针对每个初始视频帧中包含的目标对象添加对象框，以根据对象框添加结果得到中间视频帧组成的中间视频帧序列；进一步的再通过对中间视频帧中的对象框进行扩充、平滑和稳定操作，以根据操作结果生成目标视频帧组成的目标视频帧序列，最后即可根据目标视频帧序列创建出满足下游业务使用需求的目标视频片段。
79.实际应用中，在确定每个初始视频帧中的目标对象时，可以选择初始视频帧中中心位置的对象作为目标对象，如舞蹈视频中领舞用户作为目标用户；也可以采用人工参与的方式指定目标对象，之后后续的每个初始视频帧直接选择指定的目标对象为基础再添加对象框即可。具体实施时，目标对象的确定可以根据实际应用场景进行选择，本实施例在此不作任何限定。
80.沿用上例，当得到初始舞蹈视频片段后，可以采用跟踪检测的方式确定每个初始视频帧中的领舞者，之后针对每个初始视频帧中的领舞者添加跟踪框，以获得中间视频帧组成的中间视频帧序列，由于每个中间视频帧中添加有跟踪框，而每个跟踪框又是基于领舞者的动作添加，这就导致中间视频帧中的跟踪框大小不一致，且位置也存在不一致的问题；因此需要对中间视频帧中的跟踪框进行扩充、平滑和稳定操作，以根据操作结果得到目标视频帧组成的目标视频帧序列。也就是说，目标视频帧序列中包含的目标视频帧属性均相同，从而可以以此为基础构建出满足使用需求的目标视频片段(150s)，以方便下游业务使用，供用户学习舞蹈使用。
81.综上，通过采用跟踪检测的方式创建目标视频片段，可以使得目标视频片段更加平滑和稳定，即视频中的目标对象的动作更加连贯，以方便下游业务使用时，可以起到良好的辅导效果。
82.步骤s208，在所述关键点数据中提取所述目标对象关联的目标关键点数据，并对具有关联关系的所述目标视频片段和所述目标关键点数据进行存储。
83.具体的，在上述完成目标视频片段的创建后，进一步的，由于目标视频片段在下游业务中是供其他用户学习所使用的视频片段，为了能够更加有效的辅助用户学习目标视频片段中的动作，还可以在关键点数据中提取关联目标对象的目标关键点数据，实现在应用阶段可以基于目标关键点数据对观看目标视频片段的用户的动作进行动作打分。
84.其中，目标关键点数据具体是指关键点数据中对应目标对象的骨架点数据，其与目标对象具有唯一关联关系。基于此，当得到目标视频片段和待处理视频对应的关键点数据后，可以在关键点数据中提取关联目标对象的目标关键点数据，之后建立目标关键点数据与目标视频片段之间的关联关系，再将二者进行存储，以方便在下游业务使用时，可以直接通过读取的方式进行动作打分。
85.进一步的，在进行目标关键点数据提取时，考虑到其对应目标对象，因此可以结合目标对象的属性信息完成，本实施例中，具体实现方式如下：
86.确定所述目标对象对应的属性信息，基于所述属性信息在所述关键点数据中提取所述目标关键点数据；建立所述目标关键点数据与所述目标视频片段的关联关系，并基于所述关联关系对所述目标视频片段和所述目标关键点数据进行存储。
87.具体的，属性信息具体是指目标对象的标识信息，用于表征目标对象在待处理视频中的唯一性，而关键点数据与属性信息也具有关联关系，因此可以通过属性信息在关键点数据中读取到目标关键点数据，最后通过建立目标关键点数据与目标视频片段的关联关系，并基于关联关系对目标视频片段和目标关键点数据进行存储即可。
88.沿用上例，当得到150s的目标视频片段后，为了能够方便下游业务使用，此时可以基于目标视频片段中领舞者的属性信息，在骨架点数据中读取对应领舞者的骨架点数据，之后建立领舞者的骨架点数据与目标视频片段的对应关系，之后存储到业务数据库即可，以方便下游业务使用。
89.综上，通过以属性信息筛选出对应目标视频片段中目标对象的目标关键点数据，可以保证留存能够对其他用户动作进行打分的关键点数据，以方便下游业务进行使用。
90.此外，在下游业务的应用阶段，如果其他用户浏览目标视频片段学习目标对象的动作时，为了能够告知用户的学习情况，可以通过打分的方式辅助完成，本实施例中，具体
实现方式如下：
91.采集所述目标视频片段关联的对象动作；确定所述对象动作对应的对象关键点数据，并根据所述关联关系读取所述目标关键点数据；基于所述目标关键点数据和所述对象关键点数据，计算所述对象动作与所述目标视频片段中所述目标对象的基准动作的动作相似度；根据所述动作相似度确定所述对象动作的动作分值。
92.具体的，对象动作具体是指学习目标视频片段的用户被采集的动作；相应的，对象关键点数据具体是指对象动作在每一帧对应的骨架点位置数据；相应的，动作相似度具体是指对象动作与目标视频片段中的基准动作之间的相似度，该相似度可以是每一帧动作相似度的平均值；相应的，动作分值具体是指表征对象动作学习准确度的分值，动作分值越高，表征对象动作与基准动作的相似程度越高，说明用户动作越标准。
93.基于此，当采集到其他用户按照目标视频片段学习基准动作后，将采集到用户对应的对象动作；可以先确定对象动作对应的对象关键点数据，再根据预先建立的关联关系读取目标视频片段对应的目标关键点数据，之后基于目标关键点数据和对象关键点数据，计算对象动作与目标视频片段中所目标对象的基准动作的动作相似度；以通过动作相似度表征用户的学习情况，最后再根据动作相似度确定对象动作的动作分值，并向用户进行反馈，即可实现告知用户动作学习情况。
94.综上，通过采用计算动作分值的方式辅助用户学习目标视频片段中的基准动作，能够使得用户更加直观的了解到动作学习情况，以方便用户做出准确的调整，同时能够提高用户的参与积极性。
95.本实施例提供的视频处理方法，在获取到待处理视频及其对应的关键点数据后，为了能够快速且高效的完成关键点数据的提取和存储，可以在处理过程中，先根据关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到符合当前业务场景的初始视频片段，之后定位初始视频片段中的目标对象，并根据目标对象将初始视频片段更新为目标视频片段，最后在关键点数据中提取目标对象关联的目标关键点数据，通过建立目标关键点数据和目标视频片段的关联关系并存储；实现了快速且高效的完成视频处理，且删除了视频中冗余的特征信息，保证目标关键点数据与目标视频片段中目标对象的关联性强度，以方便下游业务在不作任何处理的情况下，即可直接进行复用，有效的降低了视频处理过程中时间成本的消耗。
96.下述结合附图4，以本说明书提供的视频处理方法在武术视频处理场景中的应用为例，对所述视频处理方法进行进一步说明。其中，图4示出了本说明书一实施例提供的一种视频处理方法的处理流程图，具体包括以下步骤：
97.步骤s402，获取待处理视频，并构建待处理视频对应的待处理视频帧序列。
98.步骤s404，通过预设的关键点识别算法，对待处理视频帧序列中包含的待处理视频帧分别进行处理，获得每个待处理视频帧对应的子关键点数据。
99.步骤s406，对每个待处理视频帧对应的子关键点数据进行整合，获得待处理视频对应的关键点数据。
100.步骤s408，根据关键点数据，对待处理视频帧序列中包含的待处理视频帧分别进行区域切分处理，获得第一视频帧组成的第一视频帧序列。
101.步骤s410，根据视频帧处理策略确定关键帧筛选信息。
102.步骤s412，利用关键帧筛选信息对第一视频帧序列进行处理，获得第二视频帧序列。
103.步骤s414，构建第二视频帧序列中包含的第二视频帧对应的直方图，并计算第二视频帧序列中相邻第二视频帧对应的直方图之间的图距离。
104.步骤s416，根据图距离确定第二视频帧序列中相邻第二视频帧之间的相似度，并选择小于相似度阈值的相似度作为切分相似度。
105.步骤s418，确定切分相似度对应的目标第二视频帧，并基于目标第二视频帧对第二视频帧序列进行切分，获得初始视频帧序列。
106.步骤s420，确定初始视频帧序列包含的每个初始视频帧中的目标对象。
107.步骤s422，在初始视频帧序列包含的初始视频帧中针对目标对象添加对象框，根据对象框添加结果生成中间视频帧组成的中间视频帧序列。
108.步骤s424，对中间视频帧序列包含的中间视频帧中的对象框进行更新，根据更新结果生成目标视频帧组成的目标视频帧序列。
109.步骤s426，基于目标视频帧序列生成目标视频片段。
110.步骤s428，确定目标对象对应的属性信息，基于属性信息在关键点数据中提取目标关键点数据。
111.步骤s430，建立目标关键点数据与目标视频片段的关联关系，并基于关联关系对目标视频片段和目标关键点数据进行存储。
112.在应用阶段，可以采集目标视频片段关联的对象动作；确定对象动作对应的对象关键点数据，并根据关联关系读取目标关键点数据；基于目标关键点数据和对象关键点数据，计算对象动作与目标视频片段中目标对象的基准动作的动作相似度；根据动作相似度确定对象动作的动作分值。
113.综上所述，在获取到待处理视频及其对应的关键点数据后，为了能够快速且高效的完成关键点数据的提取和存储，可以在处理过程中，先根据关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到符合当前业务场景的初始视频片段，之后定位初始视频片段中的目标对象，并根据目标对象将初始视频片段更新为目标视频片段，最后在关键点数据中提取目标对象关联的目标关键点数据，通过建立目标关键点数据和目标视频片段的关联关系并存储；实现了快速且高效的完成视频处理，且删除了视频中冗余的特征信息，保证目标关键点数据与目标视频片段中目标对象的关联性强度，以方便下游业务在不作任何处理的情况下，即可直接进行复用，有效的降低了视频处理过程中时间成本的消耗。
114.与上述方法实施例相对应，本说明书还提供了视频处理装置实施例，图5示出了本说明书一实施例提供的一种视频处理装置的结构示意图。如图5所示，该装置包括：
115.获取模块502，被配置为获取待处理视频以及所述待处理视频对应的关键点数据；
116.生成模块504，被配置为根据所述关键点数据对所述待处理视频进行标准化处理，根据标准化处理结果生成初始视频片段；
117.确定模块506，被配置为确定所述初始视频片段中包含的目标对象，并根据所述目标对象将所述初始视频片段更新为目标视频片段；
118.存储模块508，被配置为在所述关键点数据中提取所述目标对象关联的目标关键
点数据，并对具有关联关系的所述目标视频片段和所述目标关键点数据进行存储。
119.一个可选的实施例中，所述获取模块502进一步被配置为：
120.获取所述待处理视频，并构建所述待处理视频对应的待处理视频帧序列；通过预设的关键点识别算法，对所述待处理视频帧序列中包含的待处理视频帧分别进行处理，获得每个待处理视频帧对应的子关键点数据；对每个待处理视频帧对应的子关键点数据进行整合，获得所述待处理视频对应的所述关键点数据。
121.一个可选的实施例中，所述生成模块504进一步被配置为：
122.根据所述关键点数据，对所述待处理视频帧序列中包含的待处理视频帧分别进行区域切分处理，获得第一视频帧组成的第一视频帧序列；按照预设的视频帧处理策略对所述第一视频帧序列进行处理，获得初始视频帧序列；基于所述初始视频帧序列生成所述初始视频片段。
123.一个可选的实施例中，所述生成模块504进一步被配置为：
124.根据所述视频帧处理策略确定关键帧筛选信息；利用所述关键帧筛选信息对所述第一视频帧序列进行处理，获得第二视频帧序列；计算所述第二视频帧序列中相邻第二视频帧之间的相似度，根据相似度计算结果生成所述初始视频帧序列。
125.一个可选的实施例中，所述生成模块504进一步被配置为：
126.构建所述第二视频帧序列中包含的第二视频帧对应的直方图，并计算所述第二视频帧序列中相邻第二视频帧对应的直方图之间的图距离；根据所述图距离确定所述第二视频帧序列中相邻第二视频帧之间的相似度，并选择小于相似度阈值的相似度作为切分相似度；确定所述切分相似度对应的目标第二视频帧，并基于所述目标第二视频帧对所述第二视频帧序列进行切分，获得所述初始视频帧序列。
127.一个可选的实施例中，所述确定模块506进一步被配置为：
128.确定所述初始视频帧序列包含的每个初始视频帧中的所述目标对象；在所述初始视频帧序列包含的初始视频帧中针对所述目标对象添加对象框，根据对象框添加结果生成中间视频帧组成的中间视频帧序列；对所述中间视频帧序列包含的中间视频帧中的对象框进行更新，根据更新结果生成目标视频帧组成的目标视频帧序列；基于所述目标视频帧序列生成所述目标视频片段。
129.一个可选的实施例中，所述存储模块508进一步被配置为：
130.确定所述目标对象对应的属性信息，基于所述属性信息在所述关键点数据中提取所述目标关键点数据；建立所述目标关键点数据与所述目标视频片段的关联关系，并基于所述关联关系对所述目标视频片段和所述目标关键点数据进行存储。
131.一个可选的实施例中，所述视频处理装置，还包括：
132.打分模块，被配置为采集所述目标视频片段关联的对象动作；确定所述对象动作对应的对象关键点数据，并根据所述关联关系读取所述目标关键点数据；基于所述目标关键点数据和所述对象关键点数据，计算所述对象动作与所述目标视频片段中所述目标对象的基准动作的动作相似度；根据所述动作相似度确定所述对象动作的动作分值。
133.本实施例提供的视频处理装置，在获取到待处理视频及其对应的关键点数据后，为了能够快速且高效的完成关键点数据的提取和存储，可以在处理过程中，先根据关键点数据对待处理视频进行标准化处理，以根据标准化处理结果得到符合当前业务场景的初始
视频片段，之后定位初始视频片段中的目标对象，并根据目标对象将初始视频片段更新为目标视频片段，最后在关键点数据中提取目标对象关联的目标关键点数据，通过建立目标关键点数据和目标视频片段的关联关系并存储；实现了快速且高效的完成视频处理，且删除了视频中冗余的特征信息，保证目标关键点数据与目标视频片段中目标对象的关联性强度，以方便下游业务在不作任何处理的情况下，即可直接进行复用，有效的降低了视频处理过程中时间成本的消耗。
134.上述为本实施例的一种视频处理装置的示意性方案。需要说明的是，该视频处理装置的技术方案与上述的视频处理方法的技术方案属于同一构思，视频处理装置的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。
135.图6示出了根据本说明书一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
136.计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
137.在本说明书的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
138.计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备600还可以是移动式或静止式的服务器。其中，处理器620用于执行如下计算机可执行指令时实现视频处理方法的步骤。
139.上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的视频处理方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。
140.本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于视频处理方法的步骤。
141.上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的视频处理方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述视频处理方法的技术方案的描述。
142.上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可
以的或者可能是有利的。
143.所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
144.需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
145.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
146.以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。