视频动作检测方法、装置、电子设备及存储介质与流程

1.本技术涉及视频处理技术领域，具体涉及视频动作检测方法、装置、电子设备及存储介质。


背景技术：

2.随着互联网信息的爆炸式增长，视频逐渐成为互联网信息中重要的一部分，视频动作检测的目的主要是为了得到视频中动作的起始时间和结束时间，以及动作所属的类别等信息；视频动作检测技术的发展为视频内容理解、内容审核等业务带来了很大的帮助。
3.由于视频中动作的变换往往较为缓慢不明显，难以得到动作精确的起始时间和结束时间，导致视频动作检测精度不高，可靠性不强，因此，需要提供更加可靠的方案。


技术实现要素：

4.为了解决现有技术的问题，本技术提供了视频动作检测方法、装置、电子设备及存储介质。所述技术方案如下：
5.本技术一方面提供了一种视频动作检测方法，所述方法包括：
6.获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；
7.将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；
8.分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；
9.将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。
10.本技术另一方面提供了一种视频动作检测装置，所述装置包括：
11.原始特征序列获取模块，用于获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；
12.动作边界预测模块，用于将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；
13.边界增强模块，用于分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；
14.视频动作检测模块，用于将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。
15.本技术另一方面提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由上述处理器加载并执行以实现如上述的视频动作检测方法。
16.本技术另一方面提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上述的视频动作检测方法。
17.本技术提供的视频动作检测方法、装置、电子设备及存储介质，具有如下技术效果：
18.本技术通过获取目标视频的原始特征序列，该原始特征序列包括该目标视频中的每帧图像对应的原始特征；然后，将上述的原始特征序列输入动作边界预测模型进行动作边界预测，快速准确地得到上述每帧图像对应的动作边界预测值；接着，分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列；最后，将上述的边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作检测结果，上述的动作检测结果包括所述目标视频中动作的起止位置信息，有利于提升视频动作检测的精准性和可靠性。
19.本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
20.为了更清楚地说明本技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
21.图1是本技术实施例提供的一种应用环境的示意图；
22.图2是本技术实施例提供的一种视频动作检测方法的流程示意图；
23.图3是本技术实施例提供的另一种视频动作检测方法的流程示意图；
24.图4是本技术实施例提供的另一种视频动作检测方法的流程示意图；
25.图5是本技术实施例提供的另一种视频动作检测方法的流程示意图；
26.图6是本技术实施例提供的另一种视频动作检测方法的流程示意图；
27.图7是本技术实施例提供的另一种视频动作检测方法的流程示意图；
28.图8是本技术实施例提供的另一种视频动作检测方法的流程示意图；
29.图9是本技术实施例提供的另一种视频动作检测方法的流程示意图；
30.图10是本技术实施例提供的一种视频动作检测装置示意图；
31.图11是本技术实施例提供的一种用于实现视频动作检测方法的服务器的硬件结构框图。
具体实施方式
32.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。
33.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
34.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
35.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
36.机器学习(machine learning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
37.本技术实施例提供的方案涉及人工智能的机器学习等技术，具体通过如下实施例进行说明。
38.请参阅图1，图1是本技术提供的一种应用环境示意图，如图1所示，该应用环境可以包括服务器01和客户端02。
39.在本技术实施例中，服务器01可以用于获取目标视频的原始特征序列，然后将上述原始特征序列输入动作边界预测模型进行动作边界预测，以及对目标视频中每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列；还可以将这个边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作检测结果，可以将动作检测结果发送至客户端02进行展示。可选的，服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn(content delivery network内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
40.在本技术实施例中，客户端02可以接收服务器01发送的目标视频的动作检测结果并展示。可选的，客户端02可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，ar)/虚拟现实(virtual reality，vr)设备、智能可穿戴设备等类型的电子设备。可选的，电子设备上运行的操作系统可以包
括但不限于安卓系统、ios系统、linux、windows等。
41.在本技术实施例中，上述的服务器01以及客户端02可以通过有线或无线通信方式进行直接或间接地连接，本技术在此不做限制。
42.图2是本技术实施例提供的一种视频动作检测方法的流程图，本技术提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。具体的如图2所示，所述方法可以包括：
43.s201：获取目标视频的原始特征序列。
44.在本技术实施例中，上述的目标视频可以表征需要进行动作检测的视频，例如用户在用户端上传的视频、从互联网下载的视频等。具体地，该目标视频的原始特征序列可以包括该目标视频中的每帧图像对应的原始特征；其中，上述的原始特征可以为一个用于描述该帧图像的多维特征向量。
45.在本技术实施例中，请参照图3，上述的获取目标视频的原始特征序列可以包括：
46.s301：获取该目标视频对应的帧图像序列。
47.具体地，该目标视频对应的帧图像序列可以包括多个按序排列的帧图像；在实际应用中，每个视频可以理解为一段连续的图像变化，帧是影像动画中最小单位的单幅影像画面，每个视频可以由一组连续的帧图像组成。具体地，请参照图4，上述的获取该目标视频对应的帧图像序列可以包括：
48.s401：获取该目标视频的原始视频数据。
49.具体地，该目标视频的原始视频数据可以为一段连续的影像动画，可以获取用户上传的原始视频数据，或从互联网下载得到目标视频的原始视频数据。
50.s403：对上述的原始视频数据进行拆分处理，得到该目标视频对应的帧图像序列。
51.在本技术实施例中，可以在获取该目标视频的原始视频数据之后对上述的原始视频数据进行拆分处理，得到该目标视频对应的帧图像序列(该帧图像序列中的各帧图像按照视频播放时间顺序排列)，并存储于预设区域以供调用。
52.通过获取该目标视频的原始视频数据并对原始视频数据进行拆分处理，得到该目标视频对应的帧图像序列，有利于后续对每帧图像进行特征提取和处理，提升数据处理的灵活性。
53.s303：将上述的帧图像序列输入特征提取模型，基于该特征提取模型依次对上述的帧图像序列中的每帧图像进行特征提取，得到该目标视频的原始特征序列。
54.在本技术实施例中，该目标视频对应的帧图像序列可以包括多个按序排列的帧图像；将这个帧图像序列输入特征提取模型，可以基于该特征提取模型，按照上述帧图像序列中各帧图像的排列顺序依次对上述的帧图像序列中的每帧图像进行特征提取，得到上述每帧图像对应的原始特征，上述的帧图像序列中各帧图像对应的原始特征组成了该目标视频的原始特征序列，该目标视频的原始特征序列中的原始特征与该目标视频对应的帧图像序列中的帧图像一一对应。例如，得到的该目标视频的原始特征序列可以为{x1，x2，x3,
…
,x
n
}，其中，x
i
表示第i帧图像对应的原始特征，且x
i
∈r
d
(这个原始特征共有d个维度)，i∈1,
2,
…
,n(该目标视频共有n帧，即该目标视频的帧图像序列中共有n帧图像)。
55.具体地，该特征提取模型可以为预先根据大量样本视频的帧图像进行特征提取训练得到的；在实际应用中，该特征提取模型可以包括但不限于tsn(temporal segment networks时间分割网络)、tsm(temporal shift module时间转换网络)和slowfast网络(快慢通道网络)。
56.通过将上述的帧图像序列输入特征提取模型，基于该特征提取模型依次对上述的帧图像序列中的每帧图像进行特征提取，得到该目标视频的原始特征序列，有利于得到合理有序的特征序列，进而后续能够有序快捷地进行特征处理和视频动作检测。
57.在本技术实施例中，由于视频的帧图像一般都是缓慢变化(且背景内容通常保持不变)，相邻的帧图像对应的特征也会较为相似，不利于后续的视频动作检测(例如确定动作的起始位置和结束位置)，因此有必要对目标视频的原始特征序列进行进一步处理。
58.s203：将上述的原始特征序列输入动作边界预测模型进行动作边界预测，得到上述每帧图像对应的动作边界预测值。
59.具体地，上述的动作边界预测值可以表征该帧图像的边界相关性信息，在一个具体的实施例中，上述的动作边界预测值可以包括动作起始预测值和动作结束预测值，其中，动作起始预测值标识该帧图像属于动作起始的得分(得分越高可以表示属于动作起始位置的可能性越高，或与动作起始位置的距离越小)，动作结束预测值表示该帧图像属于动作结束的得分(得分越高可以表示属于动作结束位置的可能性越高，或与动作结束位置的距离越小)。
60.在本技术实施例中，将上述的原始特征序列输入动作边界预测模型进行动作边界预测，得到上述每帧图像对应的动作边界预测值可以用如下公式表示：
61.score
i(start)
＝cnn(x
i
)
62.score
i(end)
＝cnn(x
i
)
63.其中，cnn表示动作边界预测模型，x
i
表示第i帧图像对应的原始特征，score
i(start)
表示第i帧图像对应的动作起始预测值(第i帧图像属于动作起始的得分)，score
i(end)
表示第i帧图像对应的动作结束预测值(第i帧图像属于动作结束的得分)。
64.具体地，该动作边界预测模型可以为预先根据多个标注有动作边界标签的样本帧图像对应的原始特征进行动作边界预测训练得到的；在实际应用中，该动作边界预测模型可以包括但不限于cnn(convolutional neural networks卷积神经网络)和fcn(fully convolutional networks全卷积网络)等可以完成二分类任务的神经网络模型。
65.由于视频中动作往往变换较为缓慢不明显，若在得到原始特征序列后直接利用原始特征序列进行视频动作检测，会导致视频动作检测的可靠性不强；通过将上述的原始特征序列输入动作边界预测模型进行动作边界预测，得到上述每帧图像对应的动作边界预测值，能够快速准确地得到每帧图像的边界相关性信息，进而能够利用每帧图像对应的动作边界预测值对该帧图像的原始特征进行处理，有利于提升图像特征的动作边界敏感性，进而有利于提升后续视频动作检测的可靠性。
66.在一个实施例中，请参照图5，上述的动作边界预测模型训练过程可以包括：
67.s501：获取多个标注有动作边界标签的样本帧图像对应的原始特征。
68.具体地，上述的动作边界标签可以包括动作起始标签(y
s
)和动作结束标签(y
e
)；其
中，y
s
＝1表示该样本帧图像属于动作起始位置区，y
e
＝1表示该样本帧图像属于动作结束位置区，y
s
＝0且y
e
＝0表示该样本帧图像既不属于动作起始位置区，也不属于动作结束位置区。
69.通过获取多个标注有动作边界标签的样本帧图像对应的原始特征，可以利用大量样本数据充分训练动作边界预测模型，提升得到的动作边界预测模型的性能，进而提升动作边界预测的可靠性。
70.在一个实施例中，请参照图6，上述的获取多个标注有动作边界标签的样本帧图像对应的原始特征可以包括：
71.s601：获取多个标注有动作起止位置信息的样本帧图像序列。
72.在本技术实施例中，每个样本帧图像序列的动作起止位置信息可以表征该样本帧图像序列中动作发生的起止时间信息，在一个具体的实施例中，每个样本帧图像序列的动作起止位置信息可以包括该样本帧图像序列中的动作起始位置和动作结束位置(单位为帧，动作在哪一帧开始以及动作在哪一帧结束)，在实际应用中，上述的动作起止位置信息可以用(s,e)表示，其中，s表示该样本帧图像序列中的动作起始位置(动作在第s帧开始)，e表示该样本帧图像序列中的动作结束位置(动作在第e帧结束)。
73.s603：根据上述的动作起止位置信息对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签。
74.具体地，请参照图7，上述的根据上述的动作起止位置信息对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签可以包括：
75.s701：分别计算上述样本帧图像序列中的每个样本帧图像与上述的动作起始位置之间的第一距离。
76.在本技术实施例中，例如，上述样本帧图像序列共包括10帧，上述的动作起始位置(s)为2，即动作在第2帧开始，则可以分别计算上述样本帧图像序列中的每个样本帧图像与上述的动作起始位置之间的第一距离，例如，此时第1帧与上述的动作起始位置之间的第一距离为1帧，第6帧与上述的动作起始位置之间的第一距离为4帧。
77.s703：分别根据上述的第一距离对上述每个样本帧图像进行动作起始标注，得到上述每个样本帧图像的动作起始标签。
78.在一个具体的实施例中，上述的分别根据上述的第一距离对上述每个样本帧图像进行动作起始标注，得到上述每个样本帧图像的动作起始标签可以包括：当确定上述的第一距离小于第一预设阈值时，将该样本帧图像标注为属于动作起始位置区(即标注y
s
＝1)，当确定上述的第一距离大于或等于第一预设阈值时，将该样本帧图像标注为不属于动作起始位置区(即标注y
s
＝0)；其中，上述的第一预设阈值可以结合实际应用需求进行设置，在实际应用中，上述的第一预设阈值可以为3帧。
79.s705：分别计算上述样本帧图像序列中的每个样本帧图像与上述的动作结束位置之间的第二距离。
80.在本技术实施例中，例如，上述样本帧图像序列共包括10帧，上述的动作结束位置(e)为5，即动作在第5帧结束，则可以分别计算上述样本帧图像序列中的每个样本帧图像与上述的动作结束位置之间的第二距离，例如，此时第6帧与上述的动作结束位置之间的第二
距离为1帧，第9帧与上述的动作结束位置之间的第二距离为4帧。
81.s707：分别根据上述的第二距离对上述每个样本帧图像进行动作结束标注，得到上述每个样本帧图像的动作结束标签。
82.在一个具体的实施例中，上述的分别根据上述的第二距离对上述每个样本帧图像进行动作结束标注，得到上述每个样本帧图像的动作结束标签可以包括：当确定上述的第二距离小于第二预设阈值时，将该样本帧图像标注为属于动作结束位置区(即标注y
e
＝1)，当确定上述的第二距离大于或等于第二预设阈值时，将该样本帧图像标注为不属于动作结束位置区(即标注y
e
＝0)；其中，上述的第二预设阈值可以结合实际应用需求进行设置，在实际应用中，上述的第二预设阈值也可以为3帧。
83.s709：将上述每个样本帧图像的动作起始标签和动作结束标签作为上述每个样本帧图像的动作边界标签。
84.在本技术实施例中，可以将上述每个样本帧图像的动作起始标签和动作结束标签作为上述每个样本帧图像的动作边界标签，即上述的动作边界标签包括y
s
和y
e
的标注值。以第1帧为例，此时第1帧的动作边界标签为y
s
＝1，y
e
＝0。
85.通过分别计算第一距离和第二距离，且分别根据第一距离对上述每个样本帧图像进行动作起始标注，分别根据第二距离对上述每个样本帧图像进行动作结束标注，得到上述每个样本帧图像的动作边界标签，有利于均衡样本集中不同标注结果的样本数量，提升动作边界预测模型训练的可靠性。
86.通过根据上述的动作起止位置信息对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签，能够准确高效地得到每个样本帧图像的动作边界标签，进而能够用于动作边界预测模型的训练。
87.s605：将每个标注有上述动作边界标签的样本帧图像输入特征提取模型，基于该特征提取模型对上述每个标注有上述动作边界标签的样本帧图像进行特征提取，得到上述的多个标注有动作边界标签的样本帧图像对应的原始特征。
88.具体地，该特征提取模型可以为预先根据大量样本视频的帧图像进行特征提取训练得到的；在实际应用中，该特征提取模型可以包括但不限于tsn(temporal segment networks，时间分割网络)、tsm(temporal shift module，时间转换网络)和slowfast网络(快慢通道网络)。
89.通过获取多个标注有动作起止位置信息的样本帧图像序列，根据上述的动作起止位置信息和预设标注规则对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签，然后将每个标注有上述动作边界标签的样本帧图像输入特征提取模型，基于该特征提取模型对上述每个标注有上述动作边界标签的样本帧图像进行特征提取，得到上述的多个标注有动作边界标签的样本帧图像对应的原始特征，能够得到大量可靠的样本数据进而后续充分训练动作边界预测模型，提升得到的动作边界预测模型的性能，进而提升动作边界预测的可靠性。
90.s503：基于上述多个标注有动作边界标签的样本帧图像对应的原始特征，对预设神经网络模型进行动作边界预测的训练，在动作边界预测的训练中调整该预设神经网络模型的模型参数直至该预设神经网络模型满足预设收敛条件，得到该动作边界预测模型。
91.在本技术实施例中，基于上述多个标注有动作边界标签的样本帧图像对应的原始
特征，对预设神经网络模型进行动作边界预测的训练即根据上述多个标注有动作边界标签的样本帧图像对应的原始特征进行两个并行的二分类任务的训练，一个需要输出样本帧图像对应的动作起始预测值(样本帧图像属于动作起始的得分，score
start
)，另一个需要输出样本帧图像对应的动作结束预测值(样本帧图像属于动作结束的得分，score
end
)。
92.在本技术实施例中，可以利用预设损失函数对预设神经网络模型进行动作边界预测的训练，具体地，该预设损失函数可以包括但不限于交叉熵损失函数，当该预设损失函数为交叉熵损失函数时，损失值的计算具体可以参见如下公式：
93.l
start
＝y
s
log(σ(score
start
)) (1
‑
y
s
)log(1
‑
σ(score
start
))
94.l
end
＝y
e
log(σ(score
end
)) (1
‑
y
e
)log(1
‑
σ(score
end
))
95.其中，l
start
表示计算样本帧图像对应的动作起始预测值的损失值，l
end
表示计算样本帧图像对应的动作结束预测值的损失值，y
s
和y
e
表示动作边界标签(y
s
＝0或y
s
＝1，y
e
＝0或y
e
＝1)，σ表示sigmoid函数，sigmoid函数的计算原理如下式：
96.σ(x)＝exp(
‑
x)/1 exp(
‑
x)
97.在本技术实施例中，上述的预设收敛条件可以包括模型迭代次数达到预设次数，其中，该预设次数可以结合实际应用需求进行设定；或；上述的预设收敛条件还可以包括该预设损失函数的损失值小于或等于预设损失值(例如上述的l
start
和l
end
都小于或等于预设损失值)，该预设损失值可以结合实际测试结果和应用需求进行设定。
98.具体地，该预设神经网络模型可以包括但不限于cnn(convolutional neural networks卷积神经网络)和fcn(fully convolutional networks全卷积网络)等能够完成二分类任务的神经网络模型。
99.通过基于上述多个标注有动作边界标签的样本帧图像对应的原始特征，对预设神经网络模型进行动作边界预测的训练，在动作边界预测的训练中调整该预设神经网络模型的模型参数直至该预设神经网络模型满足预设收敛条件，能够快速可靠得到动作边界预测模型，进而提升动作边界预测的可靠性。
100.s205：分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列。
101.在本技术实施例中，可以分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理(例如，基于第i帧图像对应的动作边界预测值对第i帧图像对应的原始特征进行边界增强处理)，得到该目标视频的边界增强特征序列；其中，该边界增强特征序列包括多个按序排列的边界增强特征(与目标视频的原始特征序列中的原始特征排列顺序一致，即与该目标视频对应的帧图像序列中的帧图像排列顺序一致)，且该边界增强特征序列中的边界增强特征与该目标视频的原始特征序列中的原始特征一一对应。
102.具体地，上述每帧图像对应的动作边界预测值可以包括上述每帧图像对应的动作起始预测值和动作结束预测值；
103.在本技术实施例中，请参照图8，上述的分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列可以包括：
104.s801：分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每
帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征。
105.具体地，请参照图9，上述的分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征可以包括：
106.s901：基于上述每帧图像对应的动作起始预测值对上述每帧图像对应的原始特征进行加权计算，得到第一加权特征。
107.在本技术实施例中，将该目标视频的原始特征序列输入上述的动作边界预测模型进行动作边界预测后，能够得到上述每帧图像对应的动作边界预测值(具体包括动作起始预测值和动作结束预测值)，然后可以根据上述每帧图像对应的动作起始预测值对该帧图像对应的原始特征进行加权计算，得到第一加权特征，具体可以参见如下公式：
108.x
i1
＝score
i(start)
*x
i
109.其中，x
i1
表示第i帧图像的第一加权特征，score
i(start)
表示第i帧图像对应的动作起始预测值，x
i
表示第i帧图像对应的原始特征。
110.通过基于上述每帧图像对应的动作起始预测值对上述每帧图像对应的原始特征进行加权计算，得到第一加权特征，有利于提升图像特征的动作起始敏感性，增强动作起始位置处的特征与其他位置特征的区分度。
111.s903：基于上述每帧图像对应的动作结束预测值对上述每帧图像对应的原始特征进行加权计算，得到第二加权特征。
112.在本技术实施例中，可以根据上述每帧图像对应的动作结束预测值对该帧图像对应的原始特征进行加权计算，得到第二加权特征，具体可以参见如下公式：
113.x
i2
＝score
i(end)
*x
i
114.其中，x
i2
表示第i帧图像的第二加权特征，score
i(end)
表示第i帧图像对应的动作结束预测值，x
i
表示第i帧图像对应的原始特征。
115.通过基于上述每帧图像对应的动作结束预测值对上述每帧图像对应的原始特征进行加权计算，得到第二加权特征，有利于提升图像特征的动作结束敏感性，增强动作结束位置处的特征与其他位置特征的区分度。
116.s905：对上述的第一加权特征和上述的第二加权特征进行拼接处理，得到上述每帧图像对应的边界增强特征。
117.在本技术实施例中，在得到上述的第一加权特征和上述的第二加权特征后，可以对上述的第一加权特征和上述的第二加权特征进行拼接处理(将上述的第一加权特征和上述的第二加权特征的维度进行拼接)，得到上述每帧图像对应的边界增强特征，具体可以参见如下公式：
118.x
i(new)
＝[x
i1
；x
i2
]
[0119]
其中，x
i(new)
表示第i帧图像对应的边界增强特征，x
i1
表示第i帧图像的第一加权特征，x
i2
表示第i帧图像的第二加权特征；假设这个原始特征x
i
共有d个维度，则拼接后得到的边界增强特征x
i(new)
共有2d个维度(原始特征维度的两倍)。
[0120]
通过对上述的第一加权特征和上述的第二加权特征进行拼接处理，得到上述每帧图像对应的边界增强特征，能够结合特征的动作起始敏感性和动作结束敏感性，增强动作边界处的特征与其他位置特征的区分度，进而有利于提升视频动作检测的精准性。
[0121]
通过分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征，有利于综合动作起始预测值和动作结束预测值两者全面地对原始特征进行边界增强处理，有利于提升图像特征的动作边界敏感性，增强动作边界处的特征与其他位置特征的区分度，进而有利于提升视频动作检测的精准性。
[0122]
s803：基于该目标视频中的每帧图像对应的边界增强特征生成该目标视频的边界增强特征序列。
[0123]
在本技术实施例中，该目标视频的原始特征序列可以表示为{x1,x2,x3,
…
,x
n
}，其中，x
i
表示第i帧图像对应的原始特征，i∈1,2,
…
,n；分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，可以得到上述每帧图像对应的边界增强特征，然后可以根据该目标视频中的每帧图像对应的边界增强特征生成该目标视频的边界增强特征序列，该边界增强特征序列可以表示为{x
1(new)
,x
2(new)
，x
3(new)
,
…
,x
n(new)
}，其中，x
i(new)
表示第i帧图像对应的边界增强特征，i∈1,2,
…
,n。
[0124]
通过分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征，然后基于该目标视频中的每帧图像对应的边界增强特征生成该目标视频的边界增强特征序列，能够增强目标视频的帧图像中动作边界处的特征与其他位置特征的区分度，进而有利于提升视频动作检测的精准性。
[0125]
s207：将上述的边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作检测结果。
[0126]
在一个实施例中，上述的动作检测结果可以包括该目标视频中动作的起止位置信息和类型信息。具体地，该目标视频中动作的起止位置信息具体可以包括动作开始的时间点(动作在哪一帧开始)和动作结束的时间点(动作在哪一帧结束)，该目标视频中动作的类型信息可以包括检测的动作所属的类别，例如体育运动(跑步、打篮球等)。
[0127]
具体地，该视频动作检测模型可以包括动作位置检测子模型和动作类型检测子模型，上述的将上述的边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作检测结果可以包括：
[0128]
将上述的边界增强特征序列分别作为该动作位置检测子模型和该动作类型检测子模型的输入，在该动作位置检测子模型中进行动作起止位置检测，并在该动作类型检测子模型中进行动作类型检测，得到该目标视频中动作的起止位置信息和类型信息。
[0129]
在本技术实施例中，该视频动作检测模型可以包括动作位置检测子模型和动作类型检测子模型，将上述的边界增强特征序列输入视频动作检测模型之后，该视频动作检测模型相当于利用动作位置检测子模型和动作类型检测子模型同步开始进行两个任务分支：动作起止位置检测和动作类型检测，有利于快速准确地得到该目标视频的动作检测结果。
[0130]
在本技术实施例中，将上述的边界增强特征序列分别作为该动作位置检测子模型和该动作类型检测子模型的输入，在该动作位置检测子模型中进行动作起止位置检测，并在该动作类型检测子模型中进行动作类型检测，得到该目标视频中动作的起止位置信息和类型信息具体可以包括：
[0131]
1)将该边界增强特征序列作为所述动作位置检测子模型的输入，根据所述动作位
置检测子模型确定所述每帧图像对应的动作起止位置信息。
[0132]
在本技术实施例中，可以在每一帧进行动作起止位置信息的检测，得到每帧图像对应的动作起止位置信息，该动作起止位置信息可以表征在该帧进行动作起止位置检测得到的目标视频中的动作起始位置和动作结束位置，进而得到一个动作检测框。例如，这个动作检测框可以为[2,5](动作起始位置为第2帧，动作结束位置为第5帧)。
[0133]
2)将所述边界增强特征序列作为所述动作类型检测子模型的输入，根据所述动作类型检测子模型确定所述每帧图像对应的动作类型信息。
[0134]
在本技术实施例中，可以同步在每一帧进行动作类型的检测，得到每帧图像对应的动作类型信息，该动作类型信息可以表征在该帧进行动作类型检测得到的目标视频中动作的类型和概率。例如，这个动作类型信息可以为，跳高，概率为88％。
[0135]
3)根据上述每帧图像对应的动作位置信息和动作类型信息确定该目标视频中动作的起止位置信息和类型信息。
[0136]
具体地，上述的根据上述每帧图像对应的动作位置信息和动作类型信息确定该目标视频中动作的起止位置信息和类型信息可以包括：
[0137]
根据上述每帧图像对应的动作位置信息和动作类型信息进行冗余信息的剔除，得到该目标视频中动作的起止位置信息和类型信息。
[0138]
在本技术实施例中，上述的根据上述每帧图像对应的动作位置信息和动作类型信息进行冗余信息的剔除具体可以包括：当任意两帧图像对应的动作位置信息的重合度大于或等于第三预设阈值时，确定这两帧图像对应的类型信息(包括动作类型和概率)，将概率较小的帧图像对应的信息剔除。例如，第1帧对应得到的动作检测框为[1.8,4.9]，第2帧对应得到的动作检测框为[2,5.1]，且确定第1帧对应得到的动作类型为a，概率为88％，第2帧对应得到的动作类型为a，概率为90％，则此时可以剔除第1帧对应的动作位置信息和类型信息，仅保留第2帧对应的动作位置信息和类型信息，以此类推。
[0139]
通过将该边界增强特征序列作为所述动作位置检测子模型的输入，根据所述动作位置检测子模型确定所述每帧图像对应的动作起止位置信息，将所述边界增强特征序列作为所述动作类型检测子模型的输入，根据所述动作类型检测子模型确定所述每帧图像对应的动作类型信息，然后根据上述每帧图像对应的动作位置信息和动作类型信息确定该目标视频中动作的起止位置信息和类型信息，有利于提升视频动作检测的可靠性。
[0140]
通过对目标视频中每帧图像本身的原始特征进行边界增强处理，提升帧图像特征的动作边界敏感性，降低视频图像变换缓慢不明显，相邻帧图像间特征较为相似给视频动作检测带来的负面影响，使得在利用边界增强特征序列输入视频动作检测模型进行视频动作检测时能够快速准确地检测动作的起止位置和识别动作类型，有利于提升视频动作检测模型的性能，进而提升视频动作检测的精准性。
[0141]
由以上本技术实施例提供的技术方案可见，本技术实施例通过获取目标视频的原始特征序列，该原始特征序列包括该目标视频中的每帧图像对应的原始特征；然后，将上述的原始特征序列输入动作边界预测模型进行动作边界预测，快速准确地得到上述每帧图像对应的动作边界预测值；接着，分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列；最后，将上述的边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作
检测结果，有利于提升视频动作检测的精准性和可靠性。通过获取多个标注有动作起止位置信息的样本帧图像序列，根据上述的动作起止位置信息和预设标注规则对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签，然后将每个标注有上述动作边界标签的样本帧图像输入特征提取模型，基于该特征提取模型对上述每个标注有上述动作边界标签的样本帧图像进行特征提取，得到上述的多个标注有动作边界标签的样本帧图像对应的原始特征，能够得到大量可靠的样本数据进而后续充分训练动作边界预测模型，提升得到的动作边界预测模型的性能，进而提升动作边界预测的可靠性。通过分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征，有利于综合动作起始预测值和动作结束预测值两者全面地对原始特征进行边界增强处理，有利于提升图像特征的动作边界敏感性，增强动作边界处的特征与其他位置特征的区分度，进而有利于提升视频动作检测的精准性。通过对目标视频中每帧图像本身的原始特征进行边界增强处理，提升帧图像特征的动作边界敏感性，降低视频图像变换缓慢不明显，相邻帧图像间特征较为相似给视频动作检测带来的负面影响，使得在利用边界增强特征序列输入视频动作检测模型进行视频动作检测时能够快速准确地检测动作的起止位置和识别动作类型，有利于提升视频动作检测模型的性能，进而提升视频动作检测的精准性。
[0142]
本技术实施例还提供了一种视频动作检测装置1000，如图10所示，所述装置可以包括：
[0143]
原始特征序列获取模块1010，用于获取目标视频的原始特征序列，所述原始特征序列包括所述目标视频中的每帧图像对应的原始特征；
[0144]
动作边界预测模块1020，用于将所述原始特征序列输入动作边界预测模型进行动作边界预测，得到所述每帧图像对应的动作边界预测值；
[0145]
边界增强模块1030，用于分别基于所述每帧图像对应的动作边界预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述目标视频的边界增强特征序列；
[0146]
视频动作检测模块1040，用于将所述边界增强特征序列输入视频动作检测模型进行视频动作检测，得到所述目标视频的动作检测结果，所述动作检测结果包括所述目标视频中动作的起止位置信息。
[0147]
在一个实施例中，所述动作检测结果还包括所述目标视频中动作的类型信息；所述视频动作检测模型包括动作位置检测子模型和动作类型检测子模型；所述视频动作检测模块1040可以包括：
[0148]
动作检测单元，用于将所述边界增强特征序列分别作为所述动作位置检测子模型和所述动作类型检测子模型的输入，在所述动作位置检测子模型中进行动作起止位置检测，并在所述动作类型检测子模型中进行动作类型检测，得到所述目标视频中动作的起止位置信息和类型信息。
[0149]
在一个实施例中，所述每帧图像对应的动作边界预测值包括所述每帧图像对应的动作起始预测值和动作结束预测值，上述的边界增强模块1030可以包括：
[0150]
特征增强单元，用于分别基于所述每帧图像对应的动作起始预测值和动作结束预测值对所述每帧图像对应的原始特征进行边界增强处理，得到所述每帧图像对应的边界增强特征；
[0151]
增强特征序列生成单元，用于基于所述目标视频中的每帧图像对应的边界增强特征生成所述目标视频的边界增强特征序列。
[0152]
在本技术实施例中，上述的特征增强单元可以包括：
[0153]
第一加权计算单元，用于基于所述每帧图像对应的动作起始预测值对所述每帧图像对应的原始特征进行加权计算，得到第一加权特征；
[0154]
第二加权计算单元，用于基于所述每帧图像对应的动作结束预测值对所述每帧图像对应的原始特征进行加权计算，得到第二加权特征；
[0155]
特征拼接单元，用于对所述第一加权特征和所述第二加权特征进行拼接处理，得到所述每帧图像对应的边界增强特征。
[0156]
在本技术实施例中，上述装置还可以包括：
[0157]
样本获取模块，用于获取多个标注有动作边界标签的样本帧图像对应的原始特征；
[0158]
动作边界预测模型模块，用于基于所述多个标注有动作边界标签的样本帧图像对应的原始特征，对预设神经网络模型进行动作边界预测的训练，在动作边界预测的训练中调整所述预设神经网络模型的模型参数直至所述预设神经网络模型满足预设收敛条件，得到所述动作边界预测模型。
[0159]
在一个实施例中，上述的样本获取模块可以包括：
[0160]
样本帧图像序列获取单元，用于获取多个标注有动作起止位置信息的样本帧图像序列；
[0161]
动作边界标签标注单元，用于根据所述动作起止位置信息和预设标注规则对所述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到所述每个样本帧图像的动作边界标签；
[0162]
特征提取单元，用于将每个标注有所述动作边界标签的样本帧图像输入特征提取模型，基于所述特征提取模型对所述每个标注有所述动作边界标签的样本帧图像进行特征提取，得到所述多个标注有动作边界标签的样本帧图像对应的原始特征。
[0163]
具体地，所述动作起止位置信息包括所述样本帧图像序列中的动作起始位置和所述样本帧图像序列中的动作结束位置；上述的动作边界标签标注单元可以包括：
[0164]
第一距离确定单元，用于分别计算所述样本帧图像序列中的每个样本帧图像与所述动作起始位置之间的第一距离；
[0165]
动作起始标注单元，用于分别根据所述第一距离对所述每个样本帧图像进行动作起始标注，得到所述每个样本帧图像的动作起始标签；
[0166]
第二距离确定单元，用于分别计算所述样本帧图像序列中的每个样本帧图像与所述动作结束位置之间的第二距离；
[0167]
动作结束标注单元，用于分别根据所述第二距离对所述每个样本帧图像进行动作结束标注，得到所述每个样本帧图像的动作结束标签；
[0168]
动作边界标签确定单元，用于将所述每个样本帧图像的动作起始标签和所述每个样本帧图像的动作结束标签作为所述每个样本帧图像的动作边界标签。
[0169]
所述的装置实施例中的装置与方法实施例基于同样地申请构思。
[0170]
本技术实施例提供了一种电子设备，该电子设备包括处理器和存储器，该存储器
中存储有至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现如上述方法实施例所提供的视频动作检测方法。
[0171]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、功能所需的应用程序等；存储数据区可存储根据所述设备的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器还可以包括存储器控制器，以提供处理器对存储器的访问。
[0172]
本技术实施例所提供的方法实施例可以在移动终端、计算机终端、服务器或者类似的运算装置中执行，即上述计算机设备可以包括移动终端、计算机终端、服务器或者类似的运算装置。其中，上述的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。以运行在服务器上为例，图11是本技术实施例提供的一种用于实现上述视频动作检测方法的服务器的硬件结构框图。如图11所示，该服务器1100可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，cpu)1110(处理器1110可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器1130，一个或一个以上存储应用程序1123或数据1122的存储介质1120(例如一个或一个以上海量存储设备)。其中，存储器1130和存储介质1120可以是短暂存储或持久存储。存储在存储介质1120的程序可以包括一个或一个以上模块，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1110可以设置为与存储介质1120通信，在服务器1100上执行存储介质1120中的一系列指令操作。服务器1100还可以包括一个或一个以上电源1160，一个或一个以上有线或无线网络接口1150，一个或一个以上输入输出接口1140，和/或，一个或一个以上操作系统1121，例如windows server
tm
，mac os x
tm
，unix
tm
,linux
tm
，freebsd
tm
等等。
[0173]
处理器1110可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
[0174]
输入输出接口1140可以用于经由一个网络接收或者发送数据。上述的网络具体实例可包括服务器1100的通信供应商提供的无线网络。在一个实例中，输入输出接口1140包括一个网络适配器(network interface controller，nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，输入输出接口1140可以为射频(radio frequency，rf)模块，其用于通过无线方式与互联网进行通讯。
[0175]
操作系统1121可以包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。
[0176]
本领域普通技术人员可以理解，图11所示的结构仅为示意，其并不对上述电子装置的结构造成限定。例如，服务器1100还可包括比图11中所示更多或者更少的组件，或者具
有与图11所示不同的配置。
[0177]
本技术的实施例还提供了一种计算机可读存储介质，所述存储介质可设置于服务器之中以保存用于实现方法实施例中一种视频动作检测方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述方法实施例提供的视频动作检测方法。
[0178]
可选地，在本实施例中，上述存储介质可以位于计算机网络的多个网络服务器中的至少一个网络服务器。可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0179]
本技术的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。
[0180]
由上述本技术提供的视频动作检测方法、装置、电子设备或存储介质的实施例可见，本技术中通过获取目标视频的原始特征序列，该原始特征序列包括该目标视频中的每帧图像对应的原始特征；然后，将上述的原始特征序列输入动作边界预测模型进行动作边界预测，快速准确地得到上述每帧图像对应的动作边界预测值；接着，分别基于上述每帧图像对应的动作边界预测值对上述每帧图像对应的原始特征进行边界增强处理，得到该目标视频的边界增强特征序列；最后，将上述的边界增强特征序列输入视频动作检测模型进行视频动作检测，得到该目标视频的动作检测结果，有利于提升视频动作检测的精准性和可靠性。通过获取多个标注有动作起止位置信息的样本帧图像序列，根据上述的动作起止位置信息和预设标注规则对上述样本帧图像序列中的每个样本帧图像进行动作边界标注，得到上述每个样本帧图像的动作边界标签，然后将每个标注有上述动作边界标签的样本帧图像输入特征提取模型，基于该特征提取模型对上述每个标注有上述动作边界标签的样本帧图像进行特征提取，得到上述的多个标注有动作边界标签的样本帧图像对应的原始特征，能够得到大量可靠的样本数据进而后续充分训练动作边界预测模型，提升得到的动作边界预测模型的性能，进而提升动作边界预测的可靠性。通过分别基于上述每帧图像对应的动作起始预测值和动作结束预测值对上述每帧图像对应的原始特征进行边界增强处理，得到上述每帧图像对应的边界增强特征，有利于综合动作起始预测值和动作结束预测值两者全面地对原始特征进行边界增强处理，有利于提升图像特征的动作边界敏感性，增强动作边界处的特征与其他位置特征的区分度，进而有利于提升视频动作检测的精准性。通过对目标视频中每帧图像本身的原始特征进行边界增强处理，提升帧图像特征的动作边界敏感性，降低视频图像变换缓慢不明显，相邻帧图像间特征较为相似给视频动作检测带来的负面影响，使得在利用边界增强特征序列输入视频动作检测模型进行视频动作检测时能够快速准确地检测动作的起止位置和识别动作类型，有利于提升视频动作检测模型的性能，进而提升视频动作检测的精准性。
[0181]
需要说明的是：上述本技术实施例先后顺序仅仅为了描述，不代表实施例的优劣。且上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且
仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0182]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备和存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0183]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0184]
以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。