动作识别方法及装置与流程

1.本说明书涉及动作识别技术领域，特别涉及一种动作识别方法。本说明书同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质。


背景技术：

2.随着互联网技术的发展，动作识别技术在越来越多的场景中得以应用；如人机交互场景、监控场景或线上教育场景等，以通过识别出用户的动作后向其提供相应的业务服务。现有技术中，在对用户的动作进行识别时，大多数采用图像识别的方式完成，即通过采集包含待识别动作的图像，之后对图像进行处理得到动作类型；该方案虽然能够完成动作识别的需求，但是当缺少图像采集装置时，就无法实施该方案，且从图像处理维度出发将消耗较多的计算资源，因此亟需一种有效的方案以解决上述问题。


技术实现要素：

3.有鉴于此，本说明书实施例提供了一种动作识别方法。本说明书同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
4.根据本说明书实施例的第一方面，提供了一种动作识别方法，包括：
5.采集待识别动作对应的初始动作数据；
6.确定所述初始动作数据对应的特征值，根据所述特征值创建数据分割区间；
7.按照所述数据分割区间将所述初始动作数据处理为目标动作数据，并根据所述目标动作数据构建动作特征；
8.将所述动作特征输入至动作识别模型进行处理，获得所述待识别动作对应的动作信息。
9.根据本说明书实施例的第二方面，提供了一种动作识别装置，包括：
10.采集数据模块，被配置为采集待识别动作对应的初始动作数据；
11.创建区间模块，被配置为确定所述初始动作数据对应的特征值，根据所述特征值创建数据分割区间；
12.构建特征模块，被配置为按照所述数据分割区间将所述初始动作数据处理为目标动作数据，并根据所述目标动作数据构建动作特征；
13.模型处理模块，被配置为将所述动作特征输入至动作识别模型进行处理，获得所述待识别动作对应的动作信息。
14.根据本说明书实施例的第三方面，提供了一种计算设备，包括：
15.存储器和处理器；
16.所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令时实现所述动作识别方法的步骤。
17.根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计
算机可执行指令，该指令被处理器执行时实现所述动作识别方法的步骤。
18.本说明书提供的动作识别方法，在采集到待识别动作对应的初始动作数据后，为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，之后根据特征值创建对初始动作数据进行处理的数据分割区间；此时即可按照数据分割区间将初始动作数据处理为目标动作数据，再基于目标动作数据构建动作特征；最后将动作特征输入至预先训练完成的动作识别模型进行处理，即可获得动作识别模型输出的待识别动作对应的动作信息。实现在对待识别动作进行识别时，可以充分结合初始动作数据中的特征信息，从而使得模型可以精准的预测待识别动作的动作信息，有效的提高了动作识别的精准度。
附图说明
19.图1是本说明书一实施例提供的一种动作识别方法的示意图；
20.图2是本说明书一实施例提供的一种动作识别方法的流程图；
21.图3是本说明书一实施例提供的一种动作识别方法中关于峰值的示意图
22.图4是本说明书一实施例提供的一种动作识别方法的处理流程图；
23.图5是本说明书一实施例提供的一种动作识别装置的结构示意图；
24.图6是本说明书一实施例提供的一种计算设备的结构框图。
具体实施方式
25.在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
26.在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
27.应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
28.首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
29.imu：(inertialmeasurementunit，惯性测量单元)用于测量物体三轴姿态角(或角速率)以及加速度。
30.在本说明书中，提供了一种动作识别方法，本说明书同时涉及一种动作识别装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施例中逐一进行详细说明。
31.参见图1所示的示意图，在通过用户的穿戴设备100采集到待识别动作对应的动作数据后，为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，之后根据特征值创建对初始动作数据进行处理的数据分割区间；此时即可按照数据分割区间将动
作数据处理为能够进行动作分析的动作数据，再基于这部分动作数据构建动作特征；最后将动作特征输入至预先训练完成的动作识别模型进行处理，即可获得动作识别模型输出的待识别动作对应的动作信息。实现在对待识别动作进行识别时，可以充分结合动作数据中的特征信息，从而使得模型可以精准的预测待识别动作的动作信息，有效的提高了动作识别的精准度。
32.图2示出了根据本说明书一实施例提供的一种动作识别方法的流程图，具体包括以下步骤：
33.步骤s202，采集待识别动作对应的初始动作数据。
34.本实施例提供的动作识别方法可以应用于体育运动的动作识别、人机交互的动作识别、线上教育的动作识别等场景；通过采集用户的动作数据进行动作分析，以响应于动作分析结果确定用户的动作信息，实现下游业务可以根据动作信息作出准确的响应。例如在体育运动的动作识别场景中，通过对用户的动作进行识别，可以触发图像采集终端(如手机、平板或智能监控)采集用户运动精彩瞬间。或者在人机交互的动作识别场景中，通过对用户的动作进行识别，可以触发计算机响应于识别到的动作向用户提供服务，如控制游戏角色释放技能。再或者在线上教育的动作识别场景中，通过对用户的动作进行识别，可以触发计算机响应于识别到的动作通过显示单元展示相应的服务，如通过屏幕展示教学辅助工具等。
35.基于此，待识别动作具体是指用户当前时刻通过运动头部、脚部、身体或者手部等动作，且需要对该动作进行识别，以实现下游业务可以响应于识别到的动作作出准确的响应。相应的，初始动作数据具体是指用户在摆出待识别动作后，通过传感器所采集到的数据，其对应加速度和角速度等数据，用于后续可以以此为基础进行动作识别处理操作。
36.本实施例以动作识别方法在足球动作识别场景中的应用为例进行说明，其它场景下的动作识别过程均可参见本实施例相同或相应的描述内容，在此不作过多赘述。
37.进一步的，在对待识别动作对应的初始动作数据进行采集时，考虑到后续需要从初始动作数据出发分析待识别动作的动作信息，因此初始动作数据的涵盖维度决定着动作识别的精准度；因此为了能够提高识别精准度，可以采集加速度数据和陀螺仪数据组成初始动作数据，本实施例中，具体实现方式如下：
38.通过动作传感器采集目标时长的加速度数据和陀螺仪数据；将所述加速度数据和所述陀螺仪数据，作为所述初始动作数据。
39.具体的，动作采集传感器具体是指能够对加速度数据和陀螺仪数据进行采集的传感器，包括但不限于能够单独采集加速度数据的传感器，以及单独采集陀螺仪数据的传感器，或者能够同时对加速度数据和陀螺仪数据进行采集的传感器，优选的可以通过imu传感器实现加速度数据和陀螺仪数据的采集。需要说明的是，为了能够准确的采集用户的动作数据，该动作传感器安装于用户的可穿戴设备上，以实现传感器与可穿戴设备上的处理器进行交互，实现后续动作识别处理操作。其中，可穿戴设备包括但不限于移动终端、手环、脚环等，本实施例在此不作任何限定。
40.基于此，当穿戴安装有动作传感器的可穿戴设备的用户运动时，此时通过动作传感器可以采集目标时长的加速度数据和陀螺仪数据，将其作为待识别动作的初始动作数据，以方便后续可以结合加速度数据和陀螺仪数据分析出用户当前的动作类型。其中，目标
时长的时间长度可以根据实际应用场景进行设定，如设置为400ms、450ms或者600ms等，本实施例在此不作任何限定。
41.举例说明，用户甲穿戴脚环参与足球运动，在用户甲运动的过程中，通过脚环中安装的imu传感器采集到时长为600ms的初始动作数据，数据中包含6轴数据，分别为加速度数据：acc_x，acc_y和acc_z，以及陀螺仪数据gyro_row(绕x轴旋转)，gyro_pitch(绕y轴旋转)和gyro_yaw(绕z轴旋转)，以方便后续结合6轴数据分析用户甲在此时刻的足球动作类型。
42.综上，通过动作传感器采集目标时长的加速度数据和陀螺仪数据，将其作为待识别动作的初始动作数据，可以方便后续对待识别动作进行精准的识别，从而保证动作识别的精准度。
43.步骤s204，确定所述初始动作数据对应的特征值，根据所述特征值创建数据分割区间。
44.具体的，在上述采集待识别动作对应的初始动作数据后，进一步的，考虑到后续需要结合动作识别模型进行待识别动作的分析，而初始动作数据是对应一段时长的动作数据信息，因此其不仅包含能够分析待识别动作的动作信息的数据，还包括待识别动作完成后，一些轻微动作对应的动作数据，因此为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，并结合特征值构建数据分割区间，以方便后续可以结合数据分割区间将初始动作数据处理为目标动作数据，以减少干扰数据对预测结果产生的影响。
45.其中，特征值具体是指初始动作数据对应的数据峰值，即初始动作数据对应的时长区间内，待识别动作的加速度或角速度在某一时刻达到的最大值，其能够充分表征待识别动作的动作变化幅度。比如用户起跳，从起跳开始时刻到跳到最高点，再从最高点落到地面，此过程中用户沿z轴的加速度会随着时间的推移逐渐上升，且在达到某一点后，将会再随着时间的推移逐渐下降，此过程即会产生加速度数据对应的峰值，通过该峰值能够表征用户z轴方向的运动幅度较大，后续再结合动作识别模型，即可完成动作识别处理的操作。因此通过确定初始动作数据的特征值，能够方便以此为基础确定待识别动作的运动幅度变化最大的区间，即数据分割区间，以方便后续从初始动作数据中截取目标动作数据，用于分析待识别动作的动作类型。相应的，数据分割区间具体是指对初始动作数据进行处理，用于截取最能够表征待识别动作的动作数据的区间，其属于时间区间。
46.基于此，当采集到待识别动作对应的初始动作数据后，此时可以先确定初始动作数据对应的特征值，之后再结合特征值创建能够对初始动作数据进行分割处理的数据分割区间，以方便后续从初始动作数据中截取能够表征待识别动作的动作数据，再结合模型即可完成动作识别的处理操作。
47.实际应用中，考虑到初始动作数据中包含有多个维度的动作数据，且每个维度的动作数据均表征用户的动作变化情况；而通常情况下，无论用户的待识别动作发生怎样的变化，都会使得某一维度的动作数据发生变化，此时则可以选择该维度的动作数据作为基准动作数据，可以以此为基础初步判断待识别动作的动作信息，实现在较短的时间内可以初步定位动作信息，以降低动作识别周期长度，本实施例中，具体实现方式如下：
48.在所述初始动作数据中提取基准动作数据；确定所述基准动作数据对应的基准幅值；在所述基准幅值大于预设幅值阈值的情况下，执行所述步骤s204；在所述基准幅值小于等于预设幅值阈值的情况下，则基于基准动作数据确定所述待识别动作的初步动作信息。
49.具体的，基准动作数据具体是指初始动作数据中能够表征任意待识别动作的数据，且基准动作数据的确定可以根据实际应用场景进行选择，本实施例在此不作任何限定。例如，足球运动员跑场时，其脚部动作力度、旋转角角速度均较小，则可以选择陀螺仪数据中绕y轴旋转的轴数据作为基准动作数据，其能够充分表征当前时刻足球运动员的动作类型为无球跑动。相应的，基准幅值具体是指基准动作数据在一个周期内瞬时出现的最大绝对值；相应的，预设幅值阈值具体是指用于初步识别待识别动作的动作信息的阈值，其可以根据实际应用场景进行设定大小，本实施例在此不作任何限定。
50.基于此，当采集到待识别动作对应的初始动作数据后，由于初始动作数据中包含多个维度的轴数据，因此可以根据动作识别场景在初始动作数据中，提取能够表征待识别动作的基准动作数据，并确定基准动作数据对应的基准幅值；此时再将基准幅值与预设幅值阈值进行比较；若基准幅值小于等于预设幅值阈值，说明待识别动作与基础动作比较相近，则此时可以直接基于基准动作数据确定待识别动作的初步动作信息；若基准幅值大于预设幅值阈值，说明待识别动作与基础动作差距较大，则可以执行步骤s204，以用于后续结合动作识别模型完成动作识别处理操作。
51.综上，通过以基准动作数据确定基准幅值的方式对待识别动作进行初步的动作识别，可以在动作属于基础动作时，直接确定待识别动作的动作信息，从而可以有效减小动作识别周期，可以快速的响应于下游业务场景。
52.进一步的，在上述确定基准幅值大于预设幅值阈值的情况下，说明待识别动作为非基础动作，则此时需要以初始动作数据为基础进行动作类型的分析，而由于基础动作数据能够充分表征待识别动作的动作情况，因此可以以基准动作数据为基础确定特征值，以及创建数据分割区间，本实施例中，具体实现方式如下所述：
53.确定所述基准动作数据对应的基准特征值，并将所述基准特征值作为所述初始动作数据对应的所述特征值；确定所述基准动作数据对应的区间创建策略，根据所述区间创建策略和所述基准特征值创建所述数据分割区间。
54.具体的，基准特征值具体是指基准动作数据对应的数据峰值，即基准动作数据对应的时间区间内，待识别动作的绕y轴旋转角的角速度在某一时刻达到的最大值；相应的，区间创建策略具体是指以基准特征值为参数，结合预设的区间划分信息进行数据分割区间创建的策略。
55.基于此，当确定需要结合动作识别模型完成待识别动作的识别处理时，此时可以以基准动作数据为基础，确定其对应的基准特征值，之后将其作为初始动作数据对应的特征值，再确定基准动作数据对应的区间创建策略，最后结合基准特征值和区间创建策略创建能够对初始动作数据中各个维度的子动作数据进行处理的数据分割区间，以方便后续可以完成从初始动作数据到目标动作数据的处理操作。
56.实际应用中，考虑到在不同场景下动作类型的不同，因此基准动作数据的确定可以根据实际需求进行选择，相应的，特征值以及区间创建策略也将受到场景需求选择的基准动作数据控制，具体实施时，可以根据实际需求进行动态调整和选择，本实施例在此不作任何限定。
57.沿用上例，当采集到用户甲对应的6轴数据(初始动作数据)后，考虑到踢球时，无球跑动过程中，手部动作力度和旋转角角速度都是较小的，因此可以选择6轴数据中绕y轴
旋转的gyro_pitch作为基准动作数据，之后确定数据gyro_pitch对应的基准幅值；此时将基准幅值与幅值阈值thr1进行比较，若小于，则说明用户甲的运动幅度较小，则此时可以判定用户甲在当前时刻的动作为无球跑动。
58.进一步的，若大于，则说明用户甲的运动幅度较大，则此时可以确定数据gyro_pitch的峰值点p为基准点，即基于数据gyro_pitch构建的时间区间内绕y轴旋转的角速度的曲线中，选择信号峰值p点作为基准点，之后按照区间创建策略[p-datalen/2，p ((datalen/2)-1)]创建数据分割区间，由于传感器采集的是600ms的初始动作数据，因此结合于数据gyro_pitch对应的峰值p以及区间创建策略，确定数据分割区间为[p-300，p 299]，以用于后续可以按照[p-300，p 299]对加速度数据和陀螺仪数据分别进行数据分割，以完成后续结合足球动作识别模型完成用户甲的动作识别处理操作。
[0059]
综上，通过以基准动作数据为基础确定基准特征值，以及创建数据分割区间，可以保证确定的数据分割区间的准确度，从而方便后续能够精准的对初始动作数据进行分割处理，以提取出能够充分表征用户在目标时长内的动作数据，以用于后续分析待识别动作。
[0060]
步骤s206，按照所述数据分割区间将所述初始动作数据处理为目标动作数据，并根据所述目标动作数据构建动作特征。
[0061]
具体的，在上述基于特征值确定数据分割区间后，进一步的，考虑到初始动作数据包含多个维度的子动作数据，且每个子动作数据均能够体现待识别动作在加速度或角速度维度的变化情况，因此在确定数据分割区间后，可以按照数据分割区间对初始动作数据进行分割处理，从而将初始动作数据中与待识别动作相关程度较低的数据片段删除，将剩余的数据片段作为目标动作数据。进一步的，在确定能够体现待识别动作的动作类型的目标动作数据后，由于目标动作数据包含多个维度能够体现待识别动作的动作类型的动作数据，为了能够使得动作识别模型可以结合目标动作数据完成待识别动作的动作识别，则可以以目标动作数据为基础构建动作特征，以通过动作特征表征待识别动作在多个维度的数据信息。
[0062]
其中，目标动作数据具体是指按照数据分割区间对初始动作数据进行分割处理后，将其中与待识别动作相关程度较低的数据片剔除后剩余的动作数据；相应的，动作特征具体是指基于目标动作数据构建的矩阵，其中包含目标动作数据在不同特征维度的表达，且综合了全部维度的动作数据，以保证动作识别模型可以在此基础上精准的进行动作识别。
[0063]
实际应用中，在基于目标动作数据构建动作特征时，由于目标动作数据中包含不同维度的子目标动作数据，而不同的子目标动作数据均能够表征待识别动作在不同维度的动作变化情况，因此在以此构建动作特征前，需要通过数据分割区间对每个维度的子动作数据都进行分割处理后，才能够得到包含多个维度的子目标动作数据的目标动作数据，本实施例中，具体实现方式如下：
[0064]
在所述初始动作数据中提取多个子动作数据；按照所述数据分割区间对每个子动作数据分别进行分割处理，获得每个子动作数据对应的子目标动作数据；基于每个子动作数据对应的子目标动作数据确定所述目标动作数据。
[0065]
具体的，子动作数据具体是指初始动作数据中对应不同维度的动作数据，包括但不限于对应加速度维度的3轴加速度数据，对应陀螺仪维度的3轴角速度数据等；相应的，子
目标动作数据具体是指按照数据分割区间对每个子动作数据进行分割处理后，得到的对应不同维度的目标动作数据。
[0066]
需要说明的是，由于数据分割区间是基于基准动作数据对应的基准特征值创建，则基于基准特征值创建的数据分割区间应当与基准动作数据相对应，而由于基准动作数据能够更加充分的表征待识别动作的动作情况，因此在对其他维度的子动作数据进行分割处理时，都可以按照基准动作数据对应的数据分割区间进行处理，不需要使用各个子动作数据对应的数据分割区间完成，以方便后续能够将各个子目标动作数据对应的特征融合为动作特征，以此保证动作识别模型可以在动作特征的基础上，精准的识别待识别动作的动作信息。
[0067]
基于此，在确定数据分割区间后，此时可以在初始动作数据中提取多个子动作数据，之后按照数据分割区间对每个子动作数据分别进行数据分割处理，即在子动作数据中按照数据分割区间截取一段数据，作为每个子动作数据对应的子目标动作数据，将其整合为目标动作数据，以方便后续可以以此为基础构建动作特征。
[0068]
沿用上例，在基于数据gyro_pitch对应的峰值p以及区间创建策略，确定数据分割区间为[p-300，p 299]后，进一步的，此时可以按照数据分割区间[p-300，p 299]对加速度数据：acc_x，acc_y和acc_z，以及陀螺仪数据gyro_row，gyro_pitch和gyro_yaw分别进行数据分割处理，即在加速度数据acc_x，acc_y和acc_z中截取对应区间[p-300，p 299]的数据，得到目标加速度数据acc_xj，acc_yj和acc_zj；以及在陀螺仪数据gyro_row，gyro_pitch和gyro_yaw中截取对应区间[p-300，p 299]的数据，得到目标陀螺仪数据gyro_rowj，gyro_pitchj和gyro_yawj，以方便后续结合目标加速度数据和目标陀螺仪数据进行用户甲的动作识别。
[0069]
综上，通过按照数据分割区间对初始动作数据中的各个子动作数据分别进行分割处理，可以实现以同一个区间为基础，将各个维度的子动作数据中与待识别动作相关程度较低的冗余数据进行删除，以方便后续可以结合各个维度的子目标动作数据完成动作识别处理操作。
[0070]
更进一步的，在得到目标动作数据后，为了能够通过动作特征充分表达待识别动作在各个维度的动作情况，以提高动作识别模型的识别精准度，可以通过构建目标动作数据对应的关联动作特征和交叉动作特征，实现覆盖更为宽泛的动作表征维度，以得到充分表征待识别动作的动作特征，本实施例中，具体实现方式如下步骤s2062至步骤s2066。
[0071]
步骤s2062，确定所述目标动作数据对应的目标特征值。
[0072]
步骤s2064，根据所述目标特征值构建所述目标动作数据对应的关联动作特征和交叉动作特征。
[0073]
具体的，目标特征值具体是指目标动作数据对应的峰值、幅值、谷值和/或平值等；相应的，关联动作特征具体是指目标动作数据中各个子目标动作数据自身具有的特征，包括但不限于子目标动作数据自身对应的单峰特征、峰值间特征等；单峰特征是指子目标动作数据对应的曲线中单个波峰对应的相关特征，如峰宽度特征、幅值均方差、峰高度特征和/或峰度值等；峰值间特征是指子目标动作数据对应的曲线中两个或两个以上的波峰之间对应的相关特征，如峰间宽度特征和/或峰间比值特征等。相应的，交叉动作特征具体是指目标动作数据中任意两个子目标动作数据之间具有的交叉特征，包括但不限于任意两个
子目标动作数据之间的峰值时间差、峰值比值和/或峰宽度比值等；峰值时间差是指任意两个子目标动作数据各自的峰值对应的时间之间的差值，峰值比值是指任意两个子目标动作数据各自的峰值的比值；峰宽度比值具体是指任意两个子目标动作数据各自的峰宽度的比值。
[0074]
实际应用中，关联动作特征和交叉动作特征除上述相互依存的关系外，还可以根据实际应用场景基于子目标动作数据确定其他维度的特征，以此保证关联动作特征和交叉动作特征的丰富度，从而提高后续的模型识别精准度，本实施例在此不作任何限定。
[0075]
进一步的，由于目标动作数据包括各个维度的子目标动作数据，因此需要针对每个子目标动作数据分别进行关联动作特征和交叉动作特征的构建，从而才能够得到融合全部表征的动作特征，本实施例中，具体实现方式如下：
[0076]
(1)所述关联动作特征的构建，包括：根据所述目标特征值，确定所述目标动作数据中包含的每个子目标动作数据对应的子目标特征值；根据所述子目标特征值，计算每个子目标动作数据在预设关联特征维度对应的子关联动作特征；将每个子目标动作数据的子关联动作特征进行融合，获得所述关联动作特征。
[0077]
具体的，子目标特征值具体是指每个子目标动作数据对应的峰值、幅值、谷值和/或平值等；相应的，预设关联特征维度具体是指计算子目标动作数据自身对应的特征表达的维度，包括但不限于单峰特征维度和/或峰值间特征维度等；相应的，子关联动作特征具体是指子目标动作数据自身具有的特征，包括但不限于单峰特征和/或峰值间特征等。其中，单峰特征包括但不限于峰宽度特征、幅值均方差、峰高度特征和/或峰度值等；峰值间特征包括但不限于峰间宽度特征和/或峰间比值特征等。
[0078]
基于此，在得到目标动作数据对应目标特征值后，可以根据目标特征值确定每个子目标动作数据对应的子目标特征值，之后根据子目标特征值计算每个子目标动作数据在预设关联特征维度对应的子关联动作特征，即基于子目标特征值计算所对应的子目标动作数据在预设关联特征维度对应的子关联动作特征，最后再将各个子目标动作数据的子关联动作特征进行融合，即可得到目标动作数据对应的关联动作特征。
[0079]
综上，通过以子目标动作数据为单位计算关联动作特征，且均与预设的关联特征维度相关联，使得关联动作特征可以充分表征目标动作数据自身的特征，从而方便后续结合交叉动作特征构建能够充分表征待识别动作的动作特征。
[0080]
(2)所述交叉动作特征的构建：包括：根据所述子目标特征值，计算任意两个子目标动作数据之间在预设交叉特征维度对应的子交叉动作特征；将任意两个子目标动作数据之间的子交叉动作特征进行融合，获得所述交叉动作特征。
[0081]
具体的，预设交叉特征维度具体是指计算任意两个子目标动作数据之间具有的交叉特征表达的维度，包括但不限于峰值时间差特征维度、峰值比值特征维度和/或峰宽度比值特征维度等；相应的，子交叉动作特征具体是指任意两个子目标动作数据之间具有的交叉特征，包括但不限于峰值时间差特征、峰值比值特征和/或峰宽度比值特征等。峰值时间差特征是指任意两个子目标动作数据各自的峰值对应的时间之间的差值，峰值比值特征是指任意两个子目标动作数据各自的峰值的比值，峰宽度比值特征具体是指任意两个子目标动作数据各自的峰值宽度的比值。
[0082]
基于此，在得到子目标特征值后，可以根据子目标特征值计算任意两个子目标动
作数据在预设交叉特征维度对应的子交叉动作特征，即基于任意两个子目标特征值计算所对应的两个子目标动作数据之间在预设交叉特征维度对应的子交叉动作特征，最后再任意两个子目标动作数据之间的子交叉动作特征进行融合，即可得到目标动作数据对应的交叉动作特征。
[0083]
综上，通过以子目标动作数据为单位计算交叉动作特征，且均与预设的交叉特征维度相关联，可以建立任意两个子目标动作数据之间的关联关系，以特征表达的方式进行体现，以方便后续结合动作识别模型可以制衡子目标动作数据之间的影响，从而提高动作识别精准度。
[0084]
步骤s2066，对所述关联动作特征和所述交叉动作特征进行融合，获得所述动作特征。
[0085]
基于此，在得到目标动作数据对应的关联动作特征和交叉动作特征后，为了能够满足后续动作识别模型的输入要求，此时可以对关联动作特征和交叉动作特征进行融合，以得到动作特征，实现后续的模型预测处理过程。
[0086]
沿用上例，在得到目标加速度数据acc_xj，acc_yj和acc_zj；以及目标陀螺仪数据gyro_rowj，gyro_pitchj和gyro_yawj后，进一步的，此时可以确定各个轴数据对应的峰值和幅值；之后根据各个轴数据对应的峰值和幅值计算其对应的单峰特征和峰值间特征。
[0087]
参见图3所示的示意图，以轴数据gyro_pitchj对子关联动作特征的计算过程进行说明，基于p点对应的峰值和数据对应的幅值，计算轴数据gyro_pitchj对应的单峰特征，即该轴数据gyro_pitchj对应的峰宽度特征wf1，幅值均方差std，峰高度特征hpeak以及峰度值(统计学中峰度系数)；其中，峰宽度特征wf1＝w1/0.707hpeak，w1表示峰宽度，0.707hpeak表示计算峰宽度特征的峰高度位置，即纵轴高度；峰高度特征hpeak_gy＝(hp1 hp2)/2，hp1表示波峰，hp2表示波谷。同时计算轴数据gyro_pitchj对应的峰值间特征，即该轴数据gyro_pitchj对应的峰间宽度特征tw1和峰间比值特征rpeak；其中，峰间比值特征rpeak＝hpeak1/hpeak2，其中hpeak1表示第一波峰，hpeak2表示第二波峰。基于上述计算得到轴数据gyro_pitchj对应的子关联动作特征。
[0088]
进一步的，之后根据各个轴数据对应的峰值和幅值，计算任意两个轴数据之间的峰值时间差，峰值比值以及峰宽度比值；以轴数据gyro_pitchj和gyro_rowj对子交叉动作特征的计算过程进行说明。基于轴数据gyro_pitchj和gyro_rowj对应的峰值和数据对应的幅值，计算两个峰值之间的时间差tsw1，其中，时间差tsw1＝tpeak_gy-tpeak_gx，tpeak_gy表示轴数据gyro_pitchj的峰值对应的时间节点，tpeak_gx表示轴数据gyro_rowj的峰值对应的时间节点；峰值比值rpeak_gyx＝hpeak_gy/hpeak_gx，其中，hpeak_gy和hpeak_gx表示同一时刻轴数据gyro_pitchj和gyro_rowj的峰值；峰宽度比值rwf_gyx＝wf1_gy/wf2_gx，其中，wf1_gy表示轴数据gyro_pitchj的峰宽度，wf2_gx表示轴数据gyro_rowj的峰宽度。基于上述计算得到轴数据gyro_pitchj和gyro_rowj之间的子交叉动作特征。
[0089]
相应的，其他轴数据的子关联动作特征和子交叉动作特征的计算过程均可参见上述描述内容，本实施例在此不作过多赘述。即还可以计算出轴数据gyro_yawj和gyro_pitchj的峰值比rpeak_gzy＝hpeak_gz/hpeak_gy，其中，hpeak_gz和hpeak_gy表示同一时刻轴数据gyro_yawj和gyro_pitchj的峰值；轴数据acc_zj和acc_yj的峰值比rpeak_azy＝hpeak_az/hpeak_ay，其中，hpeak_az和hpeak_ay表示同一时刻轴数据acc_zj和acc_yj的峰值。
[0090]
最后将上述轴数据分别对应的子关联动作特征和子交叉动作特征进行融合，得到用户甲在踢球过程中发生的动作变化对应的动作特征，以方便后续以此为基础得出当前时刻用户甲的踢球动作类型。
[0091]
综上，通过结合预设关联特征维度和交叉特征维度构建目标动作数据对应的动作特征，实现充分结合多个维度的数据表征，实现在动作特征中充分表达了待识别动作的动作信息，以使得动作识别模型进行动作识别时，可以保证识别精准度。
[0092]
步骤s208，将所述动作特征输入至动作识别模型进行处理，获得所述待识别动作对应的动作信息。
[0093]
具体的，在上述得到待识别动作对应的动作特征后，进一步的，即可将动作特征输入至预先训练完成的动作识别模型进行处理，以根据识别模型的识别结果，得到待识别动作的动作信息。其中，动作信息具体是指表征待识别动作的动作类型的信息，且不同识别场景下，动作信息也不同；如足球动作识别场景中，对待识别动作进行识别后，其动作信息包括但不限于踢球、射门、带球和/或无球跑动等；或者篮球动作识别场景中，对待识别动作进行识别后，其动作信息包括但不限于运球、无球跑动、投篮、上篮和/或传球等。
[0094]
其中，动作识别模型具体是指能够对待识别动作进行识别的模型，且能够识别的结果由训练过程中的需求设定。相应的，动作识别模型可以采用svm(supportvectormachine，支持向量机)、随机森林或者逻辑回归等实现，具体实施时，可以根据实际应用场景选择，本实施例在此不作任何限定。
[0095]
实际应用中，为了能够提高动作识别模型的识别精准度，则需要在训练阶段对动作识别模型进行充分的训练，从而才能够在应用阶段响应于待识别动作作出准确的预测，本实施例中，所述动作识别模型通过如下方式训练：
[0096]
获取样本动作数据，确定所述样本动作数据对应的样本特征值；根据所述样本特征值创建样本数据分割区间，并按照所述样本数据分割区间将所述样本动作数据处理为目标样本动作数据；根据所述目标样本动作数据构建样本动作特征，并输入至初始动作识别模型进行处理，获得预测动作信息；根据所述样本动作数据对应的样本动作信息和所述预测动作信息对所述初始动作识别模型进行调参，直至获得满足训练停止条件的所述动作识别模型。
[0097]
具体的，训练停止条件具体是指初始识别模型的当前识别能力能够满足使用需求后停止对其进行训练的条件，包括但不限于模型迭代次数或损失值比较；即初始动作识别模型训练迭代次数达到设定次数后，即可停止对其进行训练，将最后一次迭代训练的结果作为动作识别模型即可；或者初始动作识别模型在每次训练完成后，将结合预设的损失函数计算初始动作模型的损失值，当损失值小于预设损失值阈值的情况下，即可停止对其进行训练，将最后一次调参后的模型作为动作识别模型即可。
[0098]
沿用上例，在得到用户甲当前时刻的动作对应的动作特征后，可以将动作特征输入至预先训练完成，且能够对足球动作进行识别的足球动作识别模型进行处理，根据识别结果确定用户甲当前时刻的动作为射门动作。
[0099]
此外，在得到待识别动作对应的动作信息后，下游业务即可根据动作信息作出相对应的响应，以向用户提供相应的服务。如在体育动作识别场景中，当得到用户的待识别动作的动作信息后，动作信息可以表征当前用户是精彩运动时刻，如打篮球时投篮，或者踢足
球时射门，再或者跳远时起跳，都可以根据识别到的动作信息向视频采集设备或图像采集设备发送采集请求，以通过视频采集设备或图像采集设备采集当前时刻的运动动作；或者在采集到的视频或者图像中添加当前时刻动作信息对应的标记信息，以方便用户在后续观看阶段可以快速找到重要程度较高的内容进行浏览，从而提高用户的使用体验。
[0100]
具体实施时，在得到待识别动作的动作信息后，可以根据实际应用环境响应于动作信息作出相应的处理操作，本实施例在此不作任何限定。
[0101]
本说明书提供的动作识别方法，在采集到待识别动作对应的初始动作数据后，为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，之后根据特征值创建对初始动作数据进行处理的数据分割区间；此时即可按照数据分割区间将初始动作数据处理为目标动作数据，再基于目标动作数据构建动作特征；最后将动作特征输入至预先训练完成的动作识别模型进行处理，即可获得动作识别模型输出的待识别动作对应的动作信息。实现在对待识别动作进行识别时，可以充分结合初始动作数据中的特征信息，从而使得模型可以精准的预测待识别动作的动作信息，有效的提高了动作识别的精准度。
[0102]
下述结合附图4，以本说明书提供的动作识别方法在篮球动作识别场景中的应用为例，对所述动作识别方法进行进一步说明。其中，图4示出了本说明书一实施例提供的一种动作识别方法的处理流程图，具体包括以下步骤：
[0103]
步骤s402，通过动作传感器采集用户对应目标时长的加速度数据和陀螺仪数据。
[0104]
步骤s404，根据陀螺仪数据确定基准陀螺仪数据，并确定基准陀螺仪数据对应的基准幅值。
[0105]
步骤s406，判断基准幅值是否小于预设幅值阈值；若是，执行步骤s408；若否，执行步骤s410。
[0106]
步骤s408，确定用户在当前时刻的动作为无球跑动动作。
[0107]
步骤s410，确定基准陀螺仪数据对应的基准峰值，并根据基准峰值和区间创建策略创建数据分割区间。
[0108]
步骤s412，按照数据分割区间对陀螺仪数据和加速度数据分别进行分割处理，获得目标加速度数据和目标陀螺仪数据。
[0109]
步骤s414，确定目标加速度数据对应的加速度数据峰值，以及确定目标陀螺仪数据对应的陀螺仪数据峰值。
[0110]
步骤s416，根据加速度数据峰值构建加速度数据对应的关联动作特征和交叉动作特征，以及根据陀螺仪数据峰值构建陀螺仪数据对应的关联动作特征和交叉动作特征。
[0111]
步骤s418，对加速度数据对应的关联动作特征和交叉动作特征，以及陀螺仪数据对应的关联动作特征和交叉动作特征进行融合，获得动作特征。
[0112]
步骤s420，将动作特征输入至预先训练完成的篮球动作识别模型进行处理，获得用户在当前时刻的篮球动作信息。
[0113]
具体的，通过用户穿戴的手环上安装的imu传感器采集用户对应目标时长的加速度数据和陀螺仪数据，之后确定陀螺仪数据中y轴数据对应的幅值，并判断幅值是否小于预设幅值阈值；若是，则确定用户当前时刻的动作为无球跑动动作。若否，则确定y轴数据对应的峰值，之后根据峰值创建数据分割区间。
[0114]
进一步的，按照数据分割区间对加速度数据和陀螺仪数据中包含的各个轴数据分
别进行分割处理，得到目标加速度数据和目标陀螺仪数据；此时确定目标加速度数据和目标陀螺仪数据中包含的各个轴数据分别对应的峰值，按照峰值构建各个轴数据对应的子关联动作特征，以及任意两个轴数据之间的子交叉动作特征，且再将全部的子关联动作特征和子交叉动作特征进行融合，得到用户对应的动作特征，最后将其输入至篮球动作识别模型进行处理，得到用户当前时刻的动作为投篮动作。
[0115]
更进一步的，根据投篮动作创建标记请求，并向与手环相连通的手机发送视频标记信息，以在手机录制的视频中标记当前时刻用户产生投篮动作的描述信息，以方便用户在后续浏览视频时，可以快速的查看到投篮动作的视频片段。
[0116]
综上所述，在采集到待识别动作对应的初始动作数据后，为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，之后根据特征值创建对初始动作数据进行处理的数据分割区间；此时即可按照数据分割区间将初始动作数据处理为目标动作数据，再基于目标动作数据构建动作特征；最后将动作特征输入至预先训练完成的动作识别模型进行处理，即可获得动作识别模型输出的待识别动作对应的动作信息。实现在对待识别动作进行识别时，可以充分结合初始动作数据中的特征信息，从而使得模型可以精准的预测待识别动作的动作信息，有效的提高了动作识别的精准度。
[0117]
与上述方法实施例相对应，本说明书还提供了动作识别装置实施例，图5示出了本说明书一实施例提供的一种动作识别装置的结构示意图。如图5所示，该装置包括：
[0118]
采集数据模块502，被配置为采集待识别动作对应的初始动作数据；
[0119]
创建区间模块504，被配置为确定所述初始动作数据对应的特征值，根据所述特征值创建数据分割区间；
[0120]
构建特征模块506，被配置为按照所述数据分割区间将所述初始动作数据处理为目标动作数据，并根据所述目标动作数据构建动作特征；
[0121]
模型处理模块508，被配置为将所述动作特征输入至动作识别模型进行处理，获得所述待识别动作对应的动作信息。
[0122]
一个可选的实施例中，所述动作识别装置，还包括：
[0123]
确定幅值模块，被配置为在所述初始动作数据中提取基准动作数据；确定所述基准动作数据对应的基准幅值；在所述基准幅值大于预设幅值阈值的情况下，运行所述创建区间模块504。
[0124]
一个可选的实施例中，所述创建区间模块504进一步被配置为：
[0125]
确定所述基准动作数据对应的基准特征值，并将所述基准特征值作为所述初始动作数据对应的所述特征值；确定所述基准动作数据对应的区间创建策略，根据所述区间创建策略和所述基准特征值创建所述数据分割区间。
[0126]
一个可选的实施例中，所述构建特征模块506进一步被配置为：
[0127]
确定所述目标动作数据对应的目标特征值；根据所述目标特征值构建所述目标动作数据对应的关联动作特征和交叉动作特征；对所述关联动作特征和所述交叉动作特征进行融合，获得所述动作特征。
[0128]
一个可选的实施例中，所述关联动作特征构建，包括：
[0129]
根据所述目标特征值，确定所述目标动作数据中包含的每个子目标动作数据对应的子目标特征值；根据所述子目标特征值，计算每个子目标动作数据在预设关联特征维度
对应的子关联动作特征；将每个子目标动作数据的子关联动作特征进行融合，获得所述关联动作特征。
[0130]
一个可选的实施例中，所述交叉动作特征构建，包括：
[0131]
根据所述子目标特征值，计算任意两个子目标动作数据之间在预设交叉特征维度对应的子交叉动作特征；将任意两个子目标动作数据之间的子交叉动作特征进行融合，获得所述交叉动作特征。
[0132]
一个可选的实施例中，所述构建特征模块506进一步被配置为：
[0133]
在所述初始动作数据中提取多个子动作数据；按照所述数据分割区间对每个子动作数据分别进行分割处理，获得每个子动作数据对应的子目标动作数据；基于每个子动作数据对应的子目标动作数据确定所述目标动作数据。
[0134]
一个可选的实施例中，所述采集数据模块502进一步被配置为：
[0135]
通过动作传感器采集目标时长的加速度数据和陀螺仪数据；将所述加速度数据和所述陀螺仪数据，作为所述初始动作数据。
[0136]
一个可选的实施例中，所述动作识别模型通过如下步骤训练：
[0137]
获取样本动作数据，确定所述样本动作数据对应的样本特征值；根据所述样本特征值创建样本数据分割区间，并按照所述样本数据分割区间将所述样本动作数据处理为目标样本动作数据；根据所述目标样本动作数据构建样本动作特征，并输入至初始动作识别模型进行处理，获得预测动作信息；根据所述样本动作数据对应的样本动作信息和所述预测动作信息对所述初始动作识别模型进行调参，直至获得满足训练停止条件的所述动作识别模型。
[0138]
本说明书提供的动作识别装置，在采集到待识别动作对应的初始动作数据后，为了能够提高动作识别精准度，此时可以确定初始动作数据对应的特征值，之后根据特征值创建对初始动作数据进行处理的数据分割区间；此时即可按照数据分割区间将初始动作数据处理为目标动作数据，再基于目标动作数据构建动作特征；最后将动作特征输入至预先训练完成的动作识别模型进行处理，即可获得动作识别模型输出的待识别动作对应的动作信息。实现在对待识别动作进行识别时，可以充分结合初始动作数据中的特征信息，从而使得模型可以精准的预测待识别动作的动作信息，有效的提高了动作识别的精准度。
[0139]
上述为本实施例的一种动作识别装置的示意性方案。需要说明的是，该动作识别装置的技术方案与上述的动作识别方法的技术方案属于同一构思，动作识别装置的技术方案未详细描述的细节内容，均可以参见上述动作识别方法的技术方案的描述。
[0140]
图6示出了根据本说明书一实施例提供的一种计算设备600的结构框图。该计算设备600的部件包括但不限于存储器610和处理器620。处理器620与存储器610通过总线630相连接，数据库650用于保存数据。
[0141]
计算设备600还包括接入设备640，接入设备640使得计算设备600能够经由一个或多个网络660通信。这些网络的示例包括公用交换电话网(pstn)、局域网(lan)、广域网(wan)、个域网(pan)或诸如因特网的通信网络的组合。接入设备640可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(nic))中的一个或多个，诸如ieee802.11无线局域网(wlan)无线接口、全球微波互联接入(wi-max)接口、以太网接口、通用串行总线(usb)接口、蜂窝网络接口、蓝牙接口、近场通信(nfc)接口，等等。
[0142]
在本说明书的一个实施例中，计算设备600的上述部件以及图6中未示出的其他部件也可以彼此相连接，例如通过总线。应当理解，图6所示的计算设备结构框图仅仅是出于示例的目的，而不是对本说明书范围的限制。本领域技术人员可以根据需要，增添或替换其他部件。
[0143]
计算设备600可以是任何类型的静止或移动计算设备，包括移动计算机或移动计算设备(例如，平板计算机、个人数字助理、膝上型计算机、笔记本计算机、上网本等)、移动电话(例如，智能手机)、可佩戴的计算设备(例如，智能手表、智能眼镜等)或其他类型的移动设备，或者诸如台式计算机或pc的静止计算设备。计算设备600还可以是移动式或静止式的服务器。其中，处理器620用于执行计算机可执行指令时实现所述动作识别方法的步骤。
[0144]
上述为本实施例的一种计算设备的示意性方案。需要说明的是，该计算设备的技术方案与上述的动作识别方法的技术方案属于同一构思，计算设备的技术方案未详细描述的细节内容，均可以参见上述动作识别方法的技术方案的描述。
[0145]
本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机指令，该指令被处理器执行时以用于所述动作识别方法。
[0146]
上述为本实施例的一种计算机可读存储介质的示意性方案。需要说明的是，该存储介质的技术方案与上述的动作识别方法的技术方案属于同一构思，存储介质的技术方案未详细描述的细节内容，均可以参见上述动作识别方法的技术方案的描述。
[0147]
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
[0148]
所述计算机指令包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0149]
需要说明的是，对于前述的各方法实施例，为了简便描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本说明书并不受所描述的动作顺序的限制，因为依据本说明书，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定都是本说明书所必须的。
[0150]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0151]
以上公开的本说明书优选实施例只是用于帮助阐述本说明书。可选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本说
明书的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本说明书。本说明书仅受权利要求书及其全部范围和等效物的限制。