基于计算机视觉的运动数据处理方法、装置、设备及介质与流程

1.本发明实施例涉及但不限于人工智能、计算机视觉领域，尤其涉及基于计算机视觉的运动数据处理方法、装置、设备及介质。


背景技术：

2.目前市面上已经有许多线上的健身课程，用户通过这些健身视频课程自主进行训练，通过计算机视觉对人体动作进行识别，进而进行训练指导，可见，线上健身的效果非常依赖于对人体动作的准确识别。
3.人体动作识别是机器视觉和人工智能领域一个很重要的领域，其目的在于从视频中检测并识别目标的动作，基于视频的人体动作识别包含两部分：人体运动区域检测和动作识别，人体运动区域检测就是采用运动目标检测方法，从视频中检测出人体运动的区域，动作识别指的是在人体运动区域进行特征提取，然后对特征进行具体业务场景处理。
4.现有技术中，对人体动作进行识别时，往往需要对人体关节处进行精确提取和追踪，需要进行目标检测、目标跟踪、滤波去噪等一些预处理；然而由于自我遮挡、尺度和姿势的变化等因素，增加了解决这个问题的难度。因此，现有技术存在很大的局限性。


技术实现要素：

5.以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。
6.本发明实施例提供了基于计算机视觉的运动数据处理方法、装置、设备及介质，通过直接对视频进行特征提取和描述，更直观的识别人体的行为动作，提高了动作识别的准确度。
7.第一方面，本发明实施例提供了一种基于计算机视觉的运动数据处理方法，包括：
8.获取第一视频，所述第一视频包括人体进行运动训练的行为动作；
9.根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；
10.根据所述第一特征序列建立第一运动模型；
11.将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作；其中，所述第二运动模型包含至少一个运动动作；
12.根据识别到的运动动作确定所述第一视频的动作识别率。
13.在一些实施例中，所述对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列，包括：
14.计算所述第一图像的第一梯度场和第一光流场；
15.将所述第一梯度场的强度与第一光流场相乘，得到第二光流场；
16.计算所述第二光流场的方向梯度直方图，作为所述第一图像的特征描述符；
17.将全部第一图像的特征描述符按时间顺序形成第一特征序列。
18.在一些实施例中，所述根据所述第一特征序列建立第一运动模型，包括：
19.建立所述第一视频的运动模型，以将所述第一特征序列由非欧空间映射为再生核希尔伯特空间；
20.根据所述第一特征序列确定所述运动模型的模型参数，得到第一运动模型。
21.在一些实施例中，所述第一特征序列的运动模型为：
[0022][0023]
其中，所述a是状态转移矩阵，所述b表示输入噪声对状态变化的影响，所述c为线性操作符，用于将变化状态转化为系统的输出，所述x
t
表示第一视频的动态部分，所述y
t
为第一视频的表观特征，所述v
t
和w
t
分别为时刻t的模型噪声和观察噪声。
[0024]
在一些实施例中，所述根据所述第一特征序列确定所述运动模型的模型参数，得到第一运动模型，包括：
[0025]
计算所述第一特征序列的核矩阵，得到第一矩阵；
[0026]
对所述第一矩阵进行奇异值分解，得到多个特征向量，获取每个所述特征向量对应的核主成份；
[0027]
根据所述第一矩阵和每个特征向量对应的核主成份确定所述运动模型的模型参数，得到第一运动模型。
[0028]
在一些实施例中，所述将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作，包括：
[0029]
计算所述第一运动模型和预先设定的第二运动模型的度量距离：
[0030]
确定所述度量距离是否在设定阈值范围内，若是，则将所述第二运动模型的运动动作作为所述第一运动模型的运动动作。
[0031]
在一些实施例中，所述度量距离的计算公式为：
[0032][0033]
或者：
[0034][0035]
其中，y1为所述第一运动模型的空间度量，y2为所述第二运动模型的空间度量，y
1；j
为所述第一运动模型中第j个的特征描述符，y
2；j
为所述第二运动模型中第j个的特征描述符。
[0036]
第二方面，本发明实施例还提供了一种基于计算机视觉的运动数据处理装置，包括：
[0037]
获取模块，用于获取第一视频，所述第一视频包括人体进行运动训练的行为动作；
[0038]
特征提取模块，用于根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；
[0039]
模型建立模块，用于根据所述第一特征序列建立第一运动模型；
[0040]
动作识别模块，用于将所述第一运动模型和预先设定的第二运动模型进行比对，
以识别所述第一运动模型中包含的运动动作；其中，所述第二运动模型包含至少一个运动动作；
[0041]
输出模块，用于根据识别到的运动动作确定所述第一视频的动作识别率。
[0042]
第三方面，本发明实施例还提供了一种电子设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于计算机视觉的运动数据处理方法。
[0043]
第四方面，本发明实施例还提供了一种存储介质，所述存储介质中存储有可执行指令，所述可执行指令被处理器执行时实现如第一方面所述的基于计算机视觉的运动数据处理方法。
[0044]
本发明实施例包括：获取第一视频，所述第一视频包括人体进行运动训练的行为动作；根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；根据所述第一特征序列建立第一运动模型；将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作；根据识别到的运动动作确定所述第一视频的动作识别率。该基于计算机视觉的运动数据处理方法通过直接对视频进行特征提取和描述，更直观的识别人体的行为动作，提高了动作识别的准确度。
[0045]
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
附图说明
[0046]
附图用来提供对本发明技术方案的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明的技术方案，并不构成对本发明技术方案的限制。
[0047]
图1是本发明实施例一种基于计算机视觉的运动数据处理方法的流程图；
[0048]
图2是图1中步骤s200的具体流程图；
[0049]
图3是图1中步骤s300的具体流程图；
[0050]
图4是图1中步骤s320的具体流程图；
[0051]
图5是图1中步骤s400的具体流程图；
[0052]
图6是本发明实施例中基于计算机视觉的运动数据处理装置的结构图；
[0053]
图7是本发明实施例提供的电子设备的结构图。
具体实施方式
[0054]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。
[0055]
需要说明的是，虽然在装置示意图中进行了功能模块划分，在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于装置中的模块划分，或流程图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别
类似的对象，而不必用于描述特定的顺序或先后次序。在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。
[0056]
本发明提供了基于计算机视觉的运动数据处理方法、装置、设备及介质。其中包括：获取第一视频，所述第一视频包括人体进行运动训练的行为动作；根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；根据所述第一特征序列建立第一运动模型；将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作；其中，所述第二运动模型包含至少一个运动动作；根据识别到的运动动作确定所述第一视频的动作识别率。该基于计算机视觉的运动数据处理方法通过直接对视频进行特征提取和描述，更直观的识别人体的行为动作，提高了动作识别的准确度。
[0057]
下面结合附图，对本发明实施例作进一步阐述。
[0058]
参照图1，图1是一种基于计算机视觉的运动数据处理方法的流程图。
[0059]
如图1所示，一种基于计算机视觉的运动数据处理方法，包括：
[0060]
步骤s100、获取第一视频，所述第一视频包括人体进行运动训练的行为动作；
[0061]
对于步骤s100，获取的第一视频是在人体进行运动训练过程中一个时间段的视频。一般地，考虑到后续图像处理的需要，第一视频的时间段应足够长，具体地，在一个时间段内，至少包括一个行为动作，在一些实施例中，所述行为动作包括一下至少一种：弯腰、前跳、上跳、跑步、侧跑、单脚跑、慢走、单臂挥手、双臂挥手。
[0062]
步骤s200、根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；
[0063]
在一些实施例中，以设定的采样频率对获取到的第一视频进行采样，得到连续多帧的第一图像。需要考虑的是，为保证后续提取的运动动作不丢失，所述设定的采样频率不宜过小；而为了提高模型的学习速度，所述设定的采样频率也不宜过大；在一个优选的实施例中，所述设定的采样频率为20帧/秒至30帧/秒。还需要说明的是，特征描述符是从第一图像中抽取的用来表示行为动作的一些数据。
[0064]
参照图2，对于步骤s200，具体步骤如下：
[0065]
步骤s210、计算所述第一图像的第一梯度场和第一光流场；
[0066]
需要说明的是，在相机采集第一视频的过程中，当相机捕捉到摄像区域内人体的运动动作、或者相机的摄像区域发生改变时，第一视频中每个像素点都具备一个速度向量，就形成了图像变化的运动场，一般地，光流场与运动场是一致的，在时间间隔内的图像变化可以通过光流场表达，可以利用光流场来估计运动。光流场是通过二维图像来表示物体三维运动的速度场，光流方向直方图描述了图像的运动特征。人体行为动作的识别，即人的行为理解与描述，指对人的运动模式进行分析和识别，人体的运动信息在行为动作识别过程中具有不可替代的作用，光流的计算旨在提取目标人体的运动信息。光流的特征来表征目标人体在每一时刻的动作轮廓，同时这个特征具有尺度方向不变的特点。
[0067]
步骤s220、将所述第一梯度场的强度与第一光流场相乘，得到第二光流场；
[0068]
步骤s230、计算所述第二光流场的方向梯度直方图，作为所述第一图像的特征描述符；
[0069]
在一些实施例中，对于步骤s230，具体步骤如下：
[0070]
步骤s231、确定所述第二光流场的关键点；
[0071]
需要说明的是，关键点是一些十分突出的不会因光照、尺度、旋转等因素而消失的点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。此步骤是搜索所有尺度空间上的图像位置。在一些实施例中，通过高斯微分函数来识别潜在的具有尺度和旋转不变的兴趣点。
[0072]
步骤s232、确定所述关键点所在图像区域的半径；
[0073][0074]
其中，r是图像区域的半径，σ是关键点所在组的尺度，d＝4，代表划分4
×
4个子块。
[0075]
需要说明的是，对于每一个关键点，都拥有位置、尺度以及方向三个信息。为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。
[0076]
步骤s233、将所述关键点的邻域内的像素划分为多个子域，将每个子域划分为多个块，分别计算每个块内8个方向的梯度方向直方图，得到每个块的描述子向量；
[0077]
在一些实施例中，将所述关键点的邻域内的像素划分为16
×
16个子域，将每个子域划分为4
×
4个块，分别计算每个块内8个方向的梯度方向直方图，得到4
×4×
8＝128的描述子向量。
[0078]
步骤s234、将每个所述描述子向量进行归一化处理，得到所述关键点的描述子向量；
[0079]
在一实施例中，将每个所述描述子向量与全部所述描述子向量的比值作为归一化处理后的描述子向量。
[0080]
步骤s235、将所述第一图像中全部关键点的描述子向量作为所述第一图像的特征描述符。
[0081]
值得注意的是，关键点的描述子向量的规范化可以去除第一图像中的光照影响。对于第一图像中的灰度值整体漂移，由于第一图像中各点的梯度是邻域像素相减得到，所以也能去除。
[0082]
步骤s240、将全部第一图像的特征描述符按时间顺序形成第一特征序列。
[0083]
需要说明的是，光流场对噪声敏感，并且存在于背景中的光流场将使识别复杂化进而导致分类的不准确。
[0084]
本发明提供的实施例中，为了克服采用单一的第一光流场存在的这些缺点，本实施例，将第一梯度场和第一光流场进行融合，生成第二光流场；再按照方向梯度直方图的方法将所述第二光流场做成直方图，即，采用第二光流场的密度分布来替代第二光流场，作为第一图像的特征描述符。其中，方向梯度直方图(histogram of oriented gradient，hog)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述符。方向梯度直方图可以用来确定第二光流场的结构和局部信息。由于梯度场通常在其边缘和轮廓的地方梯度
强度最大，也就是说人体轮廓部分的梯度值最大。因此，当得到这个权重系数的加权之后，沿着人体形状轮廓部分的光流场强度就得到相应的加强。那么这个特征描述符就能很好的描述人体的行为动作特征，本实施例中的特征描述符既包含了第一光流场中的运动信息，又蕴含了人体姿势的轮廓信息。采用关键点的描述子向量作为第一图像的特征描述符能准确、全面描述人体的运动特征，为后续的动态系统建模奠定了良好的基础。
[0085]
本实施例中，第一特征序列提供了第一视频在连续多个时刻点的归一化的方向梯度直方图(特征描述符)；本发明提供实施例中，为了确定人体动作的变化，需要比较两帧第一图像的特征描述符，通过对特征描述符比较的结果来识别人体的行为动作。
[0086]
步骤s300、根据所述第一特征序列建立第一运动模型；
[0087]
参照图3，对于步骤s300，具体步骤如下：
[0088]
步骤s310、建立所述第一视频的运动模型，以将所述第一特征序列由非欧空间映射为再生核希尔伯特空间；
[0089]
其中，所述运动模型包括第一视频的动态部分和噪声部分。
[0090]
步骤s320、根据所述第一特征序列确定所述运动模型的模型参数，得到第一运动模型。
[0091]
对于步骤s310，所述第一特征序列的运动模型为：
[0092][0093]
其中，所述a是状态转移矩阵，所述b表示输入噪声对状态变化的影响，所述c为线性操作符，用于将变化状态转化为系统的输出，所述x
t
表示第一视频的动态部分，所述y
t
为第一视频的表观特征，所述v
t
和w
t
分别为时刻t的模型噪声和观察噪声。
[0094]
第一视频的动态部分x
t
表示为时间进化状态过程；x0是系统的初始化条件；第一视频的表观特征y
t
是当前状态矢量与观测噪声的线性函数，x
t
∈r
n
，x0∈r
n
，y
t
∈r
m
，w∈r
m
，a∈r
n
×
n
，n、m均为空间维度。
[0095]
本实施例采用运动模型将非欧空间的第一特征序列转换为再生核希尔伯特空间特征序列在再生核希尔伯特空间表达第一特征序列的运动模型；
[0096]
需要说明的是，给定一个视频来训练运动模型时，首要的任务就是从视频的特征轨迹(光流场)中学习运动模型的模型参数，上述实施例中，视频对应的运动模型的模型参数可以用一个数组m＝(a，b，c，x
t
)来表示。
[0097]
本实施例假设噪声是一个零均值独立同分布正态随机高斯过程。学习系统的主要目的就是在确定第一矩阵的情况下，计算参数a、b和变化序列x
t
。
[0098]
参照图4，对于步骤s320，具体步骤如下：
[0099]
步骤s321、计算所述第一特征序列的核矩阵，得到第一矩阵；
[0100]
本实施例中，所述第一特征序列为y
t
＝[y
t；1
,y
t；2
,...,y
t；i
,...,y
t；n
]
t
；
[0101][0102]
其中，i为第一特征序列中特征描述符的编号；n为第一特征序列中全部特征描述符的总数；y
t；i
为在时刻t时第一特征序列中第i个特征描述符；
[0103]
所述第一矩阵的计算公式为：
[0104][0105]
其中，e＝[1,...,1]
t
，e∈r
n
，n为空间维度；
[0106]
k为核矩阵，k(y
i
,y
j
)＝φ(y
i
)
t
φ(y
j
)；
[0107]
y
i
为第i个特征描述符，y
j
为第j个特征描述符。
[0108]
本实施例中，采用第一矩阵表示高维空间中零均值数据(第一特征序列)的核。
[0109]
步骤s322、对所述第一矩阵进行奇异值分解，得到多个特征向量，获取每个所述特征向量对应的核主成份；
[0110]
对第一矩阵进行奇异值分解，得到将特征向量v中的第j个特征向量表示为v
j
；根据特征向量v
j
获取第j个核主成份式中α
i,j
表示第j个权重向量α
j
的第i个成分，其中，权重向量按照特征值进行降序排列。
[0111]
步骤s323、根据所述第一矩阵和每个特征向量对应的核主成份确定所述运动模型的模型参数，得到第一运动模型。
[0112]
本实施例中，得到核主成份和第一矩阵后，该运动模型的隐含状态x＝[x0,...,x
n
‑1]和状态转移矩阵a就可以计算出来：
[0113]
具体地，首先采用以下公式计算：
[0114][0115]
a＝[x0,...,x
n
‑1][x0,...,x
n
‑2]
t
；
[0116]
式中，x为所述运动模型的隐含状态；a即为状态转移矩阵；
[0117]
时刻t的模型噪声为：
[0118]
v
t
＝x
t
‑
ax
t
‑1，
[0119]
式中，v
t
为时刻t的模型噪声，x
t
为时刻t的动态部分；
[0120]
时刻t噪声的协方差矩阵为：
[0121]
式中，为时刻t噪声的协方差矩阵；
[0122]
接着，采用平方根法分解则有从而确定输入噪声对状态变化的影响b。
[0123]
本发明提供的实施例中，将第一视频作为一个运动模型，通过运动模型反映第一视频中人体的行为动作，运动模型将第一视频的视觉成分和内在的动态部分分割成两个随机过程。其中，第一视频的动态部分表示为时间进化状态过程x
t
∈r
n
，而视频帧的表观特征y
t
∈r
m
是当前状态矢量与观测噪声的线性函数。
[0124]
步骤s400、将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作；其中，所述第二运动模型包含至少一个运动动作；
[0125]
参照图5，对于步骤s400，具体步骤如下：
[0126]
步骤s410、计算所述第一运动模型和预先设定的第二运动模型的度量距离：
[0127]
步骤s420、确定所述度量距离是否在设定阈值范围内，若是，则将所述第二运动模
型的运动动作作为所述第一运动模型的运动动作。
[0128]
本发明提供的实施例中，通过将第一特征序列(h∈h)映射到一个高维(甚至是无限维)的希尔伯特空间来重点关注相似度测量的构造，其中映射为:φ:h
→
f。f是个希尔伯特空间。
[0129]
对于存在于非线性流形h中的点给出第一核函数k(y1,y2)＝φ(y1)
t
φ(y2)，因此可以计算原始表征上的核函数进而计算得到再生核希尔伯特空间上的相似度。
[0130]
再生核希尔伯特空间中点与点之间的一种距离求和，再生核希尔伯特空间就是第一特征序列所生成的空间。对2个特征描述符(比如从线性变化数据中产生的直方图)而言，可以在度量空间直接计算；对于所述第一运动模型和预先设定的第二运动模型，所述度量距离的计算公式为：
[0131][0132]
或者：
[0133][0134]
其中，y1为所述第一运动模型的空间度量，y2为所述第二运动模型的空间度量，y
1；j
为所述第一运动模型中第j个的特征描述符，y
2；j
为所述第二运动模型中第j个的特征描述符。
[0135]
在另一实施例中，还可以采用比奈
‑
柯西最大单值核测量所述运动模型和标准模型的度量距离。
[0136]
可以理解，将所述第一特征序列中的全部特征描述符分别与所述第二运动模型中对应的特征描述符均求取空间距离后，即可在整体上表达第一运动模型和第二运动模型的度量距离；若所述度量距离在设定阈值范围内，则将所述第二运动模型的运动动作作为所述第一运动模型的运动动作。需要说明的是，所述设定阈值范围体现了对运动动作的要求，需要根据实际情况进行设定，例如，将阈值范围的取值设定的较小时，则对运动动作的要求标准较高；
[0137]
步骤s500、根据识别到的运动动作确定所述第一视频的动作识别率。
[0138]
需要说明的是，本实施例中所述的预先设定的第二运动模型，其数学模型和所述第一运动模型一致，这样才能在同样的度量空间进行距离度量；在一些实施例中，所述第二运动模型采用与所述第一运动模型同样的方法建立，在另一实施例中，所述第一视频的数量不做限制，例如，可以对一个或者对多个学员学员就同一个或几个运动动作进行训练时，拍摄得到多个第一视频，对多个所述第一视频包分别建立多个第一运动模型，然后将多个所述第一运动模型分别与第二运动模型进行比对，识别运动动作；这样，可以对一个学员的多个运动动作，或多个学员的运动动作分别进行识别；由于本发明提供的实施例不需要对获取到的第一视频进行目标检测、目标跟踪、滤波去噪等一些预处理，直接对第一视频进行特征提取和表示，然后建立运动模型，进行度量距离测量即可，具有较高的准确度。可以提供准确的、有针对性的训练反馈。
[0139]
在一些实施例中，将获取到的每个视频的动作识别率进行分析，将识别率设置梯度值，例如识别率超过90％代表非常好，80％
‑
90％代表动作准确，低于80％代表动作不规范，有待提高，基于这个模式对用户整套运动动作进行评分，将评分结果反馈给用户，针对
每个动作识别率进行综合分析后给出用户训练报告，将用户训练中存在的不规范动作进行反馈，并给出合理化建议，并通过用户的每一次训练结果，结合用户自身情况，提供更适合用户当前情况的训练课程。
[0140]
下面是本发明实施例中的一种实验数据，本次实验中，一共测试9个行为动作，每个动作由20个人来做，即每个动作有20段视频。得到下表表1的统计数据。
[0141]
表1：行为动作识别结果表
[0142][0143]
本发明提供的实施例中，基于人体的运动动作识别对用户训练时的行为动作进行分析反馈，极大的提升了线上健身课程的实用价值，相比于传统线上健身课程，通过采用本发明提供的实施例，有着跟贴合线下健身房训练的效果，相当于有了线下健身教练的训练的效果；通过对用户的训练动作进行打分和给出分析报告，对于用户来说就可以知道自己每次训练的成效，动作是否准确，针对分析报告就可以针对自己不规范的训练动作进行调整，从而再一次次的训练中达到最佳效果。
[0144]
需要说明的是，本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0145]
人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0146]
另外，参照图6，本发明的一个实施例还提供了一种基于计算机视觉的运动数据处理装置，包括：
[0147]
获取模块100，用于获取第一视频，所述第一视频包括人体进行运动训练的行为动作；
[0148]
特征提取模块200，用于根据所述第一视频生成连续多帧的第一图像，对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列；其中，所述第一特征序列包括多个特征描述符，所述特征描述符分别与所述第一图像一一对应；
[0149]
模型建立模块300，用于根据所述第一特征序列建立第一运动模型；
[0150]
动作识别模块400，用于将所述第一运动模型和预先设定的第二运动模型进行比对，以识别所述第一运动模型中包含的运动动作；其中，所述第二运动模型包含至少一个运动动作；
[0151]
输出模块500，用于根据识别到的运动动作确定所述第一视频的动作识别率。
[0152]
在一实施例中，特征提取模块200中，所述对所述连续多帧的第一图像分别进行特征提取，得到第一特征序列，包括：
[0153]
计算所述第一图像的第一梯度场和第一光流场；
[0154]
将所述第一梯度场的强度与第一光流场相乘，得到第二光流场；
[0155]
计算所述第二光流场的方向梯度直方图，作为所述第一图像的特征描述符；
[0156]
将全部第一图像的特征描述符按时间顺序形成第一特征序列。
[0157]
在一实施例中，所述模型建立模块300具体用于：
[0158]
建立所述第一视频的运动模型，以将所述第一特征序列由非欧空间映射为再生核希尔伯特空间；
[0159]
根据所述第一特征序列确定所述运动模型的模型参数，得到第一运动模型。
[0160]
在一实施例中，所述根据所述第一特征序列确定所述运动模型的模型参数，得到第一运动模型，包括：
[0161]
计算所述第一特征序列的核矩阵，得到第一矩阵；
[0162]
对所述第一矩阵进行奇异值分解，得到多个特征向量，获取每个所述特征向量对应的核主成份；
[0163]
根据所述第一矩阵和每个特征向量对应的核主成份确定所述运动模型的模型参数，得到第一运动模型。
[0164]
在一实施例中，所述动作识别模块400具体用于：
[0165]
计算所述第一运动模型和预先设定的第二运动模型的度量距离：
[0166]
确定所述度量距离是否在设定阈值范围内，若是，则将所述第二运动模型的运动动作作为所述第一运动模型的运动动作。
[0167]
另外，参照图7，本发明的一个实施例还提供了一种电子设备，该电子设备10包括：存储器11、处理器12及存储在存储器11上并可在处理器12上运行的计算机程序。
[0168]
处理器12和存储器11可以通过总线或者其他方式连接。
[0169]
实现上述实施例的基于计算机视觉的运动数据处理方法所需的非暂态软件程序以及指令存储在存储器11中，当被处理器12执行时，执行上述实施例中的基于计算机视觉的运动数据处理方法，例如，执行以上描述的图1中的方法步骤s100至步骤s500、图2中的方法步骤s210至步骤s240、图3中的方法步骤s310至步骤s320、图4中的方法步骤s321至步骤s323、图5中的方法步骤s410至步骤s420。
[0170]
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0171]
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个处理器或控制器执行，例如，被一个处理器执行，可使得上述处理器执行上述实施例中的基于计算机视觉的运动数据处理方法，例如，执行以上描述的图1中的方法步骤s100至步骤s500、图2中的方法步骤s210至步骤s240、图3中的方法步骤s310至步骤s320、图4中的方法步骤s321至步骤s323、图5中的方法步骤s410至步骤s420。
[0172]
需要指出的是，本发明提供的实施例可用于众多通用或专用的计算机系统环境或
配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本发明提供的实施例可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0173]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd
‑
rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0174]
以上是对本发明的较佳实施进行了具体说明，但本发明并不局限于上述实施方式，熟悉本领域的技术人员在不违背本发明精神的前提下还可作出种种的等同变形或替换，这些等同的变形或替换均包含在本发明权利要求所限定的范围内。