一种基于分肢元动作联接的三维人体行为识别方法与流程

1.本发明属于计算机视觉和模式识别领域，具体涉及一种基于分肢元动作联接进行三维人体行为识别的方法，所述方法能够通过元动作码本表达不同表现内容、不同复杂程度的行为，对行为的表达具有一定鲁棒性；同时设计的二进制时序迭代向量解决了不等长动作时序特征的分类问题，在复杂动作的行为识别分类过程中得到较好的准确率。


背景技术：

2.人体行为识别广泛应用于我们的日常生活中，分析和理解传感器所采集到的人体行为对人类社会智能化发展具有重要意义，因此，人体行为识别拥有广阔的发展前景和研究意义，主要包括人机交互，虚拟现实，自动视觉监视，甚至在医学领域也逐渐扮演重要的角色。
3.随着深度传感器的发展与普及，获取高精度高帧率的三维人体关节点数据愈发方便简单，同时三维关节点数据对人体行为的描述有着一定优势，比如准确描述人体姿势状态且不受背景色彩以及光照明暗变化的影响。
4.根据人体动力学，人体可以分解为手臂、腿和主躯干五个部分，人体的动作是由这些身体部分的动作组成的，鉴于此，本发明将人体骨骼划分为相应的五个部分分别设计元动作码本。然而，行为识别的研究工作主要在短期单一动作，比如“喝水”、“看手表”等，但是人类行为应侧重于长时间的复杂活动，这极大限制了对人们日常连续行为的理解，而复杂活动是由简单行为组合起来的，比如“打扫卫生”，可认为是“扫地”、“拖地”和“倒垃圾”等一系列行为的组合；同时人体行为序列中并非所有的帧对行为识别都有意义，因此分割点帧能够有效的选择行为表达力最强的帧从而减少数据的冗余、降低运算的复杂度。聚类等无监督学习的方式是获取元动作码本常用的方式，但是无监督需要在已知的数据集中完成，且只能对特定的数据集有较好的表达能力，无法用元动作对未知的数据集很好的进行表达；而且对于时间长度不一致的样本，通常采用删除或复制的形式使其保持一致，从而使得特征维度一致，严重破坏了人体行为的时序结构及行为理解的可解释性。


技术实现要素：

5.针对现有元动作行为识别存在的问题，本文发明了一种针对分肢元动作码本进行三维人体关节点行为识别的方法，在元动作行为识别的过程中本发明能够充分保证元动作码本的泛化能力，设计二进制时序迭代向量能够合理的解决时间长度不一致的问题且充分保证元动作间的时序性。为此，需要解决的关键技术问题包括：姿态特征的提取；分肢元动作码本的设计；获取分割点帧及其特征；样本特征与元动作特征相似性度量计算；构建二进制时序迭代向量和最终行为分类识别的计算。为实现上述目的，本发明的具体技术方案如下：
6.一种针对人体三维骨架基于人体分肢元动作联接的行为识别方法，所述方法包括以下步骤：
7.步骤1：设计五大分肢元动作码本以及读取三维人体关节点数据，具体为：
8.根据人体空间结构将骨架关节点分为五大部分，分别为：左臂、右臂、左腿、右腿和主躯干。根据每个分肢的活动范围分别设计元动作码本，其数量分别为：14个、14个、8个、8个、8个。其中左臂和右臂、左腿和右腿的元动作对称。
9.通过深度传感器获取三维人体关节点数据，将动作数据序列按照以下结构读取，一个行为序列中包含t帧，每帧中提供n个关节点的三维位置坐标，那么该行为序列的关节位置矩阵可以表示为：
[0010][0011]
其中，p
tn
表示第t帧中第n个关节点，p
tn
＝(x
tn
,y
tn
,z
tn
)，t∈{1,2,...,t}，n∈{1,2,...,n}，x
tn
,y
tn
,z
tn
分别表示该关节点关节点的x轴、y轴和z轴的坐标；
[0012]
步骤2：姿态特征的提取，计算每一帧特征向量，分别通过8维表示，其中前6维为角度特征，后2维为距离特征，首先为了保持不同视角下动作的唯一性，根据人体结构创建动态三维坐标系，以左肩到右肩为x轴、以头部到腹部为y轴、以x轴绕y轴旋转90度为z轴；然后前6维特征分别为大小臂或大小腿与三维坐标轴的夹角，后2维特征为手腕或脚腕关节点和肘部或膝部关节点分别与腹部关节点的距离。具体计算方式如下：
[0013]vt,x
＝p
t,2-p
t,5
[0014]vt,y
＝p
t,9-p
t,0
[0015][0016][0017][0018][0019][0020]
其中，p
t2
为左肩，p
t5
为右肩，p
t9
为髋部中心，p
t0
为头部，p
t1
为颈部关节点，p
t8
为腹部中心，v
t,x
为x轴向量，v
t,y
为y轴向量，v
t,z
为z轴向量，θ
t,n,m,x
、θ
t,n,m,y
和θ
t,n,m,z
分别表示任一肢体向量与x轴、y轴、z轴的夹角，||
·
||表示欧式距离，对肢体关节点求相对腹部中心参
考点的向量d
tn
，并通过对颈部到腹部中心的距离进行归一化得到距离特征。第t帧的姿态特征向量表示为：
[0021]ft
＝[θ
t,n,m,x
,θ
t,n,m,y
,θ
t,n,m,z
,θ
t,p,q,x
,θ
t,p,q,y
,θ
t,p,q,z
,d
t,1
,d
t,2
]
[0022]
步骤3：确定分割点帧，并索引帧号姿态特征。
[0023]
将人体关节的连续运动中发生连续的明显停顿或变化不大的帧定义为分割点帧，分割点帧具有较强的行为表达能力，能用较少的数据量表达完整的行为。动能能够清晰的表达人体的运动速度变化及状态，本发明通过计算每一帧人体关节点相比于初始状态的动能之和确定分割点帧，具体为：
[0024][0025]
其中，x
n,0
、y
n,0
和z
n,0
分别为初始帧第n个关节点的坐标位置，x
n,t
、y
n,t
和z
n,t
分别为第t帧第n个关节点的坐标位置，e
n,t
是第t帧n个关节点位移距离动量之和，在e
n,t
中变化连续平稳的帧中选取一帧作为分割点帧，并记录该序列分割点帧的序号。
[0026]
步骤4：利用分肢元动作码本的联接表达动作，通过分割点分肢姿态特征与码本姿态特征进行相似性度量，再将五大分肢的元动作表达联接构成动作姿态的元动作特征向量，具体为：
[0027]
步骤4.1：通过余弦相似度对分割点处的分肢姿态特征和码本姿态特征进行计算，度量值越接近于1说明相似程度越高，得到分肢元动作码本数量维度的相似度向量，具体计算公式如下，其中a和b分别表示两个特征向量：
[0028][0029]
步骤4.2：为了避免相似度向量的信息冗余和只选择最高相似度的元动作编号导致的较低容错率，故从分肢的相似度向量中选择其中前三高的元动作编号作为分割点姿态特征的元动作表示v
ra
＝[ra1,ra2,ra3]，其中ra表示为上肢右臂；
[0030]
步骤4.3：对于每个分肢分别通过步骤4.2的方法获取前三高的元动作编号，具体表示如下，其中ra、la、rl、ll和ts分别表示右臂、左臂、右腿、左腿和主躯干：
[0031][0032]
步骤5：采用二进制编码，构建分肢二进制时序迭代向量，主要解决不同样本分割点帧个数不一致，导致特征维度不一致难以直接分类的问题，同时二进制的迭代方式保持了分割点帧特征的时序关系，具体为：
[0033]
步骤5.1：初始化二进制时序迭代向量，根据分肢元动作码本的个数，初始化生成相同维度的“0”向量；
[0034]
步骤5.2：通过步骤4中获得分肢的前三高元动作编号，根据分割点帧的时序关系，以二进制累加的方式在对应分肢的对应位置进行迭代初始的“0”向量，形成样本对应分肢的二进制时序迭代向量。
[0035][0036]
步骤5.3：五个分肢均完成步骤5.2后，将各个分肢的二进制时序迭代向量拼接，构成动作样本的特征向量。
[0037]vtopthree
＝[v
ra
,v
la
,v
rl
,v
ll
,v
ts
]
[0038]
步骤6：基于元动作编码的行为分类，将步骤5中得到的分肢二进制时序迭代向量作为样本特征数据，和样本类别标签对应输入到人体行为分类器中，输出得到行为类别的分类结果。
附图说明
[0039]
图1为本发明实施中基于元动作的三维人体关节点行为识别方法；
[0040]
图2为本发明实施例中人体骨架关节点模型；
[0041]
图3为本发明实施例中分割点帧处动作变化展示；
[0042]
图4位本发明实施例中设计的元动作码本样例展示；
[0043]
图5为本发明实施例中识别结果混淆矩阵；
具体实施方式
[0044]
下面结合附图对本发明作进一步描述。以下以一个“去上班”动作为例来说明本发明的技术方案及其实施过程，不能以此来限制本发明的保护范围。如图1所示的是一种基于
分肢元动作的三维人体行为识别方法的过程，其具体实现步骤如下：
[0045]
步骤1：设计五大分肢元动作码本以及读取三维人体关节点数据。三维人体关节点数据模型如图2所示，当该行为序列共包含139帧，每帧包含19个关节点，则将整个行为序列的关节位置矩阵可表示为：
[0046][0047]
步骤2：姿态特征的提取，计算每一帧分肢特征向量，分别通过8维表示，其中前6维为角度特征，后2维为距离特征，以上肢左臂为例：
[0048]
θ
1,2,3,x
＝103，θ
1,2,3,y
＝162，θ
1,2,3,z
＝80，θ
1,4,3,x
＝75，θ
1,4,3,y
＝23，
[0049]
θ
1,4,3,z
＝78，d
1,3
＝68.4532，d
1,4
＝54.2523
[0050]
那么在第1帧时的5个分肢共40维姿态特征向量为：
[0051]
f1＝[103,162,80,75,...,174,91,50.00,94.7477]
[0052]
步骤3：确定分割点帧，并索引帧号姿态特征。在该行为序列中，提取的分割点帧号为{20,26,40,65,84,116,139}，对应的特征向量如下：
[0053][0054]
步骤4：分割点姿态特征与码本姿态特征进行相似性度量，并选取前三高的元动作编号，对应的分割点帧动作变化如图3所示，分割点帧处分肢对应的前三高元动作如图4所示，该行为的前三高元动作矩阵如下：
[0055][0056]
步骤5：二进制编码，构建分肢二进制时序迭代向量。最终可得到该行为序列的二进制时序迭代向量为[127,70,123,13,0,0,0,0,0,0,48,0,0,0,95,20,40,80,0,0,0,0,0,0,111,35,0,0,127,83,0,92,34,12,33,0,37,74,92,30,0,97,2,49,78,48,51,68,12,3,73,48]。
[0057]
步骤6：基于元动作编码的行为分类。将步骤5中得到的分割点帧的二进制时序迭代向量作为特征输入值，输入分类器中，输出行为类别分类结果为’go to office’。实验在xupt-vdail-humanaction-datasets数据集上进行验证，该数据集由西安邮电大学vdail实
验室采用深度传感器录制，包括21个受测者执行8个室内日常活动，活动内容包含人与物交互的多个相关行为，每个活动的录制由受测者在一定范围内自由发挥而不被专门限定，活动类别分别是go to office,clean,study,have a meeting,recreation,take exercise,relaxation和offduty。活动识别分类结果的混淆矩阵如图5所示，其五折交叉验证识别准确率约为73.79％。