人体行为识别方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及智能交互技术领域，尤其涉及一种人体行为识别方法、装置、设备及计算机可读存储介质。


背景技术：

2.人体的动作检测识别方法，在当今社会具有非常广泛的应用，例如：智能监控、人机交互的体感游戏、视频检索等等。通常情况下，人体的动作检测都是基于人体的骨骼识别进行，即获取人体骨骼各骨骼点的三维坐标数据来实现动作识别，而各骨骼点的三维坐标数据即为各骨骼点对应的骨骼特征。
3.对于进行骨骼特征提取的图像识别技术，目前相关图像识别都是基于二维的图像进行识别的，而从二维平面图像获取的信息有限，识别过程中也很容易受到二维平面图像拍摄时的环境与光线的影响，因此，目前用于提取识别骨骼点的三维坐标数据(即骨骼特征)的图像识别技术识别的准确度较低。
4.上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。


技术实现要素：

5.本发明的主要目的在于提供一种人体行为识别方法、装置、设备及计算机可读存储介质，旨在解决目前进行骨骼特征提取的图像识别技术识别准确率较低的技术问题。
6.为实现上述目的，本发明提供一种人体行为识别方法，所述人体行为识别方法包括以下步骤：
7.基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；
8.将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；
9.基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；
10.根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。
11.进一步的，在所述将所述坐标数据转换至所述目标人物所处的人体空间坐标系的步骤之前，所述方法包括：
12.基于所述目标人物的躯干关节点中的中心关节点以及所述躯干关节点中任意三个不共线的关节点，生成以所述目标人物为中心所述目标人物的人体空间坐标系。
13.进一步的，所述基于所述目标人物的躯干关节点中的中心关节点以及躯干关节点中任意三个不共线的关节点，生成以所述目标人物为中心的人体空间坐标系的步骤包括：
14.将所述目标人物的所述中心关节点作为所述人体空间坐标系的坐标原点，其中，
所述中心关节点为所述躯干关节点中的臀部关节点；
15.将所述躯干关节点中任意三个不共线的关节点所处的平面作为所述人体空间坐标系的一坐标平面，得到以所述目标人物为中心的所述人体空间坐标系。
16.进一步的，所述将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系的步骤包括：
17.基于所述躯干关节点所处平面的法线与采集坐标系的坐标平面之间的夹角生成旋转参数，其中，所述采集坐标系为所述三维坐标数据对应的坐标系，所述采集坐标系的坐标平面与所述法线不平行；
18.基于所述旋转参数和在采集坐标系下的目标人物的臀部关节点坐标，对所述三维坐标数据进行转换，以将所述三维坐标数据转换至所述人体空间坐标系。
19.进一步的，所述基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据的步骤包括：
20.对所述人体空间坐标系下各所述关节点的运动轨迹进行捕捉生成时域信息；
21.对所述人体空间坐标系下骨骼线进行运动前后的角度特征捕捉生成空域信息，其中，所述骨骼线为任意两个相连接的关节点的连线；
22.基于所述时域信息和空域信息生成所述人体动作数据。
23.进一步的，所述根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为的步骤包括：
24.将基于所述人体动作数据和所述活动场景从预设行为数据库中匹配到的行为作为所述目标人物的行为。
25.进一步的，在所述基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据的步骤之后，所述方法还包括：
26.通过加权递推平均滤波算法对所述三维坐标数据进行滤波，以除去所述三维坐标数据的波动，生成新的所述三维坐标数据。
27.此外，为实现上述目的，本发明还提供一种人体行为识别装置，所述人体行为识别装置包括：
28.获取模块，用于基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；
29.转换模块，用于将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建空间坐标系；
30.捕捉模块，用于基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；
31.生成模块，用于根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。
32.此外，为实现上述目的，本发明还提供一种人体行为识别设备，所述人体行为识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人体行为识别程序，所述人体行为识别程序被所述处理器执行时实现如上述的人体行为识别方法的步骤。
33.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人体行为识别程序，所述人体行为识别程序被处理器执行时实现如上述的人体行为识别方法的步骤。
34.本发明实施例提出的一种人体行为识别方法、装置、设备及计算机可读存储介质，通过基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。即通过带有深度信息的目标人物的图像获取到目标人物的各关节点的三维坐标数据，相比仅基于二维图像生成三维坐标数据，本实施例中目标人物的图像中带有各像素的深度信息，因此，在获取关节点的三维坐标数据过程中不会受到环境和光线的影响，使得本发明中得到的三维坐标数据更加准确。同时还将基于识别出来的人体动作数据结合目标人物的活动场景对目标人物的行为进行识别，使得人体行为识别结果更加准确。
附图说明
35.图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图；
36.图2为本发明人体行为识别方法中第一实施例的流程示意图；
37.图3为本发明人体行为识别方法中人体空间坐标系的示意图；
38.图4为本发明人体行为识别方法中关节点三维坐标数据旋转示意图；
39.图5为本发明人体行为识别方法中3d结构光传感器的示意图；
40.图6为本发明人体行为识别方法中3d结构光传感器采集到的图像的示意图；
41.图7为本发明人体行为识别方法涉及的装置结构示意图。
42.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
43.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.本发明实施例的主要解决方案是：通过深度光传感器获取目标人物的各关节点的三维坐标数据；将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系；基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；根据所述人体动作数据和所述目标人物所处的活动场景生成所述目标人物的行为。
45.由于目前进行骨骼特征提取的图像识别技术存在识别准确率较低的技术问题。
46.本发明提供一种解决方案，通过深度光传感器获取目标人物的各关节点的三维坐标数据，相比仅基于二维图像生成三维坐标数据，深度光传感器将获取到图像上各个像素的深度信息，因此，将不会受到环境和光线的影响，使得本发明中获取到三维坐标数据更加准确。同时还将基于识别出来的人体动作数据结合目标人物的活动场景对目标人物的行为进行识别，使得人体行为识别结果更加准确。
47.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
48.本发明实施例设备可以是vr(virtual reality，虚拟现实)设备，也可以是pc、智
能手机、平板电脑、便携计算机等具有数据接收、数据处理和数据输出功能的电子终端设备。
49.如图1所示，该设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
50.可选地，设备还可以包括摄像头、rf(radio frequency，射频)电路，传感器、音频电路、wifi模块等等。其中，传感器比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示屏的亮度，接近传感器可在移动终端移动到耳边时，关闭显示屏和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别移动终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；当然，移动终端还可配置陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
51.本领域技术人员可以理解，图1中示出的设备结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
52.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及人体行为识别程序。
53.在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的人体行为识别程序，并执行以下操作：
54.基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；
55.将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；
56.基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；
57.根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。
58.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行以下操作：
59.在所述将所述坐标数据转换至所述目标人物所处的人体空间坐标系的步骤之前，所述方法包括：
60.基于所述目标人物的躯干关节点中的中心关节点以及所述躯干关节点中任意三个不共线的关节点，生成以所述目标人物为中心的人体空间坐标系。
61.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行
以下操作：
62.所述基于所述目标人物的躯干关节点中的中心关节点以及所述躯干关节点中任意三个不共线的关节点，生成以所述目标人物为中心的人体空间坐标系的步骤包括：
63.将所述目标人物的所述中心关节点作为所述人体空间坐标系的坐标原点，其中，所述中心关节点为所述躯干关节点中的臀部关节点；
64.将所述躯干关节点中任意三个不共线的关节点所处的平面作为所述人体空间坐标系的一坐标平面，得到以所述目标人物为中心的所述人体空间坐标系。
65.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行以下操作：
66.所述将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系的步骤包括：
67.基于所述躯干关节点所处平面的法线与采集坐标系的坐标平面之间的夹角生成旋转参数，其中，所述采集坐标系为所述三维坐标数据对应的坐标系，所述采集坐标系的坐标平面与所述法线不平行；
68.基于所述旋转参数和在采集坐标系下的目标人物的臀部关节点坐标，对所述三维坐标数据进行转换，以将所述三维坐标数据转换至所述人体空间坐标系。
69.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行以下操作：
70.所述基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据的步骤包括：
71.对所述人体空间坐标系下各所述关节点的运动轨迹进行捕捉生成时域信息；
72.对所述人体空间坐标系下骨骼线进行运动前后的角度特征捕捉生成空域信息，其中，所述骨骼线为任意两个相连接的关节点的连线；
73.基于所述时域信息和空域信息生成所述人体动作数据。
74.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行以下操作：
75.所述根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为的步骤包括：
76.将基于所述人体动作数据和所述活动场景从预设行为数据库中匹配到的行为作为所述目标人物的行为。
77.进一步地，处理器1001可以调用存储器1005中存储的人体行为识别程序，还执行以下操作：
78.在所述基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据的步骤之后，所述方法还包括：
79.通过加权递推平均滤波算法对所述三维坐标数据进行滤波，以除去所述三维坐标数据的波动，生成新的所述三维坐标数据。
80.参照图2，本发明人体行为识别方法中的第一实施例，所述人体行为识别方法包括：
81.步骤s10，基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其
中，所述图像包含有深度信息；
82.在本实施例中，目标人物的各关节点是指人体中骨骼关键点，例如头部、颈部、左肩、右肩、左肘、右肘、左腕、右腕、左膝、右膝、左踝、右踝、脊柱中心和臀部中心等。进一步的，通过深度光传感器采集所述目标人物的图像数据，而通过深度光传感器采集到的图像数据包含有深度信息；通过带有深度信息的图像数据生成基于采集坐标系下的三维坐标数据。
83.具体的，在本实施例中深度光传感器可以为3d(3dimensions，三维)结构光传感器，其中，3d结构光传感器如图5所示，主要包括：彩色相机(rgb camera)、红外相机(ir camera)、点阵式投影机(ir dot projector)、泛光灯(flood led)、距离探测器(distance detection)。此外，3d结构光传感器还配套有算法平台。通过3d结构光传感器采集目标人物的图像数据且采集到的图像数据包含有深度信息，其中，深度信息可由距离探测器得到，且深度信息为拍摄点到拍摄目标之间的距离，例如，3d结构光传感器与目标人物之间的距离，基于图像数据并配合配套的算法平台将生成目标人物各关节点的在采集坐标系下的三维坐标数据，图6为3d结构光传感器采集到的图像的示意图，图中gl即为深度数据。
84.进一步的，通过加权递推平均滤波算法对所述三维坐标数据进行滤波，以除去所述三维坐标数据的波动，生成新的所述三维坐标数据。
85.具体的，在本实施例中，采集目标人物的各关节点的三维坐标数据将是基于时间的连续的数据，例如红外相机每秒的采集60张图像，则人体关节点的坐标每秒将刷新60，而人体在运动过程中本身就存在抖动，因此，生成的关节点的坐标数据将存在波动。为减少采集到的三维坐标数据的波动，将对其进行滤波。具体为，获取所述三维坐标数据对应的历史坐标数据，其中，所述历史坐标数据为采集所述三维坐标数据之前的预设时段内已采集的坐标数据；将同一关节点的所述三维坐标数据和所述历史坐标数据分别与对应的权值相乘，以对每个关节点的所述三维坐标数据和所述历史坐标数据进行加权，所述权值大小与采集间隔成反比，各所述权值的和为1，所述采集间隔为所述权值对应的坐标数据采集时间与所述三维坐标数据采集时间之间的间隔；将加权后的所述三维坐标数据以及加权后所述历史坐标数据相加得到滤波后的各关节点数据新的所述三维坐标数据。具体的一关节点的滤波公式如下：
[0086][0087]
式中，gk为经过滤波后新的关节点坐标，gi为采集到的关节点的历史坐标，i为采集到的关节点的采集序号，n为关节点的历史坐标的数量，μi为序号为i的坐标数据对应的权值，其中，各权值相加的和为1。
[0088]
例如，以一个关节点为例进行说明，该关节点对应的一组按照时间先后的坐标数据为：坐标数据1、坐标数据2、坐标数据3、坐标数据4、坐标数据5，则n为5。其中，坐标数据5为此时采集到得数据，坐标数据1、坐标数据2、坐标数据3和坐标数据4为采集坐标数据5之前依次采集到的。将坐标数据1
×
权值1、坐标数据2
×
权值2、坐标数据3
×
权值3、坐标数据4
×
权值4、坐标数据5
×
权值5，其中，权值1、权值2、权值3、权值4和权值5的大小依次减小，且权值1至权值5的和为1。将坐标数据1
×
权值1 坐标数据2
×
权值2 坐标数据3
×
权值3 坐标数据4
×
权值4 坐标数据5
×
权值5＝新的关节点数据(gk)，且各个关节点的滤波操作与上述过程相同，此处不再赘述。经过滤波处理后各关节点的三维坐标数据将更加稳定，即各个
关节点的运动轨迹更加平滑。
[0089]
步骤s20，将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；
[0090]
进一步的，在所述将所述坐标数据转换至所述目标人物所处的人体空间坐标系的步骤之前，所述方法包括：基于所述目标人物的躯干关节点中的中心关节点以及所述躯干关节点中任意三个不共线的关节点，生成以所述目标人物为中心的人体空间坐标系。
[0091]
在本实施例中，三维坐标数据实际为采集时的原始坐标系下的坐标数据。将三维坐标数据转换至目标人物所处的人体空间坐标系，从而对三维坐标数据进行空间坐标重构。具体的，将基于目标人物的躯干关节点生成人体空间坐标系。躯干关节点可包括左肩关节点、右肩关节点、颈部关节点、臀部关节点和头部关节点等。其中，当人体处于正常站立状态下时，各个躯干关节点将处于同一个平面之中，而躯干关节点中任意三个不共线的关节点即可确定躯干关节点所处的平面。而中心关节点可以是颈部关节点、臀部关节点和头部关节点。技术人员可根据实际情况自由选择。
[0092]
进一步的，将所述目标人物的所述中心关节点作为所述人体空间坐标系的坐标原点，其中，所述中心关节点为所述躯干关节点中的臀部关节点；将所述躯干关节点中任意三个不共线的关节点所处的平面作为所述人体空间坐标系的一坐标平面，得到以所述目标人物为中心的所述人体空间坐标系。
[0093]
具体的，一个三维的空间坐标系通常是由坐标原点、x轴、y轴和z轴，而x轴、y轴和z轴任意连个轴组合可得到一个坐标平面，如xy平面、xz平面以及yz平面。将臀部关节点作为人体空间坐标系的原点，将躯干关节点中任意三个不共线的关节点所述处的平面作为一个坐标平面，通常情况去躯干关节点中各。而一个三维坐标系中通常会有三个坐标平面，技术人员可根据需求各个平面的位置。可以理解的是，当确定坐标原点以及一个坐标平面之后即可确定一个空间坐标系。而在本实施例中，如图3所示，将躯干关节点所处的平面作为人体空间坐标系中的xy平面，臀部关节点作为人体空间坐标系的原点，各中心关节点的关节点与y轴重合。此外，还将z轴方向作为目标人物的正面。
[0094]
进一步的，基于所述躯干关节点所处平面的法线与采集坐标系的坐标平面之间的夹角生成旋转参数，其中，所述采集坐标系为所述三维坐标数据对应的坐标系，所述采集坐标系的坐标平面与所述法线不平行；基于所述旋转参数和在采集坐标系下的目标人物的中心关节点坐标，对所述三维坐标数据进行转换，以将所述三维坐标数据转换至所述人体空间坐标系。
[0095]
具体的，如图4所示躯干关节所处平面旋转图，图4中的两个三维坐标系均为采集坐标系。在初期使用3d结构光传感器进行数据采集时，目标人物的正面方向不一定是面对传感器摄像头的正面，如图4中旋转前躯干关节所处平面与采集坐标系的xy平面不平行，对应的旋转前躯干关节所处平面的法线π将与xy平面以及zy平面不平行。技术人员可选择法线π与xy平面之间的夹角(即旋转角)，生成旋转参数。而旋转参数为图4中的旋转矩阵r。具体的旋转矩阵r生成方式如下：
[0096]
[0097]
其中，角θ为法线π与xy平面之间的夹角，i为常数；
[0098]
矩阵如下：
[0099][0100]a*
矩阵如下：
[0101][0102]
上述矩阵和a*矩阵中的a
x
、ay、az为旋转矩阵r的旋转轴a的向量坐标(即a＝(ax,ay,az))，其中，角θ和旋转轴可由技术人员根据目标人物与传感器之间的相对位置关系进行设置，此处不在赘述。
[0103]
将采集坐标系下的各接关节点三维坐标数据与所述旋转矩阵r的转置相乘，即可对躯干关节点进行旋转，且将躯干关节点所述处平面旋转至与采集坐标系中的xy平面平行，而与xy平面垂直的z轴方向则为传感器摄像头的正方向，使得旋转后的各关节点以正面采集状态下进行呈现，从而方便后续目标人物的人体动作数据捕捉。
[0104]
基于旋转矩阵r和采集坐标系下的目标人物的中心关节点将采集坐标系下各关节点三维坐标数据转换至上述建立的人体空间坐标系，且在转换过程中还将完成在坐标系中对各关节点的旋转。其中，基于上述例子人体空间坐标系的原点为目标人物的臀部关节点，因此，此时的中心关节点也为臀部关节点。具体的，转换公式如下：
[0105]
p
′
＝p
·rt-ph[0106]
其中，p'为人体空间坐标系下的关节点三维坐标数据、p为采集坐标系下关节点三维坐标数据、r
t
为旋转矩阵r的转置、ph为采集坐标系下的目标人物的中心关节点(臀部关节点)。至此实现将采集坐标系下各关节点的三维坐标转换至人体空间坐标系。
[0107]
步骤s30，基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；
[0108]
进一步的，对所述人体空间坐标系下各所述关节点的运动轨迹进行捕捉生成时域信息；对所述人体空间坐标系下骨骼线进行运动前后的角度特征捕捉生成空域信息，其中，所述骨骼线为任意两个相连接的关节点的连线；基于所述时域信息和空域信息生成所述人体动作数据。
[0109]
具体的，基于上述例子，通过传感器可采集并生成人体空间坐标系下任意时刻各个关节点的三维坐标数据，按照一定采集频率采集目标人物在运动时间段内不同时刻的各关节点的三维坐标数据。将不同时刻下相同关节点的位置进行连接，以形成关节点的运动轨迹。此外，两个相互连接的关节点之间的连线为骨骼线，如肘关节与腕关节之间为小臂，而肘关节与腕关节之间骨骼线即可表示目标人物的小臂。可以理解的是，基于目标人物关节点生成的骨骼线在目标人物运动后，其在人体空间坐标系的位置将可能会发生变化，而
发生变化后同一个骨骼线在运动前后可能会形成夹角，将该夹角作为角度特征。对应的时域信息即为关节点的运动轨迹，空域信息即为目标人物在运动中骨骼线产生的角度特征。基于时域信息和空域特征生成人体动作数据。具体的生成过程为，基于预先训练好的分类算法对此时目标人物产生的域信息和空域信息进行分类得到对应的人体动作数据，人体动作数据为人类日常行为动作，例如行走、奔跑、跳跃和蹲下等。分类算法可由技术人员根据实际需求设置训练样本，训练样本由动作以及该动作对应的时域信息和空域信息组成。且每个训练样本中的时域信息和空域信息可以是通过上述方法对实验人体在作出对应动作时采集到的。
[0110]
步骤s40,根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。
[0111]
进一步的，将基于所述人体动作数据和所述活动场景从预设行为数据库中匹配到的行为作为所述目标人物的行为。
[0112]
具体的，上述预设行为数据库可以包括多种行为以及每种行为对应的人体动作数据和活动场景，例如，人体动作数据为奔跑，当目标人物所述处的活动场景为存在其他人奔跑且目标人物在前，则匹配到的目标人物的行为是逃跑，将逃跑作为目标人物的行为。可以理解的是，预设行为数据库中匹配的规则可由技术人员基于实际需求进行设定。
[0113]
在本实施例中，通过基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。即通过带有深度信息的目标人物的图像获取到目标人物的各关节点的三维坐标数据，相比仅基于二维图像生成三维坐标数据，本实施例中目标人物的图像中带有各像素的深度信息，因此，在获取关节点的三维坐标数据过程中不会受到环境和光线的影响，使得本发明中得到的三维坐标数据更加准确。同时还将基于识别出来的人体动作数据结合目标人物的活动场景对目标人物的行为进行识别，使得人体行为识别结果更加准确。
[0114]
此外，参照图7，本发明实施例还提供一种人体行为识别装置1000，所述人体行为识别装置1000包括：
[0115]
获取模块100，用于基于目标人物的图像获取所述目标人物的各关节点的三维坐标数据，其中，所述图像包含有深度信息；
[0116]
转换模块200，用于将所述三维坐标数据转换至所述目标人物所处的人体空间坐标系，以对所述三维坐标数据进行空间坐标重构，所述人体空间坐标系为以所述目标人物为中心构建的空间坐标系；
[0117]
捕捉模块300，用于基于所述人体空间坐标系对各所述关节点进行动作捕捉生成人体动作数据；
[0118]
生成模块400，用于根据所述人体动作数据和所述目标人物所处的活动场景识别所述目标人物的行为。
[0119]
可选地，所述转换模块200还用于：
[0120]
基于所述目标人物的躯干关节点中的中心关节点以及所述躯干关节点中任意三
个不共线的关节点，生成以所述目标人物为中心的人体空间坐标系。
[0121]
可选地，所述转换模块200还用于：
[0122]
将所述目标人物的所述中心关节点作为所述人体空间坐标系的坐标原点，其中，所述中心关节点为所述躯干关节点中的臀部关节点；
[0123]
将所述躯干关节点中任意三个不共线的关节点所处的平面作为所述人体空间坐标系的一坐标平面，得到以所述目标人物为中心的所述人体空间坐标系。
[0124]
可选地，所述转换模块200还用于：
[0125]
基于所述躯干关节点所处平面的法线与采集坐标系的坐标平面之间的夹角生成旋转参数，其中，所述采集坐标系为所述三维坐标数据对应的坐标系，所述采集坐标系的坐标平面与所述法线不平行；
[0126]
基于所述旋转参数和在采集坐标系下的目标人物的臀部关节点坐标，对所述三维坐标数据进行转换，以将所述三维坐标数据转换至所述人体空间坐标系。
[0127]
可选地，所述捕捉模块300还用于：
[0128]
对所述人体空间坐标系下各所述关节点的运动轨迹进行捕捉生成时域信息；
[0129]
对所述人体空间坐标系下骨骼线进行运动前后的角度特征捕捉生成空域信息，其中，所述骨骼线为任意两个相连接的关节点的连线；
[0130]
基于所述时域信息和空域信息生成所述人体动作数据。
[0131]
可选地，所述生成模块400还用于：
[0132]
将基于所述人体动作数据和所述活动场景从预设行为数据库中匹配到的行为作为所述目标人物的行为。
[0133]
可选地，所述获取模块100还用于：
[0134]
通过加权递推平均滤波算法对所述三维坐标数据进行滤波，以除去所述三维坐标数据的波动，生成新的所述三维坐标数据。
[0135]
本发明提供的人体行为识别装置，采用上述实施例中的人体行为识别方法，解决目前进行骨骼特征提取的图像识别技术识别准确率较低的技术问题。与现有技术相比，本发明实施例提供的人体行为识别装置的有益效果与上述实施例提供的人体行为识别方法的有益效果相同，且该人体行为识别装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
[0136]
此外，本发明实施例还提供一种人体行为识别设备，所述人体行为识别设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的人体行为识别程序，所述人体行为识别程序被所述处理器执行时实现如上述的人体行为识别方法的步骤。
[0137]
本发明人体行为识别设备的具体实施方式与上述人体行为识别新方法各实施例基本相同，在此不再赘述。
[0138]
此外，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有人体行为识别程序，所述人体行为识别程序被处理器执行时实现如上述的人体行为识别方法的步骤。
[0139]
本发明介质具体实施方式与上述人体行为识别新方法各实施例基本相同，在此不再赘述。
[0140]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排
他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
[0141]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0142]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，vr设备，或者网络设备等)执行本发明各个实施例所述的方法。
[0143]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。