基于智能辅助标注的深度图像卧姿姿态数据集构建方法

1.本发明属于人体姿态估计技术领域，具体涉及一种基于智能辅助标注的深度图像卧姿姿态数据集构建方法。


背景技术：

2.随着人工智能技术的发展，人体姿态识别方法越来越成熟，也更多的应用于多种领域。在计算机视觉中，常用的人体姿态数据为彩色图像，但是彩色图像带有人体的敏感信息，例如面部信息、衣着信息等，这些涉及隐私的信息限制了基于彩色图像的人体姿态识别方法在医学领域的应用。
3.目前，随着更多采集设备的问世，深度相机凭借其对光照和环境不敏感、不涉及面部图像以及纹理等敏感信息越来越多的受到学者们关注；同时相比于彩色图像，深度相机采集的深度图像还带有空间三维信息，进一步扩大了其在医学等领域的优势。
4.人体姿态识别方法通常为监督式学习，需要海量的带有人工标注的数据进行训练，但是目前仅存在较多的基于彩色图像的人体姿态数据集，以深度图像为输入的人体姿态数据集较少，尤其是以卧姿姿态为研究对象的专用数据集更为稀少；而采用人工标注方式标注数据集工作量大、效率低下，存在较多的标注错误，这限制了深度图像在医学领域卧姿姿态识别中的应用。因此，亟需一种可以智能辅助标注的深度图像卧姿姿态数据集构建方法。


技术实现要素：

5.为了克服现有技术不足，本发明的目的是提供一种基于智能辅助标注的深度图像卧姿姿态数据集构建方法，可以快速、高效、高质量的完成基于深度图像的大型卧姿姿态数据集的构建，以满足医学等隐私敏感领域的人体行为检测及分析的需求。
6.为达到上述目的，本发明采用的技术方案为：
7.一种基于智能辅助标注的深度图像卧姿姿态数据集构建方法，包括以下步骤：
8.一种基于智能辅助标注的深度图像卧姿姿态数据集构建方法，包括以下步骤：
9.步骤一：选用深度相机作为采集设备，同步采集深度图像和彩色图像；
10.步骤二：对采集的彩色视频中的彩色图像和深度视频中的深度图像进行坐标匹配并裁剪；
11.步骤三：对裁剪后的彩色图像进行姿态识别；
12.步骤四：对采集的彩色视频和深度视频重复步骤二和步骤三操作，实现批量的深度图像二维姿态的辅助粗糙标注；
13.步骤五：人工复检。
14.所述的步骤一中采用的深度相机为kinect。
15.所述的步骤二中裁剪的彩色图像和深度图像均以图像中心点为参考点。
16.所述的步骤二中裁剪的图像分辨率能够自定义。
17.所述的步骤三中对裁剪后的彩色图像所采取的姿态识别方法为人体姿态识别方法，或采用其他物体的位姿识别方法对对应物体进行识别和数据集构建。
18.所述的步骤四中重复步骤二和步骤三时，其中步骤二和步骤三的次序能够替换。
19.所述的步骤五中人工复检过程中，对错误辅助标注的数据进行剔除或者重新人工标注，以进一步提高数据集质量。
20.本发明的有益效果为：
21.(1)由于本发明采取人工智能辅助标注数据集的方法，所以可以快速高效率的标注大型高质量姿态数据集；
22.(2)本发明构建的数据集不限于为卧姿姿态，还可以拓展到其他姿态；
23.(3)本发明构建数据集的思路不限于人体姿态，也可拓展到其他物体的位姿辅助标准。
附图说明
24.图1为本发明方法的流程图。
25.图2为发明的硬件平台。
26.图3为深度相机采集到的某帧彩色图像与深度图像，图(a)为彩色图像；图(b)为深度图像。
27.图4为彩色图像(a)与深度图像(b)的坐标对齐后的裁剪结果。
28.图5为彩色图像的二维姿态识别结果。
29.图6为深度图像的姿态数据辅助标注结果。
30.图7为可能存在的辅助标注错误，图(a)为彩色图像的二维姿态识别可能结果错误；图(b)为同时刻彩色图像与深度图像不对应。
具体实施方式
31.下面结合附图和实施例对本发明进行详细说明。
32.参照图1，一种基于智能辅助标注的深度图像卧姿姿态数据集构建方法，包括以下步骤：
33.步骤一：选用深度相机作为采集设备，如图2所示，以kinect为例，同步采集处于卧姿状态的人体彩色视频和深度视频；其中彩色视频的分辨为1920
×
1080，深度视频的分辨率为512
×
424；图3为深度相机采集到的某帧彩色图像与深度图像，其中图(a)为彩色图像；图(b)为深度图像，彩色图像做了隐私处理；
34.步骤二：对采集的彩色视频中的彩色图像和深度视频中的深度图像进行坐标匹配并裁剪；首先对深度相机进行标定，标定公式如下：
[0035][0036][0037]
式中：r
rgb
和t
rgb
分别为为深度相机中彩色传感器和深度传感器对应坐标系的旋转矩阵和平移矩阵；rd和td分别为深度相机中彩色传感器和深度传感器对应坐标系的旋转矩阵和平移矩阵；o
w-x
wywzw
、o
rgb-x
rgbyrgbzrgb
和o
d-xdydzd分别对应真实世界坐标系彩色相机坐
标系o
rgb-x
rgbyrgbzrgb
和深度相机坐标系o
d-xdydzd；将式(1)、(2)联立，并结合深度相机的内参，得到彩色图像ic和深度图像id的对应关系；之后，将彩色图像ic和深度图像id对齐，得到坐标对齐后的彩色图像i
cm
和深度图像i
dm
；进而对对齐的彩色图像i
cm
和深度图像i
dm
进行对应区域裁剪，以彩色图像i
cm
和深度图像i
dm
的中心点为参考点，以一致的分辨率对彩色图像i
cm
和深度图像i
dm
裁剪，分辨率以350
×
350为例，可以得到经裁剪坐标对齐的、分辨率大小为350
×
350的彩色图像i
cmcrop
和深度图像i
dmcrop
；图4为彩色图像与深度图像的坐标对齐后的裁剪结果，其中图(a)为彩色图像，(b)为深度图像，彩色图像做了隐私处理；
[0038]
步骤三：对彩色图像i
cmcrop
进行姿态识别，具体如下，选取彩色图像人体姿态识别方法，以openpose为例，确定输出的关节点定义，为说明关节点定义，以{鼻部、左肩、左肘、左腕、右肩、右肘、右腕、左髋、左膝、左踝、右髋、右膝、右踝}13个关节点定义为例，输出彩色图像i
cmcrop
的对应关节点二维坐标{ji(x,y)}，其中i为对应的关节点，x和y为二维坐标值；由于彩色图像i
cmcrop
与深度图像i
dmcrop
是坐标对齐的，那么可以用{ji(x,y)}表示深度图像i
dmcrop
的关节点坐标；图5为彩色图像的二维姿态识别结果，彩色图像做了隐私处理；图6为深度图像的姿态数据辅助标注结果；
[0039]
步骤四：对采集的彩色视频和深度视频重复步骤二和步骤三操作，可以实现大批量的深度图像二维姿态的辅助粗糙标注；
[0040]
步骤五：人工复检，由于在采集过程中，受帧率、光照等影响，彩色图像与深度图像并非严格同步对应，导致对应时刻的彩色图像与深度图像存在些许误差，使得步骤四辅助标注的深度图像二维姿态数据集质量不高，还需要对数据集进行人工复检；具体实施如下，将步骤三中对应的{ji(x,y)}可视化在深度图像i
dmcrop
中，通过肉眼观察的方式进行检查，如果辅助标注错误，可将错误标注的图像剔除或者重新手动标注，进一步提高数据集的标注质量；图7为可能存在的辅助标注错误，其中图(a)为彩色图像的二维姿态识别可能结果错误；图(b)为同时刻彩色图像与深度图像不对应。