毫米波人体智能姿态检测方法、检测装置及检测系统与流程

1.本技术涉及移动互联网领域，尤其涉及一种毫米波人体智能姿态检测方法、毫米波人体智能姿态检测装置、毫米波人体智能姿态检测设备及毫米波人体智能姿态检测系统。


背景技术：

2.目前人体姿态检测主要靠视觉，通过摄相机拍照再进行姿态识别，但通过对摄像机拍摄的照片进行姿态识别会存在以下两方面的缺点：
3.1.无法克服光线环境不好时摄相机无法有效获取人体信息，以至于无法进行准确的姿态检测的问题。
4.2.不能满足隐私保护要求，在一些私人场景下，比如浴室，卧室，通过拍照的方式获取人体信息，容易暴露人的隐私。


技术实现要素：

5.有鉴于此，实有必要提供一种更加安全智能的毫米波人体智能姿态检测方法、毫米波人体智能姿态检测装置、毫米波人体智能姿态检测设备及毫米波人体智能姿态检测系统。
6.第一方面，本技术实施例提供一种毫米波人体智能姿态检测方法，所述毫米波人体智能姿态检测方法包括下面步骤:
7.获取毫米波雷达检测目标人物得到待检测点云数据；
8.将所述待检测点云数据转换成待检测深度图片；
9.将所述待检测深度图片输入到预设的人体姿态训练网络进行训练得到所述目标人物的姿态信息，所述预设的人体姿态训练网络利用人体姿态训练网络的训练方法进行训练得到，其中，所述人体姿态训练网络的训练方法包括：
10.获取毫米波雷达和摄像机采集的若干对样本点云数据和样本图片，每一对样本点云数据和样本图片为所述毫米波雷达和所述摄像机在同一视场角下同时对一个人物对象进行采集得到；
11.将所述若干对样本点云数据和样本图片中的样本点云数据转换为若干深度图片；
12.利用预设的人体姿态检测模型对所述若干对样本点云数据和样本图片中样本图片进行姿态检测得到对应的人物对象的姿态信息；
13.根据所述姿态信息生成对应的深度图片的标签；
14.将所述若干深度图片和对应标签依序输入到初始人体姿态网络中进行训练得到所述预设的人体姿态训练网络。
15.第二方面，本技术实施例提供一种毫米波人体智能姿态检测装置，所述检测装置包括：
16.计算机可读存储介质，用于存储程序指令；以及
17.处理器执行所述程序指令以实现上述所述的毫米波人体智能姿态检测方法。
18.第三方面，本技术实施例提供一种毫米波人体智能姿态检测设备，所述检测设备包括：
19.壳体、设置于所述壳体的毫米波雷达以及毫米波人体智能姿态检测装置，所述检测装置执行所述程序指令以实现上述所述的毫米波人体智能姿态检测方法。
20.第四方面，本技术实施例提供一种人体智能姿态检测系统，所述系统包括：
21.毫米波雷达，用于对目标人物进行检测得到待检测点云数据；
22.毫米波人体智能姿态检测装置，用于与所述毫米波雷达通讯连接，所述毫米波人体智能姿态检测装置包括：
23.存储器，用于存储程序指令；
24.处理器执行所述程序指令以实现上述所述的毫米波人体智能姿态检测方法。
25.上述毫米波人体智能姿态检测方法、毫米波人体智能姿态检测装置、毫米波人体智能姿态检测设备及毫米波人体智能姿态检测系统，通过毫米波雷达对目标人物进行数据的采集，并利用模型对采集的数据进行姿态信息的判断，从而能够保护检测的目标人物的隐私，还可以不受光线环境等影响。
附图说明
26.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
27.图1为本技术实施例提供的毫米波人体智能姿态检测方法的流程图。
28.图2为本技术实施例提供的毫米波人体智能姿态检测方法的第一子流程图。
29.图3为本技术实施例提供的毫米波人体智能姿态检测方法的第二子流程图。
30.图4为本技术实施例提供的毫米波人体智能姿态检测系统的示意图。
31.图5为预设的人体姿态训练网络输出的目标人物热图片的示意图。
32.图6为毫米波雷达与摄像机采集数据的示意图。
33.图7为本技术实施例提供的毫米波人体智能姿态检测装置的内部结构示意图。
34.图8为本技术实施例提供的毫米波人体智能姿态检测系统的第一子示意图
35.本技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
36.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图
示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
38.需要说明的是，在本技术中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本技术要求的保护范围之内。
39.请结合参看图1、图4和图8，其为本技术实施例提供的毫米波人体智能姿态检测方法的流程图。图4其为本技术实施例提供的毫米波人体智能姿态检测系统的示意图，其中，毫米波人体智能姿态检测系统1000包括毫米波人体智能姿态检测设备200和电子设备300。其中，毫米波人体智能姿态检测设备200包括毫米波雷达100和毫米波人体智能姿态检测装置400。在本实施例中，毫米波雷达100为毫米波雷达板。毫米波人体智能姿态检测装置400为毫米波人体智能姿态检测装置模组。也就是说，毫米波人体智能姿态检测设备200是将毫米波雷达100和毫米波人体智能姿态检测装置400是以模组的形式合成与毫米波雷达产品等检测产品的外形类似，安装于卧室、会议室、各种出入口等作为检测装置。在一些可行的实施例中，毫米波雷达100和毫米波人体智能姿态检测装置400设计为两个相互独立的设备。更具体地，其中，毫米波雷达100作为独立的毫米波雷达产品，安装于卧室、会议室、各种出入口等作为检测装置。在另一些可行的实施例中，如图8所示，毫米波人体智能姿态检测装置400设置于毫米波人体智能姿态检测设备200，与毫米波雷达100通讯连接，作为处理雷达检测信号的后台服务器。在本实施例中，毫米波雷达100用于对目标人物600进行检测得到待检测点云数据，也就是说检测信息为点云数据。毫米波人体智能姿态检测装置400执行毫米波人体智能姿态检测方法实现对目标人物的姿态检测获得相应的姿态信息。
40.在本实施例中，以毫米波人体智能姿态检测设备200由毫米波雷达100和毫米波人体智能姿态检测装置400为两个独立的电子产品为例进行说明。毫米波人体智能姿态检测设备200对毫米波雷达100上传的待检测点云数据进行处理并输出目标人物600的姿态信息给电子设备300。电子设备300用于接收毫米波人体智能姿态检测设备200发送的目标人物600的姿态信息执行相应的操作。其中，电子设备300可以电器设备，如空调、照明灯具等。当电子设备300为空调时，更具体地，利用姿态信息控制空调温度时，当毫米波人体智能姿态检测设备200在卧室检测到目标人物600在平躺，将目标人物600的姿态信息传送至空调，空调连续接收目标人物600在平躺可以判断目标人物600在睡觉，从而将空调温度调整至适宜人体睡觉的温度。又例如，当电子设备300为照明灯具时，在卧室检测到目标人物600在平躺，将目标人物600的姿态信息传送至照明灯具，照明灯具可以判断目标人物600需要睡觉，从而自动关闭。
41.下面将具体描述毫米波人体智能姿态检测方法如何目标人物的姿态信息。毫米波人体智能姿态检测方法包括如下步骤s102-s106。
42.步骤s102，获取毫米波雷达检测目标人物得到的待检测点云数据。可以理解地，毫
米波雷达100可以安装正在对应的场景中，例如，卧室、会议室、各种出入口等。毫米波人体智能姿态检测设备200接收毫米波雷达100生成的目标人物600的待检测点云数据。所述目标人物600的待检测点云数据为毫米波雷达100发送雷达波检测目标人物600当前的姿态，并将返回目标人物600姿态的雷达波生成目标人物600姿态的待检测点云数据。举例来说，若毫米波雷达100生成雷达波返回的目标人物600平躺的点云数据，毫米波雷达100将所述点云数据上传至人体检测设备200，人体检测设备200接收到毫米波雷达100生成的点云数据，并将所述点云数据设置为待检测点云数据。
43.步骤s104，将所述待检测点云数据转换成待检测深度图片。可以理解地，人体检测设备200接收到毫米波雷达100上传的点云数据后，人体检测设备200将所述点云数据设置为待检测点云数据。人体检测设备200对所述待检测点云数据进行空间转换得到深度图片，具体如何转换将在下文详细描述。
44.步骤s106，将所述待检测深度图片输入到预设的人体姿态训练网络进行训练得到所述目标人物的姿态信息。可以理解地，人体检测设备200将步骤s104中的待检测点云数据转换成待检测深度图像后，人体检测设备200将转换后的待检测深度图片输入至预设的人体姿态训练网络进行训练并输出目标人物600的热图片，所述人体检测设备200根据所述预设的人体姿态训练网络输出的热图片得到目标人物600的姿态信息。所述热图片上包含多个关节热图，每个关节对应一个热图且各关节在热图片中通过连线连接，其中关节热图包括：鼻子、左右眼睛、左右耳朵、左右肩、胸骨、左右肘部、左右腕部、左右膝部、左右臀部、左右脚踝，共计十八个关节点。如图5所示，当目标人物600正面站立双手向上举物品时，预设的人体姿态训练网络输出的目标人物600的热图片，其中，1.1表示目标人物600的右腕部；1.2表示目标人物600的左腕部；1.3表示目标人物600的右肘部；1.4表示目标人物600的左肘部；2.1表示目标人物600的左肩；2.2表示目标人物600的右肩；3表示目标人物600的胸骨；4.1表示目标人物600的左臀部；4.2表示目标人物600的右臀部；5.1表示目标人物600的左膝部；5.2表示目标人物600的右膝部；5.3表示目标人物600的左脚踝；5.4表示目标人物600的右脚踝。具体地预设的人体姿态训练网络将在下文详细描述。
45.上述实施例中，通过毫米波雷达100对目标人物600进行数据的采集，并利用模型对采集的数据进行姿态信息的判断，从而能够保护检测的目标人物600的隐私，还可以不受光线环境等影响。
46.请结合参看图2，其为本技术实施例提供的毫米波人体智能姿态检测方法的第一子流程图。所述预设的人体姿态训练网络利用人体姿态训练网络的训练方法进行训练得到，其中，步骤s106中所述人体姿态训练网络的训练方法具体包括如下步骤s202-s210。
47.步骤s202，获取毫米波雷达和摄像机采集的若干对样本点云数据和样本图片，每一对样本点云数据和样本图片为所述毫米波雷达100和所述摄像机700在同一视场角下同时对一个人物对象进行采集得到。具体地，如图6所示，将毫米波雷达100与摄像机700绑定在一起，使得毫米波雷达100与摄像机700可以在同一视场角下同时对一个人物进行采集，使得采集的一对样本点云数据和样本图片可以互为参考样板。举例来说，当目标人物600在双手举起东西时，现可以将毫米波雷达100与摄像机700绑定在一起且设置在目标人物600前方对目标人物600进行数据采集时，毫米波雷达100将采集的数据以点云数据的形式输出目标人物600正面双手举起东西的样本点云数据，摄像机700将采集的数据以图片的形式输
出目标人物600正面双手举起东西的样本图片。
48.步骤s204，将所述若干对样本点云数据和样本图片中的样本点云数据转换为若干深度图片。可以理解地，人体检测设备200接收毫米波雷达100与摄像机700采集的若干对样本点云数据和样本图片，并从中将点云数据进行转换成深度图片。所述转换过程同步骤s104中的转换一致。
49.步骤s206，利用预设的人体姿态检测模型对所述若干对样本点云数据和样本图片中样本图片进行姿态检测得到对应的人物对象的姿态信息。可以理解地，人体检测设备200将摄像机700上传的样本图片输入至预设的人体姿态检测模型中进行训练，预设的人体姿态检测模型对输入的样本图片进行识别，并根据识别出的结果，对样本图片进行打标签，所述标签为目标人物600的姿态信息。所述姿态信息为目标人物600当前身体高度，也就是说目标人物600当前的姿态是站立、坐着、上身后倾、平躺等人体线条姿态。
50.步骤s208，根据所述姿态信息生成对应的深度图片的标签。可以理解地，根据步骤s202，一对样本点云数据与样本图片中目标人物600的姿态是一致的，当通过预设的人体姿态检测模型对该对样本点云数据和样本图片中样本图片进行输出目标人物600姿态的标签，即所述该标签表示的姿态信息与所述该对样本点云数据和样本图片中样本点云数据是一致的。且当所述该对样本点云数据和样本图片中样本点云数据转换成深度图片后，转换后的所述深度图片表示的姿态信息也与所述样本图片的标签表示的姿态信息一致。也就是说，同一对中的样本图片在预设的人体姿态检测模型输出的姿态标签可作为对应深度图片的标签。
51.步骤s210，将所述若干深度图片和对应标签依序输入到初始人体姿态网络中进行训练得到所述预设的人体姿态训练网络。具体地，通过将深度图片和相对应的深度图片的标签输入至初始人体姿态网络中进行带标记的数据学习训练，初始人体姿态网络对深度图片和相对应的深度图片的标签进行编码-解码的方式进行训练最终得到预设的人体姿态训练网络。在本实施例中，初始人体姿态网络采用encoder-decoder模式建立。
52.上述实施例中，通过将点云数据转换成深度图片，从而使得采集的数据更方便输入神经网络进行训练；利用摄像机700拍摄的图片输入至人体姿态检测模型进行检测输出相对应的人体姿态检测信息，并将所述检测信息的标签作为同一对相对应的点云数据的标签，从而解决了无法手动给点云准确打标签的问题。
53.请结合参看图3，其为本技术实施例提供的毫米波人体智能姿态检测方法的第二子流程图。步骤s104，具体包括如下步骤s302-s304。
54.步骤s302，获取的摄像机的内参矩阵。可以理解地，获取步骤s202中选取拍摄目标人物600的摄像机700的内参矩阵，所述内参矩阵可以表示为fx表示焦距乘上图像坐标系到像素坐标系之间的横向缩放比例，fy表示焦距乘上图像坐标系到像素坐标系之间的纵向缩放比例，cx表示图像坐标系在缩放为像素坐标系之后，原点位置距离左上角的横向距离，cy表示图像坐标系在缩放为像素坐标系之后，原点位置距离左上角的纵向距离。
55.步骤s304，利用预设空间转换算法和所述内参矩阵将所述待检测点云数据的点坐
标进行空间转换得到相应的深度图片。可以理解地，用公式表示为
56.其中，u表示深度图片像素所在的横向坐标，v表示深度图片像素所在的纵向坐标，k表示采集数据所用的摄像机700的内参矩阵，fx表示焦距乘上图像坐标系到像素坐标系之间的横向缩放比例，fy表示焦距乘上图像坐标系到像素坐标系之间的纵向缩放比例，cx表示图像坐标系在缩放为像素坐标系之后，原点位置距离左上角的横向距离，cy表示图像坐标系在缩放为像素坐标系之后，原点位置距离左上角的纵向距离。p表示点云数据的三维空间点，x表示三维空间点的横向坐标，y表示三维空间点的纵向坐标，z表示三维空间点的深度。其中cx，cy的单位为像素。其中，将点云数据转换为相应的深度图片中数据转换，用公式表示为z
max
＝max(z|z∈z)(公式三)，其中z
max
代表在深度图中最大的像素值，z代表当前像素值，z
′i代表转化之后的像素值。
57.上述实施例中，通过通过将点云数据转换成深度图片，从而使得采集的数据更方便输入神经网络进行训练。
58.请结合参看图7，其为本技术实施例提供的毫米波人体智能姿态检测装置的内部结构示意图。毫米波人体智能姿态检测装置10包括计算机可读存储介质11、处理器12以及总线13。其中，计算机可读存储介质11至少包括一种类型的可读存储介质，该可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁性存储器、磁盘、光盘等。计算机可读存储介质11在一些实施例中可以是服务器10的内部存储单元，例如服务器10的硬盘。计算机可读存储介质11在另一些实施例中也可以是的外部服务器10存储设备，例如服务器10上配备的插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，计算机可读存储介质11还可以既包括毫米波人体智能姿态检测装置10的内部存储单元也包括外部存储设备。计算机可读存储介质11不仅可以用于存储安装于毫米波人体智能姿态检测装置10的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
59.总线13可以是外设部件互连标准(peripheral component interconnect，pci)总线或扩展工业标准结构(extended industry standard architecture，eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
60.进一步地，毫米波人体智能姿态检测装置10还可以包括显示组件14。显示组件14可以是发光二极管(light emitting diode，led)显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organic light-emitting diode，oled)触摸器等。其中，显示组件14也可以适当的称为显示装置或显示单元，用于显示在毫米波人体智能姿态检测装置10中处理的信息以及用于显示可视化的用户界面。
61.进一步地，毫米波人体智能姿态检测装置10还可以包括通信组件15。通信组件15可选地可以包括有线通信组件和/或无线通信组件，如wi-fi通信组件、蓝牙通信组件等，通
常用于在毫米波人体智能姿态检测装置10与其他智能控制设备之间建立通信连接。
62.处理器12在一些实施例中可以是一中央处理器(central processing unit，cpu)、控制器、微控制器、微处理器或其他数据处理芯片，用于运行计算机可读存储介质11中存储的程序代码或处理数据。具体地，处理器12执行处理程序以控制毫米波人体智能姿态检测装置10实现毫米波人体智能姿态检测方法。
63.可以理解地，图7仅示出了具有组件11-15以及毫米波人体智能姿态检测方法的毫米波人体智能姿态检测装置10，本领域技术人员可以理解的是，图7示出的结构并不构成对毫米波人体智能姿态检测装置10的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
64.显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘且本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。
65.以上所列举的仅为本技术较佳实施例而已，当然不能以此来限定本技术之权利范围，因此依本技术权利要求所作的等同变化，仍属于本技术所涵盖的范围。