基于无线雷达信号的关键点识别装置和方法与流程

1.本技术实施例涉及雷达检测技术领域。


背景技术：

2.在对人体动作进行检测的过程中，可以检测人体的关键点，例如头部、颈部、手臂、足部、腰部等等。人体关键点检测具有广泛的应用场景，是智能家居、健康监护、行为理解等应用的关键技术。
3.当前广泛使用基于视频的人体关键点检测技术。但是视频严重侵犯隐私，无法应用于私密场合。此外，基于视频的关键点检测受环境(例如遮挡、光照、烟雾等)影响大，在无光和遮挡场景中无法发挥作用；并且受穿着、姿态、视角的影响较大。
4.而雷达通过无线信号对物体(例如人体)进行探测，不曝露隐私，不依赖于光照等外部条件，在部分遮挡场景下能够正常工作。因此，基于雷达的关键点检测能够弥补视频技术的不足。
5.应该注意，上面对技术背景的介绍只是为了方便对本技术的技术方案进行清楚、完整的说明，并方便本领域技术人员的理解而阐述，不能仅仅因为这些方案在本技术的背景技术部分进行了阐述而认为上述技术方案为本领域技术人员所公知。


技术实现要素：

6.但是，发明人发现：常规的基于雷达的关键点检测只能实现对少量特定动作的检测，极大地限制了其应用场景。
7.针对上述技术问题的至少之一，本技术实施例提供一种基于无线雷达信号的关键点检测装置和方法。根据雷达点云检测物体(例如人体)的关键点，不限定动作类别，需要的计算资源少，检测准确率高。
8.根据本技术实施例的一个方面，提供一种基于无线雷达信号的关键点检测装置，包括：
9.感知单元，其通过雷达对物体进行感知以获得点云数据；
10.特征提取单元，其对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；
11.级联单元，其将所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联；
12.特征检测单元，其利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及
13.关键点检测单元，其利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出所述物体的关键点数据。
14.根据本技术实施例的另一个方面，提供一种基于无线雷达信号的关键点检测方
法，包括：
15.通过雷达对物体进行感知以获得点云数据；
16.对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；
17.将所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联；
18.利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及
19.利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出所述物体的关键点数据。
20.本技术实施例的有益效果之一在于：对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，能够不限定动作类别，需要的计算资源少且检测准确率高；此外易于实现、操作简便、抗噪能力强并且隐私保护性高。
21.参照后文的说明和附图，详细公开了本技术实施例的特定实施方式，指明了本技术实施例的原理可以被采用的方式。应该理解，本技术的实施方式在范围上并不因而受到限制。在所附权利要求的精神和条款的范围内，本技术的实施方式包括许多改变、修改和等同。
附图说明
22.所包括的附图用来提供对本技术实施例的进一步的理解，其构成了说明书的一部分，用于例示本技术的实施方式，并与文字描述一起来阐释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施方式。在附图中：
23.图1是本技术实施例的基于无线雷达信号的关键点检测方法的一示意图；
24.图2是本技术实施例的人体关键点的一示例图；
25.图3是本技术实施例的反射点距离值的一示意图；
26.图4是本技术实施例的多个网络模型的一示意图；
27.图5是本技术实施例的特征数据的一示意图；
28.图6是本技术实施例的空间特征数据变换的一示意图；
29.图7是本技术实施例的基于神经网络的空间变换模型的一示意图；
30.图8是本技术实施例的多个网络模型的另一示意图；
31.图9是本技术实施例的基于神经网络的融合特征提取模型的一示意图；
32.图10是本技术实施例的基于神经网络的关键点检测模型的一示意图；
33.图11是本技术实施例的基于无线雷达信号的关键点识别装置的一示意图
34.图12是本技术实施例的电子设备的示意图。
具体实施方式
35.参照附图，通过下面的说明书，本技术实施例的前述以及其它特征将变得明显。在说明书和附图中，具体公开了本技术的特定实施方式，其表明了其中可以采用本技术实施例的原则的部分实施方式，应了解的是，本技术不限于所描述的实施方式，相反，本技术实施例包括落入所附权利要求的范围内的全部修改、变型以及等同物。
36.在本技术实施例中，术语“第一”、“第二”等用于对不同元素从称谓上进行区分，但并不表示这些元素的空间排列或时间顺序等，这些元素不应被这些术语所限制。术语“和/或”包括相关联列出的术语的一种或多个中的任何一个和所有组合。术语“包含”、“包括”、“具有”等是指所陈述的特征、元素、元件或组件的存在，但并不排除存在或添加一个或多个其他特征、元素、元件或组件。
37.在本技术实施例中，单数形式“一”、“该”等包括复数形式，应广义地理解为“一种”或“一类”而并不是限定为“一个”的含义；此外术语“所述”应理解为既包括单数形式也包括复数形式，除非上下文另外明确指出。此外术语“根据”应理解为“至少部分根据
……”
，术语“基于”应理解为“至少部分基于
……”
，除非上下文另外明确指出。
38.针对一种实施方式描述和/或示出的特征可以以相同或类似的方式在一个或更多个其它实施方式中使用，与其它实施方式中的特征相组合，或替代其它实施方式中的特征。术语“包括/包含”在本文使用时指特征、整件、步骤或组件的存在，但并不排除一个或更多个其它特征、整件、步骤或组件的存在或附加。
39.在本技术实施例中，雷达可以是毫米波(mmwave)雷达，但不限于此。该雷达通过发射天线发射电磁波，经过不同物体反射后接收到相应的反射波(可称为雷达回波信息)。通过对雷达回波信息进行分析，能够有效提取到物体距离雷达的位置、径向运动速度等信息，这些信息能够满足许多应用场景的需求。
40.在本技术实施例中，作为检测目标的物体可以是各种年龄阶段的人，例如可以是老年人，也可以是儿童，还可以是老年人和/或护理人员，儿童和/或监护人员。本技术不限于此，作为检测目标的物体还可以是具有生命特征的动物，或者是不具有生命特征的机器人等等。以下以人体为例进行说明。
41.第一方面的实施例
42.本技术实施例提供一种基于无线雷达信号的关键点检测方法。图1是本技术实施例的基于无线雷达信号的关键点检测方法的一示意图，如图1所示，该方法包括：
43.101，通过雷达对物体进行感知以获得点云数据；
44.102，对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；
45.103，将第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据进行级联；
46.104，利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及
47.105，利用基于神经网络的关键点检测模型对融合特征信息进行检测，以输出物体的关键点数据。
48.值得注意的是，以上附图1仅示意性地对本技术实施例进行了说明，但本技术不限
于此。例如可以适当地调整各个操作之间的执行顺序，此外还可以增加其他的一些操作或者减少其中的某些操作。本领域的技术人员可以根据上述内容进行适当地变型，而不仅限于上述附图1的记载。
49.在一些实施例中，雷达通过无线信号对外部空间进行感知，雷达输出的点云数据包括雷达检测到的空间中物体的距离、速度和位置信息，等等。雷达周期性地发射无线信号进行检测，点云信息也是周期性的输出的。雷达执行一次检测所输出的点云信息，可称为一帧点云数据。
50.在本技术实施例中，以n帧连续的雷达点云数据为输入，经过雷达点云数据的预处理和动作检测模型的计算，输出人体的关键点信息，用来表示人的动作。n帧雷达点云数据可以用表示；帧序号i按照时间顺序进行排列，帧序号越大说明其对应的点云数据出现的越晚，因此pn表示最新的雷达点云数据。
51.在一些实施例中，雷达的一帧点云数据p由若干个点组成，p＝{pj,1≤j≤n}，其中n是该帧点云包含的点数，pj是第j个点。点云数据中一个点用p表示，p＝(s,v,p,x,y,z)，其中s为帧序号，v为相对雷达的多普勒速度，p为该点的信号强度，(x,y,z)是其空间坐标值。
52.因此，可以将直接通过雷达的输出信号获得的原始空间特征数据作为反射点云的第一空间特征数据，将直接通过雷达的输出信号获得的多普勒速度v作为反射点云的多普勒速度特征数据，将直接通过雷达的输出信号获得的信号强度p作为反射点云的反射能量特征数据。
53.此外，还可以对通过雷达的输出信号获得的原始空间特征数据、多普勒速度、信号强度进行处理，将处理后的数据作为反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据。例如，将雷达输出信号的原始空间坐标值(x0,y0,z0)进行平移、旋转等处理，将处理后获得的空间坐标的变换值(x1,y1,z1)作为反射点云的第一空间特征数据，等等；本技术不限于此。
54.在一些实施例中，人体关键点对应人体的主要关节或器官，例如鼻子、肩、手肘、手腕、胯等。本技术对人体关键点的选择没有限制，根据具体应用的需求，可以选择不同的人体关键点。
55.图2是本技术实施例的人体关键点的一示例图。如图2所示，人体关键点信息可以指关键点对应的人体关节或器官的相对位置关系，用h＝{(xk,yk,zk),1≤k≤m}表示，(xk,yk,zk)为第k个关键点的坐标。当只有2维位置信息时，可以将关键点坐标的某一维置为0；例如可以将z置为0，这样只有(x,y)包含有效的位置信息。
56.以上对于雷达点云数据进行了示意性说明，但本技术不限于此。此外，根据雷达点云数据还可以获得密度分布特征数据和时间分布特征数据。
57.雷达点云分布位置具有随机性，不同运动时不同位置的雷达点云密集程度不同。例如当检测目标的上肢运动幅度较大时，雷达点云较集中地分布于上肢所在位置，其他位置点云分布相对稀疏。
58.在一些实施例中，获得反射点云的密度分布特征数据，包括：计算每个反射点与其他反射点之间的距离值；利用概率密度函数计算所述距离值对应的概率，并将所述概率作为所述密度分布特征数据。
59.图3是本技术实施例的反射点距离值的一示意图，以均值为例，但本技术不限于
此。如图3所示，对于n*3的反射点而言，可以计算出反射点之间的n*n个距离，从而获得n*1个距离均值。由此，可以获得单个反射点的密度di(i＝1,
…
,n)。
60.例如，所述概率密度函数为：
[0061][0062]di
为所述距离值(例如均值)；μ为预设的距离值参数，σ为方差值；
[0063]
在一些实施例中，不同的方差值对应不同的概率，以获得多个密度分布特征数据。
[0064]
例如，μ＝0，σ＝0.1，可以获得某一密度分布特征数据；相应地，σ＝0.2可以获得另一密度分布特征数据；σ＝0.4可以获得另一密度分布特征数据；σ＝0.6可以获得另一密度分布特征数据。由此，针对每个反射点可以获得4个不同的密度分布特征，从而形成n*4维的密度分布特征数据，并将其作为神经网路结构中不同通道的输入特征。
[0065]
在一些实施例中，获得反射点云的时间分布特征数据，包括：计算每个反射点对应的时间值；利用时间密度函数计算所述时间值对应的概率，并将所述概率作为所述时间分布特征数据。
[0066]
例如，通过雷达输出的信号，可直接获取每个反射点的帧号(例如雷达输出信号的时间间隔为0.1s,即1帧/0.1s)。可以使用雷达反射点的帧号(1，2，
…
)来计算点云帧号的分布特征，从而获得雷达反射点云的时间序列的分布特征。
[0067]
例如，所述时间密度函数为：
[0068][0069]fi
为所述时间值；μ为预设的时间值参数，σ为方差值；
[0070]
在一些实施例中，不同的方差值对应不同的概率，以获得多个时间分布特征数据。
[0071]
例如，fi为反射点的帧号(1,2,
…
)，表示点云的时间连续性信息。μ＝0，σ＝0.5，可以获得某一时间分布特征数据；相应地，σ＝1.0可以获得另一时间分布特征数据；σ＝1.5可以获得另一时间分布特征数据；σ＝2.0可以获得另一时间分布特征数据。由此，针对每个反射点可以获得4个不同的时间分布特征，从而形成n*4维的时间分布特征数据，并将其作为神经网路结构中不同通道的输入特征。
[0072]
以上对于第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据进行了示意性说明。本技术实施例通过上述特征数据，可以进行关键点的识别。
[0073]
图4是本技术实施例的多个网络模型的一示意图，如图4所示，可以将第一空间特征数据(例如n*3维)、多普勒速度特征数据(例如n*1维)、反射能量特征数据(例如n*1维)、密度分布特征数据(例如n*4维)和时间分布特征数据(例如n*4维)共n*13维特征数据作为融合特征提取模型401的输入数据。
[0074]
如图4所示，融合特征提取模型401输出特征数据，该特征数据作为关键点检测模型402的输入数据。如图4所示，关键点检测模型402可以输出关键点信息，从而实现物体的关键点识别。
[0075]
由此，根据雷达点云检测物体(例如人体)的关键点，能够不限定动作类别，需要的计算资源少且检测准确率高。此外，通过多个网络模型对特征数据进行深度解析，能够区分
不同动作间的特征差异性，进一步准确地识别出不同动作时的关键点信息。
[0076]
在一些实施例中，还可以利用基于神经网络的空间变换模型对第一空间特征数据(原始空间特征数据)进行变换，获得规范化后的第二空间特征数据；以及将规范化后的第二空间特征数据与第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据进行级联，并将级联后的特征数据输入融合特征提取模型中。
[0077]
图5是本技术实施例的特征数据的一示意图。如图5所示，可以对一段时间内获得的点云数据进行特征提取(如501所示)，获得第一空间特征数据(原始空间特征数据，如502所示)、多普勒速度特征数据(如503所示)、反射能量特征数据(如504所示)、密度分布特征数据(如505所示)和时间分布特征数据(如506所示)。
[0078]
如图5所示，还可以利用基于神经网络的空间变换模型对第一空间特征数据(原始空间特征数据)进行变换，获得规范化后的第二空间特征数据(如507所示)。可以将规范化后的第二空间特征数据与第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据进行级联。
[0079]
如图5所示，可以将第一空间特征数据(原始空间特征数据)与多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据称为输入1(input1)，将规范化后的第二空间特征数据称为输入2(input 2)，共同输入到融合特征提取模型508中。
[0080]
图6是本技术实施例的空间特征数据变换的一示意图，如图6所示，可以对n*3维的第一空间特征数据(如601所示)进行特征扩展，获得n*m维的扩展空间特征数据(如602所示)；对n*m维的扩展空间特征数据进行池化操作(例如最大池化操作)，获得1*m维的全局空间特征数据(如603所示)；对1*m维的全局空间特征数据进行特征变换，获得1*9维的特征数据后变换成3*3维的空间特征数据(如604所示)；以及将所述n*3维的第一空间特征数据与所述3*3维的空间特征数据进行矩阵相乘，以获得所述规范化后的第二空间特征数据(如605所示)；其中，n为大于1的正整数，m为大于3的正整数。
[0081]
图7是本技术实施例的基于神经网络的空间变换模型的一示意图，如图7所示，例如，可以对200*3维的第一空间特征数据利用一维卷积神经网络进行特征扩展(如701所示)，获得200*256维的扩展空间特征数据；对200*256维的扩展空间特征数据进行最大池化操作(如702所示)，获得1*256维的全局空间特征数据；对1*256维的全局空间特征数据通过全连接神经网络进行特征变换(如703所示)，获得1*64维的特征数据后再次利用全连接网络变换成1*9维的空间特征数据，然后将1*9维的特征数据后变换成3*3维的空间特征数据(如704所示)；以及将200*3维的第一空间特征数据与该3*3维的空间特征数据进行矩阵相乘(如705所示)，以获得规范化后的200*3维的第二空间特征数据。
[0082]
图8是本技术实施例的多个网络模型的另一示意图，如图8所示，可以将第一空间特征数据(例如n*3维)、多普勒速度特征数据(例如n*1维)、反射能量特征数据(例如n*1维)、密度分布特征数据(例如n*4维)和时间分布特征数据(例如n*4维)共n*13维特征数据作为融合特征提取模型801的输入1。
[0083]
如图8所示，还可以利用基于神经网络的空间变换模型802对第一空间特征数据(原始空间特征数据)进行变换，获得规范化后的第二空间特征数据(例如n*3维)，将规范化后的第二空间特征数据作为融合特征提取模型801的输入2。
[0084]
如图8所示，融合特征提取模型801输出特征数据，该特征数据作为关键点检测模型803的输入数据。如图8所示，关键点检测模型803可以输出关键点信息，从而实现物体的关键点识别。
[0085]
由此，根据雷达点云检测物体(例如人体)的关键点，能够不限定动作类别，需要的计算资源少且能够进一步提高检测的准确率。此外，通过多个网络模型对特征数据进行深度解析，能够区分不同动作间的特征差异性，进一步准确地识别出不同动作时的关键点信息。
[0086]
在一些实施例中，利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测以获取融合特征信息，包括：对n*l维的级联特征数据进行特征扩展，获得n*k维的扩展特征数据；对n*k维的扩展特征数据进行池化操作，获得1*k维的全局特征数据；对1*k维的全局特征数据进行特征变换，获得1*l2维的特征数据后变换成l*l维的特征数据；以及将所述n*l维的级联特征数据与所述l*l维的特征数据进行矩阵相乘，以获得n*l维的融合特征信息；其中，n、l和k均为大于1的正整数，并且l小于k。
[0087]
图9是本技术实施例的基于神经网络的融合特征提取模型的一示意图，如图9所示，例如，可以将第一空间特征数据(200*3维)与所述多普勒速度特征数据(200*1维)、所述反射能量特征数据(200*1维)、所述密度分布特征数据(200*4维)和所述时间分布特征数据(200*4维)作为200*13维的输入1，将规范化后的第二空间特征数据(200*3维)作为200*3维的输入2，将输入1和输入2级联(如901所示)，形成200*16维的融合特征信息，作为该融合特征提取模型的输入数据。
[0088]
如图9所示，可以对200*16维的融合特征数据利用一维卷积神经网络进行特征扩展(如902所示)，获得200*64维的特征数据(特征数据1，feature 1)后获得200*256维的特征数据(如903所示)；对200*256维的特征数据进行最大池化操作(如904所示)，获得1*256维的特征数据；对1*256维的特征数据利用全连接神经网络进行特征变换(如905所示)，获得1*64维的特征数据后再次通过全连接网络变换成1*4096维的特征数据，然后将1*4096维的特征数据变换成64*64维的特征数据(特征数据2，feature 2)(如906所示)；以及将200*64维的特征数据1与该64*64维的特征数据2进行矩阵相乘(如907所示)，以获得200*64维的特征数据(融合特征信息，如908所示)。
[0089]
在一些实施例中，利用基于神经网络的关键点检测模型对融合特征信息进行检测以输出物体的关键点数据，包括：对n*l维的融合特征信息进行特征扩展，获得n*j维的扩展特征数据；对n*j维的扩展特征数据进行池化操作，获得1*j维的全局特征数据；对1*j维的全局特征数据进行特征变换，获得1*p维的关键点位置信息；其中，n、l和j均为大于1的正整数，并且l小于j。
[0090]
图10是本技术实施例的基于神经网络的关键点检测模型的一示意图，如图10所示，例如，可以将该融合特征提取模型输出的200*64维的特征数据作为关键点检测模型的输入数据。
[0091]
如图10所示，可以对200*64维的特征数据利用一维卷积神经网络进行特征扩展(如1001所示)，获得200*128维的特征数据后获得200*256维的特征数据(如1002所示)；对200*256维的特征数据进行最大池化操作(如1003所示)，获得1*256维的特征数据；对1*256维的特征数据通过全连接神经网络进行特征变换(如1004所示)，获得1*64维的特征数据后
再次利用全连接网络变换成1*34维的特征数据(如1005所示)，然后输出关键点信息。
[0092]
在本技术实施例中，通过仿真实验发现，使用n*13维的特征数据并使用多个网络模型进行特征提取和检测，能够准确地检测出关键点信息，相对于使用原始的n*6维数据而言能够提高检测准确性。此外，使用n*13维的特征数据并使用多个网络模型进行特征提取和检测，能够进一步提高检测准确性。
[0093]
以上对于识别方法和模型进行了示意性说明。本技术实施例可以通过有监督的训练方法获得一组/多组最优参数；然后将参数应用到检测模型中，对输入的雷达点云数据进行运算，得到相应的人体关键点信息。本技术实施例对模型的具体训练不作限定，例如可以使用sgd(stochastic gradient descent)优化、adam(adaptive moment estimation)优化，等等。
[0094]
以上仅对与本技术相关的各步骤或过程进行了说明，但本技术不限于此。动作检测方法还可以包括其他步骤或者过程，关于这些步骤或者过程的具体内容，可以参考现有技术。此外，以上仅以动作检测模型的一些结构为例对本技术实施例进行了示例性说明，但本技术不限于这些结构，还可以对这些结构进行适当的变型，这些变型的实施方式均应包含在本技术实施例的范围之内。
[0095]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0096]
由上述实施例可知，对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，能够不限定动作类别，需要的计算资源少且检测准确率高；此外易于实现、操作简便、抗噪能力强并且隐私保护性高。
[0097]
第二方面的实施例
[0098]
本技术实施例提供一种基于无线雷达信号的关键点识别装置，与第一方面的实施例相同的内容不再赘述。
[0099]
图11是本技术实施例的基于无线雷达信号的关键点识别装置的一示意图，如图11所示，基于无线雷达信号的关键点识别装置1100包括：
[0100]
感知单元1101，其通过雷达对物体进行感知以获得点云数据；
[0101]
特征提取单元1102，其对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；
[0102]
级联单元1103，其将所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联；
[0103]
特征检测单元1104，其利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及
[0104]
关键点检测单元1105，其利用基于神经网络的关键点检测模型对所述融合特征信
息进行检测，以输出所述物体的关键点数据。
[0105]
在一些实施例中，如图11所示，基于无线雷达信号的关键点识别装置1100还可以包括：
[0106]
特征变换单元1106，其利用基于神经网络的空间变换模型对所述第一空间特征数据进行变换，获得规范化后的第二空间特征数据；
[0107]
所述级联单元1103还可以还用于将所述规范化后的第二空间特征数据与所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联，并将级联后的特征数据输入所述融合特征提取模型中。
[0108]
在一些实施例中，所述特征变换单元1106用于：
[0109]
对n*3维的第一空间特征数据进行特征扩展，获得n*m维的扩展空间特征数据；
[0110]
对n*m维的扩展空间特征数据进行池化操作，获得1*m维的全局空间特征数据；
[0111]
对1*m维的全局空间特征数据进行特征变换，获得1*9维的特征数据后变换成3*3维的空间特征数据；以及
[0112]
将所述n*3维的第一空间特征数据与所述3*3维的空间特征数据进行矩阵相乘，以获得所述规范化后的第二空间特征数据；
[0113]
其中，n为大于1的正整数，m为大于3的正整数。
[0114]
在一些实施例中，所述特征检测单元1104用于：
[0115]
对n*l维的级联特征数据进行特征扩展，获得n*k维的扩展特征数据；
[0116]
对n*k维的扩展特征数据进行池化操作，获得1*k维的全局特征数据；
[0117]
对1*k维的全局特征数据进行特征变换，获得1*l2维的特征数据后变换成l*l维的特征数据；以及
[0118]
将所述n*l维的级联特征数据与所述l*l维的特征数据进行矩阵相乘，以获得n*l维的融合特征信息；
[0119]
其中，n、l和k均为大于1的正整数，并且l小于k。
[0120]
在一些实施例中，所述特征提取单元1102获得反射点云的所述密度分布特征数据，包括：
[0121]
计算每个反射点与其他反射点之间的距离值；
[0122]
利用概率密度函数计算所述距离值对应的概率，并将所述概率作为所述密度分布特征数据。
[0123]
在一些实施例中，所述概率密度函数为：
[0124][0125]di
为所述距离值；μ为预设的距离值参数，σ为方差值；
[0126]
其中，不同的方差值对应不同的概率，以获得多个所述密度分布特征数据。
[0127]
在一些实施例中，所述特征提取单元1102获得反射点云的所述时间分布特征数据，包括：
[0128]
计算每个反射点对应的时间值；
[0129]
利用时间密度函数计算所述时间值对应的概率，并将所述概率作为所述时间分布
特征数据。
[0130]
在一些实施例中，所述时间密度函数为：
[0131][0132]fi
为所述时间值；μ为预设的时间值参数，σ为方差值；
[0133]
其中，不同的方差值对应不同的概率，以获得多个所述时间分布特征数据。
[0134]
在一些实施例中，所述关键点检测单元1105用于：
[0135]
对n*l维的融合特征信息进行特征扩展，获得n*j维的扩展特征数据；
[0136]
对n*j维的扩展特征数据进行池化操作，获得1*j维的全局特征数据；
[0137]
对1*j维的全局特征数据进行特征变换，获得1*p维的关键点位置信息；
[0138]
其中，n、l、j和p均为大于1的正整数，并且l小于j，p小于j。
[0139]
值得注意的是，以上仅对与本技术相关的各部件或模块进行了说明，但本技术不限于此。基于无线雷达信号的关键点识别装置1100还可以包括其他部件或者模块，关于这些部件或者模块的具体内容，可以参考相关技术。
[0140]
为了简单起见，图11中仅示例性示出了各个部件或模块之间的连接关系或信号走向，但是本领域技术人员应该清楚的是，可以采用总线连接等各种相关技术。上述各个部件或模块可以通过例如处理器、存储器等硬件设施来实现；本技术实施例并不对此进行限制。
[0141]
以上各个实施例仅对本技术实施例进行了示例性说明，但本技术不限于此，还可以在以上各个实施例的基础上进行适当的变型。例如，可以单独使用上述各个实施例，也可以将以上各个实施例中的一种或多种结合起来。
[0142]
由上述实施例可知，对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出物体的关键点数据。由此，根据雷达点云检测物体(例如人体)的关键点，能够不限定动作类别，需要的计算资源少且检测准确率高；此外易于实现、操作简便、抗噪能力强并且隐私保护性高。
[0143]
第三方面的实施例
[0144]
本技术实施例提供一种电子设备，包括有如第二方面的实施例所述的基于无线雷达信号的关键点识别装置1100，其内容被合并于此。该电子设备例如可以是计算机、服务器、工作站、膝上型计算机、智能手机，等等；但本技术实施例不限于此。
[0145]
图12是本技术实施例的电子设备的示意图。如图12所示，电子设备1200可以包括：处理器(例如中央处理器cpu)1210和存储器1220；存储器1220耦合到中央处理器1210。其中该存储器1220可存储各种数据；此外还存储信息处理的程序1221，并且在处理器1210的控制下执行该程序1221。
[0146]
在一些实施例中，基于无线雷达信号的关键点识别装置1100的功能被集成到处理器1210中实现。其中，处理器1210被配置为实现如第一方面的实施例所述的基于无线雷达信号的关键点识别方法。
[0147]
在一些实施例中，基于无线雷达信号的关键点识别装置1100与处理器1210分开配
置，例如可以将基于无线雷达信号的关键点识别装置1100配置为与处理器1210连接的芯片，通过处理器1210的控制来实现基于无线雷达信号的关键点识别装置1100的功能。
[0148]
例如，处理器1210被配置为进行如下的控制：通过雷达对物体进行感知以获得点云数据；对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；将所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联；利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出所述物体的关键点数据。
[0149]
此外，如图12所示，电子设备1200还可以包括：输入输出(i/o)设备1230和显示器1240等；其中，上述部件的功能与现有技术类似，此处不再赘述。值得注意的是，电子设备1200也并不是必须要包括图12中所示的所有部件；此外，电子设备1200还可以包括图12中没有示出的部件，可以参考相关技术。
[0150]
本技术实施例还提供一种计算机可读程序，其中当在电子设备中执行所述程序时，所述程序使得计算机在所述电子设备中执行如第一方面的实施例所述的基于无线雷达信号的关键点识别方法。
[0151]
本技术实施例还提供一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如第一方面的实施例所述的基于无线雷达信号的关键点识别方法。
[0152]
本技术以上的装置和方法可以由硬件实现，也可以由硬件结合软件实现。本技术涉及这样的计算机可读程序，当该程序被逻辑部件所执行时，能够使该逻辑部件实现上文所述的装置或构成部件，或使该逻辑部件实现上文所述的各种方法或步骤。本技术还涉及用于存储以上程序的存储介质，如硬盘、磁盘、光盘、dvd、flash存储器等。
[0153]
结合本技术实施例描述的方法/装置可直接体现为硬件、由处理器执行的软件模块或二者组合。例如，图中所示的功能框图中的一个或多个和/或功能框图的一个或多个组合，既可以对应于计算机程序流程的各个软件模块，亦可以对应于各个硬件模块。这些软件模块，可以分别对应于图中所示的各个步骤。这些硬件模块例如可利用现场可编程门阵列(fpga)将这些软件模块固化而实现。
[0154]
软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域已知的任何其它形式的存储介质。可以将一种存储介质耦接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息；或者该存储介质可以是处理器的组成部分。处理器和存储介质可以位于asic中。该软件模块可以存储在移动终端的存储器中，也可以存储在可插入移动终端的存储卡中。例如，若设备(如移动终端)采用的是较大容量的mega-sim卡或者大容量的闪存装置，则该软件模块可存储在该mega-sim卡或者大容量的闪存装置中。
[0155]
针对附图中描述的功能方框中的一个或多个和/或功能方框的一个或多个组合，可以实现为用于执行本技术所描述功能的通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件或者其任意适当组合。针对附图描述的功能方框中的一个或多个和/或功
能方框的一个或多个组合，还可以实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、与dsp通信结合的一个或多个微处理器或者任何其它这种配置。
[0156]
以上结合具体的实施方式对本技术进行了描述，但本领域技术人员应该清楚，这些描述都是示例性的，并不是对本技术保护范围的限制。本领域技术人员可以根据本技术原理对本技术做出各种变型和修改，这些变型和修改也在本技术的范围内。
[0157]
关于包括以上实施例的实施方式，还公开下述的附记：
[0158]
附记1.一种基于无线雷达信号的关键点识别方法，包括：
[0159]
通过雷达对物体进行感知以获得点云数据；
[0160]
对一段时间内获得的点云数据进行特征提取，获得反射点云的第一空间特征数据、多普勒速度特征数据、反射能量特征数据、密度分布特征数据和时间分布特征数据；
[0161]
将所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联；
[0162]
利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，以获取融合特征信息；以及
[0163]
利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，以输出所述物体的关键点数据。
[0164]
附记2.根据附记1所述的方法，其中，所述方法还包括：
[0165]
利用基于神经网络的空间变换模型对所述第一空间特征数据进行变换，获得规范化后的第二空间特征数据；以及
[0166]
将所述规范化后的第二空间特征数据与所述第一空间特征数据、所述多普勒速度特征数据、所述反射能量特征数据、所述密度分布特征数据和所述时间分布特征数据进行级联，并将级联后的特征数据输入所述融合特征提取模型中。
[0167]
附记3.根据附记1或2所述的方法，其中，利用基于神经网络的空间变换模型对所述第一空间特征数据进行变换，包括：
[0168]
对n*3维的第一空间特征数据进行特征扩展，获得n*m维的扩展空间特征数据；
[0169]
对n*m维的扩展空间特征数据进行池化操作，获得1*m维的全局空间特征数据；
[0170]
对1*m维的全局空间特征数据进行特征变换，获得1*9维的特征数据后变换成3*3维的空间特征数据；以及
[0171]
将所述n*3维的第一空间特征数据与所述3*3维的空间特征数据进行矩阵相乘，以获得所述规范化后的第二空间特征数据；
[0172]
其中，n为大于1的正整数，m为大于3的正整数。
[0173]
附记4.根据附记1至3任一项所述的方法，其中，利用基于神经网络的融合特征提取模型对级联后的特征数据进行检测，包括：
[0174]
对n*l维的级联特征数据进行特征扩展，获得n*k维的扩展特征数据；
[0175]
对n*k维的扩展特征数据进行池化操作，获得1*k维的全局特征数据；
[0176]
对1*k维的全局特征数据进行特征变换，获得1*l2维的特征数据后变换成l*l维的特征数据；以及
[0177]
将所述n*l维的级联特征数据与所述l*l维的特征数据进行矩阵相乘，以获得n*l维的融合特征信息；
[0178]
其中，n、l和k均为大于1的正整数，并且l小于k。
[0179]
附记5.根据附记1至4任一项所述的方法，其中，获得反射点云的所述密度分布特征数据，包括：
[0180]
计算每个反射点与其他反射点之间的距离值；
[0181]
利用概率密度函数计算所述距离值对应的概率，并将所述概率作为所述密度分布特征数据。
[0182]
附记6.根据附记5所述的方法，其中，所述概率密度函数为：
[0183][0184]di
为所述距离值；μ为预设的距离值参数，σ为方差值。
[0185]
附记7.根据附记6所述的方法，其中，不同的方差值对应不同的概率，以获得多个所述密度分布特征数据。
[0186]
附记8.根据附记1至7任一项所述的方法，其中，获得反射点云的所述时间分布特征数据，包括：
[0187]
计算每个反射点对应的时间值；
[0188]
利用时间密度函数计算所述时间值对应的概率，并将所述概率作为所述时间分布特征数据。
[0189]
附记9.根据附记8所述的方法，其中，所述时间密度函数为：
[0190][0191]fi
为所述时间值；μ为预设的时间值参数，σ为方差值。
[0192]
附记10.根据附记9所述的方法，其中，不同的方差值对应不同的概率，以获得多个所述时间分布特征数据。
[0193]
附记11.根据附记1至10任一项所述的方法，其中，利用基于神经网络的关键点检测模型对所述融合特征信息进行检测，包括：
[0194]
对n*l维的融合特征信息进行特征扩展，获得n*j维的扩展特征数据；
[0195]
对n*j维的扩展特征数据进行池化操作，获得1*j维的全局特征数据；
[0196]
对1*j维的全局特征数据进行特征变换，获得1*p维的关键点位置信息；
[0197]
其中，n、l、j和p均为大于1的正整数，并且l小于j，p小于j。
[0198]
附记12.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器被配置为执行所述计算机程序而实现如附记1至11任一项所述的基于无线雷达信号的关键点识别方法。
[0199]
附记13.一种存储有计算机可读程序的存储介质，其中所述计算机可读程序使得计算机在电子设备中执行如附记1至11任一项所述的基于无线雷达信号的关键点识别方法。