一种基于毫米波雷达点云的行人重识别方法及装置与流程

1.本公开属于行人重识别技术领域，更具体地，涉及一种基于毫米波雷达点云的行人重识别方法及装置。


背景技术：

2.在过去的几年，行人身份识别在智慧安防、智慧城市等领域有着广泛的应用，其中绝大部分是基于人脸识别的。在跨视角、遮挡等行人人脸识别失效下的情况下，行人重识别问题如今也受到了越来越多的关注。现有的行人重识别技术依靠的传感器为视觉摄像头，通过行人的图像或者视频进行行人身份的识别。在基于视觉的行人重识别中，存在着光照变化、行人衣服颜色变化等带来的问题。


技术实现要素：

3.本公开的目的是为克服已有技术的不足之处，提出一种基于毫米波雷达点云的行人重识别方法及装置。本公开可以不受环境光照的影响，可应用于低照度、强光反射等恶劣条件下；且无需获取行人的图像信息，可以应用于隐私敏感场合的行人重识别，具有更强的适用性。
4.本公开第一方面实施例提出一种基于毫米波雷达点云的行人重识别方法，包括：
5.获取毫米波雷达点云数据；
6.对所述毫米波雷达点云数据进行预处理；
7.根据预设的雷达点云行人重识别模型，对预处理后的所述毫米波雷达点云数据进行行人重识别。
8.在本公开的一个实施例中，所述毫米波雷达点云数据按帧获取，每帧所述毫米波雷达点云数据的获取方法为：利用毫米波雷达按照设定的波形发射一次信号并接收对应的回波信号，根据所述回波信号获取一帧所述毫米波雷达点云数据。
9.在本公开的一个实施例中，所述对所述毫米波雷达点云数据进行预处理，包括：
10.对每帧所述毫米波雷达点云数据进行聚类以得到有效目标点云数据，其中所述有效目标点云数据为每帧所述毫米波雷达点云中单个行人点云的集合；
11.对所述有效目标点云数据进行归一化，得到归一化后的有效目标点云数据。
12.在本公开的一个实施例中，所述聚类采用基于密度的聚类方法。
13.在本公开的一个实施例中，所述雷达点云行人重识别模型包括：单帧特征提取网络、多帧点云信息融合网络和行人点云雷达分类器网络；
14.所述单帧特征提取网络的输入为每帧所述毫米波雷达点云中所述归一化后的有效目标点云数据，输出为所述归一化后的有效目标点云数据对应的特征向量；
15.所述多帧点云信息融合分类网络的输入为同一行人对应的连续多帧的所述特征向量，输出为对应的融合特征向量；
16.所述行人点云雷达分类器网络的输入为所述融合特征向量，输出为所述行人的标
签识别结果。
17.在本公开的一个实施例中，在所述根据预设的雷达点云行人重识别模型，对所述归一化后的有效目标点云数据进行行人重识别之前，还包括：
18.训练所述雷达点云行人重识别模型；
19.其中，所述训练所述雷达点云行人重识别模型包括：
20.获取多帧毫米波雷达点云数据，对每帧所述毫米波雷达点云数据中的行人身份标签进行标注；
21.对每帧所述毫米波雷达点云数据进行预处理，得到归一化后的有效目标点云数据；
22.将所述归一化后的有效目标点云数据组成训练集；
23.构建所述雷达点云行人重识别模型；
24.利用所述训练集对所述雷达点云行人重识别模型进行训练，得到训练完毕的所述所述雷达点云行人重识别模型。
25.在本公开的一个实施例中，所述归一化方法具体如下：
26.对于任一帧毫米波雷达点云数据通过聚类后得到的每个有效目标点云数据，采用如下方法对所述有效目标点云数据中每个点的数据进行归一化：
27.x
j
′
＝x
j
‑
x
j_min
28.y
j
′
＝y
j
‑
y
j_min
29.z
j
′
＝z
j
‑
z
j_min
30.v
j
'＝v
j
/v
j_max
31.其中，x
j
,y
j
,z
j
和v
j
分别为所述有效目标点云数据中第j点的x,y,z坐标和径向速度；x
j_min
,y
j_min
,z
j_min
分别为该点所在有效目标点云数据中所有点x,y,z坐标的最小值，v
j_max
为该点所在有效目标点云数据中所有点径向速度v绝对值的最大值；x
j
',y
j
',z
j
',v
j
'分别代表该点归一化后的x,y,z坐标和径向速度。
32.本公开第二方面实施例提出一种基于毫米波雷达点云的行人重识别装置，包括：
33.获取模块，用于获取毫米波雷达点云数据；
34.预处理模块，用对所述毫米波雷达点云数据进行预处理；
35.识别模块，用于根据预设的雷达点云行人重识别模型，对预处理后的所述毫米波雷达点云数据进行行人重识别。
36.本公开第三方面实施例提出一种电子设备，包括：
37.至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
38.其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于毫米波雷达点云的行人重识别方法。
39.本公开第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行上述一种基于毫米波雷达点云的行人重识别方法。
40.本公开的特点及有益效果在于：
41.本公开提出的一种基于毫米波雷达点云的行人重识别方法及装置，可以不受环境光照的影响，应用于低照度、强光反射等恶劣条件下，与此同时，采用毫米波雷达点云可以
准确获取行人的距离方位。通过毫米波雷达点云进行行人的重识别，不涉及行人的图像信息，因此可以应用至酒店等隐私敏感场合，具有更强的适用性。
附图说明
42.图1是本公开实施例中一种基于毫米波雷达点云的行人重识别方法的整体流程图。
43.图2是本公开一个实施例中单帧特征提取网络模型图。
44.图3是本公开一个实施例中多帧点云信息融合网络模型图。
45.图4是本公开一个实施例中行人点云雷达分类器网络模型图。
具体实施方式
46.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.本公开第一方面实施例提出一种基于毫米波雷达点云的行人重识别方法，分为训练阶段和使用阶段，整体流程如图1所示，包括以下步骤：
48.1)训练阶段；
[0049]1‑
1)通过毫米波雷达获取点云数据，具体步骤如下：
[0050]
对于线性调频连续信号，其距离分辨率为：
[0051][0052]
其中，b为信号带宽，c为光速，速度分辨率为：
[0053][0054]
其中，λ为信号波长，t
f
为chirp信号持续时间，方位分辨率为：
[0055][0056]
其中，n
rx
为等效接收天线个数；
[0057]
在本公开的一个具体实施例中采用德州仪器型号为iwr1843的77g毫米波雷达，其具有3根发射天线，4根接收天线，因此在水平方位方向，其等效接收天线n
rx
＝8，在垂直俯仰方向，其等效接收天线n
rx
＝2，发射的波形为线性调频连续波。
[0058]
需要说明的是，77g毫米波雷达具有环境适应性强、不受光照影响的特点，其中，毫米波雷达的点云数据是毫米波雷达探测结果的一种输出形式。
[0059]
从上述公式可以看出，受限于毫米波雷达硬件采样率、信号带宽等条件，毫米波雷达的波形设计需要在最大不模糊距离、距离分辨率、最大不模糊速度、速度分辨率之间进行折中，为了满足行人重识别的应用需求，本公开期望在满足探测距离和最大不模糊速度的
基础下，距离和速度分辨率尽可能高，以获取更多的信息量。因此，在本公开的一个具体示例中设计了一组波形参数如下表1所示：
[0060]
表1本公开一个实施例中波形参数表
[0061]
雷达性能参数取值距离分辨率0.04m最大不模糊探测距离14.5m速度分辨率0.13m/s最大不模糊速度2.05m/s帧周期200ms
[0062]
通过将设计的波形利用毫米波雷达进行发射和接收，对于接收到回波信号，通过差频与采样，得到中频信号。中频信号沿着距离维进行傅里叶变换和沿着多普勒维进行傅里叶变换，即可得到距离多普勒矩阵(range
‑
doppler matrix，rdm)，在距离多普勒矩阵中，首先沿着多普勒维进行单元格平均恒虚警检测(cell averaging
‑
constant false alarm rate detector，ca
‑
cfar)，再沿着距离维进行单元格平均恒虚警检测，针对被检测的单元格，在空间维，即在接收天线间进行傅里叶变换，即可实现该单元格的到达角估计。通过被检测单元格的距离、速度、角度，即可得到该单元格的点的表示(x,y,z,v)，其中，x,y,z代表该点的三维欧式空间坐标，v代表该点的径向速度，所有单元格的点的表示组成毫米波雷达点云数据。
[0063]
每一次线性调频信号发射、接收以及信号处理得到毫米波雷达点云数据的过程构成一个完整的帧周期，一个完整的帧周期即可得到一帧雷达点云数据。雷达连续发射线性调频信号，从而形成多帧雷达点云数据。
[0064]1‑
2)对每帧毫米波雷达点云数据进行预处理，得到各帧中归一化后的有效目标点云数据。
[0065]
分别对于每一帧毫米波雷达点云数据进行预处理。包括：对每帧毫米波雷达点云数据进行聚类以划分出有效目标点云数据，然后有效目标点云数据进行归一化。具体方法如下：
[0066]1‑2‑
1)对于第i帧毫米波雷达点云，获得雷达点云的集合如下所示：
[0067]
p
i
＝{(x
1i
,y
1i
,z
1i
,v
1i
),(x
2i
,y
2i
,z
2i
,v
2i
),...,(x
ni
,y
ni
,z
ni
,v
ni
)}
[0068]
其中，n代表该帧的点云数目，每一帧n的取值可能不同。下标j表示该帧点云中点的序号，j＝1,2,3,
…
n。
[0069]
对于雷达每帧观测到的点云，可能来源于多个不同的目标并且包含噪声点。因此，在本公开的一些实施例中通过基于密度的聚类方法(density
‑
based spatial clustering of applicationswithnoise，dbscan)，实现噪声点移除和目标划分。定义c
ji
为第i帧毫米波雷达点云下第j个聚类组点云构成的集合，n为噪声点的集合，则聚类后每帧毫米波雷达点云可以表示为：
[0070]
p
i
＝{c
1i
,c
2i
,......,n
i
}
[0071]
在本实施例中，c
ji
即为单帧毫米波雷达点云下单个行人点云的集合。
[0072]1‑2‑
2)将所有c
ji
作为该帧聚类后的有效目标点云数据)，通过如下方法对各c
ji
中每个点的表示进行归一化：
estimation,adam)；利用步骤1
‑
2)得到归一化后的有效目标点云数据构建训练集和测试集，其中本公开的一个实施例中训练集所用的毫米波雷达点云数据为12000帧，测试集所用的数据为8000帧，在训练时，训练集和测试集的每帧毫米波雷达数据所对应的行人身份标签是人工预先标注好的。利用训练集对该模型进行训练，得到训练完毕的雷达点云行人重识别模型。
[0091]
2)使用阶段；
[0092]2‑
1)重复步骤1
‑
1)和1
‑
2)，获取毫米波雷达点云数据，通过预处理，从毫米波雷达点云数据中提取对聚类后的有效目标点云数据并进行归一化。
[0093]2‑
2)将经过步骤2
‑
1)得到的归一化后的有效目标点云数据输入步骤1)训练完毕的雷达点云行人重识别模型，该点云数据依次通过训练完毕的单帧特征提取网络、多帧点云信息融合分类网络和行人点云雷达分类器网络，通过模型进行预测，得到当前帧的行人身份标签的识别结果，即实现对当前帧的行人重识别。
[0094]
为实现上述实施例，本公开第二方面实施例提出一种基于毫米波雷达点云的行人重识别装置，包括：
[0095]
获取模块，用于获取毫米波雷达点云数据；
[0096]
预处理模块，用对所述毫米波雷达点云数据进行预处理；
[0097]
识别模块，用于根据预设的雷达点云行人重识别模型，对预处理后的所述毫米波雷达点云数据进行行人重识别。
[0098]
本公开第三方面实施例提出一种电子设备，包括：
[0099]
至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；
[0100]
其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被设置为用于执行上述一种基于毫米波雷达点云的行人重识别方法。
[0101]
本公开第四方面实施例提出一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行一种基于毫米波雷达点云的行人重识别方法。
[0102]
需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd
‑
rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf(射频)等等，或者上述
的任意合适的组合。
[0103]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备执行上述实施例的一种基于毫米波雷达点云的行人重识别方法。
[0104]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0105]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0106]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0107]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0108]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介
质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。
[0109]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0110]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0111]
此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
[0112]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。