行人检测方法与流程

1.本技术涉及目标检测技术领域，具体涉及一种行人检测方法。


背景技术：

2.近年来，自动驾驶成为了汽车行业发展的热点之一，其不但能有效地保障交通安全，同时还能为无自行驾驶汽车能力的人员提供驾驶服务，产生巨大的社会和经济价值，越来越多的企业和科研机构积极参与并推动自动驾驶的发展。同时，考虑到车外行人的安全问题，行人检测技术成为自动驾驶中一项重要的研究方向和极富挑战性的研究课题。
3.行人检测通常需要找出图像或视频帧中所有的行人，包括位置、距离信息和大小，一旦行人目标检测错误则会造成交通事故，从而造成严重后果，所以对行人检测的准确性要求极高。传统的行人检测技术多采用摄像头或激光雷达等单一传感器进行检测。传统的单一传感器检测方法无法对周围环境获得综合性的理解，进而降低检测精度。例如，单一摄像头覆盖范围较广、监测的信息量大，但是其数据计算量大，并且无法直接获得行人距离信息，系统实时性较差。针对单一传感器信息感知完整性以及可靠性差的问题，业界提出了多传感器融合的行人检测方法，这些方法虽然在算法设计及硬件设计上都不尽相同，但检测精度还有提升空间。
4.此外，目前的行人检测算法在处理一帧图像时通常需要花费超过2秒甚至更久的时间，导致行人目标的检测反馈响应不及时，无法满足现实行人检测任务中实时性要求。
5.因此，现亟需一种新的行人检测方法来解决目前自动驾驶领域的行人检测技术不够精准以及行人目标检测反馈不能及时响应等问题，对交通安全领域的发展具有重要意义。


技术实现要素：

6.本技术提供了一种行人检测方法，可以解决目前行人检测技术不够精准以及行人目标的检测反馈响应不及时等问题。
7.一方面，本技术实施例提供了一种行人检测方法，包括：
8.利用毫米波雷达对目标区域进行扫描，并利用雷达散射截面积特征聚类算法获取待测目标的点云信号；
9.利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理；
10.根据所述点云信号，在雷达坐标系中生成初始检测框；
11.将雷达坐标系与视觉坐标系配准，并将所述初始检测框从雷达坐标系转化到视觉坐标系，以获取所述初始检测框在视觉坐标系中映射的雷达检测框；
12.采用行人数据库作为正样本对目标检测模型进行训练，同时通过在不含有行人的图像中随机采样一定尺寸的窗口作为负样本参加训练；
13.根据所述雷达检测框，利用经过训练的所述目标检测模型检测相机拍摄到的目标区域的待测目标的图像信号，以针对所述图像信号生成视觉边界框；
14.对所述雷达检测框和所述视觉边界框进行数据融合，确定所述待测目标是否是行人目标。
15.可选的，在所述行人检测方法中，所述利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理的步骤包括：
16.预设邻域半径阈值和数量阈值，其中，所述邻域半径阈值记为eps，所述数量阈值记为minpts；
17.根据所述eps和所述minpts，对所有的点云信号进行聚类迭代，以将所有的点云信号分成三类：核心点、边界点和噪声点；
18.将各组中的所述核心点分别组成一个点群；
19.将各所述边界点按一定的规则分配到各所述点群中，并删除噪声点。
20.可选的，在所述行人检测方法中，所述根据所述雷达检测框，利用经过训练的所述目标检测模型检测相机拍摄到的目标区域的待测目标的图像信号，以针对所述图像信号生成视觉边界框的步骤包括：
21.利用毫米波雷达对目标区域进行扫描，同时利用经过训练的所述目标检测模型采用滑动窗口法检测所述图像信号，以针对所述图像信号生成视觉边界框，其中，所述目标检测模型采用所述滑动窗口法对图像进行扫描的扫描起点与所述雷达检测框的左上顶点重合。
22.可选的，在所述行人检测方法中，所述对所述雷达检测框和所述视觉边界框进行数据融合，确定所述待测目标是否是行人目标的步骤包括：
23.计算得到所述雷达检测框和所述视觉边界框的矩形相似度；
24.若所述矩形相似度大于或者等于0.7，则判断所述待测目标是行人目标；
25.其中，所述矩形相似度满足如下公式：
[0026][0027]
其中，sim为所述矩形相似度，s1为所述雷达检测框的面积，s2为所述视觉边界框的面积。
[0028]
可选的，在所述行人检测方法中，利用双目相机获取所述目标区域的待测目标的图像信号。
[0029]
可选的，在所述行人检测方法中，所述目标检测模型为faster-rcnn分类器。
[0030]
可选的，在所述行人检测方法中，所述行人数据库为caltech行人数据库或者daimler行人数据库。
[0031]
本技术技术方案，至少包括如下优点：
[0032]
(1)本技术利用毫米波雷达对目标区域进行逐帧扫描，相比单传感器，本技术的检测方法更加准确，适应性、鲁棒性、可靠性、穿透力及稳定性均更强，成本较低，适合大规模应用推广。
[0033]
(2)本技术通过利用雷达散射截面积特征聚类算法获取待测目标的点云信号，并利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理，实现了帧内雷达散射截面积(rcs)特征聚类算法获取点云信号与dbscan密度聚类算法对所述点云信号去噪的融合，可以有效以及精准地去噪以及保留点云信号中的有效信号。
[0034]
(3)本技术通过融合目标检测模型视觉感知与雷达信息，由毫米波雷达的点云信号为视觉检测提供指导，可以有效加速行人目标窗口的检测，处理每帧均用不到2秒的时间，满足自动驾驶的行人检测任务中的实时性要求。
[0035]
(4)本技术通过对所述雷达检测框和所述视觉边界框进行数据融合，来判断所述待测目标是否是行人目标，采用点云初步检测信息(雷达检测框)验证视觉检测的效果，为行人检测的置信度提供了可信依据。
附图说明
[0036]
为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0037]
图1是本发明实施例的行人检测方法的流程图；
[0038]
图2是本发明实施例的有效信号从雷达坐标系转换到视觉坐标系的示意图；
[0039]
图3是本发明实施例的采用滑动窗口法检测待测目标的示意图。
具体实施方式
[0040]
下面将结合附图，对本技术中的技术方案进行清楚、完整的描述，显然，所描述的实施例是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在不做出创造性劳动的前提下所获得的所有其它实施例，都属于本技术保护的范围。
[0041]
在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0042]
在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电气连接；可以是直接相连，也可以通过中间媒介间接相连，还可以是两个元件内部的连通，可以是无线连接，也可以是有线连接。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。
[0043]
此外，下面所描述的本技术不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
[0044]
本技术实施例提供了一种行人检测方法，请参考图1，图1是本发明实施例的行人检测方法的流程图，所述行人检测方法包括：
[0045]
s10：利用毫米波雷达对目标区域进行扫描，并利用雷达散射截面积(radar cross-section，rcs)特征聚类算法获取待测目标的点云信号。具体的，雷达截面积是指雷达的反射截面积，雷达波照射到物体表面依原路径返回的电磁波越少，雷达截面积越小，雷达对目标的信号特征就越小，探测距离也越短。雷达散射截面积行人特征聚类的具体标准
如下：假设p是帧内随机取得的雷达数据探测点，要探测该点的雷达截面积，给出雷达相关参数：发射功率pt，发射和接收天线增益g，波长λ，目标到雷达的距离r，则该点的雷达截面积(rcs)满足如下公式：rcs(dbsm)＝10lgσ，其中，p
dr
＝pr/4πr2；
[0046]
根据实验经验数据表明，待测行人目标的雷达截面积明显较小，区别于道路上其他物体，一般数值为-3dbsm到 3dbsm，在此数值范围内的认为是初始备选的所述点云信号。
[0047]
本技术利用毫米波雷达对目标区域进行逐帧扫描，相比单传感器，本技术的检测方法更加准确，适应性、鲁棒性、可靠性、穿透力及稳定性均更强，成本较低，适合大规模应用推广。
[0048]
s20：利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理。具体的，利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理的步骤可以包括：
[0049]
第一步骤：预设邻域半径阈值和数量阈值，其中，所述邻域半径阈值记为eps，所述数量阈值记为minpts；
[0050]
第二步骤：根据所述eps和所述minpts，对所有的点云信号进行聚类迭代，以将所有的点云信号分成三类：核心点、边界点和噪声点；
[0051]
第三步骤：将各组中的所述核心点分别组成一个点群；
[0052]
第四步骤：将各所述边界点按一定的规则分配到各所述点群中，并删除噪声点。
[0053]
具体的，在本实施例中，根据预设的所述eps和所述minpts，对某个未处理的点云信号进行判断，若其eps邻域内的数据点的数量大于所述minpts，则标记为核心点，并标记上对应的点群编号，同时将其eps邻域内的所有点都标记为同一点群编号；若其半径eps内的数据点的数量小于所述minpts，但是该点落在某核心点的eps邻域内，则将该所述点云信号归类为边界点，一个边界点可能同时落入一个或多个核心点的eps邻域；若其eps邻域内的数据点的数量小于所述minpts，则将该点标记为噪声点，并继续处理下一个点；然后对该点邻域内的点依次进行处理，各自判断是否为核心点，并将其中属于核心点的数据点(点云信号)的eps邻域内的数据点加入对应的点群中并进行核心点判断；以上述方式不断扩张，直到该点群内所有数据点都处理完毕，从而得到一个包含核心点和边界点的最大化的点群。之后再寻找下一个点群，重复上述操作，依次类推处理完毕所有数据点，则聚类完成。其中，输出的每个数据点都标记上相应的点群编号或噪声点，最后剔除噪声点。在本实施例中，利用dbscan密度聚类算法提取行人目标点群，记录其雷达物理信息，如角速度，距离等。
[0054]
在本实施例中，通过利用雷达散射截面积特征聚类算法获取待测目标的点云信号，并利用dbscan密度聚类算法对所述点云信号进行去噪、聚类处理，实现了帧内雷达散射截面积(rcs)特征聚类算法获取点云信号与dbscan密度聚类算法对所述点云信号去噪的融合，可以有效、精准地对所述点云信号去噪以及保留所述点云信号中的有效信号。
[0055]
s30：根据所述点云信号，在雷达坐标系中生成初始检测框。具体的，对聚类后的目标点群先在雷达坐标系内建立初始检测框(最小外接矩形)，其中，最小外接矩形的四个顶点依次记作a(x1，y1)，b(x2，y2)，c(x3，y3)，d(x4，y4)。
[0056]
s40：将雷达坐标系与视觉坐标系配准，并将所述初始检测框从雷达坐标系转化到
视觉坐标系，以获取所述初始检测框在视觉坐标系中映射的雷达检测框。具体的，转化后的所述雷达检测框的四个顶点依次记作a’(x1’，y1’)，b’(x2，y2)，c’(x3’，y3’)，d’(x4’，y4’)。
[0057]
在本实施例中，雷达坐标系与视觉坐标系配准标准为旋转和平移，雷达坐标系(xc,yc,zc)、视觉坐标系(xr,yr,zr)则满足如下公式：
[0058][0059]
其中，r为3
×
3的转换矩阵，(t1，t2，t3)为平移向量，在本实施例中，若信号点以二维坐标表示的，则可以默认该信号点在z轴上对应的坐标为0。
[0060]
请参考图2，图2是本发明实施例的有效信号从雷达坐标系转换到视觉坐标系的示意图，图2展示了毫米波雷达和摄像头的相对位置；(xc,yc,zc)为雷达坐标系；(xr,yr,zr)为视觉坐标系；o-uv表示图像数组坐标系，原点为图像左上角。视觉坐标系和雷达坐标系以米为测量单位，图像数组坐标系以像素数为基本单位，图2中点p代表目标点，p'为p对应的图像像素点，通过p在视觉坐标系和雷达坐标系中的坐标，可以将两个坐标系统联系起来；n为雷达点的数量。图像数组坐标系、视觉坐标系则满足如下公式：
[0061][0062]
u＝[u1u2…
un]’，v＝[v1v2…
vn]’；
[0063]
空间转换矩阵t满足如下公式：
[0064][0065]
矩阵p满足如下公式：
[0066][0067]
s50：采用行人数据库作为正样本对目标检测模型进行训练，同时通过在不含有行人的图像中随机采样一定尺寸的窗口作为负样本参加训练。具体的，所述目标检测模型为faster-rcnn分类器；所述行人数据库为caltech行人数据库或者daimler行人数据库。在本实施例中，采用行人数据库作为正样本对目标检测模型进行训练，同时通过在不含有行人的图像中随机采样一定尺寸的窗口作为负样本参加训练的步骤可以包括：
[0068]
第一步骤：准备caltech行人数据库或者daimler行人数据库作为正样本，将行人数据库输入faster-rcnn分类器用以产生训练样本，同时通过在不含有行人的图像中随机采样一定尺寸的窗口作为负样本参加训练，正样本含有行人，负样本不含行人，对于包含行人的正样本，需标出行人窗口；
[0069]
第二步骤：对于含有行人的正样本，将采样窗口的左上顶点与行人窗口的左上角
重合，然后从该位置向右下方划定一定尺寸大小的窗口，本实施例可以选取范围在16
×
16至256
×
256的尺寸的窗口作为采样窗口。在此过程中，若采样窗口的面积与该行人窗口的面积重合的比例大于或者等于0.7，则记为正样本；若采样窗口的面积与该行人窗口的面积重合的比例小于0.7，则记作负样本；其中，采样窗口的面积与该行人窗口的面积重合的比例满足如下公式：
[0070][0071]
其中，x为采样窗口的面积与该行人窗口的面积重合的比例；s为采样窗口的面积，bgt为行人窗口的面积。
[0072]
本实施例在不含有行人目标的图像中随机采样一定尺寸的窗口作为负样本参加训练，可以提高分类器(目标检测模型)的性能，对识别错误的作为难例再进行强化训练。
[0073]
s60：根据所述雷达检测框，利用经过训练的所述目标检测模型检测相机拍摄到的目标区域的待测目标的图像信号，以针对所述图像信号生成视觉边界框，其中，所述目标检测模型采用所述滑动窗口法对图像进行扫描的扫描起点与所述雷达检测框的左上顶点重合。具体的，利用双目相机获取所述目标区域的待测目标的图像信号。请参考图3，图3是本发明实施例的采用滑动窗口法检测待测目标的示意图，步骤s60需要毫米波雷达和相机配合操作，具体步骤可以为：使用毫米波雷达对目标区域进行扫描，同时利用经过训练的目标检测模型采用滑动窗口法检测待测目标，窗口尺寸随机，本实施例可以选取范围在16
×
16至256
×
256尺寸的窗口作为滑动窗口。为了提高速度，避免冗余计算，本实施例直接将扫描起点设置为经毫米波雷达获取的点云信号经过步骤s10-步骤s40处理之后得到的所述雷达检测框的左上顶点a’，从左至右，从上至下依次扫描，如果图像内包含某个行人目标的像素点落在该窗口中，则该窗口判别存在行人目标，依次类推，直至覆盖整帧图像，输出完整的视觉边界框；如果没有检测到行人目标，则认定该帧图像中不包含行人目标，并继续扫描下一帧图像。
[0074]
在本实施例中，通过融合目标检测模型视觉感知与雷达信息，由毫米波雷达的点云信号的雷达检测框为视觉检测提供指导，可以有效加速行人目标窗口的检测，处理每帧均用不到2秒的时间，满足自动驾驶的行人检测任务中的实时性要求。
[0075]
s70：对所述雷达检测框和所述视觉边界框进行数据融合，确定所述待测目标是否是行人目标。具体的，对所述雷达检测框和所述视觉边界框进行数据融合，确定所述待测目标是否是行人目标的步骤可以包括：
[0076]
计算得到所述雷达检测框和所述视觉边界框的矩形相似度；
[0077]
若所述矩形相似度大于或者等于0.7，则判断所述待测目标是行人目标，认为检测结果可信，并将待测目标的信息反馈给毫米波雷达；
[0078]
其中，所述矩形相似度满足如下公式：
[0079][0080]
其中，sim为所述矩形相似度，s1为所述雷达检测框的面积，s2为所述视觉边界框的面积。
[0081]
在本实施例中，通过对所述雷达检测框和所述视觉边界框进行数据融合，来判断所述待测目标是否是行人目标，采用点云初步检测信息(雷达检测框)验证视觉检测的效果，为行人检测的置信度提供了可信依据。
[0082]
显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本技术创造的保护范围之中。