移动行人检测方法、电子设备及机器人与流程

1.本发明涉及互联网技术领域，特别涉及一种移动行人检测方法、电子设备及机器人。


背景技术：

2.移动机器人在特定的场景中移动，以自主执行配送、引导、巡查、消毒等任务。上述场景包括餐厅、酒店、写字楼、医院等等。在这些场景中，机器人移动过程中，周围通常有行人通过。然而，机器人在移动过程中，如何准确检测行人，以便及时避开行人，仍然是急需解决的问题。


技术实现要素：

3.本发明有鉴于上述的现有状况而完成的，其目的在于提供一种移动行人检测方法、电子设备及机器人，可准确识别行人。
4.为了实现上述目的，本发明实施方式提供如下技术方案：
5.本发明提供一种移动行人检测方法，所述方法包括：
6.连续获取多帧的深度图像；
7.对所述深度图像进行预处理，输出预处理深度图；
8.将所述预处理深度图转换成三维点云；
9.将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；
10.将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；
11.对所述二值掩码图像进行连通域分析，输出若干行人候选框。
12.其中，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤之后，还包括；
13.将对每一帧所述深度图像进行处理，输出连续帧的所述行人候选框，将所述连续帧的所述行人候选框进行最邻近匹配，建立所述连续帧的所述行人候选框的对应关系；
14.以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度。
15.其中，所述以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度的步骤，具体包括：
16.以所述行人候选框为目标进行跟踪，若成功跟踪的帧数超过第二阈值，则输出所述目标的位置及速度。
17.其中，所述对所述深度图像进行预处理，输出预处理深度图的步骤，具体包括：
18.对输入的所述深度图像进行二值化处理，输出深度掩码；
19.将所述深度掩码进行形态学运算，输出运算深度掩码；
20.将所述运算深度掩码与输入的所述深度图像进行逻辑“与”运算，输出所述预处理深度图。
21.其中，生成所述高度掩码图像的步骤，具体包括：
22.将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的最大高度作为栅格的值，得到所述高度投影图；
23.对所述高度投影图进行阈值分割，将所述栅格的值为所述第一阈值范围内的所述栅格的像素置为255，其它像素置为0，得到所述高度掩码图像。
24.其中，生成所述强度掩码图像的步骤，具体包括：
25.将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的数量作为栅格的值，得到所述强度投影图；
26.对所述强度投影图使用动态阈值的方法进行所述阈值分割，将所述阈值超过特定值的所述栅格的像素置为255，其它像素置为0，得到所述强度掩码图像。
27.其中，所述对所述二值掩码图像进行连通域分析，输出若干行人候选框的步骤，具体包括：
28.将宽度大于第一宽度范围的所述连通域进行分割成若干个介于所述第一宽度范围内的新连通域，将宽度小于所述第一宽度范围的所述连通域删除；
29.根据所述高度投影图，计算所述新连通域对应的最大高度，结合所述最大高度和所述新连通域的宽度计算得到最小正接矩形。
30.本发明还提供一种电子设备，包括：
31.处理器；
32.存储介质，其上存储有计算机程序，所述计算机程序被所述处理器运行时执行如上所述的步骤。
33.本发明还提供一种机器人，应用如上所述的移动行人检测方法。
34.其中，所述机器人上设置有深度相机，所述深度相机用于获取所述深度图像。
35.根据本发明所提供的移动行人检测方法、电子设备及机器人，仅对深度图像处理，无需rgb图像，对环境光照无要求的前提下，可快速检测出移动的行人，简化了运算从而大幅降低了运算资源消耗。
附图说明
36.图1示出了本发明所涉及的移动行人检测方法的流程示意图；
37.图2示出了本发明所涉及的移动行人检测方法的实施方式的流程示意图；
38.图3示出了本发明所涉及的移动行人检测方法的实施方式的流程示意图。
具体实施方式
39.以下，参考附图，详细地说明本发明的优选实施方式。在下面的说明中，对于相同的部件赋予相同的符号，省略重复的说明。另外，附图只是示意性的图，部件相互之间的尺寸的比例或者部件的形状等可以与实际的不同。
40.如图1所示，本发明实施方式涉及一种移动行人检测方法，包括：
41.101、连续获取多帧的深度图像；
42.102、对所述深度图像进行预处理，输出预处理深度图；
43.103、将所述预处理深度图转换成三维点云；
44.104、将所述三维点云向地面投影，分别生成高度投影图和强度投影图，将所述高度投影图基于第一阈值范围进行分割生成高度掩码图像，将所述强度投影图进行阈值分割生成强度掩码图像；
45.105、将所述高度掩码图像和所述强度掩码图像进行“与”操作，输出合成的二值掩码图像；
46.106、对所述二值掩码图像进行连通域分析，输出若干行人候选框。
47.在这种情况下，本发明涉及的移动行人检测方法，仅对深度图像处理，无需rgb图像，对环境光照无要求的前提下，可快速检测出移动的行人，简化了运算从而大幅降低了运算资源消耗。
48.在本实施方式中，深度图像通过深度相机获取。深度相机可以是双目相机也可以是结构光相机，本发明实施方式不做限定。
49.如图2所示，在本实施方式中，步骤106之后，还包括；
50.107、将对每一帧所述深度图像进行处理，输出连续帧的所述行人候选框，将所述连续帧的所述行人候选框进行最邻近匹配，建立所述连续帧的所述行人候选框的对应关系；
51.108、以所述行人候选框为目标进行跟踪，输出所述目标的位置及速度。
52.由此，通过对连续帧行人候选框进行匹配，以便于进一步计算出行人的位置及移动速度，从而可以对行人的运动轨迹进行预测，以便使机器人及时避让行人，优化机器人的移动路径。
53.具体而言，步骤107中，对每一帧所述深度图像进行处理的方法为重复步骤102至步骤106。
54.在本实施方式中，步骤108具体包括：
55.以所述行人候选框为目标进行跟踪，若成功跟踪的帧数超过第二阈值，则输出所述目标的位置及速度。
56.在这种情况下，由于非移动物体无法在特定连续帧中成功追踪，可排除非移动物体造成的干扰，提升了对行人检测的准确性。
57.在本实施方式中，第二阈值可以是特定的帧数。
58.在一些示例中，可以选取所述行人候选框中距离机器人最近的点作为基点，使用卡尔曼滤波方法对所述基点进行跟踪。
59.在本实施方式中，优选地，深度相机以30帧/秒获取深度图像。由此，可以克服个体移动速度不同对目标位置及速度计算结果造成的影响，提升计算的准确性。
60.如图3所示，在本实施方式中，步骤102具体包括：
61.1021、对输入的所述深度图像进行二值化处理，输出深度掩码；
62.1022、将所述深度掩码进行形态学运算，输出运算深度掩码；
63.1023、将所述运算深度掩码与输入的所述深度图像进行逻辑“与”运算，输出所述预处理深度图。
64.由此，消除了输入的深度图像中的噪声，如拖影，提升后续对高度投影图和强度投
影图进行分割的准确性。
65.在本实施方式中，对输入的所述深度图像进行二值化处理的步骤，具体包括：
66.将一定深度范围内的位置设置为1，其它设置为0。
67.在本实施方式中，所述将所述预处理深度图转换成三维点云，具体包括：
68.结合所述深度相机的内外参数，将所述预处理深度图转换成所述三维点云。
69.在本实施方式中，生成所述高度掩码图像的步骤，具体包括：
70.将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的最大高度作为栅格的值，得到所述高度投影图；
71.对所述高度投影图进行阈值分割，将所述栅格的值为所述第一阈值范围内的所述栅格的像素置为255，其它像素置为0，得到所述高度掩码图像。
72.在本实施方式中，所述第一阈值范围可以为1～2米。由此，将行人的潜在存在区域分割出来。
73.在本实施方式中，生成所述强度掩码图像的步骤，具体包括：
74.将向地面投影的所述三维点云，以指定分辨率划分栅格，以各个所述栅格内所述点云的数量作为栅格的值，得到所述强度投影图；
75.对所述强度投影图使用动态阈值的方法进行所述阈值分割，将所述阈值超过特定值的所述栅格的像素置为255，其它像素置为0，得到所述强度掩码图像。
76.由此，利用点云的强度由近至远而有强变弱的特点，将行人的潜在存在区域分割出来。
77.在本实施方式中，步骤106，具体包括：
78.将宽度大于第一宽度范围的所述连通域进行分割成若干个介于所述第一宽度范围内的新连通域，将宽度小于所述第一宽度范围的所述连通域删除；
79.根据所述高度投影图，计算所述新连通域对应的最大高度，结合所述最大高度和所述新连通域的宽度计算得到最小正接矩形。
80.在本实施方式中，第一宽度范围可以根据人体通常的宽度范围确定。由此，利用人体宽度特征，排除不相干的连通域，并将较大宽度的连通域分割成若干符合人体宽度的新连通域，并结合高度投影图计算得到新连通域对应的最小正接矩形，即为行人候选框。
81.本发明实施方式还涉及一种电子设备，包括：处理器和存储介质。所述存储介质存储有计算机程序。所述计算机程序被所述处理器运行时执行如上一所述的步骤。关于移动行人检测方法的具体步骤，在此不做赘述。
82.本发明实施方式还涉及一种机器人。所述机器人应用如上所述的移动行人检测方法。关于移动行人检测方法的具体步骤，在此不做赘述。
83.在本实施方式中，所述机器人上设置有深度相机。所述深度相机用于获取所述深度图像。
84.以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式的精神和原则之内所作的修改、等同更换和改进等，均应包含在该技术方案的保护范围之内。