视障行人与导盲犬协同礼让方法及装置与流程

本发明涉及辅助驾驶，尤其涉及一种视障行人与导盲犬协同礼让方法及装置。

背景技术：

1、随着自动驾驶和辅助驾驶技术的不断发展，针对多种场景的智能驾驶策略应用也越来越广泛。

2、现有技术中，自动驾驶和辅助驾驶系统在识别斑马线行人时，基本思路是依靠摄像头拍到的人形轮廓来做判断。该方式仅适用于普通行人，对于视障人士及其导盲犬，由于导盲犬个头不大，毛色不统一，导盲犬带着视障人士出行时，与普通行人的行走模式存在较大差别。现有的训练数据里导盲犬的图像较少，导盲犬易被默认为路边的小动物，或者直接被算法忽略掉。实际情况中，导盲犬经常比主人先踏入斑马线，但行人还未进入，此时启动车辆，可能会导致事故的发生。

3、由此可见，现有技术在对由导盲犬导盲的视障行人进行礼让时，无法将行人与导盲犬进行联合考虑，导致出现事故。

技术实现思路

1、有鉴于此，有必要提供一种视障行人与导盲犬协同礼让方法及装置，用以解决现有技术在对由导盲犬导盲的视障行人进行礼让时，无法将行人与导盲犬进行联合考虑，导致出现事故的问题。

2、为了解决上述问题，第一方面，本发明提供一种视障行人与导盲犬协同礼让方法，包括：

3、基于车辆前方的多源感知信息确定车辆前方的行人目标，对各行人目标所处区域进行盲杖检测，当检测到行人目标手持盲杖时，将行人目标确定为礼让行人目标；

4、基于礼让行人目标所处区域和礼让行人目标手中盲杖的方向确定导盲犬搜索区域，当在导盲犬搜索区域搜索到导盲犬时，将礼让行人目标与导盲犬关联，确定协同礼让目标；

5、基于协同礼让目标历史运动轨迹和车辆前方的道路状态预测协同礼让目标的未来运动轨迹，并基于未来运动轨迹与车辆的未来规划行驶轨迹对协同礼让目标进行礼让。

6、在一种可能的实现方式中，基于车辆前方的多源感知信息确定车辆前方的行人目标，包括：

7、获取车辆前方的图像信息，对图像信息进行识别，确定车辆前方的候选行人目标；

8、基于车辆前方的雷达点云信息确定各候选行人目标与车辆的距离，将距离在预设距离方位内的候选行人目标确定为行人目标。

9、在一种可能的实现方式中，对各行人目标所处区域进行盲杖检测，当检测到行人目标手持盲杖时，将行人目标确定为礼让行人目标，包括：

10、确定所述行人目标在待识别图像上的基准区域，将所述基准区域以及所述基准区域外围预设范围内的区域确定为盲杖搜索区域，所述待识别图像为车辆采集的包含所述行人目标的图像；

11、对所述盲杖搜索区域进行盲杖搜索，当所述行人目标对应的连续多帧待识别图像中均检测到盲杖，且所述盲杖与所述行人目标的手部区域重叠时，判定所述行人目标为礼让行人目标。

12、在一种可能的实现方式中，基于礼让行人目标所处区域和礼让行人目标手中盲杖的方向确定导盲犬搜索区域，包括：

13、以礼让行人目标所在区域为中心区域，向盲杖指向方向扩展第一距离，向礼让行人目标的左右各扩展第二距离，向礼让行人目标的后方扩展第三距离，得到导盲犬搜索区域，其中，第一距离、第二距离以及第三距离根据导盲犬导盲时的导盲规范确定。

14、在一种可能的实现方式中，在导盲犬搜索区域内检测导盲犬，包括：

15、采用导盲犬专项检测网络对导盲犬搜索区域进行检测，确定导盲犬搜索区域的导盲犬候选框；

16、当检测到导盲犬候选框中存在预设的导盲犬装备颜色区域，且导盲犬装备颜色区域的几何中心在导盲犬候选框中导盲犬的背部时，确定导盲犬候选框中存在候选导盲犬；

17、对导盲犬搜索区域的雷达点云数据进行地面分割，得到非地面雷达点云，并对非地面雷达点云按离地高度聚类，基于聚类结果确定离地预设高度范围的候选导盲犬点云；

18、当导盲犬候选框中的候选导盲犬与候选导盲犬点云匹配时，确定导盲犬搜索区域内存在导盲犬。

19、在一种可能的实现方式中，将礼让行人目标与导盲犬关联，确定协同礼让目标，包括：

20、按照预设的时间间隔持续监测礼让行人目标与导盲犬之间的距离和运动方向；

21、当距离在预设距离阈值内的持续时长大于或等于第一持续时长，且运动方向的夹角小于或等于预设夹角阈值时，构建礼让行人目标与导盲犬的封闭包围圈，将封闭包围圈确定为协同礼让目标。

22、在一种可能的实现方式中，基于协同礼让目标的历史运动轨迹和车辆前方的道路状态预测协同礼让目标的未来运动轨迹，包括：

23、基于所述协同礼让目标中导盲犬的历史运动轨迹和车辆前方的导盲犬导航目标点与所述导盲犬的方位关系预测所述导盲犬的未来运动轨迹；

24、基于所述导盲犬的未来预测轨迹结合虚拟弹簧-阻尼耦合机制预测礼让行人目标的未来运动轨迹；

25、结合所述导盲犬的未来运动轨迹和所述礼让行人目标的未来运动轨迹确定所述协同礼让目标的未来运动轨迹。

26、在一种可能的实现方式中，基于未来运动轨迹与车辆的未来规划行驶轨迹对协同礼让目标进行礼让，包括：

27、将未来运动轨迹和未来规划行驶轨迹离散化，计算各离散时刻车辆与协同礼让目标的空间距离，结合车辆与协同礼让目标的相对速度确定车辆与协同礼让目标的瞬时碰撞风险值；

28、基于瞬时碰撞风险值结合车辆的速度、交通法规约束以及车辆动力响应特性，确定车辆与协同礼让目标的综合碰撞风险指数；

29、基于综合碰撞风险指数执行不同的礼让策略。

30、在一种可能的实现方式中，基于综合碰撞风险指数执行不同的礼让策略，包括：

31、当综合碰撞风险指数大于或等于第一风险指数阈值，且小于第二风险指数阈值时，发出声音警示；

32、当综合碰撞风险指数大于或等于第二风险指数阈值，且小于第三风险指数阈值时，控制车辆减速；

33、当综合碰撞风险指数大于第三风险指数阈值时，控制车辆紧急刹车。

34、第二方面，本发明还提供一种视障行人与导盲犬协同礼让装置，包括：

35、行人检测模块，用于基于车辆前方的多源感知信息确定车辆前方的行人目标，对各行人目标所处区域进行盲杖检测，当检测到行人目标手持盲杖时，将行人目标确定为礼让行人目标；

36、协同礼让目标确定模块，用于基于礼让行人目标所处区域和礼让行人目标手中盲杖的方向确定导盲犬搜索区域，当在导盲犬搜索区域搜索到导盲犬时，将礼让行人目标与导盲犬关联，确定协同礼让目标；

37、礼让模块，用于基于协同礼让目标的历史运动轨迹和车辆前方的道路状态预测协同礼让目标的未来运动轨迹，并基于未来运动轨迹与车辆的未来规划行驶轨迹对协同礼让目标进行礼让。

38、本发明的有益效果是：本发明提供的视障行人与导盲犬协同礼让方法，通过基于车辆前方的多源感知信息确定车辆前方的行人目标，对各行人目标所处区域进行盲杖检测，当检测到行人目标手持盲杖时，将行人目标确定为礼让行人目标，通过多源感知信息对视障行人进行检测，保证视障行人检测的准确性。基于礼让行人目标所处区域和礼让行人目标手中盲杖的方向确定导盲犬搜索区域，当在导盲犬搜索区域搜索到导盲犬时，将礼让行人目标与导盲犬关联，确定协同礼让目标；基于视障行人进行导盲犬检测，当检测到导盲犬时，将视障行人与导盲犬进行关联，作为协同礼让目标，保证视障行人与导盲犬同时作为礼让目标，保证视障行人和导盲犬通过的安全性。基于协同礼让目标历史运动轨迹和车辆前方的道路状态预测协同礼让目标的未来运动轨迹，并基于未来运动轨迹与车辆的未来规划行驶轨迹对协同礼让目标进行礼让。通过轨迹预测的方式进行礼让，防止车辆与视障行人或导盲犬发生碰撞，确保不会发生交通事故。