一种用于视障人士导盲的路径规划与避障方法与流程

1.本发明涉及导盲技术领域，尤其涉及一种用于视障人士导盲的路 径规划与避障方法。


背景技术：

2.盲人作为社会群体中的特殊人群，他们终生生活在无边的黑暗 中，因此常常会遇到各种难题，目前市场上的一些导盲产品大多结构 简单而功能单一(只能简单提示前方有障碍物)，虽然有些产品使用 方便，但辅助效果并不明显，而且，视障朋友在使用时会碰到诸多问 题，比如路况不好，坑洼不平，前方有悬挂的障碍物等等，普通的导 盲产品无法准确的探明。现有导盲产品的障碍物探测功能，仅仅局限 于对障碍物的距离进行探测，不能对障碍物所在方位进行精确定位， 并且只能对单一障碍物进行探测，如在多运动障碍物的探测中，仅仅 能够探测到离使用者距离最近的障碍物，因此使得产品的导盲功能实 用性大幅度降低。
3.关于智能导盲设备如导盲眼镜，在国际和国内都有团队和公司进 行过研究，但由于性能以及使用体验不理想等原因始终停留在性能检 测与小批量试产阶段，至今并未形成规模化市场。尤其是在国内，对 视障人士辅助导盲设备的研发更是处于起步阶段，距大规模产品化、 商业化还有很长的一段距离，而且就目前而言，我国针对导盲设备的 市场空间还远没有达到发展普及阶段，因此，解决上述问题显得尤为 重要。


技术实现要素：

4.针对上述问题，本发明提供了一种用于视障人士导盲的路径规划 与避障方法，运用机器视觉和人工智能技术对环境进行3d建模，对 环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域， 并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走 路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。
5.为了实现上述技术方案，本发明提供了一种用于视障人士导盲的 路径规划与避障方法,包括以下步骤：
6.步骤一：将双目摄像头安装到穿戴式终端上；
7.步骤二：运用机器视觉和人工智能技术对环境进行3d建模，所 述3d建模的模型地图为包括有九个有效区域的九方格地图，将九方 格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始 方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步 的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右 前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有 效区域内的障碍物分布来确定；
8.步骤三：路径规划，依据目标检测算法和双目测距算法得到有效 区域内障碍物所在位置、大小及与视障人士的距离，然后根据每个障 碍物所在位置规划出下一步的行走路线；
9.步骤四：通过语音播报前方路况信息，提示视障人士行走与避障， 然后重新规划
路径。
10.进一步改进在于：在所述步骤三中，所述路径规划算法的实现步 骤为：
11.步骤一：找出有效区域内距离视障人士最近的一个和多个目标， 将其映射到九方格所在区域内；
12.步骤二：标出每个目标在九方格地图上的位置和覆盖区域，目标 的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到 的区域；
13.步骤三：方格有效性检测，方格有效性由覆盖每个方格的目标的 区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方 法；
14.步骤四：规划有效行走路径，对于标记为无效的方格均为不可通 行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方 格s32为出发点，沿左方、右方、左前方、正前方和右前方5个方向 查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如 果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可 通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺 序选择最优路线。
15.进一步改进在于：在所述步骤三中，检测算法流程为：
16.s1、检测第一行，也就是九方格最上面一行的方格，首先检测中 间格子s
12
，如果s
12
没有被目标覆盖，则将其标记为s
12
＝11有效；如 果s
12
的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标 记为s
12
＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3， 则标记为有效，其中左半部分覆盖的标记为s
12
＝01右有效，右半部分 覆盖的标记为s
12
＝10左有效，如果s
12
的中心部分有目标覆盖，则标 记为s
12
＝00无效；
17.其次检测右格子s
13
，如果s
13
没有被目标覆盖，则将其标记为 s
13
＝11有效；如果s
13
的左半部分或右半部分有大于格子1/3面积被覆 盖，则将其标为s
13
＝00无效，反之如果目标覆盖面积小于等于方格面 积的1/3，则标记为有效，其中左半部分覆盖的标记为s
13
＝01右有效， 右半部分覆盖的标记为s
13
＝10左有效；如果s
13
的中心部分有目标覆 盖，则标记为s
13
＝00无效；同理，对左格子s
11
进行相同的处理；
18.所述覆盖面积的计算是根据目标检测框宽度覆盖所在格子的区 间长度乘以方格边长来计算的；
19.s2、检测第二行，也就是九方格中间一行的方格，首先检测中间 格子s
22
，如果s
22
没有被目标覆盖，则将中间格子标记为s
22
＝11有效； 如果s
22
的左半部分或右半部分有大于格子1/3面积被覆盖，则将中 间格子标记为s
22
＝00无效，反之如果目标覆盖面积小于等于方格面积 的1/3，则标记为有效，其中左半部分覆盖的标记为s
22
＝01右有效， 右半部分覆盖的标记为s
22
＝10左有效；如果s
22
的中心部分有目标覆 盖，则标记为s
22
＝00无效；
20.其次检测第二行的右格子s
23
，如果s
23
没有被目标覆盖，则将其 标记为s
23
＝11有效；如果s
23
的左半部分或右半部分有大于格子1/3 面积被覆盖，则将其标记为s
23
＝00无效，反之如果目标覆盖面积小于 等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为 s
23
＝01右有效，右半部分覆盖的标记为s
23
＝10左有效；如果s
23
的中心 部分有目标覆盖，则标记为s
23
＝00无效；同理，对左格子s
21
进行相 同的处理。
21.s3、检测第三行，也就是九方格最下面一行的左右两个方格，如 果左格子s
31
没有被目标覆盖，则将其标记为s
31
＝11有效；如果s
31
的 左半部分有大于格子1/3面积被覆盖，则将其标记为s
31
＝00无效，反 之如果目标覆盖面积小于等于方格面积的1/3，则标记为s
31
＝11有效； 如果左格子的中心部分及右面有目标覆盖，则标记为s
31
＝00无效；
22.如果右格子s
33
没有目标覆盖，则将其标记为s
33
＝11有效；如果 右格子的右半部分有大于格子1/3面积被覆盖，则将其标记为s
33
＝00 无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为 s
33
＝11有效；如果右格子的中心部分及左面有目标覆盖，则标记为 s
33
＝00无效。
23.本发明的有益效果是：
24.1、本发明运用机器视觉和人工智能技术对环境进行3d建模，对 环境中的静态和动态障碍物进行检测和识别，获取障碍物所在区域， 并计算出相对视障人士的距离和方位，采用九方格地图进行有效行走 路径规划，通过语音播报前方路况信息，提示视障人士行走与避障。 本发明能在动态环境下，感知环境中障碍物的空间位置，规划出供视 障人士行走的路线，为视障人士的出行提供方便。
25.2、本发明是针对视障人士日常生活中的出行问题而专门设计的 一套辅助工具，使用者只需要穿上和佩戴上集成了本系统的智能腰包 等“穿戴式智能设备”系列终端，就可以实现视障人士出行中的自主 避障与路径规划、语音 音频的障碍物与方位提醒以及行走方向的语 音提示等功能。
26.3、本发明充分考虑了同类产品的各种性能缺陷，并在同类设备 的基础上，将各方面性能做了进一步的创新与提高。本发明运用先进 的深度学习算法并在此基础上改进优化设计了一种高性能障碍物探 测网络，提出了基于九方格地图的路径规划算法与避障策略，将双目 摄像头获取的视差图转换为深度图，并与障碍物探测网络相结合，准 确获取障碍物的位置与距离，同时，系统采用了语音提示与音频相结 合的方式对障碍物的位置与距离信息进行提示。
附图说明
27.图1为本发明的程序流程图。
28.图2为本发明的九方格地图。
29.图3为本发明的检测s
22
有效性的过程。
30.图4为本发明的检测s
12
有效性的过程。
具体实施方式
31.为了加深对本发明的理解，下面将结合实施例对本发明做进一步 详述，本实施例仅用于解释本发明，并不构成对本发明保护范围的限 定。
32.本实施例提供了一种用于视障人士导盲的路径规划与避障方法, 包括以下步骤：
33.步骤一：将双目摄像头安装到穿戴式终端上；
34.步骤二：运用机器视觉和人工智能技术对环境进行3d建模，所 述3d建模的模型地图为包括有九个有效区域的九方格地图，将九方 格地图中的底部中间位置处的有效区域方格作为用户落脚点的起始 方格，每一个有效区域的方格的边长设置为0.5m，视障人士下一步 的行走路径以起始方格为基准，以左方、右方、左前方、正前方或右 前方的方格为即将行走的规划路线，路径规划的结果根据当前前方有 效区域内的障碍物分布来确定；
35.步骤三：路径规划，依据目标检测算法和双目测距算法得到有效 区域内障碍物所
在位置、大小及与视障人士的距离，然后根据每个障 碍物所在位置规划出下一步的行走路线；
36.步骤四：通过语音播报前方路况信息，提示视障人士行走与避障， 然后重新规划路径。
37.所述路径规划算法的实现步骤为：
38.步骤一：找出有效区域内距离视障人士最近的一个和多个目标， 将其映射到九方格所在区域内；
39.步骤二：标出每个目标在九方格地图上的位置和覆盖区域，目标 的位置以检测到的目标框为基准，目标的覆盖区域就是检测框检测到 的区域；
40.步骤三：方格有效性检测，方格有效性由覆盖每个方格的目标的 区域和大小确定，具体针对每个格子所在位置的不同有不同的计算方 法；
41.步骤四：规划有效行走路径，对于标记为无效的方格均为不可通 行区域，路径规划时均认为是非通行区；有效路径的规划是以起始方 格s32为出发点，沿左方、右方、左前方、正前方和右前方5个方向 查找是否存在可通行区域，可通行区域必须是有效方格所在区域，如 果找到可以通行的区域，就将其标识为可通行路径，如果存在多条可 通行路径就依次按正前方、左前方、右前方、左方、右方的优先级顺 序选择最优路线。
42.如图2所示，在本实施例中，视障人士行走以步子为基本单位， 每步的步幅大约是0.2m到0.6m之间，由于视障人士行走缓慢，在行 走过程中对视障人士的行走构成威胁的应该是距离其前方1.5m内大 约60
°
角扇面范围内的障碍物，这个区域我们称为有效区域，图中 (b)～(f)分别表示5种行走路线。
43.检测算法流程为：
44.s1、检测第一行，也就是九方格最上面一行的方格，首先检测中 间格子s
12
，如果s
12
没有被目标覆盖，则将其标记为s
12
＝11有效；如 果s
12
的左半部分或右半部分有大于格子1/3面积被覆盖，则将其标 记为s
12
＝00无效，反之如果目标覆盖面积小于等于方格面积的1/3， 则标记为有效，其中左半部分覆盖的标记为s
12
＝01右有效，右半部分 覆盖的标记为s
12
＝10左有效，如果s
12
的中心部分有目标覆盖，则标 记为s
12
＝00无效；
45.其次检测右格子s
13
，如果s
13
没有被目标覆盖，则将其标记为 s
13
＝11有效；如果s
13
的左半部分或右半部分有大于格子1/3面积被覆 盖，则将其标为s
13
＝00无效，反之如果目标覆盖面积小于等于方格面 积的1/3，则标记为有效，其中左半部分覆盖的标记为s
13
＝01右有效， 右半部分覆盖的标记为s
13
＝10左有效；如果s
13
的中心部分有目标覆 盖，则标记为s
13
＝00无效；同理，对左格子s
11
进行相同的处理；
46.所述覆盖面积的计算是根据目标检测框宽度覆盖所在格子的区 间长度乘以方格边长来计算的；
47.s2、检测第二行，也就是九方格中间一行的方格，首先检测中间 格子s
22
，如果s
22
没有被目标覆盖，则将中间格子标记为s
22
＝11有效； 如果s
22
的左半部分或右半部分有大于格子1/3面积被覆盖，则将中 间格子标记为s
22
＝00无效，反之如果目标覆盖面积小于等于方格面积 的1/3，则标记为有效，其中左半部分覆盖的标记为s
22
＝01右有效， 右半部分覆盖的标记为s
22
＝10左有效；如果s
22
的中心部分有目标覆 盖，则标记为s
22
＝00无效；
48.其次检测第二行的右格子s
23
，如果s
23
没有被目标覆盖，则将其 标记为s
23
＝11有
效；如果s
23
的左半部分或右半部分有大于格子1/3 面积被覆盖，则将其标记为s
23
＝00无效，反之如果目标覆盖面积小于 等于方格面积的1/3，则标记为有效，其中左半部分覆盖的标记为 s
23
＝01右有效，右半部分覆盖的标记为s
23
＝10左有效；如果s
23
的中心 部分有目标覆盖，则标记为s
23
＝00无效；同理，对左格子s
21
进行相 同的处理。
49.s3、检测第三行，也就是九方格最下面一行的左右两个方格，如 果左格子s
31
没有被目标覆盖，则将其标记为s
31
＝11有效；如果s
31
的 左半部分有大于格子1/3面积被覆盖，则将其标记为s
31
＝00无效，反 之如果目标覆盖面积小于等于方格面积的1/3，则标记为s
31
＝11有效； 如果左格子的中心部分及右面有目标覆盖，则标记为s
31
＝00无效；
50.如果右格子s
33
没有目标覆盖，则将其标记为s
33
＝11有效；如果 右格子的右半部分有大于格子1/3面积被覆盖，则将其标记为s
33
＝00 无效，反之如果目标覆盖面积小于等于方格面积的1/3，则标记为 s
33
＝11有效；如果右格子的中心部分及左面有目标覆盖，则标记为 s
33
＝00无效。
51.路径规划算法流程如下：
52.步骤一：首先检测第二行的中间格子s
22
有效性(取值11、01、 10均为有效)。
53.1)如果s
22
为无效，并且s
23
和s
33
为有效，则有效路径为：s
32
—> s
33
(右方行走)；
54.2)如果s
22
为无效，并且s
21
和s
31
为有效，则有效路径为：s
32
—> s
31
(左方行走)；
55.3)如果s
22
为无效，而s
31
和s
33
均为有效，则有效路径为：s
32
—> s
33
(右方行走)；
56.4)如果s
22
为无效，而s
31
有效s
33
为无效，则有效路径为：s
32
—> s
31
(左方行走)；
57.5)如果s
22
为无效，而s
33
有效s
31
为无效，则有效路径为：s
32
—> s
33
(右方行走)；
58.6)如果s
22
为无效，而s
31
和s
33
均为无效，则停止行走，后退一 步，并报警提示，重新进行路径规划；
59.图3所示，图中(a)～(f)分别表示上述1)～6)的过程， 图中深色网状表示障碍物区域(无效)，浅蓝色表示任意区域，白色 表示可通行区域(有效)。
60.步骤二：检测第一行的中间格子s
12
有效性
61.1)如果s
12
为有效，并且s
22
也有效，则有效路径为：s
32
—>s
22 (正前方行走)；
62.2)如果s
12
为无效，并且s
22
和s
13
和s
23
为有效，则有效路径为： s
32
—>s
23
(右前方行走)；
63.3)如果s
12
为无效，并且s
22
和s
11
和s
21
为有效，则有效路径为： s
32
—>s
21
(左前方行走)；
64.4)如果s
12
为无效，并且s
23
也无效而s
21
和s
22
为有效，则有效路 径为：s
32
—>s
21
(左前方行走)；
65.5)如果s
12
为无效，并且s
21
也无效而s
22
和s
23
为有效，则有效路 径为：s
32
—>s
23
(右前方行走)；
66.6)如果s
12
为无效，并且s
21
和s
23
均为无效，则停止行走，后退 一步，并报警提示，重新进行路径规划；
67.如图4所示中的(a)～(f)分别表示上述1)～6)的过程， 图中深色网状表示障碍物区域(无效)，浅蓝色表示任意区域，白色 表示可通行区域(有效)。
68.将选定的通行线路做为下一步的行走路线，到达新的位置，将新 的位置做为下一个九方格的起始方格s
32
，重复(1)～(4)步骤， 寻找新的路径，直到到达目的地停止。
69.盲人佩戴或穿上集成了智能感知系统的穿戴式终端后，在出行的 过程可以通过本系统自动感知前方一定距离内的障碍物，并检测识别 出障碍物的距离和方位，规划出有效的行走线路，通过语音提醒盲人 下一步的行走方向。假设盲人每步行走的步距在0.5m内，每次播报 的障碍物是以盲人为基准点，前方大约1.5m*1.5m有效区域范围内距 离盲人最近的一个目标，播报的行走方向有5种可能的路线：左方、 右方、左前方、正前方和右前方，如何行走取决于路径规划的结果， 而路径规划又要根据当前前方有效区域内的障碍物分布确定。如果遇 到左、中、右都有障碍物不能通行，系统会让盲人停止行走，后退一 步，并报警提示，然后重新规划路径。
70.如图1所示，本实施例中采用的服务器主要用于训练障碍物识别 模型、加载检测网络及双目测距算法。
71.服务器上搭载的软件环境为：ubuntu14.04,python2.7.12, gcc5.4.0,g 5.4.0,opencv3.3.1。安装完系统所需环境后，开始 部署darknet框架，具体步骤如下：
72.(1)根据服务器的gpu型号安装所需平台及加速库，本文安装 的显卡驱动版本为418.56、cuda版本为8.0、cudnn版本为7.1.4；
73.(2)移植修改过的darknet源码，makefile文件的设置使用cuda 和opencv编译darknet。
74.搭建好darknet框架后，调用darknet的python接口编写障碍 物检测程序，由于识别程序需要与双目测距算法进行耦合，故将c 编写的双目测距算法封装成动态链接库libstereo.so。封装的时候， 在头文件及源文件中添加extern“c”{}以c语言的方式编译测 距程序。首先，程序加载darknet的动态链接库libdarknet.so和双 目测距的动态链接库libstereo.so，然后调用darknet封装的 load_net()和load_meta()函数加载网络配置文件及训练好的模型， 通过load_image()函数加载待识别图像，再由detect()函数计算类 别、置信度及坐标，此时返回的坐标为(b.x,b.y,b.w,b.h)，分别 表示检测框的中心坐标及宽高。调用libstereo.so的ranging()函 数提取检测框的中心坐标，通过stereo_match()函数进行立体匹配 并生成视差图，再使用coordinate()根据拟合的公式计算坐标点距 离。由于本文模型能对识别到的所有目标进行检测和识别，考虑到视 障人士行进中的实际情况，故设定一个范围阈值，只输出4米内障碍 物的类别及距离信息。
75.以上显示和描述了本发明的基本原理、主要特征和优点。本行业 的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和 说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围 的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要 求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及 其等效物界定。