用于视觉障碍者的避障导航行进系统及方法

1.本发明属于避障导航技术领域，涉及避障导航行进技术，尤其涉及一种用于视觉障碍者的避障导航行进系统及方法，是一种基于三维场景重建与触摸技术相结合的用于视觉障碍者的避障导航行进技术。


背景技术：

2.随着科学技术的发展与电子产品的广泛应用，近些年出现了一些用于视觉障碍人群出行的智能辅助设备。但是，现有传统避障导航行进系统还有许多不足之处：首先，传统的无障碍智能电子设备价格昂贵，科技含量低且使用复杂，对于视觉障碍者学习成本高、经济负担大；其次，类似于智能盲杖之类的设备需要使用者具有一定的劳动强度，给视觉障碍者的出行提供的便捷性低；再者，传统避障导航设备功能单一，可靠性低，维护性差，对视觉障碍者使用不友好。


技术实现要素：

3.为了克服上述现有技术的不足，本发明提供一种用于视觉障碍者的避障导航行进系统及方法，该避障导航行进系统以单片机(stm32f427单片机)为核心，基于stm32f427单片机、gps模块、高清双目摄像头眼镜和智能避障手套设计而成，通过智能眼镜模块进行三维场景重建，并将三维场景重建所得到的信息转化为触摸信息引导使用者前行，使用者能够通过智能避障手套所提供的触感进行避障，从而辅助视觉障碍者在外出过程中进行避障，能够大大改善视觉障碍者行动不便的问题。
4.本发明通过三维场景重建与触摸技术相结合的方法提供一种供视觉障碍人群使用的避障导航行进系统，将三维场景重建所得到的信息转化为触摸信息引导佩戴者前行：智能眼镜端进行三维场景重建所得信息生成具体的8bit位命令，将命令传输往智能避障手套端控制气囊充气、放气来模拟不同触觉作为方向指引信息来指引佩戴者行进。与传统避障导航行进系统相比，本发明是将三维场景重建与触摸技术相结合的方法和系统，具有可穿戴、成本低、便于维护、性能稳定、人机交互性强的技术优势。
5.本发明提供的技术方案是：
6.一种用于视觉障碍者的避障导航行进系统，其中包括两个stm32f427单片机、智能眼镜模块、智能避障手套模块、智能手机端。智能眼镜模块包含高清双目摄像头、安装盒、电池盒、hc-05第一蓝牙串口、gps模块、第一单片机(stm32f427单片机)。智能避障手套模块配备3个气囊，第二单片机(stm32f427单片机)，hc-05第二蓝牙串口，电磁阀以及电机驱动芯片(rz7899)；设计智能手机端导航app用于上传行进的目的地。
7.具体实施时，首先，需要先通过智能眼镜模块的hc-05第一蓝牙串口连接蓝牙，随后登录智能手机端导航app设定行进目标地点。具体实施时，手机端导航app连接蓝牙上传目的地坐标。
8.本发明的避障导航行进系统中包括两个stm32f427单片机，其中一个单片机(第一
单片机，即智能眼镜端单片机)用于负责控制高清双目摄像头以及gps模块获取位置点的经纬度，另一个单片机(第二单片机，即智能避障手套端单片机)用于负责智能避障手套模块和智能眼镜模块的连接。第一单片机主要通过第一蓝牙hc-05串口获取目的地，结合双目摄像头处理结果决定移动方向、状态；第二单片机通过第二蓝牙hc-05串口获取来自第一单片机产生的指令，根据指令控制不同气囊的充气、放气。首先通过智能手机中安装的地图app(如百度地图)获取目的地经纬度，将目的地经纬度输入智能手机端导航app并通过hc-05第一蓝牙串口传入第一单片机，同时第一个单片机从gps模块中获取当前的视力障碍者盲人所在的经纬度信息，生成路线规划。第一单片机中要实现控制高清双目摄像头拍摄照片、完成3d场景重建，从重建的场景中正确识别交通信号灯和盲道。高清双目摄像头自带识别程序根据当前道路的情况，最终输出一个8比特位的指令，比如0x00为正常直行，0x01为左转，0x10为右转，0x11为停止行进。通过智能眼镜模块的hc-05第一蓝牙串口将第一单片机的指令信息传通过hc-05第二蓝牙串口输给第二单片机。第二单片机通过指令控制气囊充气、放气，模拟不同触觉辅助佩戴者行进。
9.本发明的避障导航行进系统在工作时，智能避障手套模块的3个气囊充气后可以让佩戴者产生明显的触觉，并且能清晰感受到其中哪一个气囊处于充气状态、哪一个气囊处于放气状态。智能避障手套模块的hc-05第二蓝牙串口接收到来自智能眼镜模块的指令后，第二单片机根据智能眼镜模块的指令控制智能避障手套模块中的电磁阀工作，使对应的气囊充气，实现对智能避障手套的气囊状态的控制，以达到提醒佩戴者行进的作用。
10.利用本发明提供的上述用于视觉障碍者的避障导航行进系统进行避障导航行进时，包括：
11.1)使用者佩戴上智能眼镜模块和智能避障手套；
12.智能眼镜模块包含高清双目摄像头、安装盒、电池盒、hc-05第一蓝牙串口、gps模块、第一单片机(stm32f427单片机)；智能避障手套模块配备3个气囊，第二单片机(stm32f427单片机)，hc-05第二蓝牙串口，电磁阀以及电机驱动芯片(rz7899)。
13.2)打开智能眼镜模块的开关，开启高清双目摄像头，使用蓝牙将高清双目摄像头、智能避障手套、手机和stm32f427连接，打开手机端导航app设定行进目标地点，并通过hc-05第二蓝牙串口从手机导航app接收目的地坐标，通过gps获取起始点坐标生成总路线规划(指引使用者从起始点到目的地的路线)；
14.3)高清双目摄像头由第一单片机控制，完成每隔两秒获取20张照片的操作，根据20张照片获取视差图，从而实现3d场景重建。从场景重建后的环境中根据高清双目摄像头中的目标识别程序，实现红绿灯和盲道的识别。并将根据道路是否阻塞，交通信号灯状态生成避障路线规划(如果此时前方有障碍，避障路线规划为转向，如果前方交通信号灯不允许继续前进则避障路线规划为停止行进，前方无障碍并且可以继续前进则避障路线规划为前进)，并将结果传输给第一单片机。
15.4)根据总路线规划和避障路线规划生成当前的行进状态(如果避障路线规划不为直行则采用避障路线规划作为行进的状态，如果避障路线规划为直行则使用总路线规划作为行进的状态)。通过第一单片机将生成的最终行进状态转化为8比特位的命令。通过hc-05第一蓝牙串口传递给第二单片机执行，通过第二单片机实现智能避障手套中气囊的充气和放气，从而指导视力障碍者行动。
16.与现有技术相比，本发明的有益效果是：
17.本发明提供一种用于视觉障碍者的避障导航行进系统及方法，采用三维场景重建与触摸技术相结合，设计一种供视觉障碍人群使用的避障导航行进系统，避障导航行进系统中的hc-05蓝牙串口和stm32f427单片机实现了高清双目摄像头、智能避障手套的连接，省去了现有传统导航行进系统的连线操作，提升了用户的使用体验。避障导航行进系统系统整体的稳定性高，尺寸大小和普通眼镜大小相似，携带方便，实用性高。
附图说明
18.图1为本发明提供的用于视觉障碍者的避障导航行进系统的结构框图。
19.图2为本发明避障导航行进系统的gps模块与智能避障手套端的单片机(第一单片机)进行连接的示意图；
20.其中，gps模块中，5v直接与第一单片机中的5v电源连接；rx(receive接收端口，gps模块中接收数据的引脚)与第一单片机txd(transmit data发送数据，第一单片机中负责发送数据的引脚)相连；tx(transmit发送端口，gps模块中发送数据的引脚)与第一单片机rxd(receive data接收数据，第一单片机中负责接收数据的引脚)相连；gnd表示接地；pps(pulse per second时间脉冲信号，是一种电气信号非常精确的指标)与第一单片机p2口(一个并行i/o口)相连。
21.图3为本发明避障导航行进系统的智能避障手套端的电路图；
22.图4为本发明的智能眼镜的结构图；
23.其中1为高清双目摄像头，2为电池盒，用于给智能眼镜端器件供电。3为第一单片机。4为hc-05第一蓝牙串口。5为atgm336h-5n导航模块。6为智能眼镜端开关按钮；
24.图5为本发明避障导航行进系统的智能避障手套背面的结构图；
25.其中7为电池盒为智能避障手套端器件供电。8为智能避障手套端开关。9为第二单片机。10为1号电机用于气囊充气，11为2号电机用于气囊放气。12为三个电磁阀由第二单片机控制开关，开启后对应气囊可以进行充气、放气。
26.图6为本发明避障导航行进系统的智能避障手套正面的结构图；
27.其中，12为1号气囊。13为2号气囊。14为3号气囊。
具体实施方式
28.下面结合附图，通过实例进一步描述本发明，但不以任何方式限制本发明的范围。
29.本发明具体实施时，基于点云场景重建技术、yolo(you only look once)网络技术、触摸技术，具体设计了基于stm32f427单片机的用于视觉障碍者的避障导航行进系统。
30.如图1：本发明的系统主要包括智能眼镜部分、智能避障手套部分、手机导航app部分。主要通过蓝牙完成各部分之间的信息传输。
31.如图3所示智能避障手套端的电路，第一单片机包括：电源模块、电平转换模块、主控芯片模块、电磁阀模块、充放气模块。电源模块用于为第一单片机提供电能的外部电池。电平转换模块用于将电源模块所提供的电压转换为能够应用于工作的电压。电磁阀模块包含三个电磁阀由第一单片机控制开关，每一个电磁阀与一个气囊接通，用于选择做出操作的气囊。充放气模块包含两个电机，1号电机用于气囊充气，2号电机用于气囊放气，该模块
用于对气囊进行充气、放气操作。第一单片机的电源模块由两节2.5v的可充电锂电池提供电源。在第一单片机的电平转换模块中，使用me6215c33m5g将5v电压转换为3.3v电压。输出3.3v直流电压，用于给单片机、充气模块、放气模块、电机驱动芯片(rz7899)、蓝牙模块等提供电源。在第一单片机中，单片机的pa0引脚、pa7引脚、pb10引脚分别连接第一单片机的电磁阀模块的a_encoder引脚、b_encoder引脚、c_encoder引脚，控制气囊充气或放气；单片机的pa1引脚、pa2引脚、pa5引脚、pa6引脚、pb8引脚、pb9引脚分别连接第一单片机的充放气模块中三片电机驱动芯片rz7899的bi引脚、fi引脚，为电机驱动芯片提供控制信号；单片机的pa4引脚连接蜂鸣器模块中蜂鸣器的一端引脚，为使用者提供报警信号；单片机的pa8引脚、pa9引脚分别连接蓝牙模块中的usart1_tx引脚、usart1_rx引脚，为系统提供通信连接。
32.在电磁阀模块中，三块电磁阀的a_en引脚、b_en引脚、c_en引脚分别连接充放气模块中的a_en引脚、b_en引脚、c_en引脚，为三块电机驱动芯片rz7899提供使能信号。
33.上述用于视觉障碍者的避障导航行进系统在工作时，如图4，使用者需要户外活动时，要通过手机导航app通过hc-05第一蓝牙串口向第一单片机发送目的地坐标。gps模块(atgm336h-5n)接收到目的地信息，通过串口传输给stm32f427单片机。完成路线设定，然后打开开关，开启双目摄像头，获取视觉障碍者行进时周围的图像，智能眼镜端的stm32f427单片机进行图像处理，主要包括3d场景重建，部分物体识别。其中，stm32f427单片机进行图像处理，3d场景重建包括：
34.1)根据智能眼镜模块两个摄像头对同一物体所拍的图像的差异，计算物体与使用者的距离；距离越远视差越小，越近则视差越大。
35.2)利用高清双目摄像头所拍摄的图像进行复原与矫正，将两个从不同角度获取的图像重新投影到同一个三维坐标轴下，对整张图片的所有点全部进行视差运算，得到视差图。
36.3)根据真实世界中每个像素点的距离z与视差图，根据成像原理，即可获得每个点在x、y轴的位置，从而构成三维点云，再将每个坐标添加彩色图像的rgb值，从而实现3d场景重建，得到3d场景重建图像。
37.物体识别部分包括：使用3d场景重建获得的图像作为yolo(you only look once)v5算法的输入图像，分别使用500张交通信号灯照片、以及500张盲道照片作为训练集1、训练集2，分别用于训练识别交通信号灯和盲道的状态，以便协助视力障碍者遵守交通规则，并保持在盲道上行进。
38.在使用者行进过程中，根据3d场景重建和物体识别所获得的信号灯以及盲道的当前状态，通过第一单片机转换出一个8比特位的命令用于表示行进指令(比如0x00为正常直行，0x01为左转，0x10为右转，0x11为停止行进)。通过蓝牙模块发送往智能避障手套部分。例如，行进过程中如果发现盲道受到阻塞，则手套优先进入右拐状态，如右方有阻塞状态则进入左拐状态。如发现前方需要转弯，则按需进入左拐、右拐状态。如果发现前方有信号灯、且处于禁止通行状态，则进入停止状态。由此生成8比特位的命令，通过hc-05第一蓝牙串口传输给第二单片机。
39.如图5、图6所示，hc-05第二蓝牙串口接收到来自第一单片机的命令，将命令传入第二单片机中，根据命令开启对应电磁阀使电机对气囊(图6中对12～14)进行充气、放气操作。比如正常直行状态3号气囊充气，1、2号气囊放气。处于右转状态则1、3号气囊充气，2号
气囊放气。处于左转状态则2、3号气囊充气，1号气囊放气。停止状态则1、2号气囊全部充气，3号气囊放气。通过不同气囊对于佩戴着触觉上的影响来实现辅助行进。
40.需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。