一种盲人导航眼镜、辅助系统及导航辅助方法

本发明涉及可穿戴辅助设备和导航，尤其涉及一种采用双目摄像头、非透明镜片内置电路、移动端协同处理以及骨传导语音交互的盲人导航眼镜、辅助系统及导航辅助方法。

背景技术：

1、现有助盲眼镜通常采用单目摄像头，难以直接获得障碍物的距离、尺寸和空间方位等信息；部分方案将处理器、电池和通信模块集中设置于镜腿，使镜腿体积和重量增大，影响长时间佩戴。

2、部分云端识别方案需要眼镜端设置无线通信模块和独立供电装置，并持续依赖网络；当网络不稳定时，基本避障功能可能受到影响。另一方面，视障人士不依赖透明镜片观察环境，现有方案未充分利用镜片区域设置电路，镜片内部空间和眼镜整体重量分布仍有改进余地。

3、此外，使用手机扬声器或入耳式耳机进行提示，可能影响隐私或遮挡环境声音；若眼镜端缺少麦克风，佩戴者也不便直接通过语音完成导航目的地输入和系统控制。因此，需要一种以眼镜结构为核心、能够兼顾双目空间感知、轻量化、无电池供电以及双向语音交互的导航辅助方案。

技术实现思路

1、本发明目的在于针对现有技术所存在的不足而提供一种盲人导航眼镜、辅助系统及导航辅助方法的技术方案，通过将至少部分电路设置于非透明镜片内部，减少镜腿中的器件数量和镜腿尺寸，通过双目摄像头获得障碍物空间信息，通过type-c有线连接由移动端为眼镜端供电并传输数据，使眼镜端无需设置电池和wi-fi模块。

2、为了解决上述技术问题，本发明采用如下技术方案：

3、一种盲人导航眼镜，其特征在于，包括：

4、眼镜架，包括镜框和镜腿；

5、两个镜片结构，镜片结构中的至少一个为非透明镜片结构，镜片结构内部形成电路容纳空间；

6、电路模块，电路模块的至少一部分设置于电路容纳空间内；

7、双目图像采集模块，包括间隔设置于眼镜架前部的两个摄像头，用于同步采集不同视角的环境图像；

8、有线数据接口，用于与移动端建立有线连接，并从移动端接收供电和向移动端传输双目图像数据；

9、音频输出装置，用于向佩戴者输出导航辅助提示；

10、以及麦克风，用于接收佩戴者的语音指令。

11、进一步，两个镜片结构均为非透明镜片结构，两个非透明镜片结构分别具有电路容纳空间，电路模块分布设置于两个电路容纳空间内，以减少镜腿中的器件数量和镜腿截面尺寸。

12、进一步，两个摄像头具有预定间隔并分别对应左目和右目，电路模块用于接收两个摄像头采集的双目图像，并将双目图像传输至移动端，以供移动端获得障碍物的类别、距离、尺寸和相对方位中的至少一种。

13、进一步，音频输出装置包括设置于镜腿并能够与佩戴者颞骨区域接触的骨传导振子，麦克风设置于镜框或镜腿。

14、进一步，音频输出装置、麦克风和电路模块均由移动端经有线数据接口供电。

15、一种盲人导航辅助系统，其特征在于：包括如上述的盲人导航眼镜以及与所述盲人导航眼镜有线连接的移动端，所述移动端包括：

16、图像处理模块，用于对接收到的双目图像数据进行处理，得到左目图像和右目图像；

17、目标识别模块，用于识别障碍物；

18、双目空间感知模块，用于基于左目图像和右目图像获取障碍物的空间信息；

19、风险信息生成模块，用于根据障碍物及其空间信息生成导航辅助提示；

20、以及语音交互模块，用于与盲人导航眼镜的音频输出装置和麦克风进行交互。

21、进一步，移动端被配置为默认在本地完成障碍物识别、双目空间感知和导航辅助提示生成中的至少一项，以在未连接网络时维持基本导航辅助功能。

22、进一步，移动端还包括云端调用模块，用于在需要扩展识别或复杂场景理解时，将选定的图像、图像特征或识别请求发送至云端处理模块，并接收云端处理结果；云端处理结果作为移动端本地处理结果的补充。

23、进一步，风险信息生成模块用于根据障碍物的类别、距离、尺寸和相对方位中的至少两项生成提示信息，提示信息包括障碍物信息、避让信息或方向引导信息。

24、进一步，移动端还包括导航模块和提示调度模块，提示调度模块用于在障碍物风险满足预设条件时，使避障提示优先于一般导航提示通过音频输出装置输出。

25、一种利用如上述的盲人导航辅助系统实施的导航辅助方法，其特征在于，包括如下步骤：

26、由眼镜端的两个摄像头同步采集不同视角的环境图像；

27、通过有线连接将双目图像传输至移动端，并由移动端通过有线连接向眼镜端供电；

28、由移动端默认在本地识别障碍物并基于双目图像获得障碍物的空间信息，根据障碍物及其空间信息生成导航辅助提示；

29、通过眼镜端的音频输出装置输出导航辅助提示，并通过眼镜端的麦克风接收佩戴者的语音指令。

30、进一步，由眼镜端的两个摄像头同步采集不同视角的环境图像，环境图像经移动端处理后用于获得障碍物的距离、尺寸和相对方位中的至少一种空间信息。

31、进一步，移动端在本地完成基本障碍物识别和空间信息获取，并在需要扩展识别或复杂场景理解时按需调用云端处理模块，云端处理模块得到的云端处理结果作为本地处理结果的补充。

32、进一步，通过眼镜端的音频输出装置输出所述导航辅助提示，并通过眼镜端的麦克风接收佩戴者的语音指令具体包括根据障碍物风险和导航状态调度输出内容，使危险提示优先于一般导航提示，在接收到佩戴者语音指令时，对语音指令进行识别并生成对应的导航或查询操作。

33、本发明由于采用了上述技术方案，具有以下有益效果：

34、1、本发明利用非透明镜片内部空间设置电路，减少镜腿内器件并改善重量分布。

35、2、本发明利用双目摄像头获得障碍物空间信息，提高对距离、尺寸和方位的感知能力。

36、3、本发明的眼镜端通过type-c供电和传输数据，无需电池和wi-fi模块。

37、4、本发明的手机本地处理保障基本功能，云端算力可按需扩展。

38、5、本发明的骨传导与麦克风形成不遮挡环境声音的双向语音交互。

1.一种盲人导航眼镜，其特征在于，包括：

2.根据权利要求1所述的盲人导航眼镜，其特征在于：两个所述镜片结构均为非透明镜片结构，两个所述非透明镜片结构分别具有电路容纳空间，所述电路模块分布设置于两个所述电路容纳空间内，以减少镜腿中的器件数量和镜腿截面尺寸。

3.根据权利要求1所述的盲人导航眼镜，其特征在于：两个所述摄像头具有预定间隔并分别对应左目和右目，所述电路模块用于接收两个摄像头采集的双目图像，并将双目图像传输至移动端，以供移动端获得障碍物的类别、距离、尺寸和相对方位中的至少一种。

4.根据权利要求1所述的盲人导航眼镜，其特征在于：所述音频输出装置包括设置于镜腿并能够与佩戴者颞骨区域接触的骨传导振子，所述麦克风设置于镜框或镜腿。

5.根据权利要求1所述的盲人导航眼镜，其特征在于：所述音频输出装置、所述麦克风和所述电路模块均由移动端经所述有线数据接口供电。

6.一种盲人导航辅助系统，其特征在于：包括如权利要求1～5中任一项所述的盲人导航眼镜以及与所述盲人导航眼镜有线连接的移动端，所述移动端包括：

7.根据权利要求6所述的盲人导航辅助系统，其特征在于：所述移动端被配置为默认在本地完成障碍物识别、双目空间感知和导航辅助提示生成中的至少一项，以在未连接网络时维持基本导航辅助功能。

8.根据权利要求6所述的盲人导航辅助系统，其特征在于：所述移动端还包括云端调用模块，用于在需要扩展识别或复杂场景理解时，将选定的图像、图像特征或识别请求发送至云端处理模块，并接收云端处理结果；所述云端处理结果作为移动端本地处理结果的补充。

9.根据权利要求6所述的盲人导航辅助系统，其特征在于：所述风险信息生成模块用于根据障碍物的类别、距离、尺寸和相对方位中的至少两项生成提示信息，所述提示信息包括障碍物信息、避让信息或方向引导信息。

10.根据权利要求6所述的盲人导航辅助系统，其特征在于：所述移动端还包括导航模块和提示调度模块，所述提示调度模块用于在障碍物风险满足预设条件时，使避障提示优先于一般导航提示通过所述音频输出装置输出。

11.一种利用如权利要求6～10中任一项所述的盲人导航辅助系统实施的导航辅助方法，其特征在于，包括如下步骤：

12.根据权利要求11所述的导航辅助方法，其特征在于：由眼镜端的两个摄像头同步采集不同视角的环境图像，所述环境图像经移动端处理后用于获得障碍物的距离、尺寸和相对方位中的至少一种空间信息。

13.根据权利要求11所述的导航辅助方法，其特征在于：所述移动端在本地完成基本障碍物识别和空间信息获取，并在需要扩展识别或复杂场景理解时按需调用云端处理模块，云端处理模块得到的云端处理结果作为本地处理结果的补充。

14.根据权利要求11所述的导航辅助方法，其特征在于：所述通过眼镜端的音频输出装置输出所述导航辅助提示，并通过眼镜端的麦克风接收佩戴者的语音指令具体包括根据障碍物风险和导航状态调度输出内容，使危险提示优先于一般导航提示，在接收到佩戴者语音指令时，对所述语音指令进行识别并生成对应的导航或查询操作。