一种智慧助盲出行的眼镜系统及交互方法

1.本发明涉及智能眼镜领域，具体涉及一种智慧助盲出行的眼镜系统及其交互方法。


背景技术：

2.现有的导盲方案可以改善盲人在出行中的便利性，但仍存在一定的缺陷。例如：普通的导盲杖可通过触碰和探测以传递障碍物信息，但受距离限制，并不能及时为盲人有效避障，盲人仅能根据自己记忆和感觉行走；导盲犬的数量不足且其培养成本过高，普通家庭难以承担高额度的培养费用，难以普及；而盲道设计不尽合理且经常被占用，进一步加大了盲人出行的难度。
3.随着人工智能的不断发展，出现了越来越多的智能导盲设备，辅助盲人安全出行。比如智能导盲眼镜，其传感器感知周围信息，通过眼镜主机上的处理器将周围信息转换成振动或语音等提示信息告知盲人，引导盲人前行。
4.在现有技术中，可以用眼镜主机对感知到的周围数据进行处理和运算。但受体积规格的限制，难以保证实时导航过程中拥有足够的算力，因此执行效率慢，不能及时反馈有效信息给盲人，降低了出行的安全度。此外，大量的运算功耗大，容易导致导盲眼镜耗能快，无法长时间运作；运用普通的处理器和过多的传感器模块还会增大眼镜的体积和重量，穿戴效果差。


技术实现要素：

5.有鉴于此，本发明的目的在于提供一种智慧助盲出行的眼镜系统及其交互方法，通过智慧导盲眼镜提供给盲人导航、避障，过马路评定的功能，进一步提高眼镜辅助盲人出行的安全性。
6.为实现上述目的，本发明采用如下技术方案：一种智慧助盲出行的眼镜系统，包括眼镜主体、智能移动端和云平台；所述眼镜主体包括图像采集模块、音频采集模块、蓝牙通信模块、中央处理器、语音播放模块和电源与电源开关模块；所述中央处理器与图像采集模块、音频采集模块、蓝牙通信模块、语音播放模块和电源与电源开关模块分别连接；所述眼镜主体通过蓝牙通信模块与智能移动端连接；所述智能移动端通过无线网络与云平台连接。
7.进一步的，所述图像采集模块包括两个摄像头，分别位于眼镜镜片框的中上方，形成双目模组。
8.进一步的，所述音频采集模块包括电容式触摸感应开关和麦克风，所述电容式触摸感应开关为麦克风执行采集音频信息功能的触发开关；所述麦克风采集使用者的语音，并传输至蓝牙通信模块，蓝牙通信模块再以无线通信的方式传输至智能移动端。
9.进一步的，所述语音播放模块包括双耳式骨传导耳机，分别设置于眼镜两个镜腿上，反馈的音频信息根据不同的场景可分为提示音和播报音。
10.进一步的，所述电源与电源开关模块包括锂电池、电源按键和充电口；所述电源按键用于眼镜主机的开关机，设置于眼镜右后腿靠后区域；所述锂电池用于眼镜运行主机的供电；所述充电口位于眼镜的左后腿，将左后腿拆卸可显露充电口。
11.进一步的，所述智能手机端设有gps定位模块，用于获取当前位置。
12.一种智慧助盲出行的眼镜系统的交互方法，包括以下步骤：步骤s1:图像采集模块获取实时图像数据，并通过蓝牙通信模块传输至智能移动端；步骤s2:智能移动端将实时图像数据通过无线网络传输至云平台；步骤s3:云平台对获取到的图像数据进行检测与分析，即检测当前场景下出现的目标，并对检测到的所有目标进行障碍物评定，综合考虑目标与盲人间的距离、盲人行走方向与目标方向是否冲突等因素，评定目标是否为障碍物；步骤s4:若获取到障碍物信息，则通过智能移动端将数据传送至眼镜主体，并通过语音播放模块播放信息，提醒注意避开障碍物。、进一步的，所述智能移动端联网状态下获取地图信息以及行走步速，为盲人导航，使其顺利到达目的地；所述地图信息通过调用开放的地图api获取，所述行走步速由智能手机端自带的电子陀螺仪或者加速度传感器获取。
13.进一步的，所述云平台还设有过马路评定模块，用于检测红绿灯和斑马线，获取红绿灯的状态、测算斑马线的长度和宽度，评定是否可以开始过马路，并引导盲人安全行走。
14.进一步的，所述语音播放模块反馈的音频信息根据不同的场景可分为提示音和播报音；提示音输出的声道形式表现为左、右声道和双声道，双声道对应水滴声提示，左声道与右声道对应风铃声提示，分别提示盲人继续往前方前进、靠左端前进以及靠右端前进。
15.本发明与现有技术相比具有以下有益效果：本发明通过图像采集模块实时获取盲人行走前方的图像，采用蓝牙通信模块将图像传输至智能手机端，并通过手机自带的5g联网将图像传至5g云计算平台，图像数据处理和深度学习操作由5g云计算平台执行，从而减轻了眼镜主机的重量，提高了眼镜的便捷性，并解决了眼镜主机检测障碍物准确率小、运算效率低的问题。
附图说明
16.图1是本发明系统示意图；图2是本发明一实施例中眼镜结构示意图；图3是本发明一实施例中盲人眼镜主体内部模块连接示意图；图4是本发明一实施例中音频交互流程图；图5是本发明一实施例中语音播放模块语音信息反馈分类图；图6是本发明一实施例中5g云计算平台工作流程图；图7是本发明一实施例中系统数据传输示意图；图中：1-图像采集模块、11-摄像头、2-蓝牙通信模块、3-音频采集模块、31-麦克风、32-电容式触摸感应开关、4-语音播放模块、41-双耳式骨传导耳机、5-电源与电源开关模块、51-锂电池、52-电源按键、52-充电口、6-智能手机端、7-5g云计算平台、71-图像处理模块、72-障碍物评定与导航模块、73-数据库、74-过马路评定模块。
具体实施方式
17.下面结合附图及实施例对本发明做进一步说明。
18.请参照图1，本发明提供一种智慧助盲出行的眼镜系统，包括眼镜主体、智能移动端和云平台；所述眼镜主体包括图像采集模块、音频采集模块、蓝牙通信模块、中央处理器、语音播放模块和电源与电源开关模块；所述中央处理器与图像采集模块、音频采集模块、蓝牙通信模块、语音播放模块和电源与电源开关模块分别连接；所述眼镜主体通过蓝牙通信模块与智能移动端连接；所述智能移动端通过无线网络与云平台连接。
19.在本实施例中，图像采集模块用于采集盲人前方视野的图像；所述蓝牙模块连接智能手机端，用于传输图像信息给智能手机端，并接收其反馈的信息；所述音频采集模块用于盲人输入出行目的地给智能手机端，所述语音播放模块用于将5g云计算平台的处理结果通过提示音或播报音反馈给盲人，从而实现出行定位和导航；所述电源与电源开关模块用于眼镜主机供电和开关机；本实例中，眼镜主体结构外观如图2所示；在本实施例中，图像采集模块包括两个摄像头，分别位于眼镜镜片框的中上方，形成双目模组。对物体与盲人间的距离进行测算的技术为双目立体测距算法。
20.在本实施例中，音频采集模块包括电容式触摸感应开关和麦克风，所述电容式触摸感应开关为麦克风执行采集音频信息功能的触发开关；所述麦克风采集使用者的语音，并传输至蓝牙通信模块，蓝牙通信模块再以无线通信的方式传输至智能移动端。智能手机端会识别对应目的地，若出现文字解析错误或者目的地不存在的情况，智能手机端将反馈错误信息，所述语音播报模块会通过播报提示使用者重新语音输入目的地。
21.在本实施例中，语音播放模块语音信息反馈分类如图5所示；在本实施例中，语音播放模块包括双耳式骨传导耳机，分别设置于眼镜两个镜腿上，反馈的音频信息根据不同的场景可分为提示音和播报音。提示音输出的声道形式表现为左、右声道和双声道，双声道对应水滴声提示，左声道与右声道对应风铃声提示，分别提示盲人继续往前方前进、靠左端前进以及靠右端前进。必要时，为盲人反馈播报音，引导盲人出行和避障。
22.在本实施例中，电源与电源开关模块包括锂电池、电源按键和充电口；所述电源按键用于眼镜主机的开关机，设置于眼镜右后腿靠后区域；所述锂电池用于眼镜运行主机的供电；所述充电口位于眼镜的左后腿，将左后腿拆卸可显露充电口。
23.在本实施例中，所述智能手机端包含gps定位，用于获取当前位置。此外，联网状态下可获取地图信息以及行走步速，为盲人导航，使其顺利到达目的地。所述地图信息通过调用开放的地图api获取，所述行走步速可由智能手机端自带的电子陀螺仪或者加速度传感器获取。
24.在本实施例中，还提供一种智慧助盲出行的眼镜系统的交互方法，包括以下步骤：步骤s1:图像采集模块获取实时图像数据，并通过蓝牙通信模块传输至智能移动端；步骤s2:智能移动端将实时图像数据通过无线网络传输至云平台；步骤s3:云平台对获取到的图像数据进行检测与分析，即检测当前场景下出现的目标，并对检测到的所有目标进行障碍物评定，综合考虑目标与盲人间的距离、盲人行走方
向与目标方向是否冲突等因素，评定目标是否为障碍物；步骤s4:若获取到障碍物信息，则通过智能移动端将数据传送至眼镜主体，并通过语音播放模块播放信息，提醒注意避开障碍物。
25.本实施例中，5g云计算平台工作流程如图6所示；本实施例中，所述5g云计算平台包括图像处理模块、障碍物评定与导航模块、数据库；分别用于数据的处理、分析和存储；对图像采集模块获取到的图像数据进行检测与分析，即检测当前场景下出现的目标，并对检测到的所有目标进行障碍物评定，综合考虑目标与盲人间的距离、盲人行走方向与目标方向是否冲突等因素，评定目标是否为障碍物；本实施例中，所述5g云计算平台还包括过马路评定模块；用于检测红绿灯和斑马线，获取红绿灯的状态、测算斑马线的长度和宽度，评定是否可以开始过马路，并引导盲人安全行走。
26.本实施例中，系统数据传输示意图如图7所示；本实施例中，眼镜主机将采集到的一帧原始图像压缩后通过蓝牙通信模块2传输至智能手机端，智能手机端通过5g联网传输至5g云计算平台7。最终由5g云计算平台运行深度学习模型，将场景信息反馈至智能手机端6，智能手机端6根据场景情况分类并转换成语音信息反馈至眼镜主机。采用蓝牙传输和5g通信提高了数据传输的效率；且眼镜主机不执行复杂的数据操作，减轻了眼镜的重量；眼镜主机的功率需求减小，续航时间可以更长。
27.以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。