一种适用于视障者的视觉-听觉参照物导航方法及系统与流程

摘要: 本发明涉及一种导航,尤其涉及一种适用于视障者的视觉-听觉参照物导航方法及系统。背景技术:1、视障者由于视觉信息获取受限,在独立出行过程中通常需要借助导盲杖、导盲...
一种适用于视障者的视觉-听觉参照物导航方法及系统与流程

本发明涉及一种导航,尤其涉及一种适用于视障者的视觉-听觉参照物导航方法及系统。

背景技术:

1、视障者由于视觉信息获取受限,在独立出行过程中通常需要借助导盲杖、导盲犬、语音导航设备、可穿戴采集设备或者移动终端获得行进方向、障碍物位置和目的地信息。随着定位、图像采集、地图构建和音频输出技术的发展,面向视障者的导航方式逐渐由单一的语音路线提示,发展为结合摄像头、惯性传感器、卫星定位、室内定位、环境图像分析和电子地图的综合导航方式。该类技术通常通过采集用户周围环境信息,确定用户当前位置和朝向,再根据预设地图或实时环境数据生成导航提示。对于室外道路、室内建筑、交通枢纽等复杂空间,导航系统还可以结合建筑物、道路、通道、交通信号、出入口、楼梯、电梯、扶梯、盲道、闸机等环境信息,为视障者提供方向提示、位置提示、通行提示或者风险提示,从而辅助视障者完成从当前位置到目标位置的移动。

2、现有视障导航技术大体包括基于卫星定位和电子地图的导航、基于摄像头和视觉定位的导航、基于障碍物检测的避障提示、基于语音或声音参数的导航信息输出,以及结合惯性传感器、图像数据和地图数据的多源导航方案。上述方案能够在一定程度上提高视障者获取环境信息和路径信息的能力,但在大型公共空间、地下空间或人流密集空间中,仍容易受到定位信号弱、视觉遮挡、环境噪声、场景结构相似、提示信息较多等因素影响。由此可能导致导航提示不连续、用户理解负担增加、行进方向修正不及时,进而影响视障者在复杂场所中的通行效率和安全性。

技术实现思路

1、本发明克服了现有技术的不足,提供一种适用于视障者的视觉-听觉参照物导航方法及系统。

2、为达到上述目的,本发明采用的技术方案为:一种适用于视障者的视觉-听觉参照物导航方法,包括:

3、s1、响应于视障者在公共交通枢纽内发起的导航请求,获取导航请求数据,并调用与导航请求数据对应的参照物地图;

4、s2、基于导航请求数据识别候选参照物,并将候选参照物与参照物地图进行匹配,得到更新后的导航位姿;

5、s3、根据更新后的导航位姿和导航请求数据,生成至少一条候选参照物路径;

6、s4、计算各候选参照物路径的视障适配代价,并根据视障适配代价选取目标参照物路径;

7、s5、根据目标参照物路径确定下一导航参照物,将下一导航参照物相对于更新后的导航位姿的方位、距离和通行关系转换为听觉导航提示,并输出听觉导航提示以引导视障者向下一导航参照物移动;

8、s6、在视障者移动过程中,根据导航请求数据、候选参照物和目标参照物路径判断视障者是否偏航,在发生偏航、参照物失效或接近高风险区域时,将相对于当前导航位姿最近的可确认安全参照物确定为临时目标,并基于临时目标生成恢复参照物路径。

9、本发明一个较佳实施例中,步骤s1包括:

10、获取导航请求触发信号并解析目标语义,确定目标位置;

11、采集用户位姿、环境图像、环境声音和运动状态数据,并进行时间戳标记后组合为导航请求数据;

12、根据用户位姿和目标位置从地图库中检索参照物地图,所述参照物地图包括可确认安全参照物节点、通行边、安全区域和高风险区域。

13、本发明一个较佳实施例中,步骤s2中,基于导航请求数据识别候选参照物包括:

14、对环境图像进行预处理,识别候选视觉参照物,得到视觉参照物类别、相对方位和视觉可确认度;

15、对环境声音进行预处理,识别候选听觉参照物,得到听觉参照物类别、声源方向和听觉可确认度;

16、将候选视觉参照物和候选听觉参照物按时间戳关联,形成候选参照物集合。

17、本发明一个较佳实施例中,步骤s2中,将候选参照物与参照物地图进行匹配包括:

18、从参照物地图中筛选位于用户位姿邻近区域内的地图参照物节点;

19、根据候选参照物与地图参照物节点之间的类别一致度、方位一致度、距离一致度和拓扑一致度,得到匹配分值;

20、将匹配分值达到阈值的地图参照物节点确定为匹配参照物节点,并基于匹配参照物节点修正用户位姿,得到更新后的导航位姿。

21、本发明一个较佳实施例中,步骤s3包括:

22、根据更新后的导航位姿在参照物地图中确定起点参照物节点,并根据目标位置确定终点参照物节点;

23、读取起点参照物节点与终点参照物节点之间的连通子图,删除不可通行边和禁用参照物节点,生成多条候选参照物路径;

24、为候选参照物路径中的可确认安全参照物节点配置节点属性,为通行边配置边属性,计算候选参照物路径的基础可行性,并删除基础可行性不满足阈值的候选参照物路径。

25、本发明一个较佳实施例中,步骤s4中,计算各候选参照物路径的视障适配代价包括:

26、获取候选参照物路径对应的通行距离、安全风险、参照物连续性、视觉可确认度、听觉可确认度、遮挡风险、噪声掩蔽风险和偏航恢复难度;

27、对通行距离、安全风险、参照物连续性、视觉可确认度、听觉可确认度、遮挡风险、噪声掩蔽风险和偏航恢复难度进行归一化处理,并按照预设权重得到视障适配代价;

28、根据视障适配代价选取目标参照物路径包括:选取视障适配代价最小且满足安全约束的候选参照物路径作为目标参照物路径;

29、安全约束包括候选参照物路径不穿越禁行区域、候选参照物路径与高风险区域保持预设安全距离、候选参照物路径中可确认安全参照物节点数量满足预设要求,以及候选参照物路径中连续无参照物通行边长度不超过预设长度。

30、本发明一个较佳实施例中,步骤s5包括:

31、读取目标参照物路径中的参照物节点序列,根据更新后的导航位姿确定视障者在目标参照物路径中的当前位置段;

32、从当前位置段之后的参照物节点中确定满足可确认条件的参照物节点,并将满足可确认条件的参照物节点确定为下一导航参照物;

33、计算下一导航参照物相对于更新后的导航位姿的相对方位和相对距离,并将目标参照物路径中连接当前位置段与下一导航参照物的路径段确定为当前通行边;

34、根据当前通行边确定通行关系,生成包含空间音频方向、距离提示和短语音内容的听觉导航提示,并输出听觉导航提示。

35、本发明一个较佳实施例中,步骤s6中,判断视障者是否偏航包括:

36、在视障者移动过程中读取导航请求数据,并实时更新候选参照物;

37、根据目标参照物路径确定当前通行边和下一导航参照物;

38、计算视障者当前位置与当前通行边之间的横向偏差,以及视障者朝向与当前通行边方向之间的角度偏差;

39、判断下一导航参照物是否在预设时间内被确认,并判断视障者是否接近高风险区域;

40、根据横向偏差、角度偏差、下一导航参照物确认状态和高风险区域距离判断视障者是否偏航。

41、本发明一个较佳实施例中,步骤s6中,确定临时目标并生成恢复参照物路径包括:

42、以当前导航位姿为中心检索邻近可确认安全参照物;

43、根据邻近可确认安全参照物相对于当前导航位姿的距离、可确认度和安全等级,从邻近可确认安全参照物中选取临时目标;

44、以当前导航位姿对应的邻近参照物节点作为恢复起点,以临时目标作为恢复终点,在参照物地图中搜索恢复起点至恢复终点之间的恢复路径;

45、将恢复路径确定为恢复参照物路径,并根据恢复参照物路径输出恢复听觉提示。

46、本发明提供了一种适用于视障者的视觉-听觉参照物导航系统,包括模块:

47、导航请求获取模块,用于响应视障者在公共交通枢纽内发起的导航请求并获取导航请求数据;

48、参照物地图调用模块,用于根据导航请求数据调用对应的参照物地图;

49、候选参照物识别模块,用于基于导航请求数据识别候选视觉参照物和候选听觉参照物;

50、参照物匹配定位模块,用于将候选参照物与参照物地图进行匹配,得到更新后的导航位姿;

51、候选路径生成模块,用于根据更新后的导航位姿和导航请求数据生成至少一条候选参照物路径;

52、适配代价计算模块,用于计算各候选参照物路径的视障适配代价;

53、目标路径选取模块,用于根据视障适配代价选取目标参照物路径;

54、听觉提示生成模块,用于根据目标参照物路径确定下一导航参照物,并将下一导航参照物的方位、距离和通行关系转换为听觉导航提示;

55、偏航判断模块,用于判断视障者是否偏航;恢复路径规划模块,用于在发生偏航、参照物失效或接近高风险区域时确定临时目标并生成恢复参照物路径。

56、本发明解决了背景技术中存在的缺陷,本发明具备以下有益效果:

57、(1)本发明通过将公共交通枢纽中的视觉参照物和听觉参照物组织为参照物地图,并基于更新后的导航位姿生成由可确认安全参照物节点和通行边构成的候选参照物路径,使路径搜索不再仅依赖普通坐标点或最短距离;由于参照物节点能够与视障者可感知的环境对象对应,导航路径更容易被逐段确认;相比仅输出几何路线或普通语音方向的方案,进一步提高了视障者在闸机、扶梯、电梯、站台门等复杂区域内的路径执行稳定性。

58、(2)本发明通过在路径选择中引入视障适配代价,并将通行距离、安全风险、参照物连续性、视觉可确认度、听觉可确认度、遮挡风险、噪声掩蔽风险和偏航恢复难度共同用于目标参照物路径选取,使系统能够筛除短但难以确认或靠近高风险区域的路径;由于公共交通枢纽中存在人流遮挡、广播噪声和重复结构,该组合评价能够更贴合视障者实际通行需求;相比仅按距离或时间规划的导航方式,进一步降低了参照物中断和误入风险区域的可能性。

59、(3)本发明通过在偏航、参照物失效或接近高风险区域时,将相对于当前导航位姿最近的可确认安全参照物确定为临时目标,并基于临时目标生成恢复参照物路径,使偏航处理从直接重规划至最终目的地转变为先恢复到可确认安全位置;由于临时目标具备较高可确认性和较低接近风险,能够缩短不确定状态下的移动距离;相比偏航后直接重新规划完整路线的方案,进一步提高了视障者在地下换乘空间和人流密集区域中的安全恢复能力。。