一种用于导盲车的人机交互方法和系统与流程

1.本发明涉及导盲车技术领域，特别是关于一种用于导盲车的人机交互方法和系统。


背景技术：

2.随着城市基建水平的提升以及交通出行方式的多元化，普通大众深切感受到了出行经济和便利性，但社会生活节奏的加快也致使残疾或行动不便的弱势群体无法获得更多来自家庭的时刻陪伴，而对于视觉障碍患者而言独自出行便是主要难题。
3.在信息电子技术欠发达的过去，导盲犬和导盲杖是发挥重要的作用，但导盲犬的训练和饲养都需要持续投入非常高成本且服役时间有限，而传统盲道与导盲杖接触式交互已经难以应付复杂的城市交通场景，为此科技工作者集思广益，呈现出许多实用的设计发明，诸如智能导盲杖、智能导盲电子狗、智能导盲头盔等。
4.但是，现有导盲杖和导盲电子狗等设计的主要应用于特定场景，人机交互方式使用某一两种传感或执行器，诸如语音提示、振动反馈，整个人机交互过程缺乏系统性人机工学设计，不具备深度语义理解与关联能力，工况场景下交互体验感较差。


技术实现要素：

5.本发明的目的在于提供一种用于导盲车的人机交互方法和系统，来克服或至少减轻现有技术的上述缺陷中的至少一个。
6.为实现上述目的，本发明实施例提供一种用于导盲车的人机交互系统，包括：导盲车、耳机、手环以及控制器，其中
7.所述耳机，用于接收语音指令，转化为数据指令并转发给所述控制器；
8.所述控制器，用于向所述导盲车发送所述数据指令；所述数据指令包括启动所述导盲车的指示信息；
9.所述导盲车，配置多传感器融合slam功能与动态避障功能以及超宽带uwb定位功能，用于接收所述控制器发送的所述数据指令，当所述数据指令包含启动所述导盲车的指示信息时：根据所述导盲车以及所述手环的位置信息规划到达所述手环的可通行路径，根据所述可通行路径向所述手环行驶。
10.优选的，所述导盲车后端的导引杆末端设置一牵引环，所述牵引环上设置一蜂鸣器，用于在所述导盲车抵达所述目标点后发出所述提示音。
11.优选的，所述导盲车用于：接收固定式uwb定位器件对所述导盲车和所述手环的定位信息，根据所述定位信息计算所述视距连通域拓扑图，其中，所述手环和所述导盲车分别位于至少两个所述固定式uwb配件覆盖范围内。
12.优选的，所述导盲车用于在抵达目标点时，通知所述控制器；
13.所述控制器用于通过所述耳机播放所述提示音。
14.优选的，所述控制器用于：当所述数据指令包括目的地信息时，使用预设的导盲地
图服务规划到达目的地的路线，通过所述耳机语音提示所述到达目的地的路线，所述到达目的地的路线被确认后，将所述路线发送给所述导盲车；
15.所述导盲车用于：根据所述到达目的地的路线，将所述导盲车与用户作为一个整体规划行驶路径；根据传感器探测到的信息以及所述到达目的地的路线中场景切换位置信息，识别所处的区域场景，所述区域场景包括以下至少一种：非公共导盲设施区域、公共盲道设施区域、无障碍盲道设施区域、有障碍盲道设施区域、跨越非连续盲道区域和公共交通换乘区域。
16.优选的，所述系统还包括：
17.导盲鞋垫，其内设置有多个压力传感器和多个振动反馈器；所述多个压力传感器分别部署于前脚掌两侧、足弓中部、脚后跟部，用于监测脚步前后、左右方向的受力偏移情况；所述多个振动反馈器分别部署在脚步前侧左右两端大拇指、小拇指部位，用于左右侧横向反馈。
18.优选的，所述控制器内预设所述多个压力传感器在盲道上的方差阈值，用于接收所述多个压力传感器检测的压力，并计算方差，若计算的方差小于所述方差阈值，则判断当前导盲鞋垫的位置偏离盲道，控制对应的振动反馈器振动，提醒盲道偏离。
19.优选的，所述控制器用于：计算前脚掌压力传感器所测量的压力与脚后跟部压力传感器所测量的压力的比值，当比值超过预设阈值时，通知所述导盲车降低车速。
20.优选的，所述控制器用于：根据所述多个压力传感器采集的数据计算盲人的步频，结合预设步频阈值，调节所述导盲车的速度；或者根据所述导盲车当前车速与所述步频计算盲人步速，并根据预设的步速阈值调节所述导盲车的速度。
21.本发明实施例还提供一种用于导盲车的人机交互方法，应用于上述任一人机交互系统，包括：
22.所述导盲车接收所述控制器发送的数据指令；所述数据指令由所述耳机接收的语音指令转化得到，包括启动所述导盲车的指示信息；
23.所述导盲车接收所述固定式uwb定位器件的定位信息，计算视距连通域拓扑图并规划到达所述手环的可通行路径，根据所述可通行路径向所述手环行驶；
24.所述导盲车周期性接收所述固定式uwb定位器件的定位信息，基于所述多传感器融合slam功能与动态避障功能更新可通行路径，直到抵达目标点。
25.本发明由于采取以上技术方案，其具有以下优点：
26.本发明实施例提供的用于导盲车的人机交互方法和系统，实现导盲车的语音召唤功能，提升用户的使用体验。而且，能够覆盖多种场景的导盲场景需求，提供步履级行进偏离检测与辅助纠偏，并且可穿戴设备设计与用户贴合度高，能为用户多层次体感联动反馈，有效提升在多种场景导盲的适用性。
附图说明
27.图1为本发明实施例提供的用于导盲车的人机交互系统的示意图。
28.图2示出本发明实施例提供的人机交互系统的另一示意图。
29.图3示出本发明实施例提供的室内固定式uwb定位器件的部署示意图。
30.图4示出本发明实施例提供的导盲车规划出可通行路径的示意图。
31.图5示出本发明实施例提供的导盲车建立视觉连通域的示意图。
32.图6示出本发明实施例提供的导盲鞋垫的结构示意图。
33.图7示出本发明实施例提供的导盲鞋垫用于盲道偏离提醒与辅助纠偏的示意图。
34.图8示出本发明实施例提供的导盲行走过程鞋垫压力时序图。
35.图9示出本发明实施例提供的人机交互系统的另一示意图。
36.图10示出本发明实施例提供的用于导盲车的人机交互方法的流程示意图。
具体实施方式
37.在附图中，使用相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面结合附图对本发明的实施例进行详细说明。
38.在本发明的描述中，术语“中心”、“纵向”、“横向”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。
39.在不冲突的情况下，本发明各实施例及各实施方式中的技术特征可以相互组合，并不局限于该技术特征所在的实施例或实施方式中。
40.下面结合附图以及具体实施例对本发明做进一步的说明，需要指出的是，下面仅以一种最优化的技术方案对本发明的技术方案以及设计原理进行详细阐述，但本发明的保护范围并不仅限于此。
41.本文涉及下列术语，为便于理解，对其含义说明如下。本领域技术人员应当理解，下列术语也可能有其它名称，但在不脱离其含义的情形下，其它任何名称都应当被认为与本文所列术语一致。
42.本发明实施例提供一种用于导盲车的人机交互系统，图1示出该人机交互系统的示意图，包括：导盲车10、耳机20、手环30以及控制器40，其中
43.所述耳机20，用于接收语音指令，转化为数据指令并转发给所述控制器40；
44.所述控制器40，用于向所述导盲车10发送所述数据指令；所述数据指令包括启动所述导盲车的指示信息；
45.所述导盲车10，配置多传感器融合slam功能与动态避障功能以及uwb(超宽带)定位功能，用于接收所述控制器40发送的所述数据指令，当所述数据指令包含启动所述导盲车的指示信息时：根据所述导盲车10以及所述手环30的位置信息规划到达所述手环的可通行路径，根据所述可通行路径向所述手环行驶。
46.在一种实施方式中，所述导盲车10后端的导引杆末端设置一牵引环，所述牵引环上设置一蜂鸣器，用于在所述导盲车抵达所述目标点后发出所述提示音。
47.在一种实施方式中，所述牵引环上还设置一吸附器件，用于与所述智能手环之间产生吸附作用。
48.在一种实施方式中，所述导盲车用于：接收固定式uwb定位器件对所述导盲车和所述手环的定位信息，根据所述定位信息计算所述视距连通域拓扑图，其中，所述手环和所述导盲车分别位于至少两个所述固定式uwb配件覆盖范围内。
49.在一种实施方式中，所述导盲车用于在抵达目标点时，通知所述控制器；所述控制
器用于通过所述耳机播放所述提示音。
50.在一种实施方式中，所述控制器用于：当所述数据指令包括目的地信息时，使用预设的导盲地图服务规划到达目的地的路线，通过所述耳机语音提示所述到达目的地的路线，所述到达目的地的路线被确认后，将所述路线发送给所述导盲车；所述导盲车用于：根据所述到达目的地的路线，将所述导盲车与用户作为一个整体规划行驶路径；根据传感器探测到的信息以及所述到达目的地的路线中场景切换位置信息，识别所处的区域场景，所述区域场景包括以下至少一种：非公共导盲设施区域、公共盲道设施区域、无障碍盲道设施区域、有障碍盲道设施区域、跨越非连续盲道区域和公共交通换乘区域。
51.在一种实施方式中，上述人机交互系统还包括导盲鞋垫60，其内设置有多个压力传感器和多个振动反馈器；所述多个压力传感器分别部署于前脚掌两侧、足弓中部、脚后跟部，用于监测脚步前后、左右方向的受力偏移情况；所述多个振动反馈器分别部署在脚步前侧左右两端大拇指、小拇指部位，用于左右侧横向反馈。
52.在一种实施方式中，所述控制器内预设所述多个压力传感器在盲道上的压力方差阈值，用于接收所述多个压力传感器检测的压力，并计算方差，若计算的方差小于所述方差阈值，则判断当前导盲鞋垫的位置偏离盲道，控制对应的振动反馈器振动，提醒盲道偏离。
53.在一种实施方式中，所述控制器用于：计算前脚掌压力传感器所测量的压力与脚后跟部压力传感器所测量的压力的比值，当比值超过预设阈值时，通知所述导盲车降低车速。
54.在一种实施方式中，所述控制器用于：根据所述多个压力传感器采集的数据计算盲人的步频，结合预设步频阈值，调节所述导盲车的速度。
55.在一种实施方式中，所述控制器用于：或者根据所述导盲车当前车速与所述步频计算盲人步速，并根据预设的步速阈值调节所述导盲车的速度。
56.为便于理解本发明，下面通过具体实施例来介绍本发明提供的人机交互系统。需要说明，下述具体实施例仅用于解释本发明，其中的具体描述并非出于限制本发明的目的。
57.图2示出本发明实施例提供的人机交互系统的另一示意图。如图2所示，该系统包括一副耳机20、一只手环30、一双导盲鞋垫50、一控制器40(例如手机)以及导盲车10，共同构建一套可穿戴导盲系统。
58.(1)导盲车10
59.导盲车10主要由定位与导航模块、环境感知模块、动态避障模块以及无线通信模块组成。其中，定位模块负责实时追踪空间坐标信息，支持绝对定位与室内空间相对定位功能；环境感知模块支持静态设施、动态障碍物空间感知功能；动态避障模块负责将导盲车与盲人作为一个整体规划可通行的路线；无线通信模块负责与用户及外部gsm/5g通信更新状态信息，并且通过uwb通信实现与盲人的相对定位。
60.(2)控制器40
61.控制器40是整个导盲系统的通信及决策中枢，包括地图导盲、语音识别与合成、紧急求助、无线通信四个模块。其中，地图导盲模块负责根据用户语音设定的目的地进行线路规划与可通行性分析；语音识别与合成模块是人机交互的核心媒介，负责准确识别用户语音、正确理解所在场景下的语义，并调度其他功能模块协助达成目标；紧急求助模块用于维护用户的身份信息，并提供语音和实体触控两种方式快捷的发起语音、视频等远程协助请
求；无线通信模块通过gsm/5g通信与外界更新信息，在导盲系统内通过nfc技术例如蓝牙通信与各个功能模块的信息互达。该控制器40具体可以为手机，还可以为其它具有上述功能的设备。
62.(3)耳机20
63.耳机20是导盲系统中用户行为意图传达的重要媒介，本示例中，耳机20包括动态降噪扩音、拾音和无线通信三个模块。其中，动态降噪模块能够根据用户周围环境情况动态切换降噪等级，并根据用户对环境感知的需要切换通透模式。拾音模块具备关键词触发与拾音降噪功能。无线通信模块通过蓝牙通信与智能手机互联传输音频以及控制信息。
64.(4)手环30
65.手环30是用户肢体动作意图传递的主要媒介，包括惯性姿态测量、nfc鉴权与支付、导盲牵引匹配、无线通信四个模块。其中，惯性姿态测量模块负责监控用户的行进速度以及跌倒等异常体姿监测；nfc鉴权与支付模块用于社区、楼宇门禁，公共交通非接触式支付；导盲牵引匹配模块负责在用户召唤导盲车时，与导盲车之间进行匹配；无线通信模块通过uwb通信与导盲车实现相对定位，通过蓝牙通信智能手机互联传输信息。
66.(5)导盲鞋垫50
67.导盲鞋垫50是对于用户体感交互反馈最直接的手段，包括地面平整度识别、振动反馈阵列、无线通信三个模块。其中，地面平整度识别模块用于协助用户探测所行走地面状况以及是否行走在盲道上或者发生偏离；振动反馈阵列模块用于通过分布在鞋垫中的多个振动点的振动提示用户是否偏离盲道以及所偏离的方向并辅助修正；无线通信模块通过蓝牙通信与智能手机互联传输信息。
68.下面通过一具体实施例说明室内启动导盲车时人机交互系统的运行过程。
69.该启动过程中，利用手环与导盲车uwb通信相对测距与定位能力，与耳机音频提示导引项结合，实现导盲车室内召唤功能。其中，参照室内格局在导盲车可能被召唤的区域部署固定式uwb定位器件(或者模组)，部署点位的原则为确保导盲车及盲人用户处于不少于2个uwb定位器件视距覆盖范围内，以便用户和导盲车实现较好的室内相对定位精度。图3示出室内固定式uwb定位器件的部署示意图。
70.该启动过程具体包括：
71.步骤一，语音唤醒与召唤
72.用户佩戴智能耳机并说出语音唤醒词，例如“你好，小助”，耳机反馈例如“嘟”监听用户指令，用户说出语音指令例如“召唤导盲车”，语音指令被正确解析并通过智能手机转发至休眠状态的导盲车，导盲车进行系统初始化，并完成传感器、软件功能自检并进入伺服状态，并请求用户位置信息，通过上行链路反馈例如“导盲车收到并正在赶来”。
73.步骤二：导盲车执行路径规划
74.导盲车与用户通过uwb通信实现定位，与传统最少三点定位方式不同，本实施例中仅需要确保每个需定位的设备保持在两个固定式uwb定位器件覆盖范围内。导盲车具备空间内slam与动态避障通行能力，而uwb仅需计算视距可连通域并规划出可通行路径(简称一次规划)，如图4所示，盲人用户所在位置(4)视距可达覆盖uwb定位器件(1)和(2)号，导盲车所在位置(5)视距可达覆盖uwb定位器件(1)和(3)号，基于此建立视觉连通域，并将任意两点距离作为权重d
ij
，建立如图5所示的连通域图。导盲车基于视觉连通域拓扑图通过最短路
径算法例如dijkstra算法，可知当前可达的最短路径依次为(5)(1)(4)，导盲车完成路径一次规划。
75.步骤三：导盲车动态避障与循迹行进
76.导盲车配备有单线激光雷达、惯导传感器，具备室内视距空间避障与规划行进能力，而步骤二中一次规划的路径构建的连通域图权重距离d
ij
为标量，二次线路规划动态计算行进方向。行进方向保持与视距下一目标位置趋近，判断方法如下：从当前位置向定位器件(1)的方向动态避障行进，行进一段距离约d，d长度大于uwb最小位置误差(10cm)，然后判断当前位置p与临近定位装置的当前距离d
p1
、d
p3
并规划下一步行进方向a
p1
范围，并继续动态避障行进。
77.步骤四：用户匹配与连接导盲车牵引环
78.导盲车抵达目标点时(例如检测到距离用户位置小于20cm处)，控制器获取导盲车的反馈，通过耳机语音提示用户导盲车已就位。
79.导盲车后端的延伸导引杆末端还可以配备一只牵引环，牵引环末端安装有一枚有源蜂鸣器舒缓发出”嘟”音，当导盲车接近用户并驻停下时，智能耳机自动切换到通透模式，盲人通过听觉近距离辩识牵引环所处的空间方位，进而伸手靠近牵引环。牵引环末端还可以设置导引(辅助、安全)绳连接磁吸钮，当接近手环例如10cm以内时候，磁吸会自动吸合到手环磁吸座上，用户手顺导引绳即可更加顺利握到导引环，完成用户与设备连接匹配，此时提示音停止。磁吸导引环在导盲过程中便于因牵引环短暂脱离后能够快速找到。
80.下面通过一具体实施例说明导盲鞋垫的功能。
81.图6示出导盲鞋垫的结构示意图。如图所示，导盲鞋垫(一只)配备有4枚压力传感器61以及2枚振动反馈器62。容易理解，该数量仅为示例，也可以配置其它数量的压力传感器以及振动反馈器。其中，压力传感器分别部署用于分别监控正常足部主要接地受力点，包括前脚掌两侧、足弓中部、脚后跟部，能够实现脚步前后、左右方向的受力偏移情况监测；振动反馈器分别部署在脚步前侧左右两端大拇指、小拇指部位，避开主要受力点且更接近末端触觉神经，能够有效提供左右侧横向反馈。
82.(一)导盲鞋垫能够用于盲道偏离提醒与辅助纠偏
83.导盲车后向牵引导盲过程中，盲人持续通过脚部触觉搜索盲道，易出现盲人偏离盲道的情况，盲道偏离识别与辅助纠偏主要通过单只智能鞋垫多个分散点位压力传感器对于非平整盲道压力不恒定规律进行监控，当发现单只脚多个点位多次受力持续平缓且一致时，通过仅对偏离方向脚部振动反馈提醒盲人用户注意判断是否脱离盲道，并横向纠偏。对于盲人是否偏离需要计算连续多次的单个点位的压力均值f
avg
以及方差d，标定在盲道上的参数值，并将方差阈值d作为判断偏离的阈值。也就说，预先设置连续多次的单个点位的压力方差d作为阈值。该多次的具体数值可以根据实际需要灵活设置。
84.如图7所示，t0时刻盲人正常沿着盲道行走且步履朝向偏右，t1时刻右脚完全迈出盲道，并在随后n步内继续脱离盲道状态，t1～t2时刻实时计算的方差d
n_right
小于方差阈值d，另一方向脚方差d
n_left
未低于方差阈值，则判定为单脚偏离盲道，右脚的振动器振动，提醒偏离盲道的脚面，在t3时刻完成辅助纠偏。
85.其中，存在一种情形，只有前脚掌外侧压力传感器对应的方差小于方差阈值d，则判断前脚掌外侧偏离盲道，其余位置没有偏离盲道，此时，只有右脚小拇指部位的振动器振
动，提醒盲人稍向左侧移动。
86.(二)盲人步距、步频及方向监控与自适应控速
87.导盲过程中盲人需控制行进速度以便实时感知脚下及周围环境，导盲车也需要动态调整牵引速度，以适应盲人步速。
88.盲人行走速度主要决定因素是步距、步(履)频(度)；
89.单步步距d
step
与个人自身(身高、姿态等)条件并且受环境因素影响，方法1可通过固定长度直线距离s
test
(诸如10m)统计步数n
step
的方式进行慢速步距d
slow
、常速步距d
nornal
参数粗标定获取，单位为m，也可参照方法2估算健全人步距测量经验值，h为身高，λ为非健全人步距缩减系数。
90.方法1：
[0091][0092]
方法2：
[0093]
d
step
＝0.262h 155.911λ
[0094]
健全人行走的步频f
step
经验统计值在95～125步/分钟，盲人按照衰减常量系数μ进行经验估计，取值范围为：
[0095]
95μ≤f
step
≤125μ
[0096]
导盲鞋垫能够通过固定频率采集单个压力传感器电压值转化为单点压力值，图8示出导盲行走过程鞋垫压力时序图，其中，横坐标为时间t，纵坐标为压力值n，当该脚底触地并支撑时，传感器压力p
step
达到最大峰值，当脚面抬升脱离地面时压力达到最小谷值；相邻峰值所对应的横轴时间f
step
即为单脚完成单步的周期。
[0097]
人竖直站立穿平跟鞋或者赤足时脚部足跟与前足跖骨受(重)力分配经验值例如为57％:43％，足根部相对提供更多的支撑力，但当人行走速度加快，为适应配速需要重心会发生前移，由脚掌持续提供很多的支撑力，脚面力分布发生变化，极端情况下，当检测到两个脚面承受的合力小于统计均值，这说明重心很可能发生的严重偏移，极易可能发生摔倒等情况，故通过检测脚面压力分布来监测行人的行走状态，进而实现及时调节导盲车速度。
[0098]
通过上述分析，调节导盲车速度的方式可以包括：
[0099]
1：根据压力分布调节导盲车车速
[0100]
预设p
front
:p
tail
的阈值，例如设定最大偏移系数δ取值范围(0,1)
[0101][0102]
若通过传感器采集的当前p
ront
:p
tail
的值大于预设阈值，则判断盲人当前处于急行状态，调节导盲车降低车速。p
front
通过对前侧两个压力传感器测量值取均值，p
tail
为后侧足跟部压力传感器测量值。
[0103]
2：根据步频调节导盲车车速
[0104]
如上分析，步频的正常取值范围为：95μ≤f
step
≤125μ，则若通过传感器采集的当前f
step
大于125μ，判断导盲车行驶速度过大，盲人需要追赶导盲车，则调节导盲车降低行驶
速度；反之，若通过传感器采集的当前f
step
小于95μ，则判断导盲车行驶速度过小，调节导盲车提高行驶速度。
[0105]
3：根据步距调节导盲车车速
[0106][0107]
已知导盲车当前导引速度v
speed
，当前的步频f
step
通过对于每个脚部的足跟部压力传感器采集时域信号进行傅立叶变换获取最大幅值所在的频点获得。若当前计算得到的d
setp
大于n
normal
，则判断导盲车速度过快，需要降低导盲车车速。另外，若当前d
setp
小于慢速步距d
slow
，则判断导盲车速度过慢，需要提高导盲车车速。
[0108]
图9示例性地示出一种人机交互系统，包括智能导盲车、智能手机、智能降噪耳机、智能手环和智能鞋垫。
[0109]
智能导盲车主要由定位与导航模块、环境感知模块、动态避障模块以及无线通信模块组成。定位模块负责实时追踪空间坐标信息，支持绝对定位与室内空间相对定位功能，环境感知支持静态设施、动态障碍物空间感知功能，动态避障模块负责将导盲车与盲人作为一个整体规划可通行的路线，无线通信模块负责与用户及外部gsm/5g通信更新状态信息，并且通过uwb通信实现与盲人的相对定位。
[0110]
智能手机是整个导盲系统的通信及决策中枢，包括地图导盲、语音识别与合成、紧急求助、无线通信四个模块。地图导盲负责根据用户语音设定的目的地进行线路规划与可通行性分析，语音识别与合成模块是人机交互的核心媒介，负责准确识别用户语音、正确理解所在场景下的语义，并调度其他功能模块协助达成目标，紧急求助模块用于维护用户的身份信息，并提供语音和实体触控两种方式快捷的发起语音、视频等远程协助请求，无线通信模块通过gsm/5g通信与外界更新信息，在导盲系统内通过蓝牙通信与智能导盲车、智能降噪耳机、智能鞋垫和/或智能手环等其它器件信息互达。
[0111]
智能降噪耳机是导盲系统用户行为意图传达的重要媒介，包括动态降噪扩音、拾音和无线通信三个模块。动态降噪模块能够根据用户周围环境情况动态切换降噪等级，并根据用户对环境感知的需要切换通透模式，拾音模块具备关键词触发与拾音降噪功能，无线通信模块通过蓝牙通信与智能手机互联传输音频以及控制信息。
[0112]
智能手环是用户肢体动作意图传递的主要媒介，包括惯性姿态测量、nfc鉴权与支付、导盲牵引匹配、无线通信四个模块。惯性姿态测量模块负责监控用户的行进速度以及跌倒等异常体姿监测，nfc鉴权与支付用于社区、楼宇门禁，公共交通非接触式支付，导盲牵引匹配模块负责在用户召唤导盲车时，无线通信模块通过uwb通信与导盲车实现相对定位，通过蓝牙通信智能手机互联传输信息。
[0113]
智能鞋垫是对于用户体感交互反馈最直接的手段，包括地面平整度识别、振动反馈阵列、无线通信三个模块。地面平整度识别模块用于协助用户探测所行走地面状况以及是否行走在盲道上或者发生偏离，振动反馈阵列模块用于通过分布在鞋垫中的多个振动点的振动提示用户是否偏离盲道以及所偏离的方向并辅助修正，无线通信模块通过蓝牙通信与智能手机互联传输信息。
[0114]
下面通过具体示例介绍本发明实施例提供的用于导盲车的人机交互系统的实际应用，其涵盖导盲服务前、中、后整个过程的以语音交互为主多传感辅助的体感交互系统的
功能共包括五个步骤，包括人机基本信息交互、导盲设备耦合、导航规划、发起导航、结束导航。该示例中，控制器以智能手机为例进行说明。
[0115]
步骤一：人机基本信息交互
[0116]
导盲出行服务过程中身份证件核实、目的地导航、紧急求助等常见场景，盲人用户不便于携带或提供，故需要借助语音交互手段预先提供一种便携录入及调取方式，人交互需要用户佩戴耳机，蓝牙自动连接智能手机。
[0117]
用户佩戴耳机并说出语音唤醒词，语音反馈用户，用户语音分别说明如下三类配置命令，语音、语义被正确解析并语音反馈用户确认后录入成功。
[0118]
设置个人信息：包括个人证件、身体健康状态
[0119]
设置常用地址：包括家、社区、公园、医院
[0120]
设置紧急联系手段：语音、视频、共享定位功能
[0121]
人机交互示例：
[0122]
(1)用户：“你好，小助”[0123]
(2)语音反馈：“在呢”[0124]
(3)用户：“设置个人证件信息”[0125]
(4)语音答复：“请说明要设置的证件类别”[0126]
(5)用户：“身份证”[0127]
(6)语音答复：“请说明要设置的
‑
身份证
‑
信息项”[0128]
(7)用户：“证件号”[0129]
(8)语音答复：“请说明要设置的
‑
身份证
‑
证件号”[0130]
(9)用户：“100xxx”[0131]
(10)语音答复：“您设置的身份证
‑
证件号为
‑
100xxx，确认请说确认，重新设置请说修改”[0132]
(11)用户：“确认”[0133]
(12)语音答复：“设置成功”[0134]
步骤二：导盲车召唤与用户耦合
[0135]
导盲服务依赖导盲车，导盲车召唤需要用户佩戴耳机、手环，召唤过程见上述室内启动导盲车时人机交互系统的运行过程，此处不再赘述。如下只介绍语音、语义交互逻辑。
[0136]
交互示例：
[0137]
(1)用户：“你好，小助”[0138]
(2)语音答复：“在呢”[0139]
(3)用户：“召唤导盲车”[0140]
(4)语音答复：“好的，召唤中”[0141]
(5)智能手机下发导盲车召唤命令，等待自检结果
[0142]
(6)语音答复：“导盲车已唤醒，自检成功，正向您当前位置赶来”[0143]
(7)智能车uwb定位信息以及车端传感器动态避障抵达用户身边
[0144]
(8)语音答复：“导盲车已在您身旁就位，请手持导盲手柄”[0145]
(9)耳机通过”嘟”音舒缓与短促反馈与导盲车牵引环的距离和相对方位，用户通过佩戴手环的手探向导盲车牵引环，完成导盲车设备耦合。
[0146]
步骤三：导航规划
[0147]
用户通过耳机语音交互使用导航规划服务，由用户语音设定目的地，智能手机预装的导盲地图服务搜索可选的路线，综合导盲车通行能力提出出行建议，用户语音交互确认执行路线后完成路线规划任务。
[0148]
交互示例：
[0149]
(1)用户：“你好，小助”[0150]
(2)语音答复：“在呢”[0151]
(3)用户：“查询到xxx的路线”[0152]
(4)语音答复：“为您找到去往xxx的n条路线，其中第i条路线沿途包含x趟公共交通换乘，y趟徒步穿越马路，累计步行距离z km，有无红绿灯，沿途有w处盲人无障碍设施、v处导盲志愿者服务站，第j条路线xxx
…
，请问基于以上信息选择首选路线”[0153]
(5)用户：“导航第k条路线”[0154]
(6)语音答复：“好的”[0155]
步骤四：发起导航，导盲场景识别与动态策略切换
[0156]
导盲车与人机交互系统支持5种导盲场景的自动辩识，适配相应语音交互导盲策略，如下依次介绍交互过程。
[0157]
4.1室内、社区等非公共导盲设施区域
[0158]
非公共导盲设施区域盲道设施不健全，场景识别主要依赖地图定位及导盲车的设施识别，诸如电梯，楼宇情况；导盲定位主要依赖导盲车的多传感器融合slam，常用的技术手段包括单线激光雷达、uwb定位。导盲通行遵照靠右通行原则，上、下楼主要采用直梯方式，直至进入公共盲道区域结束该场景。
[0159]
交互示例：
[0160]
(1)语音播报：“导航开始，已开启社区导航模式，预计通行距离x米，并经过x部直梯，抵达xxx”[0161]
(2)语音播报：“当前位置沿xxx继续行进50米，请注意跟随导航牵引路线行进，当前设定为靠右通行路线”[0162]
(3)语音播报：“当前位置前方x米抵达直梯，当前电梯停靠在x层，预计x分钟后抵达当前层”[0163]
(4)语音播报：“电梯已抵达，请跟随牵引进入电梯”[0164]
(5)智能手机导航通过智能手环uwb通信向电梯发送目标楼层停靠请求并接收确认响应
[0165]
(6)语音播报：“电梯已抵达目标楼层，请跟随牵引出电梯”[0166]
(7)语音播报：“当前位置沿xxx继续行进50米”[0167]
(8)语音播报：“本区域导引结束，导航模式切换中”[0168]
4.2无障碍盲道设施区域
[0169]
盲道设施区域场景识别主要依赖地图标注及导盲车的盲道识别；导盲车具备基于图像识别与语义分割的盲道检测功能，实现连续盲道行进与保持能力，牵引盲人行径，通过智能鞋垫检测盲道偏离并预警，通过脚部振动反馈提示用户横向纠偏，对于盲道遇障碍物遮挡、跨越路口非连续盲道场景另行判别处理。
[0170]
交互示例：
[0171]
(1)语音播报：“导航开始，已开启盲道导航模式，预计通行距离x米，抵达xxx”[0172]
(2)遇到转弯角度大于45
°
的转弯，语音播报：“前方直角左/右转弯，请注意跟随并保持盲道通行”[0173]
(3)导盲车牵引前行，智能鞋垫实时检测跟随速度并进行导盲车速度自适应调节，实时检测盲道偏离，如发生行走偏离足部振动提醒。
[0174]
(4)遇到盲道分叉，语音播报：“前方盲道岔路，请注意沿左侧岔路跟随并保持盲道通行”[0175]
(5)语音播报：“本区域导引结束，导航模式切换中”[0176]
4.3有障碍盲道设施区域
[0177]
导盲车在盲道上的行进采用盲道检测循迹策略，当遇到前方盲道区域被障碍物遮挡，导盲车通过视觉图像识别分类障碍物类别、大小，基于此判断是否可绕行或需要寻求协助。
[0178]
交互示例：
[0179]
(1)盲道导盲通行过程中导盲车发现前方近距离行人、非机动车临时穿行盲道，导盲车减速慢行，并语音播报：“前方有行人穿行，低速通过中”，慢速牵引盲人通过。
[0180]
(2)导盲通行过程中导盲车发现前方有静态障碍物占用部分盲道，导盲车减速并尝试规划不脱离盲道的绕行路线，并语音播报：“前方有障碍物部分占用盲道，已规划沿左侧绕行路线，低速通过中，请注意避让右侧障碍物”，慢速牵引盲人通过。
[0181]
(3)导盲通行过程中导盲车发现前方有静态障碍物遮挡连续盲道，导盲车规划沿当前线路绕行路线失败并停车，语音播报：“前方有连续路段障碍物占用盲道，无法绕行该段接驳盲道，请确认当前处理策略，远程协助或选择备选绕行线路规划”[0182]
(4)用户：“查看备选绕行路线”[0183]
(5)语音播报：“检索到最近一条备选绕行路线多行走x米，跨过x处红绿灯，耗时增加x分钟，是否切换路线”[0184]
(6)用户：“确认切换路线”[0185]
(7)导盲车切换路线并继续导航通行。
[0186]
4.4跨越非连续盲道区域
[0187]
导盲跨域路口需要导盲车基于图像检测识别核实路口信息，包括收集周围交通环境信息，包括信号灯、人行横道以及延伸对向是否有盲道接驳等。
[0188]
交互示例：
[0189]
(1)导盲车靠近路口斑马线并减速停车，识别当前信号灯，语音播报：“前方x米接近路口人行道斑马线起点，当前通行方向预计x秒后绿灯可以通行”[0190]
(2)通行信号灯变绿，导盲车播放低频报警音以及警示灯，牵引盲人沿斑马线通行，语音播报：“当前通行方向绿灯，请注意跟随导盲车通行”[0191]
(3)完成跨越路口并驶入下一盲道接驳点，语音播报：“已通过当前路口，请沿盲道继续通行”[0192]
4.5公共交通换乘区域
[0193]
公共交通换乘主要指地铁接驳换乘，地铁设施健全且有固定的志愿服务站，具备
导盲所需的基础环境条件；场景识别主要依赖地图定位；公共交通换乘主要涉及站内导航、闸机检票、上下车协助四个部分，站内导航主要依赖导盲车的多传感器融合slam，常用的技术手段包括单线激光雷达、uwb辅助定位，闸机检票通过智能手环非接触式nfc近场通信，上、下车借助站点语音播报以及志愿者协助。
[0194]
交互示例：
[0195]
(1)通过盲道接驳导引进入地铁站并走向地铁闸机，语音播报：“当前已抵达地铁闸机门禁，请通过手环刷码通过”[0196]
(2)用户通过手腕部智能手环刷码，通道闸机门打开，导盲车检测到前方可通行状态后牵引用户通过闸机通道
[0197]
(3)导盲车按规划换乘线路向指定方向乘车点行进，抵达后在地铁上下车点停车，语音播报：“已抵达上车点，等待下一班次列车抵达”[0198]
(4)地铁列车抵达，语音提示用户：“列车已抵达，请跟随导引乘车”，车门开启后牵引用户上车，如站点提供导盲志愿服务，可通过请求志愿者协助乘车就座。
[0199]
(5)提示用户乘坐本次列车共计行驶站点数以及下车站点，语音提示：“乘坐本次列车共经过x站点，并在x站点下车，预计通行时间x分钟，请留意列车到站播报”[0200]
(6)导盲车根据gps定位信息追踪当前行驶位置当监测到抵达目标站点，语音播报：“当前已抵达x站，请在本站下车进行换乘”[0201]
(7)导盲车牵引下车并继续站内换乘，如已结束公共交通换乘导航，导引用户站内出闸机，结束该场景导盲。
[0202]
步骤五：结束导航
[0203]
导盲车完成导盲服务后，用户与导盲车进行脱离并命令其自动归位，用户摘取所佩戴的可穿戴导盲设备。
[0204]
交互示例：
[0205]
(1)用户解除手环上导盲索引绳，发出语音命令：“你好，小助”[0206]
(2)语音答复：“在呢”[0207]
(3)用户：“导盲车归位”[0208]
(4)语音答复：“好的”[0209]
(5)导盲车利用uwb辅助定位以及多传感器动态避障实现循迹返回预设制定的泊位
[0210]
用户解除智能手环、智能耳机，导盲服务结束。
[0211]
本发明实施例还提供一种用于导盲车的人机交互方法，应用于上述任一实施方式所述的人机交互系统，如图10所示，包括：
[0212]
步骤101，所述导盲车接收所述控制器发送的数据指令；所述数据指令由所述耳机接收的语音指令转化得到，包括启动所述导盲车的指示信息；
[0213]
步骤102，所述导盲车接收所述固定式uwb定位器件的定位信息，计算视距连通域拓扑图并规划到达所述手环的可通行路径，根据所述可通行路径向所述手环行驶；
[0214]
步骤103，所述导盲车周期性接收所述固定式uwb定位器件的定位信息，基于所述多传感器融合slam功能与动态避障功能更新可通行路径，直到抵达目标点。
[0215]
步骤102中，导盲车接收固定式uwb定位器件对所述导盲车和所述手环的定位信
息，根据所述定位信息计算所述视距连通域拓扑图，其中，所述手环和所述导盲车分别位于至少两个所述固定式uwb配件覆盖范围内。
[0216]
步骤103中，导盲车在抵达目标点时，通知所述控制器，由所述控制器通过所述耳机播放所述提示音。导盲车还可以通过其后端的蜂鸣器在抵达目标点后发出提示音。
[0217]
上述人机交互方法中，当所述数据指令包括目的地信息时，控制器使用预设的导盲地图服务规划到达目的地的路线，通过所述耳机语音提示所述到达目的地的路线，所述到达目的地的路线被确认后，将所述路线发送给所述导盲车。所述导盲车接收控制器发送的路线，将导盲车与用户作为一个整体规划行驶路径，根据传感器探测到的信息以及所述到达目的地的路线中场景切换位置信息，识别所处的区域场景，所述区域场景包括以下至少一种：非公共导盲设施区域、公共盲道设施区域、无障碍盲道设施区域、有障碍盲道设施区域、跨越非连续盲道区域和公共交通换乘区域。
[0218]
上述人机交互方法中，还包括使用导盲鞋垫进行盲道纠偏。导盲鞋垫内设置有多个压力传感器和多个振动反馈器；所述多个压力传感器分别部署于前脚掌两侧、足弓中部、脚后跟部，用于监测脚步前后、左右方向的受力偏移情况；所述多个振动反馈器分别部署在脚步前侧左右两端大拇指、小拇指部位，用于左右侧横向反馈。
[0219]
控制器内预设所述多个压力传感器在盲道上的方差阈值，其接收所述多个压力传感器检测的压力，并计算方差，若计算的方差小于所述方差阈值，则判断当前导盲鞋垫的位置偏离盲道，控制对应的振动反馈器振动，提醒盲道偏离。
[0220]
控制器还可以计算前脚掌压力传感器所测量的压力与脚后跟部压力传感器所测量的压力的比值，当比值超过预设阈值时，通知所述导盲车降低车速。
[0221]
该方法中的各步骤的具体实现可以参看上述系统实施例中的介绍，此处不再赘述。
[0222]
本发明实施例提供的用于导盲车的人机交互系统与方法，能够覆盖多种场景的导盲场景需求，提供步履级行进偏离检测与辅助纠偏，并且可穿戴设备设计与用户贴合度高，能为用户多层次体感联动反馈，有效提升在多种场景导盲的适用性。
[0223]
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。