导航视障用户的方法、用于视障用户的导航系统和引导机器人与流程

1.本发明涉及一种导航视障用户的方法和用于视障用户的导航系统，并且特别地，但不排他地，涉及一种基于视障用户的行进指令来引导视障用户的引导机器人。


背景技术：

2.向用户或顾客呈现方向或引导信息的常用工具是使用视觉标牌或参考点，以便向用户传达引导和位置信息。然而，对于具有视觉障碍的人，视觉标牌可能不是有用的或者提供任何显著的辅助，因此需要导航辅助的替代形式。
3.触觉标牌，例如铺在地板表面上的触觉砖，可以是帮助视障人进行导航的一种可能的解决方案。这些触觉标牌可以具有预定义的形状和布局，当用户踩着或触摸砖时，其向用户提供触觉感觉。虽然这些触觉标志有助于提供参考信息，但是它们受限于向用户提供的辅助。
4.或者，一些用户可能更喜欢由导盲犬提供的相对活跃的辅助，所述导盲犬经过专业训练以引导用户行进到不同的目的地。然而，导盲犬通常可能被训练成仅记住一些固定路线和目的地点，并且因此限制盲人可能依靠导盲犬行进的地点。


技术实现要素：

5.根据本发明的第一方面，提供了一种导航视障用户的方法，包括以下步骤：从多个信号源接收多个位置参考信号；处理所述位置参考信号以确定所述用户在预定区域中的当前位置；规划用于所述用户从所述当前位置行进到目的地位置的最佳路径；向用户提供与最佳路径相关联的引导信息；从用户获得沿着最佳路径行进的行进指令；根据用户提供的行进指令，沿最佳路径移动引导机器人，直至需要下一个行进指令进一步移动引导机器人。
6.在第一方面的实施例中，规划最佳路径的步骤还包括以下步骤：将包括最小转弯次数的路径确定为最佳路径。
7.在第一方面的实施例中，从用户获得行进指令的步骤还包括以下步骤：从与引导机器人有关的用户获得向前移动指令或向左/向右转动指令。
8.在第一方面的实施例中，该方法还包括以下步骤：检测所述最佳路径中的障碍；规划用于用户从当前位置行进到目的地位置的备选路径；以及从用户获得沿着备选路径行进的行进指令。
9.在第一方面的实施例中，该方法还包括以下步骤：向用户提供与障碍的检测相关联的信息。
10.在第一方面的实施例中，该方法还包括以下步骤：当所述引导机器人与所述障碍之间的距离超过预定阈值时，停止所述引导机器人；以及当障碍被清除时恢复引导机器人的移动。
11.在第一方面的实施例中，通过触觉信号向用户提供与障碍的检测相关联的信息。
12.在第一方面的实施例中，触觉信号包括具有不同振动模式、频率和/或强度的振动信号。
13.在第一方面的实施例中，多个位置参考信号包括多个电磁信号。
14.在第一方面的实施例中，多个电磁信号包括rfid信号、wi-fi信号、ble信号和gnss信号中的至少一个。
15.根据本发明的第二方面，提供了一种引导机器人，包括：一个或多个信号接收器，被布置为从多个信号源接收多个位置参考信号；处理器，被布置为处理所述位置参考信号以确定所述用户在预定区域中的当前位置，并且所述处理器还被布置为规划用于所述用户从所述当前位置行进到目的地位置的最佳路径；用户接口，其被布置为向用户提供与最佳路径相关联的引导信息，并且用户接口还被布置为从用户获得沿着最佳路径行进的行进指令；其中，所述引导机器人被布置为根据由所述用户提供的所述行进指令沿着所述最佳路径移动，直到需要下一行进指令来进一步移动所述引导机器人。
16.在第二方面的实施例中，处理器被布置为将包括最小转弯次数的路径确定为最佳路径。
17.在第二方面的实施例中，用户接口被布置为从与引导机器人有关的用户获得向前移动指令或向左/向右转动指令。
18.在第二方面的实施例中，所述引导机器人还包括：一个或多个障碍检测器，被布置为检测所述最佳路径中的障碍。
19.在第二方面的实施例中，处理器还被布置为规划用于用户从当前位置行进到目的地位置的备选路径；并且用户接口还被布置为从用户获得沿着备选路径行进的行进指令。
20.在第二方面的实施例中，处理器还被布置为当引导机器人与障碍之间的距离超过预定义阈值时停止引导机器人；并且处理器还被布置为当障碍被清除时恢复引导机器人的移动。
21.在第二方面的实施例中，障碍传感器中的一个或多个包括深度相机、2d lidar和毫米波雷达中的至少一个。
22.在第二方面的实施例中，引导机器人还包括手柄，该手柄被布置为通过触觉信号向用户提供与障碍的检测相关联的信息。
23.在第二方面的实施例中，触觉信号包括具有不同振动模式、频率和/或强度的振动信号。
24.在第二方面的实施例中，多个位置参考信号包括多个电磁信号。
25.在第二方面的实施例中，引导机器人还包括rfid传感器、wi-fi接收器、ble接收器和gnss接收器中的至少一个，以接收多个电磁信号。
26.根据本发明的第三方面，提供了一种用于视障用户的导航系统，包括：多个信号源，被布置为发射多个位置参考信号；根据本发明的第二方面的引导机器人，所述引导机器人被布置为接收所述多个位置参考信号；以及手持设备，被布置为向用户提供由引导机器人导出的引导信息。
27.在第三方面的实施例中，导航系统还包括服务器，该服务器包括存储可由手持设备访问的地图数据的数据库。
28.在第三方面的实施例中，手持设备是智能电话或平板计算机设备。
附图说明
29.现在将参考附图通过示例的方式描述本发明的实施例，其中：
30.图1是示出根据本发明实施例的用于视障用户的导航系统的示意图；
31.图2是示出信号接收器、处理器、用户接口和障碍检测器中的一个或多个的布置的示意图。
32.图3是示出当用户使用引导机器人沿着由导航系统确定的路径导航到目的地时图1的导航系统的示例操作的图示；以及
33.图4是示出当引导机器人检测到障碍并为用户确定备选路径时图3的导航系统的示例操作的图示。
具体实施方式
34.参考图1，示出了用于视障用户的导航系统100的实施例，包括：多个信号源102，其被布置为发射多个位置参考信号；引导机器人104，其被配置为接收多个位置参考信号；以及手持设备106，其被布置为向用户提供由引导机器人104导出的引导信息。在导航系统100中，多个信号源102可以是能够发射多个电磁信号的一组信号源。优选地，多个电磁信号可以包括rfid信号、wi-fi信号、ble信号和gnss信号中的至少一个。引导机器人104可以被布置为使用这些信号来规划用于将用户引导至期望位置的导航路径。
35.手持设备106可以是与引导机器人104通信以用于向用户提供引导信息的智能电话或平板计算机设备。在一个示例中，手持设备可以经由但不限于蓝牙通信与引导机器人104通信。手持设备106还可以包括用户接口，其被布置为通过例如语音导航的方式向用户提供引导信息。
36.导航系统100可进一步包括服务器108，其包括存储地图数据的数据库。优选地，数据库可以由手持设备106访问，使得由引导机器人104导出的引导信息可以与地图数据组合，以便以可呈现的形式向用户提供引导信息。
37.在本实施例中，引导机器人104可以是导引车或导盲犬。引导机器人104具有一车体110，其具有四个车轮112，且这些轮子以可操作方式连接至车体110，以驱动引导机器人104沿着一表面移动，例如一地面。引导机器人104还包括可由用户握持的手柄114，使得引导机器人104可导航并引导用户从一个位置移动到另一位置。
38.车轮112被提供用于促进引导机器人104的平滑移动。优选地，至少一对车轮(即，至少前轮对或后轮对)可以是机动化的，使得车轮可以以不同的角度转向，以便围绕拐角或障碍转向。特别地，当引导机器人104太靠近障碍时，例如在引导机器人104和障碍之间的距离超过预定阈值的情况下，车轮112可以立即被制动器停止。
39.手柄114还可以被布置为允许用户向引导机器人104提供行进指令，以便行进预定路径和/或向用户提供与障碍的检测相关联的信息。关于这方面的细节将在后面讨论。
40.参考图2，引导机器人104可以包括一个或多个信号接收器202，其被布置为从多个信号源接收多个位置参考信号。特别地，一个或多个信号接收器202可操作地与处理器/微控制器204连接。处理器204可以被布置为处理位置参考信号以确定用户在预定区域中的当前位置，并且可以被进一步布置为规划用于用户从当前位置行进到目的地位置的最佳路径。
41.引导机器人104还可以包括与处理器204可操作地连接的用户接口206。用户接口206可以被布置成向用户提供与最佳路径相关联的引导信息，并且还可以被布置成从用户获得沿着最佳路径行进的行进指令。以此方式，引导机器人104可被布置为根据由用户提供的行进指令沿着最佳路径移动，直到需要下一行进指令来进一步移动引导机器人104为止。引导机器人还可以包括用于为处理器操作供电的电源单元208。
42.在该示例中，引导机器人104可以包括一个或多个信号接收器202，每个信号接收器可以负责接收多个电磁信号并将所接收的信号提供给处理器以用于进一步处理。例如，参考图2，引导设备可以包括rfid传感器202a、wi-fi接收器202b、ble接收器202c和gnss接收器202d，其经由uart与处理器204可操作地连接，传感器/接收器中的每一个可以被布置成接收特定类型的电磁信号并且将这样的信号提供给处理器204用于进一步处理。
43.在从一个或多个信号接收器202接收到必要的位置参考信号之后，处理器204然后能够参考所接收的位置参考信号来确定用户的当前位置，并且规划用户从当前位置行进到目的地的最佳路径。优选地，处理器204可以包括算法以确定包括最少转弯次数的路径作为最佳路径，使得可以引导用户在到达目的地之前尽可能直地移动。
44.一旦确定了最佳路径，处理器可以通过用户接口206向用户提供与最佳路径相关联的引导信息。在该示例中，用户接口206可以经由uart/spi接口与处理器可操作地连接。用户界面可以包括与手柄114可操作地连接的控制面板，并且包括在手持设备106上运行的移动应用(app)。具体地，手持设备106可以经由引导机器人104的ble接收器202c与处理器204通信，使得引导信息可以被发送到手持设备106，并且可以通过诸如语音导航的音频信号被提供给用户。同时，处理器204可进一步请求用户提供行进指令以允许用户决定是否继续进行如由引导机器人104建议的最佳路径。
45.作为响应，用户可以使用控制面板来向引导机器人104提供行进指令。控制面板可以是与手柄114可操作地连接的物理方向按钮、操纵杆、控制旋钮等形式。在操作中，用户可以简单地使用他的拇指来按压表示特定方向的按钮或者将操纵杆/控制旋钮移动到特定方向以向引导机器人104提供行进指令。例如，在控制面板是物理方向按钮的形式的情况下，用户可以通过按下前进按钮来提供向前移动指令，或者通过按下左/右按钮来提供向左/向右转动指令。可选地或附加地，用户可以通过按下后退按钮来向引导机器人104提供停止行进指令。或者，用户可以通过手持设备106向引导机器人104提供语音行进指令。
46.在接收到行进指令时，处理器202可向引导机器人104的电机发信号以启动并驱动引导机器人104移动，直到需要下一行进指令来继续。例如，引导机器人104可以响应于用户给出的向前移动指令而保持向前移动，直到在诸如绕拐角转弯或检测到障碍的情况下需要提供向左/向右转弯指令。
47.引导机器人104还可以包括被布置为检测最佳路径中的障碍的一个或多个障碍检测器210。障碍检测器210中的一个或多个可以可操作地通过诸如uart的方式与处理器204连接，使得由(一个或多个)障碍检测器接收的障碍信号可以被提供给处理器204以用于进一步处理。特别地，一个或多个障碍检测器210可包括被布置成检测最佳路径中的物体的不规则形状、高度、深度和移动的深度相机、2d lidar和毫米波雷达中的至少一个。
48.在一个示例中，引导机器人104可以包括被布置为捕捉引导机器人104的正面3d视图以便检测具有不规则形状的物体和处于头部高度的任何物体的深度相机、用于捕捉引导
机器人104周围的360
°
平面视图以便检测墙壁的2d lidar、以及用于检测诸如车辆和行人之类的任何移动物体的毫米波雷达。具体地，来自深度相机和2d lidar的数据可以被组合以用于构造占用网格。
49.所检测到的障碍信号可由处理器204收集，且接着处理器204可规划供用户从当前位置行进到目的地的备选路径。特别地，处理器204可以基于诸如弹性带的一些障碍避免算法或进一步结合先前提到的“尽可能直地”算法来规划备选路径。
50.类似地，处理器204可以通过诸如运行移动app的手持设备106的用户接口206向用户提供与备选路径相关联的信息，并且请求用户提供行进指令以沿着备选路径行进。同时，处理器204可以以触觉信号的形式向用户提供与障碍的检测相关联的信息。在一个示例中，触觉信号可以通过引导机器人104的手柄114提供给用户。手柄114可以包括振动发生器或与振动发生器连接，使得可以以不同的振动模式、频率和/或强度向用户提供触觉信号。
51.优选地，振动模式频率和/或强度的差异可表示所检测的对象/障碍的大小、距离或类型。例如，当引导机器人104越来越接近障碍时，可以以增加的强度和/或频率向用户提供触觉信号。此外，可以向用户提供不同振动模式的触觉信号，以分别表示静止对象和运动对象的检测。
52.如上所述，引导机器人104可以保持向前移动，直到在诸如围绕拐角转弯或检测到障碍的情况下需要提供向左/向右转弯指令。因此，在用户未能提供这样的行进指令的情况下，处理器204可以持续通知用户检测到障碍并且持续请求用户提供所述行进指令。
53.同时，诸如毫米波雷达的障碍检测器210中的一个或多个可以测量引导机器人104和障碍之间的距离，以确定该距离是否超过预定阈值，从而确定是否停止引导机器人104。例如，障碍检测器210中的一个或多个可以保持确定引导机器人104和距离引导机器人50米内的障碍之间的距离。如果发现该距离小于特定的米，例如5米，则处理器204可以向引导机器人104的制动器发送信号，以相应地激活和停止机器人。可选地或附加地，障碍检测器210中的一个或多个还可以检测移动对象的速度以评估对象朝向用户的危险水平。直到一个或多个障碍检测器210没有检测到障碍信号(即，障碍被清除)，处理器204可以向制动器发信号以使其停止，并且向电机发信号以使其启动，以恢复引导机器人104的移动。
54.相反，如果用户在预定阈值超过之前提供行进指令，则处理器204可以随后根据用户的指令将引导机器人104布置为沿着备选路径移动。特别地，处理器204可以包括要求引导机器人104不立即左/右转的算法。优选地，处理器104可以包括要求处理器确定引导用户在拐角转弯的路径的算法。
55.有利地，当用户被导航时，它可以向用户提供安全措施。例如，可以理解，在一些情况下，在操作区域内可能存在一些盲点，这可能导致导航系统的精度误差，或者在一些其他情况下，用户可能意外地向引导机器人提供错误的行进指令，使得在任一情况下，用户可能过早地左转/右转，这可能最终导致用户与障碍/墙壁碰撞，或者甚至更糟地，如果障碍是高速公路，则可能导致致命的事故。通过使用上述障碍检测器以及处理器，引导机器人的处理器可以基于由障碍检测器接收的信息以及处理器算法来确定是否是左转/右转的正确时间，使得可以最小化由于上述错误而导致用户受伤的机会。
56.参考图3和图4，示出了由视障用户302在预定区域中使用的导航系统100的示例操作。导航系统100可用于引导用户302从一个位置到目的地。
57.在该示例中，导航系统100包括多个信号源(未示出)，其发射rfid信号、wi-fi信号、ble信号和gnss信号中的至少一个作为多个位置参考信号。
58.导航系统100还包括引导机器人104，其被布置为接收和处理多个位置参考信号，以便为用户302导出引导信息。引导机器人104可以包括具有四个电动车轮112的车体110。车体110可以在由多个壁304限定的区域周围移动。从车体110延伸，设置有(后)手柄114，其在使用时可以由用户302握持。
59.手柄114可以包括或连接到振动发生器，以便向握住手柄114的用户302提供触觉信号。优选地，触觉信号包括具有不同振动模式、频率和/或强度的振动信号，其可以表示要提供给用户302的不同引导信息。手柄114还可以以指示不同情况的不同频率振动。手柄114还可以包括其上的多个物理按钮，作为用户接口206，以供用户向引导机器人104提供行进指令。
60.导航系统100还可以包括手持设备106，诸如移动电话，其被布置为向用户提供由引导机器人104导出的引导信息。优选地，手持设备106可以经由蓝牙通信与引导机器人104通信。手持设备106还可以安装有导航移动应用(app)，使得可以例如通过声音导航提示和信息向用户302提供引导信息。
61.导航系统100可进一步包括服务器(未示出)，该服务器包括存储地图数据的数据库。优选地，数据库可以由手持设备106访问，使得由引导机器人104导出的引导信息可以与地图数据组合，以将引导信息以可呈现的形式提供给用户302。
62.引导机器人104可以包括在其主体110内的导航控制模块(ncm)，该导航控制模块被布置为接收和处理多个位置参考信号。具体地，ncm可以包括rfid传感器202a、wi-fi接收器202b、ble接收器202c和gnss接收器202d，其经由uart可操作地与处理器204连接，每个传感器/接收器可以被布置成接收特定类型的电磁信号并且将这样的信号提供给处理器204用于进一步处理。例如：
63.rfid传感器202a负责从无源rfid标签读取信号，以便向处理器204提供rfid标签编号；
64.wi-fi接收器202b负责扫描来自wi-fi接入点的周围wi-fi签名，以便向处理器204提供坐标信息；
65.ble接收器202c负责扫描周围的ble信标信息，并将从信标接收的ble信号提供给处理器204以用于位置计算；以及
66.gnss接收器202d负责接收来自多个gnss系统的gnss信号，例如glonass、gps、北斗等，以便提供实时位置信号给处理器204。
67.处理器204然后可以参考所接收的位置参考信号来确定用户302的当前位置，并且规划用户302从当前位置行进到目的地的最佳路径306。如上所述，处理器204可以包括算法以确定包括最少转弯次数的路径作为最佳路径306，使得可以引导用户302在到达目的地之前尽可能直地移动。例如，如图3所示，处理器可以参考由引导机器人104的左侧和右侧定位的对象来确定最佳路径。优选地，处理器可以连续地进行这种参考，以便连续地更新最佳路径。在这种情况下，处理器204可以参考位于引导机器人104的左侧和右侧的壁304来确定最佳路径306，其由在一角处接合的两个直线路径组成。这样，引导用户302在到达目的地之前仅转过一个拐角。
68.在替代示例中，处理器204可以简单地收集从多个信号接收器202接收的位置参考信息，并且将位置参考信息发送到手持设备106，以确定最佳路径306。特别地，安装在手持设备106上的导航移动(app)可以被布置为基于从服务器数据库获得的地图数据结合如上所述的算法来规划最佳路径306。
69.一旦确定了最佳路径306，就可以通过手持设备106，利用声音导航提示和信息，向用户302提供与最佳路径相关联的引导信息。例如，手持设备可以向用户302提供附近商店/建筑物的提示、部分或整个最佳路径的估计长度、完成部分或整个路径的估计时间等。
70.用户302然后可以向引导机器人104提供行进指令，使得引导机器人可以根据该指令沿着最佳路径306移动，直到需要下一行进指令。参考图3，用户302可以通过按下前进按钮一次来向引导机器人104提供向前移动指令。以此方式，引导机器人104可以保持向前移动，直到到达最佳路径306的拐角。在到达拐角时，引导机器人104可以停止，并且用户302可以向引导机器人104提供下一个行进指令以进一步移动，在这种情况下，通过按下手柄114上的右按钮一次，使得引导机器人104可以围绕拐角转弯。或者，如果用户302在到达拐角之前按下右键，则引导机器人104将不会立即右转，直到其找到要转弯的拐角。在转向之后，用户302可以再次向引导机器人104提供向前移动指令以移动到目的地。
71.引导机器人104可进一步包括用于沿着最佳路径306检测障碍的视觉模块210。视觉模块210可以包括深度相机、2d lidar和毫米波雷达。如上所述，每个可以被布置成捕获正面3d视图和360
°
平面视图，并且检测任何移动对象以便确定在最佳路径306上是否存在障碍。处理器204可随后基于所接收的障碍信号规划供用户302从当前位置行进到目的地的备选路径。
72.参考图4，障碍402位于最佳路径306上。在该示例中，障碍402可以位于距离引导机器人50米远的位置。视觉模块210可检测障碍402，并向处理器204提供障碍信号，表明在最佳路径306上存在障碍。处理器204然后可规划用户302绕过障碍402的备选路径。
73.具体地，引导机器人104可以在规划备选路径时与本地环境交互，诸如检测附近的任何其他障碍、使用深度相机和2d lidar来创建用于操作区域的占用抓握。处理器204因此可以确定用户302行进的(最佳)备选路径。举例来说，参看图4，在未检测到附近障碍402'的情况下，处理器将依据先前提及的“尽可能直地”算法而规划备选路径404，其将引导用户到达障碍402'，且最终用户可能必须行进长得多的距离才能到达目的地。相比之下，通过创建占用抓握，处理器然后可以能够规划(最佳)备选路径404'以供用户302行进到目的地。
74.引导机器人然后可以通过运行导航移动应用程序的手持设备106向用户302通知与备选路径404相关联的信息。手持设备106可以向用户302提供用于备选路径404的声音导航提示和信息。可选地或附加地，手持设备106还可以通过例如声音导航来通知用户302检测前方的障碍。同时，手柄114可以在检测到障碍402时开始振动，以便向用户302提供触觉信号以用于检测。触觉信号还可以用作用户302的警报或提醒，以向引导机器人104提供下一行进指令，以便沿着备选路径404移动。
75.如上所述，在不向引导机器人104提供进一步的行进指令的情况下，引导机器人可以保持向前移动，例如，如图4所示，引导机器人104可以保持朝向障碍402移动。为了防止用户302与障碍402碰撞，引导机器人104的毫米波雷达可以测量障碍402与引导机器人104之间的距离，并且如果该距离超过特定阈值，则可以通过电动轮上的制动器来立即停止引导
机器人104。当障碍402被清除时，引导机器人104可以恢复其移动。
76.相反，如果用户302在预定阈值超过之前提供行进指令，则引导机器人104可以向右转以沿着备选路径404移动(如图4所示)。优选地，引导机器人104在接收到用户的右转指令时可以不立即右转。引导机器人104的处理器204可以包括引导引导机器人搜索拐角的算法，以便确保引导机器人104将在拐角转弯，并且不会由于例如导航系统的精度误差或如先前所讨论的由用户做出的指令误差而太早转弯。
77.这些实施例的优点在于，交互式引导机器人可以向盲人用户提供准确的导航信息，这与依赖导盲犬相似，从而用户可以容易地切换到使用新的交互式导航系统。
78.有利地，本发明的导航系统可以向用户提供对他可以行进的路径的高度控制，使得用户可以具有更好的用户体验。例如，由系统提供的最佳路径可以用作用户的参考，用户实际上可以选择不遵循这样的路径并且向系统提供替代行进指令以便替代地沿着备选路径行进。用户还可通过向系统提供停止指令或左转/右转指令而在最佳路径上行进时的任何时间中断本发明的导航系统。
79.还将理解，在本发明的方法和系统全部由计算系统实现或部分由计算系统实现的情况下，可以利用任何适当的计算系统体系结构。这将包括独立计算机、网络计算机和专用硬件设备。在使用术语“计算系统”和“计算设备”的情况下，这些术语旨在覆盖能够实现所描述的功能的计算机硬件的任何适当的布置。
80.本领域技术人员将理解，在不背离如广泛描述的本发明的精神或范围的情况下，可以对如具体实施方式中所示的本发明进行许多变化和/或修改。因此，本发明的实施例在所有方面都被认为是说明性的而非限制性的。
81.除非另外指明，否则本文所包含的对现有技术的任何引用不应被认为是承认该信息是公知常识。