定向辅助系统的制作方法

1.本发明涉及用于视觉受损的人或在具有非常低的可见度的环境中四处移动的人(例如，在充满烟雾的建筑物中四处移动的消防员或在黑暗中四处移动的士兵)的定向辅助的领域。
2.已知从导盲犬协助到利用定向辅助带标记地面、植入声音标志或实际上是允许检测障碍物的手杖的各种解决方案。
3.最近，还开发了gps应用，其通过使盲人和视障的人知晓道路、所处位置的关注点、十字路口、公共汽车站等来允许他们更独立地移动。gps应用允许gps应用的用户经由他们的智能电话上的口头通知来实时接收与公共汽车时间有关的信息、告诉用户他们的车站，并且一旦用户离开交通工具就将用户带到他们想要去的地方。在用户的行程期间，提供特设(ad hoc)信息，以使用户不会迷路、避开障碍、不遇到困难并乘坐正确的公共汽车。
4.还提出了使用触觉信息传输，例如，以健康跟踪器的形式。触觉技术使用触觉以传达信息项。wearworks公司提出了一种称为“wayband”的用于引导盲人的智能手环。用户通过将应用下载到相关联的智能电话上而开始操作，并声明期望的地址。连接到gps系统的手环将用户引导到他们的目的地。当用户偏离他们的路线时，手环振动。一旦在正确的路径上，手环就停止振动。灵敏的、更直观的且不具侵扰性的触觉语言缓解了听觉，而听觉是被视障的人过度使用的感觉。
5.sunu公司销售的另一解决方案涉及使用高频波以便于在空间中回声定位的手环。
现有技术
6.根据现有技术，已知涉及一种用于辅助盲人的系统的专利申请us20180189567a1，该系统包括多个摄像机以及由用户佩戴的触觉带，该触觉带包括以一定距离间隔开的多个(两个或更多个)触觉换能器。所述触觉带按照使得用户的手自由用于其它任务的方式被佩戴。系统使用其摄像机、其深度处理算法和其对象识别算法(硬件和/或软件)，以识别对导航重要的有限数量的对象。通过相应地改变去往触觉换能器的输出，将被认为重要的每个对象的空间位置提供给用户。系统被设计成将对象识别和指示为通用对象、识别对象和可能障碍对象。系统还可以可选地提供也与这些对象有关的音频信息或触觉图形显示信息。
7.这种解决方案不是令人满意的，因为多个换能器作用在身体的不同部位上，这不允许直观且简单地理解信息，并且需要显著的关注以区分换能器的支承区域的变形。
8.专利us20150125831a1描述了包括一组摄像头的另一解决方案示例，该组摄像头可以感测前方的图像，由此对该图像进行处理并且用来在触觉引脚阵列上输出该图像的三维表示。这使得可以识别位于设备前方的区域中的对象和障碍物，而引脚阵列也可以用作自适应盲文阅读器。设想了使用步进微电机的特定引脚的组件，而全局系统为视障的用户提供了多种功能，包括导航、面部识别、与无线网络的连接以及各种输入/输出方式的能力。
9.现有技术的缺点
10.现有技术的解决方案不适于以触觉形式发送与视觉环境有关的丰富且全面的信
息。
11.触觉信息通常太基础而不太适合以足够完整的方式理解复杂的环境来表示真正的定向辅助。
12.本发明提供的解决方案
13.为了克服这些缺点，本发明根据其最一般的含义涉及根据权利要求1所述的定向辅助系统。
14.有利地，所述获取装置包括能够由所述手环的佩戴者携带的至少一个图像传感器，以及用于生成数字深度图的处理装置。所述图像传感器可以由立体摄像头或者对连续图像进行处理以确定深度图的单个摄像头形成，或者实际上由3d扫描器或用于提供点云的激光雷达形成。
15.根据特定实施方式，所述数字表示处理装置根据从一系列不同的表示模型中选择的表示模型计算。不同的模型使得可以提供适合于特定上下文的处理(例如，发送轨迹相关信息、或环境及其关注点的触觉表示、或周围体积的感知)并且允许用户根据他们的需要和偏好来选择这些信息模式之一，或者实际上借助于学习算法来使选择自动化。根据变型例，系统还包括服务器，该服务器能够与个体设备中的每一者进行通信，以接收数字环境的地理定位获取数据和所述环境的地理定位数字模型的存储数据，并且该服务器能够根据其位置将所述数字模型发送到个体设备。
16.该变型例使得可以减少所获取的图像的计算处理，并且可以在已经遍历的各个用户之间共享有用信息。
17.根据特定实施方式，对数字表示进行处理的所述处理装置被设计成周期性地提取所述触觉区域的刺针的子集的一系列连续脉冲数字激活图案，以在一时间段期间提供连续的触觉信息。
18.根据变型例，所述数字图案中的一个数字图案包括对准刺针从而与所述手环的参考轴线一起形成与相对于所述视觉环境的参考方向的移动方向相对应的角度的脉冲激活命令。
19.根据另一变型例，所述数字图案中的一个数字图案包括与所述视觉环境的所述数字表示的主要关注点在水平平面中的投影相对应地对刺针进行配置的脉冲激活命令。
20.根据特定实施方式，所述触觉区域的刺针的子集的脉冲数字激活图案模型是基于所述视觉环境相对于预先记录的环境类别的归属关系而确定的。
21.有利地，所述触觉区域的刺针的子集的脉冲数字激活图案模型是基于用户的经验水平而确定的。
22.本发明的非限制性实施方式的详细描述
23.在参考附图阅读以下对本发明的非限制性实施方式的详细描述后，将更清楚地理解本发明，在附图中：
24.图1是本发明的示意图。
25.图2示出了根据本发明的手环的内表面。
26.图3示出了功能架构。
27.硬件架构的一般描述
28.根据本发明的系统的各个部件包括佩戴在用户前臂上(或者可选地在大腿位置
中)的手环(1)、框架(2)，在所描述的实施方式中，框架(2)是眼镜框架的形式、例如在每个分支的延伸部中设置有图像传感器，以提供立体图像。框架(2)配备有地理参考或地理定位传感器，和/或提供框架相对于磁北的定向的指示的模块。
29.这些不同的元件以ble蓝牙模式与用户的和它们配对的智能电话(3)进行通信。所述智能电话(3)借助于应用来确保一些计算机处理并且经由3g、4g或5g类型或wi-fi的射频通信与服务器进行通信。
30.当然，电话(3)可以由计算机、平板电脑并且更一般的计算器代替。
31.手环的描述
32.图2示出了用于实现本发明的手环的实施方式。
33.手环包括柔性壳体(10)，该柔性壳体(10)设置有用于围绕前臂(或者可选地围绕腰部区域)固定的带(11、12、13、14)。
34.手环包括5
×
12个刺针(15)的矩阵，在借助于电信号激活电磁致动器的情况下，刺针(15)可以各自以脉冲方式在缩回静止位置与脉冲竖立位置之间激活长达几分之一秒。
35.触觉表面的配置不限于具有规则分布的刺针(15)的矩形区域。
36.数字处理
37.第一步骤(100)包括在用户的框架(2)上使用两个横向偏移的传感器来获取两个同步图像流。
38.该对传感器形成立体摄像头，该摄像头朝向用户可以看到的场景定向。
39.该摄像头经由射频链路连接到包括计算单元的智能电话(3)，该计算单元允许处理(110)源自两个传感器的图像。该处理使得可以根据两个图像以及摄像头在空间中的位置来计算深度图。摄像头还可以经由无线(蓝牙、wi-fi等)或有线连接来连接到计算机或智能电话。
40.一种可能的图像处理方法是一系列算法，这些算法使得可以提取场景的深度图，然后将该结果与相关联的左手侧图像和右手侧图像一起使用，以从中得出摄像头在两个连续记录时刻(通常间隔六十分之一秒)之间的位置和定向的变化。
41.然后进行两个处理。
42.首先，软件模块(120)控制对构成关注点的图像或可视特征进行记录，以及将观察到所述点时的框架(2)的位置存储在存储器中。所述模块提供关注点的数据库，该数据库由用户的电话(3)发送到服务器，该服务器将所述地理定位的数据存储在所有用户之间共享的数据库中。
43.将新条目存储在这样形成的数据库优选地根据收集准则来触发，该收集准则确定关于数据库的其它条目的冗余信息量。可以使用其它准则，诸如用户手动触发存储、计算关注点的每个位置之间的物理距离或者在两个存储实例之间经过的时间段。
44.由此构造数据库e1。数据库e1包含与特征或图像相关联的一组参考位置。在同一区域中使用系统期间，数据库e1还用于重新定位框架(2)。
45.并行地，软件模块(140)计算深度图，并且立体系统的参数用于通过投影图像的每个像素以获得点在空间中的坐标来生成点云。然后，通过使用与耳机在空间中的位置有关的信息来使空间中的点经历参考系改变，所述信息源自测距模块c1，以将在初始化阶段期间感测的所有点置于公共固定参考系中。
46.这些点集合被合并，以创建操作区域的密集模型(制图)，同时减少冗余信息量。
47.这个处理可以例如通过遍历所有点并且根据距离来合并被识别为彼此靠近的点或者实际上使用截断信号距离函数(tsdf)体积来执行。
48.随后的步骤(150)包括以三维方式生成该点集合的网络。所述网络由连接的三角形组成，从而对操作区域的表面进行建模。
49.该点集合(体素)随后被处理，以计算手环(1)的刺针(15)的激活图案。
50.为了实现这一点，系统包括不同处理选项的库。
51.第一种处理方法(200)包括以基于对应于障碍物的体素计算的连续段的形式来确定移动方向或简化轨迹，并且重新计算其相对于框架(2)的方向的定向。结果是刺针的激活图案，其被周期性地重新计算，例如每秒一次，以便以触觉方式发送要遵循的方向或轨迹。
52.第二种处理方法(210)包括计算体素在水平平面上的投影，以确定低分辨率数字图(分辨率符合刺针数量)，以及将对应于所述图的脉冲图案应用于手环，其根据框架(2)的方向而定向。
53.第三种处理方法(220)包括计算连续的横向平面，以及以表示沿着垂直于所述横向平面的纵向轴线的间隔的时间顺序来发送与低分辨率横向平面相对应的图案序列。因此，由静止时段间隔开的图案的突发被应用到刺针，从而允许用户通过连续的触觉来识别其环境的形成。
54.第四种处理方法(230)包括计算立体图像的低分辨率黑白图像，以及基于所述低分辨率图像来计算图案，以控制刺针(15)的周期性激活。
55.处理方法(200至230)中的一者的选择可以由用户通过手动或语音控制来执行。也可以根据环境的类型(障碍物密度、已知环境与新环境等)或者根据用户的学习水平(一些处理方法需要比其它方法高的灵敏度和经验)来自动执行。
56.根据变型例，手环计算机将通过线缆、蓝牙或wi-fi来连接。计算机到服务器的连接将通过wi-fi或3g、4g或5g来执行。