一种助老眼镜的使用方法及设备与流程

1.本技术涉及智能传感交互领域，具体涉及一种助老眼镜的使用方法及设备。


背景技术：

2.信息技术不断发展，越来越多的传统产品向智能化的方向发展，智能设备成为日常生活中不可或缺的一部分。传统的眼镜主要是通过镜片，帮助视力障碍人群获得良好的视野，或者用于改良入眼的光线，保护视力，而智能眼镜的出现为人们的生活带来极大的便利。现有的智能眼镜增加了与智能手机等智能产品类似的功能，带来通话和游戏等方面的全新体验。
3.在日常生活中，具有视觉障碍、阅读障碍的特殊老年人群生活不便，需要特殊监护，但现有的智能眼镜大都适用于青年等正常人群，针对具有视觉障碍、阅读障碍等特殊老年人群的智能眼镜少之又少，无法满足实际应用需求，缺少一种针对具有视觉障碍、阅读障碍等特殊老年人群的助老眼镜。


技术实现要素：

4.为了解决上述问题，本技术提出了一种助老眼镜的使用方法，所述助老眼镜上设置有眼动仪、深度摄像头、处理器和语音模块，其中，所述语音模块包括语音输入模块、语音输出模块，所述方法包括：确定使用者已佩戴所述助老眼镜，并通过所述语音输入模块输入控制指令；通过所述眼动仪，采集所述使用者的眼动数据，并根据所述眼动数据得到所述使用者的注视位置；通过所述深度摄像头，采集所述注视位置对应的图像信息，并通过所述处理器根据所述图像信息进行图像分析，得到图像分析结果；通过所述控制指令和所述图像分析结果，确定语音内容；通过所述语音输出模块向所述使用者播报所述语音内容。
5.进一步地，所述助老眼镜上还设置有惯导模块；确定使用者已佩戴所述助老眼镜，包括：通过所述惯导模块确定所述助老眼镜处于移动状态；通过所述处理器控制所述眼动仪启动，以通过所述眼动仪尝试采集所述使用者的人眼图像；若采集到所述人眼图像，则确定使用者已佩戴所述助老眼镜。
6.进一步地，所述助老眼镜上还设置有定位模块；确定使用者已佩戴所述助老眼镜之后，所述方法还包括：通过所述定位模块采集所述使用者的位置信息，以根据所述位置信息对所述使用者进行定位。
7.进一步地，通过所述语音输入模块输入控制指令，具体包括：通过所述语音输入模块接收所述使用者的音频信息，根据使用者音频信息提取关键词，生成对应的控制指令，所述控制指令为语音导航类指令和语音播报类指令中的一项或多项。
8.进一步地，通过所述处理器根据所述图像信息进行图像分析，得到图像分析结果，具体包括：通过所述位置信息，确定所述使用者与指定道路的位置关系，根据所述位置关系确定所述使用者当前处于所述指定道路的预设范围内；通过所述处理器确定所述图像信息中是否出现交通信号灯；若是，则对所述交通信号灯进行分析，以确定所述交通信号灯当前
所处的状态，并将所述所处的状态作为图像分析结果；通过所述语音输出模块向所述使用者播报所述语音内容之前，所述方法还包括：通过所述语音输入模块采集所述使用者所处环境的环境音频数据，根据所述环境音频数据确定播报音量；当所述环境音频数据的特征指标超过预设阈值时，提高所述语音输出模块在语音输出时的播报音量。
9.进一步地，镜片为透明显示屏；通过所述语音输入模块输入控制指令之后：通过所述语音输入模块检测到所述使用者的所述控制指令，并对所述控制指令进行分析，得到所述使用者将要前往的目的地；根据所述位置信息与所述目的地生成导航路线，并通过所述语音输出模块对所述使用者进行语音导航；通过所述深度摄像头，采集所述注视位置对应的图像信息之前，所述方法还包括：通过所述位置信息确定所述使用者已处于所述目的地的附近范围内；并通过所述处理器根据所述图像信息进行图像分析，得到图像分析结果，具体包括：通过所述处理器确定是否出现所述目的地的标识信息；若是，则在所述镜片中对所述目的地进行突出显示，以确定所述目的地在所述镜片中的位置。
10.进一步地，通过所述控制指令和所述图像分析结果，确定语音内容，具体包括：若所述图像分析结果中存在文字信息，且所述控制指令为语音播报类指令时，则对所述文字信息进行识别，将所述文字信息确定为所述语音内容。
11.进一步地，所述助老眼镜还包括通信模块，所述通信模块包括第五代移动通信技术5g模块；通过所述处理器根据所述图像信息进行图像分析，得到图像分析结果，具体包括：通过所述处理器根据所述5g模块，将图像信息发送至云平台，以使所述云平台对所述图像信息进行图像分析，得到图像分析结果；接收所述云平台返回的所述图像分析结果。
12.进一步地，所述助老眼镜包括镜框、镜片，所述镜框包括镜圈、镜腿；所述语音输入模块为麦克风阵列mic，所述语音输出模块设置在所述镜腿的末端。
13.本技术还提出了一种助老眼镜的使用设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述方法。
14.通过本技术提出的一种助老眼镜的使用方法及设备，能够带来如下有益效果：通过语音输入模块输入控制指令，操作系统简单，满足了特殊人群的操作需求；通过深度摄像头采集使用者的注视位置，得到图像分析结果，能够快速精准分析当前的生活场景，符合不同类型的特殊人群使用者的特定使用需求；根据控制指令与图像分析结果确定语音内容，并通过语音输出模块进行输出，为特殊人群使用者提供帮助。
附图说明
15.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
16.图1为本技术实施例中一种助老眼镜所包含的组件示意图；
17.图2为本技术实施例中一种助老眼镜的使用方法的流程示意图；
18.图3为本技术实施例中一种助老眼镜的使用设备的示意图。
具体实施方式
19.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.信息技术不断发展，越来越多的传统产品向智能化的方向发展，智能设备成为日常生活中不可或缺的一部分。传统的眼镜主要是通过镜片，帮助视力障碍人群获得良好的视野，或者用于改良入眼的光线，保护视力，而智能眼镜的出现为人们的生活带来极大的便利。现有的智能眼镜增加了与智能手机等智能产品类似的功能，带来通话和游戏等方面的全新体验。
21.目前，大多数年轻人在日常生活中无法随时随地陪伴父母，老年人在日常生活中随着年龄的增大有诸多不便，年龄增大可能导致老年人的眼睛出现视觉障碍，影响日常生活，例如，眼疾或老花眼等；另外，对于文化程度较低的老年人来说，在日常生活中也会因为阅读障碍问题影响日常的生活。此类特殊群体需要监护人进行特殊监护。但现有的智能眼镜大都适用于青年等正常人群，针对具有视觉障碍、阅读障碍等特殊老年人群的智能眼镜少之又少，无法满足实际应用需求。缺少一种针对具有视觉障碍、阅读障碍等特殊老年人群的助老眼镜。因此，本技术提供一种助老眼镜的使用方法及设备，在日常生活中帮助特殊老年人群，考虑特殊人群的实际需求，解决特殊人群的生活问题。
22.以下结合附图，详细说明本技术各实施例提供的技术方案。
23.本技术实施例提供一种助老眼镜，利用5g的低延时高带宽，连接云平台智能识别相应的生活场景，通过语音的方式让使用者获取所需要的信息。如图1所示，助老眼镜包括深度摄像头、处理器、语音模块、定位模块、通信模块和电源模块；助老眼镜还包括镜框、镜片，其中，镜框包括镜圈和镜腿。
24.深度摄像头模块安装于眼镜上方，用于使用者出行时根据使用者注视方向采集图像信息，云平台通过分析当前采集到的视频画面，自动将场景解析结果以语音的方式告知使用者；语音模块包括语音输入模块和语音输出模块，其中语音输入模块可以是麦克风模块，语音输出模块可以是音响模块，用于接收用户语音指令及播放相应语音内容，其中麦克风模块可以为mic阵列，布置成mic阵列可以在很大范围内接收用户语音，音响模块位于眼镜腿附近，高度与耳朵相齐，用于语音信息的发送。通信模块采用5g模块，依托5g的高带宽、低延时，实时传输采集的图像及视频信息，同时将云平台结果快速下发。助老眼镜还包括定位模块，依托北斗或其他定位方式实时记录使用者位置。云平台，用于通过后台人工智能实时处理助老眼镜的图片及视频信息，同时可保存助老眼镜的时间、位置及佩戴者的相关信息。
25.本技术实施例还提供一种助老眼镜的使用方法，在本技术实施例中，助老眼镜还包括惯导模块和眼动仪，如图2所示，方法主要包括如下步骤：
26.s201：确定使用者已佩戴所述助老眼镜，并通过语音输入模块输入控制指令。
27.在本技术的一个实施例中，开启助老眼镜的电源，通过惯导模块确定助老眼镜是否处于移动状态，需要说明的是，惯导模块利用惯性导航技术确定助老眼镜的运动情况。其基本工作原理是以牛顿力学定律为基础，通过测量助老眼镜在惯性参考系的加速度、角加
速度，对时间进行积分，确定出助老眼镜的位置信息。通过惯导模块确定用户佩戴或手持助老眼镜产生了位移。
28.在实际应用场景下，当用户手持助老眼镜外出时，说明用户此时无需使用助老眼镜；当用户将助老眼镜进行佩戴时，说明用户需要使用助老眼镜的相应功能。因此，还需要确定用户是否佩戴助老眼镜。
29.在本技术的一个实施例中，通过处理器控制助老眼镜上的眼动仪启动，通过眼动仪采集用户的人眼信息，若采集到人眼信息，则确定用户已经佩戴了助老眼镜，若未采集到人眼信息，则用户可能会存在手持助老眼镜进行走动的行为。需要说明的是，本技术实施例中的眼动仪可以是穿戴式眼动仪，通过眼动仪采集用户在真实环境中的眼动行为，在本技术的一个实施例中，人眼信息可以是眼动行为信息，若通过眼动仪采集到用户的眼动行为则认为采集到了用户的人眼信息。
30.另外，还可以在助老眼镜首次使用时，通过眼动仪预先采集用户的人眼信息，并进行标注。当用户后续使用助老眼镜时，处理器根据实时采集的人眼信息与预先采集的人眼信息进行对比，确定用户是否为同一用户。若确定为同一用户时，保持助老眼镜的正常使用功能；若对比发现不是同一用户，则启动丢失模式，暂时锁定正常使用功能，用户需要通过输入密码完成进一步的用户认证，才可以正常使用，保证了助老眼镜的使用安全性。
31.在本技术的一个实施例中，当确定用户佩戴助老眼镜之后，通过定位模块采集用户的实时位置信息，实现对用户的实时定位。
32.由于本技术中用户的特殊性，应尽量避免手动输入、手动设置等繁琐的操作步骤，因此，本技术实施例以语音交互的方式实现用户对助老眼镜的使用。在本技术的一个实施例中，助老眼镜通过语音输入模块接收用户的音频信息，例如，用户说出“我要过马路”、“去买早餐”以及“念一下a药品的服用剂量”等。根据用户的音频信息提取关键词，例如提取“过”、“去”、“念”等信息，确定出对应的控制指令，将控制指令分为语音导航类指令和语音播报类指令。当关键词为“过”、“去”、“到”等表示到达一个与用户所处位置不同的新地点的关键字信息时，确定为语音导航类指令；当关键词为“念”、“读”等信息时，确定为语音播报类指令。通过语音输入用户的意图音频，方便老年人等特殊群体的操作，简化操作流程。
33.s202：通过眼动仪，采集使用者的眼动数据，并根据眼动数据得到使用者的注视位置。
34.在实际应用时，根据用户所处的实际环境确定助老眼镜的应用场景，进一步提高助老眼镜精确分析当前生活场景的能力。在本技术的一个实施例中，在根据用户的音频信息确定出控制指令之后，启动眼动仪，采集用户的眼动数据，根据眼动数据确定用户注视位置，一般情况下，用户的注视位置可以表示用户在当前场景下的需要获取帮助的地点或位置。
35.需要说明的是，眼动仪可以检测用户看向哪里，或者说视线凝视之处；使用近红外光源使用户眼睛的角膜和瞳孔上产成反射图像，然后使用两个图像传感器采集眼睛与反射的图像；通过图像处理算法和一个三维眼球模型精确地计算出眼睛在空间中的位置和视线位置。由于红外线对人眼不可见，因此在跟踪眼睛时不会对用户造成干扰。
36.s203：通过深度摄像头，采集注视位置对应的图像信息，并通过处理器根据图像信息进行图像分析，得到图像分析结果。
37.在本技术的一个实施例中，助老眼镜还包括通信模块，通信模块包括第五代移动通信技术5g模块。通过深度摄像头，采集注视位置对应的图像信息，一般情况下，通过用户的注视位置对应的图像信息为用户的关注信息，例如，当用户需要看药物说明书时，其注视位置为对应的药物说明书；当用户需要点菜时，其注视位置为对应的菜单信息。获取到图像信息后，通过处理器根据5g模块，将图像信息发送至云平台，以使云平台对图像信息进行图像分析，得到图像分析结果；接收云平台返回的图像分析结果。
38.在本技术的一个实施例中，通过定位模块确定用户当前所处的位置信息，根据用户当前的位置信息确定用户与指定道路之间的位置关系，并根据位置关系确定用户当前是否处于指定道路的预设范围内。需要说明的是，此实施例可以应用于帮助老人过马路的场景。指定道路可以是用户当前所处的道路，也可以是与用户当前所处位置距离最近的一条或两条道路。预设范围可以是待通过路口中心位置处方圆5米的位置，也可以是待通过路口中心位置处方圆任意距离处，可以根据实际情况设定。
39.当用户处于待通过路口中心位置处的预设距离时，通过深度摄像头采集用户注视位置处对应的图像信息，并对图像信息进行图像分析确定分析结果。用户在过马路的场景下，其注视位置一般为待通过道路处的交通信号灯，根据其注视位置还可以分析出用户的前进方向。因此，通过处理器确定图像信息中是否有交通信号灯，若存在交通信号灯，则对交通信号灯进行分析确定交通信号灯所处的状态，将交通信号灯的状态作为图像分析结果。需要说明的是，交通信号灯状态为红灯状态、绿灯状态、黄灯状态以及各个状态下对应的时间。
40.在本技术的一个实施例中，当控制指令为语音导航类指令时，对控制指令进行分析，得到用户将要前往的目的地，并通过定位模块对用户进行实时定位，确定用户的实时位置，根据用户的实时位置和目的地的位置生成导航路线。通过语音输出模块根据导航路线对用户进行语音导航。还可以预先设置导航路线的偏好情况，例如，根据实时道路信息避开拥堵路段，减少老人路过拥堵路段时的安全隐患。
41.在导航过程中，可能会存在导航位置不准确、与目的地具有一定距离的情况。为了解决这一问题，当用户根据语音导航运动至目的地时，根据用户此时的位置信息确定用户处于目的地的预设范围内，预设范围可以根据实际情况设定。一般情况下，用户在找寻目的地时，需要四处查看。当用户在寻找目标门店时，采集用户注视位置对应的图像信息，会存在多个门店并列的情况。对图像信息进行分析，通过处理器确定图像信息中是否出现了目的地的标识信息。例如，可以判断是否出现目标门店的名称，也可以判断是否出现目标门店的类型。当出现目的地的标识信息时，在镜片中进行突出显示，需要说明的是，突出显示可以是展示在用户的视角下，将目的地在镜片上的位置形成一个亮点，引导用户到达目的地。
42.s204：通过控制指令和图像分析结果，确定语音内容，通过语音输出模块向使用者播报语音内容。
43.在本技术的一个实施例中，若步骤s203中得到的图像分析结果为交通指示灯的状态时，根据控制指令和交通指示灯的状态确定待播报的语音内容。确定出待播报的语音内容之后，通过语音输入模块采集用户所处环境产生的环境音频数据，也就是说，判断用户所处的环境是否属于嘈杂环境。例如，在车流量较大的区域会出现车辆运行声音、车辆鸣笛声音等车辆噪声，在高峰时段的早餐店会出现其他顾客点单的声音、吃饭聊天的声音等噪声，
这些噪声都会影响用户收听语音播报内容的质量，另外，由于用户大部分为老年人，随着年龄的增大，老年人的听力会逐渐减退，因此，为了更好的满足老年人的需求，可以根据用户所处的环境及时调整语音播报的音量大小。
44.在本技术的一个实施例中，根据用户听力的实际情况预先设定声音阈值，使得语音播报时不低于该声音阈值，保证用户可以听清语音播报的内容。另外，预先设置环境音频的预设阈值，当环境音频数据的特征指标超过预设阈值时，提高语音输出模块在语音输出时的播报音量。需要说明的是，环境音频的特征指标可以是所有声音波形的峰值数据，也可以是音频的响度等其他可以表示声音嘈杂程度的指标。
45.在本技术的一个实施例中，当图像分析结果中存在文字信息且控制指令为语音播报类指令时，对文字信息进行识别，并将文字信息确定为播报内容。例如，用户在去药店买药时，用户拿到药品，需要确定该药品是否为自己所需要的药品类型，但由于用户存在阅读障碍问题，无法得知药品的名称。此场景下，用户拿到药品后，会注视药品名称，助老眼镜采集到的图像时药品的图像，对药品图像进行图像分析，得到的图像分析结果中存在药品名称的文字信息，因此对药品名称进行语音播报，以便于帮助用户确定是否为用户需要的药品。
46.在本技术的一个实施例中，当控制指令类型为语音导航类指令时，根据语音导航类控制指令和目的地在镜片中的突出显示，确定待播报的语音内容为导航信息，帮助用户到达目的地。
47.本技术实施例还提供一种交通出行场景下助老眼镜的使用方法，方法如下：在老年人通过道路路口时，助老眼镜通过获取当前的视频画面，根据老年人的站位分析前进的方向，并自动分析红绿灯数据，在红绿灯变换时提醒老年人及时通过路口。
48.本技术实施例还提供一种购买早餐场景下助老眼镜的使用方法，方法如下：老年人佩戴助老眼镜后，主动与其对话，获取购买早餐意图，云平台在地图内查找老年人所需购买的门店，询问老年人的出行方式，并推荐相应的出行路线，在到达目的地后，老年人环顾四周，助老眼镜自动分析当前的画面信息，并将门店信息告知老年人，方便老年人。
49.本技术实施例还提供一种购买药品场景下助老眼镜的使用方法，方法如下：老年人佩戴助老眼镜后，主动与其对话，获取购买药品名称，云平台推荐门店信息及出行路线，在到达目的地后，助老眼镜自动分析当前的画面信息，并将门店信息告知老年人，方便老年人进店购买，在店员拿过药品后，使用者可通过助老眼镜确认药品信息，最后推送给老年人回家路线信息。
50.通过本技术提出的一种助老眼镜的使用方法及设备，能够带来如下有益效果：通过语音输入模块输入控制指令，操作系统简单，满足了特殊人群的操作需求；通过深度摄像头采集使用者的注视位置，得到图像分析结果，基于5g实现云平台快速智能识别生活场景及生活标志，能够快速精准分析当前的生活场景，符合不同类型的特殊人群使用者的特定使用需求；根据控制指令与图像分析结果确定播报内容，并通过语音输出模块进行输出，为特殊人群使用者提供帮助。通过语音模式与老年人交互，切实解决部分阅读障碍老年人及盲人老年人的生活问题，充分考虑特殊人群的实际需求，语音的交互方式使得系统操作更为简单实用。
51.本技术实施例还提供一种助老眼镜的使用设备，如图3所示，设备包括：至少一个
处理器；以及，
52.与所述至少一个处理器通信连接的存储器；其中，
53.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述任意一个实施例中的方法。
54.本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
55.本技术实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
56.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
57.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
58.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
59.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
60.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
61.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
62.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除
可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(trans itory media)，如调制的数据信号和载波。
63.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
64.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。