一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

导盲方法、装置、计算机设备及计算机可读存储介质与流程

2022-06-30 00:03:44 来源:中国专利 TAG:


1.本发明涉及图像识别技术领域,具体而言,本发明涉及一种导盲方法、装置、计算机设备及计算机可读存储介质。


背景技术:

2.对于盲人来说,一旦出门,可能要面临比身体残障更无力的状况,如奇形怪状的道路、没有提示的红绿灯、缺失的导盲犬或是拒入导盲犬的交通工具和餐厅等。
3.为解决盲人的出行困难问题,近些年来,各式各样的导盲眼镜层出不穷。目前市场上的导盲眼镜一般装有两只超声换能器和一只耳塞机,超声换能器能够向前方发射和接收反射回来的超声脉冲波,盲人通过耳机发出的声音变化而感知前方的障碍物,因此可以一定程度上代替盲人的拐杖,让盲人更方便准确的掌握身边的障碍物,但通过超声换能器的探测方式存在探测距离短、实时性差的问题,不能够帮助盲人及时准确的获取周围环境信息,从而不能实现很好的导盲功能。


技术实现要素:

4.本发明的主要目的为提供一种导盲方法、装置、计算机设备及计算机可读存储介质,以提高导盲效果。
5.为了实现上述发明目的,本发明提供一种导盲方法,其包括:
6.当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
7.对所述场景图像进行识别,得到识别结果;
8.当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
9.将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
10.优选地,所述控制所述导盲眼镜播放所述语音提示信息,包括:
11.根据所述目标物体与所述用户的距离确定播放频率;
12.控制所述导盲眼镜按照所述播放频率播放所述语音提示信息;其中,所述播放频率与所述距离成反比。
13.优选地,所述对所述场景图像进行识别,得到识别结果,包括:
14.提取所述场景图像的所有特征点,得到多个图像特征;
15.将所述多个图像特征分别与预设的标准图像特征进行匹配;其中,所述标准图像特征为目标物体的图像特征;
16.当确定所述多个图像特征中存在与所述标准图像特征相匹配的图像特征时,则确定所述场景图像含有目标物体;
17.计算所述目标物体与所述用户的距离,将所述距离与预设距离进行比对,生成识
别结果。
18.进一步地,所述控制所述导盲眼镜播放所述语音提示信息之后,还包括:
19.当接收到所述导盲眼镜的碰撞信息时,对所述碰撞信息进行解析,得到碰撞幅度;其中,所述碰撞幅度用于描述所述用户发生碰撞时的激烈程度;
20.判断所述碰撞幅度是否大于预设碰撞幅度;
21.若是,获取所述用户的位置信息及紧急联系人的联系信息,并生成含有所述位置信息的碰撞通知;
22.根据所述联系信息将所述用户的碰撞通知发送给所述紧急联系人。
23.优选地,所述根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体之前,还包括:
24.根据所述识别结果确定所述场景的场景类型;
25.根据所述场景类型设定所述预设距离。
26.优选地,所述根据所述场景类型设定所述预设距离,包括:
27.当确定所述场景类型为行人数量小于预设行人数量且障碍物数量小于预设障碍物数量的第一场景类型时,将所述预设距离设置为第一距离;
28.当确定所述场景类型为行人数量大于预设行人数量且障碍物数量大于预设障碍物数量的第二场景类型时,将所述预设距离设置为第二距离;其中,所述第一距离大于所述第二距离。
29.进一步地,所述控制所述导盲眼镜播放所述语音提示信息之后,还包括:
30.接收所述用户的语音信息;
31.通过语音识别技术及自然语言处理技术将所述语音信息转换成预设语音指令,提取所述预设语音指令中的地址信息作为目标地址;
32.在所述用户行走过程中,计算所述用户与所述目标地址之间的距离;
33.当监测到所述用户与所述目标地址之间的距离逐渐增大时,则控制所述导盲眼镜播放目标提示信息;其中,所述目标提示信息用于提醒所述用户已偏航。
34.本发明还提供一种导盲装置,其包括:
35.接收模块,用于当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
36.识别模块,用于对所述场景图像进行识别,得到识别结果;
37.确定模块,用于当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
38.发送模块,用于将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
39.本发明还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。
40.本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述任一项所述方法的步骤。
41.本发明所提供的一种导盲方法、装置、计算机设备及计算机可读存储介质,当监测
到导盲眼镜处于工作模式时,接收导盲眼镜的摄像头拍摄用户当前所处场景的场景图像,对场景图像进行识别,得到识别结果,当根据识别结果确定场景中存在与用户的距离低于预设距离的目标物体时,确定目标物体的坐标信息,并生成含有坐标信息的语音提示信息,将语音提示信息发送给导盲眼镜,控制导盲眼镜播放语音提示信息,以通过图像识别技术全面了解用户所处的场景,并在识别出场景中存在目标物体时,将目标物体的坐标信息通过语音提示方式及时告知用户,从而能够帮助盲人及时准确的获取周围环境信息,提高导盲效果。
附图说明
42.图1为本发明一实施例的导盲方法的流程示意图;
43.图2为本发明又一实施例的导盲方法的流程示意图;
44.图3为本发明又一实施例的导盲方法的流程示意图;
45.图4为本发明另一实施例的导盲方法的流程示意图;
46.图5为本发明又一实施例的导盲方法的流程示意图;
47.图6为本发明另一实施例的导盲方法的流程示意图;
48.图7为本发明又一实施例的导盲方法的流程示意图;
49.图8为本发明一实施例的导盲装置的结构示意框图;
50.图9为本发明一实施例的计算机设备的结构示意框图。
51.本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
52.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
53.本发明提出一种导盲方法,本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中,人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能,感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
54.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
55.本发明提出的一种导盲方法,以服务器为执行主体,该服务器与导盲眼镜进行连接,实现数据交互。服务器可以是独立的服务器,也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
56.该导盲方法用于解决现有的导盲方法,通过超声换能器的探测方式存在探测距离短、实时性差的问题,不能够帮助盲人及时准确的获取周围环境信息,从而不能实现很好的
导盲功能的技术问题。参考图1,其中一个实施例中,该导盲方法包括以下步骤s11-s14:
57.s11、当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
58.s12、对所述场景图像进行识别,得到识别结果;
59.s13、当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
60.s14、将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
61.如上述步骤s11所述,导盲眼镜是将集成电路装置安装在眼镜架和眼镜片上,超声装置不断向前发射超声波,当遇到障碍物时即反射回来,经眼镜上的超声波接收装置接收后,通过电子线路的处理,变成可听见的声音,该声音的音调及重复频率可以随着障碍物的距离改变而变化,盲人可以根据声音、音调及重复频率来判断前方有无障碍物及障碍物距离,从而避免了碰撞,使盲人行走方便,减少碰撞的痛苦,是盲人导盲引路的先进工具。因为该产品的电子线路全部集成化,因此,体积小,性能好,方便携带,并且在携带的过程中更加的自然,从而增强了用户的体验。
62.该工作模式为用户启动导盲眼镜后进入的模式,一般地,导盲眼镜的状态可以分为静止状态和运动状态,导盲眼镜实时向服务器发送其状态信息,当接收到导盲眼镜发送的状态信息为导盲眼镜处于运动状态的信息,时,则监测到导盲眼镜处于工作模式。其中,导盲眼镜的状态可以通过监测导盲眼镜运动的速度、运动加速度或角运动数据来判断。
63.在导盲眼镜处于工作模式时,导盲眼镜首先开启预先安装的摄像头,该摄像头一般安装在导盲眼镜的前方,可分别在导盲眼镜的左前方及右前方安装,该摄像头用于拍摄用户当前所处的场景,得到场景图像,并将场景图像实时发送给服务器。
64.该场景图像可以是关于道路、商场、地铁等各种场景的场景图像,场景图像可以具体包括摄像头能够捕获到的任何景物、建筑物或行人。
65.在一实施例中,当接收到导盲眼镜的摄像头拍摄用户当前所处场景的场景图像之后,服务器还可对场景图像进行预处理,如对场景图像进行降噪处理或二值化处理等等,以得到质量满足要求的场景图像,此外,该预处理方式还可以是对场景图像的清晰度、对比度及亮度等参数的调整,在此不做具体限定。
66.此外,当检测到场景图像的清晰度低于预设清晰度时,则删除清晰度低于预设清晰度的场景图像,并向导盲眼镜发送操作指令,该操作指令用于控制导盲眼镜重新拍摄清晰度低于预设清晰度的场景图像,如调整导盲眼镜的焦距,以得到满足预设清晰度的场景图像,以提高后续图像识别效果。
67.如上述步骤s12所述,服务器在接收到场景图像后,对场景图像进行识别,得到识别结果,识别结果可包含场景图像中的所有目标物体,如行人或景物,从而判断出当前场景的复杂程度,识别结果还可包含每个目标物体的坐标信息及每个目标物体与用户的距离。
68.在一实施例中,本发明可借助图像识别模型识别场景图像,得到识别结果。具体的,将场景图像输入预先训练好的图像识别模型中,输出得到所述场景图像的识别结果,从而通过人工智能的方式自动识别出场景图像的所有目标物体、每个目标物体的坐标信息及每个目标物体与用户的距离等识别结果,提高场景图像的识别效率。
69.可选地,在对图像识别模型进行训练时,可获取训练数据,该训练数据的数据量需大于预设数据量,以确保足够多的训练量,提高图像识别模型的训练效果,训练数据包括多张场景图像样本以及每张场景图像样本已确定的标准识别结果,该标准识别结果可以标签的形式进行表示,标注了每张场景图像样本的目标物体、目标物体的类型、每个目标物体的坐标信息及每个目标物体与用户的距离等标注信息;然后将训练数据输入预先构建的初始神经网络模型中进行训练,在满足迭代条件后,获取初始神经网络模型训练后的训练结果,判断训练结果是否满足要求,若是,则将训练后的初始神经网络模型作为训练好的图像识别模型。其中,该迭代条件包括训练次数或训练时间。
70.示例性的,当检测到当前场景中行人或景物比较密集时,可以理解为当前场景的状况比较复杂;当检测到当前场景中行人或者景物比较稀少时,可以理解为当前场景的状况一般,后续可针对不同的场景状况提供不同的导盲信息,从而实现适应于用户所处环境的、有针对性的导盲,提高导盲效果。
71.如上述步骤s13-s14所述,本发明的导盲眼镜除集成超声测距功能外,还可增设两个高清摄像头采集用户前方的场景信息,以场景图像为主传输到远端的服务器,远端的服务器对场景图像进行解析并配合gps信息和机器学习库实时分析前方障碍结果,当根据识别结果确定场景中存在与用户的距离低于预设距离的目标物体时,确定目标物体的坐标信息,并生成含有坐标信息的语音提示信息,将语音提示信息发送给导盲眼镜,控制导盲眼镜播放语音提示信息,以将目标物体的坐标信息及时告知用户,以避免用户发生碰撞,也利于用户全面了解当前场景的状况。
72.例如,当目标物体距离用户较近时,则控制导盲眼镜的耳塞进行鸣笛提醒,并语音播报目标物体的坐标信息和导航建议,如前方有石头,请注意脚下,建议往左50cm再直行通过。
73.此外,导盲眼镜还可实时将用户的位置信息保存在远端的服务器,用户的紧急联系人可通过手机查询用户的位置信息,供紧急情况下掌握用户最近行程轨迹。该语音提示信息还可播报多种信息,如语音播报天气、语音通话、微信、探测模式选择等等。
74.在一实施例中,当检测到场景图像中存在多个目标物体时,分别计算每个目标物体与用户的距离,按照距离由近及远的播报方式,依次播报每个目标物体的坐标信息。例如,当目标物体a与用户的距离较近时,则优先播报该目标物体a。
75.本发明所提供的一种导盲方法,当监测到导盲眼镜处于工作模式时,接收导盲眼镜的摄像头拍摄用户当前所处场景的场景图像,对场景图像进行识别,得到识别结果,当根据识别结果确定场景中存在与用户的距离低于预设距离的目标物体时,确定目标物体的坐标信息,并生成含有坐标信息的语音提示信息,将语音提示信息发送给导盲眼镜,控制导盲眼镜播放语音提示信息,以通过图像识别技术全面了解用户所处的场景,并在识别出场景中存在目标物体时,将目标物体的坐标信息通过语音提示方式及时告知用户,从而能够帮助盲人及时准确的获取周围环境信息,提高导盲效果。
76.在一实施例中,参考图2所示,所述控制所述导盲眼镜播放所述语音提示信息,可具体包括以下步骤s21-s22:
77.s21、根据所述目标物体与所述用户的距离确定播放频率;
78.s22、控制所述导盲眼镜按照所述播放频率播放所述语音提示信息;其中,所述播
放频率与所述距离成反比。
79.本实施例在控制导盲眼镜播放语音提示信息时,可根据目标物体与用户的距离确定导盲眼镜的播放频率,该目标物体与用户的距离可通过超声波测距的方式获取,还可根据目标物体在场景图像中的虚拟坐标信息,通过预设图像换算方法计算得到,在此不做具体限定。
80.然后控制导盲眼镜按照播放频率播放语音提示信息,播放频率与距离成反比。例如,当目标物体与用户的距离较近时,则播放频率较高;当目标物体与用户的距离还较远时,则播放频率较低。此外,当检测到用户与目标物体的距离逐渐减小时,则语音提示信息相应的播放频率也逐渐增大。
81.需要说明的是,本发明除可利用播放频率来告知用户与目标物体的距离之外,还可通过不同的提示方式进行告知,如振幅或直接告知用户与目标物体的距离,以及时提醒用户。
82.在一实施例中,参考图3所示,所述对所述场景图像进行识别,得到识别结果,可具体包括以下步骤s31-s34:
83.s31、提取所述场景图像的所有特征点,得到多个图像特征;
84.s32、将所述多个图像特征分别与预设的标准图像特征进行匹配;其中,所述标准图像特征为目标物体的图像特征;
85.s33、当确定所述多个图像特征中存在与所述标准图像特征相匹配的图像特征时,则确定所述场景图像含有目标物体;
86.s34、计算所述目标物体与所述用户的距离,将所述距离与预设距离进行比对,生成识别结果。
87.在本实施例中,可预先构建一个数据库,该数据库中预先存储有每个目标物体的标准图像特征,如人的外形特征、动物的外形特征或物体的颜色特征等等,以识别不同的目标物体。
88.本实施例提取场景图像的所有特征点,得到多个图像特征,该特征点包括颜色特征、外形特征等等,然后将多个图像特征分别与数据库中预设的标准图像特征进行一一匹配,当确定多个图像特征中存在与标准图像特征相匹配的图像特征时,则确定场景图像含有目标物体,将与标准图像特征相匹配的图像特征对应的物体作为目标物体,获取目标物体的坐标信息及用户的位置信息,根据目标物体的坐标信息及用户的位置信息计算目标物体与用户的距离,将距离与预设距离进行比对,以确定场景中是否存在与用户的距离低于预设距离的目标物体,生成该场景图像相应的识别结果。
89.在一实施例中,参考图4所示,所述控制所述导盲眼镜播放所述语音提示信息之后,还可包括以下步骤s41-s44:
90.s41、当接收到所述导盲眼镜的碰撞信息时,对所述碰撞信息进行解析,得到碰撞幅度;其中,所述碰撞幅度用于描述所述用户发生碰撞时的激烈程度;
91.s42、判断所述碰撞幅度是否大于预设碰撞幅度;
92.s43、若是,获取所述用户的位置信息及紧急联系人的联系信息,并生成含有所述位置信息的碰撞通知;
93.s44、根据所述联系信息将所述用户的碰撞通知发送给所述紧急联系人。
94.本实施例可在导盲眼镜内设置碰撞传感器,当用户意外跌落或发生碰撞时,则导盲眼镜的碰撞传感器产生碰撞信息,将碰撞信息发送给服务器,碰撞信息含有该用户的碰撞幅度,该碰撞幅度用于描述用户发生碰撞时的激烈程度,碰撞幅度越大,则表征用户发生碰撞时的激烈程度越强,受伤的风险也越高。
95.当服务器接收到导盲眼镜发送的碰撞信息时,对碰撞信息进行解析,得到该用户的碰撞幅度,判断碰撞幅度是否大于预设碰撞幅度,该预设碰撞幅度可自定义设置,在判定碰撞幅度大于预设碰撞幅度时,则获取用户的位置信息及紧急联系人的联系信息,并生成含有位置信息的碰撞通知,根据联系信息将用户的碰撞通知,以在用户发生碰撞时及时告知其紧急联系人。例如拨打紧急联系人电话并将用户实时的位置信息以短信方式发送到紧急联系人的手机,以在意外发生时用户的紧急联系人能第一时间掌握用户的位置信息,及时赶至现场。
96.此外,用户也可声控拨打预设的紧急联系人电话,同时实时将用户的位置信息以短信方式发送到紧急联系人的手机,还可选择紧急电话后紧急拨打110、120。本实施例通过新增紧急联系功能,将意外情况及时告知紧急联系人,避免进一步的损失和意外伤害。
97.在一实施例中,参考图5所示,所述根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体之前,还可包括以下步骤s51-s52:
98.s51、根据所述识别结果确定所述场景的场景类型;
99.s52、根据所述场景类型设定所述预设距离。
100.该识别结果还可包括场景的场景类型,如商场、公园、操场等场景类型,根据识别结果确定场景的场景类型,并根据场景类型设定预设距离,例如,当场景类型为公园时,由于公园比较空旷,行人和障碍物较少,因此可将预设距离设置成较大的数值;当场景类型为商场时,由于商场属于人员密集的场所,行人和障碍物较多,因此可将预设距离设置成较小的数值,避免用户发生碰撞。本实施例基于不同的场景类型设定相应的预设距离,以灵活调整预设距离,更加智能化、人性化。
101.在一实施例中,参考图6所示,所述根据所述场景类型设定所述预设距离,可具体包括以下步骤s61-s62:
102.s61、当确定所述场景类型为行人数量小于预设行人数量且障碍物数量小于预设障碍物数量的第一场景类型时,将所述预设距离设置为第一距离;
103.s62、当确定所述场景类型为行人数量大于预设行人数量且障碍物数量大于预设障碍物数量的第二场景类型时,将所述预设距离设置为第二距离;其中,所述第一距离大于所述第二距离。
104.在本实施例中,为适用不同场景类型,可设置三种模式:户外人员和障碍物密集场景下的热模式、户外人员和障碍物稀少场景下的冷模式和静止模式。
105.当用户在户外人和障碍物较少的区域,如公园和广场时,即场景类型为行人数量小于预设行人数量,且障碍物数量小于预设障碍物数量的第一场景类型,此时可以采用冷模式,将预设距离设置为4米;当用户在商场时,即场景类型为行人数量大于预设行人数量,且障碍物数量大于预设障碍物数量的第二场景类型,此时可以采用热模式,在该热模式下,预设距离可设置为1.5米。
106.此外,当用户坐在拥挤的地铁内的第三场景类型时,可设置导盲眼镜为静止模式,
避免前方站立乘客距离过近,导致导盲眼镜频繁告警,影响用户体验。
107.在一实施例中,参考图7所示,所述控制所述导盲眼镜播放所述语音提示信息之后,还可包括以下步骤s71-s74:
108.s71、接收所述用户的语音信息;
109.s72、通过语音识别技术及自然语言处理技术将所述语音信息转换成预设语音指令,提取所述预设语音指令中的地址信息作为目标地址;
110.s73、在所述用户行走过程中,计算所述用户与所述目标地址之间的距离;
111.s74、当监测到所述用户与所述目标地址之间的距离逐渐增大时,则控制所述导盲眼镜播放目标提示信息;其中,所述目标提示信息用于提醒所述用户已偏航。
112.本实施例中,当导盲眼镜接收到用户语音输入的导盲开始指令之后,导盲眼镜会通过信息采集装置监听用户的语音信息,并将语音信息发送给服务器,服务器接收用户的语音信息,从语音信息中获取目标地址。如通过导盲眼镜的麦克风每隔预设时间段监听用户的语音信息,然后将语音信息发送给服务器,服务器接收用户的语音信息,再通过预设转换技术将语音信息转换成服务器可识别的预设语音指令,以获知用户所要到达的目标地址。
113.其中,语音识别技术,也被称为自动语音识别技术(automatic speech recognition,asr),其目标是将人类的语音中的词汇内容转换为机器可读的输入,例如按键、二进制编码或者字符序列。具体地,首先对语音信息进行分析和处理祛除冗余信息,然后使用mfcc技术提取影响语音信息的关键信息和表达语言含义的特征信息,最后紧扣特征信息用最小单元识别字词,使用自然语言处理技术并且按照不同语言各自语法依照先后次序、按照语义、结合语义对特征信息进行处理以得到预设语音指令。
114.在获取目标地址之后,会通过信息采集装置获取用户所处的位置信息,该位置信息可以坐标形式表示,然后计算用户与目标地址之间的距离,判定用户与目标地址之间的距离是否逐渐增大,当监测到用户与目标地址之间的距离逐渐增大时,则控制导盲眼镜播放目标提示信息,用于提醒用户已偏航。其中,用户的位置信息可通过安装在导盲眼镜上的定位装置对用户进行探测,并形成位置信息。
115.参照图8,本发明实施例中还提供一种导盲装置,所述装置包括:
116.接收模块11,用于当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
117.识别模块12,用于对所述场景图像进行识别,得到识别结果;
118.确定模块13,用于当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
119.发送模块14,用于将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
120.在本装置中,导盲眼镜是将集成电路装置安装在眼镜架和眼镜片上,超声装置不断向前发射超声波,当遇到障碍物时即反射回来,经眼镜上的超声波接收装置接收后,通过电子线路的处理,变成可听见的声音,该声音的音调及重复频率可以随着障碍物的距离改变而变化,盲人可以根据声音、音调及重复频率来判断前方有无障碍物及障碍物距离,从而
避免了碰撞,使盲人行走方便,减少碰撞的痛苦,是盲人导盲引路的先进工具。因为该产品的电子线路全部集成化,因此,体积小,性能好,方便携带,并且在携带的过程中更加的自然,从而增强了用户的体验。
121.该工作模式为用户启动导盲眼镜后进入的模式,一般地,导盲眼镜的状态可以分为静止状态和运动状态,导盲眼镜实时向服务器发送其状态信息,当接收到导盲眼镜发送的状态信息为导盲眼镜处于运动状态的信息,时,则监测到导盲眼镜处于工作模式。其中,导盲眼镜的状态可以通过监测导盲眼镜运动的速度、运动加速度或角运动数据来判断。
122.在导盲眼镜处于工作模式时,导盲眼镜首先开启预先安装的摄像头,该摄像头一般安装在导盲眼镜的前方,可分别在导盲眼镜的左前方及右前方安装,该摄像头用于拍摄用户当前所处的场景,得到场景图像,并将场景图像实时发送给服务器。
123.该场景图像可以是关于道路、商场、地铁等各种场景的场景图像,场景图像可以具体包括摄像头能够捕获到的任何景物、建筑物或行人。
124.在一实施例中,当接收到导盲眼镜的摄像头拍摄用户当前所处场景的场景图像之后,服务器还可对场景图像进行预处理,如对场景图像进行降噪处理或二值化处理等等,以得到质量满足要求的场景图像,此外,该预处理方式还可以是对场景图像的清晰度、对比度及亮度等参数的调整,在此不做具体限定。
125.此外,当检测到场景图像的清晰度低于预设清晰度时,则删除清晰度低于预设清晰度的场景图像,并向导盲眼镜发送操作指令,该操作指令用于控制导盲眼镜重新拍摄清晰度低于预设清晰度的场景图像,如调整导盲眼镜的焦距,以得到满足预设清晰度的场景图像,以提高后续图像识别效果。
126.服务器在接收到场景图像后,对场景图像进行识别,得到识别结果,识别结果可包含场景图像中的所有目标物体,如行人或景物,从而判断出当前场景的复杂程度,识别结果还可包含每个目标物体的坐标信息及每个目标物体与用户的距离。
127.在一实施例中,本发明可借助图像识别模型识别场景图像,得到识别结果。具体的,将场景图像输入预先训练好的图像识别模型中,输出得到所述场景图像的识别结果,从而通过人工智能的方式自动识别出场景图像的所有目标物体、每个目标物体的坐标信息及每个目标物体与用户的距离等识别结果,提高场景图像的识别效率。
128.可选地,在对图像识别模型进行训练时,可获取训练数据,该训练数据的数据量需大于预设数据量,以确保足够多的训练量,提高图像识别模型的训练效果,训练数据包括多张场景图像样本以及每张场景图像样本已确定的标准识别结果,该标准识别结果可以标签的形式进行表示,标注了每张场景图像样本的目标物体、目标物体的类型、每个目标物体的坐标信息及每个目标物体与用户的距离等标注信息;然后将训练数据输入预先构建的初始神经网络模型中进行训练,在满足迭代条件后,获取初始神经网络模型训练后的训练结果,判断训练结果是否满足要求,若是,则将训练后的初始神经网络模型作为训练好的图像识别模型。其中,该迭代条件包括训练次数或训练时间。
129.示例性的,当检测到当前场景中行人或景物比较密集时,可以理解为当前场景的状况比较复杂;当检测到当前场景中行人或者景物比较稀少时,可以理解为当前场景的状况一般,后续可针对不同的场景状况提供不同的导盲信息,从而实现适应于用户所处环境的、有针对性的导盲,提高导盲效果。
130.本发明的导盲眼镜除集成超声测距功能外,还可增设两个高清摄像头采集用户前方的场景信息,以场景图像为主传输到远端的服务器,远端的服务器对场景图像进行解析并配合gps信息和机器学习库实时分析前方障碍结果,当根据识别结果确定场景中存在与用户的距离低于预设距离的目标物体时,确定目标物体的坐标信息,并生成含有坐标信息的语音提示信息,将语音提示信息发送给导盲眼镜,控制导盲眼镜播放语音提示信息,以将目标物体的坐标信息及时告知用户,以避免用户发生碰撞,也利于用户全面了解当前场景的状况。
131.例如,当目标物体距离用户较近时,则控制导盲眼镜的耳塞进行鸣笛提醒,并语音播报目标物体的坐标信息和导航建议,如前方有石头,请注意脚下,建议往左50cm再直行通过。
132.此外,导盲眼镜还可实时将用户的位置信息保存在远端的服务器,用户的紧急联系人可通过手机查询用户的位置信息,供紧急情况下掌握用户最近行程轨迹。该语音提示信息还可播报多种信息,如语音播报天气、语音通话、微信、探测模式选择等等。
133.在一实施例中,当检测到场景图像中存在多个目标物体时,分别计算每个目标物体与用户的距离,按照距离由近及远的播报方式,依次播报每个目标物体的坐标信息。例如,当目标物体a与用户的距离较近时,则优先播报该目标物体a。
134.如上所述,可以理解地,本发明中提出的所述导盲装置的各组成部分可以实现如上所述导盲方法任一项的功能,具体结构不再赘述。
135.参照图9,本发明实施例中还提供一种计算机设备,其内部结构可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中,该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机可读存储介质、内存储器。该计算机可读存储介质存储有操作系统、计算机程序和数据库。该内存器为计算机可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述导盲方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种导盲方法。
136.上述处理器执行上述的导盲方法,包括:
137.当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
138.对所述场景图像进行识别,得到识别结果;
139.当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
140.将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
141.本发明一实施例还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现一种导盲方法,包括步骤:
142.当监测到导盲眼镜处于工作模式时,接收所述导盲眼镜的摄像头拍摄用户当前所处场景的场景图像;
143.对所述场景图像进行识别,得到识别结果;
144.当根据所述识别结果确定所述场景中存在与所述用户的距离低于预设距离的目
标物体时,确定所述目标物体的坐标信息,并生成含有所述坐标信息的语音提示信息;
145.将所述语音提示信息发送给所述导盲眼镜,控制所述导盲眼镜播放所述语音提示信息。
146.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限,ram以多种形式可得,诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双速据率sdram(ssrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
147.综上所述,本发明的最大有益效果在于:
148.本发明所提供的一种导盲方法、装置、计算机设备及计算机可读存储介质,当监测到导盲眼镜处于工作模式时,接收导盲眼镜的摄像头拍摄用户当前所处场景的场景图像,对场景图像进行识别,得到识别结果,当根据识别结果确定场景中存在与用户的距离低于预设距离的目标物体时,确定目标物体的坐标信息,并生成含有坐标信息的语音提示信息,将语音提示信息发送给导盲眼镜,控制导盲眼镜播放语音提示信息,以通过图像识别技术全面了解用户所处的场景,并在识别出场景中存在目标物体时,将目标物体的坐标信息通过语音提示方式及时告知用户,从而能够帮助盲人及时准确的获取周围环境信息,提高导盲效果。
149.需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
150.以上所述仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献