信息的获取方法、装置、存储介质及电子装置与流程

1.本发明涉及信息的获取相关领域，具体而言，涉及一种信息的获取方法、装置、存储介质及电子装置。


背景技术：

2.视力障碍人群在社会活动中，会存在比较明显的障碍，如在购物，在阅读，或者一些日常场景中，需要依赖盲文或者盲人的一些便捷引导设施，或者需要其他人的引导，需要大量时间进行练习。
3.在实际情况下，目前大多都使用了移动支付，也会存在一些问题。在阅读的时候，只能阅读一些盲文，无法查看正常的文字信息。这些情况方方面面都会带来不变。
4.针对上述的问题，目前尚未提出有效的解决方案。


技术实现要素：

5.本发明实施例提供了一种信息的获取方法、装置、存储介质及电子装置，以至少解决现有技术中，具有视力障碍用户获取目标对象信息困难的问题。
6.根据本发明实施例的一个方面，提供了一种信息的获取方法，包括：获取目标场景下的图像信息，其中，所述图像信息包括所述目标场景下的目标对象；通过图像识别技术识别所述图像信息中的目标对象；基于第一知识图谱获取所述目标对象的相关信息；向用户播报所述相关信息。
7.可选的，所述向用户播报所述相关信息之后，所述方法还包括：在所述用户对所述相关信息存在疑问的情况下，获取所述用户的语音信息，其中，所述语音信息中携带所述用户的问题；基于所述语音信息中携带所述问题的关键词，在第二知识图谱中获取应答答案；向所述用户播报所述应答答案。
8.可选的，所述向用户播报所述相关信息，包括：通过从文本到语音技术向所述用户播报所述相关信息。
9.可选的，所述获取目标场景下的图像信息，其中，所述图像信息包括所述目标场景下的目标对象，包括：获取用户的控制指令，其中，所述控制指令用于启动摄像头；通过所述摄像头获取所述目标场景下的所述图像信息。
10.可选的，所述方法包括：在所述目标场景为购物场景的情况下，获取所述目标场景下的图像信息，其中，所述图像信息中包括目标商品；通过图像识别技术识别所述图像信息中的目标商品；基于所述第一知识图谱获取所述目标商品的相关信息，其中，所述相关信息包括以下之一：所述目标商品的简介信息、所述目标商品的价格信息、所述目标商品的重量信息；向用户播报所述相关信息。
11.根据本发明实施例的另一方面，还提供了一种信息获取的装置，包括：第一获取单元，用于获取目标场景下的图像信息，其中，所述图像信息包括所述目标场景下的目标对象；第一识别单元，用于通过图像识别技术识别所述图像信息中的目标对象；第二获取单
元，用于基于第一知识图谱获取所述目标对象的相关信息；第一播报单元，用于向用户播报所述相关信息。
12.可选的，所述装置还包括：第三获取单元，用于所述向用户播报所述相关信息之后，在所述用户对所述相关信息存在疑问的情况下，获取所述用户的语音信息，其中，所述语音信息中携带所述用户的问题；第四获取单元，用于基于所述语音信息中携带所述问题的关键词，在第二知识图谱中获取应答答案；第二播报单元，用于向所述用户播报所述应答答案。
13.可选的，所述第一播报单元，包括：播报模块，用于通过从文本到语音技术向所述用户播报所述相关信息。
14.可选的，所述第一获取单元，包括：第一获取模块，用于获取用户的控制指令，其中，所述控制指令用于启动摄像头；第二获取模块，用于通过所述摄像头获取所述目标场景下的所述图像信息。
15.可选的，所述装置包括：第五获取单元，用于在所述目标场景为购物场景的情况下，获取所述目标场景下的图像信息，其中，所述图像信息中包括目标商品；第二识别单元，用于通过图像识别技术识别所述图像信息中的目标商品；第六获取单元，用于基于所述第一知识图谱获取所述目标商品的相关信息，其中，所述相关信息包括以下之一：所述目标商品的简介信息、所述目标商品的价格信息、所述目标商品的重量信息；第三播报单元，用于向用户播报所述相关信息。
16.根据本发明实施例的另一方面，还提供了一种可佩戴的智能设备，其特征在于，所述可佩戴的智能设备用于执行上述任一项信息的获取方法。
17.根据本技术实施例的第一个方面，提供了一种计算机可读的存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述信息的获取方法。
18.根据本技术实施例的第一个方面，提供了一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述信息的获取方法。
19.在本发明实施例中，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象；通过图像识别技术识别图像信息中的目标对象；基于第一知识图谱获取目标对象的相关信息；向用户播报相关信息。即具有视力障碍的用户可以通过佩戴智能设备，其中，该智能设备可以根据目标对象的图像信息，获取该目标对象的相关信息，进行通过麦克风将该相关信息播报给用户。具有视力障碍用户获取目标对象信息困难的技术问题。
附图说明
20.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
21.图1是根据本发明实施例的一种可选的信息的获取方法的移动终端的硬件结构框图；
22.图2是根据本发明实施例的一种可选的信息的获取方法的流程图；
23.图3是根据本发明实施例的一种可选的信息的获取装置图。
具体实施方式
24.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
25.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一序列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
26.为了更好的理解本技术，现对部分名称说明如下：
27.tts是text to speech的缩写，即“从文本到语音”，是人机对话的一部分，让机器能够说话。
28.ocr(optical character recognition，光学字符识别)是指电子设备 (例如扫描仪或数码相机)检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工。
29.本技术实施例所提供的信息的获取方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种信息的获取方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102 (处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga 等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
30.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的信息的获取方法对应的计算机程序，处理器102 通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端 10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
31.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为 nic)，其可通过基站与其他网络设备相连从
而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf) 模块，其用于通过无线方式与互联网进行通讯。
32.在本实施例中还提供了一种信息的获取方法，图2是根据本发明实施例的信息的获取方法的流程图，如图2所示，该信息的获取方法流程包括如下步骤：
33.步骤s202，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象。
34.步骤s204，通过图像识别技术识别图像信息中的目标对象；基于第一知识图谱获取目标对象的相关信息。
35.步骤s206，向用户播报相关信息。
36.在本实施例中，上述信息的获取方法可以包括但不限于应用于购物场景、交通场景等等。
37.其中，上述用户可以包括但不限于具有视力障碍的用户。
38.通过本技术提供的实施例，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象；通过图像识别技术识别图像信息中的目标对象；基于第一知识图谱获取目标对象的相关信息；向用户播报相关信息。即具有视力障碍的用户可以通过佩戴智能设备，其中，该智能设备可以根据目标对象的图像信息，获取该目标对象的相关信息，进行通过麦克风将该相关信息播报给用户。具有视力障碍用户获取目标对象信息困难的技术问题。
39.可选的，向用户播报相关信息之后，上述方法还可以包括：在用户对相关信息存在疑问的情况下，获取用户的语音信息，其中，语音信息中携带用户的问题；基于语音信息中携带问题的关键词，在第二知识图谱中获取应答答案；向用户播报应答答案。
40.可选的，向用户播报相关信息，可以包括：通过从文本到语音技术向用户播报相关信息。
41.可选的，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象，可以包括：获取用户的控制指令，其中，控制指令用于启动摄像头；通过摄像头获取目标场景下的图像信息。
42.可选的，上述方法可以包括：在目标场景为购物场景的情况下，获取目标场景下的图像信息，其中，图像信息中包括目标商品；通过图像识别技术识别图像信息中的目标商品；基于第一知识图谱获取目标商品的相关信息，其中，相关信息包括以下之一：目标商品的简介信息、目标商品的价格信息、目标商品的重量信息；向用户播报相关信息。
43.作为一种可选的实施例，本技术还提供了一种结合ai技术的视力缺陷人群日常随身助理装置。该装置具有包括如下内容。
44.第一步：视力障碍人员外出时需要佩戴该眼镜。
45.第二步：眼镜开启后，可利用微型摄像头实施拍摄监控，利用麦克风收集声音，并进行信息分析。
46.第三步：在购物场景下，采用微型摄像头对图像进行拍摄，利用图像识别技术，nlp技术，以及知识图谱，综合判断商品的详情包括不限于：商品介绍，商品大小，商品价格，商品重量等。
47.第四步：通过耳机，将商品的信息进行介绍
48.第五步：当对商品或者对于问题有疑问时，可通过语音进行发问。
49.第六步：当问到商品介绍信息相关时，可通过ocr以及自然语言处理(nlp，natural language processing)技术，将商品详情转为文字，并进行理解，基于问题，进行关键词检索，知识图谱理解，给出答案，并利用tts技术进行语音播报。
50.第七步：对摄像头拍摄到的场景进行提问，如：我前面有什么，找我的钱时多少，现在时红灯还是绿灯。基于图像信息，以及知识图谱，综合给出判断答案，并通过tts进行解答。
51.在本实施例中，为视力障碍人群研发一种加载了日常随身助理的佩戴式智能眼镜设备，设备包括，图像收集嵌入式微型摄像头，声音收集装置，耳机，支持4g卡(网络)，加载ssp降噪算法，接入图像、声音、语义相关的通用知识图谱(包含且不限于常识图谱)。辅助视力障碍人员日常的出行及参与日常的社会活动。
52.通过本技术提供的实施例，该设备利用知识图谱、图像识别、声音识别、nlp等技术，为视力障碍员配备了一个经验丰富的随身助理，视力障碍人员可通过对话的形式，得到自己想要的信息，让生活更加的便捷。
53.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如 rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
54.在本实施例中还提供了一种信息的获取装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
55.图3是根据本发明实施例的信息的获取装置的结构框图，如图3所示，该信息的获取装置包括：
56.第一获取单元31，用于获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象。
57.第一识别单元33，用于通过图像识别技术识别图像信息中的目标对象。
58.第二获取单元35，用于基于第一知识图谱获取目标对象的相关信息。
59.第一播报单元37，用于向用户播报相关信息。
60.通过本技术提供的实施例，第一获取单元31获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象；第一识别单元33通过图像识别技术识别图像信息中的目标对象；第二获取单元35基于第一知识图谱获取目标对象的相关信息；第一播报单元37向用户播报相关信息。即具有视力障碍的用户可以通过佩戴智能设备，其中，该智能设备可以根据目标对象的图像信息，获取该目标对象的相关信息，进行通过麦克风将该相关信息播报给用户。具有视力障碍用户获取目标对象信息困难的技术问题。
61.可选的，上述装置还可以包括：第三获取单元，用于向用户播报相关信息之后，在用户对相关信息存在疑问的情况下，获取用户的语音信息，其中，语音信息中携带用户的问
题；第四获取单元，用于基于语音信息中携带问题的关键词，在第二知识图谱中获取应答答案；第二播报单元，用于向用户播报应答答案。
62.可选的，上述第一播报单元37，可以包括：播报模块，用于通过从文本到语音技术向用户播报相关信息。
63.可选的，上述第一获取单元31，可以包括：第一获取模块，用于获取用户的控制指令，其中，控制指令用于启动摄像头；第二获取模块，用于通过摄像头获取目标场景下的图像信息。
64.可选的，上述装置可以包括：第五获取单元，用于在目标场景为购物场景的情况下，获取目标场景下的图像信息，其中，图像信息中包括目标商品；第二识别单元，用于通过图像识别技术识别图像信息中的目标商品；第六获取单元，用于基于第一知识图谱获取目标商品的相关信息，其中，相关信息包括以下之一：目标商品的简介信息、目标商品的价格信息、目标商品的重量信息；第三播报单元，用于向用户播报相关信息。
65.需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
66.本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
67.可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的计算机程序：
68.s1，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象；
69.s2，通过图像识别技术识别图像信息中的目标对象；
70.s3，基于第一知识图谱获取目标对象的相关信息；
71.s4，向用户播报相关信息。
72.可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccess memory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
73.本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
74.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
75.可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
76.s1，获取目标场景下的图像信息，其中，图像信息包括目标场景下的目标对象；
77.s2，通过图像识别技术识别图像信息中的目标对象；
78.s3，基于第一知识图谱获取目标对象的相关信息；
79.s4，向用户播报相关信息。
80.可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
81.显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用
的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
82.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。