一种用于辅助盲人人际交流的人脸识别系统及方法与流程

1.本发明涉及计算机技术领域，尤其涉及一种用于辅助盲人人际交流的人脸识别系统及方法。


背景技术：

2.盲人或视力障碍人群使社会组成中的特殊群体之一，由于视力的残疾，其难以像一般人一样在工作、学习或其他活动中应付自如。盲人的安全出行一直是一个受到社会共同关注的话题。
3.盲人的避障和导航目前都有较为可行的方案，如导盲杖、导盲犬等。但盲人与人际交流上的难题却鲜有人关注。受限于视力的残疾，盲人仅能通过声音模糊判断与其交流的陌生人的性别、年龄等，而无法像正常人一样准确识别包括性别、年龄、表情等人脸属性。此外，由于人物信息的缺失，盲人也难以建立对陌生人的印象，这对盲人的出行也造成了一定的安全隐患。
4.目前基于计算机视觉的导盲仪基于目标检测算法采集周围目标信息进行对象识别，其中当然也包括行人识别。其问题在于，现有的导盲仪仅识别行人这个物体，而没有达到更细化的对行人人脸的识别、判断。当前的导盲系统仅关注盲人的避障安全，而忽视了其与陌生人交流的需求。
5.因此，提供一种辅助盲人人际交流的方案成为亟待解决的问题。


技术实现要素：

6.本发明旨在提供一种克服上述问题或者至少部分地解决上述问题的用于辅助盲人人际交流的人脸识别系统及方法，可作为现代导盲仪的一个重要功能部分，通过协助盲人建立对陌生人的印象，提升其人际交流的体验和效率，以及保证其出行安全。
7.为达到上述目的，本发明的技术方案具体是这样实现的：
8.本发明的一个方面提供了一种用于辅助盲人人际交流的人脸识别系统，包括：人脸检测模块、人脸配准模块、人脸属性识别模块、语音播放模块、人脸向量化模块和人脸检索模块；其中：所述人脸检测模块，用于获取当前交流对象的人脸图像和人脸关键点；所述人脸配准模块，用于根据所述当前交流对象的人脸图像和所述人脸关键点获取摆正后的人脸图像；人脸属性识别模块，用于根据所述摆正后的人脸图像识别人脸属性，所述人脸属性包括但不限于所述当前交流对象的性别、年龄、表情，并通过所述语音播放模块播报所述人脸属性；人脸向量化模块，用于将所述摆正后的人脸图像进行编码，生成特征向量；人脸检索模块，用于根据所述特征向量，将所述特征向量与数据库中的存储的特征向量进行比对；如果比对结果为所述特征向量已存在记录，则调出相应信息记录通过所述语音播放模块播报语音信息，所述语音信息包括但不限于何时遇见过所述当前交流对象，何地遇见过所述当前交流对象；如果比对结果为所述特征向量不存在信息记录，则以所述特征向量为键，同时调取时空信息，所述时空信息包括：gps的地点信息和时钟的当前时刻信息，以键值对的
形式关联所述特征向量和所述时空信息并存入所述数据库中。
9.其中，所述人脸检测模块基于cascade-haar检测器、mtcnn检测器或retinaface检测器实现。
10.其中，所述人脸配准模块基于aam算法、asm算法、clm算法、或cascade regression 算法实现。
11.其中，人脸属性识别模块基于经训练的多分类/回归头残差网络实现，所述网络实现包括以下分类：所述当前交流对象性别、所述当前交流对象表情、预测得到的所述当前交流对象年龄。
12.其中，人脸向量化模块基于经训练的残差神经网络实现，所述网络输出512维向量。
13.其中，人脸检索模块基于向量度量算法、knn算法或ann算法实现。
14.其中，所述向量度量算法包括但不限于：欧氏距离度量方法、余弦距离度量方法或内积度量方法。
15.其中，所述人脸检索模块通过如下方式将所述特征向量与数据库中的存储的特征向量进行比对，以及所述如果比对结果为所述特征向量已存在记录：所述数据库以键值对的形式存在，所述特征向量为键，所述当前交流对象的信息记录为值，如果存在已记录向量与输入向量度量距离低于设定阈值，则认为该对象存在记录。
16.本发明另一方面提供了一种用于辅助盲人人际交流的人脸识别方法，包括：所述人脸检测模块获取当前交流对象的人脸图像和人脸关键点；所述人脸配准模块根据所述当前交流对象的人脸图像和所述人脸关键点获取摆正后的人脸图像；人脸属性识别模块根据所述摆正后的人脸图像识别人脸属性，所述人脸属性包括但不限于所述当前交流对象的性别、年龄、表情，并通过语音播放模块播报所述人脸属性；人脸向量化模块将所述摆正后的人脸图像进行编码，生成特征向量；人脸检索模块根据所述特征向量，基于向量度量算法，将所述特征向量与数据库中的存储的特征向量进行比对；如果比对结果为所述特征向量已存在记录，则调出相应信息记录通过所述语音播放模块播报语音信息，所述语音信息包括但不限于何时遇见过所述当前交流对象，何地遇见过所述当前交流对象；如果比对结果为所述特征向量不存在信息记录，则以所述特征向量为键，同时调取时空信息，所述时空信息包括：gps的地点信息和时钟的当前时刻信息，以键值对的形式关联所述特征向量和所述时空信息并存入所述数据库中。
17.由此可见，通过本发明提供的用于辅助盲人人际交流的人脸识别系统及方法，包括人脸属性识别技术和人脸检索技术，辅助盲人与陌生人进行人际交流。通过人脸属性识别技术协助盲人建立对交流对象的印象，通过人脸检索技术协助盲人记忆对交流对象的印象，提升盲人人际交往的效率和体验，同时也可以达到安全保护，确认交流对象身份，防止上当受骗的效果。
附图说明
18.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他
附图。
19.图1为本发明实施例提供的用于辅助盲人人际交流的人脸识别系统的结构示意图；
20.图2为本发明实施例提供的用于辅助盲人人际交流的人脸识别方法的流程图。
具体实施方式
21.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
22.本发明的核心在于：本发明针对基于计算机视觉的导盲仪中的一个功能部分，即辅助盲人对人脸进行属性识别和记录。要解决的技术问题包括以下两点：
23.(1)通过人脸属性识别技术对陌生人进行识别，以语音播报的方式提示用户该交流对象的年龄、性别、表情等信息，协助用户进行人际交流；
24.(2)通过人脸检索技术，将目标人脸编码为定长向量，结合gps定位系统和电子时钟，将人脸向量、时间、地点等信息记录到系统数据库中。基于用户需求，可随时开启人脸检索功能，判断当前交流对象是否之前已见过，以及何时何地遇见。若未曾见过则将人脸转换为定长向量并记录。
25.本发明基于人脸识别技术，包括人脸属性识别技术和人脸检索技术，辅助盲人与陌生人进行人际交流。通过人脸属性识别技术协助盲人建立对交流对象的印象，通过人脸检索技术协助盲人记忆对交流对象的印象，提升盲人人际交往的效率和体验，同时也可以达到安全保护，确认交流对象身份，防止上当受骗的效果。
26.图1示出了本发明实施例提供的用于辅助盲人人际交流的人脸识别系统的结构示意图，参见图1，本发明实施例提供的用于辅助盲人人际交流的人脸识别系统，包括：人脸检测模块、人脸配准模块、人脸属性识别模块、语音播放模块、人脸向量化模块和人脸检索模块；其中：
27.人脸检测模块，用于获取当前交流对象的人脸图像和人脸关键点；
28.人脸配准模块，用于根据当前交流对象的人脸图像和人脸关键点获取摆正后的人脸图像；
29.人脸属性识别模块，用于根据摆正后的人脸图像识别人脸属性，人脸属性包括但不限于当前交流对象的性别、年龄、表情，并通过语音播放模块播报人脸属性；
30.人脸向量化模块，用于将摆正后的人脸图像进行编码，生成特征向量；
31.人脸检索模块，用于根据特征向量，将特征向量与数据库中的存储的特征向量进行比对；如果比对结果为特征向量已存在记录，则调出相应信息记录通过语音播放模块播报语音信息，语音信息包括但不限于何时遇见过当前交流对象，何地遇见过当前交流对象；如果比对结果为特征向量不存在信息记录，则以特征向量为键，同时调取时空信息，时空信息包括：gps 的地点信息和时钟的当前时刻信息，以键值对的形式关联特征向量和时空信息并存入数据库中。
32.具体地，本发明通过人脸检测模块获得当前交流对象的人脸图像和人脸关键点，
作为本发明实施例的一个可选实施方式，人脸检测模块基于cascade-haar检测器、mtcnn检测器或retinaface检测器实现。优选的，人脸检测模块基于cascade-haar检测器实现。用于检测出镜头中的主要人脸，确定人脸关键点，并剪切出供下一步骤使用。
33.本发明通过人脸配准模块获得摆正后的人脸图像，作为本发明实施例的一个可选实施方式，人脸配准模块基于主动外观模型(aam)算法、asm算法、clm算法、或cascade regression 算法实现。优选的，人脸配准模块基于主动外观模型(aam)算法实现。基于配准人脸关键点，将输入图像中的各种姿态和朝向的人脸，摆正为统一的正脸超前的姿势，摆正后的人脸图像供下一步骤使用。
34.本发明将摆正后的人脸图像输入人脸属性识别模块。作为本发明实施例的一个可选实施方式，人脸属性识别模块基于经训练的多分类/回归头残差网络实现，网络实现包括以下分类：当前交流对象性别、当前交流对象表情、预测得到的当前交流对象年龄。具体地，人脸属性识别模块基于一个经训练的多分类/回归头残差网络实现。该网络实现包括以下分类，该对象性别，男或女；该对象表情，包括高兴、难过和平静等；预测该对象年龄，如30岁等。摆正后的人脸图像被输入该网络中，识别出对象的各项属性，并通过语音播报的方式通知用户
35.本发明将摆正后的人脸图像输入人脸向量化模块。作为本发明实施例的一个可选实施方式，人脸向量化模块基于经训练的残差神经网络实现，网络输出512维向量。具体地，该人脸向量化模块基于一个输出特征向量的残差神经网络，该网络作为一个特征提取器使用，其输出为一个512维向量。摆正后的人脸被输入到该网络中被编码为一个512维的特征向量共下一步骤使用。
36.本发明将特征向量输入人脸检索模块，若比对结果为该特征向量已存在记录，则调出相应信息记录进行语音播报，包括但不限于何时遇见过该对象，何地遇见过该对象等；若比对结果为该特征向量不存在信息记录，则以该特征向量为键，同时调取gps的地点信息和时钟的当前时刻信息等。以键值对的形式关联特征向量和这些信息并存入数据库中。作为本发明实施例的一个可选实施方式，人脸检索模块基于向量度量算法、knn算法或ann算法实现。优选的，人脸检索模块基于向量度量算法，将该特征向量与数据库中的存储的特征向量进行比对。向量度量算法包括但不限于：欧氏距离度量方法、余弦距离度量方法或内积度量方法。人脸检索模块通过如下方式将特征向量与数据库中的存储的特征向量进行比对，以及如果比对结果为特征向量已存在记录：数据库以键值对的形式存在，特征向量为键，当前交流对象的信息记录为值，如果存在已记录向量与输入向量度量距离低于设定阈值，则认为该对象存在记录。具体地，人脸检索模块基于向量度量算法实现，包括但不限于欧氏距离、余弦距离、内积等度量方法。将输入特征向量与数据库中记录的特征向量进行一一比对。该数据库以键值对的形式存在，特征向量为键，对象的信息记录为值。若存在已记录向量与输入向量度量距离低于设定阈值，则认为该对象存在记录。反之若不存在度量距离小于设定阈值的已记录向量，则认为该对象不存在记录；若判定该对象存在信息记录，则调取相应已记录向量对应的信息记，包括上次遇见该对象是何时、何地等；若判定该对象不存在信息记录，则以该特征向量为键，同时调取系统其它信息，包括但不限于，gps的地点信息、时钟的当前时刻信息等。以键值对的形式关联特征向量和这些信息并存入数据库中。
37.由此可见，利用本发明实施例提供的用于辅助盲人人际交流的人脸识别系统，基
于人脸识别技术辅助盲人的人际交流，辅助盲人了解交流对象的基本外观信息；同时基于人脸检索技术，协助盲人记忆所遇见的交流对象。本发明实施例提供的用于辅助盲人人际交流的人脸识别系统作为智能导盲仪的一个功能补充，通过协助盲人建立对陌生人的印象，提升其人际交流的体验和效率，以及保证其出行安全。
38.图2示出了本发明实施例提供的用于辅助盲人人际交流的人脸识别方法的流程图，该用于辅助盲人人际交流的人脸识别方法应用上述系统，以下仅对用于辅助盲人人际交流的人脸识别方法的流程进行简单说明，其他未尽事宜，请参照上述用于辅助盲人人际交流的人脸识别系统中的相关描述，参见图2，本发明实施例提供的用于辅助盲人人际交流的人脸识别方法，包括：
39.s1，人脸检测模块获取当前交流对象的人脸图像和人脸关键点；
40.s2，人脸配准模块根据当前交流对象的人脸图像和人脸关键点获取摆正后的人脸图像；
41.s3，人脸属性识别模块根据摆正后的人脸图像识别人脸属性，人脸属性包括但不限于当前交流对象的性别、年龄、表情，并通过语音播放模块播报人脸属性；
42.s4，人脸向量化模块将摆正后的人脸图像进行编码，生成特征向量；
43.s5，人脸检索模块根据特征向量，基于向量度量算法，将特征向量与数据库中的存储的特征向量进行比对；
44.s6，如果比对结果为特征向量已存在记录，则调出相应信息记录通过语音播放模块播报语音信息，语音信息包括但不限于何时遇见过当前交流对象，何地遇见过当前交流对象；
45.s7，如果比对结果为特征向量不存在信息记录，则以特征向量为键，同时调取时空信息，时空信息包括：gps的地点信息和时钟的当前时刻信息，以键值对的形式关联特征向量和时空信息并存入数据库中。
46.由此可见，利用本发明实施例提供的用于辅助盲人人际交流的人脸识别方法，基于人脸识别技术辅助盲人的人际交流，辅助盲人了解交流对象的基本外观信息；同时基于人脸检索技术，协助盲人记忆所遇见的交流对象。本发明实施例提供的用于辅助盲人人际交流的人脸识别方法作为智能导盲仪的一个功能补充，通过协助盲人建立对陌生人的印象，提升其人际交流的体验和效率，以及保证其出行安全。
47.以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。