室内导航方法、装置及系统与流程

1.本发明涉及室内定位领域，尤其涉及一种室内导航方法、装置及系统。


背景技术：

2.随着国内经济的快速增长，人民消费水平的不断提高，大型商场及购物综合体如雨后春笋般的涌出。这些商场商品品类齐全，为人们的购物提供便利，同时也带来了问题，对于目标性很强的顾客来说很不友好，因为商品种类繁多、更新频率快，同时商场面积很大，导致就算是商场的常客也不能轻易定位到所需产品的位置。这就致使目标性很强的顾客要浪费很久来寻找所需商品，为顾客带来不便。
3.为此，亟需一种可以适用商场购物导航的室内导航方案，以减少顾客盲目寻找目标商品的时间，提升购物体验。


技术实现要素：

4.本发明的目的在于提供一种室内导航方法、装置及系统，用以精确定位人员位置，以对采购人员的行动路线进行最优路径指引，节省采购人员寻找待购商品所花费的时间。
5.第一方面，本发明实施例提供一种室内导航方法，该方法包括：设置于室内场所的设定位置的图像采集装置采集目标人员的图像；对所述图像进行人脸检测；当检测到人脸时，所述图像采集装置利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果；当匹配结果为匹配成功时，所述导航设备从所述图像采集装置获取匹配成功的标准人脸图像所关联的待购商品的信息；所述导航设备根据所述待购商品的信息和商品位置预设地图，确定所述待购商品的目的位置；所述导航设备根据所述图像采集装置确定所述目标人员的当前位置；所述导航设备根据所述待购商品的目的位置、所述目标人员的当前位置以及所述商品位置预设地图，生成导航路径，所述导航路径用于引导所述目标人员寻找所述待购商品。另外，当匹配失败时，则提醒用户进行人脸信息注册，以及提醒用户在商场入口的控制屏或终端应用上添加商品至购物车。
6.本发明实施例提供的室内导航方法的有益效果在于：这样采购人员只需在进入商场时借助导航设备输入所需采购的商品的信息，或者采购人员预先借助导航设备或者购物应用程序输入所需采购的商品的信息，此系统便会为顾客提供精准的产品定位，并提供相应的最优导航路线，节省采购人员盲目寻找的时间，提升购物体验。
7.在一种可能的实施方案中，所述方法还包括：设置于室内场所的设定位置的所述图像采集装置采集目标人员的图像之前，还包括：所述导航设备获取用户的输入信息，所述输入信息为用户需要的待购商品的信息；设置于导航设备附近的图像采集装置采集用户的标准人脸图像，并保存至所述数据库中；响应于所述输入操作，所述导航设备生成并保存所述标准人脸图像和与所述标准人脸图像相关联的待购商品的信息。该方法用以预先生成包括待购商品的购物清单，以便于有目的性的消费，一方面避免目标人员受商家促销广告影响过度消费，另一方面可以保证客户理性消费。
8.在一种可能的实施方案中，当所述室内场所的各个图像采集装置在经过设定时长均没有再次捕捉到所述目标人员的图像时，则通知所述导航设备释放所述目标人员的身份信息，以及与所述目标人员的身份信息相关联的待购商品的信息。该方法一方面可以及时释放导航设备中的资源，另一方面能够避免客户的敏感数据被泄露，保障数据安全。
9.在一种可能的实施方案中，所述导航设备生成导航路径之后，还包括：所述导航设备显示所述导航路径，和/或语音播报所述导航路径。该方案有助于对目标人员进行导航，节省寻找商品所花费的时间。
10.在一种可能的实施方案中，所述导航路径满足用时最短或运动距离最短的特征。
11.在一种可能的实施方案中，所述对所述人脸图像进行人脸检测，包括：所述图像采集装置向人脸检测神经网络模型输入所述目标人员的人脸图像；所述图像采集装置获取人脸检测神经网络模型所输出的包括人脸关键特征点的坐标信息；根据所述人脸关键特征点的坐标信息，从所述目标人员的人脸图像中裁剪出人脸区域图像；调整所述人脸图像的分辨率；将分辨率调整后的人脸图像输入到人脸识别神经网络模型中。
12.所述图像采集装置利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果，包括：所述图像采集装置还向人脸识别神经网络模型输入数据库中标准人脸图像；所述图像采集装置获取人脸识别神经网络模型所输出的匹配结果，所述匹配结果包括相似度大于设定阈值的标准人脸图像。上述方案有助于及时识别图像中是否具有人脸，以对采购人员进行实时跟踪，另外，还能通过匹配人脸准确定位处于移动状态的人员的位置，从而调出该顾客在入口处输入的商品信息，找出目的地，同时为顾客更新路径信息。
13.第二方面，本发明实施例提供一种室内导航装置，该装置包括：采集单元，用于采集目标人员的图像；所述人脸检测单元，用于对所述图像进行人脸检测；所述人脸识别单元，用于当检测到人脸时，所述图像采集装置利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果；导航单元，用于当匹配结果为匹配成功时，确定匹配成功的标准人脸图像所关联的待购商品的信息；根据所述待购商品的信息和商品位置预设地图，确定所述待购商品的目的位置；根据所述图像采集装置确定所述目标人员的当前位置；根据所述待购商品的目的位置、所述目标人员的当前位置以及所述商品位置预设地图，生成导航路径，所述导航路径用于引导所述目标人员寻找所述待购商品。
14.在一种可能的实施方案中，还包括获取单元，用于获取用户的输入信息，所述输入信息为用户需要的待购商品的信息；
15.所述采集单元，还用于采集用户的标准人脸图像，并保存至所述数据库中；
16.所述导航单元，还用于生成并保存所述标准人脸图像和与所述标准人脸图像相关联的待购商品的信息。
17.在一种可能的实施方案中，所述采集单元，还用于：当所述室内场所的各个图像采集装置在经过设定时长均没有再次捕捉到所述目标人员的图像时，则通知所述导航设备释放所述目标人员的身份信息，以及与所述目标人员的身份信息相关联的待购商品的信息。
18.在一种可能的实施方案中，所述人脸检测单元对所述图像进行人脸检测具体用于：向人脸检测神经网络模型输入所述目标人员的人脸图像；获取人脸检测神经网络模型所输出的包括人脸关键特征点的坐标信息；根据所述人脸关键特征点的坐标信息，从所述
目标人员的人脸图像中裁剪出人脸区域图像；调整所述人脸图像的分辨率；将分辨率调整后的人脸图像输入到人脸识别神经网络模型中；
19.所述人脸识别单元利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果，具体用于：还向人脸识别神经网络模型输入数据库中的标准人脸图像；获取人脸识别神经网络模型所输出的匹配结果，所述匹配结果包括相似度大于设定阈值的标准人脸图像。
20.第三方面，本发明实施例提供一种室内导航系统，该系统包括设置于室内场所的设定位置的所述图像采集装置和导航设备，所述图像采集装置用于执行上述第一方面任一项所述图像采集装置所执行的方法实施例，所述导航设备用于执行上述第一方面任一项所述导航设备所执行的方法实施例。
21.第四方面，本发明实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在图像采集装置上运行时，使得所述图像采集装置执行上述第一方面的图像采集装置所执行的方法。
22.第五方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在导航设备上运行时，使得所述导航设备执行上述第一方面的导航设备所执行的方法。
23.第六方面，本发明实施例中还提供一种计算机可读存储介质，所述计算机可读存储介质包括计算机程序，当计算机程序在商场入口的控制屏上运行时，使得所述控制屏执行录入用户人脸信息并读取商品和商品位置信息。
24.关于上述第三方面至第五方面的有益效果可以参见上述第一方面或第二方面中的描述。
附图说明
25.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
26.图1为本发明实施例提供的一种室内导航系统的通信系统示意图；
27.图2为本发明实施例提供的一种室内导航方法流程示意图；
28.图3为本发明实施例提供的室内导航装置结构示意图。
具体实施方式
29.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行描述。其中，在本发明实施例的描述中，以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本技术的限制。如在本技术的说明书和所附权利要求书中所使用的那样，单数表达形式“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式，除非其上下文中明确地有相反指示。还应当理解，在本技术以下各实施例中，“至少一个”、“一个或多个”是指一个或两个以上(包含两个)。术语“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系；例如，a和/或b，可以表示：单独存在a，同时存在a
和b，单独存在b的情况，其中a、b可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
30.在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。术语“连接”包括直接连接和间接连接，除非另外说明。“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
31.在本发明实施例中，“示例性地”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性地”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性地”或者“例如”等词旨在以具体方式呈现相关概念。
32.本技术提供的室内导航系统包括图像采集装置和导航设备，可以适用于如图1所示的通信系统中。其中，图像采集装置102与导航设备104通过网络进行通信。图像采集装置102采集图像，然后基于各种算法进行人脸识别和人脸匹配，最终将人脸识别结果上传至导航设备104。导航设备104利用结合各个图像采集装置的位置信息，最终确定所述目标人员108在设定时段内的位置信息，以及导航设备104根据所述待购商品的信息和商品位置预设地图，确定所述待购商品的目的位置；所述导航设备104根据所述图像采集装置确定所述目标人员108的当前位置；所述导航设备104根据所述待购商品的目的位置、所述目标人员108的当前位置以及所述商品位置预设地图，生成导航路径，所述导航路径用于引导所述目标人员108寻找所述待购商品。
33.其中，图像采集装置102可以包括但不限于至少一个摄像头，如图1所示的摄像头1、摄像头2至摄像头n，除此之外，图像采集装置102除了可以是摄像头，还可以是计算机、笔记本电脑、智能手机等移动终端。导航设备104除了可以是中控设备，还可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
34.值得说明的是，本技术提供的室内导航方法不限于应用于商场购物这类生活场景，还可以应用于其它多种需要进行室内的场景中，例如疗养中心或医院等。
35.在一个实施例中，如图2所示，提供了一种室内导航方法，下文以该方法应用于导航设备104和图像采集装置为例进行说明，该方法包括以下步骤：
36.s201，设置于室内场所的设定位置的所述图像采集装置采集目标人员的图像；对所述图像进行人脸检测。
37.本实施例中，室内场所可以是大型商场或者娱乐中心等场所。图像采集装置可以是安装在固定场所不同区域的固定摄像头。当有人员经过摄像头时，摄像头会主动抓拍到人脸图像。
38.s202，当检测到人脸时，所述图像采集装置利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果。
39.上述步骤中，一种可能的实施方式中，图像采集装置可以从导航设备获取数据库，
另一种可能的实施方式中，导航设备还可以自动同步数据库至各个图像采集装置。其它可能的实施方式，还可以人为地在图像采集装置预先保存数据库。
40.s203，当匹配结果为匹配成功时，所述导航设备从所述图像采集装置获取匹配成功的标准人脸图像所关联的待购商品的信息。
41.值得说明的是，若匹配成功，但查找发现为标准人脸图像所关联的待购商品的信息空，则自动弹出提示，提醒用户向购物车添加商品。另外，当匹配失败时，则提醒用户进行人脸信息注册，以及提醒用户在商场入口的控制屏或终端应用上添加商品至购物车，从而建立标准人脸图像和待购商品之间的关联关系。
42.s204，所述导航设备根据所述待购商品的信息和商品位置预设地图，确定所述待购商品的目的位置。
43.示例性地，预设地图指可以包括商品名称和商品所在货架的对应关系。
44.s205，所述导航设备根据所述图像采集装置确定所述目标人员的当前位置。
45.s206，所述导航设备根据所述待购商品的目的位置、所述目标人员的当前位置以及所述商品位置预设地图，生成导航路径，所述导航路径用于引导所述目标人员寻找所述待购商品。
46.可选地，所述导航路径满足用时最短或运动距离最短的特征。所述导航设备还可以显示所述导航路径，和/或语音播报所述导航路径。
47.一种可能的实施例中，本实施例在设置于室内场所的设定位置的所述图像采集装置采集目标人员的图像之前，还包括：所述导航设备获取用户的输入信息，所述输入信息为用户需要的待购商品的信息；设置于导航设备附近的图像采集装置采集用户的标准人脸图像，并保存至所述数据库中；响应于所述输入操作，所述导航设备生成并保存所述标准人脸图像和与所述标准人脸图像相关联的待购商品的信息。示例性地，假设在商场的入口以及每个货架上都有一个摄像头以及控制屏。当顾客进入商场，顾客在商场的控制屏前输入自己要购买的商品的名称，系统接收到信息之后，生成并保存所述标准人脸图像和与所述标准人脸图像相关联的待购商品的信息至数据库中，导航设备从数据库获取用户的输入信息。再比如，顾客在手机上购物应用注册人脸后，添加商品至应用购物车，导航设备从应用服务器获取用户的输入信息。
48.本实施例中，主要用到两个深度学习网络算法，首先图像采集装置向人脸检测神经网络模型输入所述目标人员的人脸图像，用人脸检测神经网络模型(mnet)检测采集的图像中是否包含人脸，若有则输出图像中所有人脸以及对应人脸的特征点，图像采集装置获取人脸检测神经网络模型所输出的包括人脸关键特征点的坐标信息；根据所述人脸关键特征点的坐标信息，从所述目标人员的人脸图像中裁剪出人脸区域图像；调整所述人脸图像的分辨率；将分辨率调整后的人脸图像输入到人脸识别神经网络模型中。然后所述图像采集装置向人脸识别神经网络模型输入所述分辨率调整后的人脸图像和数据库中标准人脸图像；所述图像采集装置获取人脸识别神经网络模型所输出的匹配结果，所述匹配结果包括相似度大于设定阈值的标准人脸图像。
49.本实施例中，人脸检测神经网络模型(mnet)是retinaface的改进简化版本，与retinaface的区别除了主干网络使用mobilenet使模型轻量化之外，还在网络的末尾检测头位置使用了由ssh上下文模块组成的ssh检测模块。网络输入320*320的3通道rgb图像，输
出包括三部分，人脸分类、人脸框回归和人脸5个关键点回归。利用caffe框架采用20.4万张的图像作为训练数据集，3.5千张的数据作为验证集进行训练，训练集中包括wider face数据集中难度系数为容易和中性的数据和自己采集并标注的图片数据。使用sgd优化器训练网络(momentum为0.9，weights decay为0.0005，batch size为8*4，起始学习率为0.001，5个epoch后变为0.01，最后分别在55和68epoch时除以10)，该网络属于多任务组合损失，整体损失函数如公式1所示：
[0050][0051]
其中，第一部分是人脸二分类，pi是第i个anchor为人脸的预测概率，为1是正例，0为负例，采用的是sigmoid交叉熵损失函数。第二部分是人脸框回归，ti＝{tx,ty,tw,th}，分别代表正例相关的预测框和真实框的坐标，采用smooth l1损失函数。第三部分是5个关键点回归，依然采用smooth l1损失函数，li＝{lx1,ly1…
lx5,ly5}，分别代表5个关键点的预测值和真实值。
[0052]
本实施例中，人脸识别神经网络模型(mobilefacenet)采用mobilenetv2作为baseline模型，算法数据主要使用了glint360k数据集和deepglint数据集。用pytorch语言搭建mobilefacenet作为主要的训练框架，用deepglint数据集进行初步训练。初步训练mobilefacenet时，损失函数使用arcface loss，优化器算法使用随机梯度下降法，学习率为0.1、0.01和0.001，评估的测试集使用开源的lfw进行训练时的评估，当算法在lfw上的准确率达到0.996时结束初步训练。初步训练后，获得具有一定人脸识别能力的mobilefacenet算法。然后用训练得到的mobilefacenet清洗glint360k数据集。清洗的方式分为两步，首先是在每一个id的文件夹下，选择一张最清晰、最正的人脸作为标准的人脸，然后将同一个id文件夹下的人脸和这张选择出来的标准的人脸通过前面训练的mobilefacenet算法进行人脸识别对比。如果人脸识别结果不一致，则将结果不一致的人脸筛选出来。人工检查识别错误的数据集，删除不一致的人脸，如果人脸一致则再将这些数据集放回到glint360k的数据集中。通过这种半人工半自动的方式清洗glint360k数据集。使用清洗过的glint360k作为数据集，继续训练初步得到的mobilefacenet算法。本实施例中，算法在deepglint数据集上训练时，损失函数使用arcface loss，优化器算法使用随机梯度下降法，运用了三种不同的学习率继续训练mobilefacenet算法，分别是0.01、0.001、0.0001。
[0053]
可见，上述方法，若室内场所是商场，采购人员只需在进入商场时借助导航设备输入所需采购的商品的信息，或者采购人员预先借助导航设备或者购物应用程序输入所需采购的商品的信息，此系统便会为顾客提供精准的产品定位，并提供相应的最优导航路线，节省采购人员盲目寻找的时间，提升购物体验。
[0054]
示例性地，例如在商场内的各个区域安装摄像头，因摄像头安装的位置是固定的，且摄像头会自动采集人脸图像。摄像头的人脸检测单元在检测人脸图像后，会使用人脸识别算法匹配出目标人员的标准人脸图像，继而系统会显示该顾客所需产品，同时根据目标人员的当前位置信息，以及待购商品的目的位置，为目标人员实时更新最优路径，同时系统中提供语音播报功能，顾客无需自己看向控制屏，只需走到控制屏前，系统就会语音播报路
径信息。可见，此系统只需顾客在入口处输入所需产品名称，系统在向顾客提供最优路径的情况下，同时为了保证顾客准确高效的找到商品，在每个货架及岔口都实时准确更新路径信息，为目标性很强的顾客提供方便。同时该系统除了需要顾客在入口时输入所需产品信息之外，其他都由系统自动完成，无需顾客提供额外的信息，简单方便。
[0055]
一种可能的实施方式中，本发明提供的室内导航系统还包括可穿戴便携设备，所述可穿戴便携设备，用于采集所述目标人员的实时位置，所述可穿戴便携设备被所述目标人员佩戴在身体部位。如可穿戴便携设备可以是智能手表或手环等，目标人员可以佩戴在手腕部位，这样就可以采集到实时位置，从而结合摄像头的位置，准确定位目标人员的位置，能够改善摄像头的视觉盲区带来的定位不准确问题。
[0056]
另一种可能的实施方式中，当所述室内场所的各个图像采集装置在经过设定时长均没有再次捕捉到所述目标人员的图像时，则通知所述导航设备释放所述目标人员的身份信息，以及与所述目标人员的身份信息相关联的待购商品的信息。例如，当系统捕捉到顾客已经到目的地附近或者该顾客已经有1个小时没有使用此系统，那么系统认定顾客已经找到目的地，那么此时系统就会删除该顾客的所有对应信息，为系统节省存储空间。
[0057]
在本技术的一些实施例中，本发明实施例还公开了一种室内导航装置，如图3所示，该装置用于实现以上各个方法实施例中记载的方法，其包括：采集单元301，用于采集目标人员的人脸图像；人脸检测单元302，用于对所述图像进行人脸检测。人脸识别单元303，用于当检测到人脸时，所述图像采集装置利用数据库中标准人脸图像对所述目标人员的图像进行人脸匹配，得到匹配结果。导航单元313，用于当匹配结果为匹配成功时，确定匹配成功的标准人脸图像所关联的待购商品的信息；根据所述待购商品的信息和商品位置预设地图，确定所述待购商品的目的位置；根据所述图像采集装置确定所述目标人员的当前位置；根据所述待购商品的目的位置、所述目标人员的当前位置以及所述商品位置预设地图，生成导航路径，所述导航路径用于引导所述目标人员寻找所述待购商品。上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。
[0058]
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0059]
在本发明实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0060]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。
[0061]
以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何在本发明实施例揭露的技术范围内的变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以所述权利要求的保护范围为准。