一种基于乘客画像的人脸识别方法及装置与流程

1.本发明涉及人工智能领域，特别涉及一种基于乘客画像的人脸识别方法及装置。


背景技术：

2.在支付场景中，人脸支付需要极低的误识率(far)，一次识别通过率要在99％以上，而在识别时间上，整体识别流程的耗时要越小越好(小于1秒)，并且要减少用户二次确认的概率，才能有效提高支付用户体验。但在实际的支付场景中，由于实际情况的复杂，如光线、角度问题，底库照片没有及时更新，与本人现场照片存在差异等等问题的存在，人脸识别的准确率往往较低，达不到要求，另外由于人脸底库较大，在十万、百万级别的人脸底库中进行人脸搜索比对计算相似度(1∶n)，人脸识别的识别速度和识别精度都会降低，使得人脸支付体验较差，甚至满足不了支付误识率的要求。
3.在公交人脸支付场景中，由于现场照片受周围环境、光线、拍摄角度等因素的影响，进行人脸1∶n比对时，相似度在某个阈值之上的底库人脸照片数量往往有几张到十几张，有的相似度往往还很接近，这时候就会存在误识别的问题。


技术实现要素：

4.为了解决上述技术问题，本发明提供一种结合乘客画像进行人脸底库缩库以及甄别多张相似度接近的人脸识别方法，本发明的技术方案为：
5.一种基于乘客画像的人脸识别方法，包括以下步骤：
6.数据获取：获取预设时间段内某个地区所有公交路线的乘客出行数据；
7.构建乘客画像：根据所述出行数据信息，构建每位乘客的多维用户画像；
8.构建人脸底库：根据所述出行数据信息，提取每条公交路线的乘客人脸图像，分别构建每条公交路线对应的人脸底库；
9.人脸底库缩库：根据乘客画像，提取出乘客乘坐每条公交路线的频次信息，设乘坐频次达到n次的乘客为频繁乘客，将每条公交路线中频繁乘客的人脸图像作为该条公交路线的人脸底库；
10.乘客人脸识别：乘客现场乘车时，与人脸底库中的人脸进行对比完成人脸识别。
11.进一步的，所述乘客人脸识别步骤具体为：
12.当人脸底库中与所述现场乘车乘客的人脸相似度超过阈值的人脸数量多于1个时，调取所述人脸相似度超过阈值的人脸对应的乘客画像并分别与该乘客进行乘客画像相似度计算，结合人脸相似度和乘客画像相似度，选取出最终的人脸识别结果。
13.进一步的，所述构建乘客画像步骤中乘客的多维用户画像包括以下维度特征：
14.时间特征，提取出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；
15.路线特征，按公交路线进行分组，按组分别统计出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；；
16.空间特征提取，按公交路线以及上车站点进行分组，按组分别统计出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；
17.进一步的，获取乘客乘坐每条公交路线的上车站点信息的方法包括以下步骤：
18.获取该条公交路线全程站点设置信息；
19.预估公交车全程中每个站点的到站时间，具体过程为：获取全程上车点时间信息，当某一时间点上车乘客数量出现波峰时，则认定该时间点公交车到站停车，将上车时间差小于一预设时间段内的乘客归为在同一站点上车，以此预估全程出现的站点以及停车时间点；
20.将上述预估出的全程出现的站点以及停车时间点信息与该条公交路线全程站点设置信息进行匹配，得到乘客乘坐该条公交路线的上车站点信息。
21.进一步的，所述乘客画像相似度计算方法包括以下步骤：
22.确定该乘客出行信息，包括出行时间、路线以及上车站点信息；
23.将该乘客出行信息分别与所述乘客画像中相关维度进行计算相似度，将每个维度相似度加权后计算出乘客画像相似度。
24.进一步的，所述人脸底库缩库步骤中n值的设定方法具体为：
25.n取值范围为大于或等于“2”，计算出n不同取值时对应的该条公交路线频繁乘客的出行次数占该条公交路线总出行次数的比重，取使得计算出的比重大于95％的对应的n值中的最小数作为n的取值，若计算出的比重均小于95％，则n值取“2”。
26.进一步的，所述多种维度时间段包括以下维度：每天中特定时间段、每个季度、每月份、工作日、周末以及每个节假日。
27.另一方面，本发明还提供一种基于乘客画像的人脸识别装置，包括：
28.数据获取单元，用于获取预设时间段内某个地区所有公交路线的乘客出行数据；
29.乘客画像构建单元：用于根据所述出行数据信息，构建每位乘客的多维用户画像；
30.人脸底库构建单元：用于根据所述出行数据信息，提取每条公交路线的乘客人脸图像，分别构建每条公交路线对应的人脸底库；
31.人脸底库缩库单元：用于根据乘客画像，提取出乘客乘坐每条公交路线的频次信息，设乘坐频次达到n次的乘客为频繁乘客，将每条公交路线中频繁乘客的人脸图像作为该条公交路线的人脸底库；
32.乘客人脸识别单元：用于在乘客现场乘车时，与人脸底库中的人脸进行对比完成人脸识别。
33.进一步的，所述乘客人脸识别单元在执行人脸识别时，当人脸底库中与所述现场乘车乘客的人脸相似度超过阈值的人脸数量多于1个时，调取所述人脸相似度超过阈值的人脸对应的乘客画像并分别与该乘客进行乘客画像相似度计算，结合人脸相似度和乘客画像相似度，选取出最终的人脸识别结果。
34.与现有技术相比，本发明具有如下有益效果：
35.本发明根据从公交系统导出的乘客出行信息，对公交乘客进行乘客画像描述，利用乘客画像，设定缩库的条件，对公交车的人脸底库进行缩库，缩库后对后续的乘客人脸识别效率显著提高，降低人脸误识别率；剔除出人脸底库中的人脸在总出行次数中占比极低，但却可以很大程度的缩减底库人脸数量，同时可以剔除出与频繁乘客人脸相似度较高的人
脸，因此，从整体上看，提高了乘客现场乘车的人脸识别效率以及精度。
36.当乘客现场刷脸照片与底库比对出现相似度相近从而导致无法确定对应到底库里的哪个 id时，多个相似度相近的id进行乘客画像比对，结合当时该名乘客乘坐的路线、时间点等信息，与乘客画像进行匹配，选出最相似的乘客画像对应的id；另一方面，根据乘客的乘坐习惯，对每条线路做分库操作，每条线路具备一个人脸底库，作为线下1∶n搜索的底库，以此达到缩库的目的，从而提高人脸识别速度。也可以降低误识率，以此来达到公交场景人脸支付可用可落地的目的。
附图说明
37.图1为本发明的人脸识别方法步骤流程图；
38.图2为本发明实施例中乘客画像中工作日维度的特征图；
39.图3为本发明实施例中乘客画像中周末维度的特征图；
40.图4为本发明实施例中乘客画像中月份维度的特征图图；
41.图5为本发明实施例中部分公交路线的乘坐频次信息；
42.图6为本发明方案中缩库前后乘客人脸相似度top10的id相似度比较结果的一种实施例；
43.图7为本发明方案中缩库前后乘客人脸相似度top10的id相似度比较结果的另一种实施例；
44.图8为本发明人脸识别装置的结构示意图。
45.图中，1
‑
人脸识别装置，10
‑
数据获取单元，11
‑
乘客画像构建单元，12
‑
人脸底库构建单元，13
‑
人脸底库缩库单元，14
‑
乘客人脸识别单元。
具体实施方式
46.下面结合附图对本发明的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本发明，但并不构成对本发明的限定。此外，下面所描述的本发明各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。
47.一种基于乘客画像的人脸识别方法，包括以下步骤：
48.s1：数据获取：获取预设时间段内某个地区所有公交路线的乘客出行数据；
49.其中，本发明的公交数据取自于哈尔滨2019年全年的公交出行数据，该城市全年公交出行数据量是上亿级别的，并且数据字段为10个以上，数据量庞大；公交出行的数据是txt格式保存的，里面存在大量的\n、\t标签，并且各个字段间没有分隔符号做分隔，因此，在获取到数据后，需先对数据进行预处理。
50.本发明对数据的预处理包括了，根据每个字段文本的特点和结构，写了分隔字段的规则，以及根据日期将数据分为12个月份的数据，分别计算12个月的结果再进行聚合操作，将部分纯数字的文本字段转换为整型字段，以节省内存。
51.s2：构建乘客画像：根据所述出行数据信息，构建每位乘客的多维用户画像；
52.优选的，所述构建乘客画像步骤中乘客的多维用户画像包括以下维度特征：
53.时间特征，提取出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；
54.本发明实施例中包括以下几种时间维度：每天中特定时间段(8:00
‑
8:30)、季度、月份、工作日、周末以及节假日(如五一、国庆、端午等)；
55.参见图2，一种实施例中，乘客的用户画像部分时间特征为：以乘客卡号(即id)为分组，限制的时间维度为，月份：19年(2019年)1月份、工作日、每天中的特定时间段：如 8:00
‑
8:30、16:30
‑
17:00，统计出该乘客id符合限定条件的出行频次(次数)信息；另一种实施例中，限定的时间维度为：节假日：包括五一、清明、端午、中秋的出行频次(次数)。
56.路线特征，按公交路线进行分组，按组分别统计出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；
57.参见图3，以乘客卡号以及公交路线为分组，对每一路公交在10月份周末的乘车频次进行统计；参见图4，另一种实施例中，乘客画像中还包括对每一路公交在10月，的频次统计。
58.空间特征，按公交路线以及上车站点进行分组，按组分别统计出每位乘客在限定的任意一种或多种时间维度上统计出的出行次数信息；
59.优选的，获取乘客乘坐每条公交路线的上车站点信息的方法包括以下步骤：
60.获取该条公交路线全程站点设置信息；
61.预估公交车全程中每个站点的到站时间，具体过程为：获取全程上车点时间信息，当某一时间点上车乘客数量出现波峰时，则认定该时间点公交车到站停车，将上车时间差小于一预设时间段内的乘客归为在同一站点上车，一般我们选择先后上车时间差在30s以内，认为是同一个站点，以此预估全程出现的站点以及对应停车时间点；
62.将上述预估出的全程出现的站点以及对应停车时间点信息与该条公交路线全程站点设置信息进行匹配，得到乘客乘坐该条公交路线的上车站点信息。若出现预估出的站点数量与公交车设置的站点数有出入，则再结合预估出的每个站点到站时间，与公交车设置的站点间的距离做匹配，预估出可能是存在哪些站点没有乘客上车的情况。
63.s3：构建人脸底库：根据所述出行数据信息，提取每条公交路线的乘客人脸图像，分别构建每条公交路线对应的人脸底库；
64.s4：人脸底库缩库：根据乘客画像，提取出乘客乘坐每条公交路线的频次信息，设乘坐频次达到n次的乘客为频繁乘客，将每条公交路线中频繁乘客的人脸图像作为该条公交路线的人脸底库；
65.在本实施例中，所述人脸底库缩库步骤中n值的设定方法具体为：
66.n取值范围为大于或等于“2”，计算出n不同取值时对应的该条公交路线频繁乘客的出行次数占该条公交路线总出行次数的比重，取使得计算出的比重大于95％的对应的n值中的最小数作为n的取值，若计算出的比重均小于95％，则n值取“2”。
67.图5为提取出的部分公交路线的乘坐频次信息，以每条公交路线建一个人脸库的方式，对于1005路公交车，当n取2时，频繁乘客的出行次数占总出行次数的占比约为97.5％，当 n取3时，频繁乘客的出行次数占总出行次数的占比约为95.03％，当n取4时，频繁乘客的出行次数占总出行次数的占比约为93.06％，因此，n取值为使得比重大于95％中的最小n值，即n取值为3；则1005路公交车缩库前人脸底库的人脸数量为512660，缩库后的人脸底库人脸数量为269057，人脸底库数量上缩减了近一半，在后续的人脸识别过程中，需要比对的底库缩小了，因此，提高了乘客上车时耗费的人脸识别时间。
68.s5：乘客人脸识别：乘客现场乘车时，与人脸底库中的人脸进行对比完成人脸识别。
69.所述步骤s5中乘客人脸识别步骤具体为：
70.当人脸底库中与所述现场乘车乘客的人脸相似度超过阈值的人脸数量多于1个时，调取所述人脸相似度超过阈值的人脸对应的乘客画像并分别与该乘客进行乘客画像相似度计算，结合人脸相似度和乘客画像相似度，选取出最终的人脸识别结果。
71.优选的，所述乘客画像相似度计算方法包括以下步骤：
72.确定该乘客出行信息，包括出行时间、路线以及上车站点信息；
73.将该乘客出行信息分别与所述乘客画像中相关维度进行计算相似度，将每个维度相似度加权后计算出乘客画像相似度。
74.其中，在计算出乘客画像相似度后，与人脸相似度进行相加计算得出最终的相似度，选出相似度最高的底库人脸id作为现场乘客最终匹配的人脸id。用乘客画像作为人脸识别的辅助手段后，在单纯人脸相似度匹配的基础上，结合乘客的出行时间习惯、路线习惯、上车地点习惯等信息，可以准确的匹配到乘客人脸，极大的减少了人脸误识别率。
75.参见图6至图7，本实施例中，以5路公交线路为例，比较缩库前后的结果：缩库后是否把top10进行了部分剔除，缩库后是否在某个阈值之上的人数变少。以乘客全年乘坐次数大于等于3次作为频繁乘客(占总出行次数的95％以上)，频繁乘客即为缩库后的结果。缩库前所有乘坐过5路的乘客人数为512660人，5路的频繁乘客人数为269057人。与底库中有照片的乘客取交集，最终5路缩库前的底库人数为157756人，缩库后底库人数为87184人。计算缩库前每名乘客和除自己外的乘客的相似度，取每名乘客相似度的top10进行保存；计算缩库后，每名乘客和除自己外的乘客的相似度，与缩库前进行比较，结果如下：缩库后，每名乘客的与除自己外的乘客相似度top10平均剩余5.58；与自己相似度top1被剔除的乘客数量占未缩库乘客数量的69.05％；与自己相似度top1、top2都被剔除的乘客数量占未缩库乘客数量的55.50％；与自己相似度top1、top2、top3都被剔除的乘客数量占未缩库乘客数量的49.53％。参见图6，id号为“1500070000439095”的乘客缩库前后与底库中人脸相似度情况，缩库前，列“id_1”为与该乘客相似度top10的乘客id，列“sim”为该乘客与id_1 的相似度，缩库后，相似度top10的id被剔除了6个；参见图7，缩库后，id号为“1500070000312154”的乘客，相似度top10的id被剔除了6个。人脸底库中与自己人脸相似度高的人脸数量显著降低，在乘车时出现多个高于阈值的干扰选项人脸几率降低，提高了人脸识别效率以及识别精度，缩库的效果明显。
76.本发明实施例中，每路公交的人脸底库在本地存储，可以实时、高效的进行人脸识别，减少频繁乘客的人脸识别时间。极少数情况下，当出现非频繁乘客乘车，人脸底库中匹配不到该乘客人脸信息，此时，则采用对乘客人脸到云端人脸库中进行搜索比较，也可以实现乘客人脸识别，只是相比于在本地缩库后的人脸底库中进行人脸比对识别，识别效率相对较低。
77.参见图8，本发明还提供一种基于乘客画像的人脸识别装置1，包括：
78.数据获取单元10，用于获取预设时间段内某个地区所有公交路线的乘客出行数据；
79.乘客画像构建单元11：用于根据所述出行数据信息，构建每位乘客的多维用户画
像；
80.人脸底库构建单元12：用于根据所述出行数据信息，提取每条公交路线的乘客人脸图像，分别构建每条公交路线对应的人脸底库；
81.人脸底库缩库单元13：用于根据乘客画像，提取出乘客乘坐每条公交路线的频次信息，设乘坐频次达到n次的乘客为频繁乘客，将每条公交路线中频繁乘客的人脸图像作为该条公交路线的人脸底库；
82.乘客人脸识别单元14：用于在乘客现场乘车时，与人脸底库中的人脸进行对比完成人脸识别。
83.进一步的，所述乘客人脸识别单元14在执行人脸识别时，当人脸底库中与所述现场乘车乘客的人脸相似度超过阈值的人脸数量多于1个时，调取所述人脸相似度超过阈值的人脸对应的乘客画像并分别与该乘客进行乘客画像相似度计算，结合人脸相似度和乘客画像相似度，选取出最终的人脸识别结果。
84.以上结合附图对本发明的实施方式作了详细说明，但本发明不限于所描述的实施方式。对于本领域的技术人员而言，在不脱离本发明原理和精神的情况下，对这些实施方式进行多种变化、修改、替换和变型，仍落入本发明的保护范围内。