一种人像聚类方法及装置与流程

1.本技术涉及网络技术领域，尤其涉及一种人像聚类方法及装置。


背景技术：

2.基于逐步构建完整的覆盖公共区域的人脸识别系统，能够实现通过卡口设备获取监控视频，以从监控视频中获取经过的路人的人脸抓拍图片。人脸识别系统通过人像图片的聚类技术能够把实时的人脸抓拍图片进行聚合，进而生成每个人的人像档案(即，实质上是通过聚类算法获取同一个人的人脸抓拍图片的集合)，则实现根据人像档案构建身份档案，可以用于进行用户画像分析或用户流向监控。身份档案整理在零售、监控场景下具有重要作用。
3.现有的人像图片聚类获取人像档案的方法中，通常使用人脸抓拍图片之间的相似度进行聚类。该种方式虽然可以获取人像档案，但在实际操作中，由于口罩、眼镜等物品遮挡，以及人与人之间的人脸遮挡极易导致聚类错误，使得人像档案准确率较低。
4.因此，现在亟需一种人像聚类方法及装置，用于提高人像聚类准确度。


技术实现要素：

5.本发明实施例提供一种人像聚类方法及装置，用于提高人像聚类准确度。
6.第一方面，本发明实施例提供一种人像聚类方法，该方法包括：
7.从人像图片集中确定出第一人像图片和第二人像图片；
8.确定所述第一人像图片和所述第二人像图片的图片相似度；所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性；所述人像图片集中包括第一时段针对不同卡口采集的多个人像图片，所述第一人像图片和所述第二人像图片为所述人像图片集中不同的两张人像图片；
9.基于采集所述第一人像图片的第一卡口对应的第一人流量预测结果和采集所述第二人像图片的第二卡口对应的第二人流量预测结果，确定人像聚类的相似度阈值；其中，不同人流量预测结果对应不同的相似度阈值；人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的；所述第一时段在所述第二时段之后，所述第一时段与所述第二时段的时段相邻且时长相等；
10.响应于所述图片相似度高于所述相似度阈值，确定所述第一人像图片与所述第二人像图片中包含同一个人。
11.上述方法中，从人像图片集中确定出第一人像图片和第二人像图片。其中，人像图片集可以是拍摄的图片，也可以是视频中的视频帧-图像帧。如，人像图片集可以是从各卡口摄像头的监控视频中获取第一时段的各人像图片。针对该人像图片集中的第一人像图片和第二人像图片，确定第一人像图片和第二人像图片的图片相似度，该图片相似度用以表征人像特征的相似性和表征时空特征的相似性。如此，使得图片相似度中包含人像特征的相似性和表征时空特征。即，图片相似度是考虑到两个人像图片的综合考虑时空特征和人
像特征的全面相似度。根据图片相似度和人流量预测结果对应的相似度阈值确定聚类结果。如此，使得聚类结果考虑时空因素和不同人流量对相似度影响的因素，提高聚类结果的准确度。
12.可选的，人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的，包括：
13.根据第二时段的各人像图片，确定所述第二时段的各卡口的人流量真实结果；
14.将所述第二时段的各卡口的人流量真实结果输入人流量预测模型，得到各卡口在第一时段的人流量预测结果；其中，所述人流量预测模型中包括时间依赖参数和空间依赖参数；所述时间依赖参数用于表征人流量统计的时间粒度；所述空间依赖参数用于表征各卡口之间的连通关系。
15.上述方法中，第二时段的各卡口的人流量真实结果输入人流量预测模型，得到各卡口在第一时段的人流量预测结果。由于人流量预测模型中包括用于表征人流量统计的时间粒度的时间依赖参数和用于表征各卡口之间的连通关系的空间依赖参数。如此，使得人流量预测结果是综合考虑最优时间粒度和最优空间卡口连通关系获得的，提高人流量预测结果的准确性，且基于该人流量预测结果得到的时空特征或调整的相似度阈值，可以获得更准确的聚类结果。
16.可选的，所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性，包括；基于所述第一人像图片和所述第二人像图片确定人像特征相似度；
17.基于所述第一人流量预测结果和所述第一卡口的历史平均人流量，确定所述第一人像图片的时空特征；
18.基于所述第二人流量预测结果和所述第二卡口的历史平均人流量，确定所述第二人像图片的时空特征；
19.基于所述第一人像图片的时空特征和所述第二人像图片的时空特征，确定所述第一人像图片和所述第二人像图片之间的时空特征匹配度；
20.根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度。
21.上述方法中，根据第一人流量预测结果和第一卡口的历史平均人流量，确定第一人像图片的时空特征；基于第二人流量预测结果和所述第二卡口的历史平均人流量，确定第二人像图片的时空特征。如此，可以分别获取第一人像图片和第二人像图片这两个人像图片的时空特征。进一步根据这两个人像图片的时空特征得到这里两个人像图片的时空特征匹配度，使得根据时空匹配度确定的这两个人像图片的聚类结果中考虑了时空因素，提高聚类结果的准确性。
22.可选的，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
23.根据所述人像特征相似度得到所述第一人像图片中第一人像和所述第二人像图片中第二人像的同人概率和非同人概率，所述同人概率为所述第一人像图片和所述第二人像图片在所述人像特征相似度下包含同一人的概率，所述同人概率和所述非同人概率之和为1；
24.根据所述时空特征匹配度、所述同人概率和所述非同人概率确定所述图片相似度。
25.上述方法中，根据人像特征相似度确定该第一人像图片和该第二人像图片在该人像特征相似度下包含同一人的同人概率和不包含同一人的非同人概率。如此，可以根据时空特征匹配度、非同人概率、同人概率得到包含时空特征的准确的图片相似度。其中，非同人概率和同人概率之和为1，同人概率与人像特征相似度可以相等。
26.可选的，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
27.通过如下公式确定所述图片相似度：
[0028][0029]
其中，prior表示时空特征匹配度；sim表示人像特征相似度，prob表示图片相似度。
[0030]
上述方法中，通过该公式可以准确得到考虑时空因素的图片相似度。
[0031]
可选的，基于所述第一人像图片所在的第一卡口在所述第一时段的第一人流量预测结果和所述第二人像图片所在的第二卡口在所述第一时段的第二人流量预测结果，确定人像聚类的相似度阈值，包括：
[0032]
基于所述第一人流量预测结果和所述第二人流量预测结果，确定人流量预测均值；
[0033]
根据所述人流量预测均值，确定人像聚类的相似度阈值。
[0034]
上述方法中，根据人流量预测均值得到对应的相似度阈值。如此，不同的人流量预测均值对应不同的相似度阈值，可以使得相似度阈值考虑人流量影响因素，提高相似度阈值的准确度。
[0035]
可选的，每个人流量预测区间具有对应的初始相似度阈值；
[0036]
根据所述人流量预测均值，确定人像聚类的相似度阈值，包括：
[0037]
获取所述人流量预测均值所属的人流量预测区间对应的初始相似度阈值；
[0038]
基于所述第一卡口在所述第一时段的第一人流量真实结果和所述第二卡口在所述第一时段的第二人流量真实结果，确定人流量真实均值；
[0039]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值。
[0040]
上述方法中，根据人流量预测均值确定的相似度阈值可能存在偏差，则根据人流量真实结果与人流量预测均值的大小和差值关系重新调整相似度阈值，使得相似度阈值更贴近真实相似度，提高聚类结果的准确度。
[0041]
可选的，还包括：
[0042]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值，包括：
[0043]
响应于所述人流量预测均值高于所述人流量真实均值，将所述初始相似度阈值调高；
[0044]
响应于所述人流量预测均值低于所述人流量真实均值，将所述初始相似度阈值调低。
[0045]
上述方法中，若两个人像图片对应卡口的人流量预测结果的均值高于两个人像图
片对应卡口的真实人流量的均值。则认为此时两个人像图片的遮挡概率加大，两个人像图片之间的相似度极易增大，需要相应的将相似度阈值提高，以提高聚类准确度。若两个人像图片对应卡口的人流量预测结果的均值低于两个人像图片对应卡口的真实人流量的均值。则认为此时两个人像图片的遮挡概率减小，两个人像图片之间的相似度更准确，相应的相似度更容易变小，需要相应的将相似度阈值降低，以提高聚类准确度。
[0046]
第二方面，本发明实施例提供一种人像聚类装置，该装置包括：
[0047]
获取模块，用于从人像图片集中确定出第一人像图片和第二人像图片；
[0048]
处理模块，用于确定所述第一人像图片和所述第二人像图片的图片相似度；所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性；所述人像图片集中包括第一时段针对不同卡口采集的多个人像图片，所述第一人像图片和所述第二人像图片为所述人像图片集中不同的两张人像图片；
[0049]
所述处理模块还用于，基于采集所述第一人像图片的第一卡口对应的第一人流量预测结果和采集所述第二人像图片的第二卡口对应的第二人流量预测结果，确定人像聚类的相似度阈值；其中，不同人流量预测结果对应不同的相似度阈值；人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的；所述第一时段在所述第二时段之后，所述第一时段与所述第二时段的时段相邻且时长相等；
[0050]
所述处理模块还用于，响应于所述图片相似度高于所述相似度阈值，确定所述第一人像图片与所述第二人像图片中包含同一个人。
[0051]
第三方面，本技术实施例还提供一种计算设备，包括：存储器，用于存储程序；处理器，用于调用所述存储器中存储的程序，按照获得的程序执行如第一方面的各种可能的设计中所述的方法。
[0052]
第四方面，本技术实施例还提供一种计算机可读非易失性存储介质，包括计算机可读程序，当计算机读取并执行所述计算机可读程序时，使得计算机执行如第一方面的各种可能的设计中所述的方法。
[0053]
本技术的这些实现方式或其他实现方式在以下实施例的描述中会更加简明易懂。
附图说明
[0054]
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0055]
图1为本发明实施例提供的一种人像聚类的架构示意图；
[0056]
图2为本发明实施例提供的一种人流量预测模块的系统架构示意图；
[0057]
图3为本发明实施例提供的一种人像聚类方法的流程示意图；
[0058]
图4为本发明实施例提供的一种人像聚类方法的流程示意图；
[0059]
图5为本发明实施例提供的一种人像聚类方法的流程示意图；
[0060]
图6为本发明实施例提供的一种人像聚类装置示意图。
具体实施方式
[0061]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0062]
图1为本发明实施例提供的一种人像聚类的系统架构，其中，图片获取模块101用于从第一时段的各卡口摄像头的监控视频中获取各人像图片，将得到的各人像图片传输至相似度比较模块102。相似度比较模块102针对各人像图片中任意两个人像图片，计算两个人像图片的人像特征相似度。这里可以通过计算图像之间的余弦相似度或欧氏距离等方式计算获取两个人像图片的人像特征相似度，这里对计算两个人像图片的人像特征相似度的计算方式具体不做限定。
[0063]
相似度比较模块102根据两个人像图片的人像特征相似度确定两个人像图片是否可以聚类的方式有两种：
[0064]
一种为：相似度比较模块102根据该两个人像图片对应的卡口和图片拍摄时段从人流量预测模块104中确定该两个人像图片分别对应的人流量预测结果(该两个人像图片分别对应的人流量预测结果是根据这两个人像图片对应卡口和图片拍摄时段从第一时段的预测监控视频特征矩阵中获取的，第一时段的预测监控视频特征矩阵中包含各卡口在第一时段中的各时间点对应的人流量预测结果。第一时段的预测监控视频特征矩阵是将第二时段的真实监控视频特征矩阵(第二时段的真实监控视频特征矩阵中包含各卡口在第二时段中的各时间点对应的真实人流量结果)输入人流量预测模型得到的，第一时段在第二时段之后，第一时段与第二时段的时段相邻且时段相等。在一种示例中，预测方式可以为通过滑窗方式获取前一滑窗的监控视频特征矩阵来预测后一滑窗的监控视频特征矩阵，该后一滑窗的监控视频特征矩阵中包含卡口的对应时段的人流量预测数值)，并分别获取该两个人像图片对应的两个卡口的历史平均人流量(这里该两个人像图片对应的两个卡口的历史平均人流量可以设置在相似度比较模块102中，也可以设置在人流量预测模块104中，具体不做限制)，分别计算两个人像图片对应的人流量预测结果与对应卡口的历史平均人流量的比值，将两个人像图片对应的比值取平均，获取比值的均值，将该均值确定为时空特征匹配度，将时空特征匹配度和人像特征相似度输入全面特征相似度计算公式，确定该两个人像图片的全面特征相似度。相似度比较模块102将该全面特征相似度与两个人像图片对应的人流量预测结果所属人流量区间对应的相似度阈值作比较。这里，各相似度阈值分别对应不同的人流量数值区间，这里人流量数值区间与对应的相似度阈值可以为根据大量数据统计获取，或者根据专业经验确定，在此处具体不做限制。如此，可以根据人流量数值设置对应的相似度阈值，将人流量对相似度的影响考虑到比较中，提高聚类结果的准确度。
[0065]
若该全面特征相似度大于该相似度阈值，确定这两个人像图片中的人像属于同一个人，聚类模块103对这两个人像图片中的人像进行聚类，否则，这两个人像图片中的人像不属于同一个人，相应的，聚类模块103对这两个人像图片中的人像不进行聚类。
[0066]
另一种：相似度比较模块102确定这两个人像图片对应的人流量预测结果的均值和这两个人像图片对应的真实人流量的均值，比较这两个人像图片对应的人流量预测结果的均值与真实人流量的均值大小；
[0067]
若人流量预测结果的均值高于真实人流量的均值，则将相似度阈值调高；
[0068]
若这两个人像图片的人像特征相似度大于调高后的相似度阈值，确定两个人像图片中的人像属于同一个人，聚类模块103对这两个人像图片中的人像进行聚类，否则，这两个人像图片中的人像不属于同一个人，相应的，聚类模块103对这两个人像图片中的人像不进行聚类。
[0069]
若人流量预测结果的均值低于真实人流量的均值-人流量真实均值，则将相似度阈值调低；
[0070]
若人像特征相似度大于调低后的相似度阈值，确定这两个人像图片中的人像属于同一个人，同样的，聚类模块103对这两个人像图片中的人像进行聚类，否则，这两个人像图片中的人像不属于同一个人，相应的，聚类模块103对这两个人像图片中的人像不进行聚类。
[0071]
若人流量预测结果的均值等于真实人流量的均值，则相似度阈值不变；
[0072]
若这两个人像图片的人像特征相似度大于相似度阈值，确定两个人像图片中的人像属于同一个人，聚类模块103对这两个人像图片中的人像进行聚类，否则，这两个人像图片中的人像不属于同一个人，相应的，聚类模块103对这两个人像图片中的人像不进行聚类。
[0073]
这里，相似度阈值调低或调高的幅度，可以根据人流量预测结果的均值和真实人流量的均值的差值大小确定，这里具体不做限制。
[0074]
本发明实施例提供的一种人流量预测模块的系统架构，如图2所示，其中，人流量预测模块104中包含人流量预测模型，该人流量预测模型中包含空间依赖单元和时间依赖单元。空间依赖单元中包含各卡口之间距离关系，该距离是通过人行走步数体现的(可以通过各卡口之间的卡口邻接矩阵体现)。时间依赖单元中包含人流量预测所取的时间粒度，如，以一个小时为时间粒度预测每个小时的人流量。空间依赖单元中的卡口邻接矩阵和时间依赖单元中的时间粒度是根据大量数据训练获取的。
[0075]
如，首先获取初始的卡口邻接矩阵。获取方法可以为：由目标人在设定时间范围内走过各卡口，得到各卡口对于该目标人的抓拍信息。由于目标人连续通过的卡口间是存在边关系的，即，可以认为该边为目标人的路径，根据边关系获得卡口间关联关系。根据目标人走过两个卡口使用的时间和这两个卡口经纬度映射到地图上之后计算的这两个卡口真实距离可以得到目标人走过这两个卡口的步数，根据卡口间的步数和卡口间关联关系可以得到初始的卡口邻接矩阵。
[0076]
获取十天的监控数据，针对每天的前12个小时和后12个小时分别确定对应时间段的监控视频的特征矩阵，特征矩阵中包括卡口标识和卡口每小时的人流量，在一种示例中，特征矩阵如下：
[0077][0078]
其中，第一列中的卡口标识为1、2、3，分别对应卡口1、卡口2、卡口3，则卡口1的00:00-01:00的人流量为0/h、01:00-02:00的人流量为2/h、02:00-03:00的人流量为6/h、03:00-04:00的人流量为1/h、04:00-05:00的人流量为3/h、05:00-06:00的人流量为2/h、06:
00-07:00的人流量为20/h、07:00-08:00的人流量为23/h、08:00-09:00的人流量为30/h、09:00-10:00的人流量为10/h、010:00-11:00的人流量为2/h、11:00-12:00的人流量为20/h。
[0079]
卡口2的00:00-01:00的人流量为0/h、01:00-02:00的人流量为5/h、02:00-03:00的人流量为7/h
…
11:00-12:00的人流量为14/h。
[0080]
卡口3的00:00-01:00的人流量为0/h、01:00-02:00的人流量为3/h、02:00-03:00的人流量为7/h
…
11:00-12:00的人流量为52/h。
[0081]
则将各卡口的初始的卡口邻接矩阵输入待训练的人流量预测模型，如上述所描述的，卡口邻接矩阵可以用于表征卡口间人行走步数；
[0082]
将上述示例中的每天的前12个小时和后12个小时的监控视频特征矩阵作为样本，将前12个小时的监控视频特征矩阵输入待训练的人流量预测模型，获得待训练的人流量预测模型输出的后12个小时的预测监控视频特征矩阵，根据后12个小时的预测监控视频特征矩阵和后12个小时的真实监控视频特征矩阵的差异，调整该待训练的人流量预测模型中的卡口邻接矩阵和人流量预测相关参数，得到训练后的人流量预测模型。这里的样本也可以是前一天的后12个小时的监控视频特征矩阵和后一天的前12个小时的监控视频特征矩阵，也可以是前1个小时的监控视频特征矩阵(该特征矩阵中的人流量是以每5分钟为时间粒度计算的)和后1个小时的监控视频特征矩阵。如此，根据不同的时间粒度训练人流量预测模型，可以得到体现人流量变化特征的最优时间粒度，提高相似度阈值确定的准确性，进一步提高聚类结果的准确度。
[0083]
基于上述系统架构，本技术实施例提供了一种人像聚类方法流程，如图3所示，包括：
[0084]
步骤301、从人像图片集中确定出第一人像图片和第二人像图片；
[0085]
步骤302、确定所述第一人像图片和所述第二人像图片的图片相似度；所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性；所述人像图片集中包括第一时段针对不同卡口采集的多个人像图片，所述第一人像图片和所述第二人像图片为所述人像图片集中不同的两张人像图片；
[0086]
步骤303、基于采集所述第一人像图片的第一卡口对应的第一人流量预测结果和采集所述第二人像图片的第二卡口对应的第二人流量预测结果，确定人像聚类的相似度阈值；其中，不同人流量预测结果对应不同的相似度阈值；人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的；所述第一时段在所述第二时段之后，所述第一时段与所述第二时段的时段相邻且时长相等；
[0087]
步骤304、响应于所述图片相似度高于所述相似度阈值，确定所述第一人像图片与所述第二人像图片中包含同一个人。
[0088]
上述方法中，从人像图片集中确定出第一人像图片和第二人像图片。其中，人像图片集可以是拍摄的图片，也可以是视频中的视频帧-图像帧。如，人像图片集可以是从各卡口摄像头的监控视频中获取第一时段的各人像图片，针对该人像图片集中的第一人像图片和第二人像图片，确定第一人像图片和第二人像图片的图片相似度，该图片相似度用以表征人像特征的相似性和表征时空特征的相似性。如此，使得图片相似度中包含人像特征的相似性和表征时空特征。即，图片相似度是考虑到两个人像图片的综合考虑时空特征和人
像特征的全面相似度。根据图片相似度和人流量预测结果对应的相似度阈值确定聚类结果。如此，使得聚类结果考虑时空因素和不同人流量对相似度影响的因素，提高聚类结果的准确度。
[0089]
本发明实施例提供了一种人流量预测方法，人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的，包括：
[0090]
根据第二时段的各人像图片，确定所述第二时段的各卡口的人流量真实结果；
[0091]
将所述第二时段的各卡口的人流量真实结果输入人流量预测模型，得到各卡口在第一时段的人流量预测结果；其中，所述人流量预测模型中包括时间依赖参数和空间依赖参数；所述时间依赖参数用于表征人流量统计的时间粒度；所述空间依赖参数用于表征各卡口之间的连通关系。这里第二时段的各卡口的人流量真实结果可以为第二时段的各卡口的监控视频在对应时间粒度参数(人流量预测模型中的时间粒度参数)下的监控视频特征矩阵，该监控视频特征矩阵中包含各卡口在第二时段内的时间粒度下的人流量。如，时间粒度参数为5min，第二时段长度为1h，则监控视频特征矩阵中包含每个卡口在xx:00-xx:05、xx:05-xx:10、xx：10-xx:15
…
xx:55-xx:60d的人流量。这里每5min获取人流量的方法就可以为根据视频流量算法获取的，视频流量算法可以为yolov5 deepsort等视频流量算法，这里对视频流量算法的设置具体不做限制，也可以是自定义(自行编写代码)的视频流量算法。空间依赖参数可以是卡口邻接矩阵，卡口邻接矩阵用于表征各卡口之间的行走步数，即可以用于表征各卡口之间的连通关系，又可以表征人在卡口间行走的时间和速度因素。
[0092]
本发明实施例提供了一种图片相似度确定方法，所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性，包括：
[0093]
基于所述第一人像图片和所述第二人像图片确定人像特征相似度；
[0094]
基于所述第一人流量预测结果和所述第一卡口的历史平均人流量，确定所述第一人像图片的时空特征；
[0095]
基于所述第二人流量预测结果和所述第二卡口的历史平均人流量，确定所述第二人像图片的时空特征；
[0096]
基于所述第一人像图片的时空特征和所述第二人像图片的时空特征，确定所述第一人像图片和所述第二人像图片之间的时空特征匹配度；
[0097]
根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度。
[0098]
此处，根据第一人像图片和第二人像图片这两个人像图片的第一人流量预测结果和第二人流量预测结果，以及这两个人像图片分别对应的卡口的历史平均人流量，分别获取时空特征。即，使得时空特征中包含了人流量预测结果(人流量预测模型中包含空间依赖参数-卡口邻接矩阵和时间依赖参数-时间粒度参数)中的时空特征，使得根据这两个人像图片的时空匹配度修正这两个人像图片的人像特征相似度，得到全面相似度-图片相似度。即，在图片相似度中考虑时空因素，提高聚类结果的准确度。
[0099]
本发明实施例提供了一种图片相似度确定方法，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
[0100]
根据所述人像特征相似度得到所述第一人像图片中第一人像和所述第二人像图片中第二人像的同人概率和非同人概率，所述同人概率为所述第一人像图片和所述第二人像图片在所述人像特征相似度下包含同一人的概率，所述同人概率和所述非同人概率之和
为1；根据所述时空特征匹配度、所述同人概率和所述非同人概率确定所述图片相似度。也就是说，根据人像特征相似度确定第一人像图片和第二人像图片在该人像特征相似度下包含同一人的概率-同人概率和非同人概率。如此，根据时空特征匹配度、同人概率和非同人概率确定图片相似度，以提高图片相似度准确性，进一步提高第一人像图片和第二人像图片是否包含同一人的判断结果的准确性。在一种示例中，同人概率可以等于人像特征相似度。或者，因为其他因素普遍影响到人像特征相似度的计算准确性，可以对应调低或调高同人概率。如，各卡口的监控视频的图像帧清晰度较低，导致的人像特征相似度较高，则可以设置对应的比例，降低该人像特征相似度对应的同人概率。
[0101]
本发明实施例提供了一种图片相似度确定方法，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
[0102]
通过如下公式确定所述图片相似度：
[0103][0104]
其中，prior表示时空特征匹配度；sim表示人像特征相似度，prob表示图片相似度。
[0105]
本发明实施例提供了一种相似度阈值确定方法，基于所述第一人像图片所在的第一卡口在所述第一时段的第一人流量预测结果和所述第二人像图片所在的第二卡口在所述第一时段的第二人流量预测结果，确定人像聚类的相似度阈值，包括：
[0106]
基于所述第一人流量预测结果和所述第二人流量预测结果，确定人流量预测均值；
[0107]
根据所述人流量预测均值，确定人像聚类的相似度阈值。此处，根据人流量阈值均值确定人像聚类的相似度阈值，也就是说，不同的人流量有不同的相似度阈值，则使得聚类过程中考虑人流量对相似度结果的影响，将人流量对相似度的影响通过相似度阈值的方式结合到聚类过程中，提高聚类结果的准确度。
[0108]
本发明实施例提供了一种相似度阈值确定方法，每个人流量预测区间具有对应的初始相似度阈值；
[0109]
根据所述人流量预测均值，确定人像聚类的相似度阈值，包括：
[0110]
获取所述人流量预测均值所属的人流量预测区间对应的初始相似度阈值；
[0111]
基于所述第一卡口在所述第一时段的第一人流量真实结果和所述第二卡口在所述第一时段的第二人流量真实结果，确定人流量真实均值；
[0112]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值。也就是说，不仅根据人流量预测均值确定初始相似度阈值，还根据人流量真实均值对初始相似度阈值进行修正，得到人像聚类的相似度阈值，使得加强真实的人流量对相似度的影响考虑的权重，提高聚类结果准确性。
[0113]
本发明实施例提供了一种相似度阈值确定方法，还包括：
[0114]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值，包括：
[0115]
响应于所述人流量预测均值高于所述人流量真实均值，将所述初始相似度阈值调高；
[0116]
响应于所述人流量预测均值低于所述人流量真实均值，将所述初始相似度阈值调低。也就是说，因为人流量越大，遮挡概率越大，则越容易造成两个人像图片间的相似度增加。因此，人流量预测均值高于人流量真实均值，则代表初始相似度阈值设置较低，需要将初始相似度阈值调高，反之，调低。若人流量预测均值等于人流量真实均值，则代表人流量预测均值对应的初始相似度阈值是准确的，无需调整。本发明实施例提供了一种人流量预测模型，所述人流量预测模型为图卷积层模型或递归神经网络模型 卷积神经网络模型。
[0117]
基于上述方法流程，本技术实施例提供了一种人像聚类方法的流程，如图4所示，包括：
[0118]
步骤401、获取卡口邻接矩阵，并将卡口邻接矩阵输入待训练的人流量预测模型中。
[0119]
此处，卡口邻接矩阵中通过各卡口之间人行走步数表征卡口之间的距离，则相比于直接使用卡口间真实距离表征卡口间距离，可以融合入人行走的时间和距离关系，提高人流量预测结果的准确性。
[0120]
步骤402、获取历史监控视频，根据历史监控视频制作样本数据。
[0121]
此处，样本数据为每个时段的监控视频特征矩阵，每个时段的长度可以为5min、10min、15min
…
1h、2h
…
12h等等，这里对时段的长度具体不做限制。
[0122]
监控视频特征矩阵中包含卡口标识和卡口在对应时段中的以每个子时段的人流量。如，卡口1对应时段为00:00-00:10，00:00-00:10中每个子时段分别为00:00-00:05、00:05-00:10、00：10-00:15
…
00:55-00:60-以1h为时段，以5min为时间粒度。
[0123]
或卡口1对应时段为00:00-12:00，00:00-12:00中每个子时段分别为00:00-01:00、01:00-02:00、02：00-03:00
…
11:00-12:00-以12h为时段，以1h为时间粒度。
[0124]
这里可以针对每个卡口获取每种时段对应的监控视频特征矩阵作为样本数据，如上述时段为1h的监控视频特征矩阵和12h的监控视频特征矩阵(注意，为了保证样本数据量相等，当时段为1h时，时间粒度为5min，当时段为12h时，时间粒度为1h，以保证样本数据中每个卡口的人流量数据都是12个)。将每种时段的监控视频特征矩阵输入待训练的人流量预测模型，可以训练得到最能体现人流量变化特征的最优时间粒度(在上述示例中，时间粒度为5min或1h)，以使得在应用训练后的人流量预测模型时，可以根据最优的时间粒度确定监控视频特征矩阵(在上述示例中，最优时间粒度可以为5min或1h)。
[0125]
步骤403、将样本数据输入待训练的人流量预测模型对待训练的人流量预测模型进行训练，获取训练成熟的人流量预测模型。
[0126]
此处，样本数据中包含前一时段的监控视频特征矩阵和后一时段的监控视频特征矩阵(真实的)，将前一时段的监控视频特征矩阵输入待训练的人流量预测模型得到后一时段的预测监控视频特征矩阵。根据后一时段的真实监控视频特征矩阵和后一时段的预测监控视频特征矩阵的差异调整待训练的人流量预测模型中的卡口邻接矩阵和人流量相关参数得到成熟的人流量预测模型。
[0127]
步骤404、获取第二时段的监控视频，根据第二时段的监控视频特征矩阵获取第一时段的预测监控视频特征矩阵。
[0128]
步骤405、获取第一时段的监控视频，第一时段在第二时段之后。
[0129]
步骤406、确定第一时段的监控视频中的任意两个人像图片，计算两个人像图片的
人像特征相似度。
[0130]
步骤407、根据第一时段的预测监控视频特征矩阵和两个人像图片的卡口和图片拍摄时段确定这两个人像图片分别对应的人流量预测结果。
[0131]
步骤408、分别获取两个人像图片对应的两个卡口的历史平均人流量。
[0132]
步骤409、确定这两个人像图片对应的人流量预测结果分别与对应卡口的历史平均人流量的比值。
[0133]
步骤410、获取这两个人像图片对应的比值的均值。
[0134]
步骤411、将该均值确定为时空特征匹配度，根据时空特征匹配度和人像特征相似度确定全面特征相似度-图片相似度。
[0135]
步骤412、根据两个人像图片的人流量预测结果的均值确定相似度阈值。
[0136]
此处，不同数据区间的人流量预测结果对应不同的相似度阈值。
[0137]
如，若人流量属于【0,50】对应的相似度阈值为80％，若人流量属于【51,100】对应的相似度阈值为90％。人流量数值区间对应的相似度阈值可以根据大量数据统计获得，也可以根据专业经验获取，这里具体不做限制。
[0138]
步骤413、全面特征相似度是否大于相似度阈值，若是，则执行步骤414，若否，则执行步骤415。
[0139]
步骤414、将这两个人像图片进行聚类。
[0140]
步骤415、不将两个人像图片进行聚类。
[0141]
需要说明的是，上述方法流程并不唯一，如步骤401至步骤403为人流量预测模型的训练流程，不需要每次人像聚类时执行，上述人像聚类流程只是一种示例，不对人像聚类流程的具体实施做限制。
[0142]
基于上述方法流程，本技术实施例又提供了一种人像聚类方法的流程，如图5所示，包括：
[0143]
步骤501、获取卡口邻接矩阵，并将卡口邻接矩阵输入待训练的人流量预测模型中。
[0144]
步骤502、获取历史监控视频，根据历史监控视频制作样本数据。
[0145]
步骤503、将样本数据输入待训练的人流量预测模型对待训练的人流量预测模型进行训练，获取训练成熟的人流量预测模型。
[0146]
步骤504、获取第二时段的监控视频，根据第二时段的监控视频获取第一时段的预测监控视频特征矩阵。
[0147]
步骤505、获取第一时段的监控视频，第一时段在第二时段之后。
[0148]
步骤506、确定第一时段的监控视频中的任意两个人像图片，计算两个人像图片的人像特征相似度。
[0149]
步骤507、根据第一时段的预测监控视频特征矩阵和两个人像图片的卡口和图片拍摄时段确定这两个人像图片分别对应的人流量预测结果。
[0150]
步骤508、确定这两个人像图片对应的人流量预测结果的均值和人流量真实均值。
[0151]
步骤509、比较两个人像图片对应的人流量预测结果的均值和人流量真实均值。若人流量预测结果的均值高于人流量真实均值，则执行步骤510，若人流量预测结果的均值低于人流量真实均值，则执行步骤511，若人流量预测结果的均值等于人流量真实均值，则执
行步骤512。
[0152]
步骤510、将相似度阈值调高。
[0153]
步骤511、将相似度阈值调低。
[0154]
步骤512、相似度阈值不变。
[0155]
步骤513、人像特征相似度是否大于调整后的相似度阈值。若是，则执行步骤514，若否，则执行步骤515。
[0156]
步骤514、将这两个人像图片进行聚类。
[0157]
步骤515、不将两个人像图片进行聚类。
[0158]
需要说明的是，上述方法流程并不唯一，如步骤501至步骤503为人流量预测模型的训练流程，不需要每次人像聚类时执行，上述人像聚类流程只是一种示例，不对人像聚类流程的具体实施做限制。
[0159]
基于同样的构思，本发明实施例提供一种人像聚类装置，图6为本技术实施例提供的一种人像聚类装置示意图，如图6示，包括：
[0160]
获取模块601，用于从人像图片集中确定出第一人像图片和第二人像图片；
[0161]
处理模块602，用于确定所述第一人像图片和所述第二人像图片的图片相似度；所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性；所述人像图片集中包括第一时段针对不同卡口采集的多个人像图片，所述第一人像图片和所述第二人像图片为所述人像图片集中不同的两张人像图片；
[0162]
所述处理模块602还用于，基于采集所述第一人像图片的第一卡口对应的第一人流量预测结果和采集所述第二人像图片的第二卡口对应的第二人流量预测结果，确定人像聚类的相似度阈值；其中，不同人流量预测结果对应不同的相似度阈值；人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的；所述第一时段在所述第二时段之后，所述第一时段与所述第二时段的时段相邻且时长相等；
[0163]
所述处理模块602还用于，响应于所述图片相似度高于所述相似度阈值，确定所述第一人像图片与所述第二人像图片中包含同一个人。
[0164]
可选的，所述处理模块602具体用于，人流量预测结果是根据对应卡口在第二时段的人流量真实结果得到的，包括：
[0165]
根据第二时段的各人像图片，确定所述第二时段的各卡口的人流量真实结果；
[0166]
将所述第二时段的各卡口的人流量真实结果输入人流量预测模型，得到各卡口在第一时段的人流量预测结果；其中，所述人流量预测模型中包括时间依赖参数和空间依赖参数；所述时间依赖参数用于表征人流量统计的时间粒度；所述空间依赖参数用于表征各卡口之间的连通关系。
[0167]
可选的，所述处理模块602具体用于，所述图片相似度用以表征人像特征的相似性和表征时空特征的相似性，包括：
[0168]
基于所述第一人像图片和所述第二人像图片确定人像特征相似度；
[0169]
基于所述第一人流量预测结果和所述第一卡口的历史平均人流量，确定所述第一人像图片的时空特征；
[0170]
基于所述第二人流量预测结果和所述第二卡口的历史平均人流量，确定所述第二人像图片的时空特征；
[0171]
基于所述第一人像图片的时空特征和所述第二人像图片的时空特征，确定所述第一人像图片和所述第二人像图片之间的时空特征匹配度；
[0172]
根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度。
[0173]
可选的，所述处理模块602具体用于，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
[0174]
根据所述人像特征相似度得到所述第一人像图片中第一人像和所述第二人像图片中第二人像的同人概率和非同人概率，所述同人概率为所述第一人像图片和所述第二人像图片在所述人像特征相似度下包含同一人的概率，所述同人概率和所述非同人概率之和为1；
[0175]
根据所述时空特征匹配度、所述同人概率和所述非同人概率确定所述图片相似度。
[0176]
可选的，所述处理模块602具体用于，根据所述人像特征相似度和所述时空特征匹配度，确定所述图片相似度，包括：
[0177]
通过如下公式确定所述图片相似度：
[0178][0179]
其中，prior表示时空特征匹配度；sim表示人像特征相似度，prob表示图片相似度。
[0180]
可选的，所述处理模块602具体用于，基于所述第一人像图片所在的第一卡口在所述第一时段的第一人流量预测结果和所述第二人像图片所在的第二卡口在所述第一时段的第二人流量预测结果，确定人像聚类的相似度阈值，包括：
[0181]
基于所述第一人流量预测结果和所述第二人流量预测结果，确定人流量预测均值；
[0182]
根据所述人流量预测均值，确定人像聚类的相似度阈值。
[0183]
可选的，所述处理模块602具体用于，每个人流量预测区间具有对应的初始相似度阈值；
[0184]
根据所述人流量预测均值，确定人像聚类的相似度阈值，包括：
[0185]
获取所述人流量预测均值所属的人流量预测区间对应的初始相似度阈值；
[0186]
基于所述第一卡口在所述第一时段的第一人流量真实结果和所述第二卡口在所述第一时段的第二人流量真实结果，确定人流量真实均值；
[0187]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值。
[0188]
可选的，所述处理模块602还用于，还包括：
[0189]
根据所述人流量预测均值和所述人流量真实均值的关系，对所述初始相似度阈值进行调整，得到人像聚类的相似度阈值，包括：
[0190]
响应于所述人流量预测均值高于所述人流量真实均值，将所述初始相似度阈值调高；
[0191]
响应于所述人流量预测均值低于所述人流量真实均值，将所述初始相似度阈值调低。
[0192]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0193]
本技术是参照根据本技术的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0194]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0195]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0196]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。