一种基于时空和群体信息改进人脸聚类结果的方法与流程

1.本发明涉及人脸聚类技术领域，特别是涉及一种基于时空和群体信息改进人脸聚类结果的方法，能够优化聚类算法，降低聚类算法的误聚率。


背景技术：

2.随着大数据和人工智能相关技术在安防行业的广泛运用，衍生出了很多有价值的深度应用，比如虚拟和实口人员档案应用、行为分析、跨境追踪(reid)等。而将结构化出的人脸特征聚类、对象化是这些深度应用的基础和前提条件。传统的聚类算法有k
‑
means、dbscan等，但各种算法都有不足之处，比如k
‑
means对噪声影响很敏感，对于类别不确定的场景很难使用；dbscan的聚类参数选择很难确定等。怎样去优化聚类算法，降低聚类算法的误聚率变得尤为关键，因此，亟需一种技术方案以解决上述问题。


技术实现要素：

3.为解决现有技术中存在的问题，本发明提供了一种基于时空和群体信息改进人脸聚类结果的方法，能够优化聚类算法，降低聚类算法的误聚率。
4.本发明采用的技术方案是：一种基于时空和群体信息改进人脸聚类结果的方法，包括以下步骤：
5.步骤s1、输入一个待聚类的人脸特征；
6.步骤s2、预设检索阈值和相似度阈值，在预存的人脸特征库中输入人脸特征并进行检索，判断是否有超过检索阈值的特征群体，如果是，将所述人脸特征加入特征群体中，如果否，返回步骤s1；
7.步骤s3、计算所述特征群体内任意两个人脸特征的相似度，并生成相似度矩阵，即两两特征的相似度矩阵；
8.步骤s4、获取所述特征群体内两两特征的时间跨度信息和经纬度信息，根据所述对应的时间跨度信息和经纬度信息计算所述两两特征对应的图片之间的时间跨度信息和经纬度信息；
9.步骤s5、对不同的时间跨度信息和经纬度信息匹配对应的不同的相似度阈值w，并将所述相似度阈值加权到所述两两特征的相似度上，更新两两特征的相似度矩阵；
10.步骤s6、通过计算jaccard距离来修正两两特征的相似度；
11.步骤s7、预设群体相似阈值r，根据群体相似阈值r判断两两特征与特征群体中其他人脸特征的对比情况，获取jaccard距离中的交集部分，并根据交集部分对群体相似阈值r进行设置；
12.步骤s8、预设聚类阈值e，并对聚类阈值e进行设置；
13.步骤s9、根据所述两两特征的相似度矩阵和聚类算法对所述特征群体做聚类运算，获取类簇，根据类簇获取离群点，并从类簇中将离群点删除。
14.在本技术方案中，本发明提出了一种时空和群体信息改进人脸聚类结果的方法。
通过向量检索先获取与待聚类特征相似的特征群体，并计算这个群体内两两特征的相似度，得到一个相似度矩阵；获取这个群体内每个特征对应的人脸图片的抓拍时间和抓拍地点(经纬度)。计算两两特征图片间的空间距离和时间跨度，修正并更新两两特征的相似度矩阵；再计算两两特征与群体相似与否的jaccard距离，进一步修正两两特征的相似度矩阵；然后简化特征间的相似度矩阵，并采用传统的聚类方法进行聚类，得到若干人脸类簇；最后，利用空间分布对聚好的类簇进行筛查，去除掉离群点。本发明主要用以降低传统聚类方法(k
‑
means、dbscan)误聚率。经过时空信息修正后，两两特征的相似度小于阈值w的不用计算jaccard距离。修正的目的不是要修正到大于阈值为止，修正只是做一个判断，大于阈值则相似度保留，小于阈值相似度设0。
15.在另一个技术方案中，步骤s1包括：
16.通过向量检索、区域或时间划分的方式获得待聚类群体。
17.在本技术方案中，通过向量检索的方式获得待聚类群体，也可以按区域或时间划分的群体，按区域和抓拍时间组合判断两个特征是否一个人的方式，也可以是按任意公式来判断，旨在通过时空信息来排除一个人的可能性。同时，本技术方案在已知的人脸特征库里面检索跟输入特征相似的特征群体，并将待聚类特征加入群体中，计算特征群体内两两特征的相似度，生成相似度矩阵。
18.在本技术方案中，获取群体内每个特征对应的人脸图片的抓拍时间和抓拍地点(经纬度)，计算两两特征图片间的空间距离(经纬度)和时间跨度(抓拍时间)。对于不同的时间或空间跨度，匹配不同的相似度阈值，并加权到两两特征的相似度上，更新两两特征的相似度矩阵。不同的时空信息，对应的阈值不一样，比如两个特征同属一个区域，且抓拍时间间隔在30秒以内，则相似度的阈值相对低，这两个特征更容易认为是一个人；两个特征距离超过20公里，但抓拍时间间隔在1分钟以内，则可以认为不可能是一个人，修正这对特征的相似度为0(最低)。
19.在另一个技术方案中，步骤s6包括：
20.通过所述两两特征与群体特征相似与否计算jaccard距离。
21.在本技术方案中，通过jaccard距离来修正相似度的方式，也可以是其他任意距离或方法，旨在通过与群体是否相似的方式来判断是否为同一个人。
22.在本技术方案中，通过计算两两特征与群体相似与否的jaccard距离来修正特征对的相似度(已经由上步修正，低于聚类阈值e的特征不再计算)。已知群体相似阈值r，判断两两特征与群体内其他特征的相似情况，俩特征与群体内特征逐一比较，若都相似(大于等与阈值r)或都不相似(小与阈值r)，则为jaccard距离中的交集部分。交集占全特征集合的比例与阈值r比较，大于阈值r则保留这对特征的相似度，否则置为0。
23.在另一个技术方案中，步骤s6还包括：
24.当两两特征的相似度小于或等于相似度阈值w时，将相似度阈值w置为0，当当两两特征的相似度大于相似度阈值w时，则保留两两特征的相似度，并进入步骤s7。
25.在本技术方案中，将相似度简化为0、1变量的方式，也可以是其他简化方案，旨在提升运算效率。
26.在另一个技术方案中，步骤s7包括：
27.将交集部分占全人脸特征集合的比例与群体相似阈值r进行比较，判断是否大于
群体相似阈值r，如果是，则保留所述两两特征的相似度，如果否，则将群体相似阈值r置为0。
28.在本技术方案中，将相似度简化为0、1变量的方式，也可以是其他简化方案，旨在提升运算效率。
29.在另一个技术方案中，步骤s8包括：
30.判断所述两两特征的相似度是否大于矩阵与聚类阈值e，如果是，则将聚类阈值e置为1，如果否，则将聚类阈值e置为0。
31.在本技术方案中，两两特征的相似度矩阵与聚类阈值e比较，大于e，则置为1，否则置为0。用以简化聚类过程中的运算。
32.在另一个技术方案中，步骤s9包括：
33.以类簇为单位计算空间分布的方式获取离群。
34.在本技术方案中，基于两两特征的相似度矩阵，可以采用dbscan算法对群体做聚类运算，获得若干类簇。以类簇为单位计算空间分布寻找离群点，离群点大概率为不同的人，从类簇中将离群点删除，有效避免错聚。具体做法：选择该类簇中所有特征空间距离之和最小的为中心特征(空间距离是由经纬度换算出的公里数)。当某个特征离中心特征超过m(如100km)时，认为该特征为离群点，将离群点从类簇中删除。
35.在另一个技术方案中，步骤s9还包括：
36.选择所述类簇中所有特征空间距离之和中数值最小的值为中心特征值，当所述中心特征值超过根据经纬度计算出的空间距离值时，判断所述人脸特征为离群点，并将离群点从类簇中删除
37.在本技术方案中，通过中心特征寻找离群点的方式，也可以是其他方法来确定离群点。
38.在另一个技术方案中，步骤s9中的聚类算法包括dbscan算法、k
‑
means算法，gmms算法、层次聚类算法和谱聚类算法。
附图说明
39.图1为本发明所述的一种基于时空和群体信息改进人脸聚类结果的方法的流程图。
具体实施方式
40.下面结合附图对本发明的实施例进行详细说明。
41.实施例：
42.如图1所示，本实施例包括以下步骤：
43.步骤s1、输入一个待聚类的人脸特征；
44.步骤s2、预设检索阈值和相似度阈值，在预存的人脸特征库中输入人脸特征并进行检索，判断是否有超过检索阈值的特征群体，如果是，将所述人脸特征加入特征群体中，如果否，返回步骤s1；
45.步骤s3、计算所述特征群体内任意两个人脸特征的相似度，并生成相似度矩阵，即两两特征的相似度矩阵；
46.步骤s4、获取所述特征群体内两两特征的时间跨度信息和经纬度信息，根据所述对应的时间跨度信息和经纬度信息计算所述两两特征对应的图片之间的时间跨度信息和经纬度信息；
47.步骤s5、对不同的时间跨度信息和经纬度信息匹配对应的不同的相似度阈值w，并将所述相似度阈值加权到所述两两特征的相似度上，更新两两特征的相似度矩阵；
48.步骤s6、通过计算jaccard距离来修正两两特征的相似度；
49.步骤s7、预设群体相似阈值r，根据群体相似阈值r判断两两特征与特征群体中其他人脸特征的对比情况，获取jaccard距离中的交集部分，并根据交集部分对群体相似阈值r进行设置；
50.步骤s8、预设聚类阈值e，并对聚类阈值e进行设置；
51.步骤s9、根据所述两两特征的相似度矩阵和聚类算法对所述特征群体做聚类运算，获取类簇，根据类簇获取离群点，并从类簇中将离群点删除。
52.在本实施例中，本发明提出了一种时空和群体信息改进人脸聚类结果的方法。通过向量检索先获取与待聚类特征相似的特征群体，并计算这个群体内两两特征的相似度，得到一个相似度矩阵；获取这个群体内每个特征对应的人脸图片的抓拍时间和抓拍地点(经纬度)。计算两两特征图片间的空间距离和时间跨度，修正并更新两两特征的相似度矩阵；再计算两两特征与群体相似与否的jaccard距离，进一步修正两两特征的相似度矩阵；然后简化特征间的相似度矩阵，并采用传统的聚类方法进行聚类，得到若干人脸类簇；最后，利用空间分布对聚好的类簇进行筛查，去除掉离群点。本发明主要用以降低传统聚类方法(k
‑
means、dbscan)误聚率。
53.在本实施例的步骤s2中的的阈值会比聚类的相似度阈值低，因为要查询出更多的特征，相似度阈值多种，比如时空距离比较近的，相似度阈值就会低，因为他们出现的时机差不多，更大几率是一个人。时空距离比较远的，相似度阈值就比较高，认为更不可能是同一个人。
54.在进一步的实施例中，步骤s1包括：
55.通过向量检索、区域或时间划分的方式获得待聚类群体。
56.在本实施例中，通过向量检索的方式获得待聚类群体，也可以按区域或时间划分的群体，按区域和抓拍时间组合判断两个特征是否一个人的方式，也可以是按任意公式来判断，旨在通过时空信息来排除一个人的可能性。同时，本实施例在已知的人脸特征库里面检索跟输入特征相似的特征群体，并将待聚类特征加入群体中，计算特征群体内两两特征的相似度，生成相似度矩阵。
57.在本实施例中，获取群体内每个特征对应的人脸图片的抓拍时间和抓拍地点(经纬度)，计算两两特征图片间的空间距离(经纬度)和时间跨度(抓拍时间)。对于不同的时间或空间跨度，匹配不同的相似度阈值，并加权到两两特征的相似度上，更新两两特征的相似度矩阵。不同的时空信息，对应的阈值不一样，比如两个特征同属一个区域，且抓拍时间间隔在30秒以内，则相似度的阈值相对低，这两个特征更容易认为是一个人；两个特征距离超过20公里，但抓拍时间间隔在1分钟以内，则可以认为不可能是一个人，修正这对特征的相似度为0(最低)。
58.在进一步的实施例中，步骤s6包括：
59.通过所述两两特征与群体特征相似与否计算jaccard距离。
60.在本实施例中，通过jaccard距离来修正相似度的方式，也可以是其他任意距离或方法，旨在通过与群体是否相似的方式来判断是否为同一个人。
61.在本实施例中，通过计算两两特征与群体相似与否的jaccard距离来修正特征对的相似度(已经由上步修正，低于聚类阈值e的特征不再计算)。已知群体相似阈值r，判断两两特征与群体内其他特征的相似情况，俩特征与群体内特征逐一比较，若都相似(大于等与阈值r)或都不相似(小与阈值r)，则为jaccard距离中的交集部分。交集占全特征集合的比例与阈值r比较，大于阈值r则保留这对特征的相似度，否则置为0。
62.在进一步的实施例中，步骤s6还包括：
63.当两两特征的相似度小于或等于相似度阈值w时，将相似度阈值w置为0，当当两两特征的相似度大于相似度阈值w时，则保留两两特征的相似度，并进入步骤s7。
64.在本实施例中，将相似度简化为0、1变量的方式，也可以是其他简化方案，旨在提升运算效率，大于阈值的保留，小于的设置为0。做一个判断，大于阈值则相似度保留，小于阈值相似度设0。
65.在进一步的实施例中，步骤s7包括：
66.将交集部分占全人脸特征集合的比例与群体相似阈值r进行比较，判断是否大于群体相似阈值r，如果是，则保留所述两两特征的相似度，如果否，则将群体相似阈值r置为0。
67.在本实施例中，将相似度简化为0、1变量的方式，也可以是其他简化方案，旨在提升运算效率。
68.在进一步的实施例中，步骤s8包括：
69.判断所述两两特征的相似度是否大于矩阵与聚类阈值e，如果是，则将聚类阈值e置为1，如果否，则将聚类阈值e置为0。
70.在本实施例中，两两特征的相似度矩阵与聚类阈值e比较，大于e，则置为1，否则置为0。用以简化聚类过程中的运算。
71.在进一步的实施例中，步骤s9包括：
72.以类簇为单位计算空间分布的方式获取离群。
73.在本实施例中，基于两两特征的相似度矩阵，可以采用dbscan算法对群体做聚类运算，获得若干类簇。以类簇为单位计算空间分布寻找离群点，离群点大概率为不同的人，从类簇中将离群点删除，有效避免错聚。具体做法：选择该类簇中所有特征空间距离之和最小的为中心特征(空间距离是由经纬度换算出的公里数)。当某个特征离中心特征超过m(如100km)时，认为该特征为离群点，将离群点从类簇中删除。
74.在进一步的实施例中，步骤s9还包括：
75.选择所述类簇中所有特征空间距离之和中数值最小的值为中心特征值，当所述中心特征值超过根据经纬度计算出的空间距离值时，判断所述人脸特征为离群点，并将离群点从类簇中删除
76.在本实施例中，通过中心特征寻找离群点的方式，也可以是其他方法来确定离群点。
77.在进一步的实施例中，步骤s9中的聚类算法包括dbscan算法、k
‑
means算法，gmms
算法、层次聚类算法和谱聚类算法。
78.以上所述实施例仅表达了本发明的具体实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。