一种图像聚档方法、图像聚档装置和计算机可读存储介质与流程

1.本技术涉及图像处理技术领域，具体涉及一种图像聚档方法、图像聚档装置和计算机可读存储介质。


背景技术：

2.随着人脸识别技术的发展，刷脸被应用在各行各业，产生了大量人的轨迹数据，可以计算这些轨迹数据中图像的相似度，进行相似图像聚类，使得属于一个人的图像尽量聚集整合；但是由于聚类过程中归档阈值一般是恒定的，有可能会把属于b的图像聚类到a的档案中，产生错误档案，错误档案不利于后续各类应用的开展，因此需要对错误档案进行定位，识别出错误档案中的错误图像。


技术实现要素：

3.本技术提供一种图像聚档方法、图像聚档装置和计算机可读存储介质，能够提升聚档的正确性。
4.为解决上述技术问题，本技术采用的技术方案是：提供一种图像聚档方法，该方法包括：获取不同待聚档目标的聚类档案，聚类档案包括待聚档图像；在检测到聚类档案满足预设判定条件后，确定聚类档案为疑似错误档案；将疑似错误档案输入错误识别模型，得到识别结果，识别结果包括疑似错档图像中的待聚档目标是否相同的判别结果，疑似错档图像为疑似错误档案中的待聚档图像；基于识别结果，确定是否将疑似错档图像从聚类档案中剔除，以形成新档案。
5.为解决上述技术问题，本技术采用的另一技术方案是：提供一种图像聚档装置，该图像聚档装置包括互相连接的存储器和处理器，其中，存储器用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像聚档方法。
6.为解决上述技术问题，本技术采用的另一技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质用于存储计算机程序，计算机程序在被处理器执行时，用于实现上述技术方案中的图像聚档方法。
7.通过上述方案，本技术的有益效果是：先获取包括多张待聚档图像的聚类档案；然后判断该聚类档案是否满足预设判定条件，如果满足，则将该聚类档案记作疑似错误档案，该疑似错误档案为可能存在至少两个待聚档目标的图像的档案；然后利用错误识别模型对该疑似错误档案进行处理，得到每张疑似错档图像中的待聚档目标是否相同的判别结果；然后根据判别结果确定是否需要将疑似错档图像从聚类档案中剔除，如果需要将疑似错档图像剔除，则形成新档案；如果无需将疑似错档图像剔除，则表明分档正确，未形成新档案；利用错误识别模型能够自动判别疑似错误档案中是否存在错误图像，并在存在错误图像时将错误图像剔除以形成新档案，保证聚档的正确性，而且由于先判别出疑似错误档案再判别错误图像，加速了整体判断的速度。
附图说明
8.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
9.图1是本技术提供的图像聚档方法一实施例的流程示意图；
10.图2是本技术提供的图像聚档方法另一实施例的流程示意图；
11.图3是本技术提供的图像聚档装置一实施例的结构示意图；
12.图4是本技术提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
13.下面结合附图和实施例，对本技术作进一步的详细描述。特别指出的是，以下实施例仅用于说明本技术，但不对本技术的范围进行限定。同样的，以下实施例仅为本技术的部分实施例而非全部实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
14.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
15.需要说明的是，本技术中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
16.先对本技术所涉及的技术用语进行说明。
17.人像聚类：计算图像之间的相似度，将相似度高的图像聚成一个档案，通常认为该档案内的所有图像属于一个人。
18.错误档案：同时包含两个或者多个人的图像的档案，一般情况下，将错误档案中多数属于同一个人的图像称为正确图像，属于其他人的图像称为错误图像。
19.档案拆分：通过规则或者机器学习技术定位错误档案中的错误图像，将错误图像从错误档案中剔除或者拆分成新的档案。
20.相关技术中存在将错误图像拆分出来的方案，但是只将人像图像与档案特征值进行对比，以进行错误图像识别，通常来说档案特征值是档案中所有图像的平均特征值或者档案中优选的、有代表性的图像的特征值，因此这种错误图像的比对识别是片面的，阈值设定过高可能会出现错误图像剔除不出去的情况，阈值设定过低可能导致将正确图像剔除出档案，因为人像图像聚类中属于同一个人的类内相似度差距有可能比不同人的类间差距更
大。
21.基于上述问题，本技术提供了一种图像聚档的方案，主要涉及安防领域以及图像处理领域，尤其涉及到人像识别聚类和数据挖掘，利用深度学习技术识别聚类档案中的错误图像，拆分含有错误图像的档案，下面对本技术所提供的技术方案进行详细阐述。
22.请参阅图1，图1是本技术提供的图像聚档方法一实施例的流程示意图，该方法包括：
23.步骤11：获取不同待聚档目标的聚类档案。
24.聚类档案包括待聚档图像，待聚档图像为需要进行分类的图像，其可以为人像图像(包括人脸图像或人体图像)，可从图像数据库中取出待聚档图像；或者利用摄像设备进行拍摄，得到不同待聚档目标的图像，待聚档目标为需要进行聚类的目标，其可以为人、其他动物或者物体。在获取到多张待聚档图像之后，可使用聚类方法对这些待聚档图像进行聚类，得到聚类档案，比如：k均值聚类或层次聚类等。
25.步骤12：在检测到聚类档案满足预设判定条件后，确定聚类档案为疑似错误档案。
26.在获取到聚类档案后，可以判断该聚类档案中的待聚档图像是否满足预设判定条件，如果待聚档图像满足预设判定条件，则表明该聚类档案中可能存在至少两个待聚档目标，此时将该聚类档案记作疑似错误档案；具体地，利用聚类档案中待聚档图像的特征值来筛选疑似错档图像(即疑似错误档案中的待聚档图像)，以组成疑似错误档案。
27.进一步地，可以先采用特征提取方法计算聚类档案中每张待聚档图像的特征值，然后统计任意两张待聚档图像的特征值之间的相似度，计算每张待聚档图像与其他待聚档图像之间的相似度小于设定阈值的数量，如果该数量大于设定数量，则表明该待聚档图像与其他待聚档图像的相似程度较低，确定该聚类档案满足预设判定条件，即该聚类档案中可能存在至少两个待聚档目标。或者，还可计算每张待聚档图像的特征值与设定特征值之间的相似度，该设定特征值可以为该聚类档案中所有待聚档图像的特征值的平均值或者所有待聚档图像中图像质量最高的图像的特征值，然后判断该相似度是否小于设定阈值，如果该相似度小于设定阈值，则表明该待聚档图像与其他待聚档图像的相似程度较低，确定该聚类档案满足预设判定条件。
28.步骤13：将疑似错误档案输入错误识别模型，得到识别结果。
29.错误识别模型可以为图神经网络模型，比如：图卷积网络(gcn，graph convolutional network)、图注意力网络(graph attention networks)、图自编码器(graph autoencoders)、图生成网络(graph generative networks)或图时空网络(graph spatial-temporal networks)；可预先获取训练数据，该训练数据至少包括两个待聚档目标的图像，通过将训练数据输入错误识别模型，并不断调整模型的参数，最终得到一个训练好的图神经网络模型。可以理解地，错误识别模型的训练与相关技术中进行模型训练的方法类似，在此不再详述。
30.错误识别模型在接收到疑似错误档案后，对该疑似错误档案进行分析处理，生成识别结果，该识别结果包括疑似错档图像中的待聚档目标是否相同的判别结果，用于表示每张疑似错档图像是错误图像还是正确图像。
31.步骤14：基于识别结果，确定是否将疑似错档图像从聚类档案中剔除，以形成新档案。
32.在获取到识别结果后，如果识别结果中每张疑似错档图像的判别结果均为正确图像，则表明聚类档案中仅存在一个待聚档目标；如果识别结果中存在疑似错档图像的判定结果为错误图像，且某些疑似错档图像的判定结果为正确图像，则表明该聚类档案中至少存在两个待聚档目标，此时需要创建新档案，将错误图像从聚类档案中搬移到新档案中；然后可对新档案进行上述的分析处理，以判定新档案中是否存在不同的待聚档目标的图像，如果有，则进行移除，并再创建新档案，直至创建的新档案中仅包含一个待聚档目标。
33.本实施例提供了一种基于图神经网络模型的聚类档案中异常点筛选方法，使用图神经网络模型自动判别疑似错误档案中的错误图像，将错误图像剔除并形成新档案，不用预先设定阈值，能够自动判别错误图像，并将错误图像归属到新档案中，保证聚档的正确性。
34.请参阅图2，图2是本技术提供的图像聚档方法另一实施例的流程示意图，以待聚档目标为人为例来说明本实施例所采用的技术方案，该方法包括：
35.步骤21：对待聚档图像进行聚档处理，得到聚类档案。
36.获取不同待聚档目标的聚类档案，该聚类档案包括待聚档图像；具体地，获取待聚档目标在预设时间、预设活动范围内的轨迹序列数据，轨迹序列数据包括待聚档图像的特征值、待聚档图像的抓拍时间或抓拍地点。例如，可获取所有人员在一段时间范围与一段空间范围内的轨迹序列数据，比如，人员a当天活动产生的轨迹(a1，a2，a3，a4，a5)，a1-a5包括抓拍到的时间、抓拍区域以及抓拍到的图像特征等信息。
37.在获取到轨迹序列数据后，可基于待聚档图像的特征值进行聚档处理，得到聚类档案；具体地，先计算待聚档图像的特征值与每个已经存在的聚类档案对应的特征值之间的相似度，并计算所有相似度的最大值；判断相似度的最大值是否大于第二相似度阈值；若相似度的最大值大于第二相似度阈值，则将待聚档图像归入与相似度的最大值对应的聚类档案；若相似度的最大值小于/等于第二相似度阈值，则将待聚档图像归入新的聚类档案。
38.在一具体的实施例中，可按照人员活动的时间顺序将人员轨迹图像特征与之前存在的档案特征进行相似度比对，比如，将人员a的轨迹a1的图像特征与所有档案的特征进行相似度计算，如果轨迹a1的图像特征和档案b的特征之间的相似度满足预先设定的阈值(即大于第二相似度阈值)，则将轨迹a1对应的图像归入到档案b中；如果遍历所有档案，均小于/等于第二相似度阈值，则新建档案c，将轨迹a1对应的图像归入档案c中。
39.可以理解地，如果当前不存在任何档案，则直接建立一个新档案d，将轨迹a1对应的图像归入档案d中；或者如果存在多个档案的特征与轨迹a1的图像特征之间的相似度均大于第二相似度阈值，比如：档案e-f，且档案e的特征与轨迹a1的图像特征的相似度大于档案f的特征与轨迹a1的图像特征的相似度，则将轨迹a1对应的图像归入档案e中。
40.步骤22：获取聚类档案中每张待聚档图像的特征值，并计算聚类档案中所有待聚档图像的特征值的平均值，得到平均特征值。
41.在获取到聚类档案中，可定位疑似错误档案；具体地，将所有人员的行动轨迹上的待聚档图像归属到相应的聚类档案之后，计算该聚类档案内所有待聚档图像的特征值以及该聚类档案的平均特征值。
42.步骤23：判断聚类档案中每张待聚档图像的特征值与平均特征值之间的相似度是否大于第三相似度阈值。
43.在获得特征值后，根据如下公式计算得到该聚类档案内每张待聚档图像与该聚类档案的平均特征值的相似度：
[0044][0045]
其中，a0为聚类档案a的平均特征值，b0为聚类档案a内某张待聚档图像的特征值，s为相似度，s的取值为[-1，1]，s的数值越大，表示a0与b0越相似。可以理解地，相似度还可以使用曼哈顿距离计算，并不仅限于采用余弦相似度来计算相似度。
[0046]
获得聚类档案内每张待聚档图像与该聚类档案的平均特征值之间的相似度后，将每个相似度与预先设置的相似度阈值(即第三相似度阈值)比较，以确定该聚类档案是否为疑似错误档案。
[0047]
步骤24：若聚类档案中每张待聚档图像的特征值与平均特征值之间的相似度未均大于第三相似度阈值，则聚类档案为疑似错档图像。
[0048]
若聚类档案中存在某张待聚档图像与该聚类档案的平均特征值之间的相似度小于/等于第三相似度阈值，则判定该聚类档案为疑似错误档案，即该档案中可能存在至少两个人的图像。重复上述步骤22-24，遍历全部聚类档案，能够获取所有聚类档案中的疑似错误档案。
[0049]
步骤25：基于疑似错误档案生成距离矩阵。
[0050]
距离矩阵包括疑似错误档案中的每张疑似错档图像与剩余图像之间的相似度，可先计算任意两张疑似错档图像的特征值的差值的绝对值；然后对绝对值进行求和，得到相似度(记作l1相似度)，即采用如下公式来计算l1相似度：
[0051]
l1＝sum(abs(e1-e2))
[0052]
其中，e1为疑似错档图像i1的特征值，e2为疑似错档图像i2的特征值。
[0053]
计算疑似错误档案内所有疑似错档图像之间的l1相似度，形成距离矩阵(或者可以称为距离图)，每张疑似错档图像作为图的节点，例如：节点h1代表图像h1，节点h2代表图像h2，节点h3代表图像h3，节点与节点之间用边连接，边的权重是图像h1与图像h2之间的l1相似度，如下所示：
[0054][0055]
其中，图像h1/h2/h3与自身之间的l1相似度恒定为0，l1相似度越大代表越不相似。
[0056]
步骤26：将疑似错误档案与距离矩阵输入错误识别模型，得到识别结果。
[0057]
可采用以下方案对疑似错误档案内的错误图像进行识别定位：
[0058]
(1)对真实的错误档案进行人工标注。
[0059]
该错误档案内错误图像的标记值label＝1，正确图像的标记值label＝0，标记好的错误档案作为图神经网络的训练样本。
[0060]
(2)一个错误档案作为错误识别模型的一个训练样本输入。
[0061]
每个训练样本包含一组错误档案中每张图像的特征向量，每个特征向量对应一个节点、一个距离矩阵以及一个二元向量label来表明节点是否为错误图像。
[0062]
(3)训练图神经网络。
[0063]
采用的图神经网络模型是深度gcn，可使用二元交叉熵作为损失函数，训练目标为使损失函数的值降到最低。训练好的模型理论上拥有判断图内节点是否为错误节点(即错误图像)的能力，即将错误节点的label标记为0，保存训练好的模型，以便在进行未知档案的错误图像预测时，可以进行加载并复用。
[0064]
(4)将定位的疑似错误档案输入到训练好的错误识别模型中，进行错误图像判别。
[0065]
在错误识别模型输出的识别结果中包括与疑似错档图像对应的标记值；具体地，每个疑似错误档案中的疑似错档图像被标记0或者1，表示该疑似错档图像是否为错误图像，如果该疑似错档图像被标记0，则表明其为错误图像；如果该疑似错档图像被标记1，则表明其为正确图像。
[0066]
步骤27：将疑似错误档案记作当前待处理档案。
[0067]
步骤28：判断所有疑似错档图像的标记值是否相同。
[0068]
判断当前待处理档案中的所有疑似错档图像的标记值是否相同；如果所有疑似错档图像的标记值均相同，则确定当前待处理档案中所有疑似错档图像中的待聚档目标为同一个，不对当前待处理档案进行剔除处理。
[0069]
步骤29：若所有疑似错档图像的标记值不相同，则对当前待处理档案进行拆分处理，得到至少一个新档案。
[0070]
先统计所有疑似错档图像中标记值为预设值的疑似错档图像的数量，预设值为0，即判断该当前待处理档案内label＝0的错误图像的个数，得到错误统计值；然后基于错误统计值，对当前待处理档案进行处理，得到新档案。
[0071]
在一具体的实施例中，可将错误图像从当前待处理档案中剔除，错误图像为标记值为预设值的疑似错档图像；为了将疑似错误档案拆分成新档案，可分成以下几种情况：
[0072]
(1)当错误统计值为第一预设数量时，将错误图像添加至新档案中。
[0073]
第一预设数量为1，即在当前待处理档案中存在一张错误图像时，将该错误图像从当前待处理档案中移除，并添加至新档案中。
[0074]
(2)当错误统计值为第二预设数量时，若错误图像之间的相似度大于/等于第一相似度阈值，则将错误图像添加至新档案中；若错误图像之间的相似度小于第一相似度阈值，则将每张错误图像放入不同的新档案中。
[0075]
第二预设数量大于第一预设数量，第二预设数量为2，即如果错误图像的个数等于两个，则计算这两张错误图像之间的相似度，若该相似度低于第一相似度阈值，则将两张错误图像拆分，分别形成新档；若该相似度大于/等于第一相似度阈值，则认为这两张错误图像属于同一待聚档目标，将这两张错误图像放入同一个新档案中。
[0076]
(3)当错误统计值为第三预设数量时，则将所有错误图像组成当前待处理档案，将当前待处理档案输入错误识别模型，并返回判断所有疑似错档图像的标记值是否相同的步骤，直至错误统计值为第一预设数量或第二预设数量。
[0077]
第三预设数量大于第二预设数量，如果错误图像的个数大于两张，则先将所有错误图像全部归属于一个临时档案，将该临时档案记作当前待处理档案，然后将该当前待处
理档案输入训练好的深度gcn模型中，得到当前识别结果，并返回执行步骤27，直至错误统计值为1或2，得到最终的聚档结果。
[0078]
本实施例在判别疑似错误档案内的错误图像时，通过建立疑似错误档案内图像连通图的方式，将任意两张疑似错档图像之间的相似度都进行对比，加入了更多的信息，相对于相关技术中只将图像的特征值与档案的特征值进行对比，增强了判别的准确性；而且，建立了深度学习中的深度gcn模型，使用深度gcn模型自动判别疑似错误档案中的错误图像，构建了疑似错误档案内每张疑似错档图像的相邻关系，可以对连通图进行进一步的信息提取，使得识别错误图像更加准确、快速；另外，由于提前判别出疑似错误档案，加速了整体判断的速度。
[0079]
请参阅图3，图3是本技术提供的图像聚档装置一实施例的结构示意图，图像聚档装置30包括互相连接的存储器31和处理器32，存储器31用于存储计算机程序，计算机程序在被处理器32执行时，用于实现上述实施例中的图像聚档方法。
[0080]
请参阅图4，图4是本技术提供的计算机可读存储介质一实施例的结构示意图，计算机可读存储介质40用于存储计算机程序41，计算机程序41在被处理器执行时，用于实现上述实施例中的图像聚档方法。
[0081]
计算机可读存储介质40可以是服务端、u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0082]
在本技术所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
[0083]
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
[0084]
另外，在本技术各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0085]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。