目标重识别模型抗遗忘训练方法、目标重识别方法及装置

1.本发明涉及机器视觉技术领域，尤其涉及一种目标重识别模型抗遗忘训练方法、目标重识别方法及装置。


背景技术：

2.目标重识别即目标再识别，目前主要集中在行人重识别和车辆重识别领域。以行人重识别为例，给定一张目标行人的图片，在无重叠视频监控网络中各个监控设备拍摄的视频图像序列中检索到该目标行人。
3.目前，目标重识别算法在训练模型时通过视频监控网络中各个监控设备拍摄的图像作为独立的样本数据，基于各摄像机的空间拓扑关系逐一建模这些样本数据，但由于不同摄像机的拍摄场景与设备本身存在较大差异，如果直接用新的数据进行训练会导致模型参数偏向新数据分布而远离旧数据分布，这样虽然有益模型对于新场景的学习，但也会带来严重的灾难性遗忘问题，而针对每一个场景都保留一个重识别模型同样是不现实的且这样会包含较多冗余信息。


技术实现要素：

4.本发明提供一种目标重识别模型抗遗忘训练方法、目标重识别方法及装置，用以解决现有技术中通过视频监控网络中各摄像机拍摄的独立样本数据进行逐一训练出现的模型灾难性遗忘的缺陷。
5.本发明提供一种目标重识别模型抗遗忘训练方法，包括：
6.基于历史识别模型，确定初始识别模型；
7.基于所述历史识别模型，应用当前轮的样本图像，确定所述样本图像的第一身份特征；并基于所述样本图像的第一身份特征、所述当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和所述样本图像的历史身份标签；
8.基于所述样本图像、所述样本图像的历史身份标签、所述第一当前身份特征集合和所述第一历史身份特征集合对所述初始识别模型进行训练，得到当前识别模型；
9.基于所述当前识别模型，应用所述样本图像，确定第二当前身份特征集合，并基于所述第二当前身份特征集合和所述第一历史身份特征集合，确定第二历史身份特征集合；
10.将所述当前识别模型作为所述历史识别模型，以及将第二历史身份特征集合作为所述第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的所述当前识别模型作为目标重识别模型。
11.根据本发明提供的一种目标重识别模型抗遗忘训练方法，所述基于所述样本图像、所述样本图像的历史身份标签、所述第一当前身份特征集合和所述第一历史身份特征集合对所述初始识别模型进行训练，得到当前识别模型，包括：
12.基于所述初始识别模型，应用所述样本图像，确定所述样本图像的第二身份特征；
13.基于所述样本图像的第二身份特征和所述第一当前身份特征集合，确定当前损
失，并基于所述样本图像的历史身份标签、所述样本图像的第二身份特征和所述第一历史身份特征集合，确定历史损失；
14.基于所述当前损失和所述历史损失，确定联合损失；并基于所述样本图像的第二身份特征和所述样本图像的样本身份标签更新所述第一当前身份特征集合；
15.基于所述联合损失，对所述初始识别模型进行参数迭代，直到所述联合损失收敛，得到所述当前识别模型。
16.根据本发明提供的一种目标重识别模型抗遗忘训练方法，所述基于所述当前损失和所述历史损失，确定联合损失，包括：
17.基于所述样本图像的第二身份特征、所述样本图像的第一身份特征和所述样本图像的历史身份标签，确定参数约束损失；
18.基于所述当前损失、所述历史损失和所述参数约束损失，确定所述联合损失。
19.根据本发明提供的一种目标重识别模型抗遗忘训练方法，所述基于所述样本图像的第一身份特征、所述当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和所述样本图像的历史身份标签，包括：
20.基于所述样本身份标签和所述样本图像的第一身份特征，确定所述样本身份标签对应的身份特征；
21.基于所述样本身份标签和所述样本身份标签对应的身份特征，确定所述第一当前身份特征集合；
22.将所述第一当前身份特征集合中各身份特征，与所述第一历史身份特征集合中各进行循环匹配，得到身份标签匹配对和身份标签匹配对的匹配度；
23.若所述身份标签匹配对的匹配度小于预设相似度阈值，则所述样本身份标签对应的历史身份标签为默认标签；否则，基于所述身份特征匹配对，确定所述样本身份标签对应的历史身份标签。
24.根据本发明提供的一种目标重识别模型抗遗忘训练方法，所述基于所述当前识别模型，应用所述样本图像，确定第二当前身份特征集合，并基于所述第二当前身份特征集合和所述第一历史身份特征集合，确定第二历史身份特征集合，包括：
25.基于所述当前识别模型，应用所述样本图像，确定所述样本图像的第二身份特征；
26.基于所述样本身份标签和所述样本图像的第二身份特征，确定所述样本身份标签对应的均值身份特征；
27.基于所述样本身份标签和所述样本身份标签对应的均值身份特征，确定所述第二当前身份特征集合；
28.基于所述第二当前身份特征集合和所述第一历史身份特征集合，确定第二历史身份特征集合。
29.本发明还提供一种目标重识别方法，包括：
30.确定待识别图像；
31.将所述待识别图像输入至目标重识别模型中，得到所述目标重识别模型输出的身份特征，并基于所述身份特征确定识别结果；
32.所述目标重识别模型是基于上述任一项所述的目标重识别模型抗遗忘训练方法训练得到的。
33.本发明还提供一种目标重识别模型抗遗忘训练装置，包括：
34.确定模块，用于基于历史识别模型，确定初始识别模型；
35.历史关联模块，用于基于所述历史识别模型，应用当前轮的样本图像，确定所述样本图像的第一身份特征；并基于所述样本图像的第一身份特征、所述当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和所述样本图像的历史身份标签；
36.训练模块，用于基于所述样本图像、所述样本图像的历史身份标签、所述第一当前身份特征集合和所述第一历史身份特征集合对所述初始识别模型进行训练，得到当前识别模型；
37.更新模块，用于基于所述当前识别模型，应用所述样本图像，确定第二当前身份特征集合，并基于所述第二当前身份特征集合和所述第一历史身份特征集合，确定第二历史身份特征集合；
38.迭代模块，用于将所述当前识别模型作为所述历史识别模型，以及将第二历史身份特征集合作为所述第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的所述当前识别模型作为目标重识别模型。
39.本发明还提供一种目标重识别装置，包括：
40.确定模块，用于确定待识别图像；
41.识别模块，将所述待识别图像输入至目标重识别模型中，得到所述目标重识别模型输出的身份特征，并基于所述身份特征确定识别结果；
42.所述目标重识别模型是基于上述任一项所述的目标重识别模型抗遗忘训练方法训练得到的。
43.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述目标重识别模型抗遗忘训练方法或者所述目标重识别方法。
44.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述目标重识别模型抗遗忘训练方法或者所述目标重识别方法。
45.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述目标重识别模型抗遗忘训练方法或者所述目标重识别方法。
46.本发明提供的目标重识别模型抗遗忘训练方法、目标重识别方法及装置，以多轮迭代训练的方式训练的到目标重识别模型，每一轮训练时通过使用当前轮的样本图像、关联到的样本图像的历史身份标签和历史身份特征集合对当前轮的初始识别模型进行训练，实现了在识别模型训练时学习新身份特征的同时复习历史身份特征，从而能够缓解应用新数据对识别模型进行训练导致的灾难性遗忘的问题，提高了识别模型的抗遗忘能力。
附图说明
47.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
48.图1是本发明提供的目标重识别模型抗遗忘训练方法的流程示意图；
49.图2是本发明提供的当前轮模型抗遗忘训练方法的流程示意图；
50.图3是本发明提供的联合损失计算方法的流程示意图；
51.图4是本发明提供的样本图像历史身份标签关联的框架图；
52.图5是本发明提供的目标重识别方法的流程示意图；
53.图6是本发明提供的当前轮的当前识别模型抗遗忘训练方法的框架图；
54.图7是本发明提供的目标重识别模型抗遗忘训练装置的结构示意图；
55.图8是本发明提供的目标重识别装置的结构示意图
56.图9是本发明提供的电子设备的结构示意图。
具体实施方式
57.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
58.现有的目标重识别算法模型训练主要包括两种，一种是将视频监控网络中各摄像头拍摄的图像汇总作为样本集进行建模，对识别模型进行训练，但这种训练方式会受到隐私保护和存储容量的限制；另一种是基于各摄像机的空间拓扑关系逐一建模这些样本数据，但由于不同摄像机的拍摄场景与设备本身存在较大差异，如果直接用新的数据进行训练会导致模型参数偏向新数据分布而远离旧数据分布，这样虽然有益模型对于新场景的学习，但也会带来严重的灾难性遗忘问题，而针对每一个场景都保留一个重识别模型同样是不现实的且这样会包含较多冗余信息。
59.因此，如何解决因逐一建模样本数据所导致识别模型灾难性遗忘的问题以提高识别模型的性能是本领域技术人员亟待解决的技术问题。
60.针对上述技术问题，本发明实施例提供了一种目标重识别抗遗忘方法。图1是本发明提供的目标重识别模型抗遗忘训练方法的流程示意图。如图1所示，该方法包括：
61.步骤110，基于历史识别模型，确定初始识别模型；
62.具体地，将历史识别模型的参数初始化当前轮的初始识别模型。
63.需要说明的是，初次迭代训练时，历史识别模型的参数为初始参数。后续迭代训练时可以直接将历史识别模型的参数作为当前轮的初始识别模型的参数，还可以通过正则化进行权重参数约束后对当前轮的初始识别模型进行参数初始化，正则项的形式化定义如下：
[0064][0065]
式中，λ为是超参，l是历史识别模型和初始识别模型的参数的索引值，ω
l
代表对应参数的重要性权值，以及分别为初始识别模型和历史识别模型中对应索引位置的参数。计算参数重要性权重ω
l
可以通过弹性权值约束(elastic weight consolidation，ewc)，记忆感知突触(memory aware synapses，mas)和智能突触(synaptic intelligence，
si)方法来实现，本发明实施例对此不做限制。
[0066]
步骤120，基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；
[0067]
步骤130，基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；
[0068]
考虑到识别模型灾难性遗忘的原因是使用新的数据进行训练会导致模型参数偏向新数据分布而远离旧数据分布，因此，如果能在使用因的数据进行训练时回顾复习历史数据，则可以有效缓解灾难性遗忘的问题以提高识别模型的性能。
[0069]
具体地，将当前轮的样本图像输入到历史识别模型中，历史识别模型输出样本图像的第一身份特征，根据当前轮的样本身份标签和样本图像的第一身份特征，确定第一当前身份特征集合，并将第一当前身份特征集合中的身份特征和第一历史身份特征集合中的身份特征进行相似度比较，并根据比较结果确定第一当前身份特征集合中样本身份标签对应的历史身份标签，并根据样本图像对应的样本身份标签和第一当前身份特征集合中样本身份标签对应的历史身份标签，确定样本图像的历史身份标签。然后根据样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型。
[0070]
需要说明的是，第一当前身份特征集合中包括当前轮的样本身份标签和样本身份标签对应的历史身份特征，第一历史身份特征集合中包括历史身份标签和历史身份标签对应的历史身份特征，当第一当前身份特征集合中某一当前身份特征和第一历史身份特征集合中的全部历史身份特征均没有匹配上时，则表示该当前身份特征对应的样本身份标签是不在历史身份标签中，此时应用该样本身份标签对应的样本图像对初始模型进行训练可以不用结合历史数据，反之若该当前身份特征对应的样本身份标签在历史身份标签中时，则结合历史数据对初始模型进行训练，使得在对初始识别模型训练时能够在样本图像存在历史身份标签时学习该样本身份标签的当前轮的身份特征且复习历史身份特征，不存在历史身份标签时学习该样本身份标签的当前轮的身份特征，从而能够缓解应用新数据对识别模型进行训练导致的灾难性遗忘。其中，初次迭代训练时，第一历史身份特征集合并不存在，即初次迭代训练使用的样本图像均不存在历史身份标签，此时，直接使用样本图像对初始识别模型进行训练，不用回顾历史身份特征。
[0071]
步骤140，基于当前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；
[0072]
考虑到当前轮的样本身份标签对应的样本图像会带来新的身份特征或者新的身份标签及对应的身份特征，为了后续迭代训练时能获取当前轮的新的身份特征或者新的身份特征及对应的身份特征，本发明实施例将当前轮的新的身份特征或者新的身份特征及对应的身份特征更新到第一历史身份特征集合中，以供后续迭代训练使用。
[0073]
具体地，将样本图像输入到当前轮训练完成得到的当前识别模型中，得到当前识别模型输出的样本图像对应的身份特征，然后根据样本图像对应的样本身份标签和样本图像对应的身份特征进行分类聚合，得到第二当前身份特征集合，最后将第二当前身份特征集合和第一历史身份特征集合进行合并，得到第二历史身份特征集合。
[0074]
需要说明的是，将第二当前身份特征集合和第一历史身份特征集合进行合并是先将第一历史身份特征集合，拷贝到临时身份特征集合中，然后可以是若第二当前身份特征集合中的样本身份标签存在历史身份标签，则将样本身份标签对应的身份特征更新到临时身份特征集合对应的部分，若第二当前身份特征集合中的样本身份标签不存在历史身份标签，则将该样本身份标签和该样本身份标签对应的身份特征添加到临时身份特征集合中，然后将临时身份特征集合作为第二历史身份特征集合；还可以是若第二当前身份特征集合中的样本身份标签存在历史身份标签，则将样本身份标签对应的身份特征和临时身份特征集合对应历史身份标签的历史身份特征进行加权融合后更新到临时身份特征集合对应的部分，若第二当前身份特征集合中的样本身份标签不存在历史身份标签，则将该样本身份标签和该样本身份标签对应的身份特征添加到临时身份特征集合中，然后将临时身份特征集合作为第二历史身份特征集合，本发明实施例对此不作限制。
[0075]
步骤150，将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型。
[0076]
具体地，将当前轮训练得到的当前识别模型作为历史识别模型，并将当前轮得到的第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代，并在全部迭代训练完成时，将最后一次迭代训练迭代得到的当前识别模型最为目标重识别模型。
[0077]
需要说明的是，迭代轮数是根据监控系统中拍摄设备的数量决定的，例如：监控系统中有6个拍摄设备，则会以上述训练方法对这6个拍摄设备所拍摄的样本图像进行6轮迭代训练，得到目标重识别模型。
[0078]
本发明实施例提供的目标重识别模型抗遗忘训练方法，以多轮迭代训练的方式训练得到目标重识别模型，每一轮训练时通过使用当前轮的样本图像、关联到的样本图像的历史身份标签和历史身份特征集合对当前轮的初始识别模型进行训练，实现了在识别模型训练时学习新身份特征的同时复习历史身份特征，从而能够缓解应用新数据对识别模型进行训练导致的灾难性遗忘的问题，提高了识别模型的抗遗忘能力。
[0079]
基于上述实施例，图2是本发明提供的当前轮模型抗遗忘训练方法的流程示意图。如图2所示，步骤130，包括：
[0080]
步骤131，基于初始识别模型，应用样本图像，确定样本图像的第二身份特征；
[0081]
步骤132，基于样本图像的第二身份特征和第一当前身份特征集合，确定当前损失，并基于样本图像的历史身份标签、样本图像的第二身份特征和第一历史身份特征集合，确定历史损失；
[0082]
步骤133，基于当前损失和历史损失，确定联合损失；并基于样本图像的第二身份特征和样本图像的样本身份标签更新第一当前身份特征集合；
[0083]
步骤134，基于联合损失，对初始识别模型进行参数迭代，直到联合损失收敛，得到当前识别模型。
[0084]
具体地，先将样本图像输入到当前轮的初始识别模型中，得到初始识别模型输出的样本图像的第二身份特征，再根据第一损失函数，应用样本图像的第二身份特征和第一当前身份特征集合，确定当前损失，同时根据第二损失函数，应用样本图像的历史身份标签、样本图像的第二身份特征和第一历史身份特征集合，确定历史损失，然后将当前损失和
历史损失进行加权，确定联合损失，然后通过联合损失，对初始识别模型进行参数迭代，直到联合损失收敛，得到当前识别模型，并且在每一轮参数迭代时，均会依据样本图像的第二身份特征与第一当前身份特征集合中该样本图像的样本身份标签对应的身份特征进行混合，并用混合后的身份特征更新第一当前身份特征集合中该样本图像的样本身份标签对应的身份特征。
[0085]
需要说明的是，第一损失函数的公式如下：
[0086][0087]
式中，是当前损失，i是当前轮的样本图像的序号，j是的当前轮样本身份标签的序号，是当前轮的样本图像的第二身份特征，是样本图像的第二身份特征的样本身份标签的序号，是第一当前身份特征集合中序号对应的身份特征，第一当前身份特征集合中序号j对应的身份特征，τ是温度参数，τ用来表示身份标签类间间距，lc是当前轮的样本图像的数目，nc是当前轮的样本身份标签的数量，优选地，τ＝0.05。
[0088]
第二损失函数的公式如下：
[0089][0090]
式中，是历史损失，i是当前轮的样本图像的序号，j是的当前轮样本身份标签的序号，sgn(y)的含义是当y＝-1时sgn(y)＝0，其他情况下sgn(y)＝1，是当前轮的样本图像的第二身份特征，是样本图像的历史身份标签的序号，是第一历史身份特征集合中序号对应的身份特征，第一历史身份特征集合中序号j对应的身份特征，τ是温度参数，τ用来表示身份标签类间间距，lc是当前轮的样本图像的数目，nh是历史身份标签的数量，优选地，τ＝0.05。
[0091]
依据样本图像的第二身份特征与第一当前身份特征集合中该样本图像的样本身份标签对应的身份特征进行混合的公式如下：
[0092][0093]
式中，m为动量参数，优选地，m＝0.1。
[0094]
基于上述实施例，图3是本发明提供的联合损失计算方法的流程示意图。如图所示，步骤133中基于当前损失和历史损失，确定联合损失，包括：
[0095]
步骤310，基于样本图像的第二身份特征、样本图像的第一身份特征和样本图像的历史身份标签，确定参数约束损失；
[0096]
步骤320，基于当前损失、历史损失和参数约束损失，确定联合损失。
[0097]
考虑到目前大多数网络都是稀疏和过参数化的，对于旧任务来说，其中只有一些参数对预测结果非常重要，而另一些参数相对前者来说并不那么容易引起预测结果的改变，因此，本发明实施例在当前轮的训练中可以约束初始模型中重要参数的变化幅度，就可以达到知识抗遗忘的目的，即在记住旧知识的同时能不断学习的新的特征。
[0098]
具体地，根据第三损失计算函数，应用样本图像的第一身份特征、样本图像的第二身份特征和样本图像的历史身份标签，确定参数约束损失；并将当前损失、历史损失和参数
约束损失进行加权，确定联合损失。
[0099]
需要说明的是，第三损失计算函数的公式如下：
[0100][0101]
式中，是参数约束损失，i是当前轮的样本图像的序号，lc是当前轮的样本图像的数目，φc是当前轮的初始识别模型，φh是历史识别模型，sgn(y)的含义是当y＝-1时sgn(y)＝0，其他情况下sgn(y)＝1，是当前轮的样本图像集合中第i个样本图像，是的历史身份标签的序号。
[0102]
优选地，联合损失的计算公式如下：
[0103][0104]
式中，是联合损失，是当前损失，是历史损失，是参数约束损失。
[0105]
基于上述实施例，步骤120，包括：
[0106]
步骤121，基于样本身份标签和样本图像的第一身份特征，确定样本身份标签对应的身份特征；
[0107]
步骤122，基于样本身份标签和样本身份标签对应的身份特征，确定第一当前身份特征集合；
[0108]
步骤123，将第一当前身份特征集合中各身份特征，与第一历史身份特征集合中各进行循环匹配，得到身份特征匹配对和身份特征匹配对的匹配度；
[0109]
步骤124，若身份特征匹配对的匹配度小于预设相似度阈值，则样本身份标签对应的历史身份标签为默认标签；否则，基于身份特征匹配对，确定样本身份标签对应的历史身份标签。
[0110]
具体地，先以样本身份标签对样本图像进行分类，并将每一类样本图像的第一身份特征进行融合，并将融合特征作为该类样本图像对应的样本身份标签的身份特征，根据样本身份标签和样本身份标签对应的身份特征，组成第一当前身份特征集合，再将第一当前身份特征集合中各身份特征，与第一历史身份特征集合中各进行循环匹配，循环匹配公式如下：
[0111][0112]
式中，(yc,yh)为身份标签匹配对，yc为第一当前身份特征集合中的样本身份标签，yh为第一历史身份特征集合中的历史身份标签，是第一当前身份特征集合中yc对应的身份特征，是第一历史身份特征集合yh对应的历史身份特征，mh是第一历史身份特征集合，mc是第一当前身份特征集合，sim(f；m)表示计算身份特征f和身份特征集合m中各身份特征之间的余弦相似度，表示在mh中相似度最大的身份特征对应的历史身份标签为yh，表示在中相似度最大的身份特征对应的样本身份标签为yc。身份标签匹配对的匹配度可以由在mh最大相似度确定，还可以由在mh最大相似度以及在最大相似度两者确定，本发明实施例对此不作限制。当身份标
签匹配对的匹配度小于预设相似度阈值时，则表示身份标签匹配对中的样本身份标签没有对应的历史身份标签，此时将该样本身份标签的历史身份标签设置成默认标签，否则身份标签匹配对中的样本身份标签的历史身份标签为身份标签匹配对中的历史身份标签。优选地，默认标签的值为-1。
[0113]
需要说明的是，图4是本发明提供的样本图像历史身份标签关联的框架图。如图4所示，根据历史迭代训练的历史样本图像确定的第一历史身份特征集合，以及历史识别模型输出的当前轮的样本图像的身份特征，确定第一当前身份特征集合，将第一历史身份特征集合和第一当前身份特征集合进行身份知识关联，即进行循环匹配，得到身份特征匹配对和身份特征匹配对的匹配度。
[0114]
基于上述实施例，步骤140，包括：
[0115]
步骤141，基于当前识别模型，应用样本图像，确定样本图像的第二身份特征；
[0116]
步骤142，基于样本身份标签和样本图像的第二身份特征，确定样本身份标签对应的均值身份特征；
[0117]
步骤143，基于样本身份标签和样本身份标签对应的均值身份特征，确定第二当前身份特征集合；
[0118]
步骤144，基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合。
[0119]
具体地，将当前轮的样本图像输入至当前轮训练得到的当前识别模型中，得到当前识别模型输出的样本图像的第二身份特征，将相同样本身份标签的样本图像进行分类，并将每一样本身份标签对应的样本图像的第二身份特征进行均值融合处理，得到每一样本身份标签对应的均值身份特征，并根据样本身份标签和样本身份标签对应的均值身份特征，确定第二当前身份特征集合；然后根据第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合。
[0120]
需要说明的是，根据第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合可以是先将第一历史身份特征集合存入临时身份特征集合，然后将第二当前身份特征集合中的身份特征和临时身份特征集合中的身份特征进行相似度比较，当最大相似度大于预设阈值时，则将计算该相似度的第二当前身份特征集合中的身份特征融合与临时身份特征集合中的身份特征进行融合，否则直接将计算最大相似度的第二当前身份特征集合中的身份特征和样本身份标签添加到临时身份特征集合中，最后将临时身份特征集合作为第二历史身份特征，以后后续迭代训练使用。
[0121]
图5是本发明提供的目标重识别方法的流程示意图。如图5所示，该方法包括：
[0122]
步骤510，确定待识别图像；
[0123]
需要说明的是，待识别图像可以来自视频监控网络中某一摄像头拍摄的图片，还可以是其他包含有身份特征信息的图片，例如：车牌号照片或者人物照片等，本发明实施例对此不作限制。
[0124]
步骤520，将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；
[0125]
目标重识别模型是基于上述任一实施例中提供的目标重识别模型抗遗忘训练方法训练得到的。
[0126]
具体地，根据上述任一实施例中提供的目标重识别模型抗遗忘训练方法对初始识别模型进行训练，得到目标重识别模型，将待识别图像输入至该目标重识别模型中，得到该目标重识别模型输出的该待识别图像对应的身份特征，然后根据该身份特征，应用身份特征和身份标签(类别)之间的映射关系，确定待识别图像对应的身份标签即识别结果。
[0127]
本发明实施例提供的目标重识别方法，通用应用上述任一实施例中提供的目标重识别模型抗遗忘训练方法训练得到的目标重识别模型对待识别图像进行识别，得到识别结果，由于目标识别模型训练方法能缓解灾难性遗忘的问题，则实现了训练完成得到的目标识别模型能够更好地识别监测网络中各摄像设备拍摄的待识别图像，提高了目标重识别模型的性能，进而提高了目标重识别模型的识别准确度。
[0128]
图6是本发明提供的当前轮的当前识别模型抗遗忘训练方法的框架图。如图6所示，该方法包括：应用权重参数约束结合身份知识演化进行模型增量训练得到目标重识别模型。
[0129]
其中，权重参数约束具体是考虑到如果在当前轮进行训练时可以约束历史识别模型重要参数的变化幅度，就可以达到当前轮训练得到的当前识别模型抗学习遗忘的目的，即在记住旧知识的同时能不断学习的新的知识。正则化是一种权重参数约束的重要方法，其具有不需要额外存储空间，不增加模型参数的优点，本发明实施例为增量式目标重识别模型引入了一个更合理的正则化约束，即增加对于历史识别模型重要参数的约束权重从而限制这些参数的变化，在当前轮训练时主要利用剩余参数来学习新的知识，正则项的形式化定义如下：
[0130][0131]
其中，λ为表示当前轮训练任务重要性的超参，l是历史识别模型和初始识别模型的参数的索引值，ω
l
代表对应参数的重要性权值，以及分别为初始识别模型和历史识别模型中对应索引位置的参数。计算参数重要性权重ω
l
可以通过弹性权值约束(elastic weight consolidation，ewc)，记忆感知突触(memory aware synapses，mas)和智能突触(synaptic intelligence，si)方法来实现。
[0132]
身份知识演化包括：身份知识关联，身份知识蒸馏和身份知识拓展。
[0133]
首先是身份知识关联，单个摄像机场景下的身份信息容易通过目标轨迹建模而得到，那么构造当前轮的样本图像时可以引入对样本身份标签yc，同时考虑到目标在通过一片监控网络时，其运动轨迹常常会跨越多个摄像头，比如一个目标可能同时被第c个摄像头和之前历史某个摄像头h所拍摄到，即当前摄像头c拍摄的样本图像的集合dc和历史摄像头h拍摄的样本图像的集合dh中的目标身份存在部分重合，即dc和dh中会分别存在某个样本图像和对应同一个样本身份标签y，如果能够关联dc和dh中的目标身份特征，给dc中的图像标注一个在dh中出现过的同一个目标的样本身份标签，则可以对历史样本身份特征的一个简单回顾。因此可以对监控网络样本图像的集合d的设定做出如下调整，除第一个迭代训练使用的样本图像的集合d1以外的样本图像的集合都增加一个历史身份标签yh，改进之后的当前轮的样本图像集合后的当前轮的样本图像集合其中代表当前轮的样本图像在dc下所对应的样本身份标签，而则对应dh下的历史身份标签，利用提供的信息，
可以让初始识别模型在学习新知识的同时通过身份特征共享实现对于旧知识的复习。
[0134]
在抗遗忘训练的过程中，因为对每个摄像机采集的目标图像数据采取的是独立分布式处理，dh下的历史身份标签yh并不能直接显式地得到，所以本发明实施例通过循环匹配来进行身份关联，从而在处理dc时可以在dh中找到与当前轮的样本图像相对应的历史身份标签考虑dh中nh个人的nd维的第一历史身份特征集合对于dc，应用历史识别模型φh获取每个当前轮的样本图像的第一身份特征，而单个摄像机场景下的样本图像的集合已经对样本身份标签进行了标注，所以可以对同属于一个身份id的样本身份特征做一个平均池化操作，进而可以得到dc的nd维的第一当前身份特征集合在得到mc和mh后，身份知识关联将使用循环匹配来挖掘身份特征标签之间的匹配关系，如果mc中代表yc的样本身份特征与mh中代表yh的历史身份特征满足下式即可称两身份特征满足循环匹配关系，这样找到的(yc,yh)称为一个匹配对。
[0135][0136]
循环匹配关系式中的sim(f；m)表示计算身份特征f和身份特征集合m中各身份特征之间的余弦相似度,匹配度越高的向量其余弦相似度也越高，如果没有在mh中找到匹配向量，说明在dc中出现了一个新的样本身份标签，设置其yh＝-1以示区分。并通过循环匹配找到dc和dh之间的共享身份特征信息，从而为dc确定历史身份标签yh，构建得到值得强调的是身份知识关联并不需要访问dh，而是只需要通过对第一历史身份特征集合mh进行循环匹配的操作，身份特征集合与原样本图像的集合相比具有维数低，不涉及隐私问题的优点，在身份知识关联提取出yc和yh的信息后，当前轮的后续训练步骤中实现对新知识的适应和对旧知识的复习。
[0137]
其次是身份知识蒸馏，确定历史识别模型φh，以及在得到后，身份知识蒸馏分别使用yc和yh用于适应新数据分布和回顾历史知识，给定当前轮的样本图像并将φh的参数通过权重参数约束初始化当前轮的初始识别模型φc，并通过φc提取出的第二身份特征基于第一当前身份特征集合mc的clusternce loss损失函数如下：
[0138][0139]
式中，是当前损失，i是当前轮的样本图像的序号，j是的当前轮样本身份标签的序号，是第一当前身份特征集合，是当前轮的样本图像的第二身份特征，是样本图像的第二身份特征的样本身份标签的序号，τ是温度参数，τ用来表示身份标签类间间距，lc是当前轮的样本图像的数目，nc是当前轮的样本身份标签的数量。受cluster contrast方法在训练模型时会更新内存字典的启发，身份知识蒸馏也对mc进行了下式所示的更新，其中动量参数m＝0.1可控制更新过程中新旧特征所占的比重。
[0140][0141]
同时身份知识蒸馏也利用了mh和历史身份标签计算clusternce loss来训练练模型，从而实现对旧知识的复习。
[0142][0143]
其中sgn(y)的含义是当y＝-1时sgn(y)＝0，其他情况下sgn(y)＝1，也就是说如果在mc和mh中没有找到匹配的身份，那么这一项损失将不存在，身份知识蒸馏因此只需要利用学习新知识。本发明实施例进一步地提出了下式所示的知识蒸馏损失它用于从旧模型φh中提炼新模型φc的过程，作用是可以增强对旧知识的记忆。
[0144][0145]
式中，是参数约束损失，i是当前轮的样本图像的序号，lc是当前轮的样本图像的数目，φc是当前轮的初始识别模型，φh是历史识别模型，sgn(y)的含义是当y＝-1时sgn(y)＝0，其他情况下sgn(y)＝1，是样本图像的历史身份标签的序号，是当前轮的样本图像。
[0146]
身份知识蒸馏方法将上述推导的损失函数相加，得到联合损失函数如下：
[0147][0148]
最后是身份知识拓展，当在当前轮的dc上训练完成后，将得到新模型φc，使用新模型φc提取出dc中所有样本图像的身份特征，并将具有相同的样本身份标签对应的身份特征取均值归为一类，从而得到第二当前身份特征集合mc，接下来身份知识拓展将按如下方式对mh进行更新和拓展。
[0149]
如果第二当前身份特征集合mc中的某样本图像的身份特征的样本身份标签是yc，在mh中可以匹配某个yh对应的身份特征与其相同，那么可以使用下式对mh进行更新，其中λ＝0.25可以用来平衡新旧数据之间的权重。
[0150][0151]
如果在mh中找不到匹配的历史身份特征，那么就直接将特征插入到mh中以完成更新。
[0152][0153]
更新结束后，得到的mh将被继续用于之后相机的迭代训练，同时也需要用当前识别模型φc作为下一轮迭代训练的历史识别模型φh，至此身份知识拓展的最后一步完成。
[0154]
为了评估本发明实施例训练得到的目标重识别模型的识别效果，通过改进market-1501数据集得到了market-cl数据集，并在这个改进后的数据集上进行研究实验。表1是本发明实施例和其他方法在market-cl数据集上的实验结果，可以看出本发明实施例通过增量训练得到目标重识别模型在提升增量式目标重识别的准确率上有着显著的效果，当ike与si算法相结合时甚至可以取得接近理论上界的预测结果。
[0155][0156]
表1
[0157]
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。
[0158]
下面对本发明提供的目标重识别模型抗遗忘训练装置和目标重识别装置进行描述，下文描述的目标重识别模型抗遗忘训练装置与上文描述的目标重识别模型抗遗忘训练方法可相互对应参照，以及目标重识别装置与上文描述的目标重识别方法可相互对应参照。
[0159]
图7是本发明提供的目标重识别模型抗遗忘训练装置的结构示意图。如图7所示，该装置包括：确定模块710、历史关联模块720、训练模块730、更新模块740和迭代模块750。
[0160]
其中，
[0161]
确定模块710，用于基于历史识别模型，确定初始识别模型；
[0162]
历史关联模块720，用于基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；
[0163]
训练模块730，用于基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；
[0164]
更新模块740，用于基于当前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；
[0165]
迭代模块750，用于将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型。
[0166]
本发明实施例提供的目标重识别模型抗遗忘训练装置，通过确定模块，用于基于历史识别模型，确定初始识别模型；历史关联模块，用于基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；训练模块，用于基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；更新模块，用于基于当
前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；迭代模块，用于将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型，实现了在识别模型训练时学习新身份特征的同时复习历史身份特征，从而能够缓解应用新数据对识别模型进行训练导致的灾难性遗忘的问题，提高了识别模型的抗遗忘能力。
[0167]
基于上述任一实施例，训练模块730，包括
[0168]
第二身份特征确定子模块，用于基于初始识别模型，应用样本图像，确定样本图像的第二身份特征；
[0169]
损失确定子模块，用于基于样本图像的第二身份特征和第一当前身份特征集合，确定当前损失，并基于样本图像的历史身份标签、样本图像的第二身份特征和第一历史身份特征集合，确定历史损失；
[0170]
联合损失确定子模块，用于基于当前损失和历史损失，确定联合损失；并基于样本图像的第二身份特征和样本图像的样本身份标签更新第一当前身份特征集合；
[0171]
训练子模块，用于基于联合损失，对初始识别模型进行参数迭代，直到联合损失收敛，得到当前识别模型。
[0172]
基于上述任一实施例，联合损失确定子模块，包括：
[0173]
参数约束损失计算子模块，用于基于样本图像的第二身份特征、样本图像的第一身份特征和样本图像的历史身份标签，确定参数约束损失；
[0174]
联合损失计算子模块，用于基于当前损失、历史损失和参数约束损失，确定联合损失。
[0175]
基于上述任一实施例，历史关联模块720，包括：
[0176]
映射子模块，用于基于样本身份标签和样本图像的第一身份特征，确定样本身份标签对应的身份特征；
[0177]
身份集合确定子模块，用于基于样本身份标签和样本身份标签对应的身份特征，确定第一当前身份特征集合；
[0178]
循环匹配子模块，用于将第一当前身份特征集合中各身份特征，与第一历史身份特征集合中各进行循环匹配，得到身份标签匹配对和身份标签匹配对的匹配度；
[0179]
历史标签确定子模块，用于若身份标签匹配对的匹配度小于预设相似度阈值，则样本身份标签对应的历史身份标签为默认标签；否则，基于身份特征匹配对，确定样本身份标签对应的历史身份标签。
[0180]
基于上述任一实施例，更新模块740，包括：
[0181]
第二特征确定子模块，用于基于当前识别模型，应用样本图像，确定样本图像的第二身份特征；
[0182]
均值特征确定子模块，用于基于样本身份标签和样本图像的第二身份特征，确定样本身份标签对应的均值身份特征；
[0183]
第二身份集合确定子模块，用于基于样本身份标签和样本身份标签对应的均值身份特征，确定第二当前身份特征集合；
[0184]
第二历史集合确定子模块，用于基于第二当前身份特征集合和第一历史身份特征
集合，确定第二历史身份特征集合。
[0185]
图8是本发明提供的目标重识别装置的结构示意图。如图8所示，该装置包括：确定模块810和识别模块820。
[0186]
其中，
[0187]
确定模块810，用于确定待识别图像；
[0188]
识别模块820，将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；
[0189]
目标重识别模型是基于上述任一实施例提供的目标重识别模型抗遗忘训练方法训练得到的。
[0190]
本发明实施例提供的目标重识别装置，通过确定模块，用于确定待识别图像；识别模块，将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；目标重识别模型是基于上述任一实施例提供的目标重识别模型抗遗忘训练方法训练得到的，实现了训练完成得到的目标识别模型能够更好地识别监测网络中各摄像设备拍摄的待识别图像，提高了目标重识别模型的性能，进而提高了目标重识别模型的识别准确度。
[0191]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行目标重识别模型抗遗忘训练方法或者目标重识别方法，其中，目标重识别模型抗遗忘训练方法包括：基于历史识别模型，确定初始识别模型；基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；基于当前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型。目标重识别方法包括：用于确定待识别图像；将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；目标重识别模型是基于上述任一实施例提供的目标重识别模型抗遗忘训练方法训练得到的。
[0192]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0193]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的目标重识别模型抗遗忘训练方法或者目标重识别方法，其中，目标重识别模型抗遗忘训练方法包括：基于历史识别模型，确定初始识别模型；基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；基于当前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型。目标重识别方法包括：用于确定待识别图像；将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；目标重识别模型是基于上述任一实施例提供的目标重识别模型抗遗忘训练方法训练得到的。
[0194]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的目标重识别模型抗遗忘训练方法或者目标重识别方法，其中，目标重识别模型抗遗忘训练方法包括：基于历史识别模型，确定初始识别模型；基于历史识别模型，应用当前轮的样本图像，确定样本图像的第一身份特征；并基于样本图像的第一身份特征、当前轮的样本身份标签和第一历史身份特征集合，确定第一当前身份特征集合和样本图像的历史身份标签；基于样本图像、样本图像的历史身份标签、第一当前身份特征集合和第一历史身份特征集合对初始识别模型进行训练，得到当前识别模型；基于当前识别模型，应用样本图像，确定第二当前身份特征集合，并基于第二当前身份特征集合和第一历史身份特征集合，确定第二历史身份特征集合；将当前识别模型作为历史识别模型，以及将第二历史身份特征集合作为第一历史身份特征集合用于下一轮训练迭代；并将迭代完成得到的当前识别模型作为目标重识别模型。目标重识别方法包括：用于确定待识别图像；将待识别图像输入至目标重识别模型中，得到目标重识别模型输出的身份特征，并基于身份特征确定识别结果；目标重识别模型是基于上述任一实施例提供的目标重识别模型抗遗忘训练方法训练得到的。
[0195]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0196]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施
例或者实施例的某些部分所述的方法。
[0197]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。