识别模型的训练方法、装置、计算机设备及存储介质与流程

1.本公开涉及人工智能技术领域，尤其涉及一种识别模型的训练方法、装置、计算机设备及存储介质。


背景技术：

2.随着人工智能的发展，衍生出多种多样的识别技术(例如，特征识别、人像识别等等)，其被广泛运用于多种识别场景中，通常，会给定一些场景中的待识别数据，而后，可以采用识别技术处理该待识别数据，以得到相应的识别结果，其中，待识别数据可以例如为人脸图像数据。而随着应用场景的多样化，通常待识别数据的多样性也随之增加。
3.相关技术中，通常针对不同的应用场景训练不同的识别模型，采集该场景下样本数据以训练识别模型。
4.这种方式下，由于缺乏在实际应用场景下的真实数据，从而在采用训练得到的识别模型在实际应用场景中执行识别任务时，导致其识别准确性不佳，且不便于识别模型在实际应用场景中的拓展应用。


技术实现要素：

5.本公开旨在至少在一定程度上解决相关技术中的技术问题之一。
6.为此，本公开的目的在于提出一种识别模型的训练方法、装置、计算机设备及存储介质，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景。
7.本公开第一方面实施例提出的识别模型的训练方法，包括：获取初始教师识别模型和初始学生识别模型；从增量数据和存量数据之中采样得到正样本对和负样本对；根据所述正样本对和所述负样本对训练所述初始教师识别模型，以得到目标教师识别模型；根据所述正样本对、所述负样本对，以及所述目标教师识别模型训练所述初始学生识别模型，以得到目标识别模型。
8.本公开第一方面实施例提出的识别模型的训练方法，通过获取初始教师识别模型和初始学生识别模型，从增量数据和存量数据之中采样得到正样本对和负样本对，根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型，根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景。
9.本公开第二方面实施例提出的识别模型的训练装置，包括：第一获取模块，用于获取初始教师识别模型和初始学生识别模型；第二获取模块，用于从增量数据和存量数据之
中采样得到正样本对和负样本对；第一训练模块，用于根据所述正样本对和所述负样本对训练所述初始教师识别模型，以得到目标教师识别模型；第二训练模块，用于根据所述正样本对、所述负样本对，以及所述目标教师识别模型训练所述初始学生识别模型，以得到目标识别模型。
10.本公开第二方面实施例提出的识别模型的训练装置，通过获取初始教师识别模型和初始学生识别模型，从增量数据和存量数据之中采样得到正样本对和负样本对，根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型，根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景。
11.本公开第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时，实现如本公开第一方面实施例提出的识别模型的训练方法。
12.本公开第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开第一方面实施例提出的识别模型的训练方法。
13.本公开第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行如本公开第一方面实施例提出的识别模型的训练方法。
14.本公开附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本公开的实践了解到。
附图说明
15.本公开上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
16.图1是本公开一实施例提出的识别模型的训练方法的流程示意图；
17.图2是本公开另一实施例提出的识别模型的训练方法的流程示意图；
18.图3是本公开实施例提出的模型迭代流程示意图；
19.图4是本公开一实施例提出的识别模型的训练装置的结构示意图；
20.图5是本公开另一实施例提出的识别模型的训练装置的结构示意图；
21.图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。
具体实施方式
22.下面详细描述本公开的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本公开，而不能理解为对本公开的限制。相反，本公开的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。
23.图1是本公开一实施例提出的识别模型的训练方法的流程示意图。
24.其中，需要说明的是，本实施例的识别模型的训练方法的执行主体为识别模型的训练装置，该装置可以由软件和/或硬件的方式实现，该装置可以配置在计算机设备中，计算机设备可以包括但不限于终端、服务器端等。
25.如图1所示，该识别模型的训练方法包括：
26.s101：获取初始教师识别模型和初始学生识别模型。
27.其中，模型可以是人工智能当中的模型，例如神经网络模型、机器学习模型等等，对此不做限制。
28.其中，识别模型可以是能够执行识别任务的人工智能模型，识别任务例如特征识别、人像识别等等，对此不做限制。其中，相对的具有更深且更复杂的网络结构，且识别精度相对较高的识别模型，可以被称为教师识别模型，而在训练初始阶段获取得到的教师识别模型，可以被称为初始教师识别模型，相应的，可以对初始教师识别模型的网络结构经过轻量化处理，得到轻量级的识别模型，该轻量级的识别模型可以被称为学生识别模型，而在训练初始阶段获取得到的学生识别模型，可以被称为初始学生识别模型。
29.本公开实施例在获取初始教师识别模型和初始学生识别模型之后，可以采集实际应用场景当中的增量数据和存量数据，对初始教师识别模型和初始学生识别模型分别进行训练，以得到符合该实际应用场景的真实数据分布的目标识别模型，具体可以参见后续实施例。
30.s102：从增量数据和存量数据之中采样得到正样本对和负样本对。
31.上述在获取初始教师识别模型和初始学生识别模型之后，可以执行结合存量数据和增量数据来采样得到样本数据的步骤。
32.其中，存量数据，可以是已有的数据，例如，识别模型已学习到其数据分布特征的数据，而增量数据，可以是新场景中新获取到的数据，例如，识别模型尚未学习到其数据分布特征的数据。
33.举例而言，存量数据，可以例如本地数据仓库中已经存在的数据，而增量数据，则可以例如即将录入数据仓库的新增数据。
34.其中，正样本对是指同属于某一类别的样本数据，负样本对可以是该类别与其他类别的数据组成的样本数据，该某一类别和其他类别可以是不相同的类别。
35.举例而言，正样本对可以是本地数据仓库中的同一个人的两张人脸图像组成的样本对，而负样本对可以是不同的两个人的两张人脸图像，或者是人脸图像与待识别图像中的背景图像数据组成的样本对等。
36.本公开实施例中，在获取初始教师识别模型和初始学生识别模型之后，还可以获取增量数据和存量数据，而后可以根据增量数据和存量数据确定正样本对和负样本对。
37.举例而言，当根据增量数据和存量数据确定正样本对和负样本对时，可以是从多个增量数据和存量数据中采样得到。
38.另外一些实施例中，也可以采用其他任意可能的方式来实现根据增量数据和存量数据确定正样本对和负样本对，例如，可以将增量数据和存量数据输入至数据处理模型中，以得到该数据处理模型输出的正样本对和负样本对，或者，也可以采用工程学方式来实现确定正样本对和负样本对，对此不做限制。
39.本公开实施例中，通过根据增量数据和存量数据确定正样本对和负样本对，即从
训练用样本数据的维度进行划分，能够用于表征增量数据和存量数据的数据分布特征，从而当联合根据增量数据和存量数据确定的正样本对和负样本对来训练识别模型时，能够有效地保障目标识别模型在增量数据和存量数据上的识别效果的均衡性，全面地保障识别效果。
40.s103：根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型。
41.其中，训练初始教师识别模型得到的模型，可以被称为目标教师识别模型，该目标教师识别模型可以被用于训练初始学生识别模型，具体参见下述实施例。
42.上述在根据增量数据和存量数据确定正样本对和负样本对之后，可以联合正样本对和负样本对来训练初始教师识别模型，以得到目标教师识别模型，而后基于该目标教师识别模型来辅助训练得到学生识别模型作为目标识别模型，从而实现以目标教师识别模型来保障目标识别模型的识别准确性，且目标识别模型由初始学生识别模型训练得到的，从而目标识别模型具有较轻量的模型参数，便于部署实施，便于场景的拓展应用。
43.本公开实施例中，当在根据正样本对和负样本对对初始教师识别模型进行训练时，可以采用随机梯度下降(stochastic gradient descent，sgd)算法对初始教师识别模型进行微调训练，或者使用其他任意可能的人工智能中的深度学习算法对初始教师识别模型进行迭代优化训练，对此不做限制。
44.其中，随机梯度下降算法可以设置较小的学习率，缓慢提升初始教师识别模型在增量数据上的识别精度，其中，可以将增量数据的数学期望作为模型迭代的梯度信息，该期望可以使用采样增量数据得到小规模的样本数据的数学期望进行近似估计。
45.s104：根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型。
46.上述在联合正样本对和负样本对来训练初始教师识别模型，以得到目标教师识别模型，而后可以基于该目标教师识别模型，结合正样本对和负样本对来辅助训练初始学生识别模型，以得到训练后的学生识别模型，该训练后的学生识别模型可以被称为目标识别模型。
47.本公开实施例中在根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型时，可以是利用目标教师模型对初始学生模型的网络结构进行轻量化处理，降低初始学生识别模型的参数数量，并采用目标教师识别模型的一些模型参数，模型识别的中间结果、模型的特征，来辅助训练初始学生识别模型，使得经过训练后的目标识别模型具有与目标教师识别模型相当的识别性能。
48.本实施例中，通过获取初始教师识别模型和初始学生识别模型，从增量数据和存量数据之中采样得到正样本对和负样本对，根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型，根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景。
49.图2是本公开另一实施例提出的识别模型的训练方法的流程示意图。
50.如图2所示，该识别模型的训练方法包括：
51.s201：获取初始教师识别模型和初始学生识别模型。
52.可选地，一些实施例中，初始教师识别模型包括：第一教师识别子模型和第二教师识别子模型，第一教师识别子模型和第二教师识别子模型形成半孪生网络架构，从而可以使用多个教师识别模型对学生识别模型进行训练，使得学生识别模型可以在训练中获得更高的增益。
53.其中，半孪生网络架构指的是在将一个神经网络分为左右两个神经网络，左右两个神经网络可以是相同类型的神经网络，也可以是不相同类型的神经网络，左右两个神经网络的架构相同，权值不相同，半孪生网络架构利用两个输入对数据进行处理。
54.本公开实施例中，第一教师识别子模型和第二教师识别子模型形成半孪生网络架构，分别将参考组样本和探测组样本输入到第一教师识别子模型和第二教师识别子模型中，得到参考教师特征和探测教师特征，从而能够准确地识别出参考组样本的数据特征，以及探测组样本对应的数据特征，实现基于各自数据特征的维度训练识别模型，同时还能够融合两个子模型针对样本数据特征的识别结果，能够有效地保障教师识别模型的迭代训练效果，可以支持后续以参考教师特征和探测教师特征训练初始教师识别模型得到目标教师识别模型的步骤，具体可以参见后续实施例。
55.s202：从增量数据和存量数据之中采样得到正样本对和负样本对。
56.其中，正样本对包括：当前探测样本和当前参考样本，当前探测样本和当前参考样本的类别相同，负样本对包括：当前探测样本和历史参考样本，当前探测样本和历史参考样本的类别不相同。
57.其中，参考样本用于输入到第一教师识别子模型中以得到参考教师特征，探测样本用于输入到第二教师识别子模型中以得到探测教师特征，当前探测样本和当前参考样本指的是模型本次未迭代训练时的数据样本，当前探测样本和当前参考样本的类别相同，可以组成为正样本对，历史参考样本指的是模型近几次迭代训练时使用的参考样本，当前探测样本和历史参考样本的类别不相同，可以组成负样本对。
58.本公开实施例中，在对多个增量数据和存量数据进行采样处理得到正样本对和负样本对时，可以按照一个设定的比例对存量数据和增量数据进行混合采样处理。
59.举例而言，当场景中新增了一批训练数据data_2，该data_2可以被视作多个增量数据，设增量数据data_2中的人脸图像数据的身份标识(identity，id)总数为y，设任一个id中包含y张图像，则可以组成的正样本对的数量为则正样本对的总对数为
60.在上述从增量数据中采样得到正样本对后，设存量数据被定义为data_1，设存量数据data_1中的人脸图像数据的id总数为count_1，每个id标识中可能包含多张人脸图像，随机选取其中的两张人脸图像组合起来即可得到一对正样本对，则存量数据中可以得到数量为count_1的多对正样本对。
61.在上述从存量数据中采样得到count_1的多对正样本对之后，从数量为count_1的多对正样本对中随机采样alpha*mini_batch个正样本对，从数量为count_2中随机采样(1-alpha)*mini_batch个正样本对，其中，mini_batch是模型迭代过程中需求的正样本对的数
量，alpha在实际应用场景中可以取0.5，从而可以保证在存量数据和增量数据中进行均衡的采样。
62.另外一些实施例中，也可以采用其他任意可能的方式来实现根据增量数据和存量数据确定正样本对，例如，可以使用数据处理算法对增量数据和存量数据进行采样处理，对此不做限制。可选地，一些实施例中，可以对正样本对和负样本对进行扩增处理。
63.在上述从增量数据和存量数据中采样得到正样本对和负样本对之后，可以对正样本对和负样本对进行扩增处理，例如，可以随机选取一个正样本对中的两张人脸图像进行小幅度偏移量或者对图像进行镜像翻转或者小幅度旋转等处理，得到新的正样本对，或者可以采用人工增加样本对中一张图像的模糊度、调整样本中图像的亮度等方式对图像进行处理，而后将处理过的图像添加到增量数据集中，再对新的增量数据集进行采样处理即可实现对正样本对和负样本对进行扩增处理。
64.另外一些实施例中，也可以采用其他任意可能的方式补充增量数据，例如，可以为增量数据集中的人脸图像增加眼镜、口罩等，而后将增加遮挡后的人脸图像数据添加到增量数据集中，再对新的增量数据集进行采样处理即可得到扩增处理后的正样本对和负样本对，或者采用其他任意可能的方式对图像进行处理以实现对样本对进行扩增，对此不做限制。
65.本公开实施例中，通过对正样本对和负样本进行扩增处理，并采用扩增处理得到正样本对和负样本对进行补充，可以有效地避免当新增场景的样本数据少于存量数据样本时数据采样不均衡事件，从而有效地对初始学生识别模型进行训练。
66.s203：根据多次采样的参考样本形成参考组样本，多次采样的参考样本，是从当前参考样本和历史参考样本中采样得到的。
67.其中，参考样本用于输入到第一教师识别子模型中以得到参考教师特征，模型训练过程中会进行多次迭代，每次迭代需要进行数据采样得到参考样本，数据采样可以从当前参考样本和历史参考样本中采样得到，从而得到多次采样的参考样本形成参考组样本，参考教师特征可以与探测教师特征一起用于确定模型的损失值。
68.s204：根据多次采样的探测样本形成探测组样本，多次采样的探测样本，是从多个当前探测样本中采样得到的。
69.其中，探测样本用于输入到第二教师识别子模型中以得到探测教师特征，模型训练过程中会进行多次迭代，每次迭代需要进行数据采样得到探测样本，数据采样可以从多个当前探测样本中采样得到，探测教师特征可以与参考教师特征一起用于确定模型的损失值。
70.s205：将参考组样本输入至第一教师识别子模型中，以得到第一教师识别子模型输出的参考教师特征。
71.其中，参考教师特征可以是参考组样本经过第一教师识别子模型处理后得到的能够表征参考组样本的数据分布特征。
72.本公开实施例中，在将参考组样本对输入至第一教师识别子模型中，以得到第一教师识别子模型输出的参考教师特征时，可以预先设定当前对模型进行训练的存量数据集为data_1，在此数据集上训练得到初始教师识别模型model_t1，其中，初始教师识别模型包括第一教师识别子模型和所述第二教师识别子模型，第一教师识别子模型和所述第二教师
识别子模型形成半孪生网络架构，也即是说，在训练过程中会存储两套model_t1的权重信息，分别为第一教师识别子模型model_t1_0的权重信息和第二教师识别子模型model_t1_1的权重信息，同样的，在对初始教师识别模型进行训练时，将样本对中的数据分为两组，一组称为探测组probe，另外一组称为参考组gallery，将probe组样本数据输入至第一教师识别子模型中，根据model_t1_0的权重信息提取第一教师识别子模型输出的参考教师特征，从而可以得到表征参考组样本的数据分布特征。
73.另外的一些实施例中，也可以采用其他任意可能的样本数据的组合处理方式来实现将参考组样本输入至第一教师识别子模型中，以得到第一教师识别子模型输出的参考教师特征，例如，采用主成分分析法对参考组样本进行处理，得到参考教师特征，或者可以采用非负矩阵分解方法对参考组样本进行处理，输出第一教师识别子模块的参考教师特征，对此不做限制。
74.s206：将探测组样本输入至第二教师识别子模型中，以得到第二教师识别子模型输出的探测教师特征。
75.其中，探测教师特征可以是探测组样本经过第二教师识别子模型处理后得到的能够表征探测组样本的数据分布特征。
76.本公开实施例中，可以将探测组样本gallery的样本数据输入至第二教师识别子模型中，根据第二教师识别子模型model_t1_1的权重信息提取第二教师识别子模型输出的探测教师特征。
77.另外的一些实施例中，也可以采用其他任意可能的样本数据的组合处理方式来实现将探测组样本输入至第二教师识别子模型中，以得到第二教师识别子模型输出的探测教师特征，例如，采用主成分分析法对探测组样本进行处理，得到探测教师特征，或者可以采用线性判别分析法对探测组样本进行处理，输出第二教师识别子模块的探测教师特征，对此不做限制。
78.s207：根据参考教师特征和探测教师特征确定损失值。
79.其中，损失值可以用来表现模型训练的预测数据结果与实际数据结果之间的差距程度，可以用来衡量模型是否训练完成，具体可以见后续实施例。
80.本实施例中，在根据参考教师特征和探测教师特征确定损失值时，可以采用最大值概率分布函数softmax，宽分界最大值概率分布函数arc-softmax等损失函数进行计算，获取当前特征值对应的损失值，从而可以用该损失值来表现初始教师识别模型与目标教师识别模型之间的识别差距程度，衡量模型的收敛程度，使教师识别模型的识别效果得到提升。
81.可选地，一些实施例中，可以将与增量数据对应的样本对输入至目标教师识别模型之中，以得到目标教师识别模型输出的目标教师特征，目标教师特征，是目标教师识别模型提取到的与增量数据对应的样本对相关的教师特征。
82.其中，目标教师特征是目标教师识别模型提取到的与正样本对对应的教师特征。
83.可选地，一些实施例中，可以将目标教师特征存储至特征库之中，该特征库是本地特征库，存储了当增量数据到来时训练迭代教师识别模型完毕后的提取到的新增训练数据的目标教师特征，使用本地特征库可以加快对学生识别模型的训练速度，并且只提取增量数据训练出来的对应特征，并不更新之前训练数据的特征，从而使得特征提取耗时更少，且
可以使用多个迭代历史版本的教师识别模型对学生识别模型进行训练，可以使得学生识别模型在训练中获得更高的增益。
84.举例而言，本地特征库中可以存储存量数据集data_1，模型迭代过程中提取的参考教师特征和探测教师特征的集合以字典的方式存储在本地磁盘中，迭代完毕后得到的目标教师识别模型可以用来提取增量数据中数据特征值，并且将该特征值也补充至该特征库。
85.s208：如果损失值满足设定条件，则将初始教师识别模型作为目标教师识别模型。
86.其中，该设定条件可以是在模型训练之前人为设定的，可以根据对目标教师识别模型预期的识别精度进行设定，以得到满足特定识别精度的识别模型。
87.s209：如果损失值不满足设定条件，则采用目标方法分别更新第一模型参数和第二模型参数，直至目标损失值满足设定条件，将训练得到的教师识别模型，作为目标教师识别模型。
88.本公开实施例中，教师识别模型的训练是一个不断更新迭代的过程，如果损失值不满足设定条件，则可以重新触发进行迭代训练，进而重新计算得到新的损失值，将迭代得到的新的损失值继续与设定条件进行比对，直至满足设定条件后，该经过多次训练的教师识别模型可以作为目标教师识别模型。
89.在上述对损失值重新计算之前，需要对教师识别模型一次迭代训练之后所用的正样本对进行采样更新，而后继续将参考组样本输入到第一教师识别子模型中，输出参考教师特征，将探测组样本对输入到第二教师识别子模型中，输出探测教师特征，而后根据更新后的参考教师特征和探测教师特征利用损失函数计算损失值，可以利用随机梯度下降算法反向传播更新第一教师识别子模型model_t1_0的权重信息，采用移动平均方法(moving average，ma)缓慢更新第二教师识别子模型model_t1_1的权重信息，根据新的权重信息提取新的参考教师特征值和探测教师特征值以计算得到损失值，而后继续重复这个迭代过程，在训练过程中缓慢降低学习率，直至确定出来的新的损失值满足设定条件，使得model_t1_0在增量数据集上的精度得到满意的提升，得到迭代后的教师识别模型model_t2即可作为目标教师识别模型。
90.可选地，一些实施例中，在采用目标方法分别更新第一模型参数和第二模型参数时，可以采用随机梯度下降方法更新第一模型参数，并采用移动平均方法更新第二模型参数，由此可以对高精度的目标教师识别模型的参数进行轻量化处理以降低参数量，从而可以保证新的增量数据到来时模型的训练推理速度，使得识别模型训练的精度得到较快速度的提升。
91.其中，第一模型参数，是第一教师识别子模型的参数，例如，可以是第一教师识别子模型model_t1_0的权重信息，第二模型参数是第二教师识别子模型的参数，例如，可以是第二教师识别子模型model_t1_1的权重信息，目标损失值，是基于参数更新后的第一教师识别子模型和第二教师识别子模型分别输出的教师特征所确定的损失值，在模型的训练迭代过程中，第一教师识别子模型的第一模型参数和第二教师识别子模型的第二模型参数也会随着模型更新，根据第一模型参数和第二模型参数提取出参考教师特征值和探测教师特征值，而后根据特征值计算出损失值，迭代完毕后得到的损失值即为目标损失值。
92.另外的一些实施例中，也可以采用其他任意可能的方式来实现对第一模型参数和
第二模型参数的更新，例如可以采用前向算法对模型参数进行更新，或者，也可以采用一些其他机器学习算法对模型参数进行更新，对此不做限制。
93.s210：根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型。
94.可选地，一些实施例中，初始学生识别模型包括：第一学生识别子模型和第二学生识别子模型，第一学生识别子模型和第二学生识别子模型形成半孪生网络架构，将参考组样本输入至第一学生识别子模型中，以得到第一学生识别子模型输出的参考学生特征，将探测组样本对输入至第二学生识别子模型中，以得到第一学生识别子模型输出的探测学生特征，根据参考学生特征、探测学生特征、以及目标教师特征训练初始学生识别模型，以得到目标学生识别模型，从而可以上述目标教师识别模型的一些模型参数、以及目标教师识别模型针对正样本对和负样本对分别识别到的数据特征，对初始学生识别模型进行不断的数据迭代，使得初始学生识别模型得到有效的训练。
95.其中，半孪生网络架构指的是在训练过程中，存储两套初始学生识别模型的权重信息，对模型的权重信息进行迭代更新。
96.举例而言，假设当前对模型进行训练的数据集为存量data_1，在此数据集上训练得到了两个不同的识别模型，一个是具有高精度的初始教师识别模型model_t1，另一个是轻量级的初始学生识别子模型model_s1，在对初始学生识别模型进行训练时，可以使用随机梯度下降算法对初始学生识别模型进行微调训练，基于半孪生网络架构，模型在训练中汇存储了两套学生识别model_s1的权重信息，分别为第一学生识别子模型model_s1_0的权重信息和第二学生识别子模型model_s1_1的权重信息。
97.举例而言，在对模型权重信息进行迭代训练过程中，将样本对数据被分为两组，一组称为探测组probe，另外一组称为参考组gallery，参考组gallery通过第一学生识别子模型model_s1_0的权重信息提取参考学生特征，探测组probe组通过第二学生识别子模型model_s1_1的权重信息提取探测学生特征，学生识别模型的权重信息更新方式，可以参考针对教师识别模型的权重信息更新方式，在此不再赘述。
98.其中，在对初始学生识别模型进行训练时，可以引入本地特征库中高精度目标教师模型的目标教师特征指导学生模型进行指导，在计算学生识别模型的目标损失值时，需要结合分类损失loss_class、初始教师识别模型的预测特征以及目标教师特征的差异度量损失loss_similarity进行计算，可以将两个特征值转化为概率分布，计算概率分布的相对熵(kullback leibler，kl)散度对其进行数值量化得到一个数值参与计算，目标损失值loss_total的计算，可以是对分类损失和分布相似度损失之间，采用超参数进行线性加权得到，例如，
99.loss_total＝belta*loss_class (1-belta)*loss_similarity；
100.其中，belta是加权超参数，该参数会在训练迭代过程中进行微调，在初始训练时目标损失值的计算可以更偏向分布相似度损失，后面可以逐渐增加分类损失的比重，使得本地特征库的中目标教师识别模型中的知识可以更快的转移到目标识别模型中来。
101.本实施例中，使用多个迭代历史版本的教师识别模型对初始学生识别模型进行训练，可以使得初始学生识别模型在训练中获得更高的增益，对高精度的目标教师识别模型的参数进行轻量化处理降低参数量，从而可以有效地提升初始学生识别模型针对增量数据
的训练推理速度，使得学生识别模型的训练精度得到较快的提升。
102.本实施例中，在得到上述扩增处理过的正样本对和负样本对之后，即可利用扩增后的正样本对、负样本对以及目标教师识别模型训练对初始学生模型进行训练，如图3所示，图3是本实施例中的模型迭代流程示意图，从原始数据(存量数据)和新增数据(增量数据)中采样得到一次迭代的批量样本数据，对该样本数据进行数据扩增操作，采用扩增后得到的正样本对、负样本对对初始教师识别模型进行训练，重复采样训练过程，直至初始教师识别模型收敛，将训练得到的教师识别模型作为目标教师识别模型，而后更新本地特征库，利用特征库中目标教师识别模型的特征值和样本数据对初始学生识别模型进行训练，重复采样至训练的过程，直至学生识别模型收敛，将训练得到的学生识别模型作为目标识别模型。
103.本实施例中，通过获取初始教师识别模型和初始学生识别模型，从增量数据和存量数据之中采样得到正样本对和负样本对，根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型，根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景由于对样本数据进行了扩增处理，同时可以根据业务场景的常见情况对数据扩增的方式进行灵活的调整，可以有效地避免当新增场景的样本数据少于存量数据样本时数据采样不均衡事件，从而有效地对初始学生识别模型进行训练，解决相关技术中少量新增样本下的过拟合的技术问题，实现基于少量的新增应用场景的增量数据，并联合存量数据训练一个轻量级的学生识模型，较大程度地提升识别模型的训练效率和训练效果。
104.图4是本公开一实施例提出的识别模型的训练装置的结构示意图。
105.如图4所示，该识别模型的训练装置40，包括：
106.第一获取模块401，用于获取初始教师识别模型和初始学生识别模型；
107.第二获取模块402，用于从增量数据和存量数据之中采样得到正样本对和负样本对；
108.第一训练模块403，用于根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型；
109.第二训练模块404，用于根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型。在本公开的一些实施例中，如图5所示，正样本对包括：当前探测样本和当前参考样本，当前探测样本和当前参考样本的类别相同，负样本对包括：当前探测样本和历史参考样本，当前探测样本和历史参考样本的类别不相同，在获取正样本对和负样本对之后，还包括：
110.第一形成模块405，用于根据多次采样的参考样本形成参考组样本，多次采样的参考样本，是从当前参考样本和历史参考样本中采样得到的；
111.第二形成模块406，用于根据多次采样的探测样本形成探测组样本，多次采样的探测样本，是从多个当前探测样本中采样得到的；
112.其中，第一训练模块403，还用于：
113.根据参考组样本和探测组样本训练初始教师识别模型，以得到目标教师识别模型。
114.在本公开的一些实施例中，初始教师识别模型包括：第一教师识别子模型和第二教师识别子模型，第一教师识别子模型和第二教师识别子模型形成半孪生网络架构，
115.其中，第一训练模块，包括：
116.第一输入子模块4031，用于将参考组样本输入至第一教师识别子模型中，以得到第一教师识别子模型输出的参考教师特征；
117.第二输入子模块4032，用于将探测组样本输入至第二教师识别子模型中，以得到第一教师识别子模型输出的探测教师特征；
118.训练子模块4033，用于根据参考教师特征和探测教师特征训练初始教师识别模型，以得到目标教师识别模型。
119.在本公开的一些实施例中，训练子模块4033，还用于：
120.根据参考教师特征和探测教师特征确定损失值；
121.如果损失值满足设定条件，则将初始教师识别模型作为目标教师识别模型；
122.如果损失值不满足设定条件，则采用目标方法分别更新第一模型参数和第二模型参数，直至目标损失值满足设定条件，将训练得到的教师识别模型，作为目标教师识别模型；
123.其中，第一模型参数，是第一教师识别子模型的参数，第二模型参数是第二教师识别子模型的参数，目标损失值，是基于参数更新后的第一教师识别子模型和第二教师识别子模型分别输出的教师特征所确定的损失值。
124.在本公开的一些实施例中，训练子模块4033，还用于：
125.采用随机梯度下降方法更新第一模型参数；
126.采用移动平均方法更新第二模型参数。
127.在本公开的一些实施例中，训练子模块4033，还用于：
128.将增量数据对应的样本对输入至目标教师识别模型之中，以得到目标教师识别模型输出的目标教师特征，目标教师特征，是目标教师识别模型提取到的与增量数据对应的样本对相关的教师特征。
129.在本公开的一些实施例中，训练子模块4033，还用于：
130.将目标教师特征存储至特征库之中。
131.在本公开的一些实施例中，初始学生识别模型包括：第一学生识别子模型和第二学生识别子模型，第一学生识别子模型和第二学生识别子模型形成半孪生网络架构，
132.其中，第二确定模块404，还用于：
133.将参考组样本输入至第一学生识别子模型中，以得到第一学生识别子模型输出的参考学生特征；
134.将探测组样本输入至第二学生识别子模型中，以得到第一学生识别子模型输出的探测学生特征；
135.根据参考学生特征、探测学生特征、目标教师特征，以及与存量数据对应的样本对相关的教师训练特征训练初始学生识别模型，以得到目标学生识别模型。
136.在本公开的一些实施例中，还包括：
137.处理模块407，用于分别对正样本对和负样本对进行扩增处理。
138.与上述图1至图3实施例提供的识别模型的训练方法相对应，本公开还提供一种识别模型的训练装置，由于本公开实施例提供的识别模型的训练装置与上述图1至图3实施例提供的识别模型的训练装置相对应，因此在识别模型的训练方法的实施方式也适用于本公开实施例提供的识别模型的训练装置，在本公开实施例中不再详细描述。
139.本实施例中，通过获取初始教师识别模型和初始学生识别模型，获取正样本对和负样本对，正样本对是根据增量数据确定的，负样本对是根据存量数据确定的，根据正样本对和负样本对训练初始教师识别模型，以得到目标教师识别模型，根据正样本对、负样本对，以及目标教师识别模型训练初始学生识别模型，以得到目标识别模型，能够在有效地保持目标识别模型针对已有场景中的存量数据的识别准确性的同时，有效地提升目标识别模型在增量数据上的识别准确性，从而能够有效地提升目标识别模型的迭代训练效果，提升目标识别模型的识别性能，有效地拓展目标识别模型的识别应用场景。
140.为了实现上述实施例，本公开还提出一种计算机设备，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，实现如本公开前述实施例提出的识别模型的训练方法。
141.为了实现上述实施例，本公开还提出一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本公开前述实施例提出的识别模型的训练方法。
142.为了实现上述实施例，本公开还提出一种计算机程序产品，当计算机程序产品中的指令处理器执行时，执行如本公开前述实施例提出的识别模型的训练方法。
143.图6示出了适于用来实现本公开实施方式的示例性计算机设备的框图。图6显示的计算机设备12仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
144.如图6所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
145.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture；以下简称：isa)总线，微通道体系结构(micro channel architecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(video electronics standards association；以下简称：vesa)局域总线以及外围组件互连(peripheral component interconnection；以下简称：pci)总线。
146.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
147.存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。
148.尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
149.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本公开所描述的实施例中的功能和/或方法。
150.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
151.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的识别模型的训练方法。
152.本领域技术人员在考虑说明书及实践这里公开的公开后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
153.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
154.需要说明的是，在本公开的描述中，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本公开的描述中，除非另有说明，“多个”的含义是两个或两个以上。
155.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施例所属技术领域的技术人员所理解。
156.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件
或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
157.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
158.此外，在本公开各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
159.上述提到的存储介质可以是只读存储器，磁盘或光盘等。
160.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
161.尽管上面已经示出和描述了本公开的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本公开的限制，本领域的普通技术人员在本公开的范围内可以对上述实施例进行变化、修改、替换和变型。