一种图像识别方法、装置、计算机设备和存储介质与流程

1.本技术涉及人工智能技术领域，特别是涉及一种图像识别方法、装置、计算机设备和存储介质。


背景技术：

2.随着人工智能技术的发展，出现了图像识别技术，随着该技术的广泛使用，越来越多的领域用上了图像识别，例如利用图像识别对图像进行分类。
3.然而，目前的利用图片识别的人工智能模型进行图片分类的工作依然存在很大的问题，常常会出现图片识别错误的情况，即图像识别准确度低。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够图像识别方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
5.第一方面，本技术提供了一种图像识别方法。所述方法包括：获取图像对集合，所述图像对集合包括多个图像类别分别对应的目标图像对；将所述目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到所述目标图像对中的各个图像对应的图像提取特征；获取所述目标图像对所对应的所述图像提取特征之间的特征相似度；基于每个图像类别对应的所述目标图像对的特征相似度，得到每个图像类别对应的图像对比较损失值；对所述图像类别对应的所述图像对比较损失值进行统计，得到模型损失值；基于所述模型损失值调整所述待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
6.第二方面，本技术还提供了一种图像识别装置。所述装置包括：图像对获取模块，用于获取图像对集合，所述图像对集合包括多个图像类别分别对应的目标图像对；图像提取特征得到模块，用于将所述目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到所述目标图像对中的各个图像对应的图像提取特征；特征相似度获取模块，用于获取所述目标图像对所对应的所述图像提取特征之间的特征相似度；图像对比较损失值得到模块，用于基于每个图像类别所对应的所述目标图像对所对应的特征相似度，得到所述图像类别对应的图像对比较损失值；模型损失值得到模块，用于对所述图像类别对应的图像对比较损失值进行统计，得到模型损失值；图像识别模型得到模块，用于基于所述模型损失值调整所述待训练的图像识别模型的模型参数，得到已训练的所述图像识别模型。
7.在其中一个实施例中，图像对比较损失值得到模块，包括：相似度差值得到单元，用于对于每个图像类别，将每个所述负样本图像对的负样本特征相似度分别与每个所述正样本图像对的正样本特征相似度进行差值计算，得到相似度差值；图像对比较损失值得到单元，用于基于所述相似度差值计算得到所述图像类别对应的图像对比较损失值，所述图像对比较损失值与所述相似度差值成正相关关系。
8.在其中一个实施例中，相似度差值得到单元，用于：获取负样本加权系数以及正样
本加权系数；将所述负样本加权系数与所述负样本图像对的所述负样本特征相似度进行加权计算，得到第一加权相似度；将所述正样本加权系数与所述正样本图像对的所述正样本特征相似度进行加权计算，得到第二加权相似度；将所述第一加权相似度减去所述第二加权相似度，得到所述相似度差值。
9.在其中一个实施例中，相似度差值得到单元，用于：对于每个图像类别，将所述目标图像对的所述特征相似度存储到记忆模块中；当所述图像类别对应的所述目标图像对的特征相似度计算完毕，根据所述记忆模块中所述特征相似度对应的所述目标图像对的样本类型，将所述特征相似度划分为负样本特征相似度或者正样本特征相似度；将每个所述负样本图像对的所述负样本特征相似度分别与每个所述正样本图像对的所述正样本特征相似度进行差值计算，得到所述相似度差值。
10.在其中一个实施例中，所述装置还包括，图像对比损失值得到模块：将所述图像提取特征输入到图像识别层中进行识别，得到图像识别概率；基于所述图像识别概率得到图像识别损失值；所述模型损失值得到模块，用于：对所述图像类别对应的所述图像对比较损失值进行统计，得到统计比较损失值；将所述图像识别损失值与所述统计比较损失值进行求和计算，得到所述模型损失值。
11.在其中一个实施例中，图像识别模型得到模块，用于：基于所述统计比较损失值对所述图像特征提取层的参数进行调整，得到已训练的图像特征提取层；基于所述模型损失值对所述图像识别层的参数进行调整，得到已训练的所述图像识别层；基于已训练的所述图像特征提取层和所述已训练的所述图像识别层，得到已训练的图像识别模型。
12.在其中一个实施例中，每个图像类别对应的所述目标图像对包括正样本图像对以及负样本图像对，图像对获取模块，用于：获取初始样本图像集合，所述初始样本图像集合包括多个初始样本图像；对各个所述初始样本图像进行图像域转换，得到所述初始样本图像对应的转换样本图像；将所述初始样本图像与对应的所述转换样本图像进行组合，得到所述正样本图像对；将所述初始样本图像与其它所述初始样本图像对应的所述转换样本图像进行组合，得到所述负样本图像对。
13.第三方面，本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取图像对集合，所述图像对集合包括多个图像类别分别对应的目标图像对；将所述目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到所述目标图像对中的各个图像对应的图像提取特征；获取所述目标图像对所对应的所述图像提取特征之间的特征相似度；基于每个图像类别对应的所述目标图像对的特征相似度，得到每个图像类别对应的图像对比较损失值；对所述图像类别对应的所述图像对比较损失值进行统计，得到模型损失值；基于所述模型损失值调整所述待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
14.第四方面，本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取图像对集合，所述图像对集合包括多个图像类别分别对应的目标图像对；将所述目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到所述目标图像对中的各个图像对应的图像提取特征；获取所述目标图像对所对应的所述图像提取特征之间的特征相似度；基
于每个图像类别对应的所述目标图像对的特征相似度，得到每个图像类别对应的图像对比较损失值；对所述图像类别对应的所述图像对比较损失值进行统计，得到模型损失值；基于所述模型损失值调整所述待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
15.第五方面，本技术还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：获取图像对集合，所述图像对集合包括多个图像类别分别对应的目标图像对；将所述目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到所述目标图像对中的各个图像对应的图像提取特征；获取所述目标图像对所对应的所述图像提取特征之间的特征相似度；基于每个图像类别对应的所述目标图像对的特征相似度，得到每个图像类别对应的图像对比较损失值；对所述图像类别对应的所述图像对比较损失值进行统计，得到模型损失值；基于所述模型损失值调整所述待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
16.上述图像识别方法、装置、计算机设备、存储介质和计算机程序产品，通过获取图像对集合，图像对集合包括多个图像类别分别对应的目标图像对；将目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到目标图像对中的各个图像对应的图像提取特征；获取目标图像对所对应的图像提取特征之间的特征相似度；基于每个图像类别所对应的目标图像对所对应的特征相似度，得到图像类别对应的图像对比较损失值；对图像类别对应的图像对比较损失值进行统计，得到模型损失值；基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型。由于对图片进行特征提取，特征提取后通过计算目标图像对的图像提取特征的特征相似度，特征相似度能够表示同一个图像对中的两个图像的特征向量之间的相似情况，因此基于该特征相似度得到损失值，能够使得图像识别模型提取得到的特征越来越准确，而且该损失值是对多个类别的图像对比较损失值进行统计得到，因此能够综合多个类别的损失值调整模型参数，提高了图片识别模型的适用范围，提高了图片识别模型的准确率和图像识别的效率。
附图说明
17.图1为一个实施例中图像识别方法的应用环境图；图2为一个实施例中图像识别方法的流程示意图；图3为一个实施例中模型测试结果示意图；图4为一个实施例中模型训练和测试的流程程示意图；图5为一个实施例中图像识别步骤的流程示意图；图6为一个实施例中图像识别步骤的流程示意图；图7为一个实施例中图像识别步骤的流程示意图；图8为一个实施例中得到模型损失值步骤的流程示意图；图9为一个实施例中得到模型损失值步骤的流程示意图；图10为一个实施例图像识别步骤的流程示意图；图11为一个实施例中图像识别装置的结构框图；图12为一个实施例中计算机设备的内部结构图。
具体实施方式
18.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
19.本技术实施例提供的图像识别方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。数据存储系统可以存储服务器104需要处理的数据。数据存储系统可以集成在服务器104上，也可以放在云上或其他网络服务器上。终端102接收训练操作，并响应于该操作，向服务器发送训练指令，服务器104响应于训练指令，通过获取图像对集合，图像对集合包括多个图像类别分别对应的目标图像对；将目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到目标图像对中的各个图像对应的图像提取特征；获取目标图像对所对应的图像提取特征之间的特征相似度；基于每个图像类别所对应的目标图像对所对应的特征相似度，得到图像类别对应的图像对比较损失值；对图像类别对应的图像对比较损失值进行统计，得到模型损失值；基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型。其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备，物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
20.在一个实施例中，如图2所示，提供了一种图像识别方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：步骤s202，获取图像对集合，图像对集合包括多个图像类别分别对应的目标图像对。
21.其中，图像对集合可以是由两张图像组成的图像对组成的集合，例如两张狗的图像就组成了狗的图像对，两张猫的图像就组成了猫的图像对，然后把所有的猫的图像对和狗的图像对结合起来，就是图像对集合；图像类别可以是属于不同种类的图像，例如狗的图像属于一个类别，猫的图像属于另外一个类别，车的图像属于另外一个类别。图像对集合包括多个图像对，多个是指至少两个。
22.具体地，服务器获取用来训练模型的图像对集合，图像对集合中拥有多个图像类别分别对应的目标图像对。
23.在一个实施例中，摄像头从动物园中拍摄到多张猫、狗以及猪的图像，需要用这些图像组成图像对组成的集合训练图像识别模型，则服务器从摄像头终端获取猫、狗以及猪的图像对组成的集合。
24.步骤s204，将目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到目标图像对中的各个图像对应的图像提取特征。
25.其中，待训练的图像识别模型可以是准备被训练的人工智能模型，该模型被训练后能够对图像进行识别，然后分类；特征提取可以是特征提取层对图像对中的图像进行特征的提取，提取得到后的特征用特征向量表示，特征提取层可以为卷积神经网络（convolutional neural networks，cnn），是一类包含卷积计算且具有深度结构的前馈神经网络，特征提取层可以提取图像中的特征而获得特征向量；图像提取特征可以是图像对
中的图像被特征提取层进行特征提取后，所能够表示图像对中的图像的内容的特征。
26.具体的，将增强后的目标图像输入到待训练的图像识别模型中，由卷积神经网络构成的特征提取层对目标图像进行特征提取，提取后获得目标图像对中的各个图像对应的图像提取特征，图像提取特征由特征向量来表示。
27.在一个实施例中，将狗的图像对先进行图像增强，然后把增强后的狗的图像对输入到带训练的图像识别模型中的特征提取层进行特征提取，得到能够表示图像对中狗的特征向量。
28.步骤s206，获取目标图像对所对应的图像提取特征之间的特征相似度。
29.其中，特征相似度可以是两个特征向量进行相似度计算后所得到的值，该值的大小表示两个特征向量的相似度的高低，例如可以是余弦相似度。
30.具体的，对图像对中两个图像的图像提取特征计算余弦值，得到两个图像提取特征之间的相似度。
31.在一个实施例中，处于同一个图像对中的两张经过增强的狗的图像，提取得到它们的各自的图像提取特征，然后对这两个图像提取特征进行余弦值的计算，得到这两张狗的图像的相似度，如果余弦值较大，说明相似度高，如果余弦值较小，说明相似度低。
32.步骤s208，基于每个图像类别所对应的目标图像对所对应的特征相似度，得到图像类别对应的图像对比较损失值。
33.其中，图像对比较损失值可以是同一个类别中的目标图像中的特征相似度所计算出来的损失值。
34.具体的，对于每个图像类别对应的目标图像对所对应的特征相似度进行指数运算后求和，然后进行对数运算计算，计算得到的结果为一个类别所对应的图像对比较损失值。
35.在一个实施例中，对于图像类别为狗的目标图像对进行图像对比较损失值计算，得到该类别的损失值为l1。
36.步骤s210，对图像类别对应的图像对比较损失值进行统计，得到模型损失值。
37.其中，模型损失值可以是将所有的类别的图像对比较损失值进行综合计算得到的损失值，该损失值与模型参数息息相关，调整模型参数可以使得该损失值变化。
38.具体的，对所有的类别的图像对比较损失值进行求和，然后把得到的和对类别的个数求平均，得到的平均值为整个模型的模型损失值。具体的计算式如式（1）所示：（1）其中，sp代表正样本对特征相似度，sn代表负样本对特征相似度，特征相似度由两个图像提取特征点乘可得，是温度系数，取值可以选择为0.5，m是边界值，取值范围是8~16之间，kc是负样本对的数量，lc是正样本对的数量，c代表样本类别的数量，l是模型损失值。
39.在一个实施例中，狗的图像对比较损失值为l1，猫的图像对比较损失值为l2以及猪的图像对比较损失值为l3，那么整个模型的模型损失值为狗、猫以及猪的图像对比较损失值相加的和，然后再除以3。
40.在一个实施例中，还可以结合其他损失值得到模型损失值，例如根据以下公式计
算ce 损失值，将ce损失值与图像对比较损失值进行统计得到的损失值相加，得到模型损失值。ce损失值如公式（2）所示：（2）其中，sp代表正样本对特征相似度，sn代表负样本对特征相似度，特征相似度由两个图像提取特征点乘可得，c代表样本类别的数量，l是ce损失值。
41.步骤s212，基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
42.其中，模型参数表示模型中的参数，调整该参数可以使模型识别图像时可以达到所需要的性能，同时该参数跟损失值息息相关，损失值越小，该参数所对应的模型的性能就越佳；已训练的图像识别模型可以是已经调整好参数的模型，使得该模型能够满足图像识别的需求。
43.具体的，调整图像识别模型的参数，使得损失值变小，可以是经过多次的训练，使得模型达到使用的要求，得到已经训练好的图像识别模型。
44.在一个实施例中，需要训练一个能识别狗的图像识别模型，调整参数，使得模型损失值变小，使得该模型能够准确识别出狗的图像，则得到训练好的图像识别模型。
45.在一个实施例中，本技术实施例的图像识别方法可以应用于域泛化中，使用训练好的图像识别模型，可以得到一种新的域泛化学习框架，针对不同的原域学习相对应的全连接层来表达不同原域的知识，且最终通过融合的手段来加快速度，相关的模型使用效果如图3所示，图中的alexnet、resnet-18以及resnet-50为主干网络，clipart、inforgraph、painting、quickdraw、real以及sketch是训练的图像集合，avg为图像集合的识别效果的平均值。对于图像识别模型的使用详细的流程如图4所示。
46.上述图像识别方法中，通过获取图像对集合，图像对集合包括多个图像类别分别对应的目标图像对；将目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到目标图像对中的各个图像对应的图像提取特征；获取目标图像对所对应的图像提取特征之间的特征相似度；基于每个图像类别所对应的目标图像对所对应的特征相似度，得到图像类别对应的图像对比较损失值；对图像类别对应的图像对比较损失值进行统计，得到模型损失值；基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型。由于对图片进行特征提取，特征提取后通过计算目标图像对的图像提取特征的特征相似度，特征相似度能够表示同一个图像对中的两个图像的特征向量之间的相似情况，因此基于该特征相似度得到损失值，能够使得图像识别模型提取得到的特征越来越准确，而且该损失值是对多个类别的图像对比较损失值进行统计得到，因此能够综合多个类别的损失值调整模型参数，提高了图片识别模型的适用范围，提高了图片识别模型的准确率和图像识别的效率。
47.在一个实施例中，如图5所示，基于每个图像类别对应的目标图像对的特征相似
度，得到每个图像类别对应的图像对比较损失值包括：步骤s502，对于每个图像类别，将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值。
48.其中，负样本图像对可以是通过域转换后，得到的两张不相似的域转换图像所组成的图像对；正样本图像对可以是通过域转换后，得到的两张相似的转换图像所组成的图像对；负样本特征相似度可以是由负样本图像对中的图像所提取出来的特征向量之间计算得到的相似度；正样本特征相似度可以是由正样本图像对中的图像所提取出来的特征向量之间计算得到的相似度；相似度差值可以是负样本特征相似度和正样本特征相似度进行相减计算所得到的关于相似度的差值。
49.具体的，对于每个图像类别，都存在有负样本图像对和正样本图像对，将负样本图像对和正样本图像对里面的图像分别进行特征提取，对负样本对的特征提取值进行点乘，得到负样本特征相似度，对正样本对的特征提取值进行点乘，得到正样本特征相似度，然后把负样本特征相似度和正样本特征相似度进行相减，得到相似度差值。
50.在一个实施例中，对于狗这一类别，图像狗和图像猫组成负样本对，通过负样本特征相似度计算得到负样本特征相似度sn，图像狗1和图像狗2组成正样本对，通过正样本特征相似度计算得到正样本特征相似度sp，将负样本特征相似度减去正样本特征相似度，得到相似度差值s。
51.步骤s504，基于相似度差值计算得到图像类别对应的图像对比较损失值，图像对比较损失值与相似度差值成正相关关系。
52.其中，图像对比较损失值可以是相似度差值经过指数运算后，然后对不同样本对进行求和，最后经过对数运算所得到的损失值。
53.具体的，将相似度差值进行指数运算，该指数运算的结果为单调递增，也就是随着差异值得增大而增大，对每个样本的指数运算后的结果进行相加，得到的和再进行对数运算，由于对数的底为e，所以对数运算后的结果依然是单调递增，也就是说随着差异值得增大而增大，因此图像对比较损失值与相似度差值成正相关关系，计算过程如公式（1）中对类别个数c进行求和之前的步骤。
54.在一个实施例中，动物园各种动物的图像的正样本对和负样本对分别被计算出来相似度，对于不同动物所构成的负样本特征相似度减去相同动物所构成的正样本特征相似度，得到相似度差值，对该值进行指数运算，然后对不同动物所构成的样本对的相似度差值进行求和，得到的和再进行对数运算，则得到图像对比较损失值。
55.本实施例中，通过负样本特征相似度与正样本特征相似度进行相减，基于差值得到损失值，能够使得随着模型的训练，特征提取层提取得到的负样本对的特征的相似度越来越小，正样本对的特征的相似度越来越大，图像识别准确率更高。
56.在一个实施例中，如图6所示，将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值包括：步骤s602，获取负样本加权系数以及正样本加权系数。
57.其中，负样本加权系数可以是对负样本特征相似度进行加权计算的加权系数，该值能够改变负样本特征相似度处于相似度差值的比例；正样本加权系数可以是对正样本特征相似度进行加权计算的加权系数，该值能够改变正样本特征相似度处于相似度差值的比
例。
58.具体的，对服务器预先设置一个负样本加权系数以及正样本加权系数。
59.在一个实施例中，对服务器预先设置负样本加权系数为0.4，而对预先设置正样本加权系数为0.6。
60.步骤s604，将负样本加权系数与负样本图像对的负样本特征相似度进行加权计算，得到第一加权相似度。
61.其中，加权计算可以是把加权系数乘以被加权的项，该计算就为加权计算；第一加权相似度可以是负样本加权系数与负样本特征相似度进行相乘所得到的的乘积。
62.具体的，把预先给服务器设置好的负样本加权系数和负样本特征相似度进行相乘，得到的乘积就为第一加权相似度。
63.在一个实施例中，预先给服务器设置好的负样本加权系数为0.4，负样本特征相似度为0.8，则得到第一加权相似度为两者相乘，也就是0.32。
64.步骤s606，将正样本加权系数与正样本图像对的正样本特征相似度进行加权计算，得到第二加权相似度。
65.其中，加权计算可以是把加权系数乘以被加权的项，该计算就为加权计算；第二加权相似度可以是正样本加权系数与正样本特征相似度进行相乘所得到的的乘积。
66.具体的，把预先给服务器设置好的正样本加权系数和正样本特征相似度进行相乘，得到的乘积就为第二加权相似度。
67.在一个实施例中，预先给服务器设置好的正样本加权系数为0.6，正样本特征相似度为0.9，则得到第二加权相似度为两者相乘，也就是0.54。
68.步骤s608，将第一加权相似度减去第二加权相似度，得到相似度差值。
69.具体的，将负样本加权系数和负样本特征相似度相乘得到的第一加权相似度和正样本加权系数与正样本特征相似度相乘得到的第二加权相似度进行相减，得到相似度差值。
70.在一个实施例中，第一加权相似度为0.32，第二加权相似度为0.54，则相似度差值为-0.22。
71.本实施例中，通过对负样本特征相似度和正样本特征相似度引入各自的样本加权系数，能够达到调整负样本特征相似值和正样本特征相似值的权重，有助于训练模型的时候更容易获得更好的参数。
72.在一个实施例中，如图7所示，对于每个图像类别，将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值包括：步骤s702，对于每个图像类别，将目标图像对的特征相似度存储到记忆模块中。
73.其中，记忆模块可以是用来存储正样本特征相似度和负样本特征相似度的一个模块。
74.具体的，对于每一个图像类别，所有得到的正样本特征相似度和负样本特征相似度都被存储到记忆模块中，用作后续计算相似度差值。
75.在一个实施例中，狗1和狗2所组成的正样本特征相似度和狗1和猫1所组成的负样本特征相似度都被存储到记忆模块中。
76.步骤s704，当图像类别对应的目标图像对的特征相似度计算完毕，根据记忆模块中特征相似度对应的目标图像对的样本类型，将特征相似度划分为负样本特征相似度或者正样本特征相似度。
77.其中，样本类型可以是根据不同样本所得到的样本分类，例如是对于一个图像类别而言，该特征相似度对应的图像对是负样本对类型还是正样本对类型。
78.具体的，将所有图像类别对应的目标图像对都进行特征相似度计算，所得到的所有特征相似度都存储到记忆模块中，然后对记忆模块中的特征相似度将特征相似度划分为两种特征相似度，分别为负样本特征相似度和正样本特征相似度。
79.在一个实施例中，动物园的所有动物的图像对都进行了相似度计算，把所有的动物的特征相似度都存储到记忆模块中，然后把动物的特征相似度分为负样本特征相似度或者是正样本特征相似度。
80.步骤s706，将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值。
81.具体的，负样本特征相似度有多个，每个负样本图像对都对应一个相似度，正样本特征相似度也有多个，每个正样本图像对都都对应一个相似度，将同一类别中的每一个负样本特征相似度分别对每一个正样本特征相似度进行相减，得到相似度差值。
82.在一个实施例中，同一类别中，负样本特征相似度有3个，然后正样本特征相似度有2个，则每个负样本特征相似度都要与正样本特征相似度进行减法运算，得到相似度差值。
83.本实施例中，通过引入记忆模块对特征相似度进行存储，能够同时对多个样本的特征相似度进行计算，也使得计算特征相似度差值的时候具有大量的负样本特征相似度以及正样本特征相似度。
84.在一个实施例中，如图8所示，待训练的图像识别模型包括特征提取层以及图像识别层，图像提取特征时通过特征提取层提取得到的，图像识别方法包括：步骤s802，将图像提取特征输入到图像识别层中进行识别，得到图像识别概率。
85.其中，图像识别层可以是对特征提取层所提取到的图像的特征向量进行分类，分类后对于图像属于的任何一个类别都会给出相应的概率，最后会输出概率最大的那个类别作为该图像所属于的类别；图像识别概率可以是图像识别层对每个识别图像得到对于每一个类别所对应的概率。
86.具体的，将图像提取特征输入到图像识别层中，图像识别层会对图像提取特征进行分类，对于每一个类别都会给出该图像属于该类别的概率，得到图像识别概率，一般情况下，图像识别层会输出概率最大的那个类别作为识别结果。
87.在一个实施例中，把一个动物的图像提取特征输入到图像识别层中，图像识别层根据该特征进行识别，识别出该图像的狗的概率为0.85，猫的概率为0.1，猪的概率为0.05，因此该图像识别层输出的结果为狗。
88.步骤s804，基于图像识别概率得到图像识别损失值。
89.其中，图像识别损失值可以是经过识别后得到识别概率，根据识别概率得到用来表示图像识别层的性能的一个值，调整图像识别层的参数，可以使图像识别损失值变小，同时使得图像识别层的性能更优。例如可以是基于交叉熵计算方法计算得到图像识别损失
值。
90.具体的，通过图像识别层的分类，得到图像属于每一个类别的概率，基于这个图像识别概率，得到图像识别的损失值，调整图像识别层的参数，使得该损失值变小，获得更优的图像识别层。
91.在一个实施例中，图像识别层识别出图像的狗的概率为0.85，猫的概率为0.1以及猪的概率为0.05，根据上述的概率，得到了图像识别损失值l2。
92.对图像类别对应的图像对比较损失值进行统计，得到模型损失值包括：步骤s806，对图像类别对应的图像对比较损失值进行统计，得到统计比较损失值。
93.其中，统计比较损失值可以是把所有图像类别对应的图像对比较损失值进行求和以及求平均，最后得到的值即为统计比较损失值，例如采用公式（1）计算得到的损失值。
94.具体的，将所有图像类别对应的图像对比较损失值进行求和计算，然后把求和所得到的值对每个类别进行求平均，求平均后得到统计比较损失值。
95.在一个实施例中，4个图像类别对应的8个图像对的对比较损失值的和为1.6，由于这8个图像来自4个不同的类别，因此得到统计比较损失值为0.4。
96.步骤s808，将图像识别损失值与统计比较损失值进行求和计算，得到模型损失值。
97.具体的，把图像识别损失值和统计比较损失值进行求和，就得到模型损失值。调整图像识别的参数可以使得图像识别层损失值变小，使得图像识别层的性能更优，同样，调整特征提取层的参数可以使得统计比较损失值变小，使得图像特征提取层的性能更优。
98.在一个实施例中，图像识别损失值为l2，统计比较损失值为l3，两者相加起来得到模型损失值l。
99.本实施例中，通过图像特征提取层以及图像识别层的结合来进行图像识别，能够达到更广泛的识别范围和识别得更加准确。
100.在一个实施例中，如图9所示，基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型包括：步骤s902，基于统计比较损失值对图像特征提取层的参数进行调整，得到已训练的图像特征提取层。
101.其中，图像特征提取层可以对目标图像对里面的每一张图像的进行特征提取，提取后的特征用特征向量表示，该特征向量能够表示对应的图像的特征情况。
102.具体的，使用梯度下降算法，进行反向传播，对图像特征提取层的参数进行调整，同时使得统计比较损失值朝着变小的方向越来越小，得到训练好的图像特征提取层。
103.在一个实施例中，开始的时候统计比较损失值为a，通过调整图像特征提取层的参数，同时使用梯度下降算法，进行反向传播，使得a逐渐变小，得到训练好的图像特征提取层。
104.步骤s904，基于模型损失值对图像识别层的参数进行调整，得到已训练的图像识别层。
105.具体的，根据模型损失值对图像识别层的参数进行调整，使得模型损失值朝着变小的方向越来越小，得到训练好的图像识别层。
106.在一个实施例中，开始的时候模型损失值为l，通过调整图像识别层的参数，使得l逐渐变小，得到训练好的图像识别层。
107.步骤s906，基于已训练的图像特征提取层和已训练的图像识别层，得到已训练的图像识别模型。
108.具体的，将已经训练好的图像特征提取层和图像识别层拼接起来，成为可以使用的图像识别模型，该图像识别模型可以用于对图像进行识别。由于根据统计比较损失值调整图像特征提取层的参数，使得图像特征提取层的损失值越来越小，因此可以使得图像特征提取层的模型所提取得到的特征越来越准确；根据模型损失值调整图像识别层的参数，使得图像识别层的损失值越来越小，因此可以使得图像识别层的模型所分类取得到的图像的类别越来越准确。
109.本实施例中，通过结合图像特征提取层的参数调整和图像识别层的参数调整，使得图像识别模型的总体效果更为理想，能够达到性能更好，识别效率更高的图像识别模型。
110.在一个实施例中，如图10所示，每个图像类别对应的目标图像对包括正样本图像对以及负样本图像对，获取图像对集合包括：步骤s1002，获取初始样本图像集合，初始样本图像集合包括多个初始样本图像。
111.其中，初始样本图像组合可以是具有多个初始样本图像的集合；初始样本图像可以是从终端获得且未经过任何处理的样本图像。
112.具体的，服务器获取需要用来训练模型的初始样本图像集合，初始样本图像集合中拥有多个图像类别分别对应的初始样本图像。
113.在一个实施例中，摄像头从动物园中拍摄到多张猫、狗以及猪的图像，需要用这些图像组成初始样本图像集合训练图像识别模型，则服务器从摄像头终端获取猫、狗以及猪的初始样本图像的集合。
114.步骤s1004，对各个初始样本图像进行图像域转换，得到初始样本图像对应的转换样本图像。
115.其中，图像域转换可以是对初始样本图像进行域转换，使得特征提取时可以提取到更好的特征向量；转换样本图像可以是通过图像域转换，也就是通过图像增强所得到的图像。域转换是指将图像由一个域转换为另一个域（domain），使其风格发生变化。
116.具体的，将每一个初始样本图像进行图像域转换，例如将包含狗的初始样本图像中的狗进行锐化处理，得到图像域转换的狗，通过图像域转换之后得到每一个初始样本图像一一对应的转换样本图像。
117.在一个实施例中，一个初始样本图像中包含了一只猪，对该样本图像中的猪进行调亮，得到了通过图像域转换的含有一只猪的转化样本图像。
118.步骤s1006，将初始样本图像与对应的转换样本图像进行组合，得到正样本图像对。
119.具体的，将初始样本图像和该图像所对应的转换样本图像进行组合，由于这两幅图像是通过图像域转换而略有增强，但是表达的东西还是相同的，因此进行组合后是正样本图像对。
120.在一个实施例中，初始样本图像中包含一只狗，通过图像域转换后得到了转换后的转换样本图像，转换样本图像虽然略有增强，但是与初始样本图像同样表达一只狗，因此进行组合后为正样本图像对。
121.步骤s1008，将初始样本图像与其它初始样本图像对应的转换样本图像进行组合，
得到负样本图像对。
122.具体的，将初始样本图像和其它初始样本图像对应的转换样本图像进行组合，由于表达的东西不是相同的，通过图像域转换后表达的东西依然不相同，因此进行组合后是负样本图像对。
123.在一个实施例中，初始样本图像中包含一只狗，其它初始样本图像中包含一只猫，包含一只猫的初始样本图像通过图像域转换后得到了转换后的转换样本图像，两幅图像无论图像域转换前还是转换后都表示不同的东西，因此进行组合后为负样本图像对。
124.本实施例中，通过图像域转换，转换后的图像跟初始样本图像进行组合，得到正样本图像对以及负样本图像对，能够为训练模型引入比较，使后续模型训练能够训练出性能更优的模型。
125.对于本技术方案，具体的实施流程如图4所示。输入一张图片，首先对原域的每个目标图像对，用一个通用的网络来进行学习，针对得到的特征。每个学习到的特征都储存进记忆模块中，并且置于之后的全连接层。每个全连接层都使用了新的本技术实施例提高的计算比较损失值的方式来计算损失值，从而提高模型的识别效果。在预测阶段，所有的全连接层都可以合并为一层进行预测，如图4所示，目标图像对1、2、3以及4分别为不同的领域（domain），即针对不同图像域的图像分别训练全连接层。在测试阶段，可以把不同的领域学习得到的全连接层合并为一个图像分类，分类后作为预测结果。这样做的好处是在预测结果阶段，我们可以大大地加快预测结果速度。
126.本技术实施例得到的模式损失值，同时具有理论性与可行性。对比softmax loss，本方案得到的模型损失值lproxy-pair可以表示为：（3）其中，sp代表正样本对的特征相似度，sn代表负样本对的特征相似度，特征相似度由点乘可得，c代表样本类别的数量。经过本方案设计的loss，可以很好地同时兼容图像数量和图像种类的信息，图像数量和图像种类通过负样本加入到了本技术实施例最后的loss设计中。
127.应该理解的是，虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
128.基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的图像识别方法的图像识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个图像识别装置实施例中的具体限定可以参见上文中对于图像识别方法的限定，在此不再赘述。
129.在一个实施例中，如图11所示，提供了一种图像识别装置，包括：图像对获取模块、图像提取特征得到模块、特征相似度获取模块、图像对比较损失值得到模块、模型损失值得到模块和图像识别模型得到模块，其中：图像对获取模块1102，用于获取图像对集合，图像对集合包括多个图像类别分别对应的目标图像对；图像提取特征得到模块1104，用于将目标图像对中的图像分别输入到待训练的图像识别模型中进行特征提取，得到目标图像对中的各个图像对应的图像提取特征；特征相似度获取模块1106，用于获取目标图像对所对应的图像提取特征之间的特征相似度；图像对比较损失值得到模块1108，用于基于每个图像类别所对应的目标图像对所对应的特征相似度，得到图像类别对应的图像对比较损失值；模型损失值得到模块1110，用于对图像类别对应的图像对比较损失值进行统计，得到模型损失值；图像识别模型得到模块1112，用于基于模型损失值调整待训练的图像识别模型的模型参数，得到已训练的图像识别模型。
130.在其中一个实施例中，图像对比较损失值得到模块，包括：相似度差值得到单元，用于对于每个图像类别，将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值；图像对比较损失值得到单元，用于基于相似度差值计算得到图像类别对应的图像对比较损失值，图像对比较损失值与相似度差值成正相关关系。
131.在其中一个实施例中，相似度差值得到单元，用于：获取负样本加权系数以及正样本加权系数；将负样本加权系数与负样本图像对的负样本特征相似度进行加权计算，得到第一加权相似度；将正样本加权系数与正样本图像对的正样本特征相似度进行加权计算，得到第二加权相似度；将第一加权相似度减去第二加权相似度，得到相似度差值。
132.在其中一个实施例中，相似度差值得到单元，用于：对于每个图像类别，将目标图像对的特征相似度存储到记忆模块中；当图像类别对应的目标图像对的特征相似度计算完毕，根据记忆模块中特征相似度对应的目标图像对的样本类型，将特征相似度划分为负样本特征相似度或者正样本特征相似度；将每个负样本图像对的负样本特征相似度分别与每个正样本图像对的正样本特征相似度进行差值计算，得到相似度差值。
133.在其中一个实施例中，装置还包括，图像对比损失值得到模块：将图像提取特征输入到图像识别层中进行识别，得到图像识别概率；基于图像识别概率得到图像识别损失值；模型损失值得到模块，用于：对图像类别对应的图像对比较损失值进行统计，得到统计比较损失值；将图像识别损失值与统计比较损失值进行求和计算，得到模型损失值。
134.在其中一个实施例中，图像识别模型得到模块，用于：基于统计比较损失值对图像特征提取层的参数进行调整，得到已训练的图像特征提取层；基于模型损失值对图像识别
层的参数进行调整，得到已训练的图像识别层；基于已训练的图像特征提取层和已训练的图像识别层，得到已训练的图像识别模型。
135.在其中一个实施例中，每个图像类别对应的目标图像对包括正样本图像对以及负样本图像对，图像对获取模块，用于：获取初始样本图像集合，初始样本图像集合包括多个初始样本图像；对各个初始样本图像进行图像域转换，得到初始样本图像对应的转换样本图像；将初始样本图像与对应的转换样本图像进行组合，得到正样本图像对；将初始样本图像与其它初始样本图像对应的转换样本图像进行组合，得到负样本图像对。
136.上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
137.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储服务器数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法。
138.本领域技术人员可以理解，图12中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
139.在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
140.在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
141.在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
142.需要说明的是，本技术所涉及的用户信息（包括但不限于用户设备信息、用户个人信息等）和数据（包括但不限于用于分析的数据、存储的数据、展示的数据等），均为经用户授权或者经过各方充分授权的信息和数据。
143.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器（ferroelectric random access memory，fram）、相变存储器（phase change memory，
pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random access memory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
144.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
145.以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。