一种图像处理方法及相关设备与流程

1.本发明涉及计算机技术领域，尤其涉及一种图像处理方法及相关设备。


背景技术：

2.为了提取图像的更多的有价值的特征信息，现如今的提取方法采用了一些对比学习方法，但是，目前的一些对比学习方法可能会忽略有监督预训练能够提取图像的高阶特征信息，或者，主要学习图像的低级和中级的表征，而损失了图像的高级的语义信息；但是，尽管采用有监督的预训练模型对图像的高阶特征信息进行提取，通常也只关注与目标任务相关的有限图像区域，而忽略了图像剩余区域的有价值的信息。因此，如何使模型能够全面、有效地提取到图像的有用信息是亟待解决的问题。


技术实现要素：

3.本发明实施例提供一种图像处理方法及相关设备，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
4.一方面，本技术实施例公开了一种图像处理方法，该方法包括：
5.获取待处理图像；
6.调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；
7.基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
8.另一方面，本技术实施例公开了一种图像处理装置，该装置包括：
9.获取单元，用于获取待处理图像；
10.处理单元，用于调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；
11.确定单元，用于基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
12.本技术实施例还公开了一种图像处理设备，该图像处理设备包括：存储器、处理器，其中，所述存储器上存储有图像处理程序，所述图像处理程序被所述处理器执行上述图像处理方法的步骤。
13.本技术实施例还公开了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行上述图像处理方法的步骤。
14.相应地，本技术实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。图像处理设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该图像处理设备执行上述的图像处理方法。
15.实施本发明实施例，具有如下有益效果：获取待处理图像，并且调用图像处理模型对该待处理图像进行特征提取，得到该待处理图像的特征信息，其中，该图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，该训练样本集包括第一训练样本、第二训练样本和标注数据，该第二训练样本是基于所述第一训练样本生成的；基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种；由于联合训练过程中考虑了第二训练样本，而该第二训练样本是通过抑制图像中与任务最相关的高响应区域得到的，能够使该模型从其他图像区域提取更多的有价值的图像信息，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
附图说明
16.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例公开的一种图像处理系统的架构示意图；
18.图2是本技术实施例公开的一种图像处理方法的流程示意图；
19.图3a是本技术实施例公开的一种图像处理模型的第一阶段的训练过程示意图；
20.图3b是本技术实施例公开的一种图像处理模型的第二阶段的训练过程示意图；
21.图4本技术实施例公开的一种确定待处理图像的处理结果示意图；
22.图5是本技术实施例公开的一种待处理图像的分类任务示意图；
23.图6是本技术实施例公开的一种待处理图像的分割任务示意图；
24.图7是本技术实施例公开的一种待处理图像的检测任务示意图；
25.图8是本技术实施例公开的一种利用得到的图像处理模型执行目标任务训练的流程示意图；
26.图9是本技术实施例公开的一种图像处理模型的训练方法的流程示意图；
27.图10为本技术实施例提供的一种处理待处理图像的整体框架结构图；
28.图11是本技术实施例公开的一种图像处理装置的结构示意图；
29.图12是本技术实施例公开的一种图像处理设备的结构示意图。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.其中，本技术涉及的术语的含义如下：
32.对比学习：一种与任务无关的无监督的表示学习方法。在没有图像标签的情况下通过学习图像之间的相似与差异从而学习有关数据集的特征。
33.预训练：在执行目标任务之前，先通过执行大量数据上的特定任务(通常为图像分类)训练一个模型。
34.低级/中级/高级表征：低级特征通常为图像中的一些小的细节，例如边缘、颜色等；高级特征是具有语义信息的特征；中级特征介于两者之间。
35.下游任务：利用预训练模型或组件的监督学习任务。
36.高响应区域/低响应区域：高响应区域指网络抽取到的高层特征的对最终分类影响更大的图像区域。反之即为低响应区域。
37.多层感知机：一种前向结构的人工神经网络，由多层全连接层组成。
38.请参阅图1，图1为本技术实施例提供的一种图像处理系统的架构示意图，该架构示意图可包括客户端101和服务器102。其中，该服务器102可从客户端101中获取待处理图像，进而，该服务器102可执行本技术实施例所述的图像处理方法，调用图像处理模型对所述待处理图像进行特征提取，从而可以从其他图像区域提取更多的有价值的图像信息，进而可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
39.需要说明的是，客户端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能车载等，但并不局限于此；服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
40.在一种可选的实施方式中，服务器102可以获取待处理图像，例如客户端101可以向服务器102发送该待处理图像；服务器102可以调用图像处理模型对该待处理图像进行特征提取，得到该待处理图像的特征信息；其中，该图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，该训练样本集包括第一训练样本、第二训练样本和标注数据，该第二训练样本是基于该第一训练样本生成的，该联合训练包括有监督训练以及对比训练；基于该待处理图像的特征信息和目标任务确定该待处理图像的处理结果，该目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
41.可选地，还可以由客户端101获取待处理图像，并调用图像处理模型对该待处理图像进行特征提取，得到该待处理图像的特征信息；基于该待处理图像的特征信息和目标任务确定该待处理图像的处理结果，其中，图像处理模型是服务器102在利用训练样本集对第一神经网络和第二神经网络进行联合训练得到图像处理模型之后，提供给客户端101的。
42.本技术实施方式在联合训练过程中考虑了通过抑制图像中与任务最相关的区域，能够使图像处理模型从其他图像区域提取更多的有价值的图像信息，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
43.以下结合附图，对本技术实施例进行详细的阐述。
44.请参阅图2，图2为本技术实施例提供的一种图像处理方法的流程示意图，图2所示的图像处理方法是从客户端或者服务器的角度进行阐述的，该方法可包括但不限于以下步骤：
45.s201、获取待处理图像。
46.本技术实施例中，待处理图像可以是从视频中提取的一组图像，包括从直播视频中提取的一组图像；待处理图像也可以是拍摄装置拍摄得到的一组照片，例如，用户利用拍摄装置对实物进行拍照，并将拍摄得到的照片作为待处理图像；待处理图像还可以是从公开数据集(例如，miniimagenet，tieredimagenet和cifar-fs等公开数据集)上采样得到的。
47.s202、调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息。
48.本技术实施例中，待处理图像的特征信息可以包括待处理图像中高响应区域的特征信息以及低响应区域的特征信息。其中，该高响应区域可以是指对最终任务影响最大的图像区域，反之即为低响应区域。
49.在一种可选的实施方式中，图像处理模型的训练过程可以参考图3a与图3b，图3a为本技术实施例提供的一种图像处理模型的第一阶段的训练过程示意图，由图3a所示，该图像处理模型的第一阶段的训练过程可以是利用第一训练样本和其对应得标注数据301对第一神经网络302进行有监督训练，得到训练后的第一神经网络303；图3b为本技术实施例提供的一种图像处理模型的第二阶段的训练过程示意图，由图3b所示，该图像处理模型的第二阶段的训练过程可以是利用训练样本集对第一神经网络301和第二神经网络306进行联合训练得到的。其中，该训练样本集包括第一训练样本和其标注数据301、第二训练样本和其标注数据304，该第二训练样本305可以是基于该第一训练样本301生成的，该联合训练包括有监督训练309以及对比训练311。
50.例如，第二训练样本可以是对第一训练样本中的高响应区域抑制后得到的，也即是第二训练样本主要包含的是低响应区域的图像信息。
51.还例如，联合训练可以包括：利用第一训练样本和其对应得标注数据301对第一神经网络302进行有监督训练310，得到训练后的第一神经网络303；利用第一训练样本301、第二训练样本304和其对应得标注数据对训练后的第一神经网络302进行有监督训练310，得到第一特征投影307，在上述有监督训练310的同时，利用第二训练样本305对第二神经网络306进行训练，得到第二特征投影308；利用该第一训练结果与该第二训练结果进行无监督对比训练。
52.其中，该第一神经网络302和第二神经网络306可以是卷积神经网络，循环神经网络，深度神经网络，等等；该标注数据可以是基于待处理图像的信息利用one-shot方法得到的或者人工标注得到的。
53.s203、基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
54.本技术实施例中，该处理结果可以是针对待处理图像的分类结果，分割结果以及检测结果中的一种或多种。请参阅图4，图4为本技术实施例提供的一种确定待处理图像的处理结果示意图，由图4所示，调用图像处理模型对该待处理图像进行特征提取，并根据目标任务将提取到的特征导入对应的任务处理模块中，从而确定该待处理图像的处理结果。
55.例如，假设目标任务是分类任务时，可以参考图5，图5为本技术实施例提供的一种待处理图像的分类任务示意图，由图5所示，将待处理“狗”的图像501导入到图像处理模型502，通过调用图像处理模型502对该待处理“狗”的图像501进行特征提取，得到该待处理“狗”的图像的特征信息，将提取到的图像的特征信息导入图像处理模型后的分类器503，然后利用该分类器503输出“狗”的图像或者“猫”的图像，亦或者“猴子”的图像的预测结果。
56.还例如，假设目标任务是分割任务时，可以参考图6，图6为本技术实施例提供的一种待处理图像的分割任务示意图，由图6所示，将待处理的图像601导入到图像处理模型602，得到该待处理的图像的特征信息，将提取到的图像的特征信息导入分割器603，输出待处理的图像中每个像素的分类结果604，即得到最终的分割结果。
57.还例如，假设目标任务是检测任务时，可以参考图7，图7为本技术实施例提供的一种待处理图像的检测任务示意图，由图7所示，将待处理“猫”的图像701导入到图像处理模型702中的cnn特征提取模块703，通过调用图像处理模型702中的cnn特征提取模块703对该待处理“猫”的图像701进行cnn特征提取，得到该待处理“猫”的图像的特征信息，将提取到的图像的特征信息与该待处理“猫”的图像的预选框图像区域进行处理，输出“猫”的检测框704，即得到该待处理“猫”的图像的检测结果。
58.在一种可选的实施方式中，该待处理图像携带在客户端的图像处理请求中，该图像处理请求还包括目标任务的任务标识；该基于该待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，包括：根据该目标任务的任务标识，从该图像处理模型包括的一个或多个任务处理模块中确定该目标任务对应的任务处理模块；调用该目标任务对应的任务处理模块对该待处理图像的特征信息进行处理，得到对应的处理结果；向该客户端发送该待处理图像的处理结果。
59.在一种可选的实施方式中，可以参考图8，图8为本技术实施例提供的一种利用得到的图像处理模型执行目标任务训练的流程示意图，由图8所示，前端a接收目标任务训练数据和标注，上传给后端，后端使用本技术实施例得到的图像处理模型执行目标任务训练以及测试目标模型，最后输出目标任务的模型到前端b，其中，前端a与前端b可以是同一终端，也可以不是同一终端。
60.本技术实施例中，在对图像处理模型联合训练过程中考虑了通过抑制图像中与任务最相关的高响应区域，能够使该模型从其他图像区域提取更多的有价值的图像信息，可以全面、有效地提取到图像的有用信息，从而将得到的模型作为其他下游任务(分类任务，分割任务以及检测任务，等等)的初始化模型，提升下游任务的准确性。
61.以上介绍了利用图像处理方法对待处理图像进行处理的过程，下面对图像处理模型的训练方式进行介绍。
62.请参见图9，为本技术实施例公开的一种图像处理模型的训练方法的流程示意图。该训练方法包括但不限于以下步骤：
63.s901、获取第一训练样本以及对应的标注数据。
64.本技术实施例中，第一训练样本可以是从视频中提取的一组图像，包括从直播视频中提取的一组图像；第一训练样本也可以是拍摄装置拍摄得到的一组照片，例如，用户利用拍摄装置对实物进行拍照，并将拍摄得到的照片作为第一训练样本；第一训练样本还可以是从公开数据集(例如，miniimagenet，tieredimagenet和cifar-fs等公开数据集)上采样得到的。第一训练样本对应的标注数据可以是通过one-shot方法对第一训练样本进行处理生成的数据。
65.s902、基于所述第一训练样本以及对应的标注数据对第一神经网络进行训练，得
到训练后的第一神经网络。
66.本技术实施例中，该训练后的第一神经网络可以是基于第一训练样本以及对应的标注数据，利用最小化交叉熵损失函数对第一神经网络进行有监督的训练获得。
67.s903、基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本。
68.本技术实施例中，基于该训练后的第一神经网络和该第一训练样本生成第二训练样本，可以包括：基于该训练后的第一神经网络对该第一训练样本进行处理，得到该第一训练样本的类激活热力图；基于该第一训练样本和该类激活热力图生成第二训练样本。
69.在一种可选的实施方式中，基于该训练后的第一神经网络对该第一训练样本进行处理，得到该第一训练样本的类激活热力图，可以包括：在得到训练后的第一神经网络之后，将该第一训练样本导入该训练后的第一神经网络进行特征提取，并基于提取的特征，得到该第一训练样本的类激活热力图。
70.在一种可选的实施方式中，基于该第一训练样本和该类激活热力图生成第二训练样本，可以包括：基于该第一训练样本的图像尺寸对该类激活热力图进行缩放处理，得到缩放处理后的类激活热力图；对该缩放处理后的类激活热力图进行归一化处理；将归一化处理后的类激活热力图与该第一训练样本进行矩阵相乘运算，得到该第二训练样本。
71.在一种可选的实施方式中，在得到该第一训练样本的类激活热力图之后，确定该第一训练样本的类激活热力图的长宽比，若该第一训练样本的类激活热力图的初始长宽比不为该第一训练样本的长宽比，则对该第一训练样本的类激活热力图进行按照预设尺寸缩放处理，以使该第一训练样本的类激活热力图的尺寸与该第一训练样本的尺寸一致。
72.例如，假设该第一训练样本的图像尺寸为m*n，则可以对该类激活热力图进行按照m*n的尺寸缩放处理，得到m*n尺寸的类激活热力图像。
73.在一种可选的实施方式中，在得到该m*n尺寸的类激活热力图像之后，还可以将尺寸为m*n的类激活热力图的像素值标准化到[0,1]，得到像素值为[0,1]的类激活热力图。
[0074]
在一种可选的实施方式中，在得到像素值为[0,1]的类激活热力图之后，还可以将该像素值为[0,1]的类激活热力图与第一训练样本的元素进行矩阵对应元素相乘运算，得到该第二训练样本。其中，第二训练样本可以是对第一训练样本中的高响应区域抑制后得到的，也即是第二训练样本主要包含的是低响应区域的图像信息。
[0075]
s904、基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型，其中，所述第二神经网络为所述第一神经网络的孪生网络。
[0076]
本技术实施例中，孪生网络指的是网络的结构相同，但网络参数不同；基于该第一训练样本、该第二训练样本以及对应的标注数据，对第二神经网络以及该训练后的第一神经网络进行联合训练，得到图像处理模型，可以包括：调用该训练后的第一神经网络分别对该第一训练样本和该第二训练样本进行处理，得到该第一训练样本的预测结果和第一特征投影、该第二训练样本的预测结果，其中，该第一特征投影包括所述第一训练样本中高响应图像区域的特征；调用第二神经网络以及对应的预测函数对该第二训练样本进行处理，得到第二特征投影，该第二特征投影包括该第二训练样本中低响应图像区域的特征；基于该第一训练样本的预测结果、该第二训练样本的预测结果、对应的标注数据、该第一特征投影和该第二特征投影，确定目标损失；根据该目标损失对第二神经网络的网络参数以及该训
练后的第一神经网络的网络参数进行调整，以得到图像处理模型，该图像处理模型包括网络参数调整后的该训练后的第一神经网络。
[0077]
其中，调用该训练后的第一神经网络分别对该第一训练样本和该第二训练样本进行处理的过程以及调用第二神经网络以及对应的预测函数对该第二训练样本进行处理的过程是同时进行的。
[0078]
在一种可选的实施方式中，调用该训练后的第一神经网络分别对该第一训练样本和该第二训练样本进行处理，得到该第一训练样本的预测结果和第一特征投影、该第二训练样本的预测结果，可以包括：调用该训练后的第一神经网络分别对该第一训练样本和该第二训练样本进行特征提取，并基于提取的特征得到该第一训练样本的预测结果和第一特征投影、该第二训练样本的预测结果，其中，该第一特征投影可以是调用训练后的第一神经网络把高维空间的第一训练样本或者提取得到的特征投影到低维空间，进而提取出低维空间的特征向量。
[0079]
并且，该第一特征投影包括该第一训练样本中高响应图像区域的特征；该预测结果可以是分类结果，检测结果以及分割结果中的一种或几种。
[0080]
在一种可选的实施方式中，调用第二神经网络以及对应的预测函数对该第二训练样本进行处理，得到第二特征投影，该第二特征投影包括该第二训练样本中低响应图像区域的特征，可以包括：调用第二神经网络对该第二训练样本进行特征提取，利用对应的预测函数对提取到的特征映射处理，得到第二特征投影。其中，该第二特征投影可以是调用第二神经网络把高维空间的第二训练样本或者提取得到的特征投影到低维空间，进而提取出低维空间的特征向量。并且，该第二特征投影包括该第二训练样本中低响应图像区域的特征。
[0081]
在一种可选的实施方式中，基于该第一训练样本的预测结果、该第二训练样本的预测结果、对应的标注数据、该第一特征投影和该第二特征投影，确定目标损失，可以包括：基于该第一训练样本的预测结果以及对应的标注数据确定第一损失；基于该第二训练样本的预测结果以及对应的标注数据确定第二损失；基于该第一特征投影和该第二特征投影确定对比损失；基于该第一损失、第二损失以及对比损失确定目标损失。
[0082]
例如，可以参考图10，图10为本技术实施例提供的一种处理待处理图像的整体框架结构图，由图10所示，包括(a)，(b)，(c)，(d)四个步骤：
[0083]
(a)：基于第一训练样本x和对应的标签数据y，通过最小化交叉熵损失l
cls
(f
θ
(x))训练有监督模型f
θ
。
[0084]
(b)：生成第一训练样本x的类激活热力图mc，将类激活热力图mc缩放到第一训练样本x的尺寸并将热力图mc的值标准化到到[0,1]得到随后抑制图像中的高响应区域：将该x'作为第二训练样本，y'为x'对应的标签数据。
[0085]
(c)：将抑制后的图像放入有监督模型f
θ
中，通过最小化交叉熵损失l
cls
(f
θ
(x
′
))对其进行训练，使模型关注到低响应区域。
[0086]
(d)：在上述有监督训练的同时，将第一训练样本x输入到f
θ
中，第二训练样本x
′
输入到g(f
ξ
)，分别得到两个特征投影：z＝f
θ
(x),z
′
＝g(f
ξ
(x
′
))。利用z和z
′
通过对比损失l
self
(z,z
′
)优化图像处理模型。
[0087]
步骤s902得到的训练后的第一神经网络为f
θ
；第二神经网络为f
ξ
，则第二训练样本
为x'与第一训练样本为x的关系为公式1所示：
[0088][0089]
其中，为x的标准化后的类激活热力图，表示矩阵对应元素相乘。
[0090]
第一损失函数为公式2所示：
[0091][0092]
n为第一训练样本的总数；
[0093]
第二损失函数为公式3所示：
[0094][0095]
n为第二训练样本的总数；
[0096]
将x输入到f
θ
中，x
′
输入到g(f
ξ
)，分别得到两个特征投影：z＝f
θ
(x),z
′
＝g(f
ξ
(x
′
))，再利用z和z
′
通过得到对比损失函数l
self
(z,z')，g为预测函数。
[0097]
示例性地，当对于moco_v2(一种动量对比的方法)来说，g为恒等映射，即为常数1；f
θ
和f
ξ
的结构相同但参数不同，f
θ
的参数通过梯度下降更新，f
ξ
的参数通过指数移动平均值更新：ξ
←
mξ (1-m)θ，其中m∈[0,1)。
[0098][0099]
其中，τ为温度系数，k为负样本的个数。
[0100]
当对于simsiam(一种有两个分支的网络，其中，每一个分支的输入不同，但每一分支的结构与网络参数相同)，g为多层感知机(multilayer perceptron，mlp)，f
θ
和f
ξ
共享参数，即f
θ
＝f
ξ
，则对比损失函数为公式(5)所示：
[0101][0102]
最后，目标损失为公式6所示：
[0103]
l(x)＝l
cls
(f
θ
(x)) l
cls
(f
θ
(x
′
)) l
self
(f
θ
(x),g(f
ξ
(x
′
)))
ꢀꢀ
(6)
[0104]
在一种可选的实施方式中，根据该目标损失对第二神经网络的网络参数以及该训练后的第一神经网络的网络参数进行调整，以得到图像处理模型，该图像处理模型包括网络参数调整后的该训练后的第一神经网络。
[0105]
例如，可以根据该目标损失对第二神经网络的θ以及该训练后的第一神经网络的ξ进行调整，以得到图像处理模型，该图像处理模型包括网络参数调整后的该训练后的第一神经网络f
θ
。
[0106]
在一种可选的实施方式中，本技术实施例还可以在标准小样本识别任务上分别与有监督预训练(supervised)，基于exemplar的对比学习方法和三种不同的对比学习方法(byol，moco_v2，simsiam)进行比较。由表1可见，有监督方法(supervised)在两个数据集上的分类准确率超过了无监督(byol，moco_v2，simsiam)方法。另外，本技术实施例联合了有监督和无监督方法在两个数据集的1-shot和5-shot设置上均优于现有技术方案，验证了本发明的有效性。
[0107]
表1本技术实施例在miniimagenet和tieredimagenet上的与现有技术方案的标准小样本识别5分类(5-way)准确率(％)对比
[0108][0109]
在一种可选的实施方式中，本技术实施例为了在更真实的场景下测试本技术方案的迁移性能，设计了在公开的数据库tieredimagenet和cifar-fs之间的领域迁移小样本识别实验。利用模型在tieredimagenet或cifar-fs的基类预训练，在新类组成的600个任务上测试。由表2所示，本技术实施例相比于其他预训练方法有3
–
16％的提升。此任务比标准的小样本识别任务更具挑战性，但本技术实施例仍能够达到最优的迁移性能。
[0110]
表2跨域小样本识别5分类(5-way)准确率(％)。tiered
→
cifar表示在tieredimgenet的基类上预训练，在cifar-fs的新类测试。
[0111][0112]
在一种可选的实施方式中，本技术实施例为了探究本技术实施例中的对比方法在
除分类任务外的其他下游任务的迁移性能，在两个任务上进行实验：pascal voc目标检测和cityscapes语义分割。在tieredimagenet的基类数据上预训练。对于pascal voc目标检测，本技术实施例用fast-rcnn作为检测器，输入图像被缩放到800
×
800。优化器为adam[21]，共训练100个时期，衰减权重为5
×
10-4，batch大小为4。学习率设置为1
×
10-4，每个时期乘以0.95。本技术实施例在voc2007和voc2012数据集的训练集微调预训练模型，在voc2007的测试集检测，得到最终的平均精确度(ap)。对于cityscapes语义分割，本技术实施例基于deeplab v3 [16]进行分割。输入图像被缩放到768
×
768，优化器为随机梯度下降优化器，训练30,000次迭代，动量为0.9，学习率为0.01，衰减权重为1
×
10-4，batch大小为8。两种任务都以resnet-50[17]为主干网络，网络中的每一层都会被端到端微调。训练时图像增强方法包括随机缩放，随机裁剪以及水平翻转。最终在cityscapes的验证集分割得到平均交并比(miou)。
[0113]
从表3可以看出，本技术实施例(基于moco_v2)在voc目标检测和cityscapes语义分割的性能都超过了其他对比方法1—2％,包括有监督(supervised)，moco_v2，simsiam和exemplar。这证明了本技术实施例的对比学习方法在其他下游任务上也能提升迁移性能。
[0114]
表3 pascal voc目标检测和cityscapes语义分割的性能。
[0115][0116]
综上所述，本技术实施例在对图像处理模型联合训练过程中考虑了通过抑制图像中与任务最相关的高响应区域，能够使该模型从其他图像区域提取更多的有价值的图像信息，可以全面、有效地提取到图像的有用信息，从而提升任务处理的准确度。
[0117]
基于上述的方法实施例，本技术实施例还提供了一种图像处理装置的结构示意图。参见图11，为本技术实施例提供的一种图像处理装置的结构示意图。图11所示的图像处理装置1000可运行如下单元：获取单元1001，处理单元1002，训练单元1003，确定单元1004，用于对待处理图像进行处理；
[0118]
获取单元1001，用于获取待处理图像；
[0119]
处理单元1002，用于调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练；
[0120]
确定单元1003，用于基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
[0121]
在一种可选的实施方式中，该获取单元1001，用于获取待处理图像。
[0122]
在一种可选的实施方式中，该处理单元1002，用于调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一
训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，所述联合训练包括有监督训练以及对比训练。
[0123]
在一种可选的实施方式中，该确定单元1003，用于基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
[0124]
在一种可选的实施方式中，该获取单元1001，用于获取第一训练样本以及对应的标注数据时，基于所述第一训练样本以及对应的标注数据对第一神经网络进行训练，得到训练后的第一神经网络；
[0125]
基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本；
[0126]
基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型，其中，所述第二神经网络为所述第一神经网络的孪生网络。
[0127]
在一种可选的实施方式中，该处理单元1002，用于基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型时，调用所述训练后的第一神经网络分别对所述第一训练样本和所述第二训练样本进行处理，得到所述第一训练样本的预测结果和第一特征投影、所述第二训练样本的预测结果，所述第一特征投影包括所述第一训练样本中高响应图像区域的特征；
[0128]
调用第二神经网络以及对应的预测函数对所述第二训练样本进行处理，得到第二特征投影，所述第二特征投影包括所述第二训练样本中低响应图像区域的特征；
[0129]
基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征投影和所述第二特征投影，确定目标损失；
[0130]
根据所述目标损失对第二神经网络的网络参数以及所述训练后的第一神经网络的网络参数进行调整，以得到图像处理模型，所述图像处理模型包括网络参数调整后的所述训练后的第一神经网络。
[0131]
在一种可选的实施方式中，该确定单元1003，用于基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征投影和所述第二特征投影，确定目标损失时，基于所述第一训练样本的预测结果以及对应的标注数据确定第一损失；
[0132]
基于所述第二训练样本的预测结果以及对应的标注数据确定第二损失；
[0133]
基于所述第一特征投影和所述第二特征投影确定对比损失；
[0134]
基于所述第一损失、第二损失以及对比损失确定目标损失。
[0135]
在一种可选的实施方式中，该处理单元1002，用于基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本时，基于所述训练后的第一神经网络对所述第一训练样本进行处理，得到所述第一训练样本的类激活热力图；
[0136]
基于所述第一训练样本和所述类激活热力图生成第二训练样本。
[0137]
在一种可选的实施方式中，该处理单元1002，用于基于所述第一训练样本和所述类激活热力图生成第二训练样本时，基于所述第一训练样本的图像尺寸对所述类激活热力图进行缩放处理，得到缩放处理后的类激活热力图；
[0138]
对所述缩放处理后的类激活热力图进行归一化处理；
[0139]
将归一化处理后的类激活热力图与所述第一训练样本进行矩阵相乘运算，得到所述第二训练样本。
[0140]
在一种可选的实施方式中，该确定单元1003，用于基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果时，根据所述目标任务的任务标识，从所述图像处理模型包括的一个或多个任务处理模块中确定所述目标任务对应的任务处理模块；
[0141]
调用所述目标任务对应的任务处理模块对所述待处理图像的特征信息进行处理，得到对应的处理结果；
[0142]
向所述客户端发送所述待处理图像的处理结果。
[0143]
根据本技术的一个实施例，图2所示的图像处理方法以及图9所示的图像处理模型的训练方法所涉及各个步骤可以是由图11所示的图像处理装置中的各个单元来执行的。例如，图2所示的图像处理方法中步骤s201可由图11所示的图像处理装置中的获取单元1001来执行，步骤s202可由图11所示的图像处理装置中的处理单元1002来执行；图6所示的图像处理模型的训练方法中步骤s601-s603可由图11所示的图像处理装置中的训练单元1003来执行，步骤s604可由图11所示的图像处理装置中的确定单元1004来执行。
[0144]
根据本技术的实施例，图11所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，基于图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0145]
根据本技术的实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2以及图9所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图11中所示的图像处理装置，以及来实现本技术实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
[0146]
本技术实施例中，处理单元1002利用图像处理模型对获取的待处理图像进行处理，得到该待处理图像的特征信息，其中，图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的，采用上述的方法可以获取图像中更多的图像信息以及更有效的特征信息。
[0147]
基于上述方法以及装置实施例，本技术实施例提供了一种图像处理设备。参见图12，为本技术实施例提供的一种图像处理设备的结构示意图。图12所示的图像处理设备1100至少包括处理器1101、输入接口1102、输出接口1103、计算机存储介质1104以及存储器1105。其中，处理器1101、输入接口1102、输出接口1103、计算机存储介质1104以及存储器1105可通过总线或其他方式连接。
[0148]
计算机存储介质1104可以存储在图像处理设备1100的存储器1105中，所述计算机
存储介质1104用于存储计算机程序，所述计算机程序包括程序指令，所述处理器1101用于执行所述计算机存储介质1104存储的程序指令。处理器1101(或称cpu(central processing unit，中央处理器))是图像处理设备1100的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或多条计算机指令从而实现相应方法流程或相应功能。
[0149]
本技术实施例还提供了一种计算机存储介质(memory)，所述计算机存储介质是图像处理设备1100中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括图像处理设备1100中的内置存储介质，当然也可以包括图像处理设备1100支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了图像处理设备1100的操作系统。并且，在该存储空间中还存放了适于被处理器1101加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
[0150]
在一个实施例中，所述计算机存储介质可由处理器1101加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2所示的图像处理方法以及图9所示的图像处理模型的训练方法的相应步骤。具体实现中，计算机存储介质中的一条或多条指令由处理器1101加载并执行如下步骤：
[0151]
获取待处理图像；调用图像处理模型对所述待处理图像进行特征提取，得到所述待处理图像的特征信息；其中，所述图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，所述训练样本集包括第一训练样本、第二训练样本和标注数据，所述第二训练样本是基于所述第一训练样本生成的；基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果，所述目标任务包括分类任务、分割任务以及检测任务中的一种或多种。
[0152]
在一种可选的实施方式中，所述处理器1101还用于取第一训练样本以及对应的标注数据；
[0153]
基于所述第一训练样本以及对应的标注数据对第一神经网络进行训练，得到训练后的第一神经网络；基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本；基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型，其中，所述第二神经网络为所述第一神经网络的孪生网络。
[0154]
在一种可选的实施方式中，所述处理器1101基于所述第一训练样本、所述第二训练样本以及对应的标注数据，对第二神经网络以及所述训练后的第一神经网络进行联合训练，得到图像处理模型时，还用于调用所述训练后的第一神经网络分别对所述第一训练样本和所述第二训练样本进行处理，得到所述第一训练样本的预测结果和第一特征投影、所述第二训练样本的预测结果，所述第一特征投影包括所述第一训练样本中高响应图像区域的特征；调用第二神经网络以及对应的预测函数对所述第二训练样本进行处理，得到第二特征投影，所述第二特征投影包括所述第二训练样本中低响应图像区域的特征；基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征
投影和所述第二特征投影，确定目标损失；根据所述目标损失对第二神经网络的网络参数以及所述训练后的第一神经网络的网络参数进行调整，以得到图像处理模型，所述图像处理模型包括网络参数调整后的所述训练后的第一神经网络。
[0155]
在一种可选的实施方式中，所述处理器1101基于所述第一训练样本的预测结果、所述第二训练样本的预测结果、对应的标注数据、所述第一特征投影和所述第二特征投影，确定目标损失时，还用于基于所述第一训练样本的预测结果以及对应的标注数据确定第一损失；基于所述第二训练样本的预测结果以及对应的标注数据确定第二损失；基于所述第一特征投影和所述第二特征投影确定对比损失；基于所述第一损失、第二损失以及对比损失确定目标损失。
[0156]
在一种可选的实施方式中，所述处理器1101基于所述训练后的第一神经网络和所述第一训练样本生成第二训练样本时，还用于基于所述训练后的第一神经网络对所述第一训练样本进行处理，得到所述第一训练样本的类激活热力图；基于所述第一训练样本和所述类激活热力图生成第二训练样本。
[0157]
在一种可选的实施方式中，所述处理器1101基于所述第一训练样本和所述类激活热力图生成第二训练样本时，还用于基于所述第一训练样本的图像尺寸对所述类激活热力图进行缩放处理，得到缩放处理后的类激活热力图；对所述缩放处理后的类激活热力图进行归一化处理；将归一化处理后的类激活热力图与所述第一训练样本进行矩阵相乘运算，得到所述第二训练样本。
[0158]
在一种可选的实施方式中，所述待处理图像携带在客户端的图像处理请求中，所述图像处理请求还包括目标任务的任务标识，所述处理器1101基于所述待处理图像的特征信息和目标任务确定所述待处理图像的处理结果时，还用于根据所述目标任务的任务标识，从所述图像处理模型包括的一个或多个任务处理模块中确定所述目标任务对应的任务处理模块；调用所述目标任务对应的任务处理模块对所述待处理图像的特征信息进行处理，得到对应的处理结果；向所述客户端发送所述待处理图像的处理结果。
[0159]
本技术实施中，处理器1101调用图像处理模型对该待处理图像进行特征提取，得到该待处理图像的特征信息，其中，该图像处理模型是利用训练样本集对第一神经网络和第二神经网络进行联合训练得到的，该训练样本集包括第一训练样本、第二训练样本和标注数据，该第二训练样本是基于所述第一训练样本生成的；由于训练过程中考虑了通过抑制图像中与任务最相关的区域，使该模型可以从其他区域提取更多的图像信息，并且将无监督对比学习方法与基于类激活热力图的有监督算法对模型进行联合训练，进而可以获取图像中更有效的特征信息。
[0160]
本技术实施例还提供了一种计算机产品或计算机程序，该计算机产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。处理器1101从计算机可读存储介质中读取该计算机指令，处理器1101执行该计算机指令，使得图像处理设备1100执行图2所示的图像处理方法以及图9所示的图像处理模型的训练方法。
[0161]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可能可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申
请所必须的。
[0162]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
[0163]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0164]
以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。