模型训练、图像处理方法，装置，设备以及存储介质与流程

1.本公开涉及计算机技术领域，具体涉及深度学习、计算机视觉领域，尤其涉及模型训练、图像处理方法，装置，设备以及存储介质。


背景技术：

2.随着计算机技术与互联网行业的迅猛发展，人工智能时代正悄然来临。计算机视觉处理技术不断发展成熟。其中针对人脸的识别分析任务尤为热门，其在支付，安防，人机交互等领域都有着广泛的应用。根据自然环境中的光照条件变化，这些任务需要在光照条件较好的情况下通过光学摄像头采集可见光图像作为输入，在光照条件较差的情况下，采用红外摄像头采集红外图像作为输入，两种模态数据的数量与丰富程度对上述人脸相关任务的表现起到至关重要的作用。对于关注人脸细节的任务往往对人脸细节进行精确的数据标注，但红外图像有视觉效果模糊，信噪比低，分辨率差的特点，直接在红外图像上进行数据标注会存在难度大，成本高的问题。因此，采用图像风格迁移的方法将光学图像迁移为红外图像，并且光学图像的数据标注作为红外图像的数据标注结果成为一个行之有效的解决方法。


技术实现要素：

3.本公开提供了一种模型训练、图像处理方法，装置，设备以及存储介质。
4.根据第一方面，提供了一种模型训练方法，包括：获取训练样本对集合，训练样本对集合中的训练样本对包括样本可见光图像和对应的样本红外图像；将各样本可见光图像输入第一生成器，得到第一红外图像后，将第一红外图像输入第二生成器，得到第一可见光图像，第一生成器用于将可见光图像转换成红外图像，第二生成器用于将红外图像转换成可见光图像；将对应的各样本红外图像输入第二生成器，得到第二可见光图像，将第二可见光图像输入第一生成器，得到第二红外图像；基于所输入的样本图像以及得到的图像，确定第一目标损失函数或第二目标损失函数；根据第一目标损失函数或第二目标损失函数，训练第一生成器和第二生成器。
5.根据第二方面，提供了一种图像处理方法，包括：获取目标可见光图像或目标红外图像；利用已训练好的第一生成器生成目标可见光图像对应的处理红外图像或利用已训练好的第二生成器生成目标红外图像对应的处理可见光图像，其中，第一生成器和第二生成器通过如第一方面所描述的方法训练得到。
6.根据第三方面，提供了一种模型训练装置，包括：样本对集合获取单元，被配置成获取训练样本对集合，训练样本对集合中的训练样本对包括样本可见光图像和对应的样本红外图像；第一图像生成单元，被配置成将各样本可见光图像输入第一生成器，得到第一红外图像后，将第一红外图像输入第二生成器，得到第一可见光图像，第一生成器用于将可见光图像转换成红外图像，第二生成器用于将红外图像转换成可见光图像；第二图像生成单元，被配置成将对应的各样本红外图像输入第二生成器，得到第二可见光图像，将第二可见
光图像输入第一生成器，得到第二红外图像；损失函数确定单元，被配置成基于所输入的样本图像以及得到的图像，确定第一目标损失函数或第二目标损失函数；生成器训练单元，被配置成根据第一目标损失函数或第二目标损失函数，训练第一生成器和第二生成器。
7.根据第四方面，提供了一种图像处理装置，包括：目标图像获取单元，被配置成获取目标可见光图像或目标红外图像；目标图像处理单元，被配置成利用已训练好的第一生成器生成目标可见光图像对应的处理红外图像或利用已训练好的第二生成器生成目标红外图像对应的处理可见光图像，其中，第一生成器和第二生成器通过如第三方面所描述的装置得到。
8.根据第五方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，上述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法或如第二方面所描述的方法。
9.根据第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法或如第二方面所描述的方法。
10.根据第七方面，一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如第一方面所描述的方法或如第二方面所描述的方法。
11.根据本公开的技术提供预算图像处理方法，可以方便可见光图像与红外图像之间的转换，提高了图像处理精度和速度。
12.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
13.附图用于更好地理解本方案，不构成对本公开的限定。其中：
14.图1是本公开的一个实施例可以应用于其中的示例性系统架构图；
15.图2是根据本公开的模型训练方法的一个实施例的流程图；
16.图3是根据本公开的模型训练方法的另一个实施例的流程图；
17.图4是图3所示实施例中特征提取模型的结构示意图；
18.图5是根据本公开的图像处理方法的一个实施例的流程图；
19.图6是根据本公开的图像处理方法的另一个实施例的流程图；
20.图7是根据本公开的模型训练方法、图像处理方法的一个应用场景的示意图；
21.图8是根据本公开的模型训练装置的一个实施例的结构示意图；
22.图9是根据本公开的图像出晒出装置的一个实施例的结构示意图；
23.图10是用来实现本公开实施例的模型训练方法、图像处理方法的电子设备的框图。
具体实施方式
24.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
25.需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
26.图1示出了可以应用本公开的模型训练方法、图像处理方法或用于模型训练装置、图像处理装置的实施例的示例性系统架构100。
27.如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。
28.用户可以使用终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种通讯客户端应用，例如视频播放类应用、图像处理类应用等。
29.终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、车载电脑、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
30.服务器105可以是提供各种服务的服务器，例如对终端设备101、102、103上提供模型的后台服务器。后台服务器可以利用样本图像(包括可见光图像和红外图像)对初始模型进行训练，得到第一生成器和第二生成器，并将第一生成器和第二生成器反馈给终端设备101、102、103。
31.需要说明的是，服务器105可以是硬件，也可以是软件。当服务器105为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器105为软件时，可以实现成多个软件或软件模块(例如用来提供分布式服务)，也可以实现成单个软件或软件模块。在此不做具体限定。
32.需要说明的是，本公开实施例所提供的模型训练方法一般由服务器105执行，图像处理方法可以由终端设备101、102、103执行，也可以由服务器105执行。相应地，模型训练装置一般设置于服务器105中，图像处理装置可以设置于终端设备101、102、103中，也可以设置于服务器105中。
33.应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。
34.继续参考图2，示出了根据本公开的模型训练方法的一个实施例的流程200。本实施例的模型训练方法，包括以下步骤：
35.步骤201，获取训练样本对集合。
36.本实施例中，模型训练方法的执行主体(例如图1所示的服务器105)可以首先获取训练样本对集合。上述训练样本对集合中可以包括多个训练样本对，每个训练样本对包括样本可见光图像和对应的样本红外图像。这里，对应的意思是指样本可见光图像和样本红外图像中包括的对象相同，拍摄的角度相同，对象所占的像素数量都相同，可以理解为，样本可见光图像和样本红外图像为同一图像的不同表现形式。
37.步骤202，将各样本可见光图像输入第一生成器，得到第一红外图像后，将第一红
外图像输入第二生成器，得到第一可见光图像。
38.本实施例中，第一生成器和第二生成器可以顺序连接。执行主体可以分别将各样本可见光图像先输入第一生成器，得到第一生成器输出的第一红外图像后，将得到的第一红外图像再输入第二生成器，得到第一可见光图像。这里，第一生成器用于对输入的可见光图像进行处理，得到第一红外图像。第二生成器用于对输入的红外图像进行处理，得到可见光图像。即第一生成器用于将可见光图像转换为红外图像，第二生成器用于将红外图像转换为可见光图像。本实施例中，将第一生成器针对样本可见光图像处理得到的红外图像称为第一红外图像，将第二生成器针对第一红外图像处理得到的可见光图像称为第一可见光图像。第一生成器和第二生成器可以由生成对抗循环网络(cycle gan)确定。
39.步骤203，将对应的各样本红外图像输入第二生成器，得到第二可见光图像，将第二可见光图像输入第一生成器，得到第二红外图像。
40.执行主体还可以分别将各样本可见光图像对应的各样本红外图像输入第二生成器，得到第二生成器输出的第二可见光图像。然后再将得到的各第二可见光图像再输入第一生成器，得到第二红外图像。可以理解的是，本步骤中第二生成器和第一生成器顺序连接。本实施例中，将第二生成器针对样本红外图像处理得到的可见光图像称为第二可见光图像，将第一生成器针对第二可见光图像处理得到的红外图像称为第二红外图像。
41.步骤204，基于所输入的样本图像以及得到的图像，确定第一目标损失函数或第二目标损失函数。
42.执行主体在得到第一生成器和第二生成器针对样本可见光图像和样本红外图像生成的各图像后，可以基于所输入的样本图像以及得到的图像，确定第一目标损失函数或第二目标损失函数。这里，第一目标损失函数可以主要用于训练第一生成器，第二目标损失函数可以主要用于训练第二生成器。可以理解的是，在利用第一目标损失函数训练时也可以同时调整第二生成器的参数，以使第一生成器在与第二生成器同时使用时，其性能达到最佳。同样的，在利用第二目标损失函数训练时也可以同时调整第一生成器的参数，以使第二生成器在与第一生成器同时使用时，其性能达到最佳。
43.具体的，针对第一目标损失函数，执行主体可以考虑样本可见光图像和第二可见光图像、第一可见光图像之间的像素级差别，根据上述差别构建第一目标损失函数。针对第二目标损失函数，执行主体可以考虑样本红外图像和第一红外图像、第二红外图像之间的像素级差别，根据上述差别构建第二目标损失函数。
44.步骤205，根据第一目标损失函数或第二目标损失函数，训练第一生成器和第二生成器。
45.执行主体在构建得到第一目标损失函数或第二目标损失函数后，可以利用第一目标损失函数或第二目标损失函数同时训练第一生成器和第二生成器。或者，执行主体还可以利用第一目标损失函数只调整第一生成器的参数，同时利用第二目标损失函数只调整第二生成器的参数。
46.本公开的上述实施例提供的模型训练方法，可以同时调整第一生成器和第二生成器的参数，实现了可见光图像和红外图像之间的转换，提高了图像处理效率。
47.继续参见图3，其示出了根据本公开的模型训练方法的另一个实施例的流程300。如图3所示，本实施例的方法可以包括以下步骤：
48.步骤301，获取训练样本对集合。
49.本实施例中，训练样本对集合中的训练样本对包括样本可见光图像和对应的样本红外图像。
50.步骤302，将各样本可见光图像输入第一生成器，得到第一红外图像后，将第一红外图像输入第二生成器，得到第一可见光图像。
51.步骤303，将对应的各样本红外图像输入第二生成器，得到第二可见光图像，将第二可见光图像输入第一生成器，得到第二红外图像。
52.步骤304，根据样本可见光图像以及第一红外图像，确定第一损失函数。
53.本实施例中，执行主体在确定损失函数时，可以综合考虑各方面的因素。具体的，样本可见光图像以及第一红外图像之间的差异，可以认定为判别器损失。通过现有的对抗生成网络的判别器损失函数确定方式来确定。
54.步骤305，根据样本可见光图像以及第一可见光图像，确定第二损失函数。
55.执行主体还可以考虑样本可见光图像以及第一可见光图像之间的差异，一般来说，如果第一生成器和第二生成器的性能足够好，那根据循环一致性，样本可见光图像以及第一可见光图像之间的差异应该不大。此处，执行主体可以计算样本可见光图像和第一可见光图像各方面的差异来确定第二损失函数。例如，执行主体可以计算二者各像素之间的差异以及不同深度的特征之间的差异来确定第二损失函数。
56.步骤306，根据样本可见光图像以及第二可见光图像，确定第三损失函数。
57.另外，为了使循环对抗生成网络更加注重图像中各对象的细节，在成对的红外和可见光训练数据的基础上，执行主体还可以考虑同一模态的原始图像与生成图像之间的像素级重构误差，即样本可见光图像和第二可见光图像之间的像素级误差，来构建第三损失函数。具体的，执行主体可以计算样本可见光图像和第二可见光图像之间各对应的像素之间的差异，将各差异相加得到第三损失函数。
58.步骤307，基于样本可见光图像、样本红外图像、第一可见光图像、第二红外图像以及预先训练的特征提取模型，确定第四损失函数。
59.另外，执行主体还可以基于输入的样本可见光图像、样本红外图像以及最终输出的第一可见光图像、第二红外图像来确定第四损失函数。具体的，执行主体可以分别将上述图像输入预先训练的特征提取模型，利用上述特征提取模型分别提取各图像的特征，根据各特征之间的差异来确定第四损失函数。
60.在本实施例的一些可选的实现方式中，执行主体可以通过以下具体步骤确定第四损失函数：利用特征提取模型分别提取样本可见光图像、样本红外图像、第一可见光图像、第二红外图像的特征，得到对应的第一特征、第二特征、第三特征以及第四特征；根据第一特征至第四特征，分别确定第一子损失函数和第二子损失函数；根据第一子损失函数以及第二子损失函数，确定第四损失函数。
61.本实现方式中，执行主体可以利用特征提取模型分别提取样本可见光图像、样本红外图像、第一可见光图像、第二红外图像的特征，得到对应的第一特征、第二特征、第三特征以及第四特征。上述第一特征、第二特征、第三特征以及第四特征可以包括特征向量、特征图等等。执行主体可以将上述第一特征至第四特征四个特征划分为两组，得到第一子损失函数和第二子损失函数。具体的，执行主体可以将上述四个特征随机划分未两组，或者将
可见光图像对应的两个特征划分为一组，将红外图像对应的两个特征划分为另一组，两组分别确定第一子损失函数和第二子损失函数。然后，对两个子损失函数进行加权，得到第四损失函数。
62.在本实施例的一些可选的实现方式中，执行主体可以通过以下具体步骤提取各图像的第一特征、第二特征、第三特征以及第四特征：利用特征提取模型的多个特征提取层分别提取样本可见光图像、样本红外图像、第二红外图像、第一可见光图像的特征，得到对应的包括多个特征图的第一特征、第二特征、第三特征以及第四特征。
63.本实现方式中，特征提取模型包括多个特征提取层。每个特征提取层可以分别提取所输入的图像的多个不同深度的特征，即第一特征、第二特征、第三特征以及第四特征。特征提取模型的具体结构如图4所示。在图4中，输入图像i在左侧输入模型，在右侧依次得到特征a、特征b、特征c和特征d。特征a、特征b、特征c和特征d即为不同深度的特征图。样本可见光图像、样本红外图像、第二红外图像、第一可见光图像可以分别作为输入图像输入上述特征提取模型中，上述特征提取模型的各特征提取层依次提取各图像的不同深度的特征。另外，各不同深度的特征又输入与各特征提取层对应的特征提取层中，同时这些特征又输入到顺序连接的特征提取层中，各对应的特征提取层输出的特征与各顺序连接的特征提取层输出的特征融合，最终得到上述第一特征、第二特征、第三特征以及第四特征。
64.在本实施例的一些可选的实现方式中，执行主体可以通过以下具体步骤确定第一子损失函数和第二子损失函数：根据第一特征的特征图集合中的各特征图与第三特征的特征图集合中对应的特征图，确定第一子损失函数；根据第二特征的特征图集合中的各特征图与第四特征的特征图集合中对应的特征图，确定第二子损失函数。
65.本实现方式中，由于第一特征、第二特征、第三特征以及第四特征中均包括不同深度的特征图。执行主体可以将第一特征与第三特征中相同深度的特征图之间的差别，计算得到第一子损失函数。将第二特征与第四特征中相同深度的特征图之间的差别，计算得到第二子损失函数。
66.步骤308，根据样本红外图像以及第二可见光图像，确定第五损失函数。
67.步骤309，根据样本红外图像以及第二红外图像，确定第六损失函数。
68.步骤310，根据样本红外图像以及第一红外图像，确定第七损失函数。
69.本实施例中，第五损失函数、第六损失函数以及第七损失函数的确定与第一损失函数、第二损失函数以及第三损失函数的确定方式类似，不同的是，第五损失函数、第六损失函数以及第七损失函数针对的是红外图像，第一损失函数、第二损失函数以及第三损失函数针对的是可见光图像。
70.步骤311，根据第一至第四损失函数的至少一项，确定第一目标损失函数；根据第四至第七损失函数的至少一项，确定第二目标损失函数。
71.执行主体可以根据第一至第四损失函数的至少一项，确定第一目标损失函数。具体的，执行主体可以对第一损失函数、第二损失函数、第三损失函数以及第四损失函数加权，得到第一目标损失函数。利用第四至第七损失函数的至少一项，确定第二目标损失函数。即第四损失函数、第五损失函数、第六损失函数以及第七损失函数加权，得到第二目标损失函数。
72.步骤312，根据第一目标损失函数或第二目标损失函数，训练第一生成器和第二生
成器。
73.在一些具体的时间中，上述可见光图像和红外图像可以为人脸图像，这样可以实现人脸图像的可见光与红外风格之间的转换。
74.本公开的上述实施例提供的模型训练方法，可以在可见光图像和红外图像转换时注重对象的细节特征，提高风格转换的准确度。
75.参见图5，其示出了根据本公开的图像处理方法的一个实施例的流程500。如图5所示，本实施例的方法可以包括以下步骤：
76.步骤501，获取目标可见光图像或目标红外图像。
77.本实施例中，执行主体可以通过各种方式获取目标可见光图像或目标红外图像。这里，目标可见光图像可以是待处理的人脸图像。目标红外图像可以是待标注的图像。
78.步骤502，利用已训练好的第一生成器生成目标可见光图像对应的处理红外图像或利用已训练好的第二生成器生成目标红外图像对应的处理可见光图像。
79.执行主体可以利用已训练好的第一生成器对目标可见光图像进行处理，得到的图像可以记为处理红外图像。同样的，执行主体也可以利用已训练好的第二生成器生成目标红外图像对应的处理可见光图像。
80.上述第一生成器和第二生成器可以利用图2或图3所示的方法训练得到。
81.本公开的上述实施例提供的图像处理方法，可以实现红外图像与可见光图像的转换，提高转换效率。
82.继续参见图6，其示出了根据本公开的图像处理方法的另一个实施例的流程600。如图6所示，本实施例的方法可以包括以下步骤：
83.步骤601，获取目标可见光图像以及目标可见光图像的标注信息。
84.本实施例中，目标可见光图像的标注信息可以用于标注目标可见光图像的不同对象。上述标注信息可以包括标注框。
85.步骤602，利用已训练好的第一生成器生成目标可见光图像对应的处理红外图像。
86.步骤603，根据标注信息，确定处理红外图像的标注信息。
87.执行主体可以根据标注信息在目标可见光图像中所占用的像素，确定其在处理红外图像中所占用的像素，从而能够确定处理红外图像的标注信息。这样，就能够轻松实现对红外图像的标注，提供标注的准确率。
88.步骤604，利用标注的处理红外图像进行模型训练。
89.执行主体在确定处理红外图像的标注信息后，可以利用标注的处理红外图像进行模型训练，以得到专门用于处理红外图像的模型。
90.本公开的上述实施例提供的图像处理方法，可以利用训练好的生成器对标注的可见光图像进行处理，得到标注的红外图像，从而能够方便红外图像的标注，提高标注的准确率。
91.图7示出了本公开的模型训练方法、图像处理方法的一个应用场景的示意图。在图7的应用场景中，服务器701利用步骤201～205，得到训练好的第一生成器和第二生成器。然后，将上述第一生成器和第二生成器发送给终端702。终端702可以利用上述第一生成器和第二生成器进行图像转换，实现可见光图像和红外图像之间的轻松转换。
92.进一步参考图8，作为对上述各图所示方法的实现，本公开提供了一种模型训练装
置的一个实施例，该装置实施例与图2所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
93.如图8所示，本实施例的模型训练装置800包括：样本对集合获取单元801、第一图像生成单元802、第二图像生成单元803、损失函数确定单元804和生成器训练单元805。
94.样本对集合获取单元801，被配置成获取训练样本对集合。训练样本对集合中的训练样本对包括样本可见光图像和对应的样本红外图像。。
95.第一图像生成单元802，被配置成将各样本可见光图像输入第一生成器，得到第一红外图像后，将第一红外图像输入第二生成器，得到第一可见光图像。第一生成器用于将可见光图像转换成红外图像，第二生成器用于将红外图像转换成可见光图像。
96.第二图像生成单元803，被配置成将对应的各样本红外图像输入第二生成器，得到第二可见光图像，将第二可见光图像输入第一生成器，得到第二红外图像。
97.损失函数确定单元804，被配置成基于所输入的样本图像以及得到的图像，确定第一目标损失函数或第二目标损失函数。
98.生成器训练单元805，被配置成根据第一目标损失函数或第二目标损失函数，训练第一生成器和第二生成器。
99.在本实施例的一些可选的实现方式中，损失函数确定单元804可以进一步被配置成：根据样本可见光图像以及第一红外图像，确定第一损失函数；根据样本可见光图像以及第一可见光图像，确定第二损失函数；根据样本可见光图像以及第二可见光图像，确定第三损失函数；基于样本可见光图像、样本红外图像、第一可见光图像、第二红外图像以及预先训练的特征提取模型，确定第四损失函数；根据第一至第四损失函数的至少一项，确定第一目标损失函数。
100.在本实施例的一些可选的实现方式中，损失函数确定单元804可以进一步被配置成：根据样本红外图像以及第二可见光图像，确定第五损失函数；根据样本红外图像以及第二红外图像，确定第六损失函数；根据样本红外图像以及第一红外图像，确定第七损失函数；根据第四至第七损失函数的至少一项，确定第二目标损失函数。
101.在本实施例的一些可选的实现方式中，损失函数确定单元804可以进一步被配置成：利用特征提取模型分别提取样本可见光图像、样本红外图像、第一可见光图像、第二红外图像的特征，得到对应的第一特征、第二特征、第三特征以及第四特征；根据第一特征至第四特征，分别确定第一子损失函数和第二子损失函数；根据第一子损失函数以及第二子损失函数，确定第四损失函数。
102.在本实施例的一些可选的实现方式中，特征提取模型包括多个特征提取层。损失函数确定单元804可以进一步被配置成：利用特征提取模型的多个特征提取层分别提取样本可见光图像、样本红外图像、第一可见光图像、第二红外图像的特征，得到对应的包括多个特征图的第一特征、第二特征、第三特征以及第四特征。
103.在本实施例的一些可选的实现方式中，损失函数确定单元804可以进一步被配置成：根据第一特征的特征图集合中的各特征图与第三特征的特征图集合中对应的特征图，确定第一子损失函数；根据第二特征的特征图集合中的各特征图与第四特征的特征图集合中对应的特征图，确定第二子损失函数。
104.应当理解，模型训练装置800中记载的单元801至单元805分别与参考图2中描述的
方法中的各个步骤相对应。由此，上文针对模型训练方法描述的操作和特征同样适用于装置800及其中包含的单元，在此不再赘述。
105.进一步参考图9，作为对上述各图所示方法的实现，本公开提供了一种图像处理装置的一个实施例，该装置实施例与图5所示的方法实施例相对应，该装置具体可以应用于各种电子设备中。
106.如图9所示，本实施例的图像处理装置900包括：目标图像获取单元901和目标图像处理单元902。
107.目标图像获取单元901，被配置成获取目标可见光图像或目标红外图像；
108.目标图像处理单元902，被配置成利用已训练好的第一生成器生成目标可见光图像对应的处理红外图像或利用已训练好的第二生成器生成目标红外图像对应的处理可见光图像，其中，第一生成器和第二生成器通过图5或图6所描述的装置得到。
109.在本实施例的一些可选的实现方式中，装置900还可以进一步包括：标注信息获取单元和标注信息确定单元。
110.标注信息获取单元，被配置成获取目标可见光图像的标注信息。
111.标注信息确定单元，被配置成根据标注信息，确定处理红外图像的标注信息。
112.在本实施例的一些可选的实现方式中，装置900还可以进一步包括：模型训练单元，被配置成利用标注的处理红外图像进行模型训练。
113.应当理解，图像处理装置900中记载的单元901至单元902分别与参考图5中描述的方法中的各个步骤相对应。由此，上文针对图像处理方法描述的操作和特征同样适用于装置900及其中包含的单元，在此不再赘述。
114.本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
115.根据本公开的实施例，本公开还提供了还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
116.图10示出了根据本公开实施例的执行模型训练方法、图像处理方法的电子设备1000的框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
117.如图10所示，电子设备1000包括处理器1001，其可以根据存储在只读存储器(rom)1002中的计算机程序或者从存储器1008加载到随机访问存储器(ram)1003中的计算机程序，来执行各种适当的动作和处理。在ram 1003中，还可存储电子设备1000操作所需的各种程序和数据。处理器1001、rom 1002以及ram 1003通过总线1004彼此相连。i/o接口(输入/输出接口)1005也连接至总线1004。
118.电子设备1000中的多个部件连接至i/o接口1005，包括：输入单元1006，例如键盘、鼠标等；输出单元1007，例如各种类型的显示器、扬声器等；存储器1008，例如磁盘、光盘等；以及通信单元1009，例如网卡、调制解调器、无线通信收发机等。通信单元1009允许电子设备1000通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
119.处理器1001可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器1001的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器1001执行上文所描述的各个方法和处理，例如模型训练方法、图像处理方法。例如，在一些实施例中，模型训练方法、图像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读存储介质，例如存储器1008。在一些实施例中，计算机程序的部分或者全部可以经由rom 1002和/或通信单元1009而被载入和/或安装到电子设备1000上。当计算机程序加载到ram 1003并由处理器1001执行时，可以执行上文描述的模型训练方法、图像处理方法的一个或多个步骤。备选地，在其他实施例中，处理器1001可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型训练方法、图像处理方法。
120.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
121.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。上述程序代码可以封装成计算机程序产品。这些程序代码或计算机程序产品可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器1001执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
122.在本公开的上下文中，机器可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读存储介质可以是机器可读信号存储介质或机器可读存储介质。机器可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学存储设备、磁存储设备、或上述内容的任何合适组合。
123.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
124.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
125.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(“virtual private server”，或简称“vps”)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以是分布式系统的服务器，或者是结合了区块链的服务器。
126.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开的技术方案所期望的结果，本文在此不进行限制。
127.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开的保护范围之内。