一种模型训练方法、装置、电子设备、存储介质及产品与流程

1.本技术涉及计算机技术领域，尤其涉及一种模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品。


背景技术：

2.随着多媒体技术和网络技术的快速发展，人们在日常生活和活动中，会用到大量的图像信息，为了提高图像质量，需要进行图像转化任务，如图像增强和图像恢复等处理技术，来改善图像的视觉效果。
3.相关技术中，通常采用人造数据集和专用数据集进行图像转化模型的训练。但是，人造数据集与实际场景的图像生成所需的数据不同，如实际场景生成的噪声一般比人为假设的噪声复杂得多；所以，人造数据集不能保证实际场景的图像效果，因此，使用人造数据集进行模型的训练，会导致训练得到的模型的图像转化效果较差。而专用数据集的采集比较复杂，费时、费力、费钱，且还需要严格控制采光室的采光条件，成本较高。
4.因此，有必要提出一种技术方案，以解决现有技术中使用人造数据集或者专用数据集进行图像转化模型训练，所存在的模型的图像转化效果差或者成本高的技术问题。


技术实现要素：

5.本技术提供一种模型训练方法、装置、电子设备、计算机可读存储介质及计算机程序产品，以至少解决相关技术中由于利用人造数据集或专用数据集进行图像转化模型的训练，所存在的模型的图像转化效果差，或者成本高的技术问题。本技术的技术方案如下：
6.根据本技术实施例的第一方面，提供一种模型训练方法，所述方法包括：
7.获取目标图像；
8.将所述目标图像输入到目标模型，得到所述目标模型的输出图像；其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
9.将所述目标模型的输出图像作为所述目标模型的输入图像，输入到所述目标模型；
10.重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。
11.可选的，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
12.可选的，所述目标模型包括单独的一个模型或级联模型,所述级联模型至少包括两个相互连接的模型。
13.可选的，所述目标模型为单独的一个模型；
14.通过如下步骤进行所述目标模型的训练：
15.将所述模型每次输出的图像与所述目标图像的真值图像进行匹配；
16.根据匹配结果计算所述模型的损失；
17.根据所述模型的损失调整所述模型的模型参数。
18.可选的，所述方法还包括：所述目标模型为所述级联模型；
19.通过如下步骤进行所述目标模型的训练：
20.将所述级联模型中的至少一个模型每次输出的图像分别与所述目标图像的真值图像进行匹配；
21.根据所述至少一个模型的匹配结果计算所述至少一个模型的损失；
22.计算所述至少一个模型的损失之和，得到所述级联模型的损失；
23.根据所述级联模型的损失调整所述级联模型中至少一个模型的模型参数。
24.可选的，所述级联模型中的每个模型的模型结构相同，模型参数相同；或者
25.所述级联模型中的每个模型的模型结构相同，模型参数不相同；或者
26.所述级联模型中的每个模型的模型结构不相同，模型参数不同。
27.根据本技术实施例的第二方面，提供一种模型训练方法，所述方法包括：
28.获取目标图像；
29.将所述目标图像作为级联模型的输入图像输入到所述级联模型中的第一子模型，其中，所述级联模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
30.将所述第一子模型输出的输出图像作为所述级联模型的第二子模型的输入图像，输入到所述级联模型中的第二子模型；
31.重复执行将所述级联模型中前一个子模型的输出图像作为其相邻的下一个子模型的输入图像，输入至所述下一个子模型，进行所述级联模型的训练。
32.可选的，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
33.可选的，通过如下步骤进行所述级联模型的训练：
34.将所述级联模型中至少一个子模型输出的所述图像与所述目标图像的真值图像进行匹配；
35.根据所述至少一个匹配结果计算所述至少一个子模型的损失；
36.计算所述至少一个子模型的损失之和，得到所述级联模型的损失函数；
37.根据所述级联模型的损失调整所述级联模型的至少一个子模型的模型参数。
38.可选的，所述级联模型中的每个子模型的模型结构相同，模型参数相同；或者
39.所述级联模型中的每个子模型的模型结构相同，模型参数不相同；或者
40.所述级联模型中的每个子模型的模型结构不相同，模型参数不同。
41.根据本技术实施例的第三方面，提供一种模型训练装置，所述装置包括：
42.获取模块，用于获取目标图像；
43.第一输入模块，用于将所述目标图像输入所述目标模型，得到所述目标模型的输出图像，其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
44.第二输入模块，用于将所述目标模型的输出图像作为所述目标模型的输入图像，输入到所述目标模型；
45.迭代训练模块，用于重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。
46.可选的，所述第一输入模块将所述目标图像输入的目标模型，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
47.可选的，所述目标模型包括单独的一个模型或级联模块,所述级联模型至少包括两个相互连接的模型。
48.可选的，所述目标模型为单独的一个模型；所述迭代训练模块包括：
49.第一匹配模块，用于将所述模型每次输出的图像与所述目标图像的真值图像进行匹配；
50.第一计算模块，用于根据匹配结果计算所述模型的损失；
51.第一调整模块，用于根据所述模型的损失调整所述模型的模型参数。
52.可选的，所述目标模型为所述级联模型；所述迭代训练模块包括：
53.第二匹配模块，用于将所述级联模型中的至少一个模型每次输出的图像分别与所述目标图像的真值图像进行匹配；
54.第二计算模块，用于根据所述至少一个模型的匹配结果计算所述至少一个模型的损失；
55.第三计算模块，用于计算所述至少一个模型的损失之和，得到所述级联模型的损失；
56.第二调整模块，用于根据所述级联模型的损失调整所述级联模型中至少一个模型的模型参数。
57.可选的，所述第一输入模块输入的所述级联模型中的每个所述模型的模型结构相同，模型参数相同；或者所述级联模型中的每个模型的模型结构相同，模型参数不相同；或者所述级联模型中的每个模型的模型结构不相同，模型参数不同。
58.根据本技术实施例的第四方面，提供一种模型训练装置，所述装置包括：
59.获取模块，用于获取目标图像；
60.第一输入模块，用于将所述目标图像作为级联模型的输入图像输入到所述级联模型中的第一子模型，其中，所述级联模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
61.第二输入模块，用于将所述第一子模型输出的输出图像作为所述级联模型的第二子模型的输入图像，输入到所述级联模型中的第二子模型；
62.级联训练模块，用于重复执行将所述级联模型中前一个子模型的输出图像作为其相邻的下一个子模型的输入图像，输入至所述下一个子模型，进行所述级联模型的训练。
63.可选的，所述第一输入模块将所述目标图像输入的级联模型，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
64.可选的，所述级联训练模块包括：
65.匹配模块，用于将所述级联模型中至少一个子模型输出的所述图像与所述目标图像的真值图像进行匹配；
66.第一计算模块，用于根据所述至少一个子模型的匹配结果计算所述至少一个子模
型的损失；
67.第二计算模块，用于计算所述至少一个子模型的损失之和，得到所述级联模型的损失；
68.调整模块，用于根据所述级联模型的损失调整所述级联模型的至少一个子模型的模型参数。
69.可选的，所述级联模型中的每个子模型的模型结构相同，模型参数相同；或者所述级联模型中的每个子模型的模型结构相同，模型参数不相同；或者所述级联模型中的每个子模型的模型结构不相同，模型参数不同。
70.根据本技术实施例的第五方面，提供一种电子设备，包括：
71.处理器；
72.用于存储所述处理器可执行指令的存储器；
73.其中，所述处理器被配置为执行所述指令，以实现如上所述的模型训练方法。
74.根据本技术实施例的第六方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上所述的模型训练方法。
75.根据本技术实施例的第七方面，提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的模型训练方法。
76.本技术的实施例提供的技术方案至少可以包括以下有益效果：
77.本技术实施例示出的模型训练方法，将获取的目标图像输入到所述目标模型，得到所述目标模型的输出图像，其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；以及将所述目标模型的输出图像作为输入图像，再次输入到所述目标模型，得到所述目标模型的输出图像；将所述输出图像再次输入所述目标模型，重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。也就是说，本技术实施例中，在进行图像到图像的转化中，利用不会改变图像域的特性，把目标模型的输出图像再次作为输入图像，输入到该目标模型，如此多次反复迭代，不但达到了扩大了输入数据集的目的，降低了成本费用，并且，由于不需要使用人造数据集，提高了图像到图像转换的效果。
78.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
79.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理，并不构成对本技术的不当限定。
80.图1是根据一示例性实施例示出的一种模型训练方法的流程图。
81.图2a是根据一示例性实施例示出的一种迭代模型的示意图。
82.图2b是根据一示例性实施例示出的一种迭代模型的示意图。
83.图3是根据一示例性实施例示出的一种模型训练方法的另一流程图。
84.图3a是根据一示例性实施例示出的一种级联模型的示意图。
85.图4是根据一示例性实施例示出的一种模型训练装置的框图。
86.图5是根据一示例性实施例示出的一种迭代训练模块的框图。
87.图6是根据一示例性实施例示出的一种迭代训练模块的另一框图。
88.图7是根据一示例性实施例示出的一种模型训练装置的另一框图。
89.图8是根据一示例性实施例示出的一种电子设备的结构框图。
90.图9是根据一示例性实施例示出的一种具有模型训练的装置的结构框图。
具体实施方式
91.为了使本领域普通人员更好地理解本技术的技术方案，下面将结合附图，对本技术实施例中的技术方案进行清楚、完整地描述。
92.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
93.近年来，基于人工智能的计算机视觉、深度学习、机器学习、图像处理、图像识别等技术研究取得了重要进展。人工智能(artificial intelligence，ai)是研究、开发用于模拟、延伸人的智能的理论、方法、技术及应用系统的新兴科学技术。人工智能学科是一门综合性学科，涉及芯片、大数据、云计算、物联网、分布式存储、深度学习、机器学习、神经网络等诸多技术种类。计算机视觉作为人工智能的一个重要分支，具体是让机器识别世界，计算机视觉技术通常包括人脸识别、活体检测、指纹识别与防伪验证、生物特征识别、人脸检测、行人检测、目标检测、行人识别、图像处理、图像识别、图像语义理解、图像检索、文字识别、视频处理、视频内容识别、行为识别、三维重建、虚拟现实、增强现实、同步定位与地图构建(slam)、计算摄影、机器人导航与定位等技术。随着人工智能技术的研究和进步，该项技术在众多领域展开了应用，例如安防、城市管理、交通管理、楼宇管理、园区管理、人脸通行、人脸考勤、物流管理、仓储管理、机器人、智能营销、计算摄影、手机影像、云服务、智能家居、穿戴设备、无人驾驶、自动驾驶、智能医疗、人脸支付、人脸解锁、指纹解锁、人证核验、智慧屏、智能电视、摄像机、移动互联网、网络直播、美颜、美妆、医疗美容、智能测温等领域。
94.图1是根据一示例性实施例示出的一种模型训练方法的流程图，所述模型为用于执行图像增强或图像恢复任务的模型，如图1所示，该模型训练方法用于终端、服务器等，在此不作限制，所述方法包括以下步骤：
95.步骤101，获取目标图像；
96.其中，该步骤中，终端获取的目标图像可以是一个图像训练样本，作为目标模型的输入图像。
97.步骤102，将所述目标图像输入到所述目标模型，得到所述目标模型的输出图像；其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
98.该步骤中，所述目标模型可以包括单独的一个模型或级联模型,其中，所述级联模
型至少包括两个相互连接的模型。其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域。而满足所述目标要求的图像到图像的转化任务可以包括：图像增强任务或图像恢复任务，但是，在实际应用中，并不限于此，还可以包括其他的图像转化任务，本实施例不作限制。
99.其中，图像域指的是图像所在的域，也即，上述目标要求为输入图像和输出图像所在的域相同。
100.具体的，上述图像增强或图像恢复任务可以包括降噪(denoising)、超分辨率(super-resolution)、去雾(dehazing)、去雨(deraining)、去模糊(debluring)、修补(inpainting)等其中的任意一项或者多项；当然，上述图像增强或图像恢复任务还可以为其他，此处只是示例性说明，并不构成对本技术实施例的限定。
101.一种实施例中，在所述目标模型为单独的一个模型时，终端将所述目标图像作为输入图像输入到单独的该模型，该模型对该目标图像进行处理后，输出图像。
102.另一实施例中，所述目标模型为所述级联模型；终端将所述目标图像作为输入图像输入到级联模型中的第一个模型(又可以称为子模型，或者种子模型等本实施例不作限制)，第一个模型对该目标图像进行处理后，输出第一中间处理图像，之后，将该第一中间处理图像作为输入图像，输入该级联模型中的第二个模型，该第二个模型对该第一中间处理图像继续进行处理后，输出第二中间处理图像，之后，将第二中间处理图像作为输入图像，输入到该级联模型中的第三个模型，由第三个模型对该第二中间处理图像继续进行处理后，反复上述输入图像操作，直到该级联模型的最后一个模型输出图像。
103.需要说明的是，本实施例中的所述第一模型或级联模型中的每个模型为用于执行图像增强或图像恢复任务的模型。其中，对于图像增强和图像恢复任务的模型，可以是深度学习模型，比如u-net,srnet等，这些模型通常把输入的图像进行图像处理，转化为对应的输出图像，其中，图像处理可以图像分割中的像素分类、图像分类、检测等等；所以图像增强和图像恢复实现的是图像到图像的转化，且这种转化可以认为不会改图像所在的域(domain)。
104.步骤103，将所述目标模型的输出图像作为所述目标模型的输入图像，输入到所述目标模型；
105.该步骤中，终端将输出图像作为输入图像，输入到该所述目标模型进行训练，由所述目标模型对该接收到的输入图像进行图像处理，从而得到该目标模型的输出图像。
106.步骤104，重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。
107.该步骤中，继续将所述目标模型的输出图像，作为输入图像，再次输入到所述目标模型进行反复训练，直到达到所述目标模型的停止训练条件，其中，该停止训练条件可以包括目标迭代次数或者是达到了目标模型的迭代效果等，然后结束模型训练操作。
108.也就是说，在一种具体实施中，在采用本技术实施例提供的模型训练方法，在进行获取目标图像时，或者获取目标图像之前，可以先获取设定的目标迭代次数，以便于在达到模型迭代次数时停止模型训练。通常情况下，目标迭代次数是用户根据终端的性能通过经验来设置的，比如，如果终端为高端手机或配置高的计算机或笔记本电脑等，其性能比较好，选择模型迭代的次数可以多些，比如选择5次等，需要说明的是，迭代次数越多、需要的
计算量就越大。而对于性能一般的终端，比如普通手机或配置一般的计算机或笔记本电脑等，其选择模型迭代得次数可以少些，比如选择2次或3次等。
109.需要说明的是，本技术除了目标迭代次数之外，上述停止训练条件还可以为目标模型达到了迭代效果等。本实施例不作限制。
110.本技术实施例示出的模型训练方法，将获取的目标图像输入到所述目标模型，得到所述目标模型的输出图像，其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；以及将所述目标模型的输出图像作为输入图像，再次输入到所述目标模型，得到所述目标模型的输出图像；将所述输出图像再次输入所述目标模型，重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。也就是说，本技术实施例中，在进行图像到图像的转化中，利用不会改变图像域的特性，把目标模型的输出图像再次作为输入图像，输入到该目标模型，如此多次反复迭代，不但达到了扩大了输入数据集的目的，降低了成本费用，而且还提高了图像到图像转换的效果。
111.图2a是根据一示例性实施例示出的一种迭代模型的示意图，如图2a所示，该迭代模型也可以称为单独一个模型的迭代，也可以称为迭代式模型，其中，该实施例中的model以对应图像增强或图像恢复任务的模型为例，也该迭代模型可以称为种子模型，input/output则为迭代模型的输入和输出，图2a中的箭头表示迭代模型的输出图像再次作为输入图像，可反复迭代。
112.图2b是根据一示例性实施例示出的一种迭代模型的另一示意图，如图2b所示，该迭代模型也可以是多个模型相互连接组成的级联模型的迭代。为了便于描述，本实施例中的级联模型以三个模型为例，即模型model_1，模型model_2,模型model_3为例，但在实际应用中并不限于此，其各个模型对应的输出图像为输出output_1，输出output_2，输出output_3，将该级联模型中的最后一个模型(比如model_3)的输出图像(即output_3)作为输入图像，再次输入到该级联模型的第一个模型(即model_1)。需要说明的是，该实施例中，该级联模型中的每个模型的输出图像均作为下一个模型的输入图像，最后一个模型的输出图像，会再次作为输入图像，输入到第一个模型，如此重复执行所述目标模型的训练，直到达到所述目标模型的停止训练条件。从而扩大了输入数据集的目的，降低了成本费用。
113.可选的，在一实施例中，所述级联模型中的每个模型的模型结构可以相同，模型参数也可以相同；或者在另一实施例中，所述级联模型中的每个模型的模型结构可以相同，且模型参数不相同；或者，在又一实施例中，所述级联模型中的每个模型的模型结构不相同，模型参数也不同，也就是说，该实例中的各个模型结构不同，参数各也不同(即称为各个模型结构各异)。
114.本技术实施例中，通过控制模型结构和模型参数的多样化，来实现更多的级联模型，该之后，基于数据重复利用算法对多个级联模型进行训练，可以提高各个级联模型的性能；另外，通过对模型结构各异的级联模型进行训练，可以更充分利用神经网络结构的多样性，设计出的性能更高的级联模型。
115.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述目标模型为单独的一个模型；通过如下步骤进行所述目标模型的训练：
116.将所述模型每次输出的图像与所述目标图像的真值图像进行匹配；根据匹配结果计算所述模型的损失；根据所述模型的损失调整所述模型的模型参数。
117.该实施例中，仍以图2a为例，假设x为输入图像，y为输出图像，t为输入图像的真值(ground truth)图像，f为种子模型的损失函数(loss function)，该损失函数，可以根据输出图像与真值图像匹配程度计算得到,需要说明的是，不同的种子模型，其损失函数也不同)，y1,y2,
…
,yn为各个迭代式级联模型的输出，统一用yn表示，种子模型的损失为:则迭代式级联模型的损失可以设计为：需要说明的是，该实施例中，可以只对迭代式级联模型最后的输出进行监督，从而实现模型端到端的学习。最后，可以根据所述最后模型的损失来调整所述模型的模型参数。
118.可选的，在另一实施例中，该实施例在上述实施例的基础上，所述目标模型为所述级联模型；所述目标模型为所述级联模型；
119.将所述级联模型中的至少一个模型每次的输出所述图像分别与所述目标图像的真值图像进行匹配；根据所述至少一个模型的匹配结果计算所述至少一个模型的损失；计算所述至少一个模型的损失之和，得到所述级联模型的损失；根据所述级联模型的损失调整所述级联模型中至少一个模型的模型参数。
120.进一步，在另一实施例中，在将所述级联模型中的至少一个模型每次的输出所述图像分别与所述目标图像的真值图像进行匹配之前，所述方法还可以包括：对所述级联模型中的至少一个模型每次输出的图像进行监督。
121.该实施例中，仍以图2b为例，终端对迭代式模型中的至少一个模型的输出进行监督，也就是说，可以对迭代式模型中的任一个模型的输出进行监督，也可以对迭代式模型中的所有模型的输出进行监督，本实施例以对迭代式模型中的所有模型的输出进行监督为例。从而实现对迭代式级联模型中的每个模型的学习，之后，可以根据所述迭代式级联模型中的最后一个模型的损失来调整所述迭代式级联模型中各个模型的模型参数。
122.该实施例中，由于迭代式级联模型中的各个模型的输出与输入图像和真传图像处于同一图像域，因此可以进行深度监督，即对应迭代式级联模型的损失可以设计为：
[0123][0124]
其中，a1，a2，
……
，an，表示用来平衡各个模型输出的监督损失，y1，y2，
……
，yn，为迭代式级联模型中各个模型的输出。t为输入图像的真值图像，f为每个模型的损失函数。
[0125]
在设计好迭代式级联模型中各个模型与对应的损失函数之后，则可对迭代式级联模型中的各个模型进行端到端的训练。也就是说，本实施例可以利用深度监督的训练方法来训练迭代式级联模型，提高了迭代式级联模型的性能。
[0126]
图3是根据一示例性实施例示出的一种模型训练方法的另一流程图，本实施例中以n个子模型进行级联为例，所述方法包括：
[0127]
步骤301：获取目标图像；
[0128]
其中，该步骤中，终端获取的目标图像可以是一个图像训练样本，作为目标模型的输入图像。
[0129]
步骤302：将所述目标图像作为级联模型的输入图像输入到所述级联模型中的第一子模型，其中，所述级联模型为用于执行满足目标要求的图像到图像的转化任务的模型，
所述目标要求为输入图像和输出图像都在同一个图像域。
[0130]
其中，该实施例中的级联模型，可以是预先建立的，也可以根据需要建立的。该实施例中的级联模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域，其中，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
[0131]
比如，一种实施例中，该级联模块时预先连接好的级联模型。
[0132]
再比如，另一种实施例中，在获取目标图像时，获取模型的级联个数n，n为自然数。将n个子模型依次连接，得到级联模型。通常情况下，级联个数n是用户根据终端的性能通过经验来设置的。比如，n为3或5等，具体可以根据实际需要来设定，本实施例不做限制。
[0133]
该实施例中，对于将n个子模型依次连接，就是将级联模型中的第一个子模型的输出图像作为输入图像，输入到与其相连的第二个子模型。依次类推，将n个子模型连接好，得到级联模型。
[0134]
步骤303：将所述第一子模型输出的输出图像作为所述级联模型的第二子模型的输入图像，输入到所述级联模型中的第二子模型；
[0135]
其中，该步骤中，终端将所述目标图像输入到级联模型中的第一个子模型，第一个子模型对该目标图像进行处理后，得到该第一个子模型的输出图像，其中，该实施例中，第一个子模型的输出图像为第一中间处理图像。
[0136]
步骤304：重复执行将所述级联模型中前一个子模型的输出图像作为其相邻的下一个子模型的输入图像，输入至所述下一个子模型，进行所述级联模型的训练；
[0137]
该步骤中，将该第一中间处理图像作为输入图像，输入该级联模型中的第二个子模型，该第二个子模型对该第一中间处理图像继续进行处理后，得到第二个子模型的输出图像，其中，将第二个子模型的输出图像作为第二中间处理图像，将第二中间处理图像作为输入图像，输入到该级联模型中的第三个模型，由第三个模型对该第二中间处理图像继续进行处理后，并将处理后的中间处理图像依次输入到该级联模型的下一个模型进行训练，依次类推，直到将第n图像(第n-1个中间处理图像)输出到该级联模型的第n个子模型(其中，第n个子模型为该级联模型的最后一个子模型)进行训练。
[0138]
本技术实施例示出的模型训练方法，将获取到n个子模型依次连接，得到级联模型；然后，将获取到的所述目标图像输入到所述级联模型中的第一子模型，并将该第一子模型的输出图像作为输入图像，输入到所述级联模型中的第二模型，得到第二子模型的输出图像；再将第二子模型的输出图像作为输入图像输入到级联模型的下一个子模型，重复执行上述输入步骤，直到将所述第n图像作为输入图像，输入到第n模型进行训练。本技术实施例中，利用图像增强或图像恢复任务时，不会改变图像域的特性，把级联模型中每个子模型的输出图像作为下一个子模型的输入图像，依次类推，直到得到该级联模型中最后一个子模型输出的图像。不但达到了扩大了输入数据集的目的，降低了成本费用，而且还提高了图像增强或图像恢复的效果。
[0139]
图3a是根据一示例性实施例示出的一种级联模型的示意图，如图3a所示，该级联模型也可以称为展开式级联模型，其中model_1，model_2，
……
model_n为各个模型(也可以称为子模型或者种子模型等)，output_1,output_2，
……
output_n为各个对应子模型的输出，将最后一个子模型的输出作为输入，输入到该展开式级联模型中的第一个子模型。该实
施例中，该展开式级联模型中的每个子模型的输出均作为下一个子模型的输入，直到得到该展开式级联模型中的最后一个子模型的输出。本实施例扩大了输入数据集的目的，降低了成本费用，提高了模型的性能。
[0140]
可选的，在一实施例中，所述展开式级联模型中的每个子模型的模型结构可以相同，模型参数也可以相同；或者在另一实施例中，所述展开式级联模型中的每个子模型的模型结构可以相同，且模型参数不相同；或者，在又一实施例中，所述展开式级联模型中的每个子模型的模型结构不相同，模型参数也不同，也就是说该实例中的各个模型结构各异。
[0141]
本技术实施例中，通过控制模型结构和模型参数多样化，来实现更多的展开式级联模型，该之后，基于数据重复利用算法对多个展开式级联模型进行训练，可以提高各个展开式级联模型的性能；另外，通过对模型结构各异的级联模型进行训练，可以更充分利用神经网络结构的多样性，设计出的性能更高的级联模型。
[0142]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述方法还可以包括：将所述级联模型中至少一个子模型输出的所述图像与所述第一图像的真值图像进行匹配；根据所述至少一个匹配结果计算所述至少一个子模型的损失；计算所述至少一个子模型的损失之和，得到所述展开式级联模型的损失函数；根据所述展开式级联模型的损失调整所述级联模型的至少一个模型的模型参数。
[0143]
进一步，在将所述级联模型中至少一个子模型输出的所述图像与所述第一图像的真值图像进行匹配之前，所述方法还包括：对所述展开式级联模型中的至少一个子模型输出的图像进行监督。
[0144]
该实施例中，对展开式级联模型的监督，或者对展开式级联模型中的各个模型监督过程与上述对迭代式级联模型的监督过程类似，具体详见上述，在此不再赘述。本实施例可以利用深度监督的训练方法来训练迭代式级联模型，提高了迭代式级联模型的性能。
[0145]
本技术实施例中，通过以上训练得到级联模型后，可以直接把级联模型用于实际应用，此外，需要说明的是，由于这种迭代式模型迭代次数越多，性能越高，因此，可以根据实际的实用场景选取不同的迭代模型的数量，为例保证性能与计算量和速度的平衡。如在模型训练时，通常使用5个迭代，即选取5个模型，实际应用的时候可以根据实际的需求(如计算量、速度等)选取前3个模型进行应用即可。
[0146]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本实施公开并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术所必须的。
[0147]
图4是根据一示例性实施例示出的一种模型训练装置的框图。所述装置为用于执行图像增强或图像恢复任务的装置，如图4所示，该装置包括：获取模块401、第一输入模块402、第二输入模块403和迭代模块404。其中，
[0148]
该获取模块401，用于获取目标图像；
[0149]
该第一输入模块402，用于将所述目标图像输入所述目标模型，得到所述目标模型的输出图像，其中，所述目标模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
[0150]
该第二输入模块403，用于将所述目标模型的输出图像作为所述目标模型的输入
图像，输入到所述目标模型；
[0151]
该迭代训练模块404，用于重复执行将所述目标模型的输出图像作为所述目标模型的输入图像输入到所述目标模型，进行所述目标模型的训练，直到达到所述目标模型的停止训练条件。
[0152]
其中，所述目标模型的停止训练条件可以包括目标迭代次数或模型迭代效果等。
[0153]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一输入模块将所述目标图像输入的目标模型，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
[0154]
可选的，所述目标模型包括单独的一个模型或级联模块,所述级联模型至少包括两个相互连接的模型。
[0155]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述目标模型为单独的一个模型；所述迭代训练模块404包括：第一匹配模块501，第一计算模块502和第一调整模块503，其结构示意图如图5所示，其中，
[0156]
该第一匹配模块501，用于将所述模型每次输出的图像与所述目标图像的真值图像进行匹配；
[0157]
该第一计算模块502，用于根据匹配结果计算所述模型的损失；
[0158]
该第一调整模块503，用于根据所述模型的损失调整所述模型的模型参数。
[0159]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述目标模型为所述级联模型；所述迭代训练模块404可以包括：第二匹配模块601，第二计算模块602、第三计算模块603和第二调整模块604，其结构示意图如图6所示，其中，
[0160]
该第二匹配模块601，用于将所述级联模型中的至少一个模型每次输出的图像分别与所述目标图像的真值图像进行匹配；
[0161]
该第二计算模块602，用于根据所述至少一个模型的匹配结果计算所述至少一个模型的损失；
[0162]
该第三计算模块603，用于计算所述至少一个模型的损失之和，得到所述级联模型的损失；
[0163]
该第二调整模块604，用于根据所述级联模型的损失调整所述级联模型中至少一个模型的模型参数。
[0164]
进一步，迭代训练模块还可以包括：该监督模块，用于所述第二匹配模块将所述级联模型中的至少一个模型每次输出的图像分别与所述目标图像的真值图像进行匹配之前，对所述级联模型中的至少一个模型每次输出的图像进行监督。
[0165]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一输入模块输入的所述级联模型中的每个所述模型的模型结构相同，模型参数相同；或者所述级联模型中的每个模型的模型结构相同，模型参数不相同；或者所述级联模型中的每个模型的模型结构不相同，模型参数不同。
[0166]
图7是根据一示例性实施例示出的一种模型训练装置的框图。所述装置为用于执行图像增强或图像恢复任务的模型，如图7所示，该装置包括：获取模块701，第一输入模块702，第二输入模块703和级联训练模块704，其中，
[0167]
该获取模块701，用于获取目标图像；
[0168]
该第一输入模块702，用于将所述目标图像作为级联模型的输入图像输入到所述级联模型中的第一子模型，其中，其中，所述级联模型为用于执行满足目标要求的图像到图像的转化任务的模型，所述目标要求为输入图像和输出图像都在同一个图像域；
[0169]
该第二输入模块703，用于将所述第一子模型输出的输出图像作为所述级联模型的第二子模型的输入图像，输入到所述级联模型中的第二子模型；
[0170]
该级联训练模块704，用于重复执行将所述级联模型中前一个子模型的输出图像作为其相邻的下一个子模型的输入图像，输入至所述下一个子模型，进行所述级联模型的训练。
[0171]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述第一输入模块将所述目标图像输入的级联模型，满足所述目标要求的图像到图像的转化任务包括：图像增强任务或图像恢复任务。
[0172]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述级联训练模块可以包括：匹配模块，第一计算模块，第二计算模块和调整模块，其中，
[0173]
该匹配模块，用于将所述级联模型中至少一个子模型每次输出的所述图像分别与所述第一图像的真值图像进行匹配；
[0174]
该第一计算模块，用于根据所述至少一个子模型的匹配结果计算所述至少一个子模型的损失；
[0175]
该第二计算模块，用于计算所述至少一个子模型的损失之和，得到所述级联模型的损失；
[0176]
该调整模块，用于根据所述级联模型的损失调整所述级联模型的至少一个子模型的模型参数。
[0177]
可选的，在另一实施例中，该实施例在上述实施例的基础上，该监督模块，用于在该匹配模块将所述级联模型中至少一个子模型每次输出的所述图像分别与所述第一图像的真值图像进行匹配之前，用于对所述级联模型中的至少一个模型输出的图像进行监督。
[0178]
可选的，在另一实施例中，该实施例在上述实施例的基础上，所述连接模块得到的所述级联模型中的每个子模型的模型结构相同，模型参数相同；或者所述级联模型中的每个子模型的模型结构相同，模型参数不相同；或者所述级联模型中的每个子模型的模型结构不相同，模型参数不同。
[0179]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，相关之处参见方法实施例的部分说明即可，此处将不做详细阐述说明。
[0180]
可选的，本技术实施例还提供一种电子设备，包括：
[0181]
处理器；
[0182]
用于存储所述处理器可执行指令的存储器；
[0183]
其中，所述处理器被配置为执行所述指令，以实现如上所述的模型训练方法。
[0184]
可选的，本技术实施例还提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如上所述的模型训练方法。可选地，存储介质可以是非临时性计算机可读存储介质，例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备
等。
[0185]
可选的，本技术实施例还提供一种计算机程序产品，包括计算机程序或指令，所述计算机程序或指令被处理器执行时实现如上所述的模型训练方法。
[0186]
图8是根据一示例性实施例示出的一种电子设备800的框图。例如，电子设备800可以为移动终端也可以为服务器,本技术实施例中以电子设备为移动终端为例进行说明。例如,电子设备800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0187]
参照图8，电子设备800可以包括以下一个或多个组件：处理组件802，存储器804，电力组件806，多媒体组件808，音频组件810，输入/输出(i/o)的接口812，传感器组件814，以及通信组件816。
[0188]
处理组件802通常控制电子设备800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件802可以包括一个或多个处理器820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件802可以包括一个或多个模块，便于处理组件802和其他组件之间的交互。例如，处理组件802可以包括多媒体模块，以方便多媒体组件808和处理组件802之间的交互。
[0189]
存储器804被配置为存储各种类型的数据以支持在设备800的操作。这些数据的示例包括用于在电子设备800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0190]
电源组件806为电子设备800的各种组件提供电力。电源组件806可以包括电源管理系统，一个或多个电源，及其他与为电子设备800生成、管理和分配电力相关联的组件。
[0191]
多媒体组件808包括在所述电子设备800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件808包括一个前置摄像头和/或后置摄像头。当设备800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0192]
音频组件810被配置为输出和/或输入音频信号。例如，音频组件810包括一个麦克风(mic)，当电子设备800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器804或经由通信组件816发送。在一些实施例中，音频组件810还包括一个扬声器，用于输出音频信号。
[0193]
i/o接口812为处理组件802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0194]
传感器组件814包括一个或多个传感器，用于为电子设备800提供各个方面的状态
评估。例如，传感器组件814可以检测到设备800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备800的显示器和小键盘，传感器组件814还可以检测电子设备800或电子设备800一个组件的位置改变，用户与电子设备800接触的存在或不存在，电子设备800方位或加速/减速和电子设备800的温度变化。传感器组件814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件814还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0195]
通信组件816被配置为便于电子设备800和其他设备之间有线或无线方式的通信。电子设备800可以接入基于通信标准的无线网络，如wifi，运营商网络(如2g、3g、4g或5g)，或它们的组合。在一个示例性实施例中，通信组件816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件816还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0196]
在示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述所示的方法。
[0197]
图9是根据一示例性实施例示出的一种用于模型训练的装置900的框图。例如，装置900可以被提供为一服务器。参照图9，装置900包括处理组件922，其进一步包括一个或多个处理器，以及由存储器932所代表的存储器资源，用于存储可由处理组件922的执行的指令，例如应用程序。存储器932中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件922被配置为执行指令，以执行上述方法。
[0198]
装置900还可以包括一个电源组件926被配置为执行装置900的电源管理，一个有线或无线网络接口950被配置为将装置900连接到网络，和一个输入输出(i/o)接口958。装置900可以操作基于存储在存储器932的操作系统，例如windows servertm，mac os xtm，unixtm,linuxtm，freebsdtm或类似。
[0199]
本领域技术人员在考虑说明书及实践这里公开的申请后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求指出。
[0200]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。