一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像检测模型的训练方法、图像检测方法、装置及设备与流程

2022-09-03 00:32:08 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及一种图像检测模型的训练方法、图像检测方法、装置及设备。


背景技术:

2.随着计算机技术的发展,图像处理的方式也越来越丰富。图像风格迁移是指在保持图像的内容不变的情况下,将一个图像的风格转换为另一个风格,例如艺术风格迁移、性别风格迁移、年龄风格迁移等。
3.通常,图像风格迁移的效果会受到多种因素的影响,例如所采用的手段、所迁移的风格或者所处理的图像中的内容等。因此,目前亟需提供一种对图像风格迁移的效果进行检测的方法。


技术实现要素:

4.本公开提供了一种图像检测模型的训练方法、图像检测方法、装置及设备,能够提高图像检测的准确性。
5.根据本公开实施例的一方面,提供一种图像检测模型的训练方法,所述方法包括:
6.获取属于目标风格的标准图像,所述目标风格为任一风格;
7.调用正在训练的图像生成模型,对原始图像进行风格迁移,得到目标图像,所述图像生成模型用于生成属于所述目标风格的图像;
8.基于所述目标图像,确定与所述目标图像的风格匹配的第一样本图像,基于所述图像生成模型当前的训练次数,确定所述第一样本图像对应的样本标签,所述样本标签用于表示所述第一样本图像的风格与所述目标风格之间的实际相似度,所述样本标签与所述图像生成模型的训练次数正相关;
9.调用待训练的图像检测模型,将所述第一样本图像与所述标准图像进行对比,得到第一检测标签,所述第一检测标签用于表示所述第一样本图像的风格与所述目标风格之间的预测相似度;
10.基于所述样本标签和所述第一检测标签,训练所述待训练的图像检测模型,得到训练完成的图像检测模型,所述训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
11.可选地,所述基于所述目标图像,确定与所述目标图像的风格匹配的第一样本图像,包括:
12.将所述目标图像确定为所述第一样本图像。
13.可选地,所述方法还包括:
14.确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,所述准确度表示所述候选图像生成模型生成的属于所述目标风格的图像的准确程度;
15.在所述多个候选图像生成模型中,选取所述准确度小于目标阈值的所述图像生成模型。
16.可选地,所述调用正在训练的图像生成模型,对原始图像进行风格迁移,得到目标图像,包括:
17.确定多个图像生成模型,且不同的图像生成模型当前的训练次数不同;
18.调用所述多个图像生成模型,分别对所述原始图像进行风格迁移,得到多个目标图像;
19.所述基于所述目标图像,确定与所述目标图像的风格匹配的第一样本图像,包括:
20.将所述多个目标图像进行融合所得到的图像,确定为所述第一样本图像;
21.所述基于所述图像生成模型当前的训练次数,确定所述第一样本图像对应的样本标签,包括:
22.将所述多个图像生成模型的训练次数进行加权平均,得到平均训练次数;
23.对所述平均训练次数进行归一化处理,得到所述样本标签。
24.可选地,所述多个图像生成模型包括第一图像生成模型和第二图像生成模型;所述确定多个图像生成模型,包括:
25.确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,所述准确度表示所述候选图像生成模型生成的属于所述目标风格的图像的准确程度;
26.在所述多个候选图像生成模型中,选取所述准确度等于目标阈值的所述第一图像生成模型,以及选取所述准确度为最大值的所述第二图像生成模型。
27.可选地,所述方法还包括:
28.对所述标准图像进行多种类型的增强处理,得到多个增强图像;
29.调用所述待训练的图像检测模型,分别将所述第一样本图像与每个所述增强图像进行对比,得到多个第一增强标签,所述第一增强标签用于表示所述第一样本图像的风格与所述增强图像的风格之间的预测相似度;
30.所述基于所述样本标签和所述第一检测标签,训练所述待训练的图像检测模型,得到训练完成的图像检测模型,包括:
31.基于任两个所述第一增强标签之间的差异或者所述样本标签与每个所述第一增强标签之间的差异中的任一项,以及所述样本标签与所述第一检测标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测模型。
32.可选地,所述方法还包括:
33.对所述标准图像进行多种类型的增强处理,得到多个增强图像;
34.调用所述待训练的图像检测模型,将任两个所述增强图像进行对比,得到多个第二增强标签,所述第二增强标签用于表示任两个所述增强图像的风格之间的预测相似度;
35.所述基于所述样本标签和所述第一检测标签,训练所述待训练的图像检测模型,得到训练完成的图像检测模型,包括:
36.获取目标标签,所述目标标签表示所述任两个增强图像的风格相同;
37.基于所述样本标签与所述第一检测标签之间的差异,以及每个第二增强标签与所述目标标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测
模型。
38.可选地,所述方法还包括:
39.获取第二样本图像,所述第二样本图像为不属于所述目标风格的图像;
40.调用所述待训练的图像检测模型,将所述第一样本图像与所述第二样本图像进行对比,得到第二检测标签,所述第二检测标签用于表示所述第一样本图像的风格与所述第二样本图像的风格之间的预测相似度;
41.所述基于所述样本标签和所述第一检测标签,训练所述待训练的图像检测模型,得到训练完成的图像检测模型,包括:
42.基于所述样本标签与所述第一检测标签之间的差异,以及所述第一检测标签与所述第二检测标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测模型。
43.根据本公开实施例的另一方面,提供一种图像检测方法,所述方法包括:
44.获取属于目标风格的标准图像,所述目标风格为任一风格;
45.将第一图像的风格迁移为所述目标风格,得到属于所述目标风格的第二图像;
46.调用训练完成的图像检测模型,将所述第二图像与所述标准图像进行对比,得到目标检测标签,所述目标检测标签用于表示所述第二图像的风格与所述标准图像的风格之间的相似度;
47.其中,所述训练完成的图像检测模型是采用如上述的图像检测模型的训练方法所训练的。
48.根据本公开实施例的再一方面,提供一种图像检测模型的训练装置,所述图像检测模型的训练装置包括:
49.第一获取单元,被配置为执行获取属于目标风格的标准图像,所述目标风格为任一风格;
50.第二获取单元,被配置为执行调用正在训练的图像生成模型,对原始图像进行风格迁移,得到目标图像,所述图像生成模型用于生成属于所述目标风格的图像;
51.第一确定单元,被配置为执行基于所述目标图像,确定与所述目标图像的风格匹配的第一样本图像,基于所述图像生成模型当前的训练次数,确定所述第一样本图像对应的样本标签,所述样本标签用于表示所述第一样本图像的风格与所述目标风格之间的实际相似度,所述样本标签与所述图像生成模型的训练次数正相关;
52.模型训练单元,被配置为执行调用待训练的图像检测模型,将所述第一样本图像与所述标准图像进行对比,得到第一检测标签,所述第一检测标签用于表示所述第一样本图像的风格与所述目标风格之间的预测相似度;
53.所述模型训练单元,还被配置为执行基于所述样本标签和所述第一检测标签,训练所述待训练的图像检测模型,得到训练完成的图像检测模型,所述训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
54.可选地,所述第一确定单元,被配置为执行将所述目标图像确定为所述第一样本图像。
55.可选地,所述装置还包括:
56.第二确定单元,被配置为执行确定多个候选图像生成模型,每个候选图像生成模
型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,所述准确度表示所述候选图像生成模型生成的属于所述目标风格的图像的准确程度;
57.模型选取单元,被配置为执行在所述多个候选图像生成模型中,选取所述准确度小于目标阈值的所述图像生成模型。
58.可选地,所述第二获取单元,被配置为执行:
59.确定多个图像生成模型,且不同的图像生成模型当前的训练次数不同;
60.调用所述多个图像生成模型,分别对所述原始图像进行风格迁移,得到多个目标图像;
61.所述第一确定单元,被配置为执行将所述多个目标图像进行融合所得到的图像,确定为所述第一样本图像;
62.所述第一确定单元,还被配置为执行:
63.将所述多个图像生成模型的训练次数进行加权平均,得到平均训练次数;
64.对所述平均训练次数进行归一化处理,得到所述样本标签。
65.可选地,所述多个图像生成模型包括第一图像生成模型和第二图像生成模型;所述第二获取单元,被配置为执行:
66.确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,所述准确度表示所述候选图像生成模型生成的属于所述目标风格的图像的准确程度;
67.在所述多个候选图像生成模型中,选取所述准确度等于目标阈值的所述第一图像生成模型,以及选取所述准确度为最大值的所述第二图像生成模型。
68.可选地,所述装置还包括:
69.图像增强单元,被配置为执行对所述标准图像进行多种类型的增强处理,得到多个增强图像;
70.所述模型训练单元,还被配置为执行调用所述待训练的图像检测模型,分别将所述第一样本图像与每个所述增强图像进行对比,得到多个第一增强标签,所述第一增强标签用于表示所述第一样本图像的风格与所述增强图像的风格之间的预测相似度;
71.所述模型训练单元,还被配置为执行基于任两个所述第一增强标签之间的差异或者所述样本标签与每个所述第一增强标签之间的差异中的任一项,以及所述样本标签与所述第一检测标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测模型。
72.可选地,所述装置还包括:
73.图像增强单元,被配置为执行对所述标准图像进行多种类型的增强处理,得到多个增强图像;
74.所述模型训练单元,还被配置为执行调用所述待训练的图像检测模型,将任两个所述增强图像进行对比,得到多个第二增强标签,所述第二增强标签用于表示任两个所述增强图像的风格之间的预测相似度;
75.所述模型训练单元,还被配置为执行:
76.获取目标标签,所述目标标签表示所述任两个增强图像的风格相同;
77.基于所述样本标签与所述第一检测标签之间的差异,以及每个第二增强标签与所
述目标标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测模型。
78.可选地,所述装置还包括:
79.第三获取单元,被配置为执行获取第二样本图像,所述第二样本图像为不属于所述目标风格的图像;
80.所述模型训练单元,还被配置为执行调用所述待训练的图像检测模型,将所述第一样本图像与所述第二样本图像进行对比,得到第二检测标签,所述第二检测标签用于表示所述第一样本图像的风格与所述第二样本图像的风格之间的预测相似度;
81.所述模型训练单元,还被配置为执行基于所述样本标签与所述第一检测标签之间的差异,以及所述第一检测标签与所述第二检测标签之间的差异,训练所述待训练的图像检测模型,得到所述训练完成的图像检测模型。
82.根据本公开实施例的再一方面,提供一种图像检测装置,所述图像检测装置包括:
83.获取单元,被配置为执行获取属于目标风格的标准图像,所述目标风格为任一风格;
84.风格迁移单元,被配置为执行将第一图像的风格迁移为所述目标风格,得到属于所述目标风格的第二图像;
85.图像检测单元,被配置为执行调用训练完成的图像检测模型,将所述第二图像与所述标准图像进行对比,得到目标检测标签,所述目标检测标签用于表示所述第二图像的风格与所述标准图像的风格之间的相似度;
86.其中,所述训练完成的图像检测模型是采用如上述的图像检测模型的训练方法所训练的。
87.根据本公开实施例的再一方面,提供了一种电子设备,所述电子设备包括:
88.处理器;
89.用于存储所述处理器可执行指令的存储器;
90.其中,所述处理器被配置为执行所述指令,以实现如上述方面所述的图像检测模型的训练方法,或者实现如上述方面所述的图像检测方法。
91.根据本公开实施例的再一方面,提供一种计算机可读存储介质,计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如上述方面所述的图像检测模型的训练方法,或者执行如上述方面所述的图像检测方法。
92.根据本公开实施例的再一方面,提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述方面所述的图像检测模型的训练方法,或者实现如上述方面所述的图像检测方法。
93.本公开实施例提供的方法,利用图像生成模型进行风格迁移所得到目标图像,确定样本图像,由于图像生成模型的训练次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,因此利用图像生成模型的训练次数,确定该样本图像对应的样本标签。然后利用该样本图像、该样本标签以及属于该目标风格的标准图像,即可训练图像检测模型,使得图像检测模型去自动学习图像中有关风格检测的深度特征,以便根据学习到的深度特征进行风格检测,从而提高图像检测模型的准确性。
94.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
95.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
96.图1是根据一示例性实施例示出的一种实施环境的示意图。
97.图2是根据一示例性实施例示出的一种图像检测模型的训练方法的流程图。
98.图3是根据一示例性实施例示出的另一种图像检测模型的训练方法的流程图。
99.图4是根据一示例性实施例示出的又一种图像检测模型的训练方法的流程图。
100.图5是根据一示例性实施例示出的一种图像检测方法的流程图。
101.图6是根据一示例性实施例示出的另一种图像检测方法的流程图。
102.图7是根据一示例性实施例示出的一种图像检测模型的训练装置的框图。
103.图8是根据一示例性实施例示出的另一种图像检测模型的训练装置的框图。
104.图9是根据一示例性实施例示出的一种图像检测装置的框图。
105.图10是根据一示例性实施例示出的一种终端的框图。
106.图11是根据一示例性实施例示出的一种服务器的框图。
具体实施方式
107.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
108.需要说明的是,本公开的说明书和权利要求书及上述附图说明中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
109.需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据,均为经用户授权或者经过各方充分授权的信息和数据。
110.本公开实施例的执行主体为电子设备。示例性的,该电子设备为终端,终端为电脑、手机、平板电脑或者其他终端。示例性的,该电子设备为服务器,服务器为后台服务器或者为提供云计算以及云存储等服务的云服务器等。其中,电子设备利用图像生成模型获取样本图像和对应的样本标签,然后利用样本图像、样本标签以及标准图像,训练图像检测模型,后续使用该图像检测模型检测任两个图像的风格之间的相似度。
111.图1是本公开实施例提供的一种实施环境的示意图。参见图1,该实施环境包括终端101和服务器102。终端101和服务器102之间通过无线或者有线网络连接。
112.示例性的,终端101上安装有由服务器102提供服务的目标应用,终端101能够通过该目标应用实现例如图像风格迁移以及风格检测等功能,当然,该目标应用还能够具有其他功能,例如,网络社交功能、视频分享功能或者聊天功能等。示例性的,目标应用为终端
101操作系统中的目标应用,或者为第三方提供的目标应用。示例性的,该目标应用为短视频应用、游戏应用、社交应用或者其他应用,本公开实施例对此不做限制。
113.在本公开实施例中,服务器102训练图像检测模型,并向终端101提供训练完成的图像检测模型和属于目标风格的标准图像,终端101对原始图像进行风格迁移后,得到目标图像,通过该训练完成的图像检测模型与该标准图像,来对该目标图像的风格进行检测,以确定该目标图像的风格是否已成功迁移为目标风格。
114.本公开实施例提供的图像检测方法,能够应用于任一需要进行风格检测的场景下。
115.例如,应用于制作手绘风格的图像的场景下。终端中存储有采用本公开实施例提供的方法所训练的图像检测模型,用户在终端拍摄照片之后,想要将该照片的风格迁移为手绘风格,以增加照片的趣味性,则终端多次将该照片的风格迁移为手绘风格,得到风格迁移后的多个图像。然后,调用该图像检测模型,分别将该多个图像与属于手绘风格的标准图像进行对比,得到该多个图像的风格与该标准图像的风格之间的相似度,相似度最大的图像是最接近手绘风格的图像,也即是图像风格迁移的效果最好的图像,因此终端将该图像展示给用户。
116.图2是根据一示例性实施例示出的一种图像检测模型的训练方法的流程图,该方法由电子设备执行,参见图2,该方法包括以下步骤:
117.201、电子设备获取属于目标风格的标准图像,该目标风格为任一风格。
118.该标准图像是指真实的属于目标风格的图像,而不是经过风格迁移所得到的图像,本公开实施例中,该标准图像是进行风格检测的参考标准。该标准图像的内容可以为任意类型的内容,本公开实施例对该标准图像的内容不做限定。
119.202、电子设备调用正在训练的图像生成模型,对原始图像进行风格迁移,得到目标图像,该图像生成模型用于生成属于目标风格的图像。
120.由于本公开实施例对目标图像的风格是否是真正的目标风格并不限定,因此该图像生成模型可以为准确度较高的模型,也可以为准确度较低的模型。如果图像生成模型的准确度较低,则生成的目标图像的风格与目标风格相差较远,如果该图像生成模型的准确度较高,则生成的目标图像的风格与该目标风格比较接近。
121.203、电子设备基于该目标图像,确定与该目标图像的风格匹配的第一样本图像,基于该图像生成模型当前的训练次数,确定该第一样本图像对应的样本标签。
122.电子设备获取到目标图像后,以该目标图像为基础,确定用于训练图像检测模型的第一样本图像,该第一样本图像的风格是由该目标图像的风格所决定的。
123.其中,该样本标签用于表示第一样本图像的风格与目标风格之间的实际相似度,该样本标签与该图像生成模型的训练次数正相关。图像生成模型的训练次数越多,该样本标签所表示的实际相似度越高,该图像生成模型的训练次数越少,该样本标签所表示的实际相似度越低。
124.由于图像生成模型的训练迭代次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,图像生成模型的训练迭代次数越高,该图像生成模型所得到的目标图像的风格迁移效果越差,也即是目标图像的风格与目标风格越不相似。因此利用图像生成模型的训练迭代次数,确定该样本图像对应的样
本标签,相当于使用无监督的方法生成了第一样本图像的“伪标签”,从而构建了训练图像检测模型所需的样本数据。
125.204、电子设备调用待训练的图像检测模型,将第一样本图像与标准图像进行对比,得到第一检测标签。
126.电子设备获取到第一样本图像和标准图像之后,调用待训练的图像检测模型,将第一样本图像与标准图像进行对比,得到第一检测标签,该第一检测标签用于表示第一样本图像的风格与目标风格之间的预测相似度,预测相似度是指由图像检测模型所预测的相似度,而不是真实的相似度。
127.205、电子设备基于样本标签和第一检测标签,训练该待训练的图像检测模型,得到训练完成的图像检测模型,该训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
128.由于样本标签表示的是实际相似度,而第一检测标签是调用图像检测模型得到的预测相似度,因此电子设备根据样本标签,能够确定图像检测模型得到的第一检测标签是否准确。电子设备基于样本标签和第一检测标签,训练该待训练的图像检测模型,得到训练完成的图像检测模型,该训练完成的图像检测模型所预测的相似度更加准确,从而提高了图像检测模型的准确性。
129.需要说明的是,上述步骤204-步骤205,仅以一次训练过程为例进行说明。在另一实施例中,电子设备获取多个第一样本图像和对应的样本标签,重复执行上述步骤204-步骤205,对待训练的图像检测模型进行迭代训练,从而得到更加准确的图像检测模型。
130.本公开实施例提供的方法,利用图像生成模型进行风格迁移所得到目标图像,确定样本图像,由于图像生成模型的训练次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,因此利用图像生成模型的训练次数,确定该样本图像对应的样本标签。然后利用该样本图像、该样本标签以及属于该目标风格的标准图像,即可训练图像检测模型,使得图像检测模型去自动学习图像中有关风格检测的深度特征,以便根据学习到的深度特征进行风格检测,从而提高图像检测模型的准确性。
131.并且,本公开实施例提供了一种图像检测模型的训练方法,便于后续直接使用训练后的图像检测模型检测任两个图像的风格之间的相似度,有利于实现风格检测的自动化以及提高风格检测的效率。
132.图3是根据一示例性实施例示出的另一种图像检测模型的训练方法的流程图,该方法由电子设备执行,本公开实施例中,具体说明了获取第一样本图像以及第一样本图像对应的样本标签的过程,参见图3,该方法包括以下步骤:
133.301、电子设备获取属于目标风格的标准图像,该目标风格为任一风格。
134.该步骤301与上述步骤201同理,在此不再一一赘述。
135.302、电子设备确定正在训练的多个候选图像生成模型,在该多个候选图像生成模型中,选取该准确度小于目标阈值的该图像生成模型。
136.其中,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,该准确度表示该候选图像生成模型生成的属于该目标风格的图像的准确程度。该多个候选图像生成模型的训练次数不同,候选图像生成模型
的训练次数越多,该候选图像生成模型的准确度越高,候选图像生成模型的训练次数越少,该候选图像生成模型的准确度越低。因此训练初始阶段中,候选图像生成模型的准确度较低,训练稳定阶段中,候选图像生成模型的准确度较高。
137.本公开实施例中,后续会使用图像生成模型的训练次数来确定样本标签,也即是使用训练次数来确定基于目标图像得到的样本图像的风格与标准图像的风格之间的相似度,考虑到图像生成模型在训练初始阶段中收敛速度较快,因此样本图像的风格与标准图像的风格之间的相似度受到图像生成模型的训练次数的影响较为明显,因此选取准确度小于目标阈值的图像生成模型,来生成目标图像,能够保证基于训练次数所确定的样本标签的准确性。
138.可选地,电子设备将候选图像生成模型的fid(fr
é
chet inception distance,一种对模型的评价指标),确定为候选图像生成模型的准确度。
139.可选地,电子设备按照训练次数从小到大的顺序,确定多个候选图像生成模型对应的变化幅度,候选图像生成模型对应的变化幅度是指该候选图像生成模型的准确度与前一个候选图像生成模型的准确度之间的差值。电子设备确定第一个小于预设值的变化幅度对应的候选图像生成模型,将该候选图像生成模型的准确度确定为目标阈值。
140.303、电子设备调用选取的该图像生成模型,对原始图像进行风格迁移,得到目标图像,该图像生成模型用于生成属于目标风格的图像。
141.该步骤303与上述步骤202同理,在此不再一一赘述。
142.304、电子设备将目标图像确定第一样本图像。
143.本公开实施例中,电子设备在获取到图像生成模型所生成的目标图像后,直接将该目标图像确定为用于训练图像检测模型的样本图像,从而提供了一种自动生成样本图像的方式,无需人工挑选样本图像,提高了效率。
144.305、电子设备基于该图像生成模型的训练次数,确定第一样本图像对应的样本标签,该样本标签与该图像生成模型的训练次数正相关。
145.其中,该样本标签用于表示第一样本图像的风格与目标风格之间的实际相似度。图像生成模型的训练次数越多,该样本标签所表示的实际相似度越高,该图像生成模型的训练次数越少,该样本标签所表示的实际相似度越低。
146.由于图像生成模型的训练迭代次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,图像生成模型的训练迭代次数越高,该图像生成模型所得到的目标图像的风格迁移效果越差,也即是目标图像的风格与目标风格越不相似。因此利用图像生成模型的训练迭代次数,确定该样本图像对应的样本标签,相当于使用无监督的方法生成了第一样本图像的“伪标签”,从而构建了训练图像检测模型所需的样本数据。
147.306、电子设备调用待训练的图像检测模型,将第一样本图像与标准图像进行对比,得到第一检测标签,该第一检测标签用于表示第一样本图像的风格与目标风格之间的预测相似度。
148.在一种可能实现方式中,待训练的图像检测模型包括特征提取网络和分类网络。电子设备调用特征提取网络,分别对第一样本图像和标准图像进行特征提取,得到第一样本图像的样本风格特征和标准图像的标准风格特征。调用分类网络,对样本风格特征与标
准风格特征之间的差异特征进行分类,得到第一检测标签。
149.可选地,分类网络包括n个分类层,n为大于1的整数。电子设备确定样本风格特征与标准风格特征之间的差异特征;分别调用n个分类层,对差异特征进行分类,得到n个分类标签,其中,第i个分类标签用于表示样本风格特征所表示的风格属于标准风格特征所表示的风格的概率是否大于i-1与n的比值,i为不大于n的正整数;将n个分类标签进行融合,得到第一检测标签。
150.307、电子设备基于样本标签和第一检测标签,训练待训练的图像检测模型,得到训练完成的图像检测模型,该训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
151.由于样本标签表示的是实际相似度,而第一检测标签是调用待训练的图像检测模型得到的预测相似度,因此电子设备根据样本标签,能够确定待训练的图像检测模型得到的第一检测标签是否准确。电子设备基于样本标签和第一检测标签,训练待训练的图像检测模型,得到训练完成的图像检测模型,以使训练完成的图像检测模型所预测的相似度更加准确,从而提高了图像检测模型的准确性。
152.在一种可能实现方式中,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失值,基于该第一损失值,训练该待训练的图像检测模型。
153.考虑到第一检测标签与样本标签越接近,该第一检测标签越准确,则该待训练的图像检测模型越准确,因此,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失值,基于该第一损失值,训练该待训练的图像检测模型,以使得到的训练完成的图像检测模型预测的第一检测标签与样本标签之间的差异变小,也即是该第一损失值变小,从而得到更加准确的图像检测模型。
154.在一种可能实现方式中,待训练的图像检测模型对应有损失函数,该损失函数用于基于样本标签和第一检测标签确定该第一损失值。电子设备初始化该图像检测模型中的模型参数和目标训练次数,对图像检测模型的损失函数进行反向求导,基于反向求导后的与损失函数对应的梯度更新模型参数,当更新次数达到该目标训练次数,停止训练并保存当前的图像检测模型,得到训练完成的图像检测模型。
155.可选地,电子设备采用均匀初始化的方式对待训练的图像检测模型中的模型参数进行初始化,同时初始化训练次数t=0,并将目标训练次数设置为e。进一步地,对损失函数l进行反向求导,得到l对模型参数的偏导数,通过梯度反向传播的方式更新模型参数。每更新一次模型参数,将训练次数t加1,并判断t是否满足训练终止条件:若t≤e,则重复执行上述更新模型参数的步骤;若t》e,则停止训练,得到训练完成的图像检测模型。
156.本公开实施例提供的方法,利用图像生成模型进行风格迁移所得到目标图像,确定样本图像,由于图像生成模型的训练次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,因此利用图像生成模型的训练次数,确定该样本图像对应的样本标签。然后利用该样本图像、该样本标签以及属于该目标风格的标准图像,即可训练图像检测模型,使得图像检测模型去自动学习图像中有关风格检测的深度特征,以便根据学习到的深度特征进行风格检测,从而提高图像检测模型的准确性。
157.图4是根据一示例性实施例示出的另一种图像检测模型的训练方法的流程图,该
方法由电子设备执行,本公开实施例中,具体说明了获取第一样本图像以及第一样本图像对应的样本标签的过程,参见图4,该方法包括以下步骤:
158.401、电子设备获取属于目标风格的标准图像,该目标风格为任一风格。
159.该步骤401与上述步骤201同理,在此不再一一赘述。
160.402、电子设备确定多个图像生成模型,且不同的图像生成模型当前的训练次数不同,调用多个图像生成模型,分别对原始图像进行风格迁移,得到多个目标图像。
161.由于该多个图像生成模型的训练次数不同,因此该多个图像生成模型的准确度也不相同,则该多个图像生成模型所生成的目标图像的风格也存在差异。
162.可选地,该多个图像生成模型包括第一图像生成模型和第二图像生成模型。电子设备确定该第一图像生成模型和第二图像生成模型的过程,包括:确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,准确度表示候选图像生成模型生成的属于该目标风格的图像的准确程度。在多个候选图像生成模型中,选取准确度等于目标阈值的第一图像生成模型,以及选取准确度为最大值的第二图像生成模型。
163.其中,该多个候选图像生成模型与步骤302中所说的多个候选图像生成模型同理。由于准确度与训练次数正相关,因此训练初始阶段中,候选图像生成模型的准确度较低,训练稳定阶段中,候选图像生成模型的准确度较高。本公开实施例中,后续会使用图像生成模型的训练次数来确定样本标签,也即是使用训练次数来确定基于目标图像得到的样本图像的风格与标准图像的风格之间的相似度,考虑到图像生成模型在训练稳定阶段中收敛速度较慢,且生成的目标图像的质量有所波动,因此样本图像的风格与标准图像的风格之间的相似度受到图像生成模型的训练次数的影响较小,因此仅选取准确度等于目标阈值的第一图像生成模型,以及准确度为最大值的第二图像生成模型,来生成目标图像,从而避免得到的样本标签存在较大误差,能够保证基于训练次数所确定的样本标签的准确性。
164.403、电子设备将该多个目标图像进行融合所得到的图像,确定为第一样本图像。
165.电子设备将该多个目标图像进行融合,得到融合后的图像,将该融合后的图像确定为第一样本图像。
166.可选地,电子设备基于多个图像生成模型的权重,将该多个目标图像进行加权融合,将融合所得到的图像确定为第一样本图像。本公开实施例中,在对多个目标图像进行融合时,考虑了图像生成模型的权重,由于不同的图像生成模型的训练次数不同,也即是准确度不同,因此根据图像生成模型的权重进行融合,有利于把握第一样本图像的准确度。
167.例如,多个图像生成模型包括第一图像生成模型和第二图像生成模型,第一图像生成模型的权重为a,第二图像生成模型的权重为b,第一图像生成模型所生成的目标图像为x,第二图像生成模型所生成的图像为y,则电子设备将a*x b*y所得到的图像z,确定为第一样本图像。
168.可选地,电子设备基于该多个图像生成模型的权重,对该多个目标图像进行像素域的插值处理,将插值处理后得到的图像确定为该第一样本图像。
169.404、电子设备将该多个图像生成模型的训练次数进行加权平均,得到平均训练次数,对该平均训练次数进行归一化处理,得到该样本标签。
170.可选地,电子设备基于多个图像生成模型的权重,将多个图像生成模型的训练次
数进行加权平均,得到平均训练次数,对该平均训练次数进行归一化处理,得到该样本标签。本公开实施例中,在对多个图像生成模型的训练次数进行融合时,考虑了图像生成模型的权重,能够提高确定的样本标签的准确性。
171.例如,多个图像生成模型包括第一图像生成模型和第二图像生成模型,第一图像生成模型的权重为a,第二图像生成模型的权重为b,第一图像生成模型的训练次数为m,第二图像生成模型的训练次数为n,则电子设备将a*m b*n所得到的训练次数,确定为样本标签。
172.由于图像生成模型所生成的目标图像的准确度具有一定的随机性,为了保证第一样本图像以及对应的样本标签的误差不会太大,电子设备将该多个目标图像进行融合,得到融合后的图像,将该融合后的图像确定为第一样本图像,将该多个图像生成模型的训练次数进行融合所得到的训练次数确定为样本标签,从而降低第一样本图像以及对应的样本标签的误差,保证了第一样本图像与对应的样本标签的准确性。
173.405、电子设备调用待训练的图像检测模型,将第一样本图像与标准图像进行对比,得到第一检测标签,该第一检测标签用于表示第一样本图像的风格与目标风格之间的预测相似度。
174.406、电子设备基于样本标签和第一检测标签,训练待训练的图像检测模型,得到训练完成的图像检测模型,该训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
175.该步骤405-步骤406与上述步骤306-步骤307同理,在此不再一一赘述。
176.本公开实施例提供的方法,利用图像生成模型进行风格迁移所得到目标图像,确定样本图像,由于图像生成模型的训练次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,因此利用图像生成模型的训练次数,确定该样本图像对应的样本标签。然后利用该样本图像、该样本标签以及属于该目标风格的标准图像,即可训练图像检测模型,使得图像检测模型去自动学习图像中有关风格检测的深度特征,以便根据学习到的深度特征进行风格检测,从而提高图像检测模型的准确性。
177.需要说明的是,上述图3所示的实施例和图4所示的实施例仅以获取一个第一样本图像和对应的样本标签为例进行说明。在另一实施例中,电子设备获取多个第一样本图像和对应的样本标签,利用获取到的多个第一样本图像和对应的样本标签,来训练图像检测模型。其中,获取多个第一样本图像的具体过程如下。
178.电子设备获取多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度。电子设备根据目标阈值,将多个候选图像生成模型分为训练初始阶段的模型和训练稳定阶段的模型。其中,准确度小于目标阈值的候选图像生成模型属于训练初始阶段的模型,准确度大于或者等于目标阈值的候选图像生成模型属于训练稳定阶段的模型,准确度等于目标阈值的候选图像生成模型属于训练稳定阶段的起点模型,也即是第一图像生成模型,准确度为最大值的候选图像生成模型属于训练稳定阶段的终点模型,也即是第二图像生成模型。
179.对于训练初始阶段的每个候选图像生成模型,由于训练初始阶段的收敛速度明显较快,能够捕捉到低频且简单的特征,所以图像生成模型的准确度受训练次数的影响较为
明显,因此根据这些候选图像生成模型的训练次数所确定的样本标签的误差较小。因此,电子设备可以将训练初始阶段的多个候选图像生成模型,确定为用于生成目标图像的图像生成模型。并且,对于每个图像生成模型,电子设备调用该图像生成模型,对原始图像进行风格迁移,得到一个目标图像,将该目标图像确定为第一样本图像,并基于该图像生成模型的训练次数,确定该第一样本图像对应的样本标签。
180.对于训练稳定阶段的每个候选图像生成模型,由于训练稳定阶段的收敛速度较慢且生成的图像的准确度有波动,因此根据这些候选图像生成模型的训练次数所确定的样本标签的误差较大。因此,电子设备仅将训练稳定阶段的起点模型和终点模型,确定为用于生成目标图像的图像生成模型。可选地,电子设备调用起点模型对原始图像进行风格迁移,得到第一目标图像,调用终点模型对原始图像进行风格迁移,得到第二目标图像。电子设备基于起点模型的权重以及终点模型的权重,对该第一目标图像和第二目标图像进行加权融合,得到一个第一样本图像,基于起点模型的权重以及终点模型的权重,对该起点模型的训练次数和终点模型的训练次数进行加权融合,得到该第一样本图像对应的样本标签。通过为起点模型和终点模型设置不同的权重,即可得到不同的第一样本图像和对应的样本标签。
181.上述实施例仅以基于样本标签和第一检测标签,训练待训练的图像检测模型为例说明,除此之外,电子设备还可以采用其他方式获取其他类型的标签,结合其他类型的标签训练待训练的图像检测模型。因此,本公开实施例还提供了以下三种训练图像检测模型的方式。
182.第一种训练方式:电子设备对标准图像进行多种类型的增强处理,得到多个增强图像;调用待训练的图像检测模型,分别将第一样本图像与每个增强图像进行对比,得到多个第一增强标签,第一增强标签用于表示第一样本图像的风格与增强图像的风格之间的预测相似度;基于任两个该第一增强标签之间的差异或者该样本标签与每个该第一增强标签之间的差异中的任一项,以及该样本标签与该第一检测标签之间的差异,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
183.其中,该多种类型的增强处理均是不破坏图像风格的处理方式,例如旋转处理、裁剪处理、缩小处理或者放大处理等,因此该多个增强图像的风格与标准图像的风格相同,也即是均属于目标风格。由于每个增强图像的风格均属于相同的风格,第一样本图像的风格与每个增强图像的风格之间的预测相似度越接近,也即是任两个第一增强标签越接近,该图像检测模型越准确。因此,还可以结合任两个第一增强标签之间的差异或者样本标签与每个该第一增强标签之间的差异,训练该待训练的图像检测模型,得到该训练完成的图像检测模型,有利于提高图像检测模型的鲁棒性。
184.可选地,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失参数,基于任两个第一增强标签之间的差异,确定第二损失参数,基于第一损失参数和第二损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。或者,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失参数,基于样本标签与每个该第一增强标签之间的差异,确定第五损失参数,基于第一损失参数和第五损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
185.其中,该第一损失参数能够表示样本标签与第一检测标签之间的差异,且该第一
损失参数与该差异正相关,该第二损失参数能够表示两个第一增强标签之间的差异,且该第二损失参数与该差异正相关,该第五损失参数能够表示样本标签与每个第一增强标签之间的差异,且该第五损失参数与该差异正相关。电子设备基于第一损失参数和第二损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型,以使基于训练完成的图像检测模型所得到的第一损失参数和第二损失参数变小,从而得到更加准确的图像检测模型。或者,电子设备基于第一损失参数和第五损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型,以使基于训练完成的图像检测模型所得到的第一损失参数和第五损失参数变小,从而得到更加准确的图像检测模型。
186.第二种训练方式:电子设备对标准图像进行多种类型的增强处理,得到多个增强图像;调用待训练的图像检测模型,将任两个增强图像进行对比,得到多个第二增强标签,第二增强标签用于表示任两个增强图像的风格之间的预测相似度。电子设备获取目标标签,目标标签表示任两个增强图像的风格相同;基于样本标签与第一检测标签之间的差异,以及每个第二增强标签与目标标签之间的差异,训练待训练的图像检测模型,得到该训练完成的图像检测模型。
187.其中,该多种类型的增强处理均是不破坏图像风格的处理方式,因此该多个增强图像的风格与标准图像的风格相同,也即是均属于目标风格。由于每个增强图像的风格均属于相同的风格,因此任两个增强图像之间的第二增强标签应该与目标标签越接近,该图像检测模型越准确。因此,还可以结合每个第二增强标签与目标标签之间的差异,训练图像检测模型,有利于提高图像检测模型的鲁棒性。
188.可选地,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失参数;基于每个第二增强标签与目标标签之间的差异,确定第三损失参数;基于第一损失参数和第三损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
189.其中,该第一损失参数能够表示样本标签与第一检测标签之间的差异,且该第一损失参数与该差异正相关,该第三损失参数能够表示第二增强标签与目标标签之间的差异,且该第三损失参数与该差异正相关。电子设备基于第一损失参数和第三损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型,以使基于训练完成的图像检测模型所得到的第一损失参数和第三损失参数变小,从而得到更加准确的图像检测模型。
190.第三种训练方式:电子设备获取第二样本图像,第二样本图像为不属于目标风格的图像;调用待训练的图像检测模型,将第一样本图像与第二样本图像进行对比,得到第二检测标签,第二检测标签用于表示第一样本图像的风格与第二样本图像的风格之间的预测相似度;基于样本标签与第一检测标签之间的差异,以及该第一检测标签与该第二检测标签之间的差异,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
191.其中,由于第二样本图像为不属于目标风格的图像,第一样本图像为图像生成模型生成的图像,该图像生成模型用于生成目标风格的图像,因此第一样本图像的风格与第二样本图像的风格之间的预测相似度越小,该图像检测模型越准确。因此,还可以结合该第二检测标签,训练图像检测模型,有利于提高图像检测模型的鲁棒性。
192.可选地,电子设备基于样本标签与第一检测标签之间的差异,确定第一损失参数,基于第一检测标签与第二检测标签之间的差异,确定第四损失参数。电子设备基于第一损失参数和第四损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
193.其中,该第一损失参数能够表示样本标签与第一检测标签之间的差异,且该第一损失参数与该差异正相关,该第四损失参数能够表示第一检测标签与第二检测标签之间的差异,且该第四损失参数与该差异负相关。电子设备基于第一损失参数和第四损失参数,训练该待训练的图像检测模型,得到该训练完成的图像检测模型,以使基于训练完成的图像检测模型所得到的第一损失参数和第四损失参数变小,从而得到更加准确的图像检测模型。
194.需要说明的是,以上三种训练方式还可以任意结合,也即是,电子设备能够基于第一损失参数,以及第二损失参数、第三损失参数、第四损失参数或第五损失参数中的至少一个,训练该图像检测模型。
195.在一种可能实现方式中,电子设备基于第一损失参数、第二损失参数、第三损失参数和第四损失参数,确定目标损失参数,基于该目标损失参数,训练图像检测模型。
196.例如,电子设备采用下述公式,确定目标损失参数。
[0197][0198]
其中,l表示目标损失参数,l1[p(ir,ig),t(ir,ig)]表示第一损失参数,p(ir,ig)表示第一检测标签,t(ir,ig)表示样本标签,ir表示增强图像,ig表示第一样本图像。表示第二损失参数,和分别表示不同的增强图像对应的第一增强标签,和分别表示不同的增强图像。表示第三损失参数,表示第二增强标签,1表示目标标签。表示第四损失参数,表示第二检测标签中各个数值的平均值,s(ir,ig)表示第一检测标签中各个数值的平均值,表示第二样本图像。λ1、λ2和λ3均为加权系数。
[0199]
其中,l1[
·
]和l3[
·
]表示交叉熵损失函数。
[0200]
其中,其中,表示二范数的平方。
[0201]
其中,max[
·
]表示取最大值,γ为系数。
[0202]
本公开实施例中,提供了多种采用不同方式所确定的损失参数,从不同的角度对图像检测模型进行训练,使得图像检测模型能够学习到多种图像中用于进行风格检测的深度特征,有利于提高图像检测模型的鲁棒性和准确性。
[0203]
图5是根据一示例性实施例示出的一种图像检测方法的流程图,参见图5,该方法由电子设备执行,包括以下步骤:
[0204]
501、电子设备获取属于目标风格的标准图像,该目标风格为任一风格。
[0205]
该标准图像是指真实的属于目标风格的图像,而不是经过风格迁移所得到的图像,本公开实施例中,该标准图像是进行风格检测的参考标准。该标准图像的内容可以为任意类型的内容,本公开实施例对该标准图像的内容不做限定。
[0206]
502、电子设备将第一图像的风格迁移为目标风格,得到属于目标风格的第二图像。
[0207]
本公开实施例中,风格迁移是指在保持图像的内容不变的情况下,将一个图像的风格转换为另一个风格,例如艺术风格迁移、性别风格迁移、年龄风格迁移等。
[0208]
其中,第一图像是需要迁移至目标风格的图像,该第一图像的风格与该目标风格不同。由于对第一图像进行风格迁移的效果会受到多种因素的影响,例如所采用的手段、所迁移的该目标风格、该第一图像中的内容以及该第一图像的风格等,因此,本公开实施例在得到该第二图像后,会执行下述步骤503,来对该风格迁移的效果进行检测,以确定该第一图像的风格是否成功迁移到了目标风格。
[0209]
该第一图像的风格为除了该目标风格之外的任一风格。例如,该第一图像的风格为真实风格,该目标风格为手绘风格或者漫画风格等。
[0210]
503、电子设备调用训练完成的图像检测模型,将该第二图像与该标准图像进行对比,得到目标检测标签。
[0211]
训练完成的图像检测模型用于检测任两个图像的风格之间的相似度,该图像检测模型的训练过程详见上述图2至图4所示的实施例,在此暂不作说明。
[0212]
电子设备获取到第二图像和标准图像之后,为了对该第二图像的风格迁移效果进行检测,调用该训练完成的图像检测模型,将该第二图像与该标准图像进行对比,得到目标检测标签,该目标检测标签用于表示第二图像的风格与标准图像的风格之间的相似度。
[0213]
其中,由于对第二图像的预期风格是目标风格,该标准图像属于目标风格,因此该第二图像的风格与标准图像的风格之间的相似度越高,表示该第二图像越接近目标风格,也即是图像风格迁移的效果越好。
[0214]
本公开实施例提供的方法,为了检测图像风格迁移的效果,引入了属于目标风格的标准图像,利用训练完成的图像检测模型,将风格迁移后所得到的第二图像与该标准图像进行对比,得到了第二图像的风格与标准图像的风格之间的相似度,也即是确定了第二图像的风格与预期的目标风格之间的接近程度,从而提供了一种以标准图像为参考的图像检测方法,能够提高风格检测的准确性。
[0215]
本公开实施例中,训练完成的图像检测模型包括特征提取网络和分类网络,该特征提取网路与分类网络连接,该特征提取网络用于提取图像的风格特征,该分类网络用于对两个风格特征之间的差异特征进行分类,以得到两个风格特征之间的相似度。调用训练完成的图像检测模型进行图像检测的具体过程如下。
[0216]
图6是根据一示例性实施例示出的另一种图像检测方法的流程图,该方法由电子设备执行,参见图6,该方法包括以下步骤:
[0217]
601、电子设备获取属于目标风格的标准图像,该目标风格为任一风格。
[0218]
在一种可能实现方式中,电子设备能够迁移的风格包括多种,且电子设备中存储有每种风格对应的标准图像。因此在检测第二图像的风格是否属于目标风格时,获取在已存储的多个标准图像中,获取属于该目标风格的标准图像即可。
[0219]
602、电子设备将第一图像的风格迁移为目标风格,得到属于目标风格的第二图像。
[0220]
在一种可能实现方式中,电子设备确定训练完成的图像生成模型,该训练完成的图像生成模型用于生成属于目标风格的图像。电子设备调用该训练完成的图像生成模型,对该第一图像进行风格迁移,得到该第二图像。
[0221]
该图像生成模型能够将源域图像迁移到目标域图像,源域图像是指待迁移的图像,目标域图像是指属于目标风格的图像,该图像生成模型所实现的图像风格迁移任务,又称为图像翻译任务,也即是将图像从源域“翻译”至目标域。其中,该图像生成模型可以为任一类型的模型,本公开实施例对此不做限定。
[0222]
603、电子设备调用特征提取网络,分别对第二图像和标准图像进行特征提取,得到第二图像的目标风格特征和标准图像的标准风格特征。
[0223]
电子设备得到第二图像和标准图像后,将该第二图像和标准图像输入至特征提取网络中,由特征提取网络对第二图像进行特征提取,输出该第二图像的目标风格特征,并对标准图像进行特征提取,输出该标准图像的标准风格特征。
[0224]
其中,该标准风格特征用于表示该标准图像的风格。该第二图像的目标风格特征用于表示该第二图像的风格。可选地,该目标风格特征和标准风格特征的形式可以为特征向量或者特征矩阵等,本公开实施例对此不做限定。
[0225]
604、电子设备调用分类网络,对目标风格特征与标准风格特征之间的差异特征进行分类,得到目标检测标签。
[0226]
电子设备得到目标风格特征和标准风格特征后,将该目标风格特征与标准风格特征之间的差异特征输入至分类网络中,由分类网络对该差异特征进行分类,输出目标检测标签,该目标检测标签用于表示第二图像的风格与标准图像的风格之间的相似度。
[0227]
本公开实施例中,调用特征提取网络,自动提取第二图像和标准图像中与风格有关的深度特征,然后根据提取到的深度特征之间的差异特征进行分类,得到第二图像的风格与标准图像的风格之间的相似度,因此图像检测的过程中利用了与风格有关的深度特征,能够保证图像检测的准确性。
[0228]
在一种可能实现方式中,分类网络包括n个分类层,n为大于1的整数。电子设备确定目标风格特征与标准风格特征之间的差异特征,分别调用n个分类层,对差异特征进行分类,得到n个分类标签,将n个分类标签进行融合,得到该目标检测标签。
[0229]
其中,第i个分类标签用于表示目标风格特征所表示的风格属于标准风格特征所表示的风格的概率是否大于i-1与n的比值,i为不大于n的正整数。本公开实施例中,目标风格特征所表示的风格属于标准风格特征所表示的风格的最大概率为1,为了预测该目标风格特征所表示的风格属于标准风格特征所表示的风格的概率,将可能的概率分为n种情况,也即是0、1/n、2/n、3/n
……
n-1/n,该n个分类层中的第i个分类层,用于预测表示目标风格特征所表示的风格属于标准风格特征所表示的风格的概率是否大于i-1/n。
[0230]
可选地,该n个分类层中的第i个分类层,用于预测表示目标风格特征所表示的风格属于标准风格特征所表示的风格的概率大于i-1/n的可能性。例如,该分类标签为0到1之间的数值,当第i个分类层输出的分类标签为0.8,则表示目标风格特征所表示的风格属于标准风格特征所表示的风格的概率大于i-1/n的可能性为0.8。
[0231]
可选地,电子设备确定目标风格特征与标准风格特征之间的差值,将该差值的绝对值确定为该目标风格特征与标准风格特征之间的差异特征。
[0232]
可选地,分类标签为数值,n个分类标签也即是n个数值,则电子设备将该n个数值拼接成一个向量,将拼接得到的向量确定为该检测标签。或者,电子设备将该n个数值进行平均,将得到的平均值确定为该检测标签。
[0233]
本公开实施例中,通过引入多个分类层,分别预测目标风格特征所表示的风格属于标准风格特征所表示的风格的各种概率的可能性,并将多个分类层输出的分类标签进行融合得到检测标签,提供了一种细粒度的分类方式,有利于提高检测标签的准确性。
[0234]
本公开实施例提供的方法,为了检测图像风格迁移的效果,引入了属于目标风格的标准图像,通过将风格迁移后所得到的第二图像与该标准图像进行对比,得到了第二图像的风格与标准图像的风格之间的相似度,也即是确定了第二图像的风格与预期的目标风格之间的接近程度,从而提供了一种以标准图像为参考的图像检测方法,能够提高风格检测的准确性。
[0235]
图7是根据一示例性实施例示出的一种图像检测模型的训练装置的框图。参见图7,该装置包括第一获取单元701、第二获取单元702、第一确定单元703和模型训练单元704。
[0236]
第一获取单元701,被配置为执行获取属于目标风格的标准图像,该目标风格为任一风格;
[0237]
第二获取单元702,被配置为执行调用正在训练的图像生成模型,对原始图像进行风格迁移,得到目标图像,该图像生成模型用于生成属于该目标风格的图像;
[0238]
第一确定单元703,被配置为执行基于该目标图像,确定与该目标图像的风格匹配的第一样本图像,基于该图像生成模型当前的训练次数,确定该第一样本图像对应的样本标签,该样本标签用于表示该第一样本图像的风格与该目标风格之间的实际相似度,该样本标签与该图像生成模型的训练次数正相关;
[0239]
模型训练单元704,被配置为执行调用待训练的图像检测模型,将该第一样本图像与该标准图像进行对比,得到第一检测标签,该第一检测标签用于表示该第一样本图像的风格与该目标风格之间的预测相似度;
[0240]
该模型训练单元704,还被配置为执行基于该样本标签和该第一检测标签,训练该待训练的图像检测模型,得到训练完成的图像检测模型,该训练完成的图像检测模型用于检测任两个图像的风格之间的相似度。
[0241]
本公开实施例提供的装置,利用图像生成模型进行风格迁移所得到目标图像,确定样本图像,由于图像生成模型的训练次数越高,该图像生成模型所得到的目标图像的风格迁移效果越好,也即是目标图像的风格与目标风格越相似,因此利用图像生成模型的训练次数,确定该样本图像对应的样本标签。然后利用该样本图像、该样本标签以及属于该目标风格的标准图像,即可训练图像检测模型,使得图像检测模型去自动学习图像中有关风格检测的深度特征,以便根据学习到的深度特征进行风格检测,从而提高图像检测模型的准确性。
[0242]
在一种可能实现方式中,参见图8,该第一确定单元703,被配置为执行将该目标图像确定为该第一样本图像。
[0243]
在一种可能实现方式中,参见图8,该装置还包括:
[0244]
第二确定单元705,被配置为执行确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,该准确度表示该候选图像生成模型生成的属于该目标风格的图像的准确程度;
[0245]
模型选取单元706,被配置为执行在该多个候选图像生成模型中,选取该准确度小于目标阈值的该图像生成模型。
[0246]
在一种可能实现方式中,参见图8,该第二获取单元702,被配置为执行:
[0247]
确定多个图像生成模型,且不同的图像生成模型当前的训练次数不同;
[0248]
调用该多个图像生成模型,分别对该原始图像进行风格迁移,得到多个目标图像;
[0249]
该第一确定单元703,被配置为执行将该多个目标图像进行融合所得到的图像,确定为该第一样本图像;
[0250]
该第一确定单元703,还被配置为执行:
[0251]
将该多个图像生成模型的训练次数进行加权平均,得到平均训练次数;
[0252]
对该平均训练次数进行归一化处理,得到该样本标签。
[0253]
在一种可能实现方式中,参见图8,该多个图像生成模型包括第一图像生成模型和第二图像生成模型;该第二获取单元702,被配置为执行:
[0254]
确定多个候选图像生成模型,每个候选图像生成模型具有各自的训练次数和各自的准确度,且不同的候选图像生成模型当前的训练次数不同,该准确度表示该候选图像生成模型生成的属于该目标风格的图像的准确程度;
[0255]
在该多个候选图像生成模型中,选取该准确度等于目标阈值的该第一图像生成模型,以及选取该准确度为最大值的该第二图像生成模型。
[0256]
在一种可能实现方式中,参见图8,该装置还包括:
[0257]
图像增强单元707,被配置为执行对该标准图像进行多种类型的增强处理,得到多个增强图像;
[0258]
该模型训练单元704,还被配置为执行调用该待训练的图像检测模型,分别将该第一样本图像与每个该增强图像进行对比,得到多个第一增强标签,该第一增强标签用于表示该第一样本图像的风格与该增强图像的风格之间的预测相似度;
[0259]
该模型训练单元704,还被配置为执行基于任两个该第一增强标签之间的差异或者该样本标签与每个该第一增强标签之间的差异中的任一项,以及该样本标签与该第一检测标签之间的差异,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
[0260]
在一种可能实现方式中,参见图8,该装置还包括:
[0261]
图像增强单元707,被配置为执行对该标准图像进行多种类型的增强处理,得到多个增强图像;
[0262]
该模型训练单元704,还被配置为执行调用该待训练的图像检测模型,将任两个该增强图像进行对比,得到多个第二增强标签,该第二增强标签用于表示任两个该增强图像的风格之间的预测相似度;
[0263]
该模型训练单元704,还被配置为执行:
[0264]
获取目标标签,该目标标签表示该任两个增强图像的风格相同;
[0265]
基于该样本标签与该第一检测标签之间的差异,以及每个第二增强标签与该目标标签之间的差异,训练该待训练的图像检测模型,得到该训练完成的图像检测模型。
[0266]
在一种可能实现方式中,参见图8,该装置还包括:
[0267]
第三获取单元708,被配置为执行获取第二样本图像,该第二样本图像为不属于该目标风格的图像;
[0268]
该模型训练单元704,还被配置为执行调用该待训练的图像检测模型,将该第一样本图像与该第二样本图像进行对比,得到第二检测标签,该第二检测标签用于表示该第一
unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。存储器1002可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器1002还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器1002中的非暂态的计算机可读存储介质用于存储至少一条程序代码,该至少一条程序代码用于被处理器1001所执行以实现本公开中方法实施例提供的图像检测方法。
[0282]
在一些实施例中,终端1000还可选包括有:外围设备接口1003和至少一个外围设备。处理器1001、存储器1002和外围设备接口1003之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1003相连。具体地,外围设备包括:射频电路1004、显示屏1005、摄像头组件1006和电源1007。
[0283]
外围设备接口1003可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器1001和存储器1002。在一些实施例中,处理器1001、存储器1002和外围设备接口1003被集成在同一芯片或电路板上;在一些其他实施例中,处理器1001、存储器1002和外围设备接口1003中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。
[0284]
射频电路1004用于接收和发射rf(radio frequency,射频)信号,也称电磁信号。射频电路1004通过电磁信号与通信网络以及其他通信设备进行通信。射频电路1004将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路1004包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1004可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity,无线保真)网络。在一些实施例中,射频电路1004还可以包括nfc(near field communication,近距离无线通信)有关的电路,本公开对此不加以限定。
[0285]
显示屏1005用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1005是触摸显示屏时,显示屏1005还具有采集在显示屏1005的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1001进行处理。此时,显示屏1005还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏1005可以为一个,设置在电子设备1000的前面板;在另一些实施例中,显示屏1005可以为至少两个,分别设置在电子设备1000的不同表面或呈折叠设计;在另一些实施例中,显示屏1005可以是柔性显示屏,设置在电子设备1000的弯曲表面上或折叠面上。甚至,显示屏1005还可以设置成非矩形的不规则图形,也即异形屏。显示屏1005可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0286]
摄像头组件1006用于采集图像或视频。可选地,摄像头组件1006包括前置摄像头和后置摄像头。前置摄像头设置在电子设备的前面板,后置摄像头设置在电子设备的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融
合拍摄功能。在一些实施例中,摄像头组件1006还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
[0287]
电源1007用于为电子设备1000中的各个组件进行供电。电源1007可以是交流电、直流电、一次性电池或可充电电池。当电源1007包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
[0288]
本领域技术人员可以理解,图10中示出的结构并不构成对终端1000的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
[0289]
在一些实施例中,该电子设备包括服务器。图11是根据一示例性实施例示出的一种服务器的结构示意图,该服务器1100可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,cpu)1101和一个或一个以上的存储器1102,其中,所述存储器1102中存储有至少一条计算机程序,所述至少一条计算机程序由所述处理器1101加载并执行以实现上述各个方法实施例提供的方法。当然,该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该服务器还可以包括其他用于实现设备功能的部件,在此不做赘述。
[0290]
在示例性实施例中,还提供了一种计算机可读存储介质,当计算机可读存储介质中的指令由电子设备的处理器执行时,使得电子设备能够执行上述图像检测方法中的步骤。例如,计算机可读存储介质可以是rom(只读存储器,read only memory)、ram(随机存取存储器,random access memory)、cd-rom(只读光盘,compact disc read-only memory)、磁带、软盘和光数据存储设备等。
[0291]
在示例性实施例中,还提供了一种计算机程序产品,包括计算机程序,计算机程序由电子设备的处理器执行时实现上述图像检测方法中的步骤。
[0292]
本领域技术人员在考虑说明书及实践这里的公开后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
[0293]
应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献