一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像分类方法、装置、电子设备和存储介质与流程

2022-06-08 15:45:38 来源:中国专利 TAG:


1.本公开涉及计算机视觉技术领域,尤其涉及图像分类方法、装置、电子设备、存储介质和计算机程序产品。


背景技术:

2.随着深度学习在计算机视觉领域的广泛应用,医学图像、安防监控、无人驾驶等场景中常使用网络模型来处理图像分类任务,例如在无人驾驶场景中对驾驶画面的人物、车辆进行预测分类。
3.传统技术中,通常采用互学习的方法,将一个模型的输出作为另一个模型的监督,来帮助模型提升学习能力,然而这种互学习方法只是让两个模型简单的交流彼此的预测分类结果,并没有充分挖掘出数据中的有效信息,造成训练得到的模型在处理图像分类任务时的准确率较低。


技术实现要素:

4.本公开提供一种图像分类方法、装置、电子设备、存储介质和计算机程序产品,以至少解决相关技术中模型处理图像分类任务时准确率较低的问题。本公开的技术方案如下:
5.根据本公开实施例的第一方面,提供一种图像分类方法,包括:
6.获取待处理图像;
7.将所述待处理图像输入训练完成的图像分类模型,得到所述待处理图像中的图像类别信息;所述训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到;
8.将所述图像类别信息,确定为所述待处理图像的图像分类结果。
9.在一示例性实施例中,训练完成的图像分类模型通过下述方式训练得到:
10.获取样本图像;所述样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;
11.获取第一图像分类模型针对所述第一样本图像的第一目标分类结果,以及第二图像分类模型针对所述第二样本图像的第二目标分类结果;
12.分别将所述第一样本图像和所述第二样本图像输入所述待训练的图像分类模型,得到所述第一样本图像对应的第一预测分类结果和所述第二样本图像对应的第二预测分类结果;
13.根据所述第一预测分类结果与所述第一目标分类结果之间的差异,以及所述第二预测分类结果与所述第二目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型。
14.在一示例性实施例中,根据所述第一预测分类结果与所述第一目标分类结果之间
的差异,以及所述第二预测分类结果与所述第二目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型,包括:
15.根据所述第一预测分类结果与所述第一目标分类结果之间的差异,得到第一损失值,以及根据所述第二预测分类结果与所述第二目标分类结果之间的差异,得到第二损失值;
16.根据所述第一损失值和所述第二损失值,得到目标损失值;
17.根据所述目标损失值,对所述待训练的图像分类模型进行训练,得到训练后的图像分类模型;
18.对所述训练后的图像分类模型进行再次训练,直到得到所述训练完成的图像分类模型。
19.在一示例性实施例中,根据所述第一损失值和所述第二损失值,得到目标损失值,包括:
20.获取所述第一损失值对应的第一权重和所述第二损失值对应的第二权重;
21.分别根据所述第一权重和所述第二权重,对所述第一损失值和所述第二损失值进行加权求和,得到所述目标损失值。
22.在一示例性实施例中,对所述训练后的图像分类模型进行再次训练,包括:
23.获取训练后的第一图像分类模型针对所述第一样本图像的更新后的第一目标分类结果,以及训练后的第二图像分类模型针对所述第二样本图像的更新后的第二目标分类结果;
24.分别将所述第一样本图像和所述第二样本图像输入所述训练后的图像分类模型,得到所述第一样本图像对应的更新后的第一预测分类结果和所述第二样本图像对应的更新后的第二预测分类结果;
25.根据所述更新后的第一预测分类结果与所述更新后的第一目标分类结果之间的差异,以及所述更新后的第二预测分类结果与所述更新后的第二目标分类结果之间的差异,对所述训练后的图像分类模型进行训练。
26.在一示例性实施例中,训练后的第一图像分类模型通过下述方式训练得到:
27.根据所述第一样本图像,对所述第二样本图像进行图像风格转换,得到处理后的第二样本图像;
28.将所述处理后的第二样本图像输入所述第一图像分类模型,得到所述处理后的第二样本图像的预测分类结果;
29.根据所述处理后的第二样本图像的预测分类结果与所述第二样本图像的第二目标分类结果之间的差异,对所述第一图像分类模型进行训练,得到所述训练后的第一图像分类模型。
30.在一示例性实施例中,训练后的第二图像分类模型通过下述方式训练得到:
31.根据所述第二样本图像,对所述第一样本图像进行图像风格转换,得到处理后的第一样本图像;
32.将所述处理后的第一样本图像输入所述第二图像分类模型,得到所述处理后的第一样本图像的预测分类结果;
33.根据所述处理后的第一样本图像的预测分类结果与所述第一样本图像的第一目
标分类结果之间的差异,对所述第二图像分类模型进行训练,得到所述训练后的第二图像分类模型。
34.在一示例性实施例中,样本图像还包括至少一个第三样本图像,所述第三样本图像的图像风格均与所述第一样本图像和所述第二样本图像不相同;
35.在根据所述第一预测分类结果与所述第一目标分类结果之间的差异,以及所述第二预测分类结果与所述第二目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型之前,还包括:获取第三图像分类模型针对所述第三样本图像的第三目标分类结果;将所述第三样本图像输入待训练的图像分类模型,得到所述第三样本图像对应的第三预测分类结果;
36.根据所述第一预测分类结果与所述第一目标分类结果之间的差异,以及所述第二预测分类结果与所述第二目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型,包括:根据所述第一预测分类结果与所述第一目标分类结果之间的差异,所述第二预测分类结果与所述第二目标分类结果之间的差异,以及所述第三预测分类结果与所述第三目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型。
37.根据本公开实施例的第二方面,提供一种图像分类模型训练方法,包括:
38.获取样本图像;所述样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;
39.获取第一图像分类模型针对所述第一样本图像的第一目标分类结果,以及第二图像分类模型针对所述第二样本图像的第二目标分类结果;
40.分别将所述第一样本图像和所述第二样本图像输入待训练的图像分类模型,得到所述第一样本图像对应的第一预测分类结果和所述第二样本图像对应的第二预测分类结果;
41.根据所述第一预测分类结果与所述第一目标分类结果之间的差异,得到第一损失值,以及根据所述第二预测分类结果与所述第二目标分类结果之间的差异,得到第二损失值;
42.根据所述第一损失值和所述第二损失值,对所述待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
43.根据本公开实施例的第三方面,提供一种图像分类装置,包括:
44.处理图像获取单元,被配置为执行获取待处理图像;
45.图像类别获取单元,被配置为执行将所述待处理图像输入训练完成的图像分类模型,得到所述待处理图像中的图像类别信息;所述训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到;
46.分类结果确定单元,被配置为执行将所述图像类别信息,确定为所述待处理图像的图像分类结果。
47.在一示例性实施例中,图像分类装置,还包括:分类模型训练单元,被配置为执行获取样本图像;所述样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;获取第一图像分类模型针对所述第一样本图像的第一目标分类结果,以及第二图像分类模
型针对所述第二样本图像的第二目标分类结果;分别将所述第一样本图像和所述第二样本图像输入所述待训练的图像分类模型,得到所述第一样本图像对应的第一预测分类结果和所述第二样本图像对应的第二预测分类结果;根据所述第一预测分类结果与所述第一目标分类结果之间的差异,以及所述第二预测分类结果与所述第二目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型。
48.在一示例性实施例中,图像分类装置,还包括:分类模型获取单元,被配置为执行根据所述第一预测分类结果与所述第一目标分类结果之间的差异,得到第一损失值,以及根据所述第二预测分类结果与所述第二目标分类结果之间的差异,得到第二损失值;根据所述第一损失值和所述第二损失值,得到目标损失值;根据所述目标损失值,对所述待训练的图像分类模型进行训练,得到训练后的图像分类模型;对所述训练后的图像分类模型进行再次训练,直到得到所述训练完成的图像分类模型。
49.在一示例性实施例中,图像分类装置,还包括:目标损失获取单元,被配置为执行获取所述第一损失值对应的第一权重和所述第二损失值对应的第二权重;分别根据所述第一权重和所述第二权重,对所述第一损失值和所述第二损失值进行加权求和,得到所述目标损失值。
50.在一示例性实施例中,图像分类装置,还包括:模型再次训练单元,被配置为执行获取训练后的第一图像分类模型针对所述第一样本图像的更新后的第一目标分类结果,以及训练后的第二图像分类模型针对所述第二样本图像的更新后的第二目标分类结果;分别将所述第一样本图像和所述第二样本图像输入所述训练后的图像分类模型,得到所述第一样本图像对应的更新后的第一预测分类结果和所述第二样本图像对应的更新后的第二预测分类结果;根据所述更新后的第一预测分类结果与所述更新后的第一目标分类结果之间的差异,以及所述更新后的第二预测分类结果与所述更新后的第二目标分类结果之间的差异,对所述训练后的图像分类模型进行训练。
51.在一示例性实施例中,图像分类装置,还包括:第一模型训练单元,被配置为执行根据所述第一样本图像,对所述第二样本图像进行图像风格转换,得到处理后的第二样本图像;将所述处理后的第二样本图像输入所述第一图像分类模型,得到所述处理后的第二样本图像的预测分类结果;根据所述处理后的第二样本图像的预测分类结果与所述第二样本图像的第二目标分类结果之间的差异,对所述第一图像分类模型进行训练,得到所述训练后的第一图像分类模型。
52.在一示例性实施例中,图像分类装置,还包括:第二模型训练单元,被配置为执行根据所述第二样本图像,对所述第一样本图像进行图像风格转换,得到处理后的第一样本图像;将所述处理后的第一样本图像输入所述第二图像分类模型,得到所述处理后的第一样本图像的预测分类结果;根据所述处理后的第一样本图像的预测分类结果与所述第一样本图像的第一目标分类结果之间的差异,对所述第二图像分类模型进行训练,得到所述训练后的第二图像分类模型。
53.在一示例性实施例中,所述样本图像还包括至少一个第三样本图像,所述第三样本图像的图像风格均与所述第一样本图像和所述第二样本图像不相同;图像分类装置,还包括:分类结果获取单元,被配置为执行获取第三图像分类模型针对所述第三样本图像的第三目标分类结果;将所述第三样本图像输入待训练的图像分类模型,得到所述第三样本
图像对应的第三预测分类结果;所述分类模型训练单元,进一步被配置为执行根据所述第一预测分类结果与所述第一目标分类结果之间的差异,所述第二预测分类结果与所述第二目标分类结果之间的差异,以及所述第三预测分类结果与所述第三目标分类结果之间的差异,对所述待训练的图像分类模型进行训练,得到所述训练完成的图像分类模型。
54.根据本公开实施例的第四方面,提供一种图像分类模型训练装置,包括:
55.样本图像获取单元,被配置为执行获取样本图像;所述样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;
56.目标结果获取单元,被配置为执行获取第一图像分类模型针对所述第一样本图像的第一目标分类结果,以及第二图像分类模型针对所述第二样本图像的第二目标分类结果;
57.预测结果获取单元,被配置为执行分别将所述第一样本图像和所述第二样本图像输入待训练的图像分类模型,得到所述第一样本图像对应的第一预测分类结果和所述第二样本图像对应的第二预测分类结果;
58.损失函数确定单元,被配置为执行根据所述第一预测分类结果与所述第一目标分类结果之间的差异,得到第一损失值,以及根据所述第二预测分类结果与所述第二目标分类结果之间的差异,得到第二损失值;
59.目标模型获取单元,被配置为执行根据所述第一损失值和所述第二损失值,对所述待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
60.根据本公开实施例的第五方面,提供一种电子设备,包括:处理器;用于存储所述处理器可执行指令的存储器;其中,所述处理器被配置为执行所述指令,以实现如第一方面中任一项实施例所述的图像分类方法,或者如第二方面中任一项实施例所述的图像分类模型训练方法。
61.根据本公开实施例的第六方面,提供一种计算机可读存储介质,当所述计算机可读存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如第一方面中任一项实施例所述的图像分类方法,或者如第二方面中任一项实施例所述的图像分类模型训练方法。
62.根据本公开实施例的第七方面,提供一种计算机程序产品,所述计算机程序产品中包括指令,所述指令被电子设备的处理器执行时,使得所述电子设备能够执行如第一方面中任一项实施例所述的图像分类方法,或者如第二方面中任一项实施例所述的图像分类模型训练方法。
63.本公开的实施例提供的技术方案至少带来以下有益效果:
64.获取待处理图像;将待处理图像输入训练完成的图像分类模型,得到待处理图像中的图像类别信息;训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到;将图像类别信息,确定为待处理图像的图像分类结果。本公开通过至少两个不同风格的样本图像来训练待训练的图像分类模型,使得图像分类模型能够挖掘出样本图像中更多的特征信息,还进一步引入了不同的图像分类模型对图像分类模型进行模型训练,从而提高了训练得到的图像分类模型的模型性能,进而提高了图像分类模型处理图像分类时的准确率。
65.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
66.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
67.图1是根据一示例性实施例示出的一种图像分类方法的流程图。
68.图2是根据一示例性实施例示出的一种训练图像分类模型的流程图。
69.图3是根据一示例性实施例示出的一种对训练后的图像分类模型进行再次训练的流程图。
70.图4是根据一示例性实施例示出的一种获取训练后的第一图像分类模型的流程图。
71.图5是根据一示例性实施例示出的一种获取训练后的第二图像分类模型的流程图。
72.图6是根据一示例性实施例示出的一种图像分类模型训练方法的流程图。
73.图7是根据一示例性实施例示出的另一种图像分类模型训练方法的流程图。
74.图8是根据一示例性实施例示出的一种图像分类装置的框图。
75.图9是根据一示例性实施例示出的一种图像分类模型训练装置的框图。
76.图10是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
77.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
78.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
79.还需要说明的是,本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
80.图1是根据一示例性实施例示出的一种图像分类方法的流程图,如图1所示,图像分类方法用于终端中,包括以下步骤。
81.在步骤s101中,获取待处理图像。
82.其中,待处理图像指的是需要进行图像分类的原始图像。
83.具体地,当需要对图像进行图像分类处理时,用户可以向终端触发用于执行图像分类处理的处理请求,此时终端则可以响应该处理请求,进而得到需要进行图像分类处理的待处理图像。
84.在步骤s102中,将待处理图像输入训练完成的图像分类模型,得到待处理图像中的图像类别信息;训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到。
85.其中,图像分类模型指的是用于对图像进行分类处理的模型,该模型可以对图像中的人、物、背景等信息进行识别并分类;其中待训练的图像分类模型与不同的图像分类模型的模型结构、模型中每一层参数的数量相同,但是模型中每一层参数的数值不同。
86.其中,不同图像风格的样本图像指的是图像的纹理、亮度或色彩等风格不同,但是图像中的人或物相同的样本图像。例如,两个样本图像,除了一张是白天风格,另一张是黑夜风格以外,这两个样本图像中人、物和背景的位置和大小都相同,由于白天风格和黑夜风格的光线亮度不同,使得这两个样本图像中的人、物和背景分别呈现出不同的颜色、纹理,将白天风格的样本图像和黑夜风格的样本图像称为不同图像风格的样本图像。需要说明的是,图像风格是指图像样式,该图像风格属于狭义上图像的纹理、色彩、视觉模式等样式,而不属于抽象主义、超写实主义、象征主义、古典主义等艺术风格或绘画风格。
87.具体地,训练完成的图像分类模型通过至少两个不同图像风格的样本图像,以及不同的图像分类模型分别对两个不同图像风格的样本图像进行处理得到的目标分类结果,对待训练的图像分类模型进行训练得到;在训练完成图像分类模型后,终端可以进一步将需要进行图像分类处理的待处理图像输入到训练完成的图像分类模型中,训练完成的图像分类模型对待处理图像中各个图像信息的图像类别进行预测分类,得到待处理图像中的图像类别信息。
88.举例说明,待处理图像可以是无人驾驶图像,图像分类模型可以预测出无人驾驶图像中各个区域所属的类别,例如某区域属于马路类别、车辆类别、人行道类别、树木类别或天空类别。
89.在步骤s103中,将图像类别信息,确定为待处理图像的图像分类结果。
90.具体地,终端将训练完成的图像分类模型输出图像类别信息,作为对待处理图像进行图像分类处理的图像分类结果。
91.上述图像分类方法中,获取待处理图像;将待处理图像输入训练完成的图像分类模型,得到待处理图像中的图像类别信息;训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到;将图像类别信息,确定为待处理图像的图像分类结果。本公开通过至少两个不同风格的样本图像来训练待训练的图像分类模型,使得图像分类模型能够挖掘出样本图像中更多的特征信息,还进一步引入了不同的图像分类模型对图像分类模型进行模型训练,从而提高了训练得到的图像分类模型的模型性能,进而提高了图像分类模型处理图像分类时的准确率。
92.在一示例性实施例中,如图2所示,训练完成的图像分类模型通过下述方式训练得到:
93.在步骤s201中,获取样本图像;样本图像中至少包括不同图像风格的第一样本图像和第二样本图像。
94.其中,第一样本图像可以为一张样本图像,也可以为由多个图像组成的样本图像
集,第二样本图像同理;其中,第一样本图像和第二样本图像的图像风格不同,指的是第一样本图像中多数图像所属的图像风格与第二样本图像中多数图像所属的图像风格不同。
95.举例说明,第一样本图像中所有图像都为白天风格,第二样本图像中所有图像都为黑夜风格,或者第一样本图像中白天风格的图像占比为80%,黑夜风格的图像占比为20%,而第二样本图像中白天风格的图像占比为30%,黑夜风格的图像占比为70%,即第一样本图像的图像风格为白天,第二样本图像的图像风格为黑夜。
96.具体地,终端可以采集场景中的图像作为原始样本图像,也可以利用已存储的图像作为原始样本图像,终端对原始样本图像进行抽样处理,得到第一样本图像和第二样本图像,将该第一样本图像和第二样本图像作为样本图像。其中,第一样本图像和第二样本图像的数量远小于原始样本图像的数量。
97.在步骤s202中,获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果。
98.其中,第一目标分类结果指的是第一图像分类模型针对第一样本图像进行图像分类处理的分类结果;第一目标分类结果用于监督除第一图像分类模型外,其他图像分类模型对第一样本图像的学习,例如监督待训练的图像分类模型和第二图像分类模型对第一样本图像的学习,当然也可以监督第三图像分类模型、第四图像分类模型等模型对第一样本图像的学习。第一图像分类模型指的是将学习到的信息传递给待训练的图像分类模型,以对图像分类模型进行训练的教师模型。
99.其中,第二目标分类结果指的是第二图像分类模型针对第二样本图像进行图像分类处理的分类结果;第二目标分类结果用于监督除第二图像分类模型外,其他图像分类模型对第二样本图像的学习,例如监督待训练的图像分类模型和第一图像分类模型对第二样本图像的学习,当然也可以监督第三图像分类模型、第四图像分类模型等模型对第二样本图像的学习。第二图像分类模型指的是将学习到的信息传递给待训练的图像分类模型,以对图像分类模型进行训练的教师模型。
100.具体地,终端对第二样本图像进行图像风格转换,得到处理后的第二样本图像,对第一样本图像进行图像风格转换,得到处理后的第一样本图像;在对样本图像进行图像风格转换后,终端将第一样本图像和处理后第二样本图像输入第一图像分类模型,得到第一图像分类模型输出的针对第一样本图像对应的第一目标分类结果;同时将第二样本图像和处理后第一样本图像输入第二图像分类模型,得到第二图像分类模型输出的针对第二样本图像对应的第二目标分类结果。
101.举例说明,处理后的第二样本图像是通过将第二样本图像的图像风格转换为第一样本图像的图像风格得到的,即处理后的第二样本图像的图像风格与第一样本图像的图像风格相同;将第一样本图像和处理后第二样本图像输入第一图像分类模型,使得第一图像分类模型学习到了大量的第一样本图像的图像风格的图像,进而第一图像分类模型对第一样本图像的预测准确率较高,即第一目标分类结果的准确率较高,因此,使用第一目标分类结果去监督待训练的图像分类模型。而处理后的第一样本图像是通过将第一样本图像的图像风格转换为第二样本图像的图像风格得到的,即处理后的第一样本图像的图像风格与第二样本图像的图像风格相同;将第二样本图像和处理后第一样本图像输入第二图像分类模型,使得第二图像分类模型学习到了大量的第二样本图像的图像风格的图像,进而第二图
像分类模型对第二样本图像的预测准确率较高,即对第二目标分类结果的预测准确率较高,因此,使用第二目标分类结果去监督待训练的图像分类模型。
102.在步骤s203中,分别将第一样本图像和第二样本图像输入待训练的图像分类模型,得到第一样本图像对应的第一预测分类结果和第二样本图像对应的第二预测分类结果。
103.其中,第一预测分类结果指的是由待训练的图像分类模型输出得到的,与输入的第一样本图像对应的预测类别图像。第二预测分类结果指的是由待训练的图像分类模型输出得到的,与输入的第二样本图像对应的预测类别图像。
104.具体地,终端可以将步骤s201中抽样得到的第一样本图像和第二样本图像输入到待训练的图像分类模型中进行图像分类处理,由该模型输出该第一样本图像对应的预测图像类别信息,即第一预测分类结果,以及第二样本图像对应的预测图像类别信息,即第二预测分类结果。
105.在步骤s204中,根据第一预测分类结果与第一目标分类结果之间的差异,以及第二预测分类结果与第二目标分类结果之间的差异,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
106.具体地,终端还可以进一步计算由待训练的图像分类模型输出的第一预测分类结果,与第一图像分类模型输出的第一目标分类结果之间的分类差异,以及计算由待训练的图像分类模型输出的第二预测分类结果,与第二图像分类模型输出的第二目标分类结果之间的分类差异,从而利用上述差异对待训练的图像分类模型进行模型训练,从而得到训练完成的图像分类模型。
107.在本实施例中,终端可以采集不同图像风格的第一样本图像和第二样本图像,以及针对第一样本图像的第一目标分类结果和针对第二样本图像的第二目标分类结果,并且可以根据上述第一样本图像和第二样本图像,得到对应的第一预测分类结果和第二预测分类结果,进而利用第一预测分类结果、第一目标分类结果、第二预测分类结果以及第二目标分类结果进行图像分类模型的训练,从而可以提高训练得到的图像分类模型的预测准确率。
108.在一示例性实施例中,上述步骤s204可以进一步包括:根据第一预测分类结果与第一目标分类结果之间的差异,得到第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的差异,得到第二损失值;根据第一损失值和第二损失值,得到目标损失值;根据目标损失值,对待训练的图像分类模型进行训练,得到训练后的图像分类模型;对训练后的图像分类模型进行再次训练,直到得到训练完成的图像分类模型。
109.其中,第一损失值指的是由第一预测分类结果与第一目标分类结果,通过预先构建的第一损失函数计算得到的损失值;第二损失值指的是由第二预测分类结果与第二目标分类结果,通过预先构建的第二损失函数计算得到的损失值,第一损失函数与第二损失函数可以具有相同的表现形式,也可以具有不同的表现形式。
110.具体地,在终端得到第一预测分类结果、第一目标分类结果、第二预测分类结果与第二目标分类结果后,则可以根据第一预测分类结果与第一目标分类结果之间的图像分类差异,得到待训练的图像分类模型对应的第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的图像分类差异,得到待训练的图像分类模型对应的第二损失值,从而
可以基于第一损失值和第二损失值实现对图像分类模型的训练,来更新图像分类模型的模型参数,得到训练后的图像分类模型;对训练后的图像分类模型进行再次训练,若在预设训练轮数内,检测得到训练后的图像分类模型的性能的提升高于预设阈值时,则终端对训练后的图像分类模型进行再次训练;若在预设训练轮数内,检测得到训练后的图像分类模型的性能的提升低于或等于预设阈值时,终止模型训练,得到训练完成的图像分类模型。其中,预设训练轮数可以是1、2、3、4、5、6轮等,在此不进行具体限定。
111.在本实施例中,终端可以分别基于第一预测分类结果与第一目标分类结果,得到第一损失值,以及基于第二预测分类结果与第二目标分类结果,得到第二损失值,从而可以利用第一损失值和第二损失值实现图像分类模型的训练,得到训练后的图像分类模型,并对训练后的图像分类模型再次训练,从而可以进一步提高训练得到的图像分类模型的准确率。
112.在一示例性实施例中,根据第一损失值和第二损失值,得到目标损失值,具体包括如下内容:获取第一损失值对应的第一权重和第二损失值对应的第二权重;分别根据第一权重和第二权重,对第一损失值和第二损失值进行加权求和,得到目标损失值。
113.其中,第一权重指的是为第一损失值设置的加权权重,第二权重指的是为第二损失值设置的加权权重。而第一权重和第二权重可以均设置为1,以便图像处理模型在模型训练过程中通过第一损失值和第二损失值进行均等的训练,当然,第一权重和第二权重还可以设置为其他数值,具体根据实际情况确定。
114.具体地,用户可以指定第一损失值对应的第一权重和第二损失值对应的第二权重,并将第一权重和第二权重发送到终端,进一步地,终端也可以根据权重指令自行得到第一权重和第二权重;终端分别根据第一权重和第二权重,对第一损失值和第二损失值进行加权求和,进而得到第一损失值和第二损失值对应的目标损失值。
115.进一步地,在得到第一损失值和第二损失值后,终端利用第一损失值和第二损失值对待训练的图像分类模型进行训练,即使待训练的图像分类模型以第一图像分类模型和第二图像分类模型为目标进行训练,在训练过程中,待训练的图像分类模型中每一层的参数会向第一图像分类模型中每一层的参数不断靠近,并且待训练的图像分类模型中每一层的参数还会同时向第二图像分类模型中每一层的参数不断靠近,通过多次的训练后,使得训练后的图像分类模型中每一层的参数无限接近于训练后的第一图像分类模型中每一层的参数和训练后的第二图像分类模型中每一层的参数。
116.在本实施例中,获取第一损失值对应的第一权重和第二损失值对应的第二权重,从而根据第一权重、第二权重对第一损失值和第二损失值进行融合,得到目标损失值,进而后续能够基于目标损失值对图像分类模型进行训练,从而可以提高训练得到的图像分类模型的预测准确率。
117.在一示例性实施例中,如图3所示,对训练后的图像分类模型进行再次训练,可以进一步包括:
118.在步骤s301中,获取训练后的第一图像分类模型针对第一样本图像的更新后的第一目标分类结果,以及训练后的第二图像分类模型针对第二样本图像的更新后的第二目标分类结果。
119.其中,训练后的第一图像分类模型指的是由第一图像分类模型进一步进行模型训
练得到的模型;而训练后的第二图像分类模型指的是由第二图像分类模型进一步进行模型训练得到的模型。
120.具体地,终端将第一样本图像输入到训练后的第一图像分类模型,得到该训练后的第一图像分类模型输出的针对第一样本图像的更新后的第一目标分类结果,并将第二样本图像输入到训练后的第二图像分类模型,得到该训练后的第二图像分类模型输出的针对第二样本图像的更新后的第二目标分类结果。
121.在步骤s302中,分别将第一样本图像和第二样本图像输入训练后的图像分类模型,得到第一样本图像对应的更新后的第一预测分类结果和第二样本图像对应的更新后的第二预测分类结果。
122.其中,更新后的第一预测分类结果指的是训练后的图像分类模型输出得到的,与输入的第一样本图像对应的预测类别图像。更新后的第二预测分类结果指的是训练后的图像分类模型输出得到的,与输入的第二样本图像对应的预测类别图像。
123.具体地,终端将步骤s201中抽样得到的第一样本图像和第二样本图像输入到训练后的图像分类模型,以供训练后的图像分类模型对第一样本图像和第二样本图像再次进行图像分类处理,由该训练后的图像分类模型输出第一样本图像对应的新的预测图像类别信息,作为更新后的第一预测分类结果,以及第二样本图像对应的新的预测图像类别信息,作为更新后的第二预测分类结果。
124.在步骤s303中,根据更新后的第一预测分类结果与更新后的第一目标分类结果之间的差异,以及更新后的第二预测分类结果与更新后的第二目标分类结果之间的差异,对训练后的图像分类模型进行训练。
125.具体地,终端还可以进一步计算由训练后的图像分类模型输出的更新后的第一预测分类结果,与训练后的第一图像分类模型输出的更新后的第一目标分类结果之间的分类差异,以及计算由训练后的图像分类模型输出的更新后的第二预测分类结果,与训练后的第二图像分类模型输出的更新后的第二目标分类结果之间的分类差异,从而利用上述差异对训练后的图像分类模型进行模型训练。
126.在本实施例中,终端将第一样本图像和第二样本图像输入训练后的图像分类模型,得到对应的更新后的第一预测分类结果和更新后的第二预测分类结果,并利用更新后的第一预测分类结果与更新后的第一目标分类结果之间的差异,以及更新后的第二预测分类结果与更新后的第二目标分类结果之间的差异进行训练后的图像分类模型的训练,从而进一步提高训练得到的图像分类模型的预测准确率。
127.在一示例性实施例中,如图4所示,训练后的第一图像分类模型通过下述方式训练得到:
128.在步骤s401中,根据第一样本图像,对第二样本图像进行图像风格转换,得到处理后的第二样本图像。
129.其中,处理后的第二样本图像指的是图像风格转变为第一样本图像的图像风格的第二样本图像。图像风格转换指的是在保留图像主要内容的情况下,对图像的纹理、色彩等样式进行变化,例如狭义上改变图像的色彩明暗,而不是对图像的艺术风格或绘画风格进行变化,例如将图像转变为抽象主义的图像,或者将图像转变为水墨风格、漫画风格。
130.举例说明,第一样本图像可以是图像风格为白天的猫,第二样本图像可以是图像
风格为黑夜的猫,由于图像风格不同造成第一样本图像和第二样本图像中猫的颜色和纹理不同,例如,白天的猫的颜色更亮,毛发纹理较清晰,而黑夜的猫的颜色更暗,毛发纹理较模糊;则处理后的第二样本图像可以理解为将黑夜风格的猫转变为白天风格的猫,即改变原图像的颜色、纹理等图像风格,而原图像中各图像类别不变。
131.具体地,终端计算第一样本图像的均值和方差,根据第一样本图像的均值和方差,对第二样本图像进行图像风格转换,得到处理后的第二样本图像。进一步地,根据第一样本图像的均值和方差,对第二样本图像进行图像风格转换,得到处理后的第二样本图像,可以包括:终端将第二样本图像减去第一样本图像的均值,得到相减后的第二样本图像,然后将相减后的第二样本图像除以第一样本图像的方差,得到处理后的第二样本图像。
132.在步骤s402中,将处理后的第二样本图像输入第一图像分类模型,得到处理后的第二样本图像的预测分类结果。
133.具体地,在步骤s401得到处理后的第二样本图像之后,终端还可以进一步将处理后的第二样本图像输入到第一图像分类模型中,由第一图像分类模型进行图像分类处理,得到输出的针对处理后的第二样本图像的预测分类结果。
134.在步骤s403中,根据处理后的第二样本图像的预测分类结果与第二样本图像的第二目标分类结果之间的差异,对第一图像分类模型进行训练,得到训练后的第一图像分类模型。
135.具体地,终端还可以进一步计算步骤s402中由第一图像分类模型输出的处理后的第二样本图像的预测分类结果,与第二图像分类模型输出的第二目标分类结果之间的分类差异,从而利用上述差异对第一图像分类模型进行模型训练,从而得到训练后的第一图像分类模型。
136.实际应用中,由于处理后的第二样本图像的图像风格与第一样本图像的图像风格相同,使得第一图像分类模型学习到大量的第一样本图像的图像风格,造成第一图像分类模型在第二样本图像的图像风格下的预测准确率较低,而第二图像分类模型在第二样本图像的图像风格下的预测准确率较高,因此,使用第二图像分类模型输出的第二目标分类结果来监督第一图像分类模型的训练。
137.进一步地,第一图像分类模型以第二图像分类模型为目标进行模型训练,在训练过程中,第一图像分类模型中每一层的参数会向第二图像分类模型中每一层的参数靠近,通过多次的训练后,使得训练后的第一图像分类模型中每一层的参数无限接近于训练后的第二图像分类模型中每一层的参数。
138.在本实施例中,通过对第二样本图像进行图像风格转换,得到处理后的第二样本图像,通过第一图像分数模型得到处理后的第二样本图像的预测分类结果,并利用第二样本图像的预测分类结果与第二样本图像的第二目标分类结果进行第一图像分类模型的训练,得到训练后的第一图像分类模型,使得训练后的第一图像分类模型学习到多种风格的第二样本图像,从而提升了训练后的第一图像分类模型的预测准确率。
139.在一示例性实施例中,如图5所示,训练后的第二图像分类模型通过下述方式训练得到:
140.在步骤s501中,根据第二样本图像,对第一样本图像进行图像风格转换,得到处理后的第一样本图像。
141.其中,处理后的第一样本图像指的是图像风格转变为第二样本图像的图像风格的第一样本图像。
142.举例说明,第一样本图像可以是图像风格为白天的猫,第二样本图像可以是图像风格为黑夜的猫,则处理后的第一样本图像为将白天的猫转变为黑夜的猫。
143.具体地,终端计算第二样本图像的均值和方差,根据第二样本图像的均值和方差,对第一样本图像进行图像风格转换,得到处理后的第一样本图像。进一步地,根据第二样本图像的均值和方差,对第一样本图像进行图像风格转换,得到处理后的第一样本图像,可以包括:终端将第一样本图像减去第二样本图像的均值,得到相减后的第一样本图像,然后将相减后的第一样本图像除以第二样本图像的方差,得到处理后的第一样本图像。
144.在步骤s502中,将处理后的第一样本图像输入第二图像分类模型,得到处理后的第一样本图像的预测分类结果。
145.具体地,在步骤s501得到处理后的第一样本图像之后,终端还可以进一步将处理后的第一样本图像输入到第二图像分类模型中,由第二图像分类模型进行图像分类处理,得到输出的针对处理后的第一样本图像的预测分类结果。
146.在步骤s503中,根据处理后的第一样本图像的预测分类结果与第一样本图像的第一目标分类结果之间的差异,对第二图像分类模型进行训练,得到训练后的第二图像分类模型。
147.具体地,终端还可以进一步计算步骤s502中由第二图像分类模型输出的处理后的第一样本图像的预测分类结果,与第一图像分类模型输出的第一目标分类结果之间的分类差异,从而利用上述差异对第二图像分类模型进行模型训练,从而得到训练后的第二图像分类模型。
148.进一步地,第二图像分类模型以第一图像分类模型为目标进行模型训练,在训练过程中,第二图像分类模型中每一层的参数都会向第二图像分类模型中每一层的参数靠近,通过多次的训练后,使得训练后的第二图像分类模型中每一层的参数无限接近于训练后的第一图像分类模型中每一层的参数。
149.在本实施例中,通过对第一样本图像进行图像风格转换,得到处理后的第一样本图像,通过第二图像分数模型得到处理后的第一样本图像的预测分类结果,并利用第一样本图像的预测分类结果与第一样本图像的第一目标分类结果进行第二图像分类模型的训练,得到训练后的第二图像分类模型,使得训练后的第二图像分类模型学习到多种风格的第一样本图像,从而提升了训练后的第二图像分类模型的预测准确率。
150.在一示例性实施例中,样本图像还包括至少一个第三样本图像,第三样本图像的图像风格均与第一样本图像和第二样本图像不相同;在上述步骤s204之前,还包括:获取第三图像分类模型针对第三样本图像的第三目标分类结果;将第三样本图像输入待训练的图像分类模型,得到第三样本图像对应的第三预测分类结果。
151.其中,第三样本图像可以为一张样本图像,也可以为由多个图像组成的样本图像集;第三样本图像的图像风格均与第一样本图像和第二样本图像不相同,指的是第一样本图像中多数图像所属的图像风格、第二样本图像中多数图像所属的图像风格与第三样本图像中多数图像所属的图像风格,三者均不相同。
152.举例说明,第一样本图像中所有图像的图像风格为白天,第二样本图像中所有图
像的图像风格为黑夜,第三样本图像中所有图像的图像风格为黄昏。
153.再例如,第一样本图像中图像风格为白天的图像占比为90%,图像风格为黑夜的图像占比为4%,图像风格为黄昏的图像占比为6%,则第一样本图像的图像风格为白天;第二样本图像中图像风格为白天的图像占比为10%,图像风格为黑夜的图像占比为85%,图像风格为黄昏的图像占比为5%,则第二样本图像的图像风格为黑夜;而第三样本图像中图像风格为白天的图像占比为10%,图像风格为黑夜的图像占比为10%,图像风格为黄昏的图像占比为80%,则第三样本图像的图像风格为黄昏。
154.其中,第三目标分类结果指的是第三图像分类模型针对第三样本图像进行图像分类处理的分类结果,用于监督其他图像分类模型对第三样本图像的学习,即用于监督待训练的图像分类模型、第一图像分类模型和第二图像分类模型对第三样本图像的学习。
155.其中,第三预测分类结果指的是由待训练的图像分类模型输出得到的,与输入的第三样本图像对应的预测类别图像。第三图像分类模型指的是再一个用于对图像分类模型进行训练的教师模型。
156.具体地,终端从原始样本图像中抽样得到第一样本图像、第二样本图像和第三样本图像后,获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果,并将第三样本图像输入到第三图像分类模型中,得到第三图像分类模型输出的针对第三样本图像的第三目标分类结果,以及将第三样本图像、第一样本图像和第二样本图像输入到训练的图像分类模型中进行图像分类处理,由图像分类模型输出第一样本图像对应的预测图像类别信息,即第一预测分类结果,第二样本图像对应的预测图像类别信息,即第二预测分类结果,以及第三样本图像对应的预测图像类别信息,即第三预测分类结果。
157.进一步地,样本图像还可以包括第四样本图像、第五样本图像、第六样本图像等等,其中各样本图像的图像风格不相同。当样本图像的数量增加时,训练模型所需的图像分类模型的数量也会相应增加;其中,训练模型所需的图像分类模型的数量等于抽取的样本图像集的数量加一。例如,从原始样本图像中抽取出了四种图像风格不同的样本图像,则训练模型所需的图像分类模型的数量为五个,这五个模型中,其中四个作为教师模型,剩下的一个作为学生模型,最后将训练完成的学生模型作为训练完成的图像分类模型。
158.上述步骤s204可以进一步包括:根据第一预测分类结果与第一目标分类结果之间的差异,第二预测分类结果与第二目标分类结果之间的差异,以及第三预测分类结果与第三目标分类结果之间的差异,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
159.具体地,终端还可以进一步计算由待训练的图像分类模型输出的第一预测分类结果,与第一图像分类模型输出的第一目标分类结果之间的分类差异,计算由待训练的图像分类模型输出的第二预测分类结果,与第二图像分类模型输出的第二目标分类结果之间的分类差异,以及计算由待训练的图像分类模型输出的第三预测分类结果,与第三图像分类模型输出的第三目标分类结果之间的分类差异,从而利用上述差异对待训练的图像分类模型进行模型训练,从而得到训练完成的图像分类模型。
160.实际应用中,终端首先从原始数据集中随机选取三个子集,即第一样本图像(标记为a)、第二样本图像(标记为b)和第三样本图像(标记为c)。然后根据a的图像风格,对b和c
进行图像风格转换,将a和a图像风格的b、c作为第一组数据集,即第一组数据集中a的图像风格偏多;根据b的图像风格,对a和c进行图像风格转换,将b和b图像风格的a、c作为第一组数据集,即第二组数据集中b的图像风格偏多;根据c的图像风格,对a和b进行图像风格转换,将c和c图像风格的a、b作为第三组数据集,即第三组数据集中c的图像风格偏多。
161.终端获取四个网络neta、netb、netc和netd,利用a图像风格偏多的第一组数据集训练neta,得到neta对a的第一目标分类结果和neta分别对a图像风格的b、c的预测分类结果;利用b图像风格偏多的第二组数据集训练netb,得到netb对b的第二目标分类结果和netb分别对b图像风格的a、c的预测分类结果;利用c图像风格偏多的第三组数据集训练netc,得到netc对c的第三目标分类结果和netc分别对c图像风格的a、b的预测分类结果;利用a、b和c训练netd,得到netd对a的第一预测分类结果、netd对b的第二预测分类结果和netd对c的第三预测分类结果。
162.进而根据第一预测分类结果与第一目标分类结果之间的差异,第二预测分类结果与第二目标分类结果之间的差异,以及第三预测分类结果与第三目标分类结果之间的差异,对netd进行训练,得到训练完成的netd。
163.在本实施例中,终端获取第三图像分类模型针对第三样本图像的第三目标分类结果,通过待训练的图像分类模型得到第三样本图像对应的第三预测分类结果,进而根据第一预测分类结果、第一目标分类结果之间的差异、第二预测分类结果、第二目标分类结果、第三预测分类结果以及第三目标分类结果,训练图像分类模型,得到训练完成的图像分类模型,实现了通过多个图像风格的样本图像来分别训练不同图像风格的样本图像,并利用各模型学习到的目标分类结果来监督待训练的图像分类模型,通过上述方法,各图像分类模型之间相互学习,使得训练完成的图像分类模型的预测准确性进一步提高。
164.图6是根据一示例性实施例示出的一种图像分类模型训练方法的流程图,如图6所示,图像分类模型训练方法用于终端中,包括以下步骤。
165.在步骤s601中,获取样本图像;样本图像中至少包括不同图像风格的第一样本图像和第二样本图像。
166.其中,第一样本图像可以为一张样本图像,也可以为由多个图像组成的样本图像集,第二样本图像同理;其中,第一样本图像和第二样本图像的图像风格不同,指的是第一样本图像中多数图像所属的图像风格与第二样本图像中多数图像所属的图像风格不同。
167.具体地,终端可以采集场景中的图像作为原始样本图像,也可以利用已存储的图像作为原始样本图像,终端对原始样本图像进行抽样处理,得到数量远小于原始样本图像的第一样本图像和第二样本图像,将该第一样本图像和第二样本图像作为样本图像。
168.在步骤s602中,获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果。
169.其中,第一目标分类结果指的是第一图像分类模型针对第一样本图像进行图像分类处理的分类结果,用于监督其他图像分类模型对第一样本图像的学习,即用于监督待训练的图像分类模型和第二图像分类模型对第一样本图像的学习。第一图像分类模型指的是一个将学习到的信息传递给待训练的图像分类模型,以对图像分类模型进行训练的教师模型。
170.其中,第二目标分类结果指的是第二图像分类模型针对第二样本图像进行图像分
类处理的分类结果,用于监督其他图像分类模型对第二样本图像的学习,即用于监督待训练的图像分类模型和第一图像分类模型对第二样本图像的学习。第二图像分类模型指的是另一个将学习到的信息传递给待训练的图像分类模型,以对图像分类模型进行训练的教师模型。
171.具体地,终端对第二样本图像进行图像风格转换,得到处理后的第二样本图像,对第一样本图像进行图像风格转换,得到处理后的第一样本图像;在对样本图像进行图像风格转换后,终端将第一样本图像和处理后第二样本图像输入第一图像分类模型,得到第一图像分类模型输出的针对第一样本图像对应的第一目标分类结果;同时将第二样本图像和处理后第一样本图像输入第二图像分类模型,得到第二图像分类模型输出的针对第二样本图像对应的第二目标分类结果。
172.在步骤s603中,分别将第一样本图像和第二样本图像输入待训练的图像分类模型,得到第一样本图像对应的第一预测分类结果和第二样本图像对应的第二预测分类结果。
173.其中,第一预测分类结果指的是由待训练的图像分类模型输出得到的,与输入的第一样本图像对应的预测类别图像。第二预测分类结果指的是由待训练的图像分类模型输出得到的,与输入的第二样本图像对应的预测类别图像。
174.具体地,终端可以将步骤s601中抽样得到的第一样本图像和第二样本图像输入到待训练的图像分类模型中进行图像分类处理,由该模型输出该第一样本图像对应的预测图像类别信息,即第一预测分类结果,以及第二样本图像对应的预测图像类别信息,即第二预测分类结果。
175.在步骤s604中,根据第一预测分类结果与第一目标分类结果之间的差异,得到第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的差异,得到第二损失值。
176.其中,第一损失值指的是由第一预测分类结果与第一目标分类结果,通过预先构建的第一损失函数计算得到的损失值;第二损失值指的是由第二预测分类结果与第二目标分类结果,通过预先构建的第二损失函数计算得到的损失值,第一损失函数与第二损失函数可以具有相同的表现形式,也可以具有不同的表现形式。
177.具体地,在终端得到第一预测分类结果、第一目标分类结果、第二预测分类结果与第二目标分类结果后,则可以根据第一预测分类结果与第一目标分类结果之间的图像分类差异,得到待训练的图像分类模型对应的第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的图像分类差异,得到待训练的图像分类模型对应的第二损失值。
178.在步骤s605中,根据第一损失值和第二损失值,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
179.具体地,终端根据第一损失值和第二损失值,对待训练的图像分类模型进行训练,来更新图像分类模型的模型参数,得到训练后的图像分类模型;当训练后的图像分类模型满足预设训练完成条件时,将训练后的图像分类模型作为训练完成的图像分类模型。
180.上述图像分类模型训练方法,获取样本图像;样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果;分别将第一样本图像和第二样本图像输入待训练的图像分类模型,得到第一样本图像对应的第一预测分类
结果和第二样本图像对应的第二预测分类结果;根据第一预测分类结果与第一目标分类结果之间的差异,得到第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的差异,得到第二损失值;根据第一损失值和第二损失值,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。本公开在对图像分类模型进行训练时,不仅利用不同图像风格的多个样本图像,还通过第一目标分类结果和第二目标分类结果来监督模型训练,从而大大提高了训练得到的图像分类模型的模型性能,进而提高了图像分类模型处理图像分类时的准确率。
181.在一示例性实施例中,提供了另一种图像分类模型训练方法,该方案的具体流程可如图7所示,包括以下步骤:
182.首先终端获取原始样本图像、第一图像分类模型、第二图像分类模型和待训练的图像分类模型,将第一图像分类模型标记为netc,将第二图像分类模型标记为nete,将待训练的图像分类模型标记为netd;其中,第一图像分类模型、第二图像分类模型和待训练的图像分类模型可以为在线的模型。
183.终端对原始样本图像进行随机抽样,得到第一样本图像,标记为集合a,以及第二样本图像,标记为集合b;终端计算得到集合a的方差和均值,计算得到集合b的方差和均值,将集合a中的图像减去集合b的均值,再除以集合b的方差,得到b图像风格的集合a,标记为ab,将集合b中的图像减去集合a的均值,再除以集合a的方差,得到a图像风格的集合b,标记为ba。
184.然后将集合ab和集合b输入到第一图像分类模型netc中,得到集合b对应的第一目标分类结果并标记为feat(b),以及集合ab对应的预测分类结果并标记为feat(ab);将集合a和集合ba输入到第二图像分类模型nete中,得到集合a对应的第二目标分类结果并标记为feat(a),以及集合ba对应的预测分类结果并标记为feat(ba);将集合a和集合b输入到待训练的图像分类模型netd中,得到集合b对应的第一预测分类结果并标记为feat(b),以及集合a对应的第二预测分类结果并标记为feat(a)。
185.接着,终端根据第一目标分类结果feat(b)和第一预测分类结果feat(b),确定第一学生损失值,根据第二目标分类结果feat(a)和第二预测分类结果feat(a),确定第二学生损失值,对第一学生损失值和第二学生损失值进行求和,得到总学生损失值;以第一图像分类模型netc和第二图像分类模型nete为目标,根据总学生损失值,对待训练的图像分类模型netd进行训练,得到训练后的图像分类模型;根据集合ab对应的预测分类结果feat(ab)和二目标分类结果feat(a),确定第二教师损失值,根据第二教师损失值,对第一图像分类模型进行训练,得到训练后的第一图像分类模型;根据集合ba对应的预测分类结果feat(ba)和第一目标分类结果feat(b),确定第一教师损失值,根据第一教师损失值,对第二图像分类模型进行训练,得到训练后的第二图像分类模型。
186.最后,对训练后的图像分类模型、训练后的第一图像分类模型和训练后的第二图像分类模型进行再次训练,若在预设训练轮数内,检测得到训练后的图像分类模型的性能的提升高于预设阈值时,则终端对训练后的图像分类模型、训练后的第一图像分类模型和训练后的第二图像分类模型进行再次训练;若在预设训练轮数内,检测得到训练后的图像分类模型的性能的提升低于或等于预设阈值时,终止模型训练,得到训练完成的图像分类模型。其中,预设训练轮数可以是1、2、3、4、5、6轮等,在此不进行具体限定。
187.本实施例提出了一种图像分类模型训练方法,一是通过图像风格转换处理样本图像,能够挖掘出样本图像中更多的特征信息,从而提升图像分类模型的训练效果,进而提高了图像分类模型处理图像分类时的准确率;二是可以通过目标分类结果来监督多个预测图像分类模型的再次训练,使得训练后的第一图像分类模型和训练后的第二图像分类模型的性能不断提升,并通过训练后的第一图像分类模型的第一目标分类结果和训练后的第二图像分类模型的第二目标分类结果来监督训练后的图像分类模型的再次训练,从而将训练后的第一图像分类模型和训练后的第二图像分类模型学习到的信息整合在训练后的图像分类模型中,与传统技术中需要分别对各个模型进行性能测试,并选取性能最好的模型作为最终的图像分类模型不同,本公开不仅提高了模型的训练效率,还提高了训练后的图像分类模型的性能,从而进一步提高了图像分类模型处理图像分类时的准确率。
188.应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
189.可以理解的是,本说明书中上述方法的各个实施例之间相同/相似的部分可互相参见,每个实施例重点说明的是与其他实施例的不同之处,相关之处参见其他方法实施例的说明即可。
190.基于同样的发明构思,本公开实施例还提供了一种用于实现上述所涉及的图像分类方法的图像分类装置。
191.图8是根据一示例性实施例示出的一种图像分类装置框图。参照图8,该装置包括处理图像获取单元801,图像类别获取单元802和分类结果确定单元803。
192.处理图像获取单元801,被配置为执行获取待处理图像。
193.图像类别获取单元802,被配置为执行将待处理图像输入训练完成的图像分类模型,得到待处理图像中的图像类别信息;训练完成的图像分类模型为采用至少两个不同图像风格的样本图像和每个样本图像的目标分类结果,对待训练的图像分类模型进行训练得到的,每个样本图像的目标分类结果根据不同的图像分类模型处理得到。
194.分类结果确定单元803,被配置为执行将图像类别信息,确定为待处理图像的图像分类结果。
195.在一示例性实施例中,图像分类装置,还包括:分类模型训练单元,被配置为执行获取样本图像;样本图像中至少包括不同图像风格的第一样本图像和第二样本图像;获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果;分别将第一样本图像和第二样本图像输入待训练的图像分类模型,得到第一样本图像对应的第一预测分类结果和第二样本图像对应的第二预测分类结果;根据第一预测分类结果与第一目标分类结果之间的差异,以及第二预测分类结果与第二目标分类结果之间的差异,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
196.在一示例性实施例中,图像分类装置,还包括:分类模型获取单元,被配置为执行根据第一预测分类结果与第一目标分类结果之间的差异,得到第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的差异,得到第二损失值;根据第一损失值和第二损失值,得到目标损失值;根据目标损失值,对待训练的图像分类模型进行训练,得到训练后的图像分类模型;对训练后的图像分类模型进行再次训练,直到得到训练完成的图像分类模型。
197.在一示例性实施例中,图像分类装置,还包括:目标损失获取单元,被配置为执行获取第一损失值对应的第一权重和第二损失值对应的第二权重;分别根据第一权重和第二权重,对第一损失值和第二损失值进行加权求和,得到目标损失值。
198.在一示例性实施例中,图像分类装置,还包括:模型再次训练单元,被配置为执行获取训练后的第一图像分类模型针对第一样本图像的更新后的第一目标分类结果,以及训练后的第二图像分类模型针对第二样本图像的更新后的第二目标分类结果;分别将第一样本图像和第二样本图像输入训练后的图像分类模型,得到第一样本图像对应的更新后的第一预测分类结果和第二样本图像对应的更新后的第二预测分类结果;根据更新后的第一预测分类结果与更新后的第一目标分类结果之间的差异,以及更新后的第二预测分类结果与更新后的第二目标分类结果之间的差异,对训练后的图像分类模型进行训练。
199.在一示例性实施例中,图像分类装置,还包括:第一模型训练单元,被配置为执行根据第一样本图像,对第二样本图像进行图像风格转换,得到处理后的第二样本图像;将处理后的第二样本图像输入第一图像分类模型,得到处理后的第二样本图像的预测分类结果;根据处理后的第二样本图像的预测分类结果与第二样本图像的第二目标分类结果之间的差异,对第一图像分类模型进行训练,得到训练后的第一图像分类模型。
200.在一示例性实施例中,图像分类装置,还包括:第二模型训练单元,被配置为执行根据第二样本图像,对第一样本图像进行图像风格转换,得到处理后的第一样本图像;将处理后的第一样本图像输入第二图像分类模型,得到处理后的第一样本图像的预测分类结果;根据处理后的第一样本图像的预测分类结果与第一样本图像的第一目标分类结果之间的差异,对第二图像分类模型进行训练,得到训练后的第二图像分类模型。
201.在一示例性实施例中,样本图像还包括至少一个第三样本图像,第三样本图像的图像风格均与第一样本图像和第二样本图像不相同;图像分类装置,还包括:分类结果获取单元,被配置为执行获取第三图像分类模型针对第三样本图像的第三目标分类结果;将第三样本图像输入待训练的图像分类模型,得到第三样本图像对应的第三预测分类结果;分类模型训练单元,进一步被配置为执行根据第一预测分类结果与第一目标分类结果之间的差异,第二预测分类结果与第二目标分类结果之间的差异,以及第三预测分类结果与第三目标分类结果之间的差异,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
202.图9是根据一示例性实施例示出的一种图像分类模型训练装置的框图。参照图9,该装置包括样本图像获取单元901,目标结果获取单元902,预测结果获取单元903,损失函数确定单元904和目标模型获取单元905。
203.样本图像获取单元901,被配置为执行获取样本图像;样本图像中至少包括不同图像风格的第一样本图像和第二样本图像。
204.目标结果获取单元902,被配置为执行获取第一图像分类模型针对第一样本图像的第一目标分类结果,以及第二图像分类模型针对第二样本图像的第二目标分类结果。
205.预测结果获取单元903,被配置为执行分别将第一样本图像和第二样本图像输入待训练的图像分类模型,得到第一样本图像对应的第一预测分类结果和第二样本图像对应的第二预测分类结果。
206.损失函数确定单元904,被配置为执行根据第一预测分类结果与第一目标分类结果之间的差异,得到第一损失值,以及根据第二预测分类结果与第二目标分类结果之间的差异,得到第二损失值。
207.目标模型获取单元905,被配置为执行根据第一损失值和第二损失值,对待训练的图像分类模型进行训练,得到训练完成的图像分类模型。
208.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
209.上述图像分类装置和图像分类模型训练装置中的各个单元可全部或部分通过软件、硬件及其组合来实现。上述各单元可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
210.图10是根据一示例性实施例示出的一种用于实现一种图像分类方法或者用于实现一种图像分类模型训练方法的电子设备1000的框图。例如,电子设备1000可以是移动电话、计算机、数字广播终端、消息收发设备、游戏控制台、平板设备、医疗设备、健身设备、个人数字助理等。
211.参照图10,电子设备1000可以包括以下一个或多个组件:处理组件1002、存储器1004、电源组件1006、多媒体组件1008、音频组件1010、输入/输出(i/o)的接口1012、传感器组件1014以及通信组件1016。
212.处理组件1002通常控制电子设备1000的整体操作,诸如与显示、电话呼叫、数据通信、相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件1002可以包括一个或多个模块,便于处理组件1002和其他组件之间的交互。例如,处理组件1002可以包括多媒体模块,以方便多媒体组件1008和处理组件1002之间的交互。
213.存储器1004被配置为存储各种类型的数据以支持在电子设备1000的操作。这些数据的示例包括用于在电子设备1000上操作的任何应用程序或方法的指令、联系人数据、电话簿数据、消息、图片、视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram)、电可擦除可编程只读存储器(eeprom)、可擦除可编程只读存储器(eprom)、可编程只读存储器(prom)、只读存储器(rom)、磁存储器、快闪存储器、磁盘、光盘或石墨烯存储器。
214.电源组件1006为电子设备1000的各种组件提供电力。电源组件1006可以包括电源管理系统,一个或多个电源,及其他与为电子设备1000生成、管理和分配电力相关联的组件。
215.多媒体组件1008包括在所述电子设备1000和用户之间的提供输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,
屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件1008包括前置摄像头和/或后置摄像头。当电子设备1000处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是固定的光学透镜系统或具有焦距和光学变焦能力。
216.音频组件1010被配置为输出和/或输入音频信号。例如,音频组件1010包括麦克风(mic),当电子设备1000处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中,音频组件1010还包括扬声器,用于输出音频信号。
217.i/o接口1012为处理组件1002和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。
218.传感器组件1014包括一个或多个传感器,用于为电子设备1000提供各个方面的状态评估。例如,传感器组件1014可以检测到电子设备1000的打开/关闭状态,组件的相对定位,例如所述组件为电子设备1000的显示器和小键盘,传感器组件1014还可以检测电子设备1000或电子设备1000组件的位置改变,用户与电子设备1000接触的存在或不存在,设备1000方位或加速/减速和电子设备1000的温度变化。传感器组件1014可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件1014还可以包括加速度传感器、陀螺仪传感器、磁传感器、压力传感器或温度传感器。
219.通信组件1016被配置为便于电子设备1000和其他设备之间有线或无线方式的通信。电子设备1000可以接入基于通信标准的无线网络,如wifi,运营商网络(如2g、3g、4g或5g),或它们的组合。在一个示例性实施例中,通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件1016还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。
220.在示例性实施例中,电子设备1000可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述方法。
221.在示例性实施例中,还提供了一种包括指令的计算机可读存储介质,例如包括指令的存储器1004,上述指令可由电子设备1000的处理器1020执行以完成上述方法。例如,计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
222.在示例性实施例中,还提供一种计算机程序产品,所述计算机程序产品中包括指令,上述指令可由电子设备1000的处理器1020执行以完成上述方法。
223.需要说明的,上述的装置、电子设备、计算机可读存储介质、计算机程序产品等根据方法实施例的描述还可以包括其他的实施方式,具体的实现方式可以参照相关方法实施例的描述,在此不作一一赘述。
224.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
225.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献