风格转换模型的训练方法及虚拟建筑检测模型的训练方法与流程

1.本公开涉及图像处理技术领域，尤其涉及一种风格转换模型的训练方法、虚拟建筑检测模型的训练方法、装置、电子设备及存储介质。


背景技术：

2.随着人工智能技术的发展与推进，基于深度学习的计算机视觉技术在建筑平面检测、人脸识别、自动驾驶、质量检测等方面的应用越来越广泛。比如，建筑平面检测场景中，通常通过收集建筑物的图像组成训练数据集训练建筑物的平面检测模型，以通过计算机视觉技术更加可靠高效的完成建筑物平面检测任务，以在建筑物平面中进行贴图等处理，节省人力和时间成本。
3.相关技术中，由于深度学习模型的效果很大程度上依赖于训练数据集的规模和质量，以便模型学习到足够的特征来实现“举一反三”，从而防止训练数据过少导致的过拟合现象。但是，在实际应用中经常无法获取到足够且优质的真实图像作为训练样本，因此可以通过生成虚拟图像替代真实图像的方式构建数据集，但是计算机生成的虚拟图像与真实图像的差异较大。


技术实现要素：

4.本公开提供一种风格转换模型的训练方法、虚拟建筑检测模型的训练方法、装置、电子设备、存储介质及计算机程序产品，以至少解决相关技术中，计算机生成的虚拟图像与真实图像的差异较大的问题。本公开的技术方案如下：
5.根据本公开实施例的第一方面，提供一种风格转换模型的训练方法，所述风格转换模型包括第一生成器和判别器，所述方法，包括：获取多个样本虚拟图像和所述样本虚拟图像所要转换的多个样本真实图像；将每个所述样本虚拟图像与每个所述样本真实图像输入至所述第一生成器，以生成每个所述样本虚拟图像向所述样本真实图像进行风格转换之后对应的转换图像，以及每个所述样本虚拟图像对应的第一注意力热力图与每个所述样本真实图像对应的第二注意力热力图；将每个所述转换图像输入至所述判别器，以生成每个所述转换图像对应的判别结果与第三注意力热力图；将每个所述样本真实图像输入至所述判别器，以生成每个所述样本真实图像对应的判别结果与第四注意力热力图；根据每个所述转换图像对应的判别结果与每个所述样本真实图像对应的判别结果，生成对抗损失值；根据每个所述第一注意力热力图与每个所述第二注意力热力图，生成第一cam(class activation mapping，类激活映射)损失值；根据每个所述第三注意力热力图与每个所述第四注意力热力图，生成第二cam损失值；根据所述对抗损失值、所述第一cam损失值和所述第二cam损失值，确定总损失值；以及根据所述总损失值，对所述风格转换模型进行训练。
6.可选地，在本公开第一方面实施例一种可能的实现方式中，所述风格转换模型还包括第二生成器，所述确定总损失值之前，还包括：
7.将每个所述转换图像输入至第二生成器，以对所述转换图像进行还原，生成每个
所述转换图像对应的还原图像；
8.根据每个所述样本虚拟图像与每个所述还原图像，计算循环一致损失值；
9.所述根据所述对抗损失值、所述第一类激活映射损失值和所述第二类激活映射损失值，确定总损失值，包括：
10.根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值与所述循环一致损失值，确定所述总损失值。
11.可选地，在本公开第一方面实施例另一种可能的实现方式中，所述确定总损失值之前，还包括：
12.根据每个所述样本虚拟图像和每个所述转换图像，计算第一身份损失值；
13.所述根据所述对抗损失值、所述第一类激活映射损失值和所述第二类激活映射损失值，确定总损失值，包括：
14.根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值、所述循环一致损失值与所述第一身份损失值，确定所述总损失值。
15.可选地，在本公开第一方面实施例再一种可能的实现方式中，所述确定总损失值之前，还包括：
16.根据所述转换图像和所述还原图像，计算第二身份损失值；
17.所述根据所述对抗损失值、所述第一类激活映射损失值和所述第二类激活映射损失值，确定总损失值，包括：
18.根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值、所述循环一致损失值、所述第一身份损失值与所述第二身份损失值，确定所述总损失值。
19.根据本公开实施例的第二方面，提供一种虚拟建筑检测模型的训练方法，包括：获取多个虚拟图像；通过根据如前所述的训练方法所训练的风格转换模型对所述虚拟图像进行风格转换，以生成每个所述虚拟图像对应的转换图像；以及根据每个所述转换图像，对所述虚拟建筑检测模型进行训练。
20.可选地，在本公开第二方面实施例一种可能的实现方式中，所述根据每个所述转换图像，对所述虚拟建筑检测模型进行训练，包括：
21.对每个所述虚拟图像进行前景和背景的分割，以生成每个所述虚拟图像的分割图和背景图；
22.根据每个所述虚拟图像的分割图对相应的转换图像进行分割，以提取每个所述转换图像之中的前景图；以及
23.将每个所述转换图像的前景图和所述虚拟图像的背景图进行融合，以生成每个虚拟图像对应的训练图，并使用每个所述训练图对所述虚拟建筑检测模型进行训练。
24.可选地，在本公开第二方面实施例另一种可能的实现方式中，所述根据每个所述转换图像，对所述虚拟建筑检测模型进行训练，包括：
25.对每个所述虚拟图像进行前景和背景的分割，以提取每个所述虚拟图像的前景图像；
26.将每个所述前景图像输入至所述风格转换模型，以生成前景转换图像；以及
27.将每个所述前景转换图像与相应的虚拟图像的背景图像进行融合，以生成每个所述训练图，并使用每个所述训练图对所述虚拟建筑检测模型进行训练。
28.可选地，在本公开第二方面实施例再一种可能的实现方式中，所述使用每个所述训练图对所述虚拟建筑检测模型进行训练之前，还包括：
29.从预设增强方式之中选择至少一种增强方式；以及
30.根据选择的增强方式对每个所述训练图进行数据增强，以生成每个所述训练图对应的多个增强训练图；
31.所述对所述虚拟建筑检测模型进行训练，包括：
32.使用每个所述增强训练图对所述虚拟建筑检测模型进行训练。
33.可选地，在本公开第二方面实施例又一种可能的实现方式中，所述预设增强方式包括随机旋转增强方式、色彩增强方式或者噪声增强方式。
34.可选地，在本公开第二方面实施例又一种可能的实现方式中，所述获取多个虚拟图像，包括：
35.生成目标虚拟物体的形状；
36.获取所述目标虚拟物体所对应的实体物体图像；
37.从所述实体物体图像中，获取所述实体物体的纹理数据；以及
38.将所述实体物体的纹理数据融合至所述目标虚拟物体的形状之中，以形成所述目标虚拟物体的多个虚拟图像。
39.可选地，在本公开第二方面实施例另一种可能的实现方式中，在所述将所述实体物体的纹理数据融合至所述目标虚拟物体的形状之中，以形成所述目标虚拟物体的多个虚拟图像之后，还包括：
40.随机生成拍摄参数；以及
41.根据随机生成的所述拍摄参数，对所述虚拟图像集中的每个虚拟图像进行调整，以对所述目标虚拟物体的虚拟图像进行扩充。
42.根据本公开实施例的第三方面，提供一种风格转换模型的训练装置，所述风格转换模型包括第一生成器和判别器，所述装置，包括：第一获取模块，被配置为执行获取多个样本虚拟图像集和所述样本虚拟图像所要转换的多个样本真实图像的步骤；第一生成模块，被配置为执行将每个所述样本虚拟图像与每个所述样本真实图像输入至所述第一生成器，以生成每个所述样本虚拟图像向所述样本真实图像进行风格转换之后对应的转换图像，以及每个所述样本虚拟图像对应的第一注意力热力图与每个所述样本真实图像对应的第二注意力热力图的步骤；第二生成模块，被配置为执行将每个所述转换图像输入至所述判别器，以生成每个所述转换图像对应的判别结果与第三注意力热力图的步骤；第三生成模块，被配置为执行将每个所述样本真实图像输入至所述判别器，以生成每个所述样本真实图像对应的判别结果与第四注意力热力图的步骤；第四生成模块，被配置为执行根据每个所述转换图像对应的判别结果与每个所述样本真实图像对应的判别结果，生成对抗损失值的步骤；第五生成模块，被配置为执行根据每个所述第一注意力热力图与每个所述第二注意力热力图，生成第一cam损失值的步骤；第六生成模块，被配置为执行根据每个所述第三注意力热力图与每个所述第四注意力热力图，生成第二cam损失值的步骤；第一确定模块，被配置为执行根据所述对抗损失值、所述第一cam损失值和所述第二cam损失值，确定总损失值的步骤；以及第一训练模块，被配置为执行根据所述总损失值，对所述风格转换模型进行训练的步骤。
43.可选地，在本公开第三方面实施例一种可能的实现方式中，所述风格转换模型还包括第二生成器，所述装置，还包括：
44.第七生成模块，被配置为执行将每个所述转换图像输入至第二生成器，以对所述转换图像进行还原，生成每个所述转换图像对应的还原图像的步骤；
45.第一计算模块，被配置为执行根据每个所述样本虚拟图像与每个所述还原图像，计算循环一致损失值；
46.所述第一确定模块，包括：
47.第一确定单元，被配置为执行根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值与所述循环一致损失值，确定所述总损失值的步骤。
48.可选地，在本公开第三方面实施例另一种可能的实现方式中，所述装置，还包括：
49.第二计算模块，被配置为执行根据每个所述样本虚拟图像和每个所述转换图像，计算第一身份损失值的步骤；
50.所述第一确定模块，包括：
51.第二确定单元，被配置为执行根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值、所述循环一致损失值与所述第一身份损失值，确定所述总损失值的步骤。
52.可选地，在本公开第三方面实施例再一种可能的实现方式中，所述装置，还包括：
53.第三计算模块，被配置为执行根据所述转换图像和所述还原图像，计算第二身份损失值的步骤；
54.所述第一确定模块，包括：
55.第三确定单元，被配置为执行根据所述对抗损失值、所述第一cam损失值、所述第二cam损失值、所述循环一致损失值、所述第一身份损失值与所述第二身份损失值，确定所述总损失值的步骤。
56.根据本公开实施例的第四方面，提供一种虚拟建筑检测模型的训练装置，包括：第二获取模块，被配置为执行获取多个虚拟图像的步骤；第八生成模块，被配置为执行通过根据如前所述的训练方法所训练的风格转换模型对所述虚拟图像进行风格转换，以生成每个所述虚拟图像对应的转换图像的步骤；以及第二训练模块，被配置为执行根据每个所述转换图像，对所述虚拟建筑检测模型进行训练的步骤。
57.可选地，在本公开第四方面实施例一种可能的实现方式中，所述装置，包括：
58.第九生成模块，被配置为执行对每个所述虚拟图像进行前景和背景的分割，以生成每个所述虚拟图像的分割图和背景图的步骤；
59.提取模块，被配置为执行根据每个所述虚拟图像的分割图对相应的转换图像进行分割，以提取每个所述转换图像之中的前景图的步骤；以及
60.第十生成模块，被配置为执行将每个所述转换图像的前景图和所述虚拟图像的背景图进行融合，以生成每个虚拟图像对应的训练图的步骤；
61.所述第二训练模块，包括：
62.第一训练单元，被配置为执行并使用每个所述训练图对所述虚拟建筑检测模型进行训练的步骤。
63.可选地，在本公开第四方面实施例另一种可能的实现方式中，所述第七生成模块，包括：
64.提取单元，被配置为执行对每个所述虚拟图像进行前景和背景的分割，以提取每个所述虚拟图像的前景图像的步骤；
65.第一生成单元，被配置为执行将每个所述前景图像输入至所述风格转换模型，以生成前景转换图像的步骤；以及
66.第二生成单元，被配置为执行将每个所述前景转换图像与相应的虚拟图像的背景图像进行融合，以生成每个所述训练图的步骤；
67.所述第二训练模块，包括：
68.第二训练单元，被配置为执行使用每个所述训练图对所述虚拟建筑检测模型进行训练的步骤。
69.可选地，在本公开第四方面实施例再一种可能的实现方式中，所述装置，还包括：
70.选择模块，被配置为执行从预设增强方式之中选择至少一种增强方式的步骤；以及
71.第十一生成模块，被配置为执行根据选择的增强方式对每个所述训练图进行数据增强，以生成每个所述训练图对应的多个增强训练图的步骤；
72.所述第二训练模块，包括：
73.第三训练单元，被配置为执行使用每个所述增强训练图对所述虚拟建筑检测模型进行训练的步骤。
74.可选地，在本公开第四方面实施例又一种可能的实现方式中，所述预设增强方式包括随机旋转增强方式、色彩增强方式或者噪声增强方式。
75.可选地，在本公开第四方面实施例又一种可能的实现方式中，所述第二获取模块，包括：
76.第三生成单元，被配置为执行生成目标虚拟物体的形状的步骤；
77.第一获取单元，被配置为执行获取所述目标虚拟物体所对应的实体物体图像的步骤；
78.第二获取单元，被配置为执行从所述实体物体图像中，获取所述实体物体的纹理数据的步骤；以及
79.融合单元，被配置为执行将所述实体物体的纹理数据融合至所述目标虚拟物体的形状之中，以形成所述目标虚拟物体的多个虚拟图像的步骤。
80.可选地，在本公开第四方面实施例另一种可能的实现方式中，所述第二获取模块，还包括：
81.第四生成单元，被配置为随机生成拍摄参数的步骤；以及
82.扩充单元，被配置为执行根据随机生成的所述拍摄参数，对所述虚拟图像集中的每个虚拟图像进行调整，以对所述目标虚拟物体的虚拟图像进行扩充的步骤。
83.根据本公开实施例的第五方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如前所述的风格转换模型的训练方法或虚拟建筑检测模型的训练方法。
84.根据本公开实施例的第六方面，提供一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如前所述的风格转换模型的训练方法或虚拟建筑检测模型的训练方法。
85.根据本公开实施例的第五方面，提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行如前所述的风格转换模型的训练方法或虚拟建筑检测模型的训练方法。
86.本公开的实施例提供的技术方案至少带来以下有益效果：通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及生成每个样本虚拟图像与样本真实图像集中每个样本真实图像对应的注意力热力图，并利用判别器对每个转换图像与每个样本真实图像进行判别，之后根据判别结果生成对抗损失值，以及通过第一生成器与判别器分别输出的各注意力热力图，引入cam损失，以通过多个损失函数对风格转换模型进行联合训练。由此，通过在模型训练过程中引入cam损失，使得训练完成的风格转换模型在图像风格转换与判别过程中，更加关注图像中的重点区域，从而改善了虚拟图像真实化的效果，提升了虚拟图像的真实度。
87.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
88.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
89.图1是根据一示例性实施例示出的一种风格转换模型的训练方法的流程图。
90.图2为一种风格转换模型的第一生成器的结构示意图。
91.图3为一种风格转换模型的判别器的结构示意图。
92.图4是根据一示例性实施例示出的另一种风格转换模型的训练方法的流程图。
93.图5是根据一示例性实施例示出的一种虚拟建筑检测模型的训练方法的流程图。
94.图6是根据一示例性实施例示出的另一种虚拟建筑检测模型的训练方法的流程图。
95.图7是根据一示例性实施例示出的再一种虚拟建筑检测模型的训练方法的流程图。
96.图8是根据一示例性实施例示出的又一种虚拟建筑检测模型的训练方法的流程图。
97.图9是根据一示例性实施例示出的一种风格转换模型的训练装置框图。
98.图10是根据一示例性实施例示出的一种虚拟建筑检测模型的训练装置框图。
99.图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
100.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
101.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相
一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
102.图1是根据一示例性实施例示出的一种风格转换模型的训练方法的流程图，如图1所示，该风格转换模型的训练方法用于电子设备中，包括以下步骤。
103.在步骤101中，获取多个样本虚拟图像和样本虚拟图像所要转换的多个样本真实图像。
104.需要说明的是，本公开实施例的风格转换模型的训练方法，可以应用在对虚拟图像进行真实化的场景。比如，在计算机视觉领域，通常需要大量的图像数据构成训练数据集，用于对深度学习模型的训练。但是，在实际应用时，收集大量真实图像构建数据集，通常是比较困难的，从而可以通过本公开实施例的风格转换模型的训练方法，训练虚拟图像真实化效果较好的风格转换模型，并利用训练完成的风格转换模型对虚拟图像进行风格迁移等处理，生成与真实图像相近的虚拟图像，以解决数据集匮乏的问题。
105.其中，样本虚拟图像，可以是指通过任意的计算机软件生成的图像。
106.样本真实图像，可以是指通过图像采集设备采集的真实场景图像。
107.需要说明的是，实际使用时，样本真实图像通常与样本虚拟图像具有内容相关性，以保证风格转换模型的训练效果。具体的，样本虚拟图像与样本真实图像的图像内容可以与实际的应用场景有关。比如，当前的应用场景为对人脸图像进行动漫化处理，则样本虚拟图像可以是包括真实人脸图像，样本真实图像可以是动漫人物图像；又如，当前的应用场景为对虚拟建筑物图像进行真实化处理，则样本虚拟图像可以是大量计算机合成或绘制的建筑物图像，样本真实图像可以是图像采集设备采集的大量真实建筑物的图像。
108.在本公开实施例中，可以根据具体的应用场景，通过计算机软件生成相应场景所需的样本虚拟图像；或者，也可以将计算机软件生成的图像与真实图像进行合成，以生成样本虚拟图像；或者，还可以利用计算机软件对真实图像进行修改、润色等，生成样本虚拟图像。
109.相应的，可以根据具体的应用场景，通过图像采集设备采集相应场景所需的样本真实图像；或者也可以从网络中抓取大量相应场景所需的样本真实图像。
110.举例来说，若本公开实施例的应用场景为虚拟建筑物图像真实化场景，则可以利用计算机软件制作各种建筑物的样本虚拟图像；又如，还可以利用计算机软件生成建筑物的图像，进而将生成的建筑物的图像作为前景图像，与真实场景的背景图像融合，以生成各种建筑物的样本虚拟图像。相应的，还可以利用摄像机等图像采集设备从各个拍摄角度采集各种建筑物的图像，作为样本真实图像。
111.在步骤102中，将每个样本虚拟图像与每个样本真实图像输入至第一生成器，以生成每个样本虚拟图像向样本真实图像进行风格转换之后对应的转换图像，以及每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图。
112.其中，风格转换模型，可以是基于对抗式生成网络的图像生成模型。需要说明的是，风格转换模型的第一生成器可以将输入图像从原始图像域转换至目标图像域，以生成输入图像在目标图像域的对应图像。比如，原始图像域为真实人脸图像，目标图像域为动漫风格图像，则第一生成器可以对输入的真实人脸图像进行转换，以生成该真实人脸图像对应的动漫图像；又如，原始图像域为真实图像，目标图像域为油画风格图像，则第一生成器
可以对输入的真实图像进行转换，以生成该真实图像对应的油画风格图像。
113.在本公开实施例中，风格转换模型的原始图像域可以为虚拟图像，目标图像域可以为真实图像。从而，将每个样本虚拟图像输入转换模型的第一生成器之后，第一生成器可以对每个样本虚拟图像进行转换处理，以生成每个样本虚拟图像在目标图像域(即样本真实图像所在的图像域)的对应图像，即与样本真实图像的风格相近的转换图像。
114.作为一种可能的实现方式，还可以在风格转换模型的训练过程中融入cam和自适应标准化方式，以进一步提升训练完成后的风格转换模型生成的转换图像的真实性。在本公开实施例一种可能的实现形式中，将一个样本虚拟图像输入第一生成器之后，第一生成器可以对该样本虚拟图像进行下采样，以生成第一下采样图像，之后第一生成器对第一下采样图像进行特征提取，以生成多个第一特征图，并获取多个第一特征图分别对应的第一类别权重，进而第一生成器可以根据多个第一特征图分别对应的第一类别权重，生成该样本虚拟图像对应的第一注意力热力图，以根据第一注意力热力图，生成该样本虚拟图像对应的转换图像。
115.在本公开实施例中，如图2所示，为一种风格转换模型的第一生成器的结构示意图。由图2可以看出，样本虚拟图像输入转换模型的第一生成器之后，首先通过第一生成器的编码器es(21)中的下采样块(211)，对样本虚拟图像进行下采样，以生成样本虚拟图像对应的第一下采样图像，并通过编码器es(21)的残差块(212)对第一下采样图像进行特征提取，以生成样本虚拟图像对应的编码器特征映射n为大于1的正整数，即样本虚拟图像对应的多个第一特征图分别为之后，通过基于cam的辅助分类器ηs(22)中包括的n个第一类别权重w1、w2，
……
，wn，对多个第一特征图进行全连接处理，以生成样本虚拟图像对应的注意力特征映射即a1、a2，
……
，an，以使第一生成器将样本虚拟图像转换至目标图像域时，更加关注样本虚拟图像中与目标图像域差异较大的区域，进一步提升转换图像的真实性。之后，可以通过一个全连接层(23)将a1、a2，
……
，an进行相加，以生成样本虚拟图像对应的第一注意力热力图。进而通过第一生成器中的解码器(24)根据全连接层输出第一注意力热力图及参数γ与β，利用自适应残差块(241)自适应的选择in(instance normalization，实例标准化)或ln(layer norm，层标准化)的方式，根据第一注意力热力图，对样本虚拟图像进行风格转换，进而通过上采样块(242)对风格转换后生成的图像进行上采样，以生成与样本虚拟图像尺寸相同的转换图像。
116.需要说明的是，在对样本虚拟图像对应的多个第一特征图进行全连接处理之前，还可以对每个第一特征图进行gap(global average pooling，全局均值池化)处理，即利用第一特征图中所有像素的均值，代替该第一特征图，从而对于n个第一特征图，可以生成一个n维的特征向量，进而利用辅助分类器(22)中的各权重分别与该n维的特征向量中的每个元素相乘，生成样本虚拟图像对应的第一注意力热力图。
117.需要说明的是，为使得第一注意力热力图可视化，还可以在确定出样本虚拟图像对应的注意力特征映射a1、a2，
……
，an之后，通过全连接层(23)将a1、a2，
……
，an进行相加，并对相加结果进行上采样，以还原至样本虚拟图像大小，进而与样本虚拟图像进行叠加，以生成样本虚拟图像对应的注意力热力图并输出，从而使得第一生成器在对样本虚拟图像进
行转换时的关注区域可视化。
118.在本公开实施例中，由于样本真实图像为目标域图像，无需对其进行风格转换，从而可以在将样本真实图像输入第一生成器之后，可以仅利用第一生成器生成样本真实图像对应的第二注意力热力图，而无需对样本真实图像进行风格转换。需要说明的是，生成样本真实图像对应的第二注意力热力图的方式与生成样本虚拟图像对应的第一注意力热力图的方式相同，具体实现方式和原理可以参照上述实施例的详细描述，此处不再赘述。
119.在步骤103中，将每个转换图像输入至判别器，以生成每个转换图像对应的判别结果与第三注意力热力图。
120.在本公开实施例中，在风格转换模型训练过程中，第一生成器可以根据判别器的判别结果，提升自身的性能，判别器也可以在对第一生成器生成的图像的判别过程中不断提升自身性能，从而还可以在生成每个样本虚拟图像对应的转换图像之后，将每个转换图像与每个样本真实图像输入风格转换模型的判别器，以通过判别器的判别结果，对风格转换模型进行训练。
121.作为一种可能的实现方式，将一个转换图像输入判别器之后，判别器可以对该转换图像进行下采样，以生成第二下采样图像，之后判别器可以对第二下采样图像进行特征提取，以生成多个第二特征图，并获取多个第二特征图分别对应的第二类别权重，进而判别器可以根据多个第二特征图分别对应的第二类别权重，生成转换图像对应的第三注意力热力图，以根据第三注意力热力图，生成转换图像对应的判别结果，即转换图像为非转换图像的概率。
122.在本公开实施例中，如图3所示，为一种风格转换模型的判别器的结构示意图。由图3可以看出，可以将第一生成器生成的转换图像输入判别器，以使判别器确定转换图像为真实图像还是由第一生成器生成的转换图像。转换图像输入风格转换模型的判别器之后，首先通过判别器的编码器e
dt
(31)中的下采样块(311)，对转换图像进行下采样，以生成转换图像对应的第二下采样图像，并通过编码器e
dt
(31)对第二下采样图像进行特征提取，以生成转换图像对应的编码器特征映射e
d1t
、e
d2t
，
……
，e
dnt
，n为大于1的正整数，即转换图像对应的多个第二特征图分别为e
d1t
、e
d2t
，
……
，edn
t
。之后，通过基于cam的辅助分类器η
dt
(32)中包括的n个第一类别权重w1、w2，
……
，wn，对多个第一特征图e
d1t
、e
d2t
，
……
，edn
t
进行全连接处理，以生成转换图像对应的注意力特征映射w1·ed1t
、w2·ed2t
，
……
，wn·
edn
t
，即a1、a2，
……
，an，以使判别器对转换图像进行判别时，更加关注转换图像中与目标图像域差异较大的区域，进一步提升判别器的判别准确性。之后，可以通过一个全连接层将a1、a2，
……
，an进行相加，以生成转换图像对应的第三注意力热力图。进而通过判别器中的分类器c
dt
(33)根据第三注意力热力图及激活函数(如sigmoid激活函数)，输出对转换图像的判别结果，即转换图像为非转换图像(即真实图像)的概率。
123.在步骤104中，将每个样本真实图像输入至判别器，以生成每个样本真实图像对应的判别结果与第四注意力热力图。
124.需要说明的是，将样本真实图像输入判别器之后，生成每个样本真实图像对应的判别结果与第四注意力热力图的方式，与生成转换图像对应的判别结果与第三注意力热力图的方式相同，具体的实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
125.在步骤105中，根据每个转换图像对应的判别结果与每个样本真实图像对应的判
别结果，生成对抗损失值。
126.在本公开实施例中，由于判别器输出的转换图像为非转换图像的概率越小，输出的样本真实图像为非转换图像的概率越大，说明判别器的准确性越高，而第一生成器生成的转换图像的真实性越低。因此，在将大量转换图像与样本真实图像输入判别器之后，可以根据判别器输出的各转换图像为非转换图像的概率，以及各样本真实图像为非转换图像的概率，确定预设的生成对抗损失函数的取值，即生成对抗损失值。
127.其中，预设的生成对抗损失函数，可以通过公式(1)表示。
[0128][0129]
其中，为预设的生成对抗损失函数，为样本真实图像构成的图像集合，为样本虚拟图像构成的图像集合，x为输入图像，d
t
为判别器，gs→
t
为第一生成器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0130]
在本公开实施例中，确定出每个转换图像对应的判别结果与每个样本真实图像对应的判别结果之后，可以将每个转换图像对应的判别结果与每个样本真实图像对应的判别结果，代入公式(1)中的预设的生成对抗损失函数，以确定对抗损失值。
[0131]
在步骤106中，根据每个第一注意力热力图与每个第二注意力热力图，生成第一cam损失值。
[0132]
在本公开实施例中，在对风格转换模型进行训练的过程中，还可以引入cam损失，以提升模型对需要关注区域的关注程度，进一步提升风格转换模型的性能。具体的，可以根据每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图，确定预设的第一cam损失函数的取值，即生成第一cam损失值，以通过第一cam损失值，提升第一生成器对需要关注区域的关注程度。
[0133]
其中，预设的第一cam损失函数，可以通过公式(2)表示。
[0134][0135]
其中，为预设的第一cam损失函数，为样本虚拟图像构成的图像集和，为样本真实图像构成的图像集合，x为输入图像，ηs为生成器的辅助分类器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0136]
在本公开实施例中，确定出每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图之后，可以将每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图，代入公式(2)中的预设的第一cam损失函数，以生成第一cam损失值。
[0137]
在步骤107中，根据每个第三注意力热力图与每个第四注意力热力图，生成第二cam损失值。
[0138]
在本公开实施例中，可以根据每个转换图像对应的第三注意力热力图与每个样本真实图像对应的第四注意力热力图，确定预设的第二cam损失函数的取值，即生成第二cam损失值，以通过第二cam损失值，提升判别器对需要关注区域的关注程度。
[0139]
其中，预设的第二cam损失函数，可以通过公式(3)表示。
[0140][0141]
其中，为预设的第二cam损失函数，为样本真实图像构成的图像集合，为样本虚拟图像构成的图像集合，x为输入图像，η
dt
为判别器的辅助分类器，gs→
t
为第一生成器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0142]
在本公开实施例中，确定出每个转换图像对应的第三注意力热力图与每个样本真实图像对应的第四注意力热力图之后，可以将每个转换图像对应的第三注意力热力图与每个样本真实图像对应的第四注意力热力图，代入公式(3)中的预设的第二cam损失函数，以生成第二cam损失值。
[0143]
在步骤108中，根据对抗损失值、第一cam损失值和第二cam损失值，确定总损失值。
[0144]
在本公开实施例中，可以根据实际需要及具体的应用场景，确定对抗损失值、第一cam损失值和第二cam损失值分别对应的权重，并将对抗损失值、第一cam损失值和第二cam损失值的加权和，确定为风格转换模型的总损失值。
[0145]
需要说明的是，实际使用时，各个损失值对应的权重可以根据实际需要及具体应用场景确定，本公开实施例对此不做限定。比如，生成对抗损失值的权重可以为1，第一cam损失值与第二cam损失值的权重可以为1000。
[0146]
在步骤109中，根据总损失值，对风格转换模型进行训练。
[0147]
在本公开实施例中，由于总损失值可以从多个方面反映风格转换模型的性能，从而可以根据总损失值对风格转换模型进行迭代训练，以生成符合性能要求的风格转换模型。具体的，若确定总损失值大于预设阈值，则可以确定风格转换模型出性能不符合要求，从而可以根据总损失值对第一生成器与判别器的参数进行更新，以生成更新后的风格转换模型；之后利用更新后的风格转换模型重复上述训练过程，直至更新后的风格转换模型的总损失值小于或等于预设阈值，则可以确定更新后的风格转换模型的性能符合要求，从而可以结束对风格转换模型的训练过程。
[0148]
本公开实施例提供的虚拟图像的转换方法，通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及生成每个样本虚拟图像与样本真实图像集中每个样本真实图像对应的第一注意力热力图，并利用判别器对每个转换图像与每个样本真实图像进行判别，之后根据判别结果生成对抗损失值，以及通过第一生成器与判别器分别输出的各注意力热力图，引入cam损失，以通过多个损失函数对风格转换模型进行联合训练。由此，通过在模型训练过程中引入cam损失，使得训练完成的风格转换模型在图像风格转换与判别过程中，更加关注图像中的重点区域，从而改善了虚拟图像真实化的效果，提升了虚拟图像的真实度。
[0149]
在本公开一种可能的实现形式中，还可以在风格转换模型的训练过程中，引入循环一致损失，缓解模型崩塌问题；以及还可以引入身份损失，防止第一生成器生成的转换图像与样本虚拟图像的颜色分布差异过大，以进一步提升风格转换模型的真实化效果。
[0150]
图4是根据一示例性实施例示出的另一种虚拟图像的转换方法的流程图，如图4所示，该风格转换模型的训练方法用于电子设备中，包括以下步骤。
[0151]
在步骤401中，获取多个样本虚拟图像和样本虚拟图像所要转换的多个样本真实
图像。
[0152]
在步骤402中，将每个样本虚拟图像与每个样本真实图像输入至第一生成器，以生成每个样本虚拟图像向样本真实图像进行风格转换之后对应的转换图像，以及每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图。
[0153]
在步骤403中，将每个转换图像输入至判别器，以生成每个转换图像对应的判别结果与第三注意力热力图。
[0154]
在步骤404中，将每个样本真实图像输入至所述判别器，以生成每个样本真实图像对应的判别结果与第四注意力热力图。
[0155]
在步骤405中，根据每个转换图像对应的判别结果与每个样本真实图像对应的判别结果，生成对抗损失值。
[0156]
在步骤406中，根据每个第一注意力热力图与每个第二注意力热力图，生成第一cam损失值。
[0157]
在步骤407中，根据每个第三注意力热力图与每个第四注意力热力图，生成第二cam损失值。
[0158]
上述步骤401-407的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0159]
在步骤408中，将每个转换图像输入至第二生成器，以对转换图像进行还原，生成每个转换图像对应的还原图像。
[0160]
在本公开实施例中，风格转换模型中还可以包括第二生成器，其中，第二生成器可以对目标图像域的转换图像进行还原，以生成转换图像在原始图像域中对应的还原图像。需要说明的是，第二生成器的工作原理与第一生成器的工作原理相同，具体的实现过程及原理可以参照上述实施例的详细描述，此处不再赘述。
[0161]
作为一种可能的实现方式，可以利用第一生成器生成每个样本虚拟图像对应的转换图像，并利用第二生成器生成每个转换图像对应的还原图像，进而根据第一生成器与第二生成器的输出，确定风格转换模型的循环一致损失，以避免生成器和判别器找到某种平衡之后相互和解、停滞不前，缓解模型崩塌问题。
[0162]
在步骤409中，根据每个样本虚拟图像与每个还原图像，计算循环一致损失值。
[0163]
在本公开实施例中，可以根据每个样本虚拟图像与相应的还原图像的差异，确定预设的循环一致损失函数的取值，即确定循环一致损失值。
[0164]
其中，预设的循环一致损失函数，可以通过公式(4)表示。
[0165][0166]
其中，为循环一致损失函数，为样本虚拟图像构成的图像集合，x为输入图像，gs→
t
为第一生成器，g
t
→s为第二生成器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0167]
在本公开实施例中，确定出每个转换图像对应的还原图像之后，可以根据将每个样本虚拟图像与相应的还原图像之间的差异，确定公式(4)中的预设的循环一致损失函数的取值，以生成循环一致损失值。
[0168]
在步骤410中，根据对抗损失值、第一cam损失值、第二cam损失值与循环一致损失
值，确定总损失值。
[0169]
在本公开实施例中，可以根据实际需要及具体的应用场景，确定对抗损失值、第一cam损失值、第二cam损失值与循环一致损失值分别对应的权重，并将对抗损失值、第一cam损失值、第二cam损失值与循环一致损失值的加权和，确定为风格转换模型的总损失值。
[0170]
需要说明的是，实际使用时，各个损失值对应的权重可以根据实际需要及具体应用场景确定，本公开实施例对此不做限定。比如，生成对抗损失值的权重可以为1，第一cam损失值与第二cam损失值的权重可以为1000，循环一致损失值的权重可以为10。
[0171]
进一步的，为了保证生成器的输入图像与输出图像的颜色分布的一致性，在风格转换模型训练过程中，可以引入身份损失。即在本技术实施例一种可能的实现形式中，上述步骤410之前，还可以包括：
[0172]
根据每个样本虚拟图像和每个转换图像，计算第一身份损失值；
[0173]
相应的，上述步骤410，可以包括：
[0174]
根据对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值与第一身份损失值，确定总损失值。
[0175]
在本公开实施例中，对于第一生成器，可以根据第一生成器生成的每个转换图像与相应的样本虚拟图像之间的差异，确定预设的第一身份损失函数的取值，即确定第一身份损失值，以防止生成器生成的转换图像与样本虚拟图像的颜色分布差异过大。
[0176]
其中，预设的第一身份损失函数，可以通过公式(5)表示。
[0177][0178]
其中，为第一身份损失函数，为样本虚拟图像构成的图像集合，x为输入图像，gs→
t
为第一生成器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0179]
在本公开实施例中，确定出每个样本虚拟图像对应的转换图像之后，可以根据将每个样本虚拟图像与相应的转换图像之间的差异，确定公式(5)中的预设的第一身份损失函数的取值，以生成第一身份损失值。
[0180]
在本公开实施例中，确定出第一身份损失值之后，可以根据实际需要及具体的应用场景，确定第一身份损失值对应的权重，并将对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值与第一身份损失值的加权和，确定为风格转换模型的总损失值。
[0181]
进一步的，在风格转换模型中包括第二生成器时，可以引入第二身份损失，以保证第二生成器的输输入图像与输出图像的颜色分布一致性。即在本技术实施例一种可能的实现形式中，上述步骤410之前，还可以包括：
[0182]
根据转换图像和还原图像，计算第二身份损失值；
[0183]
相应的，上述步骤410，可以包括：
[0184]
根据对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值、第一身份损失值与第二身份损失值，确定总损失值。
[0185]
在本公开实施例中，对于第二生成器，可以根据第二生成器生成的每个还原图像与相应的转换图像之间的差异，确定预设的第二身份损失函数的取值，即确定第二身份损失值，以防止第二生成器生成的还原图像与转换图像的颜色分布差异过大。
[0186]
其中，预设的第二身份损失函数，可以通过公式(6)表示。
[0187][0188]
其中，为第二身份损失函数，为样本虚拟图像构成的图像集合，x为输入图像，gs→
t
为第一生成器，g
t
→s为第二生成器，s为原始图像域(虚拟图像域)，t为目标图像域(真实图像域)。
[0189]
在本公开实施例中，确定出每个样本虚拟图像对应的转换图像，以及每个转换图像对应的还原图像之后，可以根据将每个转换图像与相应的还原图像之间的差异，确定公式(6)中的预设的第二身份损失函数的取值，以生成第二身份损失值。
[0190]
在本公开实施例中，确定出第二身份损失值之后，可以根据实际需要及具体的应用场景，确定第二身份损失值对应的权重，并将对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值、第一身份损失值与第二身份损失值的加权和，确定为风格转换模型的总损失值。
[0191]
需要说明的是，实际使用时，各个损失值对应的权重可以根据实际需要及具体应用场景确定，本公开实施例对此不做限定。比如，生成对抗损失值的权重可以为1，第一cam损失值与第二cam损失值的权重可以为1000，循环一致损失值的权重可以为10，第一身份损失值与第二身份损失值的权重可以为10。
[0192]
在步骤411中，根据总损失值，对风格转换模型进行训练。
[0193]
上述步骤411的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0194]
本公开实施例提供的虚拟图像的转换方法，通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及利用第二生成器对每个转换图像进行风格转换，以生成每个转换图像对应的还原图像，之后根据每个样本虚拟图像与相应的还原图像之间的差异，引入循环一致损失，以及根据每个样本虚拟图像与相应的转换图像之间的差异，与每个转换图像与相应的还原图像之间的差异，引入身份损失，以通过多个损失函数共同对风格转换模型进行训练。由此，通过在模型训练过程中引入循环一致损失，避免生成器和判别器找到某种平衡之后相互和解、停滞不前，缓解模型崩塌问题，并且通过引入身份损失，防止生成器生成的转换图像与样本虚拟图像的颜色分布差异过大，从而进一步改善了虚拟图像真实化的效果，进一步提升了虚拟图像的真实度。
[0195]
图5是根据一示例性实施例示出的一种虚拟建筑检测模型的训练方法的流程图，如图5所示，该虚拟建筑检测模型的训练方法用于电子设备中，包括以下步骤。
[0196]
在步骤501中，获取多个虚拟图像。
[0197]
需要说明的是，在训练建筑检测模型时，由于收集大量建筑物的真实图像构建训练数据集，通常是比较困难的，从而可以通过上述实施例的风格转换模型的训练方法，训练虚拟图像真实化效果较好的风格转换模型，并利用训练完成的风格转换模型对虚拟图像进行风格迁移等处理，生成与真实图像相近的虚拟图像，以解决数据集匮乏的问题。
[0198]
其中，虚拟图像，可以是指通过任意的计算机软件生成的建筑物图像。
[0199]
在本公开实施例中，可以利用计算机软件制作各种建筑物的虚拟图像；又如，还可以利用计算机软件生成建筑物的图像，进而将生成的建筑物的图像作为前景图像，与真实
场景的背景图像融合，以生成各种建筑物的虚拟图像。
[0200]
在步骤502中，通过风格转换模型对虚拟图像进行风格转换，以生成每个虚拟图像对应的转换图像。
[0201]
在本公开实施例中，可以对虚拟图像进行风格迁移等转换操作，以生成与真实图像接近的转换图像，从而降低了虚拟图像与真实图像之间的距离，提升了虚拟图像的真实性。
[0202]
作为一种可能的实现方式，可以将每个虚拟图像分别输入预先训练的风格转换模型，以利用预先训练的风格转换模型，对每个虚拟图像进行转换处理，生成每个虚拟图像对应的转换图像，以提升虚拟图像的真实性。
[0203]
在步骤503中，根据每个转换图像，对虚拟建筑检测模型进行训练。
[0204]
在本公开实施例中，生成每个虚拟图像对应的接近真实图像的转换图像之后，可以利用各转换图像构成训练样本集，对初始建筑检测模型进行训练。比如，可以对初始建筑物平面检测模型进行训练，以生成可以根据建筑物图像有效检测建筑物所在平面的建筑物平面检测模型。
[0205]
需要说明的是，实际使用时，训练的建筑检测模型的类型和训练方式，可以根据实际的应用场景确定，本技术实施例对此不做限定。
[0206]
本公开实施例提供的虚拟建筑检测模型的训练方法，通过预先生成多个虚拟图像，并利用风格转换模型对每个虚拟图像进行转换，以生成与真实图像相近的转换图像，进而利用各转换图像构成训练数据集，对虚拟建筑检测模型进行训练。由此，通过计算机技术生成虚拟图像，进而通过对虚拟图像进行风格迁移等转换操作，从而不仅有效缓解了真实图像收集困难，数据集匮乏的问题，而且降低了虚拟图像与真实图像之间的差异，提升了虚拟图像的真实度，保证了虚拟建筑物检测模型的训练效果。
[0207]
在本公开一种可能的实现形式中，由于在实际应用时，无论是利用图像数据进行模型训练，还是对图像数据进行识别处理，通常主要关注图像的前景元素，因此转换图像中包括的前景元素的真实性比背景元素的真实性更加重要，从而在生成转换图像时，对虚拟图像的前景元素和背景元素可以采用不同的方式进行处理，以在保证前景元素真实性的同时，降低背景噪声。
[0208]
图6是根据一示例性实施例示出的另一种虚拟建筑检测模型的训练方法的流程图，如图6所示，该虚拟建筑检测模型的训练方法用于电子设备中，包括以下步骤。
[0209]
在步骤601中，获取多个虚拟图像。
[0210]
在步骤602中，通过风格转换模型对虚拟图像进行风格转换，以生成每个虚拟图像对应的转换图像。
[0211]
上述步骤601-602的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0212]
在步骤603中，对每个虚拟图像进行前景和背景的分割，以生成每个虚拟图像的分割图和背景图。
[0213]
在本公开实施例中，由于在实际应用时，无论是利用图像数据进行模型训练，还是对图像数据进行识别处理，通常主要关注图像的前景元素，从而生成的图像中包括的前景元素的真实性比背景元素的真实性更加重要；或者，在虚拟图像中的背景元素为真实场景
图像的情况下，若对虚拟图像进行整体转换，反而容易引入背景噪声，导致背景元素的真实性降低，从而影响虚拟图像转换的整体效果。因此，在本公开实施例中，可以对虚拟图像进行识别，提取虚拟图像中的虚拟前景图像和虚拟背景图像，以对虚拟前景图像和虚拟背景图像进行不同的处理。
[0214]
作为一种可能的实现方式，可以利用前景提取算法对虚拟图像进行识别，以确定虚拟图像对应的前景掩膜，进而根据虚拟图像对应的前景掩膜，对虚拟图像进行分割处理，进而将前景掩膜对应的图像区域，确定为虚拟图像的分割图(即虚拟图像的前景图)，以及将虚拟图像中的其他区域确定为虚拟图像的背景图。
[0215]
需要说明的是，实际使用时，可以采用任意的抠图算法，实现对虚拟图像的前景和背景提取，本公开实施例对此不做限定。比如，贝叶斯抠图算法、封闭式抠图算法、k近邻抠图算法、全局采样抠图算法、基于卷积神经网络的抠图算法，等等。
[0216]
在步骤604中，根据每个虚拟图像的分割图对相应的转换图像进行分割，以提取每个转换图像之中的前景图。
[0217]
在本公开实施例中，由于虚拟图像与其对应的转换图像的尺寸是相同的，因此，可以将虚拟图像与其对应的转换图像进行对齐处理，以将虚拟图像的分割图在转换图像中的相应区域，确定为转换图像中的前景图。
[0218]
在步骤605中，将每个转换图像的前景图和虚拟图像的背景图进行融合，以生成每个虚拟图像对应的训练图。
[0219]
在本公开实施例中，由于对虚拟图像对应的转换图像时通过风格转换模型进行转换生成的，因此转换图像的前景图与真实图像相近，因此可以按照虚拟图像中分割图的位置，将转换图像中的前景图与虚拟图像的背景图进行结合，以生成接近真实图像的训练图。而且，由于训练图中的前景为转换图像的前景图，背景为虚拟图像中的原始背景，从而降低了转换过程中引入的背景噪声，进一步保证了训练图的真实性。
[0220]
在步骤606中，使用每个训练图对虚拟建筑检测模型进行训练。
[0221]
在本公开实施例中，生成每个虚拟图像对应的接近真实图像的训练图之后，可以利用各训练图构成训练样本集，对建筑检测模型进行训练。
[0222]
进一步的，为提升训练数据的多样性，还可以对训练图进行数据增强。即在本技术实施例一种可能的实现形式中，上述步骤606之前，还可以包括：
[0223]
从预设增强方式之中选择至少一种增强方式；以及
[0224]
根据选择的增强方式对每个训练图进行数据增强，以生成每个训练图对应的多个增强训练图；
[0225]
相应的，上述步骤606，还可以包括：
[0226]
使用每个增强训练图对虚拟建筑检测模型进行训练。
[0227]
其中，预设增强方式，可以包括随机旋转增强方式、色彩增强方式或者噪声增强方式中的至少一种。
[0228]
在本公开实施例中，生成训练图之后，还可以通过一种或多种预设增强方式对每个训练图分别进行数据增强，以提升训练数据的分布多样性，进而达到提升虚拟建筑检测模型训练效果的目的。
[0229]
比如，可以采用随机旋转增强方式，对训练图进行随机旋转，以生成训练图在不同
角度的多张增强训练图；或者，可以采用色彩增强方式对训练图的颜色分布进行调整，以生成训练图对应的多个颜色分布不同的增强训练图；或者，可以采用噪声增强方式对训练图增加云、雾等噪声，以生成训练图对应的多个噪声水平不同的增强训练图；或者，也可以采用多种增强方式组合的方式对训练图进行数据增强，本公开实施例对此不做限定。
[0230]
在本公开实施例中，生成每个训练图对应的增强训练图之后，可以利用各增强训练图构成训练样本集，对建筑检测模型进行训练。
[0231]
本公开实施例提供的虚拟建筑检测模型的训练方法，通过预先生成多个虚拟图像，并利用风格转换模型对每个虚拟图像进行转换，以生成与真实图像相近的转换图像，并将转换图像中的前景图与相应的虚拟图像中的背景图进行融合，以生成每个虚拟图像对应的训练图，进而利用各训练图构成训练数据集，对虚拟建筑检测模型进行训练。由此，在生成转换图像时，对虚拟图像的前景元素和背景元素可以采用不同的方式进行处理，不仅进一步提升了前景元素的真实性，而且降低了转换过程中引入的背景噪声，进而进一步提升了虚拟建筑物检测模型的训练效果。
[0232]
在本公开一种可能的实现形式中，还可以通过风格转换模型仅对虚拟图像的前景元素进行风格转换，以降低风格转换过程中引入的背景噪声。
[0233]
图7是根据一示例性实施例示出的再一种虚拟建筑检测模型的训练方法的流程图，如图7所示，该虚拟建筑检测模型的训练方法用于电子设备中，包括以下步骤。
[0234]
在步骤701中，获取多个虚拟图像。
[0235]
上述步骤701的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0236]
在步骤702中，对每个虚拟图像进行前景和背景的分割，以提取每个虚拟图像的前景图像。
[0237]
在本公开实施例中，由于在实际应用时，无论是利用图像数据进行模型训练，还是对图像数据进行识别处理，通常主要关注图像的前景元素，从而生成的图像中包括的前景元素的真实性比背景元素的真实性更加重要；或者，在虚拟图像中的背景元素为真实场景图像的情况下，若对虚拟图像进行整体转换，反而容易引入背景噪声，导致背景元素的真实性降低，从而影响虚拟图像转换的整体效果。因此，在本公开实施例中，可以对虚拟图像进行识别，提取虚拟图像中的前景图像和背景图像，以对虚拟图像的前景图像和背景图像进行不同的处理。
[0238]
作为一种可能的实现方式，可以利用前景提取算法对虚拟图像进行识别，以确定虚拟图像对应的前景掩膜，进而根据虚拟图像对应的前景掩膜，对虚拟图像进行分割处理，进而将前景掩膜对应的图像区域，确定为虚拟图像的前景图像，以及将虚拟图像中的其他区域确定为虚拟图像的背景图像。
[0239]
需要说明的是，实际使用时，可以采用任意的抠图算法，实现对虚拟图像的前景图像和背景图像的提取，本公开实施例对此不做限定。比如，贝叶斯抠图算法、封闭式抠图算法、k近邻抠图算法、全局采样抠图算法、基于卷积神经网络的抠图算法，等等。
[0240]
在步骤703中，将每个前景图像输入至风格转换模型，以生成前景转换图像。
[0241]
在本公开实施例中，提取出虚拟图像中的前景图像之后，可以将虚拟图像的前景图像输入训练完成的风格转换模型，以对虚拟图像的前景图像进行风格迁移等转换操作，
生成与真实图像接近的前景转换图像，从而降低了虚拟图像的前景图像与真实图像之间的距离，提升了生成的前景转换图像的真实性。
[0242]
在步骤704中，将每个前景转换图像与相应的虚拟图像的背景图像进行融合，以生成每个训练图。
[0243]
在本公开实施例中，由于对虚拟图像的前景图像进行转换，生成的前景转换图像与真实图像相近，因此可以按照虚拟图像中前景图像的位置，将前景转换图像与虚拟图像的背景图像进行结合，以生成接近真实图像的训练图。而且，由于仅对虚拟图像的前景图像进行的转换，从而降低了转换过程中引入的背景噪声，进一步保证了训练图的真实性。
[0244]
在步骤705中，使用每个训练图对虚拟建筑检测模型进行训练。
[0245]
上述步骤705的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0246]
需要说明的是，在本公开实施例中，生成训练图之后也可以按照与上述实施例相同的方式，对训练图进行数据增强，以生成每个训练图对应的多个增强训练图，并利用增强训练图对虚拟建筑检测模型进行训练，具体的实现过程及原理可以参照上述实施例的详细描述，此处不再赘述。
[0247]
本公开实施例提供的虚拟建筑检测模型的训练方法，通过预先生成多个虚拟图像，并利用风格转换模型对虚拟图像中的前景图像进行转换，以生成与真实图像相近的前景转换图像，之后将前景转换图像与虚拟图像中的背景图像结合，生成与真实图像相近的训练图，进而利用各训练图构成训练数据集，对虚拟建筑检测模型进行训练。由此，在生成转换图像时，对虚拟图像的前景元素和背景元素可以采用不同的方式进行处理，不仅进一步提升了前景元素的真实性，而且降低了转换过程中引入的背景噪声，进而进一步提升了虚拟建筑物检测模型的训练效果。
[0248]
在本公开一种可能的实现形式中，可以通过计算机技术生成虚拟图像，并利用计算机技术模拟各种拍摄参数对虚拟图像进行调整，以提升生成的虚拟图像的多样性。
[0249]
图8是根据一示例性实施例示出的又一种虚拟建筑检测模型的训练方法的流程图，如图8所示，该虚拟建筑检测模型的训练方法用于电子设备中，包括以下步骤。
[0250]
在步骤801中，生成目标虚拟物体的形状。
[0251]
其中，目标虚拟物体，可以是根据实际需要确定的任意类型的物体。比如，本公开实施例的应用场景为建筑检测模型训练场景，则目标虚拟物体可以是建筑物。
[0252]
在本公开实施例中，可以根据具体的应用场景，通过计算机软件生成相应场景所需的目标虚拟物体的形状图像。比如，若本公开实施例的应用场景为建筑检测模型训练场景，则可以利用计算机软件制作出各种建筑物的架构，即制作成各种建筑物的外形轮廓，不包括建筑物中包括的窗户、装饰等纹理信息。
[0253]
在步骤802中，获取目标虚拟物体所对应的实体物体图像。
[0254]
其中，实体物体，可以是指与目标虚拟物体的类型相同的真实物体。比如，目标虚拟物体为建筑物，则实体物体可以是现实中真实存在的、与目标虚拟物体的形状类似的某些建筑物。
[0255]
在本公开实施例中，为保证生成的虚拟图像具有一定的真实性，可以通过真实的实体物体图像的纹理数据对生成的目标虚拟物体的形状进行填充。因此，可以预先拍摄一
些与目标虚拟物体所对应的实体物体图像，或者也可以从网络中获取与目标虚拟物体所对应的实体物体图像。
[0256]
在步骤803中，从实体物体图像中，获取实体物体的纹理数据。
[0257]
在本公开实施例中，可以首先通过前景提取算法对实体物体图像进行处理，以提取出实体物体图像中包括的实体物体对应的区域，进而利用纹理信息提取算法，对实体物体对应的区域进行纹理数据提取，以获取实体物体的纹理数据。
[0258]
需要说明的是，实际使用时，可以根据实际需要及具体的应用场景，选择合适的纹理信息提取算法，提取实体物体的纹理数据，本公开实施例对此不做限定。比如，基于灰度共生矩阵的纹理提取算法、自回归纹理模型、基于小波变换的纹理提取算法，等等。
[0259]
在步骤804中，将实体物体的纹理数据融合至目标虚拟物体的形状之中，以形成目标虚拟物体的多个虚拟图像。
[0260]
在本公开实施例中，获取到实体物体的纹理数据之后，即可以将实体物体的纹理数据融合至相应的目标虚拟物体的形状之中，以生成多张包含真实的纹理信息的目标虚拟物体的虚拟图像。比如，在将实体物体的纹理数据融合至目标虚拟物体的形状之中之后，生成的虚拟图像中可以包括目标虚拟物体的窗户、装饰、广告牌等真实的细节信息。
[0261]
进一步的，由于通过融合真实的纹理数据所生成的虚拟图像的数量可能较少，或者虚拟图像中目标虚拟物体的姿态或类型不够丰富，从而可以利用计算机模拟实际拍摄时的各种拍摄参数，对生成的虚拟图像进行调整，以提升生成的虚拟图像的多样性。即在本公开实施例一种可能的实现形式中，上述步骤804之后，还可以包括：
[0262]
随机生成拍摄参数；以及
[0263]
根据随机生成的拍摄参数，对虚拟图像集中的每个虚拟图像进行调整，以对目标虚拟物体的虚拟图像进行扩充。
[0264]
其中，拍摄参数，可以包括拍摄角度、相机视场角、拍摄距离、光照强度、光照角度中的一种或多种。需要说明的是，拍摄参数可以包括但不仅限于以上列举的情形。实际使用时，可以根据实际需要及具体的应用场景，确定具体的拍摄参数，本公开实施例对此不做限定。
[0265]
其中，拍摄角度可以包括平视、俯视、仰视等角度；或者也可以预设拍摄角度的取值范围，以及角度步长。比如，拍摄角度的取值范围可以为[-90
°
,90
°
]，角度步长为10
°
。
[0266]
其中，相机视场角，可以根据相机可达到的最大视场角确定。比如，在真实场景中，相机拍照的视场角范围为[32
°
,96
°
]，从而可以将相机视场角的取值范围确定为[32
°
,96
°
]。
[0267]
其中，拍摄距离，可以根据真实场景中对建筑物进行拍摄时，建筑物与相机之间的距离确定。比如，在真实拍摄场景中，为保证拍摄到建筑物的全貌，拍摄距离通常为400-1000米，从而可以将拍摄距离的取值范围确定为[400m，1000m]。
[0268]
其中，光照强度，可以根据真实场景中各种天气、各种时刻时的光照强度，确定光照强度的取值范围。
[0269]
其中，光照角度，可以根据真实太阳光照的光照角度范围，确定光照角度的取值范围。比如，可以使得光照角度在上半球全视角随机分布，以模拟真实的太阳光照。
[0270]
在本公开实施例中，根据真实场景的拍摄情况，确定出拍摄参数中包括的各参数，
以及各个参数分别对应的取值范围和/或步长之后，可以使得各个参数在其对应的取值范围内，以一定的步长随机变化，以随机生成多组拍摄参数，并利用每组拍摄参数，对已生成虚拟图像集中的虚拟图像进行调整，生成每组拍摄参数对应的虚拟图像，以模拟以各组拍摄参数对目标虚拟物体进行拍摄所生成的图像，从而实现了对目标虚拟物体的虚拟图像的扩充，提升了虚拟图像的多样性。
[0271]
需要说明的是，通过计算机随机生成拍摄参数，对虚拟图像进行扩充，不仅可以提升虚拟图像的多样性，而且可以使得虚拟图像的分布比实际采集的真实图像的分布更加全面，从而生成了真实图像的超集。
[0272]
在步骤805中，通过风格转换模型对虚拟图像进行风格转换，以生成每个虚拟图像对应的转换图像。
[0273]
在步骤806中，根据每个转换图像，对虚拟建筑检测模型进行训练。
[0274]
上述步骤805-806的具体实现过程及原理，可以参照上述实施例的详细描述，此处不再赘述。
[0275]
本公开实施例提供的虚拟建筑检测模型的训练方法，通过将计算机技术生成的目标虚拟物体的形状与实体物体的纹理数据进行结合，生成具有一定真实性的虚拟图像，并利用计算机模拟真实场景的拍摄过程，随机生成拍摄参数，之后根据随机生成的拍摄参数对已生成的虚拟图像进行调整，以对目标虚拟物体的虚拟图像进行扩充，进而利用风格转换模型对虚拟图像进行转换处理，以生成接近真实图像的转换图像，并利用转换图像构成训练数据集，对建筑检测模型进行训练。由此，通过计算机技术生成目标虚拟物的虚拟图像，并对虚拟图像进行扩充，进而通过转换模型对虚拟图像进行风格迁移等转换操作，从而不仅有效缓解了真实图像收集困难，数据集匮乏的问题，提升了虚拟图像转换的真实度，而且进一步提升了虚拟图像的多样性，进而进一步提升了建筑检测模型的训练效果。
[0276]
图9是根据一示例性实施例示出的一种风格转换模型的训练装置框图。参照图9，该装置90包括第一获取模块91、第一生成模块92、第二生成模块93、第三生成模块94、第四生成模块95、第五生成模块96、第六生成模块97、第一确定模块98及第一训练模块99。
[0277]
该第一获取模块91，被配置为执行获取多个样本虚拟图像和样本虚拟图像所要转换的多个样本真实图像的步骤；
[0278]
该第一生成模块92，被配置为执行将每个样本虚拟图像与每个样本真实图像输入至第一生成器，以生成每个样本虚拟图像向样本真实图像进行风格转换之后对应的转换图像，以及每个样本虚拟图像对应的第一注意力热力图与每个样本真实图像对应的第二注意力热力图的步骤。
[0279]
该第二生成模块93，被配置为执行将每个转换图像输入至判别器，以生成每个转换图像对应的判别结果与第三注意力热力图的步骤；
[0280]
该第三生成模块94，被配置为执行将每个样本真实图像输入至判别器，以生成每个样本真实图像对应的判别结果与第四注意力热力图的步骤；
[0281]
该第四生成模块95，被配置为执行根据每个转换图像对应的判别结果与每个样本真实图像对应的判别结果，生成对抗损失值的步骤；
[0282]
该第五生成模块96，被配置为执行根据每个第一注意力热力图与每个第二注意力热力图，生成第一cam损失值的步骤；
[0283]
该第六生成模块97，被配置为执行根据每个第三注意力热力图与每个第四注意力热力图，生成第二cam损失值的步骤；
[0284]
该第一确定模块98，被配置为执行根据对抗损失值、第一cam损失值和第二cam损失值，确定总损失值的步骤；以及
[0285]
该第一训练模块99，被配置为执行根据总损失值，对风格转换模型进行训练的步骤。
[0286]
在实际使用时，本公开实施例提供的风格转换模型的训练装置，可以被配置在任意电子设备中，以执行前述风格转换模型的训练方法。
[0287]
本公开实施例提供的风格转换模型的训练装置，通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及生成每个样本虚拟图像与样本真实图像集中每个样本真实图像对应的第一注意力热力图，并利用判别器对每个转换图像与每个样本真实图像进行判别，之后根据判别结果生成对抗损失值，以及通过第一生成器与判别器分别输出的各注意力热力图，引入cam损失，以通过多个损失函数对风格转换模型进行联合训练。由此，通过在模型训练过程中引入cam损失，使得训练完成的风格转换模型在图像风格转换与判别过程中，更加关注图像中的重点区域，从而改善了虚拟图像真实化的效果，提升了虚拟图像的真实度。
[0288]
在本公开一种可能的实现形式中，上述风格转换模型还包括第二生成器，上述风格转换模型的训练装置90，还包括：
[0289]
第七生成模块，被配置为执行将每个转换图像输入至第二生成器，以对转换图像进行还原，生成每个转换图像对应的还原图像的步骤；
[0290]
第一计算模块，被配置为执行根据每个样本虚拟图像与每个还原图像，计算循环一致损失值；
[0291]
相应的，上述第一确定模块97，包括：
[0292]
第一确定单元，被配置为执行根据对抗损失值、第一cam损失值、第二cam损失值与循环一致损失值，确定总损失值的步骤。
[0293]
进一步的，在本公开另一种可能的实现形式中，上述风格转换模型的训练装置90，还包括：
[0294]
第二计算模块，被配置为执行根据每个样本虚拟图像和每个转换图像，计算第一身份损失值的步骤；
[0295]
相应的，上述第一确定模块97，包括：
[0296]
第二确定单元，被配置为执行根据对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值与第一身份损失值，确定总损失值的步骤。
[0297]
进一步的，在本公开再一种可能的实现形式中，上述风格转换模型的训练装置90，还包括：
[0298]
第三计算模块，被配置为执行根据转换图像和还原图像，计算第二身份损失值的步骤；
[0299]
相应的，上述第一确定模块97，包括：
[0300]
第三确定单元，被配置为执行根据对抗损失值、第一cam损失值、第二cam损失值、循环一致损失值、第一身份损失值与第二身份损失值，确定总损失值的步骤。
[0301]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0302]
本公开实施例提供的风格转换模型的训练装置，通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及利用第二生成器对每个转换图像进行风格转换，以生成每个转换图像进行的还原图像，之后根据每个样本虚拟图像与相应的还原图像之间的差异，引入循环一致损失，以及根据每个样本虚拟图像与相应的转换图像之间的差异，与每个转换图像与相应的还原图像之间的差异，引入身份损失，以通过多个损失函数共同对风格转换模型进行训练。由此，通过在模型训练过程中引入循环一致损失，避免生成器和判别器找到某种平衡之后相互和解、停滞不前，缓解模型崩塌问题，并且通过引入身份损失，防止生成器生成的转换图像与样本虚拟图像的颜色分布差异过大，从而进一步改善了虚拟图像真实化的效果，进一步提升了虚拟图像的真实度。
[0303]
图10是根据一示例性实施例示出的一种虚拟建筑检测模型的训练装置框图。参照图10，该装置100包括第二获取模块1001、第八生成模块1002及第二训练模块1003。
[0304]
该第二获取模块1001，被配置为执行获取多个虚拟图像的步骤；
[0305]
该第八生成模块1002，被配置为执行通过根据如前所述的训练方法所训练的风格转换模型对虚拟图像进行风格转换，以生成每个虚拟图像对应的转换图像的步骤；以及
[0306]
该第二训练模块1003，被配置为执行根据每个转换图像，对虚拟建筑检测模型进行训练的步骤。
[0307]
在实际使用时，本公开实施例提供的虚拟建筑检测模型的训练装置，可以被配置在任意电子设备中，以执行前述虚拟建筑检测模型的训练方法。
[0308]
本公开实施例提供的虚拟建筑检测模型的训练装置，通过预先生成多个虚拟图像，并利用风格转换模型对每个虚拟图像进行转换，以生成与真实图像相近的转换图像，进而利用各转换图像构成训练数据集，对虚拟建筑检测模型进行训练。由此，通过计算机技术生成虚拟图像，进而通过对虚拟图像进行风格迁移等转换操作，从而不仅有效缓解了真实图像收集困难，数据集匮乏的问题，而且降低了虚拟图像与真实图像之间的差异，提升了虚拟图像的真实度，保证了虚拟建筑物检测模型的训练效果。
[0309]
在本公开一种可能的实现形式中，上述虚拟建筑检测模型的训练装置100，还包括：
[0310]
第九生成模块，被配置为执行对每个虚拟图像进行前景和背景的分割，以生成每个虚拟图像的分割图和背景图的步骤；
[0311]
提取模块，被配置为执行根据每个虚拟图像的分割图对相应的转换图像进行分割，以提取每个转换图像之中的前景图的步骤；以及
[0312]
第十生成模块，被配置为执行将每个转换图像的前景图和虚拟图像的背景图进行融合，以生成每个虚拟图像对应的训练图的步骤；
[0313]
相应的，上述第二训练模块1003，包括：
[0314]
第一训练单元，被配置为执行使用每个训练图对虚拟建筑检测模型进行训练的步骤。
[0315]
进一步的，在本公开另一种可能的实现形式中，上述第七生成模块1002，包括：
[0316]
提取单元，被配置为执行对每个虚拟图像进行前景和背景的分割，以提取每个虚拟图像的前景图像的步骤；
[0317]
第一生成单元，被配置为执行将每个前景图像输入至风格转换模型，以生成前景转换图像的步骤；以及
[0318]
第二生成单元，被配置为执行将每个前景转换图像与相应的虚拟图像的背景图像进行融合，以生成每个训练图的步骤；
[0319]
相应的，上述第二训练模块1003，包括：
[0320]
第二训练单元，被配置为执行使用每个训练图对虚拟建筑检测模型进行训练的步骤。
[0321]
进一步的，在本公开再一种可能的实现形式中，上述虚拟建筑检测模型的训练装置100，还包括：
[0322]
选择模块，被配置为执行从预设增强方式之中选择至少一种增强方式的步骤；以及
[0323]
第十一生成模块，被配置为执行根据选择的增强方式对每个训练图进行数据增强，以生成每个训练图对应的多个增强训练图的步骤；
[0324]
相应的，上述第二训练模块1003，包括：
[0325]
第三训练单元，被配置为执行使用每个增强训练图对虚拟建筑检测模型进行训练的步骤。
[0326]
进一步的，在本公开又一种可能的实现形式中，上述预设增强方式包括随机旋转增强方式、色彩增强方式或者噪声增强方式。
[0327]
进一步的，在本公开又一种可能的实现形式中，上述第二获取模块1001，包括：
[0328]
第三生成单元，被配置为执行生成目标虚拟物体的形状的步骤；
[0329]
第一获取单元，被配置为执行获取目标虚拟物体所对应的实体物体图像的步骤；
[0330]
第二获取单元，被配置为执行从实体物体图像中，获取实体物体的纹理数据的步骤；以及
[0331]
融合单元，被配置为执行将实体物体的纹理数据融合至目标虚拟物体的形状之中，以形成目标虚拟物体的多个虚拟图像的步骤。
[0332]
进一步的，在本公开另一种可能的实现形式中，上述第二获取模块1001，还包括：
[0333]
第四生成单元，被配置为随机生成拍摄参数的步骤；以及
[0334]
扩充单元，被配置为执行根据随机生成的拍摄参数，对虚拟图像集中的每个虚拟图像进行调整，以对目标虚拟物体的虚拟图像进行扩充的步骤。
[0335]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0336]
本公开实施例提供的虚拟建筑检测模型的训练装置，通过预先生成多个虚拟图像，并利用风格转换模型对虚拟图像中的前景图像进行转换，以生成与真实图像相近的前景转换图像，之后将前景转换图像与虚拟图像中的背景图像结合，生成与真实图像相近的训练图，进而利用各训练图构成训练数据集，对虚拟建筑检测模型进行训练。由此，在生成转换图像时，对虚拟图像的前景元素和背景元素可以采用不同的方式进行处理，不仅进一步提升了前景元素的真实性，而且降低了转换过程中引入的背景噪声，进而进一步提升了
虚拟建筑物检测模型的训练效果。
[0337]
图11是根据一示例性实施例示出的一种用于风格转换模型训练与虚拟建筑检测模型的训练的电子设备200的框图。
[0338]
如图11所示，上述电子设备200包括：
[0339]
存储器210及处理器220，连接不同组件(包括存储器210和处理器220)的总线230，存储器210存储有计算机程序，当处理器220执行所述程序时实现本公开实施例所述的风格转换模型训练方法或虚拟建筑检测模型的训练方法。
[0340]
总线230表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0341]
电子设备200典型地包括多种电子设备可读介质。这些介质可以是任何能够被电子设备200访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0342]
存储器210还可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)240和/或高速缓存存储器250。电子设备200可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统260可以用于读写不可移动的、非易失性磁介质(图11未显示，通常称为“硬盘驱动器”)。尽管图11中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线230相连。存储器210可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本公开各实施例的功能。
[0343]
具有一组(至少一个)程序模块270的程序/实用工具280，可以存储在例如存储器210中，这样的程序模块270包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块270通常执行本公开所描述的实施例中的功能和/或方法。
[0344]
电子设备200也可以与一个或多个外部设备290(例如键盘、指向设备、显示器291等)通信，还可与一个或者多个使得用户能与该电子设备200交互的设备通信，和/或与使得该电子设备200能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口292进行。并且，电子设备200还可以通过网络适配器293与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器293通过总线230与电子设备200的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备200使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0345]
处理器220通过运行存储在存储器210中的程序，从而执行各种功能应用以及数据处理。
[0346]
需要说明的是，本实施例的电子设备的实施过程和技术原理参见前述对本公开实施例的风格转换模型训练方法或虚拟建筑检测模型的训练方法的解释说明，此处不再赘
述。
[0347]
本公开实施例提供的电子设备，可以执行如前所述的风格转换模型训练方法或虚拟建筑检测模型的训练方法，通过利用风格转换模型的第一生成器对多个样本虚拟图像进行风格转换，以生成每个样本虚拟图像的转换图像，以及生成每个样本虚拟图像与样本真实图像集中每个样本真实图像对应的第一注意力热力图，并利用判别器对每个转换图像与每个样本真实图像进行判别，之后根据判别结果生成对抗损失值，以及通过第一生成器与判别器分别输出的各注意力热力图，引入cam损失，以通过多个损失函数对风格转换模型进行联合训练。由此，通过在模型训练过程中引入cam损失，使得训练完成的风格转换模型在图像风格转换与判别过程中，更加关注图像中的重点区域，从而改善了虚拟图像真实化的效果，提升了虚拟图像的真实度。
[0348]
为了实现上述实施例，本公开还提出一种存储介质。
[0349]
其中，该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如前所述的风格转换模型训练方法或虚拟建筑检测模型的训练方法。
[0350]
为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序由电子设备的处理器执行时，使得电子设备能够执行如前所述的风格转换模型训练方法或虚拟建筑检测模型的训练方法。
[0351]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
[0352]
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。