用于处理和生成图像和标签图的生成对抗网络的制作方法

技术特征：
1.一种生成对抗网络（70）包括：
·
生成器（71），被配置用于生成图像（711）和对应的标签图（712）；
·
鉴别器（72），被配置用于确定表征所提供的图像和所提供的标签图的分类（）的输出（y），其中所述分类（）表征所提供的图像和所提供的标签图是否已经由生成器生成，并且确定所述分类（）包括以下步骤：
·
确定所提供的图像的第一特征图（f1）；
·
根据所提供的标签图掩蔽（726）第一特征图，从而确定掩蔽的特征图（m1，m2）；
·
全局汇集（724）掩蔽特征图（m1，m2），从而确定被所提供的标签图掩蔽的所提供图像的特征表示；
·
基于所述特征表示确定所述图像的分类（）。2.根据权利要求1所述的生成对抗网络（70），其中，所提供的标签图表征所提供的图像的语义分割，并且为由语义分割表征的类确定掩蔽特征图（m1，m2）。3.根据权利要求1所述的生成对抗网络（70），其中，所提供的标签图表征所提供的图像的区域，并且为由所述区域表征的类确定掩蔽特征图。4.根据权利要求1至3中任一项所述的生成式对抗网络（70），其中，所述鉴别器进一步被配置为基于第二特征图（f2）来确定所述分类，其中所述第二特征图（f2）是通过对所述第一特征图（f1）应用1x1卷积（722）来确定的。5.根据权利要求1至4中任一项所述的生成对抗网络（70），其中，所提供的标签图表征所提供的图像的像素的类成员资格。6.根据权利要求5所述的生成对抗网络（70），其中，通过将第一特征图（f1）中不属于由语义分割表征或者由区域表征的类的像素设置为零，为所述类确定掩蔽特征图m1、m2。7.根据权利要求1至6中任一项所述的生成对抗网络（70），其中，所述生成器（71）被配置为基于随机抽取值（r）生成所述图像和对应的标签图。8.根据权利要求1至7中任一项所述的生成对抗网络（70），其中，所述生成器（71）和/或鉴别器（72）表征卷积神经网络。9.一种用于训练根据权利要求1至8中任一项的生成对抗网络的计算机实现的方法（100），其中训练包括以下步骤：
·
从生成对抗网络（70）的生成器（71）生成（101）第一图像（711）和对应的第一标签图（712）；
·
由生成对抗网络（70）的鉴别器（72）确定（102）表征第一图像（711）和第一标签图（712）的分类（）的第一输出（y）；
·
基于所述第一输出（y），训练（103）所述鉴别器（72）以将所述第一图像（711）和第一标签图（712）分类到第一类中，所述第一类表征已经由所述生成器生成的图像和标签图；
·
基于所述第一输出，训练（104）所述生成器（71）以生成图像和对应的标签图，所述图像和对应的标签图被分类到第二类中，所述第二类表征尚未由所述生成器（71）生成的图像和标签图；
·
由鉴别器（72）确定（105）表征所提供的第二图像和所提供的第二标签图的分类的第二输出，其中所述第二图像和第二标签图不是由所述生成器（71）提供的；
·
基于所述第二输出，训练（106）所述鉴别器（72）以将所述第二图像和第二标签图分
类到所述第二类中。10.一种用于训练或测试机器学习系统的计算机实现的方法，包括以下步骤：
·
从根据权利要求1至8中任一项的生成对抗网络（70）的生成器（71）确定图像和对应的标签图；
·
训练机器学习系统以确定当所提供的图像作为输入时表征标签图的输出，或者测试机器学习系统，当所提供的图像作为输入时机器学习系统的输出在何种程度上表征标签图。11.一种用于对图像和对应的标签图进行分类的计算机实现的方法，其中，所述图像和对应的标签图由根据权利要求1至8中任一项的生成对抗网络（70）的鉴别器（72）进行分类。12.根据权利要求11所述的方法，其中，基于所述生成对抗网络（70）的分类来控制致动器（10）和/或显示器（10a）。13.一种训练系统（140），被配置为实行根据权利要求9或10的训练方法。14.一种计算机程序，被配置为如果所述计算机程序由处理器（45）实行，则使得计算机实行根据权利要求9至12中任一项的方法及其所有步骤。15.一种机器可读存储介质（46），其上存储了根据权利要求14的计算机程序。

技术总结
用于处理和生成图像和标签图的生成对抗网络。生成对抗网络，包括：生成器，被配置用于生成图像和对应的标签图；鉴别器，被配置用于确定所提供的图像和所提供的标签图的分类，其中该分类表征所提供的图像和所提供的标签图是否已经由生成器生成，并且确定该分类包括以下步骤：确定所提供的图像的第一特征图；根据所提供的标签图掩蔽第一特征图，从而确定掩蔽的特征图；全局汇集掩蔽特征图，从而确定被所提供的标签图掩蔽的所提供的图像的特征表示；基于所述特征表示确定所述图像的分类。基于所述特征表示确定所述图像的分类。基于所述特征表示确定所述图像的分类。


技术研发人员：A
受保护的技术使用者：罗伯特
技术研发日：2022.07.28
技术公布日：2023/2/6