图像处理方法、图像处理设备和计算机可读介质与流程

1.本公开涉及图像处理方法、图像处理设备和计算机可读介质。


背景技术：

2.图像的属性识别通过对输入的图像进行分析，从而判断当前图像的属性。现有的基于深度学习的算法需要大量的标注数据投入训练。然而，许多属性(例如，人脸的属性)的类别边界不清晰、类别数众多并且类别分布不平衡。样本数据的类别分布不平衡会导致属性识别模型的识别准确率降低。因此，对样本数据的标注质量和类别分布合理性等提出了更高的要求。现有的大部分算法方案按照采集、标注、训练和再收集的流程进行。然而，对于类别分布不平衡的样本数据，无法快速做到定向数据补充，这对属性识别模型的开发迭代流程造成严重的瓶颈。


技术实现要素：

3.提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。
4.根据本公开的一些实施例，提供一种图像处理方法，包括：获取用于训练属性识别模型的图像样本集，所述图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集；利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型预测第二图像样本子集的中的图像样本的类别；基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定所述图像样本集的类别分布；以及在所确定的类别分布不符合期望的类别分布的情况下定向获取新图像样本，并且将所获取的新图像样本添加到所述图像样本集中，以使得所述图像样本集的类别分布符合期望的类别分布。
5.根据本公开的一些实施例，提供一种图像处理装置，包括：样本获取单元，配置为获取用于训练属性识别模型的图像样本集，所述图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集；样本预测单元，配置为利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型识别第二图像样本子集的中的图像样本的类别；以及分布确定单元，配置为基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定所述图像样本集的类别分布，其中，所述样本获取单元在所确定的类别分布不符合期望的类别分布的情况下定向获取新图像样本，并且将所获取的新图像样本添加到所述图像样本集中，以使得所述图像样本集的类别分布符合期望的类别分布。
6.根据本公开的一些实施例，提供一种电子设备，包括：存储器；和耦接至存储器的处理器，所述处理器被配置为基于存储在所述存储器中的指令，执行根据本公开的实施例的方法。
7.根据本公开的一些实施例，提供一种计算机可读存储介质，其上存储有计算机程
序，该程序被处理器执行时执行根据本公开的实施例的方法。
8.通过以下参照附图对本公开的示例性实施例的详细描述，本公开的其它特征、方面及其优点将会变得清楚。
附图说明
9.下面参照附图说明本公开的优选实施例。此处所说明的附图用来提供对本公开的进一步理解，各附图连同下面的具体描述一起包含在本说明书中并形成说明书的一部分，用于解释本公开。应当理解的是，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开构成限制。在附图中：
10.图1是示出根据本公开的一些实施例的图像处理方法的流程图；
11.图2是示出根据本公开的一些实施例的另一图像处理方法的框图；
12.图3是示出根据本公开的一些实施例的图像处理装置的框图；
13.图4是示出根据本公开的一些实施例的电子设备的框图；以及
14.图5是示出本公开的一些实施例中可采用的计算机系统的示例结构的框图。
15.应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不一定是按照实际的比例关系绘制的。在各附图中使用了相同或相似的附图标记来表示相同或者相似的部件。因此，一旦某一项在一个附图中被定义，则在随后的附图中可能不再对其进行进一步讨论。
具体实施方式
16.下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，但是显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。以下对实施例的描述实际上也仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例。
17.应当理解，本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行，和/或并行执行。此外，方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值应被解释为仅仅是示例性的，不限制本公开的范围。
18.本公开中使用的术语“包括”及其变型意指至少包括后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包括但不限于”。此外，本公开使用的术语“包含”及其变型意指至少包含后面的元件/特征、但不排除其他元件/特征的开放性术语，即“包含但不限于”。因此，包括与包含是同义的。术语“基于”意指“至少部分地基于”。
19.整个说明书中所称“一个实施例”、“一些实施例”或“实施例”意味着与实施例结合描述的特定的特征、结构或特性被包括在本公开的至少一个实施例中。例如，术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”；术语“一些实施例”表示“至少一些实施例”。而且，短语“在一个实施例中”、“在一些实施例中”或“在实施例中”在整个说明书中各个地方的出现不一定全都指的是同一个实施例，但是也可以指同一个实施例。
20.需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。除非另有指定，否则“第一”、“第二”等概念并非意图暗示如此描述的对象必须按时间上、空间上、排名上的给定顺序或任何其他方式的给定顺序。
21.需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
22.本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息或信息的范围进行限制。
23.下面结合附图对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。下面这些具体实施例可以相互结合，对于相同或者相似的概念或过程可能在某些实施例不再赘述。此外，在一个或多个实施例中，特定的特征、结构或特性可以由本领域的普通技术人员从本公开将清楚的任何合适的方式组合。
24.应理解，本公开对于如何获得待应用/待处理的图像也不做限制。在本公开的一个实施例中，可以从存储装置，例如内部存储器或者外部存储装置获取，在本公开的另一个实施例中，可以调动摄影组件来拍摄。需要说明的是，所获取的图像可以是一张采集到的图像，也可以是采集到的视频中的一帧图像，并不特别局限于此。
25.在本公开的上下文中，图像可指的是多种图像中的任一种，诸如彩色图像、灰度图像等。应指出，在本说明书的上下文中，图像的类型未被具体限制。此外，图像可以是任何适当的图像，例如由摄像装置获得的原始图像，或者已对原始图像进行过特定处理的图像，例如初步过滤、去混叠、颜色调整、对比度调整、规范化等等。应指出，预处理操作还可以包括本领域已知的其它类型的预处理操作，这里将不再详细描述。
26.图像具有众多属性，每种属性包括多个类别。例如，人脸图像具有发型、表情、年龄、性别、种族和肤色等属性。男性的发型有平头(crew cut)、板寸(flat-top)等。女性的发型有波波头(bob)、精灵头(pixie cut)、丸子头(bun)、马尾辫(ponytail)、脏辫(dreadlocks)等。然而，图像的许多属性的类别边界不清晰、类别数众多并且类别分布不平衡。用于训练属性识别模型的样本数据的类别分布不平衡会导致属性识别模型的识别准确率降低。另外，如果对于类别分布不平衡的样本数据无法快速做到定向数据补充，则会对属性识别模型的开发流程造成严重的瓶颈。
27.本公开通过少量已标注样本快速形成属性识别能力，依此对采集的大量未标注数据打上伪标签、统计类别分布，最终根据目前分布与期望分布存在的差距，快速定向补充数据。本公开的技术方案能够减少样本数据的采集流程所需的时间，进而加速了属性识别模型的开发流程。此外，本公开的技术方案能够使得样本数据的类别分布更合理，从而提高属性识别模型的识别准确率。
28.图1是示出根据本公开的一些实施例的图像处理方法100的流程图。在步骤s101，获取用于训练属性识别模型的图像样本集。所获取的图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集。
29.在本公开的一些实施例中，对每种类别选取预定数量的图像样本组成图像样本子集。该预定数量可以远小于图像样本集中图像样本的数量。例如，在图像样本集具有50万个图像样本的情况下，可以对每种类别选取50个图像样本组成第一图像样本子集。
30.在本公开的一些实施例中，第一图像样本子集可以是从所获取的图像样本集中随机选择的。例如，可以从图像样本集中随机选择一些图像样本作为第一图像样本子集。图像处理方法100可以在选择第一图像样本子集之后获取第一图像样本子集的类别标注。该类别标注可以是由人手动输入的。
31.在本公开的一些实施例中，第一图像样本子集的类别标注可以是预先分配的。例如，所获取的图像样本集中的一些图像样本可以具有预先分配的类别标注。可以选择具有预先分配的类别标注的图像样本的一部分或全部作为第一图像样本子集。
32.图像样本集可以来自一个或多个数据源，包括例如存储采集图像的存储设备以及一些提供图像样本的网站。在本公开的一些实施例中，可以从不同的数据源获取第一图像样本子集和第二图像样本子集。例如，一些数据源的图像样本具有预先分配的类别标注。可以将从这些数据源获取的图像样本的一部分或全部作为第一图像样本子集。一些数据源的图像样本不具有预先分配的类别标注。可以将从这些数据源获取的图像样本的一部分或全部作为第二图像样本子集。
33.在一些情况下，图像样本集中的大部分图像样本或全部图像样本不具有类别标注，所以其类别分布是未知的。在这些情况下，不知道是否需要补充图像样本或者不知道需要补充哪些类别的图像样本。本公开的实施例通过利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型预测第二图像样本子集的中的图像样本的类别，从而能够预测图像样本集的类别分布。在确定了图像样本集的类别分布之后，可以根据该类别分布确定是否需要补充图像样本以及需要补充哪些类别的图像样本。
34.在步骤s102，利用第一图像样本子集训练样本预测模型。在步骤s103，利用经训练的样本预测模型预测第二图像样本子集的中的图像样本的类别。例如，可以将伪标签(预测类别)分配给第二图像样本子集中的图像样本，作为第二图像样本子集的类别标注。
35.在本公开的一些实施例中，样本预测模型可以是少样本学习模型，例如，预训练模型和元学习模型。利用少样本学习模型可以快速形成属性识别能力，从而快速预测图像样本集的类别分布。
36.一些已有属性识别模型可以用作预训练模型。可以选取与要识别的属性相关或具有类似特征的属性的已有属性识别模型作为预训练模型。例如，对于发型属性，可能已经存在能够识别头发的长度(例如，长发、齐肩发、短发)的模型，但是没有能够识别具体发型(例如，平头、板寸、波波头、精灵头、丸子头、马尾辫、脏辫等)的模型。因此，可以将识别头发的长度的模型作为发型属性的样本预测模型。
37.利用元学习方法获得的元学习模型可以用作样本预测模型。元学习方法可以是“n步k次(n-way k-shot)”的分类学习过程。这里，n为每次分类学习中要分类的类别的数量，k为训练集中每个类别的样本的数量。也就是说，在每次学习过程中，随机选取n个类别的k 1个样本。每个类别的k个样本组成训练集，每个类别的剩余1个样本组成测试集。
38.在步骤s104，基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定图像样本集的类别分布。在步骤s105，判断所确定的类别分布是否符合期望的类别分布。期望的类别分布可以包括均匀分布和高斯分布中的至少一个。在本公开的一些实施例中，确定图像样本集的类别分布包括确定每个类别的图像样本的数量。如果图像样本集中某个类别的图像样本的数量与期望数量的差大于或等于预定数量差，则该图像样本集的类
别分布不符合期望的类别分布。在本公开的一些实施例中，确定图像样本集的类别分布包括确定每个类别的图像样本的占比。如果图像样本集中某个类别的图像样本的占比与期望占比的差大于或等于预定占比差，则该图像样本集的类别分布不符合期望的类别分布。
39.在所确定的类别分布不符合期望的类别分布的情况下，图像处理方法100前进到步骤s106。在步骤s106，定向获取新图像样本，并且将所获取的新图像样本添加到图像样本集中，以使得图像样本集的类别分布符合期望的类别分布。在本公开的一些实施例中，步骤s106可以包括确定所述类别分布中未达到期望数量或期望占比的类别，并且获取未达到期望数量或期望占比的类别的新图像样本。
40.在本公开的一些实施例中，可以通过关键字搜索或者图片搜索从数据库获取新图像样本。例如，在脏辫类别的图像样本不足的情况下，可以通过关键字“脏辫”从数据库获取脏辫类别的新图像样本。在本公开的一些实施例中，可以通过图片编辑生成新图像样本。例如，在板寸类别的图像样本不足的情况下，可以通过编辑其它类别的图像样本(例如，将其它类别的图像样本中的头发修剪为板寸)来获得板寸类别的新图像样本。在本公开的一些实施例中，还可以通过相机实时获取新图像样本。
41.在本公开的一些实施例中，步骤s106可以包括利用经训练的样本预测模型预测新图像样本的类别，并且在新图像样本的预测类别不是所确定的未达到期望数量或期望占比的类别的情况下，丢弃新图像样本。在本公开的一些实施例中，步骤s106可以包括针对每个类别确定需要获取的新图像样本的数量，并且针对该类别获取所确定的数量的新图像样本。
42.在本公开的一些实施例中，图像处理方法100还可以包括步骤s107，在步骤s107，利用图像样本集训练属性识别模型。在所确定的类别分布不符合期望的类别分布的情况下，图像处理方法100从步骤s105前进到步骤s106，然后前进到步骤s107。在所确定的类别分布符合期望的类别分布的情况下，图像处理方法100从步骤s105直接前进到步骤s107。
43.在本公开的一些实施例中，步骤s107可以在不获取图像样本集的类别标注的情况下训练属性识别模型。例如，可以通过无监督学习或自监督学习来训练属性识别模型。在本公开的一些实施例中，步骤s107可以在训练属性识别模型之前获取图像样本集的类别标注。例如，可以获取由人手动输入的类别标注。在获取了图像样本集的类别标注之后，可以通过有监督学习来训练属性识别模型。由于大部分情况下由人手动输入的类别标注比样本预测模型预测的类别更精确，所以利用具有人手动输入的类别标注的图像样本集可以获得更精确的属性识别模型。
44.在本公开的一些实施例中，图像处理方法100中的类别标注、预测类别和类别分布都是针对特定属性(例如，人脸的某个属性)的。一个图像样本可以具有多个属性。例如，一张人脸图像可以具有发型、表情、年龄、性别、种族和肤色等属性。对于不同的属性，图像样本集的类别分布可能不同。因此，可以获取多个图像样本集分别用于多个属性识别任务。但是，这多个图像样本集之间可以具有一些相同的图像样本。例如，一些图像样本可以既用于识别发型，也用于识别表情。
45.图2是示出根据本公开的一些实施例的另一图像处理方法200的框图。在图2中，步骤s201至s207与图1中的步骤s101至步骤s107大体相同。但是，在步骤s206之后，图像处理方法200返回步骤s203、s204和s205(而不是前进到步骤s207)，以预测新图像样本的类别、
确定添加了新图像样本的图像样本集的类别分布并且判断重新确定的类别分布是否符合期望的类别分布。在重新确定的类别分布不符合期望的类别分布的情况下图像处理方法200前进到步骤s206以定向获取另外的新图像样本。如上所述，步骤s203至步骤s206被重复执行直到图像样本集的类别分布符合期望的类别分布为止。在图像样本集的类别分布符合期望的类别分布的情况下，图像处理方法200可以前进到步骤s207，以利用图像样本集训练属性识别模型。由于图2中每个步骤的具体实现方式与图1中每个步骤的具体实现方式大体相同，所以这里不再赘述。
46.图3是示出根据本公开的一些实施例的图像处理装置300的框图。如图3所示，图像处理装置300包括样本获取单元301、样本预测单元302以及分布确定单元303。样本获取单元301被配置为获取用于训练属性识别模型的图像样本集。所获取的图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集。样本预测单元302被配置为利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型识别第二图像样本子集的中的图像样本的类别。分布确定单元303被配置为基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定所述图像样本集的类别分布。样本获取单元301在所确定的类别分布不符合期望的类别分布的情况下定向获取新图像样本，并且将所获取的新图像样本添加到图像样本集中，以使得图像样本集的类别分布符合期望的类别分布。
47.在本公开的一些实施例中，图像处理装置300还可以包括和模型训练单元304。模型训练单元304利用样本获取单元301获取的图像样本集训练属性识别模型。
48.由于图3中每个单元所执行的操作的具体实现方式已经在前面进行了详细的描述，所以这里不再赘述。
49.如上所述，本公开的实施例通过利用图像样本集中的一部分图像样本训练样本预测模型，通过样本预测模型预测剩余图像样本的类别，从而快速确定图像样本集的类别分布。根据所确定的类别分布，能够确定是否需要补充新图像样本以及需要补充哪些类别的图像样本。由于本公开的实施例能够定向补充新图像样本，所以能够更快速地获取具有合理的类别分布的图像样本集，进而加快属性识别模型的开发速度。另外，本公开的实施例能够获得具有合理的类别分布的图样样本集。利用该图像样本集训练属性识别模型，可以提高属性识别模型的精度。
50.应注意，上述各个单元仅是根据其所实现的具体功能划分的逻辑模块，而不是用于限制具体的实现方式，例如可以以软件、硬件或者软硬件结合的方式来实现。在实际实现时，上述各个单元可被实现为独立的物理实体，或者也可由单个实体(例如，处理器(cpu或dsp等)、集成电路等)来实现。此外，上述各个单元在附图中用虚线示出指示这些单元可以并不实际存在，而它们所实现的操作/功能可由处理电路本身来实现。
51.此外，尽管未示出，该设备也可以包括存储器，其可以存储由设备、设备所包含的各个单元在操作中产生的各种信息、用于操作的程序和数据、将由通信单元发送的数据等。存储器可以是易失性存储器和/或非易失性存储器。例如，存储器可以包括但不限于随机存储存储器(ram)、动态随机存储存储器(dram)、静态随机存取存储器(sram)、只读存储器(rom)、闪存存储器。当然，存储器可也位于该设备之外。可选地，尽管未示出，但是该设备也可以包括通信单元，其可用于与其它装置进行通信。在一个示例中，通信单元可以被按照本
领域已知的适当方式来实现，例如包括天线阵列和/或射频链路等通信部件，各种类型的接口、通信单元等等。这里将不再详细描述。此外，设备还可以包括未示出的其它部件，诸如射频链路、基带处理单元、网络接口、处理器、控制器等。这里将不再详细描述。
52.本公开的一些实施例还提供一种电子设备。图4是示出根据本公开的一些实施例的电子设备的框图。例如，在一些实施例中，电子设备4可以为各种类型的设备，例如可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。例如，电子设备4可以包括显示面板，以用于显示根据本公开的方案中所利用的数据和/或执行结果。例如，显示面板可以为各种形状，例如矩形面板、椭圆形面板或多边形面板等。另外，显示面板不仅可以为平面面板，也可以为曲面面板，甚至球面面板。
53.如图4所示，该实施例的电子设备4包括：存储器401以及耦接至该存储器401的处理器402。应当注意，图4所示的电子设备40的组件只是示例性的，而非限制性的，根据实际应用需要，该电子设备40还可以具有其他组件。处理器402可以控制电子设备4中的其它组件以执行期望的功能。
54.在一些实施例中，存储器401用于存储一个或多个计算机可读指令。处理器402用于运行计算机可读指令时，计算机可读指令被处理器402运行时实现根据上述任一实施例所述的方法。关于该方法的各个步骤的具体实现以及相关解释内容可以参见上述的实施例，重复之处在此不作赘述。
55.例如，处理器402和存储器401之间可以直接或间接地互相通信。例如，处理器402和存储器401可以通过网络进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。处理器402和存储器401之间也可以通过系统总线实现相互通信，本公开对此不作限制。
56.例如，处理器402可以体现为各种适当的处理器、处理装置等，诸如中央处理器(cpu)、图形处理器(graphics processing unit，gpu)、网络处理器(np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。中央处理元(cpu)可以为x86或arm架构等。例如，存储器401可以包括各种形式的计算机可读存储介质的任意组合，例如易失性存储器和/或非易失性存储器。存储器401例如可以包括系统存储器，系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)、数据库以及其他程序等。在存储介质中还可以存储各种应用程序和各种数据等。
57.另外，根据本公开的一些实施例，根据本公开的各种操作/处理在通过软件和/或固件实现的情况下，可从存储介质或网络向具有专用硬件结构的计算机系统，例如图5所示的计算机系统500安装构成该软件的程序，该计算机系统在安装有各种程序时，能够执行各种功能，包括诸如前文所述的功能等等。图5是示出本公开的一些实施例中可采用的计算机系统的示例结构的框图。
58.在图5中，中央处理单元(cpu)501根据只读存储器(rom)502中存储的程序或从存储部分508加载到随机存取存储器(ram)503的程序执行各种处理。在ram 503中，也根据需要存储当cpu501执行各种处理等时所需的数据。中央处理单元仅仅是示例性的，其也可以
是其它类型的处理器，诸如前文所述的各种处理器。rom502、ram 503和存储部分508可以是各种形式的计算机可读存储介质，如下文所述。需要注意的是，虽然图5中分别示出了rom 502、ram 503和存储装置508，但是它们中的一个或多个可以合并或者位于相同或不同的存储器或存储模块中。
59.cpu 501、rom 502和ram 503经由总线504彼此连接。输入/输出接口505也连接到总线504。
60.下述部件连接到输入/输出接口505：输入部分506，诸如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等；输出部分507，包括显示器，比如阴极射线管(crt)、液晶显示器(lcd)，扬声器，振动器等；存储部分508，包括硬盘，磁带等；和通信部分509，包括网络接口卡比如lan卡、调制解调器等。通信部分509允许经由网络比如因特网执行通信处理。容易理解的是，虽然图5中示出计算机系统500中的各个装置或模块是通过总线504来通信的，但它们也可以通过网络或其它方式进行通信，其中，网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合。
61.根据需要，驱动器610也连接到输入/输出接口505。可拆卸介质611比如磁盘、光盘、磁光盘、半导体存储器等等根据需要被安装在驱动器610上，使得从中读出的计算机程序根据需要被安装到存储部分508中。
62.在通过软件实现上述系列处理的情况下，可以从网络比如因特网或存储介质比如可拆卸介质611安装构成软件的程序。
63.根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装，或者从rom 502被安装。在该计算机程序被cpu 501执行时，执行本公开实施例的方法中限定的上述功能。
64.需要说明的是，在本公开的上下文中，计算机可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是，但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传
输，包括但不限于：电线、光缆、rf(射频)等等，或者上述的任意合适的组合。
65.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
66.在一些实施例中，还提供了一种计算机程序，包括：指令，指令当由处理器执行时使处理器执行上述任一个实施例的方法。例如，指令可以体现为计算机程序代码。
67.在本公开的实施例中，可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言，诸如java、smalltalk、c ，还包括常规的过程式程序设计语言，诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络(，包括局域网(lan)或广域网(wan))连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
68.附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
69.描述于本公开实施例中所涉及到的模块、部件或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块、部件或单元的名称在某种情况下并不构成对该模块、部件或单元本身的限定。
70.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示例性的硬件逻辑部件包括：现场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、片上系统(soc)、复杂可编程逻辑设备(cpld)等等。
71.根据本公开的一些实施例，提供一种图像处理方法，包括：获取用于训练属性识别模型的图像样本集，所述图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集；利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型预测第二图像样本子集的中的图像样本的类别；基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定所述图像样本集的类别分布；以及在所确定的类别分布不符合期望的类别分布的情况下定向获取新图像样本，并且将所获取的新图像样本添加到所述图像样本集中，以使得所述图像样本集的类别分布符合期望的类别分布。
72.根据本公开的一些实施例，第一图像样本子集包括预定数量的每种类别的图像样本。
73.根据本公开的一些实施例，第一图像样本子集是从所述图像样本集中随机选择的，并且所述图像处理方法还包括获取第一图像样本子集的类别标注。
74.根据本公开的一些实施例，第一图像样本子集的类别标注是预先分配的。
75.根据本公开的一些实施例，第一图像样本子集和第二图像样本子集具有不同的数据源。
76.根据本公开的一些实施例，所述样本预测模型是少样本学习模型。
77.根据本公开的一些实施例，所述少样本学习模型包括预训练模型和元学习模型中的至少一个。
78.根据本公开的一些实施例，所述期望的类别分布包括均匀分布和高斯分布中的至少一个。
79.根据本公开的一些实施例，在所确定的类别分布不符合期望的类别分布的情况下获取新图像样本包括：确定所述类别分布中未达到期望数量或期望占比的类别；以及获取未达到期望数量或期望占比的类别的新图像样本。
80.根据本公开的一些实施例，通过关键字搜索或者图片搜索从数据库获取新图像样本。
81.根据本公开的一些实施例，通过图片编辑生成新图像样本。
82.根据本公开的一些实施例的图像处理方法还包括：利用经训练的样本预测模型预测新图像样本的类别，并且在新图像样本的预测类别不是所确定的未达到期望数量或期望占比的类别的情况下，丢弃所述新图像样本。
83.根据本公开的一些实施例的图像处理方法还包括：重新确定所述图像样本集的类别分布，并且在重新确定的类别分布不符合期望的类别分布的情况下获取另外的新图像样本。
84.根据本公开的一些实施例的图像处理方法还包括：获取所述图像样本集的类别标注。
85.根据本公开的一些实施例的图像处理方法还包括：利用所述图像样本集训练属性识别模型。
86.根据本公开的一些实施例，所述类别标注、所述预测类别和所述类别分布是针对特定属性的。
87.根据本公开的一些实施例，所述特定属性是人脸的属性。
88.根据本公开的一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述存储器中存储有指令，所述指令当由所述处理器执行时，使得所述电子设备执行根据本公开的实施例的方法。
89.根据本公开的一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序由处理器执行时实现根据本公开的实施例的方法。
90.根据本公开的一些实施例，提供一种图像处理装置，包括：样本获取单元，配置为获取用于训练属性识别模型的图像样本集，所述图像样本集包括具有类别标注的第一图像样本子集和不具有类别标注的第二图像样本子集；样本预测单元，配置为利用第一图像样本子集训练样本预测模型，并且利用经训练的样本预测模型识别第二图像样本子集的中的图像样本的类别；以及分布确定单元，配置为基于第一图像样本子集的类别标注和第二图像样本子集的预测类别确定所述图像样本集的类别分布，其中，所述样本获取单元在所确定的类别分布不符合期望的类别分布的情况下定向获取新图像样本，并且将所获取的新图
像样本添加到所述图像样本集中，以使得所述图像样本集的类别分布符合期望的类别分布。
91.根据本公开的一些实施例，提供一种计算机程序，包括：指令，指令当由处理器执行时使处理器执行根据本公开的实施例的方法。
92.根据本公开的一些实施例，提供一种计算机程序产品，包括指令，所述指令当由处理器执行时实现根据本公开的实施例的方法。
93.以上描述仅为本公开的一些实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本公开中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本公开中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
94.在本文提供的描述中，阐述了许多特定细节。然而，理解的是，可以在没有这些特定细节的情况下实施本公开的实施例。在其他情况下，为了不模糊该描述的理解，没有对众所周知的方法、结构和技术进行详细展示。
95.此外，虽然采用特定次序描绘了各操作，但是这不应当理解为要求这些操作以所示出的特定次序或以顺序次序执行来执行。在一定环境下，多任务和并行处理可能是有利的。同样地，虽然在上面论述中包含了若干具体实现细节，但是这些不应当被解释为对本公开的范围的限制。在单独的实施例的上下文中描述的某些特征还可以组合地实现在单个实施例中。相反地，在单个实施例的上下文中描述的各种特征也可以单独地或以任何合适的子组合的方式实现在多个实施例中。
96.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。