样本图像的生成方法、装置、设备、介质及程序产品

1.本技术实施例涉及机器学习领域，特别涉及一种样本图像的生成方法、装置、设备、介质及程序产品。


背景技术：

2.随着网络技术的发展，信息过载的现象愈发明显，传统的信息推荐方式很难从海量的信息中，为用户进行个性化推荐过程。
3.相关技术中，通常采用从网络或者数据集中获取得到的样本图像，对具有一定图像处理功能的预训练模型进行训练，从而使得训练得到的图像处理模型能够对与样本图像相似的待分析图像进行图像分析。
4.在上述过程中，虽然训练得到的图像处理模型能够进行较为有效的图像处理过程，但当训练样本的数量较少时，图像处理模型很难从有限的训练样本中学习到丰富的图像知识，从而使得图像处理模型的局限性较大，且图像分析的准确率也较低。


技术实现要素：

5.本技术实施例提供了一种样本图像的生成方法、装置、设备、介质及程序产品，能够较大程度地避免破坏图像主体的完整性，得到与指定样本图像相似的大批量的增强样本图像，提升增强样本图像的多样性。所述技术方案如下。
6.一方面，提供了一种样本图像的生成方法，所述方法包括：
7.获取指定样本图像和候选样本图像，所述指定样本图像是待通过所述候选样本图像进行样本增强的图像；
8.对所述指定样本图像进行区域划分，得到所述指定样本图像中的多个子图区域；
9.基于概率分布条件从所述多个子图区域中确定符合概率要求的至少一个目标子图区域，作为待增强的子图区域，其中，所述概率分布条件是基于图像主体在图像中的分布规律确定的条件；
10.基于所述指定样本图像和所述候选样本图像之间的配准关系，从所述候选样本图像中确定出与所述至少一个目标子图区域匹配的至少一个候选子图区域；
11.将所述至少一个候选子图区域应用于所述指定样本图像中所述至少一个目标子图区域的区域位置处，得到增强样本图像，所述增强样本图像是对所述指定样本图像调整后生成的样本图像。
12.另一方面，提供了一种样本图像的生成装置，所述装置包括：
13.获取模块，用于获取指定样本图像和候选样本图像，所述指定样本图像是待通过所述候选样本图像进行样本增强的图像；
14.划分模块，用于对所述指定样本图像进行区域划分，得到所述指定样本图像中的多个子图区域；
15.确定模块，用于基于概率分布条件从所述多个子图区域中确定符合概率要求的至
少一个目标子图区域，作为待增强的子图区域，其中，所述概率分布条件是基于图像主体在图像中的分布规律确定的条件；
16.配准模块，用于基于所述指定样本图像和所述候选样本图像之间的配准关系，从所述候选样本图像中确定出与所述至少一个目标子图区域匹配的至少一个候选子图区域；
17.应用模块，用于将所述至少一个候选子图区域应用于所述指定样本图像中所述至少一个目标子图区域的区域位置处，得到增强样本图像，所述增强样本图像是对所述指定样本图像调整后生成的样本图像。
18.另一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本技术实施例中任一所述样本图像的生成方法。
19.另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由处理器加载并执行以实现如上述本技术实施例中任一所述的样本图像的生成方法。
20.另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的样本图像的生成方法。
21.本技术实施例提供的技术方案带来的有益效果至少包括：
22.基于概率分布条件，从指定样本图像对应的多个子图区域中确定目标子图区域，并从候选样本图像中确定出与目标子图区域存在配准关系的候选子图区域；将候选子图区域应用于对应的目标子图区域的区域位置处，得到增强样本图像。由于概率分布条件是基于图像主体在图像中的分布规律而确定的条件，因此待增强的目标子图区域能够较大程度地避免破坏图像主体的完整性，不仅较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到与指定样本图像相似的大批量的增强样本图像，使得增强样本图像具有更强的多样性。在小样本学习时，能够通过指定样本图像以及相似的增强样本图像对模型进行训练，从而挖掘到更多的图像分布规律，突破小样本数据集的局限性，提升模型的鲁棒性。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术一个示例性实施例提供的实施环境示意图；
25.图2是本技术一个示例性实施例提供的样本图像的生成方法的流程图；
26.图3是本技术一个示例性实施例提供的候选样本图像示意图；
27.图4是本技术一个示例性实施例提供的指定样本图像的示意图；
28.图5是本技术另一个示例性实施例提供的样本图像的生成方法的流程图；
29.图6是本技术一个示例性实施例提供的二元高斯分布概率函数的示意图；
30.图7是本技术再一个示例性实施例提供的样本图像的生成方法的流程图；
31.图8是本技术一个示例性实施例提供的增强样本图像的示意图；
32.图9是本技术一个示例性实施例提供的长尾分布示意图；
33.图10是本技术一个示例性实施例提供的图像划分的示意图；
34.图11是本技术一个示例性实施例提供的样本图像的生成方法的应用示意图；
35.图12是本技术一个示例性实施例提供的样本图像的生成装置的结构框图；
36.图13是本技术一个示例性实施例提供的服务器的结构框图。
具体实施方式
37.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
38.相关技术中，通常对用户偏好和需求的相关数据进行收集，并借助收集得到的训练数据，对人工搭建的个性化推荐模型进行训练，从而借助训练完毕的推荐模型，为用户进行信息推荐。例如：根据用户的历史偏好数据，为用户推荐符合其喜好的信息。在上述过程中，虽然训练得到的推荐模型能够为用户进行较为有效的推荐过程，但人工搭建的个性化推荐模型仍然不可避免地受到人为认知的干预，且训练得到的推荐模型与训练数据的收集情况高度相关，当采用该训练模型对其他相关数据进行分析时，数据的推荐预测效果会大打折扣。
39.本技术实施例中，提供了一种样本图像的生成方法，能够较大程度地避免破坏图像主体的完整性，得到与指定样本图像相似的大批量的增强样本图像，提升增强样本图像的多样性。针对本技术训练得到的样本图像的生成方法，在应用时包括图像分类场景、目标检测场景、图像分割场景中的至少一种。
40.需要说明的是，本技术所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术中涉及到的指定样本图像、候选样本图像等图像数据都是在充分授权的情况下获取的。
41.值得注意的是，上述应用场景仅为示意性的举例，本实施例提供的样本图像的生成方法还可以应用于其他场景中，本技术实施例对此不加以限定。
42.其次，对本技术实施例中涉及的实施环境进行说明，示意性的，请参考图1，该实施环境中涉及终端110、服务器120，终端110和服务器120之间通过通信网络130连接。
43.在一些实施例中，终端110中安装有具有图像获取功能的应用程序。在一些实施例中，终端110用于向服务器120发送样本图像，服务器120在接收到样本图像后，可以根据图像识别模型121对样本图像进行识别，得到图像识别结果。可选地，服务器120将图像识别结果发送至终端110，以便终端110将对样本图像进行识别后的图像识别结果呈现至终端110上。
44.其中，图像识别模型121采用如下方法训练得到的：服务器120基于本端存储或者
终端110发送的样本图像(指定样本图像和候选样本图像中至少一种)，通过候选样本图像对指定样本图像进行样本增强；在对指定样本图像进行区域划分后，得到指定样本图像中的多个子图区域(多个小方块)；并基于图像主体在图像中的概率分布条件，从多个子图区域中确定符合概率要求的至少一个目标子图区域(斜条纹方块)，作为待增强的子图区域；基于指定样本图像和候选样本图像之间的配准关系，从候选样本图像中确定出与至少一个目标子图区域匹配的至少一个候选子图区域(竖条纹方块)；将至少一个候选子图区域应用于指定样本图像中至少一个目标子图区域的区域位置处，得到对指定样本图像调整后生成的增强样本图像。通过增强样本图像对图像识别模型121进行训练，上述过程是图像识别模型121训练过程的不唯一情形的举例。
45.值得注意的是，上述终端包括但不限于手机、平板电脑、便携式膝上笔记本电脑、智能语音交互设备、智能家电、车载终端等移动终端，也可以实现为台式电脑等；上述服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
46.其中，云技术(cloud technology)是指在广域网或局域网内将硬件、应用程序、网络等系列资源统一起来，实现数据的计算、储存、处理和共享的一种托管技术。云技术基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称，可以组成资源池，按需所用，灵活便利。
47.在一些实施例中，上述服务器还可以实现为区块链系统中的节点。
48.结合上述名词简介和应用场景，对本技术提供的样本图像的生成方法进行说明，以该方法应用于服务器中为例进行说明，如图2所示，该方法包括如下步骤210至步骤250。
49.步骤210，获取指定样本图像和候选样本图像。
50.其中，指定样本图像是待通过候选样本图像进行样本增强的图像。
51.示意性的，指定样本图像用于指示待进行样本增强的图像，候选样本图像是用于辅助指定样本图像进行图像增强的图像。
52.在一个可选的实施例中，获取样本图像集。
53.其中，样本图像集中存储有多张样本图像。可选地，样本图像集用于指示各种图像的集合，例如：将网络上所有图像的集合作为样本图像库；或者，将各种风景图像、动物图像的集合作为样本图像集等。
54.可选地，从样本图像集中获取得到候选样本图像和指定样本图像。
55.示意性的，在获取得到样本图像集后，从中任意选择一张样本图像作为待进行样本增强的指定样本图像；或者，从样本图像集以外，获取一张样本图像作为待进行样本增强的指定样本图像，例如：采用拍摄的方式获取一张照片，将该照片作为待进行样本增强的指定样本图像等。
56.示意性的，在获取得到样本图像集后，从中任意选择至少一张样本图像作为对指定样本图像进行样本增强的候选样本图像。
57.例如：除确定指定样本图像外，从样本图像集中任意选择至少一张与指定样本图像的图像尺寸相同的样本图像作为候选样本图像；或者，从样本图像集中任意选择至少一
张样本图像作为候选样本图像，从而在确定指定样本图像后，通过被选取的至少一张候选样本图像对指定样本图像进行样本增强。
58.可选地，样本增强用于指示对样本图像的数量进行增强。示意性的，指定样本图像具有较为单一的图像信息，通过候选样本图像对指定样本图像的图像信息进行增强，从而能够在保留指定样本图像的图像信息的同时，采用部分候选样本图像的图像信息扩展指定样本图像的图像表达，从而实现对候选样本图像进行样本增强的过程。
59.步骤220，对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域。
60.在一个可选的实施例中，在获取得到指定样本图像后，以等面积划分方式对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域。
61.其中，等面积划分方式用于指示获取得到的多个子图区域的面积相同。
62.可选地，采用等面积的网格划分方式，对指定样本图像进行区域划分。
63.例如：预先确定网格的长为l、宽为w，并以l
×
w的小方块划分标准，对指定样本图像进行区域划分，从而得到多个子图区域，其中，每个子图区域的面积相同，均为l
×
w。
64.可选地，在获取得到指定样本图像后，以指定样本图像的长和宽为划分标准，将指定样本图像划分一定数量的方块。
65.示意性的，在获取得到指定样本图像后，在长度方向以及宽度方向对指定样本图像进行区域划分，例如：在长度方向将指定样本图像划分为n段，在宽度方向将指定样本图像划分为m段，从而将指定样本图像横竖划分为n*m个小方块，其中，n为正整数，m为正整数，且n和m可以相同，也可以不同。
66.例如：以指定样本图像为矩形(如：正方形、长方形等)图像为例进行说明，当n和m相同时，以单位间隔的距离(如：1mm、0.2cm等)将指定样本图像的长划分为n段，以相同单位间隔的距离将指定样本图像的宽划分为n段，从而将指定样本图像划分为n2个小方块，将每一个小方块作为一个子图区域，也即，得到与指定样本图像对应的n2个子图区域。
67.或者，以指定样本图像为矩形图像为例进行说明，当n和m不同时，对指定样本图像的“长”进行等间距划分，将指定样本图像的“长l”划分为n段；对指定样本图像的“宽w”进行等间距划分，将指定样本图像的“宽w”划分为m段，从而将指定样本图像划分为n
×
m个小方块，将每一个小方块作为一个子图区域，也即，得到与指定样本图像对应的n
×
m个子图区域。
68.可选地，采用滑动窗口方法，对指定样本图像进行区域划分。
69.其中，滑动窗口用于指示一个窗口的移动，窗口对应的区域用于判定指定样本图像对应的子图区域。
70.示意性的，在窗口形成时，预先设定窗口的尺寸，在窗口滑动过程中，当窗口的右边界向右滑动一定距离时，窗口的左边界也随之向右滑动一定距离。根据指定样本图像的图像区域，将滑动窗口在图像区域内进行移动，从而得到多个面积相同的子图区域。
71.例如：当指定样本图像为不规则图像时，确定滑动窗口所经过的每个区域中是否存在指定样本图像对应的图像信息，当滑动窗口所经过的a区域中存在样本图像对应的图像信息，将a区域作为一个子图区域；当滑动窗口所经过的b区域中不存在样本图像对应的图像信息，不将b区域作为一个子图区域等。示意性的，采用上述方法分别判断滑动窗口所经过的区域进行判定。
72.在一个可选的实施例中，在获取得到指定样本图像后，以非等面积划分方式对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域。
73.可选地，在得到指定样本图像后，以随机划分方式对指定样本图像进行区域划分。
74.示意性的，随意从指定样本图像中圈定c区域和d区域作为指定样本图像中的子图区域。可选地，c区域和d区域为指定样本图像中不重叠的两个区域；或者，c区域和d区域为指定样本图像中存在部分重叠的两个区域等。
75.步骤230，基于概率分布条件从多个子图区域中确定符合概率要求的至少一个目标子图区域，作为待增强的子图区域。
76.示意性的，在得到指定样本图像中的多个子图区域后，通过概率分布条件对多个子图区域进行分析，并从中确定符合概率要求的至少一个目标子图区域。
77.其中，概率分布条件是基于图像主体在图像中的分布规律确定的条件。
78.可选地，图像中至少包括图像主体，此外，图像中还可能存在图像背景。其中，图像主体用于指示图像中进行主要表现的图像信息；图像背景用于指示图像中除图像主体之外的图像信息。
79.示意性的，如图3所示，为一幅狮子图像，其中，由于该幅图像主要用于表现狮子310，因此，将狮子310作为图像主体，将狮子310背后的天空作为图像背景；或者，如图4所示，为一幅小猫图像，其中，由于该幅图像主要用于表现小猫410，因此，将小猫410作为图像主体，将小猫410背后的草地作为图像背景。
80.在一个可选的实施例中，通过预先设定的概率分布条件对多个子图区域进行分析，从而确定至少一个目标子图区域。
81.示意性的，概率分布条件为预先确定的分布条件，在应用概率分布条件对多个子图区域进行分析时，确定多个子图区域被作为目标子图区域的概率。
82.可选地，图像主体作为图像中进行主要表现的图像信息，通常位于图像的中心区域，基于该分布规律，确定图像背景通常位于图像的周围区域。由于图像主体承载较多的重要信息，对图像主体的改变通常会导致重要的图像主体信息发生变化，因此，在考虑保持图像主体信息不发生明显变化的条件下，对图像背景信息进行调整，也即，设置较大的概率将图像背景作为待增强的目标子图区域。
83.示意性的，基于上述分布规律，将概率分布条件设置为：位于图像中心的子图区域具有较小概率作为目标子图区域；位于图像边缘的子图区域具有较大概率作为目标子图区域等。
84.在一个可选的实施例中，概率分布条件是通过多个样本区域图像确定的条件，样本区域图像是预先收集的图像数据。
85.可选地，通过区域识别模型对多个样本区域图像进行区域识别，确定与多个样本区域图像分别对应的图像主体区域。
86.其中，图像主体区域用于指示样本区域图像中图像主体所处的图像区域。
87.示意性的，通过预先训练的图像识别模型对多个样本区域图像进行图像识别，以确定每个样本区域图像中承载较多重要信息的图像主体区域，例如：当将如图3所示的狮子图像作为样本区域图像后，对图3进行图像识别，将狮子310所处的图像区域作为图3对应的图像主体区域；或者，当将如图4所示的小猫图像作为样本区域图像后，对图4进行图像识
别，将小猫410所处的图像区域作为图4对应的图像主体区域。
88.可选地，综合分析多个图像主体区域在对应样本区域图像中的区域位置，确定概率分布条件。
89.示意性的，多个图像主体区域中包括第一图像主体区域和第二图像主体区域。第一图像主体区域用于指示第一样本区域图像对应的图像主体区域，第二图像主体区域用于指示第二样本区域图像对应的图像主体区域。
90.确定第一图像主体区域在第一样本区域图像中的第一区域位置，以及第二图像主体区域在第二样本区域图像中的第二区域位置；综合分析第一区域位置和第二区域位置，确定主体区域分布规律，将主体区域分布规律作为概率分布条件。
91.示意性的，在得到第一区域位置和第二区域位置后，根据第一区域位置和第二区域位置，能够确定多个图像主体区域对应的主体区域分布规律。例如：第一区域位置和第二区域位置均位于对应的样本区域图像的中心位置附近，将中心位置作为主体区域的分布中心，则主体区域分布规律为：主体区域大多位于样本区域图像的中心位置附近。
92.或者，第一区域位置位于第一样本区域图像的中心位置，第二区域位置位于第二样本区域图像的右上角位置处，可选地，将第一区域位置与第二区域位置的位置点中心主体区域的分布中心，则主体区域分布规律为：主体区域大多位于样本区域图像的右上方的位置点中心附近等。
93.可选地，基于上述主体区域分布规律确定概率分布条件，并对指定样本图像中的子图区域进行分析，从而确定符合概率分布条件的目标子图区域。
94.示意性的，以主体区域分布规律为：主体区域大多位于样本区域图像的中心位置附近为例进行说明。可选地，在对指定样本图像进行分析时，首先确定指定样本图像中图像主体对应的图像主体区域，以及指定样本图像中除图像主体区域以外的图像背景区域，在选择目标子图区域时，从图像背景区域对应的多个子图区域选择中至少一个子图区域作为目标子图区域，不从图像主体区域对应的多个子图区域中进行目标子图区域的选择过程。即：由于主体区域大多位于样本区域图像的中心位置，则在指定样本图像中，图像主体区域大多位于指定样本图像的中心位置，为了避免破坏图像主体，从图像背景区域中确定目标子图区域。
95.或者，在选择目标子图区域时，设定不同的选择概率，对图像背景区域和图像主体区域进行目标子图区域的选择过程。例如：在选择一个目标子图区域时，图像主体区域对应的多个子图区域有1/10的概率作为目标子图区域；图像背景区域对应的多个子图区域有9/10的概率作为目标子图区域等。
96.可选地，在从多个子图区域中确定至少一个目标子图区域时，通过概率要求进行选择过程。
97.其中，概率要求用于指示被选择作为目标子图区域的概率条件。示意性的，通过概率分布条件确定多个子图区域分别作为目标子图区域的概率后，将多个子图区域分别对应的概率与概率要求进行比较，从而从多个子图区域中确定目标子图区域。
98.示意性的，概率要求为一个预先设定的概率阈值，当将多个子图区域分别对应的概率与概率要求进行比较时，即：将多个子图区域分别对应的概率与预设概率阈值进行比较。可选地，确定大于或者等于预设概率阈值的子图区域，并将该子图区域作为目标子图区
域。
99.步骤240，基于指定样本图像和候选样本图像之间的配准关系，从候选样本图像中确定出与至少一个目标子图区域匹配的至少一个候选子图区域。
100.示意性的，在获取得到指定样本图像和候选样本图像后，将指定样本图像和候选样本图像进行图像配准操作。
101.其中，图像配准的目的在于对获取得到的图像进行比较或融合，使得不同图像对于空间中同一位置的点一一对应，从而达到图像信息融合的目的。
102.可选地，以指定样本图像为目标配准图像，将候选样本图像配准至指定样本图像上，确定指定样本图像与候选样本图像的配准关系。
103.示意性的，以指定样本图像的图像中心为配准中心，确定候选样本图像的图像中心，将候选样本图像的图像中心配准至配准中心，从而实现图像配准过程。
104.或者，从指定样本图像中任意选取一点(如：图像顶点、图像右下区域的任意一点等)作为配准中心，基于该点在指定样本图像中的相对位置坐标，从候选样本图像中确定与该相对位置坐标对应的图像坐标，将候选样本图像的中图像坐标对应点配准至上述配准中心，从而实现图像配准过程等。
105.可选地，在进行图像配准操作时，基于指定样本图像的图像尺寸，对候选样本图像的图像尺寸进行调整。示意性的，根据指定样本图像的长和宽，对候选样本图像进行缩放处理(缩小处理或者放大处理)，以使得候选样本图像与指定样本图像的图像尺寸相匹配，从而将进行缩放处理后的候选样本图像与指定样本图像进行图像配准过程。
106.在一个可选的实施例中，基于上述图像配准过程，确定指定样本图像和候选样本图像之间的配准关系。
107.示意性的，基于上述图像配准过程，将指定样本图像中不同点的位置坐标与候选样本图像中不同点的位置坐标进行对应。例如：以配准中心为原点建立坐标系，确定指定样本图像中不同点的第一位置坐标，以及指定样本图像中不同点的第二位置坐标，基于图像配准过程，确定第一位置坐标与第二位置坐标之间的坐标相对关系，将该坐标相对关系作为指定样本图像和候选样本图像之间的配准关系。
108.可选地，在确定至少一个目标子图区域后，根据目标子图区域在指定样本图像中的位置信息，确定目标子图区域中至少一个点对应的第一位置坐标，基于配准关系，确定与第一位置坐标对应的第二位置坐标，从而基于第二位置坐标，从候选样本图像中确定候选子图区域，其中，目标子图区域与其对应的候选子图区域的位置坐标相对应。
109.步骤250，将至少一个候选子图区域应用于指定样本图像中至少一个目标子图区域的区域位置处，得到增强样本图像。
110.示意性的，在从候选样本图像中确定至少一个候选子图区域后，基于候选子图区域与目标子图区域之间的配准关系，在将候选子图区域应用于指定样本图像时，将候选子图区域应用于指定样本图像中对应的目标子图区域处。
111.示意性的，在从指定样本图像中选择得到目标子图区域t1以及目标子图区域t2后，基于上述配准关系，确定候选样本图像中与目标子图区域t1对应的候选子图区域c1以及与目标子图区域t2对应的候选子图区域c2。
112.例如：以配准中心为原点建立坐标系，则目标子图区域t1的第一位置坐标与候选
子图区域c1的第二位置坐标相同；目标子图区域t2的第一位置坐标与候选子图区域c2的第二位置坐标相同。
113.在一个可选的实施例中，将一个候选子图区域应用于指定样本图像中对应的目标子图区域的区域位置处，得到增强样本图像。
114.示意性的，在得到增强样本图像时，将候选子图区域c1应用于指定样本图像中的目标子图区域t1处，得到增强样本图像e1；将候选子图区域c2应用于指定样本图像中的目标子图区域t2处，得到增强样本图像e2等。
115.在一个可选的实施例中，将多个候选子图区域中的至少两个应用于指定样本图像中对应的目标子图区域的区域位置处，得到增强样本图像。
116.示意性的，从指定样本图像中选择得到目标子图区域t1、目标子图区域t2以及目标子图区域t3后，基于上述配准关系，确定候选样本图像中与目标子图区域t1对应的候选子图区域c1、与目标子图区域t2对应的候选子图区域c2以及与目标子图区域t3对应的候选子图区域c3。
117.在得到增强样本图像时，将候选子图区域c1应用于指定样本图像中的目标子图区域t1处，并将候选子图区域c2应用于指定样本图像中的目标子图区域t2处，得到增强样本图像e3；或者，将候选子图区域c1应用于指定样本图像中的目标子图区域t1处，并将候选子图区域c3应用于指定样本图像中的目标子图区域t3处，得到增强样本图像e4；或者，将候选子图区域c1应用于指定样本图像中的目标子图区域t1处、将候选子图区域c2应用于指定样本图像中的目标子图区域t2处，并将候选子图区域c3应用于指定样本图像中的目标子图区域t3处，得到增强样本图像e5等。
118.在一个可选的实施例中，在将候选子图区域应用于指定样本图像中对应的目标子图区域的区域位置处时，采用替换方式，将指定样本图像中的目标子图区域，替换为与该目标子图区域对应的候选子图区域，从而得到增强样本图像；或者，采用叠加方式，将指定样本图像中的目标子图区域与该目标子图区域对应的候选子图区域的像素进行叠加，从而得到增强样本图像。
119.其中，增强样本图像是对指定样本图像调整后生成的样本图像。示意性的，对指定样本图像中的至少一个目标子图区域进行调整，将至少一个目标子图区域替换为候选子图区域，从而得到调整后生成的增强样本图像。
120.示意性的，在增强样本图像中，对指定样本图像中的小部分图像信息进行了调整，使得得到的增强样本图像在保留指定样本图像中大部分图像信息的同时，对指定样本图像进行了图像扩展过程，也即：基于一个指定样本图像，能够得到多个与该指定样本图像相关的增强样本图像。
121.例如：在多个增强样本图像之间，增强样本图像的图像主体区域对应的主体区域信息大致相同，增强样本图像的图像背景区域对应的背景区域信息存在差异，从而基于指定样本图像，得到多个图像背景存在差异的增强样本图像等。
122.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
123.综上所述，基于概率分布条件，从指定样本图像对应的多个子图区域中确定目标子图区域，并从候选样本图像中确定出与目标子图区域存在配准关系的候选子图区域；将候选子图区域应用于对应的目标子图区域的区域位置处，得到增强样本图像。由于概率分
布条件是基于图像主体在图像中的分布规律而确定的条件，因此待增强的目标子图区域能够较大程度地避免破坏图像主体的完整性，不仅较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到与指定样本图像相似的大批量的增强样本图像，使得增强样本图像具有更强的多样性。在小样本学习时，能够通过指定样本图像以及相似的增强样本图像对模型进行训练，从而挖掘到更多的图像分布规律，突破小样本数据集的局限性，提升模型的鲁棒性。
124.在一个可选的实施例中，将二维正态分布条件作为概率分布条件，基于二维正态分布条件从多个子图区域中确定符合概率要求的至少一个目标子图区域。示意性的，如图5所示，上述图2所示出的实施例中的步骤230还可以实现为如下步骤510至步骤530。
125.步骤510，基于二维正态分布条件，以及多个子图区域与指定样本图像中心点之间的距离，确定多个子图区域分别对应的分布概率。
126.在一个可选的实施例中，基于指定样本图像的图像形状，确定指定样本图像的图像中心点(样本图像中心点)。
127.可选地，当指定样本图像所对应的图像形状存在差异时，样本图像所对应的图像中心点也可能存在差异。
128.示意性的，当指定样本图像实现为对称图像时，根据该对称图像对应的图形处理方法，确定指定样本图像的图像中心点，例如：当指定样本图像实现为矩形时，将该指定样本图像的对角线的交点作为图像中心点；或者，当指定样本图像实现为等边三角形时，将该指定样本图像的角对角线的交点作为图像中心点。
129.或者，当指定样本图像实现为非对称图像时，将非对称图像的重心作为指定样本图像的图像中心点等。
130.在一个可选的实施例中，采用图像识别模型确定指定样本图像的推想那个中心点。
131.可选地，图像识别模型为预先训练得到的、用于进行图像主体识别的模型。示意性的，通过图像识别模型，能够对指定样本图像的图像信息进行分析，从中大致确定图像主体的主体区域范围。
132.例如：指定样本图像实现为如图4所示的小猫图像，将指定样本图像输入图像识别模型中，由图像识别模型对小猫图像进行图像主体识别过程，从而从小猫图像中确定图像主体小猫410。
133.可选地，基于图像识别模型所确定的图像主体区域，确定指定样本图像的图像中心点。
134.示意性的，从图像主体区域中任意选择一点，作为指定样本图像的中心点；或者，将图像主体区域的重心作为指定样本图像的图像中心点等。例如：在通过图像识别模型对如图4所示的小猫图像进行图像识别后，从图像主体小猫410中任意选择一点411作为指定样本图像的图像中心点。
135.在一个可选的实施例中，基于多个子图区域与指定样本图像中心点之间的距离，确定多个子图区域分别对应的分布概率。
136.可选地，在确定多个子图区域与图像中心点之间的距离时，确定多个子图区域对应的中心点与图像中心点之间的距离；或者，确定多个子图区域对应的区域顶点与图像中
心点之间的距离等。
137.可选地，在确定多个子图区域与指定样本图像中心点之间的距离后，结合二维正态分布条件，确定多个子图区域分别对应的分布概率。
138.示意性的，将二元高斯分布概率函数作为二维正态分布条件，也即：将二元高斯分布概率函数作为概率分布条件。如图6所示，为二元高斯分布概率函数的函数示意图，由图6可知，二元高斯分布概率函数呈碗装分布，其中，中间区域610被选择的概率较低，四周区域620被选择的概率较高。
139.可选地，将该二元高斯分布概率函数应用于子图区域对应的分布概率的确定过程中，将二元高斯分布概率函数的最小值与指定样本图像中心点相对应，也即：子图区域距离指定样本图像中心点越近，则该子图区域被作为目标子图区域的概率越小；子图区域距离指定样本图像中心点越远，则该子图区域被作为目标子图区域的概率越大。
140.在一个可选的实施例中，根据二维正态分布条件以及多个子图区域与图像中心点之间的距离，分别确定不同子图区域对应的分布概率。
141.示意性的，以二维正态分布条件构建概率分布图像，其中，概率分布图像与指定样本图像相对应，例如：概率分布图像与指定样本图像的图像尺寸相同。
142.可选地，以二维正态分布条件为二维高斯分布概率函数为例进行说明。基于子图区域在指定样本图像上的划分标准，对与二维正态分布条件对应的概率分布图像进行划分，得到与概率分布图像对应的多个概率区域，其中，多个概率区域与多个子图区域存在一一对应关系。
143.可选地，将概率分布图像的中心点与指定样本图像中心点相对应后，确定子图区域距离指定样本图像中心点，并在概率分布图像中确定与该子图区域对应的概率区域，从而通过概率区域所对应的概率分布情况，确定该子图区域所对应的分布概率，基于上述方法，确定指定样本图像中多个子图区域分别对应的分布概率。
144.示意性的，多个子图区域中包括第一子图区域与第二子图区域，其中，第一子图区域的第一分布概率高于第二子图区域的第二分布概率，第一子图区域与指定样本图像中心点之间的第一距离，大于第二子图区域与指定样本图像中心点之间的第二距离。
145.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
146.步骤520，获取多个子图区域中分布概率高于概率阈值的子图区域。
147.示意性的，概率阈值用于对子图区域进行筛选。可选地，概率阈值为预先设定的概率数值条件，例如：预先设定概率阈值为0.5；或者，概率阈值为概率均值，例如：确定多个子图区域分别对应的分布概率后，计算得到多个分布概率的概率均值，将概率均值作为上述概率阈值等。
148.示意性的，在获取得到多个子图区域分别对应的分布概率后，将多个子图区域分别对应的分布概率与概率阈值进行比较，并从多个子图区域中，选择得到分布概率高于概率阈值的子图区域。
149.步骤530，从分布概率高于概率阈值的子图区域中确定出至少一个目标子图区域。
150.示意性的，在得到分布概率高于概率阈值的多个子图区域后，从中确定至少一个目标子图区域。例如：以随机选取的方式，从多个筛选得到的子图区域中，选择至少一个子图区域作为目标子图区域，即：以等概率的方式对目标子图区域进行选择。
151.或者，将多个被筛选得到的子图区域的分布概率进行概率排序，从中确定分布概率最高的前g个子图区域，将前g个子图区域作为目标子图区域，其中，g为正整数。也即：将分布概率最高的一个子图区域作为目标子图区域；或者，将分布概率最高的多个子图区域作为目标子图区域等。
152.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
153.综上所述，由于概率分布条件是基于图像主体在图像中的分布规律而确定的条件，因此不仅能够较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到大批量增强样本图像，通过增强样本图像提升指定样本图像的多样性，在对模型进行训练时，能够借助获取得到的增强样本图像，挖掘到更多的图像分布规律，突破图像数据集的局限性，提升模型的训练效果。
154.在本技术实施例中，对二维正态分布条件为概率分布条件的情况进行说明。基于二维正态分布条件，以及多个子图区域与指定样本图像中心点之间的距离，确定多个子图区域分别对应的分布概率；获取多个子图区域中分布概率高于概率阈值的子图区域；从分布概率高于概率阈值的子图区域中确定出至少一个目标子图区域。由于二维正态分布条件具有“中间低，四周高”碗状概率分布特点，因此在利用二维正态分布条件确定多个子图区域分别对应的分布概率时，距离指定样本图像中心点越近的子图区域被作为目标子图区域的概率越低，距离指定样本图像中心点越远的子图区域被作为目标子图区域的概率越高，由于图像主体大多处于图像中心点位置附近，因此将二维正态分布条件作为概率分布条件并确定的目标子图区域，能够在有效避免破坏图像主体区域的同时，对指定样本图像进行扩充。
155.在一个可选的实施例中，采用区域替换方法，将指定样本图像中至少一个目标子图区域替换为至少一个候选子图区域，得到增强样本图像。示意性的，如图7所示，上述图2所示出的实施例还可以实现为如下步骤710至步骤750。
156.步骤710，获取指定样本图像和候选样本图像。
157.其中，指定样本图像是待通过候选样本图像进行样本增强的图像。
158.步骤710已在上述步骤210中进行了说明，此处不再赘述。
159.步骤720，对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域。
160.可选地，在获取得到指定样本图像后，以等面积划分方式对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域；或者，在获取得到指定样本图像后，以非等面积划分方式对指定样本图像进行区域划分，得到指定样本图像中的多个子图区域。
161.示意性的，多个子图区域实现为指定样本图像的全部区域或者部分区域。例如：在对指定样本图像进行区域划分后，将区域划分之后得到的图像区域均作为上述多个子图区域，则对多个子图区域进行拼接后，能够得到完整的指定样本图像；或者，在对指定样本图像进行区域划分后，从区域划分之后得到的图像区域中选择部分图像区域，将部分图像区域作为上述多个子图区域，则对多个子图区域进行拼接后，能够得到部分指定样本图像等。
162.步骤720已在上述步骤220中进行了说明，此处不再赘述。
163.步骤730，基于概率分布条件从多个子图区域中确定符合概率要求的至少一个目标子图区域，作为待增强的子图区域。
164.其中，概率分布条件是基于图像主体在图像中的分布规律确定的条件。
165.在一个可选的实施例中，基于二维正态分布条件，以及多个子图区域与指定样本图像中心点之间的距离，确定多个子图区域分别对应的分布概率；获取多个子图区域中分布概率高于概率阈值的子图区域；从分布概率高于概率阈值的子图区域中确定出至少一个目标子图区域。
166.步骤730已在上述步骤230中进行了说明，此处不再赘述。
167.步骤740，基于指定样本图像和候选样本图像之间的配准关系，确定n个目标子图区域与n个候选子图区域之间的配对关系。
168.其中，第i个目标子图区域与第i个候选子图区域配对，0＜i≤n，且i为整数。
169.在一个可选的实施例中，从候选样本图像中确定出与至少一个目标子图区域匹配的至少一个候选子图区域。
170.示意性的，在获取得到指定样本图像和候选样本图像后，将指定样本图像和候选样本图像进行图像配准操作。
171.其中，图像配准的目的在于对获取得到的图像进行比较或融合，使得不同图像对于空间中同一位置的点一一对应，从而达到图像信息融合的目的。
172.可选地，将指定样本图像作为被进行图像配准的目标图像，将候选样本图像配准至指定样本图像上；或者，将候选样本图像作为被进行图像配准的目标图像，将指定样本图像配准至候选样本图像上。
173.示意性的，基于上述图像配准操作，能够确定指定样本图像和候选样本图像之间的配准关系。可选地，配准关系用于指示指定样本图像和候选样本图像之间的位置坐标对应关系。
174.例如：在指定样本图像和候选样本图像进行图像配准操作后，以配准中心为原点建立坐标系，在确定指定样本图像中a点位置坐标后，确定a点位置坐标与坐标系原点之间的位置相对关系，基于配准关系以及位置相对关系，从候选样本图像中确定与a点位置坐标对应的b点位置坐标。
175.同理，基于位置坐标相对关系，在确定指定样本图像中的至少一个目标子图区域后，从候选样本图像中确定与至少一个目标子图区域分别对应的候选子图区域。
176.示意性的，指定样本图像中的至少一个目标子图区域包括目标子图区域t1以及目标子图区域t2，根据指定样本图像与候选样本图像的位置坐标相对关系，从指定样本图像中与目标子图区域t1对应的候选子图区域c1以及与目标子图区域t2对应的候选子图区域c2。
177.步骤750，将第i个目标子图区域替换为第i个候选子图区域，并迭代完成n个目标子图区域和n个候选子图区域之间的替换，得到增强样本图像。
178.示意性的，在获取得到与n个目标子图区域对应的n个候选子图区域后，确定第i个目标子图区域对应的第i个候选子图区域，在通过指定样本图像和候选样本图像得到增强样本图像时，将指定样本图像中的第i个目标子图区域替换为第i个候选子图区域。
179.依据上述替换方法，对n个目标子图区域进行替换，从而将n个目标目标子图替换为各自对应的候选子图区域，也即：将n个候选子图区域替换至具有对应的目标子图区域。
180.其中，基于n为正整数，且0＜i≤n，i为整数，因此，上述替换过程包括如下至少两种替换形式。
181.(1)从指定样本图像中获取得到1个目标子图区域，基于指定样本图像与候选样本图像的配准关系，确定候选样本图像中与该目标子图区域对应的候选子图区域，在得到与指定样本图像对应的增强样本图像时，将该目标子图区域替换为该候选子图区域，从而得到增强样本图像。
182.(2)从指定样本图像中获取得到至少两个目标子图区域，基于指定样本图像与候选样本图像的配准关系，确定候选样本图像中与至少两个目标子图区域分别对应的候选子图区域，在得到与指定样本图像对应的增强样本图像时，将至少两个目标子图区域分别替换为对应的候选子图区域，从而得到增强样本图像。
183.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
184.示意性的，将如图3所示的狮子310图像作为候选样本图像，将如图4所示的小猫410图像作为指定样本图像。
185.可选地，以方块划分方法对如图4所示的指定样本图像进行区域划分后，得到多个子图区域，以指定样本图像中的第一目标子图区域420、第二目标子图区域430以及第三目标子图区域440为例进行说明。
186.示意性的，如图3和图4所示，基于候选样本图像与指定样本图像的配准关系，在如图3所示的候选样本图像中确定与指定样本图像中的第一目标子图区域420对应的第一候选子图区域320，在如图3所示的候选样本图像中确定与指定样本图像中的第二目标子图区域430对应的第二候选子图区域330，在如图3所示的候选样本图像中确定与指定样本图像中的第三目标子图区域440对应的第三候选子图区域340。
187.在得到增强样本图像时，在如图4所示的指定样本图像中，将第一目标子图区域420替换为如图3所示的第一候选子图区域320，将第二目标子图区域430替换为如图3所示的第二候选子图区域330，将第三目标子图区域440替换为如图3所示的第三候选子图区域340，从而得到如图8所示的增强样本图像，其中，增强样本图像中的第一区域810是如图3所示的第一候选子图区域320，增强样本图像中的第二区域820是如图3所示的第二候选子图区域330，增强样本图像中的第三区域830是如图3所示的第三候选子图区域340。
188.在一个可选的实施例中，指定样本图像标注有指定样本标签。
189.在指定样本图像中，将至少一个候选子图区域应用于至少一个目标子图区域的区域位置处，将指定样本标签作为增强样本图像对应的样本标签。
190.示意性的，如图4所示的小猫410图像为指定样本图像，该指定样本图像对应的指定样本标签为“小猫”，在将如图3所示的狮子310图像中的候选子图区域替换至小猫410图像中对应的目标子图区域后，将指定样本标签“小猫”作为如图8所示的增强样本图像对应的样本标签。
191.值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
192.在一个可选的实施例中，增强样本图像用于对待训练的图像识别模型进行训练。
193.可选地，将增强样本图像输入图像识别模型中；获取图像识别模型输出的图像预测结果；基于图像预测结果与增强样本图像对应的指定样本标签之间的差异，确定损失值；以损失值对图像识别模型进行训练，得到目标图像识别模型。
194.其中，目标图像识别模型用于对待识别图像进行图像识别。
195.综上所述，由于概率分布条件是基于图像主体在图像中的分布规律而确定的条
件，因此不仅能够较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到大批量增强样本图像，通过增强样本图像提升指定样本图像的多样性，在对模型进行训练时，能够借助获取得到的增强样本图像，挖掘到更多的图像分布规律，突破图像数据集的局限性，提升模型的训练效果。
196.在本技术实施例中，对将指定样本图像中至少一个目标子图区域替换为至少一个候选子图区域的过程进行说明。在确定指定样本图像中的目标子图区域后，基于指定样本图像和候选样本图像之间的配准关系，确定n个目标子图区域与n个候选子图区域之间的配对关系，即：n个目标子图区域与n个候选子图区域存在一一对应的关系；在得到增强样本图像时，将第i个目标子图区域替换为第i个候选子图区域，并迭代完成n个目标子图区域和n个候选子图区域之间的替换，由于n为正整数，因此相较指定样本图像，增强样本图像为对至少一个目标子图区域进行替换后得到的相似图像，能够通过增强样本图像对模型进行辅助训练，使得模型学习到更多不同图像背景信息的规律，更好地对图像主体进行识别，提高对模型的训练效果。
197.在一个可选的实施例中，将上述样本图像的生成方法应用于深度学习的图片数据增强场景中。示意性的，当可供训练的样本图像数据不足时；或者，当样本图像数据的标注代价较高时，采用上述样本图像的生成方法，可以对仅有的少量样本图像数据进行数据扩充，得到增强样本图像。
198.可选地，深度学习的图片数据增强场景包括：图片分类场景、目标检测场景、图像分割场景等。在采用分析模型对待进行分析的图像数据进行分析时，通常需要通过大量的样本图像数据对分析模型进行训练，以便使得分析模型能够学习到样本图像数据的规律，并对与样本图像数据相关的图像数据进行分析。
199.然而，样本图像数据的数量通常较少，且通常呈现为如图9所示的长尾数据分布规律，也即，头部数据910较多，尾部数据920较少，当需要将尾部数据920作为样本图像数据对分析模型进行训练时，样本图像数据的数量限制会极大影响模型训练效果，也即：小样本学习的效果较差；此外，头部数据910中存储的是样本充足的类别的样本集合，尾部数据920中存储的是样本稀缺的类别的样本集合，当需要跨类别地对样本图像数据进行分析，通常需要采用多个类别的样本图像数据对分析模型进行训练，当需要采用尾部数据920作为样本图像数据时，同样会因为尾部数据920的数量限制，使得分析模型很难学习到头部数据910与尾部数据920之间的差异，使得跨域(domain)学习的效果较差等。
200.可选地，上述样本图像的生成方法实现为如下四个部分：(一)构建样本图像集；(二)构建增强样本；(三)概率分布的构建；(四)数据增强。
201.(一)构建样本图像集
202.可选地，通过构建样本图像集，为待进行样本增强的指定样本图像提供丰富的选择空间。
203.示意性的，样本图像集中的样本图像为来自自然界中未经加工的图像集合。可选地，在获取样本图像时，可以无需获取其样本标签，也即：样本图像集可以实现为一个无标签数据集。
204.可选地，基于自然场景中的样本图像大多符合如图9所示的长尾分布。可选地，在将日常图像作为指定样本图像进行样本增强时，将头部数据910对应的样本图像集合作为
样本图像集；或者，在小样本增量学习中，即：在将稀缺图像作为指定样本图像进行样本增强时，将尾部数据920对应的样本图像集合作为样本图像集等；或者，选择较为相似领域的任意数据集作为样本数据集，如：搜集得到的图片、网络上标准的数据集(如：imagenet数据集)等。
205.(二)构建增强样本
206.可选地，在获取得到用于进行增强的样本数据集后，假设需要对一张样本图像a进行样本增强，即：将样本图像a作为待进行样本增强的指定样本图像，通过样本图像的生成方法对样本图像a进行变换，得到多个与样本图像a相关的变化图像。
207.可选地，采用上述构建得到的样本图像集中的样本图像，对样本图像a进行样本增强。例如：从样本图像集中任意选择多个样本，记为b1，b2，b3，
…
；之后，将样本图像a横竖划分为n*n的方块，如图10所示，将样本图像a1010进行划分后，一共得到n2个小方块1020。
208.可选地，按照每个小方块的横纵坐标位置，将每个小方块称为一个点，则在通过样本图像的生成方法对样本图像a进行样本增强时，通过替换这些点完成对样本图像a的增强过程。
209.(三)概率分布的构建
210.可选地，采用标准化的负对数复合的二元高斯分布、二维的狄利克雷分布等概率分布函数，对n2个小方块进行采样。
211.示意性的，如图6所示，采用标准化的一个负对数复合的二元高斯分布作为概率分布函数，该概率分布函数直观表现为一个碗状分布形状。
212.可选地，基于该概率分布函数，对n2个小方块对应的n2个点依概率进行采样，从而在采样后得到若干被选择的点。示意性的，上述n2个小方块对应的n*n的空间对应一个二维矩阵。其中，将被选择的点的对应元素记为1，将未被选择的点的对应元素记为0，从而将该二维矩阵记做掩膜(mask)。
[0213][0214]
其中，用于指示一个二维正态分布；(x1,x2)用于指示任意一个点；p(x1,x2)用于指示(x1,x2)点被选择的概率；用于指示mask的中心坐标，其中，为横坐标，为纵坐标。
[0215]
示意性的，通过上述概率分布公式，得到如图6所示的二元高斯分布的概率分布函数示意图。
[0216]
可选地，通过上述概率分布的构建过程，使得指定样本图像以及候选样本图像的四周区域更容易被采样到，从而能够实现为指定样本图像替换不同背景的过程，并且也能够保护指定样本图像的主体部分。此外，采用上述概率分布的构建过程得到的概率分布函数示意图，也使得中间部分存在一定被采样到的小概率情况，从而也增加了样本增强的灵活性和多样性。
[0217]
(四)区域替换
[0218]
可选地，在得到代表概率分布规律的mask后，将mask m作用于指定样本图像a以及
其他被用于进行样本增强过程的候选样本图像b1、候选样本图像b2、候选样本图像b3等。其中，m用于指示被标记为1的小方块的数量。
[0219]
示意性的，以指定样本图像a和候选样本图像b1进行样本增强过程为例。在将指定样本图像a和候选样本图像b1进行混合时，对两幅图像进行像素层面的混合，由于指定样本图像a和候选样本图像b1被划分为n*n个小方块，mask m也是n*n的维度，则采用如下公式进行像素层面的混合过程。
[0220][0221][0222]
其中，m用于指示被标记为1的小方块(被选择的目标子图区域)；(1-m)用于指示被标记为0的小方块(未被选择的子图区域)；xa用于指示指定样本图像a的横坐标；xb用于指示候选样本图像b的横坐标；用于指示增强样本图像的横坐标；用于指示增强样本图像的纵坐标；
⊙
用于指示对应元素乘。
[0223]
可选地，指定样本图像a具有对应的样本标签a，在得到增强样本图像后，该增强样本图像的标签为指定样本图像a对应的样本标签a。也即：与相关技术相比，本技术实施例提供的样本图像的生成方法的思想在于进行图像背景的增强，故无需用到标签平滑，也无需模型将调整后生成的增强样本图像与用于进行样本增强的候选样本图像联系起来。
[0224]
值得注意的是，以上仅为示意性的举例，本技术实施例对此不加以限定。
[0225]
在一个可选的实施例中，将上述样本图像的生成方法应用到图像数据的各种任务中，例如图片分类、目标检测、图像分割等。
[0226]
可选地，当将上述样本图像的生成方法应用到图像分类任务中时，由于图像分类的数据为较为简单的单主体数据，因此可以从指定样本图像中选择较少的目标子图区域(如：划分子图区域较稀疏)，并进行样本增强过程；或者，当将上述样本图像的生成方法应用到图像分割任务中时，由于图像分割的训练集数据一般拥有多个主体，因而可以从指定样本图像中选择较多的目标子图区域(如：划分子图区域较密集)，并进行样本增强过程。
[0227]
示意性的，如图11所示，将上述样本图像的生成方法作为数据增强模块1110，在数据增强模块1110中，从样本图像集中获取得到候选样本图像1111，利用候选样本图像1111对指定样本图像1112进行上述样本增强过程，从而得到增强样本图像1113，也即：通过样本图像的生成方法将一张指定样本图像扩展成多个增强样本图像，之后，利用扩展得到的增强样本图像进行模型训练过程。
[0228]
示意性的，将多个增强样本图像1113输入特征提取模块1120，并通过全连接层(fully-connected layer)，以得到更好的特征结果
[0229]
也即：将采用上述样本图像的生成方法确定的数据增强模块1110作为一个单独的模块，插入模型的输入端，使得该样本图像的生成方法能够应用于众多的模型，从而和各种图像处理方法相结合。如：在与目标检测、图像分割等方法相结合时，在模型的输入端插入采用样本图像的生成方法得到的上述数据增强模块1110，不需要改变方法的其他部分，即可实现效果的提升。
[0230]
值得注意的是，以上仅为示意性的举例，可以视情况差异选择不同的概率分布函数以达到最好的效果，本技术实施例对此不加以限定。
[0231]
综上所述，由于概率分布条件是基于图像主体在图像中的分布规律而确定的条件，因此不仅能够较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到大批量增强样本图像，通过增强样本图像提升指定样本图像的多样性，在对模型进行训练时，能够借助获取得到的增强样本图像，挖掘到更多的图像分布规律，突破图像数据集的局限性，提升模型的训练效果。
[0232]
在本技术实施例中，通过样本图像的生成方法对指定样本图像进行增强，以丰富指定样本图像的图像背景，同时保护指定样本图像的主体部分不易受损。并不仅仅通过少量的指定样本图像对模型进行训练，而是借助扩展得到的增强样本图像，对模型进行更全面地训练，使得模型具有更强的鲁棒性，也能够更好地在图片分类场景、目标检测场景、图像分割场景下进行分析。上述样本图像的生成方法的算法思想简单，操作容易，即插即用，无需额外的训练辅助网络，是一种低成本的增强方法。
[0233]
图12是本技术一个示例性实施例提供的样本图像的生成装置的结构框图，如图12所示，该装置包括如下部分：
[0234]
获取模块1210，用于获取指定样本图像和候选样本图像，所述指定样本图像是待通过所述候选样本图像进行样本增强的图像；
[0235]
划分模块1220，用于对所述指定样本图像进行区域划分，得到所述指定样本图像中的多个子图区域；
[0236]
确定模块1230，用于基于概率分布条件从所述多个子图区域中确定符合概率要求的至少一个目标子图区域，作为待增强的子图区域，其中，所述概率分布条件是基于图像主体在图像中的分布规律确定的条件；
[0237]
配准模块1240，用于基于所述指定样本图像和所述候选样本图像之间的配准关系，从所述候选样本图像中确定出与所述至少一个目标子图区域匹配的至少一个候选子图区域；
[0238]
应用模块1250，用于将所述至少一个候选子图区域应用于所述指定样本图像中所述至少一个目标子图区域的区域位置处，得到增强样本图像，所述增强样本图像是对所述指定样本图像调整后生成的样本图像。
[0239]
在一个可选的实施例中，所述配准模块1240还用于基于二维正态分布条件从所述多个子图区域中确定符合概率要求的至少一个目标子图区域；其中，所述指定样本图像中第一子图区域的第一分布概率高于第二子图区域的第二分布概率，所述第一子图区域与所述指定样本图像中心点之间的第一距离，大于所述第二子图区域与所述指定样本图像中心点之间的第二距离。
[0240]
在一个可选的实施例中，所述配准模块1240还用于基于所述二维正态分布条件，以及多个子图区域与所述指定样本图像中心点之间的距离，确定多个子图区域分别对应的分布概率；获取所述多个子图区域中分布概率高于概率阈值的子图区域；从分布概率高于概率阈值的子图区域中确定出所述至少一个目标子图区域。
[0241]
在一个可选的实施例中，所述应用模块1250还用于将所述指定样本图像中所述至少一个目标子图区域替换为所述至少一个候选子图区域，得到所述增强样本图像。
[0242]
在一个可选的实施例中，所述指定样本图像中包括n个目标子图区域，所述候选样本图像中包括n个候选子图区域，n为正整数；
[0243]
所述应用模块1250还用于基于所述指定样本图像和所述候选样本图像之间的配准关系，确定所述n个目标子图区域与所述n个候选子图区域之间的配对关系，其中，第i个目标子图区域与第i个候选子图区域配对，0＜i≤n，且i为整数；将第i个目标子图区域替换为第i个候选子图区域，并迭代完成所述n个目标子图区域和所述n个候选子图区域之间的替换，得到所述增强样本图像。
[0244]
在一个可选的实施例中，所述指定样本图像标注有指定样本标签；
[0245]
所述应用模块1250还用于在所述指定样本图像中，将所述至少一个候选子图区域应用于所述至少一个目标子图区域的区域位置处，将所述指定样本标签作为所述增强样本图像对应的样本标签。
[0246]
在一个可选的实施例中，所述应用模块1250还用于将所述增强样本图像输入图像识别模型中，所述图像识别模型为待训练的识别模型；获取所述图像识别模型输出的图像预测结果；基于所述图像预测结果与所述增强样本图像对应的指定样本标签之间的差异，确定损失值；以所述损失值对所述图像识别模型进行训练，得到目标图像识别模型，所述目标图像识别模型用于对待识别图像进行图像识别。
[0247]
在一个可选的实施例中，所述概率分布条件是通过多个样本区域图像确定的条件，所述样本区域图像是预先收集的图像数据；
[0248]
所述配准模块1240还用于通过区域识别模型对所述多个样本区域图像进行区域识别，确定与所述多个样本区域图像分别对应的图像主体区域，所述图像主体区域用于指示所述样本区域图像中图像主体所处的图像区域；综合分析多个图像主体区域在对应样本区域图像中的区域位置，确定所述概率分布条件。
[0249]
在一个可选的实施例中，所述多个图像主体区域中包括第一图像主体区域和第二图像主体区域，所述第一图像主体区域用于指示第一样本区域图像对应的图像主体区域，所述第二图像主体区域用于指示第二样本区域图像对应的图像主体区域；
[0250]
所述配准模块1240还用于确定所述第一图像主体区域在所述第一样本区域图像中的第一区域位置，以及所述第二图像主体区域在所述第二样本区域图像中的第二区域位置；综合分析所述第一区域位置和所述第二区域位置，确定主体区域分布规律，将所述主体区域分布规律作为所述概率分布条件。
[0251]
在一个可选的实施例中，所述配准模块1240还用于以所述指定样本图像为目标配准图像，将所述候选样本图像配准至所述指定样本图像上，确定所述指定样本图像与所述候选样本图像的所述配准关系。
[0252]
综上所述，由于概率分布条件是基于图像主体在图像中的分布规律而确定的条件，因此通过上述样本图像的生成装置，不仅能够较好地保护了图像主体的图像信息，还能利用候选子图区域对指定样本图像中除图像主体以外的其他图像区域进行扩展，得到大批量增强样本图像，通过增强样本图像提升指定样本图像的多样性，在对模型进行训练时，能够借助获取得到的增强样本图像，挖掘到更多的图像分布规律，突破图像数据集的局限性，提升模型的训练效果。
[0253]
需要说明的是：上述实施例提供的样本图像的生成装置，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，
上述实施例提供的样本图像的生成装置与样本图像的生成方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0254]
图13示出了本技术一个示例性实施例提供的服务器的结构示意图。该服务器1300包括中央处理单元(central processing unit，cpu)1301、包括随机存取存储器(random access memory，ram)1302和只读存储器(read only memory，rom)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。服务器1300还包括用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1306。
[0255]
大容量存储设备1306通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1306及其相关联的计算机可读介质为服务器1300提供非易失性存储。也就是说，大容量存储设备1306可以包括诸如硬盘或者紧凑型光盘只读存储器(compact disc read only memory，cd-rom)驱动器之类的计算机可读介质(未示出)。
[0256]
不失一般性，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、带电可擦可编程只读存储器(electrically erasable programmable read only memory，eeprom)、闪存或其他固态存储技术，cd-rom、数字通用光盘(digital versatile disc，dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1306可以统称为存储器。
[0257]
根据本技术的各种实施例，服务器1300还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即服务器1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机系统(未示出)。
[0258]
上述存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，被配置由cpu执行。
[0259]
本技术的实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各方法实施例提供的样本图像的生成方法。
[0260]
本技术的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行，以实现上述各方法实施例提供的样本图像的生成方法。
[0261]
本技术的实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中任一所述的样本图像的生成方法。
[0262]
可选地，该计算机可读存储介质可以包括：只读存储器(rom，read only memory)、
随机存取记忆体(ram，random access memory)、固态硬盘(ssd，solid state drives)或光盘等。其中，随机存取记忆体可以包括电阻式随机存取记忆体(reram，resistance random access memory)和动态随机存取存储器(dram，dynamic random access memory)。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0263]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0264]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。