图像数据处理方法、装置及介质与流程

1.本技术涉及计算机及人工智能技术领域，具体而言，涉及一种图像数据处理方法、装置及介质。


背景技术：

2.在图像数据处理场景中，比如在针对图像中目标对象的分割场景，通常采用经典的分割模型(例如hrnet、改进rcnn等)，但针对高分辨率图像的分割，经典的分割模型需采用高分辨率图像进行模型训练，且模型在训练过程较慢。
3.基于此，如何提高图像数据处理的效率是本领域技术人员亟待解决的技术问题。


技术实现要素：

4.本技术的实施例提供了一种图像数据处理方法、装置、计算机程序产品或计算机程序、计算机可读介质，进而至少在一定程度上可以提高图像数据处理的效率。
5.本技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本技术的实践而习得。
6.根据本技术实施例的一个方面，提供了一种图像数据处理方法，包括：获取待处理图像，所述待处理图像中包括至少一个目标对象；获取图像分割模型，所述图像分割模型包括基础分割模型和分割细化模型，所述基础分割模型用于提取所述待处理图像中目标对象的基础边界信息，所述分割细化模型用于修正所述基础边界信息；通过所述图像分割模型对所述待处理图像中的目标对象进行分割，得到目标边界信息。
7.根据本技术实施例的一个方面，提供了一种图像数据处理装置，包括：第一获取单元，被用于获取待处理图像，所述待处理图像中包括至少一个目标对象；第二获取单元，被用于获取图像分割模型，所述图像分割模型包括基础分割模型和分割细化模型，所述基础分割模型用于提取所述待处理图像中目标对象的基础边界信息，所述分割细化模型用于修正所述基础边界信息；分割单元，被用于通过所述图像分割模型对所述待处理图像中的目标对象进行分割，得到目标边界信息。
8.在本技术的一些实施例中，基于前述方案，所述图像分割模型通过如下步骤预先训练：获取待训练基础分割模型和待训练分割细化模型；第四获取单元，被用于获取样本图像，以及获取针对所述样本图像中目标对象边界的标注信息，所述标注信息用于表征所述样本图像中各个目标对象的实际边界信息；训练单元，被用于基于所述待训练基础分割模型和所述待训练分割细化模型，通过所述样本图像和所述标注信息进行模型训练，得到所述图像分割模型。
9.在本技术的一些实施例中，基于前述方案，所述样本图像的图像分辨率低于预定分辨率阈值。
10.在本技术的一些实施例中，基于前述方案，所述训练单元配置为：通过所述样本图像和所述标注信息训练所述待训练基础分割模型，得到所述基础分割模型；获取由所述基
础分割模型对所述样本图像中的目标对象进行分割之后得到的基础边界信息；通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型，得到所述分割细化模型；对所述基础分割模型和所述分割细化模型进行拼接，得到所述图像分割模型。
11.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本图像，通过所述待训练基础分割模型提取所述样本图像中目标对象的样本基础边界信息；根据所述样本基础边界信息和所述标注信息之间的误差，通过损失函数反向更新所述待训练基础分割模型中的模型参数，得到所述基础分割模型。
12.在本技术的一些实施例中，基于前述方案，所述待训练分割细化模型中包括由多个单网络结构通过级联方式连接的多级联网络结构，所述训练单元还配置为：将所述样本图像和所述基础边界信息输入至所述多级联网络结构；基于所述样本图像和所述基础边界信息，触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息，得到所述分割细化模型。
13.在本技术的一些实施例中，基于前述方案，所述装置还包括：扰动单元，被用于在将所述样本图像和所述基础边界信息输入至所述多级联网络结构之前，对所述基础边界信息进行扰动操作，得到至少一个扰动的基础边界信息。
14.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本图像和所述基础边界信息，触发首个单网络结构自适应学习所述样本图像中目标对象的边界信息；基于所述样本图像，所述基础边界信息，以及上一个单网络结构输出的中间基础边界信息，触发除首个单网络结构之外的每一个单网络结构自适应学习所述样本图像中目标对象的边界信息，其中，所述多级联网络结构中每一个单网络结构输出的中间基础边界信息的信息尺度依次递增。
15.在本技术的一些实施例中，基于前述方案，所述多级联网络结构包括第一多级联网络结构和第二多级联网络结构，所述训练单元还配置为：基于所述样本图像和所述基础边界信息，触发所述第一多级联网络结构从图像的全局视角自适应学习所述样本图像中目标对象的边界信息，并输出针对所述样本图像中目标对象的全局基础边界信息；基于所述样本图像和所述全局基础边界信息，触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息。
16.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：按照预定裁剪顺序，依次从所述样本图像中裁剪得到预定裁剪尺度的图像区域，并在所述全局基础边界信息中裁剪得到与所述图像区域对应的局部基础边界信息；基于所述图像区域和所述局部基础边界信息，触发所述第二多级联网络结构自适应学习所述样本图像中目标对象的边界信息。
17.在本技术的一些实施例中，基于前述方案，所述训练单元配置为：将所述待训练分割细化模型的模型结构嵌入在所述待训练图像分割模型中，得到待训练图像分割模型；通过所述样本图像和所述标注信息训练所述待训练图像分割模型，得到所述图像分割模型。
18.在本技术的一些实施例中，基于前述方案，所述待处理图像包括高分辨率人物图像，所述目标对象包括所述高分辨率人物图像中人物的目标区域，所述高分辨率人物图像的分辨率高于或等于预定分辨率阈值。
19.根据本技术实施例的一个方面，提供了一种计算机程序产品或计算机程序，该计
算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行如上述实施例中所述的图像数据处理方法。
20.根据本技术实施例的一个方面，还提供了一种图像数据处理装置，其特征在于，包括有存储器，以及一个以上程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的图像数据处理方法的指令。
21.根据本技术实施例的一个方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行以实现如上述实施例中所述的图像数据处理方法所执行的操作。
22.在本技术的一些实施例所提供的技术方案中，由于所述图像分割模型包括用于提取所述待处理图像中目标对象的基础边界信息的基础分割模型和用于修正所述基础边界信息的分割细化模型，可以通过所述基础分割模型对包括高分辨率图像在内的任何分辨率的图像进行基础分割，并可以通过所述分割细化模型对所述基础分割输出的分割结果进行修正，得到高质量的针对所述待处理图像的目标边界信息，通过本技术提出的方案，无需通过高分辨图像数据集训练模型，仅通过低分辨率图像数据集也能够训练得到用来高质量分割高分辨率图像的所述图像分割模型，因此，通过所述图像分割模型能够提高图像数据处理的效率。
23.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
25.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图；
26.图2示出了根据本技术一个实施例的图像数据处理方法的流程图；
27.图3示出了根据本技术一个实施例的在获取图像分割模型之前的方法流程图；
28.图4示出了根据本技术一个实施例的通过所述样本图像和所述标注信息进行模型训练的细节流程图；
29.图5示出了根据本技术一个实施例的通过所述样本图像和所述标注信息训练所述待训练基础分割模型的细节流程图；
30.图6示出了根据本技术一个实施例的通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型的细节流程图；
31.图7示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的细节流程图；
32.图8示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的框架示意图；
33.图9示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的细节流程图；
34.图10示出了根据本技术一个实施例的触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息的细节流程图；
35.图11示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的框架示意图；
36.图12示出了根据本技术一个实施例的通过所述样本图像和所述标注信息进行模型训练的细节流程图；
37.图13示出了根据本技术一个实施例的图像数据处理装置的框图；
38.图14示出了根据本技术一个实施例的图像数据处理装置的框图。
具体实施方式
39.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本技术将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
40.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本技术的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本技术的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本技术的各方面。
41.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
42.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
43.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
44.需要注意的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的对象在适当情况下可以互换，以便这里描述的本技术的实施例能够以除了在图示或描述的那些以外的顺序实施。
45.本技术中的实施例有涉及到关于人工智能的技术，即通过人工智能实现了对数据(例如图像数据)的完全自动化处理。人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感
知、推理与决策的功能。
46.图1示出了可以应用本技术实施例的技术方案的示例性系统架构的示意图。
47.如图1所示，系统架构可以包括终端设备(如图1中所示智能手机101、平板电脑102和便携式计算机103中的一种或多种，当然也可以是台式计算机等等，但并不局限于此，本技术在此不做限制)、网络104和服务器105。网络104用以在终端设备和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线通信链路、无线通信链路等等。
48.在本技术的一个实施例中，用户在需要对待处理图像中至少一个目标对象进行分割时，可以通过终端设备将包括至少一个目标对象的待处理图像发送至服务器105，服务器105在获取待处理图像之后，获取图像分割模型，并通过所述图像分割模型对所述待处理图像中的目标对象进行分割，得到目标边界信息，其中，所述图像分割模型包括基础分割模型和分割细化模型，所述基础分割模型用于提取所述待处理图像中目标对象的基础边界信息，所述分割细化模型用于修正所述基础边界信息。
49.在本实施例中，由于所述图像分割模型包括用于提取所述待处理图像中目标对象的基础边界信息的基础分割模型和用于修正所述基础边界信息的分割细化模型，可以通过所述基础分割模型对包括高分辨率图像在内的任何分辨率的图像进行基础分割，并可以通过所述分割细化模型对所述基础分割输出的分割结果进行修正，得到高质量的针对所述待处理图像的目标边界信息，通过本技术提出的方案，无需通过高分辨图像数据集训练模型，仅通过低分辨率图像数据集也能够训练得到用来高质量分割高分辨率图像的所述图像分割模型，因此，通过所述图像分割模型能够提高图像数据处理的效率。
50.需要说明的是，本技术实施例所提供的图像数据处理方法可以由服务器105执行，相应地，图像数据处理装置一般设置于服务器105中。但是，在本技术的其它实施例中，终端设备也可以与服务器具有相似的功能，从而执行本技术实施例所提供的图像数据处理方案。
51.还需要说明的是，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
52.需要解释的是，如上所述的云计算(cloud computing)是一种计算模式，它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务。提供资源的网络被称为“云”。“云”中的资源在使用者看来是可以无限扩展的，并且可以随时获取，按需使用，随时扩展。通过建立云计算资源池(简称云平台，一般称为iaas(infrastructure as a service，基础设施即服务)平台，在资源池中部署多种类型的虚拟资源，供外部客户选择使用。云计算资源池中主要包括：计算设备(为虚拟化机器，包含操作系统)、存储设备、网络设备。
53.以下对本技术实施例的技术方案的实现细节进行详细阐述：
54.图2示出了根据本技术一个实施例的图像数据处理方法的流程图，该图像数据处理方法可以由具有计算处理功能的设备来执行，比如可以由图1中所示的服务器105来执行，或者可以由图1中所示的终端设备来执行。参照图2所示，该图像数据处理方法至少包括
步骤210至步骤250，详细介绍如下：
55.在步骤210中，获取待处理图像，所述待处理图像中包括至少一个目标对象。
56.在本技术中，所述待处理图像可以包括高分辨率人物图像，所述目标对象可以包括所述高分辨率人物图像中人物的各个目标区域。
57.需要说明的是，所述高分辨率人物图像的分辨率高于或等于预定分辨率阈值，比如，分辨率高于或等于1080p的人物图像可以是高分辨率图像。
58.还需要说明的是，所述待处理图像除了可以是高分辨图像之外，还可以是低分辨图像，即分辨率低于预定分辨率阈值的图像。
59.还需要说明的是，所述待处理图像除了可以是人物图像之外，还可以是其它类型的图像，比如，建筑物图像，动物图像等等，本技术在此不做具体限定。
60.在本技术中，所述待处理图像中包括至少一个目标对象，以高分辨率人物图像为例，目标对象可以包括所述人物图像中人物的各个目标区域，比如，目标区域可以包括人物的头部区域、皮肤区域、外套区域、t恤区域、半身裙区域、裤子区域、连衣裙区域、领带区域等等，其中，每相邻目标区域之间有具体的分界线。
61.继续参照图2，在步骤230中，获取图像分割模型，所述图像分割模型包括基础分割模型和分割细化模型，所述基础分割模型用于提取所述待处理图像中目标对象的基础边界信息，所述分割细化模型用于修正所述基础边界信息。
62.在本技术中，所述图像分割模型可以通过预先的模型训练得到，而在训练待训练模型之前，则需要获取待训练基础分割模型和待训练分割细化模型，并通过对待训练基础分割模型和待训练分割细化模型进行模型训练，可以得到包括所述基础分割模型和所述分割细化模型的图像分割模型。
63.在本技术的一个实施例中，在进行模型训练之前，还可以基于模型剪枝算法，模型蒸馏算法，以及模型量化算法中的任意一种，对所述待训练基础分割模型和所述待训练分割细化模型中的至少一种模型进行压缩处理。
64.在本技术中，对所述待训练基础分割模型和所述待训练分割细化模型中的至少一种模型进行压缩处理，其好处在于，可以在模型精度损失较小或者无损的情况下，将所述待训练基础分割模型和所述待训练分割细化模型的模型体积进一步减少，从而可以进一步加快计算速度，同时还能节省计算机资源。
65.继续参照图2，在步骤250中，通过所述图像分割模型对所述待处理图像中的目标对象进行分割，得到目标边界信息。
66.在本技术中，通过所述图像分割模型对所述待处理图像中的目标对象进行分割的过程中，可以是通过图像分割模型中的基础分割模型对待处理图像进行基础分割，得到基础边界信息，一般情况下，该基础边界信息是不准确的，基于此，本技术通过分割细化模型对该基础分割模型进行进一步修正，可以得到准确度较高的目标边界信息。
67.需要说明的是，目标对象的边界信息实质上可以为与图像对应的分割图。
68.在本技术中，所提出的图像数据处理方案主要基于预先训练的图像分割模型实现，为了使本领域技术人员更清楚的理解本技术所提出的图像分割模型，下面将详细介绍本技术所提到的关于所述图像分割模型的训练细节。
69.在本技术的一个实施例中，在如图2所示步骤230之前，即在获取图像分割模型之
前，还可以执行如图3所示的步骤，即通过如图3所示的步骤预先训练所述图像分割模型。
70.参见图3，示出了根据本技术一个实施例的在获取图像分割模型之前的方法流程图。具体包括步骤220至步骤240：
71.在步骤220中，获取待训练基础分割模型和待训练分割细化模型。
72.在本技术中，所述待训练基础分割模型可以是pspnet模型(pyramid scene parsing network)，其核心模块是金字塔池化模块(pyramid pooling module)，它能够聚合不同区域的上下文信息,从而提高获取全局信息的能力。
73.在本技术中，所述待训练分割细化模型可以是cascadepsp级联分割优化模型，其可以在可能的情况下完善和纠正局部边界，可以实现优化任意给定的分割的边界细节效果。具体来说，模型的输入是原始高分辨率图像和其在其他网络上输出的粗分割结果，模型的输出是精细化的分割结果。
74.继续参照图3，在步骤240中，获取样本图像，以及获取针对所述样本图像中目标对象边界的标注信息，所述标注信息用于表征所述样本图像中各个目标对象的实际边界信息。
75.在图像分割的一些应用领域中，通常需要对高分辨图像进行分割，然而，对高分辨率图像进行分割的模型一般需要高分辨样本图像进行训练，通过低分辨图像训练得到的一般模型无法对高分辨图像进行高质量的图像分割，而在大多数情况下，通过高分辨样本图像训练模型主要存在两个问题，一方面，高分辨样本图像的数据集较少，并且构造高分辨率样本图像的成本较高。另一方面，由于高分辨率图像的数据量大，使得通过高分辨样本图像训练模型所需的计算量较大，从而导致训练效率低。
76.基于上述原因，一方面，本技术所获取的样本图像为低分辨图像，即样本图像的图像分辨率低于预定分辨率阈值，并且获取针对所述样本图像中目标对象边界的用于表征所述样本图像中各个目标对象的实际边界信息的标注信息。另一方面，本技术除了获取待训练基础分割模型之外，还获取了待训练分割细化模型，以使得通过低分辨率样本图像训练的基础分割模型和通过低分辨率样本图像训练的分割细化模型能够配合应用到针对高分辨图像的图像分割中去。
77.继续参照图3，在步骤260中，基于所述待训练基础分割模型和所述待训练分割细化模型，通过所述样本图像和所述标注信息进行模型训练，得到所述图像分割模型。
78.在本技术的一个实施例中，本技术提出的数据处理方法可以应用到服装分割领域，当前业内解决高分辨率服装分割问题多采用经典的分割模型(hrnet、改进rcnn等)，但针对高分辨率问题模型需采用高分辨率图像进行模型训练，且模型在训练过程较慢。
79.在服装分割领域，常见服装分割数据集cihp、lip等均为分辨率较低的数据集且数据标注有较多瑕疵，故直接使用公开数据集训练一般分割模型存在较多问题，人工标注高分辨率服装数据成本高、时间慢。
80.由于高分辨率服装分割主要存在问题是暂时没有公开的、较精准的服装分割数据集，且模型训练精度不高，因此，针对以上问题，通过本技术提出解决方案可以是：首先获取低分辨的样本图像(比如，采用公开的人体解析数据集(lip、cihp)与服装解析数据集(cpp)，混合多个数据集提高模型的泛化能力与训练精度)，然后将基础分割模型(比如pspnet分割模型)与分割细化模型(比如cascade-psp分割优化模型)相结合，并通过两阶段
训练的方式使得基础分割模型完成图像的基础分割，分割细化模型对基础分割结果进行修正，训练过程中避免了采用高分辨率数据。最后，针对服装分割特性，对最终模型的输出结果进行整理，边缘处更符合需要的分割效果。
81.在如图3所示步骤260的一个实施例中，基于所述待训练基础分割模型和所述待训练分割细化模型，通过所述样本图像和所述标注信息进行模型训练，得到所述图像分割模型，可以按照如图4所示的步骤执行。
82.参见图4，示出了根据本技术一个实施例的通过所述样本图像和所述标注信息进行模型训练的细节流程图。具体包括步骤261至步骤264：
83.步骤261，通过所述样本图像和所述标注信息训练所述待训练基础分割模型，得到所述基础分割模型。
84.步骤262，获取由所述基础分割模型对所述样本图像中的目标对象进行分割之后得到的基础边界信息。
85.步骤263，通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型，得到所述分割细化模型。
86.步骤264，对所述基础分割模型和所述分割细化模型进行拼接，得到所述图像分割模型。
87.在如图4所示步骤261的一个实施例中，通过所述样本图像和所述标注信息训练所述待训练基础分割模型，得到所述基础分割模型，可以按照如图5所示的步骤执行。
88.参见图5，示出了根据本技术一个实施例的通过所述样本图像和所述标注信息训练所述待训练基础分割模型的细节流程图。具体包括步骤2611至步骤2612：
89.步骤2611，基于所述样本图像，通过所述待训练基础分割模型提取所述样本图像中目标对象的样本基础边界信息。
90.步骤2612，根据所述样本基础边界信息和所述标注信息之间的误差，通过损失函数反向更新所述待训练基础分割模型中的模型参数，得到所述基础分割模型。
91.在本实施例中，在通过所述待训练基础分割模型提取所述样本图像中目标对象的样本基础边界信息的过程中，可以首先提取所述样本图像中的特征信息，得到样本特征图，然后将所述样本特征图输入至所述待训练基础分割模型，由所述待训练基础分割模型通过所述样本特征图提取所述样本图像中目标对象的样本基础边界信息，进一步的，由于所述标注信息表征了所述样本图像中各个目标对象的实际边界信息，因此，所述样本基础边界信息与所述标注信息之间会存在误差，基于此，可以根据该误差，通过损失函数反向更新所述待训练基础分割模型中的模型参数，得到所述基础分割模型。
92.在如图4所示步骤262中，可以获取由所述基础分割模型对所述样本图像中的目标对象进行分割之后得到的基础边界信息，需要说明的是，尽管所述基础边界信息是由训练好的基础分割模型提取的，但由于不能将所述基础分割模型训练的绝对准确，所以，得到的基础边界信息仍然不是准确的。
93.在本技术中，所述待训练分割细化模型中可以包括由多个单网络结构通过级联方式连接的多级联网络结构。
94.在如图4所示步骤263的一个实施例中，通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型，得到所述分割细化模型，可以按照如图6所示的步骤执行。
95.参照图6，示出了根据本技术一个实施例的通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型的细节流程图。具体包括步骤2631至步骤2632：
96.步骤2631，将所述样本图像和所述基础边界信息输入至所述多级联网络结构。
97.步骤2632，基于所述样本图像和所述基础边界信息，触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息，得到所述分割细化模型。
98.在如图6所示步骤的一个实施例中，在步骤2631之前，即在将所述样本图像和所述基础边界信息输入至所述多级联网络结构之前，还可以对所述基础边界信息进行扰动操作，得到至少一个扰动的基础边界信息。
99.在本技术中，所述扰动的基础边界信息也可以用于输入至所述多级联网络结构。
100.在本技术中，通过对所述基础分割模型输出的基础边界信息进行扰动得到的扰动的基础边界信息，可以很好的训练分割细化模型自适应的优化能力。
101.在如图6所示步骤2632的一个实施例中，基于所述样本图像和所述基础边界信息，触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息，可以按照如图7所示的步骤执行。
102.参见图7，示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的细节流程图。具体包括步骤26321至步骤26322：
103.步骤26321，基于所述样本图像和所述基础边界信息，触发首个单网络结构自适应学习所述样本图像中目标对象的边界信息。
104.步骤26322，基于所述样本图像，所述基础边界信息，以及上一个单网络结构输出的中间基础边界信息，触发除首个单网络结构之外的每一个单网络结构自适应学习所述样本图像中目标对象的边界信息，其中，所述多级联网络结构中每一个单网络结构输出的中间基础边界信息的信息尺度依次递增。
105.在本技术中，不同的单网络结构可以从不同的尺度对图像和多个基础边界信息进行细化分割，多尺度输入允许模型学习图像中不同层次的结构和边界信息，从而允许模型在最好的水平上从不同的尺度对图像进行精细分割。
106.具体的，将所述样本图像和所述基础边界信息输入至首个单网络结构，该单网络结构在自适应学习图像中目标对象的边界信息的同时，还将输出一个或者多个不同信息尺度的中间基础边界信息。
107.进一步的，该一个或者多个不同信息尺度的中间基础边界信息又可以同所述样本图像和所述基础边界信息一起，作为与所述首个单网络结构相邻级联的下一个单网络结构的输入信息，以便于下一个单网络结构可以学习图像中更大信息尺度的边界信息，并输出更大信息尺度的中间基础边界信息，如此迭代，直至最后一个单网络结构学习到图像中的边界信息。
108.比如，所述基础分割模型输出的基础边界信息的信息尺度为256
×
256，则首个单网络结构输出的可以是信息尺度大小为32
×
32的中间基础边界信息，第二个单网络结构输出的可以是信息尺度大小为32
×
32和64
×
64的中间基础边界信息，第三个单网络结构输出的可以是信息尺度大小为64
×
64和256
×
256的中间基础边界信。
109.在本技术中，多级联网络结构中每一个单网络结构输出的中间基础边界信息的信息尺度依次递增，其好处在于，可以从粗尺度到细尺度，逐步精细学习图像的边界信息，以
提高模型修正图像中边界信息的准确性。
110.需要说明是，在每个单网络结构学习图像中目标对象边界信息的阶段，由于针对图像中目标对象边界信息的学习尺度不同，可以使用不同的损失函数来反向更新各个单网络结构中的参数，通过与各个单网络结构相适应的损失函数，可以更好的激励模型学习图像中目标对象的边界信息，从而可以提高模型的性能。
111.为了使本领域技术人员更好的理解上述几个实施例，下面将结合图8，以一个具体的示例进行说明。
112.参见图8，示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的框架示意图。
113.如图8所示，示出了一个三级联网络结构800，首先，将样本图像，基础边界信息，以及经过扰动的基础边界信息输入至三级联网络结构800中的第一单网络结构，第一单网络结构自适应学习图像中的边界信息，并输出32
×
32的中间基础边界信息。然后，将样本图像，基础边界信息，以及第一单网络结构输出的32
×
32的中间基础边界信息输入至三级联网络结构800中的第二单网络结构，第二单网络结构自适应学习图像中的边界信息，并输出32
×
32的中间基础边界信息和64
×
64的中间基础边界信息。最后，将样本图像，基础边界信息，以及第二单网络结构输出的32
×
32的中间基础边界信息和64
×
64的中间基础边界信息输入至三级联网络结构800中的第三单网络结构，第三单网络结构自适应学习图像中的边界信息，并输出64
×
64的中间基础边界信息和256
×
256的中间基础边界信息。
114.需要说明的是，上述实施例中从多级联网络结构的内部结构和逻辑对所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息进行了阐述，下面将从多级联网络结构的外部逻辑对所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息进行说明。
115.在本身中，所述的多级联网络结构的数量可以是多个。
116.具体的，在本技术的一个实施例中，所述多级联网络结构可以包括第一多级联网络结构和第二多级联网络结构。
117.在如图6所示步骤2632的一个实施例中，基于所述样本图像和所述基础边界信息，触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息，可以按照如图9所示的步骤执行。
118.参照图9，示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的细节流程图。具体包括步骤2633至步骤2634：
119.步骤2633，基于所述样本图像和所述基础边界信息，触发所述第一多级联网络结构从图像的全局视角自适应学习所述样本图像中目标对象的边界信息，并输出针对所述样本图像中目标对象的全局基础边界信息。
120.步骤2634，基于所述样本图像和所述全局基础边界信息，触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息。
121.可以理解的是，从图像的全局视角自适应学习所述样本图像中目标对象的边界信息，则说明需要将整个样本图像和整个基础边界信息输入至所述第一多级联网络结构，从图像的局部视角自适应学习所述样本图像中目标对象的边界信息，则说明需要将样本图像中的局部图像和基础边界信息的局部信息输入至所述第二多级联网络结构。
122.在如图9所示步骤2634的一个实施例中，基于所述样本图像和所述全局基础边界信息，触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息，可以按照如图10所示的步骤执行。
123.参照图10，示出了根据本技术一个实施例的触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息的细节流程图。具体包括步骤26341至步骤26342：
124.步骤26341，按照预定裁剪顺序，依次从所述样本图像中裁剪得到预定裁剪尺度的图像区域，并在所述全局基础边界信息中裁剪得到与所述图像区域对应的局部基础边界信息。
125.步骤26342，基于所述图像区域和所述局部基础边界信息，触发所述第二多级联网络结构自适应学习所述样本图像中目标对象的边界信息。
126.为了使本领域技术人员更好的理解上述几个实施例，下面将结合图11，以一个具体的示例进行说明。
127.参见图11，示出了根据本技术一个实施例的触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息的框架示意图。
128.如图11所示，
129.如图11所示，示出了一个第一级联网络结构1101和第二级联网络结构1102，首先，将样本图像，基础边界信息，以及经过扰动的基础边界信息输入至第一级联网络结构1101，第一级联网络结构1101自适应学习图像中的边界信息，并输出64
×
64的中间基础边界信息和256
×
256的中间基础边界信息。然后，将样本图像，基础边界信息，以及第一级联网络结构1101输出的64
×
64的中间基础边界信息和256
×
256的中间基础边界信息输入至第二级联网络结构1102，第二级联网络结构1102自适应学习图像中的边界信息，并输出256
×
256的中间基础边界信息。
130.在本技术中，通过使用全局步骤和局部步骤，可以执行高分辨率分割精化。具体来说，全局步骤考虑整个图像来学习和修正图像中目标对象的边界信息，而局部步骤则考虑局部图像来学习和修正图像中目标对象的边界信息，这可以高效且准确的优化图像中目标对象的边界信息。
131.在如图3所示步骤260的另一个实施例中，基于所述待训练基础分割模型和所述待训练分割细化模型，通过所述样本图像和所述标注信息进行模型训练，得到所述图像分割模型，还可以按照如图12所示的步骤执行。
132.参见图12，示出了根据本技术一个实施例的通过所述样本图像和所述标注信息进行模型训练的细节流程图。具体包括步骤265至步骤266：
133.步骤265，将所述待训练分割细化模型的模型结构嵌入在所述待训练图像分割模型中，得到待训练图像分割模型。
134.步骤266，通过所述样本图像和所述标注信息训练所述待训练图像分割模型，得到所述图像分割模型。
135.在本实施例中，通过将所述待训练分割细化模型的模型结构嵌入在所述待训练图像分割模型中，可以不用分成两个阶段来训练模，且能够大大降低图像分割模型所占据的内存空间，并能够从整体上提升模型训练速度，缩短训练时间。
136.本技术中，由于所述图像分割模型包括用于提取所述待处理图像中目标对象的基础边界信息的基础分割模型和用于修正所述基础边界信息的分割细化模型，可以通过所述基础分割模型对包括高分辨率图像在内的任何分辨率的图像进行基础分割，并可以通过所述分割细化模型对所述基础分割输出的分割结果进行修正，得到高质量的针对所述待处理图像的目标边界信息，通过本技术提出的方案，无需通过高分辨图像数据集训练模型，仅通过低分辨率图像数据集也能够训练得到用来高质量分割高分辨率图像的所述图像分割模型，因此，通过所述图像分割模型能够提高图像数据处理的效率。
137.以下介绍本技术的装置实施例，可以用于执行本技术上述实施例中的图像数据处理方法。对于本技术装置实施例中未披露的细节，请参照本技术上述的图像数据处理方法的实施例。
138.图13示出了根据本技术一个实施例的图像数据处理装置的框图。
139.参照图13所示，根据本技术的一个实施例的图像数据处理装置1300，包括：第一获取单元1301、第二获取单元1302和分割单元1303。
140.其中，第一获取单元1301，被用于获取待处理图像，所述待处理图像中包括至少一个目标对象；第二获取单元1302，被用于获取图像分割模型，所述图像分割模型包括基础分割模型和分割细化模型，所述基础分割模型用于提取所述待处理图像中目标对象的基础边界信息，所述分割细化模型用于修正所述基础边界信息；分割单元1303，被用于通过所述图像分割模型对所述待处理图像中的目标对象进行分割，得到目标边界信息。
141.在本技术的一些实施例中，基于前述方案，所述图像分割模型通过如下步骤预先训练：获取待训练基础分割模型和待训练分割细化模型；第四获取单元，被用于获取样本图像，以及获取针对所述样本图像中目标对象边界的标注信息，所述标注信息用于表征所述样本图像中各个目标对象的实际边界信息；训练单元，被用于基于所述待训练基础分割模型和所述待训练分割细化模型，通过所述样本图像和所述标注信息进行模型训练，得到所述图像分割模型。
142.在本技术的一些实施例中，基于前述方案，所述样本图像的图像分辨率低于预定分辨率阈值。
143.在本技术的一些实施例中，基于前述方案，所述训练单元配置为：通过所述样本图像和所述标注信息训练所述待训练基础分割模型，得到所述基础分割模型；获取由所述基础分割模型对所述样本图像中的目标对象进行分割之后得到的基础边界信息；通过所述样本图像和所述基础边界信息训练所述待训练分割细化模型，得到所述分割细化模型；对所述基础分割模型和所述分割细化模型进行拼接，得到所述图像分割模型。
144.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本图像，通过所述待训练基础分割模型提取所述样本图像中目标对象的样本基础边界信息；根据所述样本基础边界信息和所述标注信息之间的误差，通过损失函数反向更新所述待训练基础分割模型中的模型参数，得到所述基础分割模型。
145.在本技术的一些实施例中，基于前述方案，所述待训练分割细化模型中包括由多个单网络结构通过级联方式连接的多级联网络结构，所述训练单元还配置为：将所述样本图像和所述基础边界信息输入至所述多级联网络结构；基于所述样本图像和所述基础边界信息，触发所述多级联网络结构自适应学习所述样本图像中目标对象的边界信息，得到所
述分割细化模型。
146.在本技术的一些实施例中，基于前述方案，所述装置还包括：扰动单元，被用于在将所述样本图像和所述基础边界信息输入至所述多级联网络结构之前，对所述基础边界信息进行扰动操作，得到至少一个扰动的基础边界信息。
147.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：基于所述样本图像和所述基础边界信息，触发首个单网络结构自适应学习所述样本图像中目标对象的边界信息；基于所述样本图像，所述基础边界信息，以及上一个单网络结构输出的中间基础边界信息，触发除首个单网络结构之外的每一个单网络结构自适应学习所述样本图像中目标对象的边界信息，其中，所述多级联网络结构中每一个单网络结构输出的中间基础边界信息的信息尺度依次递增。
148.在本技术的一些实施例中，基于前述方案，所述多级联网络结构包括第一多级联网络结构和第二多级联网络结构，所述训练单元还配置为：基于所述样本图像和所述基础边界信息，触发所述第一多级联网络结构从图像的全局视角自适应学习所述样本图像中目标对象的边界信息，并输出针对所述样本图像中目标对象的全局基础边界信息；基于所述样本图像和所述全局基础边界信息，触发所述第二多级联网络结构从图像的局部视角自适应学习所述样本图像中目标对象的边界信息。
149.在本技术的一些实施例中，基于前述方案，所述训练单元还配置为：按照预定裁剪顺序，依次从所述样本图像中裁剪得到预定裁剪尺度的图像区域，并在所述全局基础边界信息中裁剪得到与所述图像区域对应的局部基础边界信息；基于所述图像区域和所述局部基础边界信息，触发所述第二多级联网络结构自适应学习所述样本图像中目标对象的边界信息。
150.在本技术的一些实施例中，基于前述方案，所述训练单元配置为：将所述待训练分割细化模型的模型结构嵌入在所述待训练图像分割模型中，得到待训练图像分割模型；通过所述样本图像和所述标注信息训练所述待训练图像分割模型，得到所述图像分割模型。
151.在本技术的一些实施例中，基于前述方案，所述待处理图像包括高分辨率人物图像，所述目标对象包括所述高分辨率人物图像中人物的目标区域，所述高分辨率人物图像的分辨率高于或等于预定分辨率阈值。
152.作为另一方面，本技术实施例还提供了另一种图像数据处理装置，包括有存储器，以及一个以上的程序，其中一个以上程序存储于存储器中，且经配置以由一个以上处理器执行所述一个以上程序，所述一个以上程序包含用于进行如上述实施例中所述的图像数据处理方法的指令。
153.图14示出了根据本技术一个实施例的图像数据处理装置的框图。例如，装置1400可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
154.参照图14，装置1400可以包括以下一个或多个组件：处理组件1402，存储器1404，电源组件1406，多媒体组件1408，音频组件1410，输入/输出(i/o)的接口1412，传感器组件1414，以及通信组件1416。
155.处理组件1402通常控制装置1400的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理元件1402可以包括一个或多个处理器1418来执行
指令，以完成上述的方法的全部或部分步骤。此外，处理组件1402可以包括一个或多个模块，便于处理组件1402和其他组件之间的交互。例如，处理组件1402可以包括多媒体模块，以方便多媒体组件1408和处理组件1402之间的交互。
156.存储器1404被配置为存储各种类型的数据以支持在设备1400的操作。这些数据的示例包括用于在装置1400上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
157.电源组件1406为装置1400的各种组件提供电力。电源组件1406可以包括电源管理系统，一个或多个电源，及其他与为装置1400生成、管理和分配电力相关联的组件。
158.多媒体组件1408包括在所述装置1400和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1408包括一个前置摄像头和/或后置摄像头。当设备1400处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
159.音频组件1410被配置为输出和/或输入音频信号。例如，音频组件1410包括一个麦克风(mic)，当装置1400处于操作模式，如呼叫模式、记录模式和语音信息处理模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1404或经由通信组件1416发送。在一些实施例中，音频组件1410还包括一个扬声器，用于输出音频信号。
160.i/o接口1412为处理组件1402和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
161.传感器组件1414包括一个或多个传感器，用于为装置1400提供各个方面的状态评估。例如，传感器组件1414可以检测到设备1400的打开/关闭状态，组件的相对定位，例如所述组件为装置1400的显示器和小键盘，传感器组件1414还可以搜索结果展示装置1400或装置1400一个组件的位置改变，用户与装置1400接触的存在或不存在，装置1400方位或加速/减速和装置1400的温度变化。传感器组件1414可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1414还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1414还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
162.通信组件1416被配置为便于装置1400和其他设备之间有线或无线方式的通信。装置1400可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件1416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1416还包括近场通信(nfc)模块，以促进短程
通信。例如，在nfc模块可基于射频信息处理(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
163.在示例性实施例中，装置1400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
164.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1404，上述指令可由装置1400的处理器1418执行以完成上述的图像数据处理方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
165.作为另一方面，本技术还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现上述实施例中所述的图像数据处理方法。
166.作为另一方面，本技术还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的装置中所包含的；也可以是单独存在，而未装配入该装置中。所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由该装置的处理器加载并执行以实现如上述实施例中所述的图像数据处理方法所执行的操作。
167.应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本技术的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
168.通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本技术实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本技术实施方式的方法。
169.本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。
170.应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。