一种图像特征的提取方法、装置、设备及存储介质与流程

1.本发明实施例涉及人工智能技术，尤其涉及一种图像特征的提取方法、装置、设备及存储介质。


背景技术：

2.随着技术的发展，深度学习的应用，目标检测及分类的精度越来越高。然而，无论是有监督学习还是无监督学习而来的人工智能模型，模型的预测结果受限于训练样本及标签，并且特征表征空间、预测分类空间在训练结束后即固化下来无法自动做自适应性改变，比如使用“仅有草的盆景”样本、对应标签为“草木盆景”的训练-分类模型，其无法识别“有花的盆景”，也不能将“有花的盆景”模糊识别为“盆景”。
3.当前人工智能所使用的目标检测及分类技术相对于“人”显然还不够智能，目前人工智能模型无法最大化地利用样本中有价值的信息，只能按提前标注或事后概括的描述给出预测结果，预测结果的精细度往往依赖于大量的人工工作。所以当前人工智能的表征方式，导致了模型无法充分利用已有的数据样本数据价值，也导致了模型缺乏足够的鲁棒性，消耗了大量重复性的标注及重新训练等人工投入，限制了人工智能项目的研发及工程效率效果。


技术实现要素：

4.本发明实施例提供一种图像特征的提取方法、装置、设备及存储介质，提供一种基于反事实图像生成的层级分割提取图像特征的方法，有助于提升模型自动提取图像中有价值的信息的能力，提高模型对图像表征的准确性，减少大量重复性的标注及重新训练等人工投入。
5.第一方面，本发明实施例提供了一种图像特征的提取方法，该方法包括：
6.对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；
7.根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
8.其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。
9.进一步的，对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系，包括：
10.将原始图像输入至预先训练的图像分割模型中，获取所述图像分割模型对所述原始图像进行分割处理得到的至少一个分割图像，并确定各所述分割图像与所述原始图像之间的层级关系；
11.将各所述分割图像作为新的原始图像重新输入至所述图像分割模型，直至无法再生成新的分割图像，形成与所述原始图像匹配的至少一个层级的分割图像以及不同分割图像之间的层级关系。
12.进一步的，在将原始图像输入至预先训练的图像分割模型中之前，还包括：
13.获取目标训练图像，并将所述目标训练图像输入至待训练的语义分割模型中；
14.根据所述语义分割模型输出的至少一个层级的分割训练图像，以及不同分割训练图像与所述目标训练图像之间的层级关系，形成与所述目标训练图像对应的目标层级表征结果；
15.根据所述目标层级表征结果，对各分割训练图像进行逐层还原预测，得到与所述分割训练图像匹配的反事实图像；
16.根据所述反事实图像与所述目标训练图像之间的图像差异，对所述语义分割模型中进行参数调整后，返回执行获取目标训练图像的操作，直至满足结束训练条件；
17.将训练完成的所述语义分割模型，确定为所述图像分割模型。
18.进一步的，根据所述目标层级表征结果，对各分割训练图像进行逐层还原预测，得到与所述分割训练图像匹配的反事实图像，包括：
19.在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点；
20.将与各所述子节点对应的分割训练图像输入至预先训练的反事实图像生成模型中，获取与所述父节点中的分割训练图像对应的局部反事实图像；
21.在所述目标层级表征结果中，使用所述局部反事实图像对匹配的分割训练图像进行替换，并删除各所述子节点；
22.返回执行在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点，直至获取与所述目标层级表征结果中根节点对应的所述反事实图像。
23.进一步的，在将所述目标层级表征结果，输入至预先训练的反事实图像生成模型之前，还包括：
24.根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像，并对各样本分割图像进行标注；
25.将标注后的目标组样本分割图像输入至待训练的图像生成器中，获取与目标组样本分割图像对应的目标反事实图像；
26.根据所述目标反事实图像与目标样本图像之间的图像差异，对所述待训练的图像生成器进行参数调整后，返回执行根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像的操作，直至满足结束训练条件；
27.将训练完成的图像生成器，确定为所述反事实图像生成模型。
28.进一步的，根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果，包括：
29.将各所述分割图像以及不同分割图像之间的层级关系，输入层次表征生成器hsr，形成与所述原始图像对应的层级表征结果。
30.第二方面，本发明实施例还提供了一种图像特征的提取装置，该装置包括：
31.分割图像形成与层级关系确定模块，用于对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间
的层级关系；
32.层级表征结果形成模块，用于根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
33.其中，层级表征结果具有树状层级结构，树状层级结果的每个层级包括至少一个节点，每个节点包括：分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到。
34.第三方面，本发明实施例还提供了一种计算机设备，该计算机设备包括处理器和存储器，所述存储器用于存储指令，当所述指令执行时使得所述处理器执行以下操作：
35.对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；
36.根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
37.其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。
38.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如本发明任意实施例所述的一种图像特征的提取方法。
39.本发明实施例通过对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。解决了现有图像表征方式无法通过模型最大化利用图像中有价值的信息，只能按提前标注或事后概括的描述给出预测结果，导致预测结果的精细度依赖于大量人工工作的问题，提供了一种基于反事实图像生成的层级分割提取图像特征的方法，有助于提升模型自动提取图像中有价值的信息的能力，提高模型对图像表征的准确性，减少大量重复性的标注及重新训练等人工投入。
附图说明
40.图1为本发明实施例一提供的一种图像特征的提取方法的流程图；
41.图1a为本发明实施例一提供的一种训练反事实图像生成模型的场景示意图；
42.图1b为本发明实施例一提供的一种训练图像分割模型过程中生成层级表征结果的场景示意图；
43.图1c为本发明实施例一提供的一种训练图像分割模型过程中生成反事实图像的场景示意图；
44.图1d为本发明实施例一提供的一种训练图像分割模型的场景示意图；
45.图1e为本发明实施例一提供的一种对测试图像生成层级表征结果的场景示意图；
46.图2是本发明实施例二提供中的一种图像特征的提取装置的结构示意图；
47.图3为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
48.下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。
49.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止，但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
50.本文使用的术语“待处理的原始图像”可以是未经任何处理的初始图像。“待处理的原始图像”可以是需要进行分割及由模型进行表征的图像。
51.本文使用的术语“分割图像”可以是对图像经由分割处理得到的图像。
52.本文使用的术语“层级关系”可以是分割前的图像与分割得到的分割图像之间的层次关系。
53.本文使用的术语“层级表征结果”可以是针对图像及对应分割图像得到的对图像的表征结果。
54.实施例一
55.图1为本发明实施例一提供的一种图像特征的提取方法的流程图，本实施例可适用于对图像进行层级表征的情况，该方法可以由图像特征的提取装置来执行，该装置可以通过软件和/或硬件的方式实现，并集成在人工智能终端中。具体包括如下步骤：
56.s110、对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系。
57.其中，待处理的原始图像可以是未经处理的初始图像。分割图像可以是由原始图像分割得到的，原始图像的局部图像。层级关系可以是被分割的图像与分割得到的分割图像之间的层次关系。
58.具体的，可以对待处理的原始图像进行初次的图像分割，得到第一级的分割图像，判断该第一级的各分割图像是否存在可继续分割的分割图像，如果存在，可以对可继续分割的分割图像再次进行分割，循环执行判断分割图像是否可继续分割的操作，直至所有分割图像不可继续分割，形成与原始图像匹配的至少一个层级的分割图像，并且可以根据父分割图像与相对应的各子分割图像，确定不同分割图像之间的层级关系。
59.在本实施例的一个可选实施方式中，对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系，可以包括：
60.将原始图像输入至预先训练的图像分割模型中，获取所述图像分割模型对所述原始图像进行分割处理得到的至少一个分割图像，并确定各所述分割图像与所述原始图像之
间的层级关系；将各所述分割图像作为新的原始图像重新输入至所述图像分割模型，直至无法再生成新的分割图像，形成与所述原始图像匹配的至少一个层级的分割图像以及不同分割图像之间的层级关系。
61.其中，图像分割模型可以是用于对图像进行分割直至得到多个不可继续分割图像的模型。
62.具体的，可以将原始图像输入至预先训练的图像分割模型中，进行第一次图像分割，获取至少一个分割图像，并确定该至少一个分割图像与原始图像的层级关系，即，当前至少一个分割图像为原始图像的下一级分割图像。进一步的，预先训练的图像分割模型可以判别当前的至少一个分割图像是否存在可以继续进行分割的图像，如果存在，可以将可以继续分割的图像作为新的原始图像重新输入图像分割模型中，再次获取下一级的分割图像，图像分割模型循环执行上述操作，直至无法再生成新的分割图像，从而形成与原始图像匹配的至少一个层级的分割图像以及不同分割图像之间的层级关系。
63.s120、根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果。
64.其中，层级表征结果可以是对待处理的原始图像的处理结果。层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。
65.具体的，可以将各分割图像，以及不同分割图像间的层级关系，输入hsr(hierarchical segment representation，层次表征生成器)，形成与原始图像对应的树状结构的层级表征结果。
66.本发明实施例的技术方案，通过对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。解决了现有图像表征方式无法通过模型最大化利用图像中有价值的信息，只能按提前标注或事后概括的描述给出预测结果，导致预测结果的精细度依赖于大量人工工作的问题，提供了一种基于反事实图像生成的层级分割提取图像特征的方法，有助于提升模型自动提取图像中有价值的信息的能力，提高模型对图像表征的准确性，减少大量重复性的标注及重新训练等人工投入。
67.在上述技术方案的基础上，优选可以在将原始图像输入至预先训练的图像分割模型中之前，还包括：
68.获取目标训练图像，并将所述目标训练图像输入至待训练的语义分割模型中；根据所述语义分割模型输出的至少一个层级的分割训练图像，以及不同分割训练图像与所述目标训练图像之间的层级关系，形成与所述目标训练图像对应的目标层级表征结果；根据所述目标层级表征结果，对各分割训练图像进行逐层还原预测，得到与所述分割训练图像匹配的反事实图像；根据所述反事实图像与所述目标训练图像之间的图像差异，对所述语
义分割模型中进行参数调整后，返回执行获取目标训练图像的操作，直至满足结束训练条件；将训练完成的所述语义分割模型，确定为所述图像分割模型。
69.其中，目标训练图像可以是用于训练图像分割模型的图像。待训练的语义分割模型可以是图像分割模型未经训练的初始模型。分割训练图像可以是由目标训练图像分割得到的，用于训练图像分割模型的分割图像。目标层级表征结果可以是与目标训练图像对应的具有树状结构的层级表征结果。反事实图像可以是根据多个分割图像，预测所得的图像，该图像可以与目标训练图像对应。结束训练条件可以是指训练图像集中的全部训练图像均被输入语义分割模型完成训练等条件。
70.具体的，可以从训练图像集中获取目标训练图像输入至待训练的语义分割模型中，经过至少一轮的分割操作，获取至少一个层级的分割训练图像，还可以获取不同分割训练图像与目标训练图像之间的层级关系，从而根据至少一个层级的分割训练图像与对应的层级关系，形成与目标训练图像对应的目标层级表征结果。进而可以根据树状结构的目标层级表征结果，从末位层级开始逐层向上遍历分割训练图像，逐个获取局部的反事实图像，直至得到目标层级表征结果中根节点的目标训练图像对应的反事实图像，可以进一步由图像相似度函数度量反事实图像与目标训练图像之间的差异，从而对语义分割模型的参数进行更新优化调整。再次返回执行获取目标训练图像的操作，直至满足结束训练条件，即，多次对语义分割模型的参数进行调整后，可以将训练完成的语义分割模型确定为图像分割模型。
71.进一步的，根据所述目标层级表征结果，对各分割训练图像进行逐层还原预测，得到与所述分割训练图像匹配的反事实图像，可以包括：
72.在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点；将与各所述子节点对应的分割训练图像输入至预先训练的反事实图像生成模型中，获取与所述父节点中的分割训练图像对应的局部反事实图像；在所述目标层级表征结果中，使用所述局部反事实图像对匹配的分割训练图像进行替换，并删除各所述子节点；返回执行在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点，直至获取与所述目标层级表征结果中根节点对应的所述反事实图像。
73.根据目标层级表征结果得到反事实图像，具体的，可以从目标层级表征结果中获取位于末位层级的属于同一父节点的两个子节点，将该两个子节点对应的分割训练图像输入至预先训练的反事实图像生成模型中，获取一个与当前父节点中分割训练图像对应的局部反事实图像。进而，可以用当前获取的局部反事实图像替换匹配的分割训练图像，并删除下属的子节点对应的分割训练图像，得到一个新的目标层级表征结果。根据新的目标层级表征结果，返回执行获取末位层级中归属于同一父节点的两个子节点的操作，直至获取与目标层级表征结果中根节点对应的反事实图像。
74.可选的，在将所述目标层级表征结果，输入至预先训练的反事实图像生成模型之前，还可以包括：
75.根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像，并对各样本分割图像进行标注；将标注后的目标组样本分割图像输入至待训练的图像生成器中，获取与目标组样本分割图像对应的目标反事实图像；根据所述目标反事实图像与目标样本图像之间的图像差异，对所述待训练的图像生成器进行参数调整后，返回执行根据目标样本
图像，获取与目标样本图像对应的目标组样本分割图像的操作，直至满足结束训练条件；将训练完成的图像生成器，确定为所述反事实图像生成模型。
76.其中，目标样本图像可以是用于训练反事实图像生成模型的图像。目标组样本分割图像可以包括一个目标样本图像对应的全部不可再分割的分割图像。待训练的图像生成器可以是反事实图像生成模型未经训练的初始模型，例如，可以使用biggan等gan图像生成器作为待训练的图像生成器。目标反事实图像可以是根据目标组样本分割图像预测获得的与目标样本图像匹配的图像。结束训练条件可以是样本图像集中的全部样本图像均被输入至图像生成器完成训练等条件。
77.具体的，可以从样本图像集中获取目标样本图像，并进行至少一级的分割，获取与目标样本图像对应的目标组样本分割图像，对目标组样本分割图像中各样本分割图像进行标注。从而将标注后的目标组样本分割图像输入至待训练的图像生成器中，获取与目标组样本分割图像对应的目标反事实图像，进而可以通过图像相似度函数度量目标反事实图像与目标样本图像之间的差异，对待训练的图像生成器进行参数优化调整后，再返回执行根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像的操作，直至将样本图像集中的全部样本图像生成对应的样本分割图像，并输入图像生成器完成训练后，将训练完成的图像生成器，确定为反事实图像生成模型。
78.示例性的，以下为本发明实施例一提供的形成图像层级表征结果的具体应用场景。
79.采集10000个图像样本放入样本库，图像大小为224
×
224
×
3，以8：2的比例将样本随机划分为训练集t和测试集c，batch size设定为64。假设：某输入图像为x，图像分割模型为f
depart
，层次表征生成器为f
hsr
，反事实图像生成模型为f
big-gan
。其中，batch就是每次送入网络中训练的一部分数据，而batch size就是每个batch中训练样本的数量。
80.步骤101：如图1a所示，从训练集中随机抽取1000张图像作为父节点图像，对这1000张图像，使用矩形框进行层级分割并进行标注。将分割后的子节点图像作为输入，训练反事实图像生成模型f
big-gan
，输出为基于子节点图像生成的反事实图像。使用图像相似度函数，计算输入父节点图像和生成的反事实图像之间的图像相似度，来训练反事实图像生成模型f
big-gan
，得到训练后的反事实图像生成模型f
big-gan
。
81.步骤201：从训练集t中获取训练图像x作为图像分割模型f
depart
的输入，利用图像分割模型f
depart
对x进行图像分割，得到n个分割图像，分别为：x1，
……
xi，
……
xn，对应的特征向量为：c1，
……ci
，
……cn
。对任意分割目标xi，继续利用图像分割模型f
depart
进行细分分割，得到该目标的子类分割图像。例如：图1b中目标xi的第一个子类分割图像x
i-1
，表示带叶的花，对应的特征向量为c
i-1
；第二个子类分割图像x
i-2
，表示花盆，对应的特征向量为c
i-2
。
82.对目标的子类分割图像再分别进行层层细化的分割，直至不能再细分为止。例如：图1b中带叶的花x
i-1
还可以继续分割成花x
i-1-1
和叶子x
i-1-2
，对应的特征向量分别为c
i-1-1
和c
i-1-2
。
83.步骤202：如图1b所示，基于步骤201得到的分割图像以及各分割图像的层级关系，以xi为根节点，每次分割后的图像作为子节点，使用层次表征生成器f
hsr
生成具有树状结构的层级表征结果。
84.步骤203：如图1c所示，将步骤202输出的层级表征结果作为f
big-gan
模型的输入，从
层级表征结果的最底层叶子节点逐层向上遍历，将具有相同父节点的所有子节点的表征作为反事实图像生成模型的输入，反事实图像生成模型输出父节点对应的反事实图像，直到生成根节点的反事实图像。
85.步骤204：，如图1d所示，使用图像相似度函数，计算步骤201中输入图像与步骤203生成的反事实图像之间的差异。通过计算图像相似度函数对参数的梯度，利用梯度下降方法，逐渐调节参数，减小输入图像与反事实图像的差异，进而训练模型，得到训练后的图像分割模型f
depart
。
86.步骤205：重复步骤201-204的过程，对图像分割模型f
depart
进行无监督训练，直至8000张训练图像作为训练样本训练结束。
87.步骤301：如图1e所示，以2000张测试图像作为测试样本，对训练后的图像分割模型进行测试，基于步骤205训练后得到f
depart
和f
hsr
，为输入的测试样本图像生成具有层次结构的模糊表征结果。
88.实施例二
89.图2是本发明实施例二提供的一种图像特征的提取装置的结构示意图，该装置可以执行上述各实施例中涉及到的图像特征的提取方法。参照图2，该装置包括：分割图像形成与层级关系确定模块210和层级表征结果形成模块220。
90.分割图像形成与层级关系确定模块210，用于对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；
91.层级表征结果形成模块220，用于根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
92.其中，层级表征结果具有树状层级结构，树状层级结果的每个层级包括至少一个节点，每个节点包括：分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到。
93.本发明实施例的技术方案，通过对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。解决了现有图像表征方式无法通过模型最大化利用图像中有价值的信息，只能按提前标注或事后概括的描述给出预测结果，导致预测结果的精细度依赖于大量人工工作的问题，提供了一种基于反事实图像生成的层级分割提取图像特征的方法，有助于提升模型自动提取图像中有价值的信息的能力，提高模型对图像表征的准确性，减少大量重复性的标注及重新训练等人工投入。
94.上述装置中，可选的是，分割图像形成与层级关系确定模块210，可以具体用于：
95.将原始图像输入至预先训练的图像分割模型中，获取所述图像分割模型对所述原始图像进行分割处理得到的至少一个分割图像，并确定各所述分割图像与所述原始图像之间的层级关系；
96.将各所述分割图像作为新的原始图像重新输入至所述图像分割模型，直至无法再生成新的分割图像，形成与所述原始图像匹配的至少一个层级的分割图像以及不同分割图像之间的层级关系。
97.上述装置中，可选的是，还包括，图像分割模型确定模块，用于在将原始图像输入至预先训练的图像分割模型中之前，包括：
98.目标训练图像输入单元，用于获取目标训练图像，并将所述目标训练图像输入至待训练的语义分割模型中；
99.目标层级表征结果形成单元，用于根据所述语义分割模型输出的至少一个层级的分割训练图像，以及不同分割训练图像与所述目标训练图像之间的层级关系，形成与所述目标训练图像对应的目标层级表征结果；
100.反事实图像获取单元，用于根据所述目标层级表征结果，对各分割训练图像进行逐层还原预测，得到与所述分割训练图像匹配的反事实图像；
101.结束训练条件满足单元，用于根据所述反事实图像与所述目标训练图像之间的图像差异，对所述语义分割模型中进行参数调整后，返回执行获取目标训练图像的操作，直至满足结束训练条件；
102.图像分割模型确定单元，用于将训练完成的所述语义分割模型，确定为所述图像分割模型。
103.上述装置中，可选的是，反事实图像获取单元，可以具体用于：
104.在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点；
105.将与各所述子节点对应的分割训练图像输入至预先训练的反事实图像生成模型中，获取与所述父节点中的分割训练图像对应的局部反事实图像；
106.在所述目标层级表征结果中，使用所述局部反事实图像对匹配的分割训练图像进行替换，并删除各所述子节点；
107.返回执行在所述目标层级表征结果中，获取末位层级中归属于同一父节点的两个子节点，直至获取与所述目标层级表征结果中根节点对应的所述反事实图像。
108.上述装置中，可选的是，还包括，反事实图像生成模型确定模块，用于在将所述目标层级表征结果，输入至预先训练的反事实图像生成模型之前：
109.根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像，并对各样本分割图像进行标注；
110.将标注后的目标组样本分割图像输入至待训练的图像生成器中，获取与目标组样本分割图像对应的目标反事实图像；
111.根据所述目标反事实图像与目标样本图像之间的图像差异，对所述待训练的图像生成器进行参数调整后，返回执行根据目标样本图像，获取与目标样本图像对应的目标组样本分割图像的操作，直至满足结束训练条件；
112.将训练完成的图像生成器，确定为所述反事实图像生成模型。
113.上述装置中，可选的是，层级表征结果形成模块220，可以具体用于：
114.将各所述分割图像以及不同分割图像之间的层级关系，输入层次表征生成器hsr，形成与所述原始图像对应的层级表征结果。
115.本发明实施例所提供的图像特征的提取装置可执行本发明任意实施例所提供的
图像特征的提取方法，具备执行方法相应的功能模块和有益效果。
116.实施例三
117.图3为本发明实施例三提供的一种计算机设备的结构示意图，如图3所示，该计算机设备包括：
118.一个或多个处理器310，图3中以一个处理器310为例；
119.存储器320；
120.设备还可以包括：输入装置330和输出装置340。
121.计算机设备中的处理器310、存储器320、输入装置330和输出装置340可以通过总线或其他方式连接，图3中以通过总线连接为例。
122.存储器320作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的图像特征的提取方法对应的程序指令/模块(例如，图像特征的提取装置中的分割图像形成与层级关系确定模块210和层级表征结果形成模块220)。处理器310通过运行存储在存储器320中的软件程序、指令以及模块，从而执行计算机设备的各种功能应用以及数据处理，即实现上述的图像特征的提取方法，即：
123.对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；
124.根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
125.其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。
126.存储器320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器320可进一步包括相对于处理器310远程设置的存储器，这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
127.输入装置330可用于接收输入的数字或字符信息，以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
128.实施例四
129.本发明实施例四还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行一种图像特征的提取方法，该方法包括：
130.对待处理的原始图像进行至少一级的图像分割，形成与所述原始图像匹配的至少一个层级的分割图像，并确定不同分割图像之间的层级关系；
131.根据各所述分割图像以及不同分割图像之间的层级关系，形成与所述原始图像对应的层级表征结果；
132.其中，层级表征结果具有树状层级结构，树状层级结构的每个层级包括至少一个节点，每个节点包括分割图像和与分割图像对应的图像特征；同一父节点下的各子节点的
分割图像通过对该父节点的分割图像进行图像分割后得到，所述树状层级结构的根节点为所述原始图像。
133.当然，本发明实施例所提供的一种计算机可读存储介质，其上存储有计算机程序，其计算机程序不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像特征的提取方法中的相关操作。
134.通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
135.值得注意的是，上述图像特征的提取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
136.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。