图像处理方法、装置、设备及存储介质与流程

1.本技术涉及人工智能领域，尤其涉及一种图像处理方法、装置、设备及存储介质。


背景技术：

2.基于深度学习的全监督语义分割技术需要大量像素级别的分割标签，而标注分割标签需要耗费大量的人力与时间。为了降低人力、时间等成本，通常可以采用弱监督语义分割技术或半监督语义分割技术来训练得到目标语义分割模型，例如可以使用一些技术手段生成像素级别的伪分割标签，进而使用像素级别的伪分割标签来训练得到目标语义分割模型。但通常来说，通过技术手段生成的像素级别的伪分割标签存在大量的错误标注，进而会在很大程度上限制训练得到的目标语义分割模型的性能；基于此，如何对像素级别的伪分割标签进行修正，以提高修正后的伪分割标签的标注准确度是当前丞待解决的问题。


技术实现要素：

3.本技术实施例提供一种图像处理方法、装置、设备、存储介质及计算机程序产品，可实现对伪分割标签的修正，提高标注准确度。
4.一方面，本技术实施例提供了一种图像处理方法，包括：
5.获取目标图像以及所述目标图像的伪分割标签集；所述伪分割标签集包括：用于指示所述目标图像中的各个像素所属语义类别的伪分割标签；
6.分别通过多个参考语义分割模型对所述目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集；任一语义预测概率集包括：所述目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率，所述各个参考语义分割模型是对初始语义分割模型进行训练得到的；
7.针对所述目标图像中的任一像素，基于多个语义预测概率集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度；
8.分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签；
9.基于各个修正分割标签以及所述伪分割标签集中的其他伪分割标签，构建所述目标图像的目标分割标签集；所述目标分割标签集用于对所述初始语义分割模型进行训练。
10.一方面，本技术实施例提供了一种图像处理装置，包括：
11.获取单元，用于获取目标图像以及所述目标图像的伪分割标签集；所述伪分割标签集包括：用于指示所述目标图像中的各个像素所属语义类别的伪分割标签；
12.处理单元，用于分别通过多个参考语义分割模型对所述目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集；任一语义预测概率集包括：所述目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率，所述各个参考语义分割模型是对初始语义分割模型进行训练得到的；
13.所述处理单元，还用于针对所述目标图像中的任一像素，基于多个语义预测概率
集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度；
14.所述处理单元，还用于分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签；
15.所述处理单元，还用于基于各个修正分割标签以及所述伪分割标签集中的其他伪分割标签，构建所述目标图像的目标分割标签集；所述目标分割标签集用于对所述初始语义分割模型进行训练。
16.一方面，本技术实施例提供了一种图像处理设备，其特征在于，所述图像处理设备包括输入接口和输出接口，还包括：
17.处理器，适于实现一条或多条指令；以及，
18.计算机存储介质，所述计算机存储介质存储有一条或多条指令，所述一条或多条指令适于由所述处理器加载并执行上述图像处理方法。
19.一方面，本技术实施例提供了一种计算机存储介质，其特征在于，所述计算机存储介质中存储有计算机程序指令，所述计算机程序指令被处理器执行时，用于执行上述图像处理方法。
20.一方面，本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；图像处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得图像处理设备执行上述图像处理方法。
21.本技术实施例中，可以分别通过对初始语义分割模型进行训练得到的多个参考语义分割模型来对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集，其中，任一语义预测概率集包括：目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率；然后可以针对目标图像中的任一像素，基于多个语义预测概率集中，针对该任一像素预测得到的语义预测概率之间的差异，确定该任一像素的伪分割标签的不确定度，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，进而可以基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建用于对初始语义分割模型进行训练的目标图像的目标分割标签集；可以基于目标图像中各个像素的伪分割标签的不确定度确定出目标图像的伪分割标签集中的错误标注，进而可实现对错误标注的修正，提高标注准确度，以保证基于目标分割标签集对初始语义分割模型训练得到的目标语义分割模型的性能。
附图说明
22.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
23.图1是本技术实施例提供的一种对目标图像进行标签修正的示意图；
24.图2是本技术实施例提供的一种图像处理方法的流程示意图；
25.图3是本技术实施例提供的一种基于目标图像的图像类别标签生成目标分割标签
集的示意图；
26.图4是本技术实施例提供的另一种图像处理方法的流程示意图；
27.图5是本技术实施例提供的另一种图像处理方法的流程示意图；
28.图6a是本技术实施例提供的一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图；
29.图6b是本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图；
30.图6c是本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图；
31.图6d是本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图；
32.图7a是本技术实施例提供的一种得到目标图像中各个像素的目标分割标签的示意图；
33.图7b是本技术实施例提供的另一种得到目标图像中各个像素的目标分割标签的示意图；
34.图8是本技术实施例提供的一种图像处理装置的结构示意图；
35.图9是本技术实施例提供的一种图像处理设备的结构示意图。
具体实施方式
36.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
37.人工智能(artificial intelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
38.人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术(computer vision，cv)、语音处理技术、自然语言处理技术以及机器学习(machine learning，ml)/深度学习(deep learning，dl)等几大方向。
39.其中，计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、确定和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、光学字符识别(optical character recognition，ocr)、视频处理、视频语义理解、视频内容/行为识别、
三维(3-dimensional，3d)技术、三维物体重建、虚拟现实、增强现实、同步定位与地图构建等技术，等等。其中，图像语义理解技术可以包括图像分类、图像分割等技术等。
40.基于上述所提及的计算机视觉技术中的图像分割技术，本技术实施例提供了一种图像处理方案，可以获取目标图像以及目标图像的伪分割标签集，其中，伪分割标签集包括：用于指示目标图像中的各个像素所属语义类别的伪分割标签；分别通过多个参考语义分割模型对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集，其中，任一语义预测概率集包括：目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率，各个参考语义分割模型是对初始语义分割模型进行训练得到的；针对目标图像中的任一像素，基于多个语义预测概率集中，针对该任一像素预测得到的语义预测概率之间的差异，确定该任一像素的伪分割标签的不确定度；分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签；基于各个修正分割标签以及伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集，其中，目标分割标签集用于对初始语义分割模型进行训练。
41.在一个实施例中，目标图像可以为用于对初始语义分割模型进行训练的样本图像集中的任一样本图像，该样本图像集可以根据具体的训练需求进行构建或选取，例如，可以选取图像分割领域中常用的语义分割数据集“pascal voc2012”。多个语义类别可以根据具体需求进行设定，以使对初始语义分割模型进行训练得到的目标语义分割模型可以将任意图像向该多个语义类别进行语义分割；若多个语义类别的数量为h，h为大于或等于2的整数，则h个语义类别中通常可以包括h-1个预设类别以及背景类别，其中，不属于该h-1个预设类别的任意类别可以被认定为背景类别，例如，当样本图像集选取图像分割领域中常用的语义分割数据集“pascal voc2012”时，其对应的h个语义类别分别包括：人、鸟、猫、牛、狗、马、羊、飞机、自行车、轮船、公共汽车、汽车、摩托车、火车、瓶子、椅子、餐桌、盆栽、沙发、电视/显示器等20个预设类别，以及背景类别，举例来说，若一个图像包括的图像内容为一只猫、一只狗、一棵树，则该图像中，构成猫的像素所属的语义类别为“猫”、构成狗的像素所属的语义类别为“狗”、构成除了猫以及狗以外的其他内容的像素所属的语义类别为“背景类别”，例如，构成树的像素所属的语义类别为背景类别。
42.在一个实施例中，各个参考语义分割模型是对初始语义分割模型进行训练得到的；其中，初始语义分割模型可以是任意能实现对图像进行语义分割处理的语义分割模型，本技术实施例不做限制。进一步的，各个参考语义分割模型可以是基于目标图像所属样本图像集中的各个样本图像，以及各个样本图像的伪分割标签集，对初始语义分割模型进行迭代训练得到的，不同参考语义分割模型的迭代轮次不同；举例来说，若基于样本图像集中的各个样本图像，以及各个样本图像的伪分割标签集，共对初始语义分割模型进行n轮迭代训练，则可以将每轮训练后的初始语义分割模型作为一个参考语义分割模型，得到n个参考语义分割模型，或者，也可以将每两轮训练后的初始语义分割模型作为一个参考语义分割模型，得到多个参考语义分割模型，等等，为了便于阐述，本技术实施例后续以对初始语义分割模型进行n轮迭代训练得到n个参考语义分割模型为例进行阐述；在对初始语义分割模型进行迭代训练的过程中，具体可以将样本图像集中的各个样本图像作为初始语义分割模型的输入，将相应样本图像的伪分割标签集作为初始语义分割模型的期望输出，来对初始语义分割模型进行迭代训练。
43.在具体实现中，本技术实施例提出的图像处理方案可以由图像处理设备执行，该图像处理设备可以为终端设备或者服务器；此处的终端设备可包括但不限于：计算机、智能手机、平板电脑、笔记本电脑、智能家电、车载终端、智能可穿戴设备等；此处的服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。进一步可选的，本技术实施例提出的图像处理方案还可以由其他有计算力的电子设备单独或协同执行，本技术实施例不做限制。
44.参见图1，为本技术实施例提供的一种对目标图像进行标签修正的示意图，若多个语义类别的数量为h，h＝5，第1个语义类别至第5个语义类别分别表示为：1、2、3、4以及5，若目标图像中的各个像素的伪分割标签如101标记所示，则图像处理设备可以确定各个像素的伪分割标签的不确定度，并分别对不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，进而基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集，构建得到的目标图像的目标分割标签集可以如102标记所示。
45.特别需要说明的是，在本技术的具体实施方式中，涉及到对象相关的数据，例如目标图像等，当本技术实施例运用到具体产品或技术中时，需要获得对象许可或者同意，且相关数据的收集、使用和处理需要遵守当地法律法规和标准。
46.基于上述图像处理方案，本技术实施例提供了一种图像处理方法。参见图2为本技术实施例提供的一种图像处理方法的流程示意图。图2所示的图像处理方法可由图像处理设备执行，也可以由其他有计算力的电子设备单独或协同执行，本技术实施例以图像处理设备为例。图2所示的图像处理方法可包括如下步骤：
47.s201，获取目标图像以及目标图像的伪分割标签集。
48.其中，伪分割标签集包括：用于指示目标图像中的各个像素所属语义类别的伪分割标签。
49.在一个实施例中，目标图像的伪分割标签集中通常存在错误标注，当一个像素的伪分割标签所指示的语义类别与该像素实际所属的语义类别不同时，认为该像素的伪分割标签为错误标记，当一个像素的伪分割标签所指示的语义类别与该像素实际所属的语义类别相同时，认为该像素的伪分割标签为正确标记；举例来说，若存在h个语义类别，h＝5，若目标图像中的一个像素的伪分割标签所指示的语义类别为第1个语义类别，但该像素实际所属的语义类别为第2个语义类别，则认为该像素的伪分割标签为错误标记。
50.在一个实施例中，目标图像的伪分割标签集可以是在弱监督语义分割或半监督语义分割的相关场景中，采用一定技术手段生成的；其中，弱监督语义分割(weakly supervised semantic segmentation,wsss)可以是指：仅基于图像类别标签训练语义分割模型；半监督语义分割(semi-supervised semantic segmentation,ssss)可以是指：基于大量的未标记数据，以及同时基于部分带有像素级别标注的数据(即带有像素级别的分割标签的数据)，来训练语义分割模型。举例来说，可以基于图像类别标签生成目标图像的伪分割标签集；具体实现中，图像处理设备可以基于目标图像所属样本图像集中的各个样本图像，以及各个样本图像的图像类别标签来对多标签分类模型进行训练，得到训练后的多
标签分类模型；通过训练后的多标签分类模型对目标图像进行处理，得到目标图像在各个语义类别下的类别激活图(class activation map,cam)，进而可以通过对目标图像在各个语义类别下的类别激活图进行优化处理，得到目标图像的伪分割标签集。其中，任一样本图像的图像类别标签用于指示：该样本图像中的图像内容所属的语义类别，举例来说，若一个样本图像中的图像内容包括人和瓶子，则该样本图像的图像类别标签可以包括“人”以及“瓶子”；多标签分类模型可以为任意可实现对图像进行多标签分类的模型，本技术实施例不做限制；类别激活图是在训练后的多标签分类模型进行多分类处理的过程中得到的，可以指示目标位置的一种空间注意力图；对目标图像在各个语义类别下的类别激活图进行优化处理，得到目标图像的伪分割标签集时，可以采用密集条件随机场(dense conditional random field，dcrf)、基于像素亲和性的随机游走等后处理算法来进行优化处理。
51.s202，分别通过多个参考语义分割模型对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集。
52.其中，各个参考语义分割模型是对初始语义分割模型进行训练得到的，各个参考语义分割模型可以是基于目标图像所属样本图像集中的各个样本图像，以及各个样本图像的伪分割标签集，对初始语义分割模型进行迭代训练得到的，不同参考语义分割模型的迭代轮次不同，本技术实施例后续以对初始语义分割模型进行n轮迭代训练得到n个参考语义分割模型为例进行阐述；任一语义预测概率集包括：目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率。图像处理设备通过任一参考语义分割模型对目标图像进行语义分割处理，得到该任一参考语义分割模型对应的语义预测概率集的相关过程，与该任一参考语义分割模型的模型结构相适应。
53.s203，针对目标图像中的任一像素，基于多个语义预测概率集中，针对任一像素预测得到的语义预测概率之间的差异，确定任一像素的伪分割标签的不确定度。
54.在一个实施例中，任一像素的伪分割标签的不确定度用于判定该任一像素的伪分割标签是否为错误标注；具体实现中，当任一像素的伪分割标签的不确定度大于不确定度阈值时，则判定该任一像素的伪分割标签为错误标注，当该任一像素的伪分割标签的不确定度小于或等于不确定度阈值时，则判定该任一像素的伪分割标签为正确标注；进一步可以对伪分割标签集中，被判定为错误标注的伪分割标签进行标签修正处理，即可以对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理；其中，不确定度阈值可以根据具体需求进行设定，本技术实施例不做限制。
55.在一个实施例中，若多个语义类别的数量为h，h为大于或等于2的整数；图像处理设备基于多个语义预测概率集中，针对任一像素预测得到的语义预测概率之间的差异，确定任一像素的伪分割标签的不确定度，可以包括：遍历h个语义类别，基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定该任一像素的语义预测概率在第h个语义类别下的不确定度，作为该任一像素的一个预测不确定度，h∈[1，h]；从该任一像素的h个预测不确定度中，选取一个预测不确定度作为该任一像素的伪分割标签的不确定度。由于各个参考语义分割模型是基于目标图像所属样本图像集中的各个样本图像，以及各个样本图像的伪分割标签集，对初始语义分割模型进行迭代训练得到的，不同参考语义分割模型的迭代轮次不同，所以当该任一像素的伪分割标签为错误标注时，通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的
语义预测概率之间的差异应该较大，即通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的语义预测概率的波动性应该较大；当该任一像素的伪分割标签为正确标注时，通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的语义预测概率之间的差异应该较小，即通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的语义预测概率的波动性应该较小；所以可以基于从该任一像素的h个预测不确定度中确定出的该任一像素的伪分割标签的不确定度，来判定是否对该任一像素的伪分割标签进行修正。
[0056]
s204，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签。
[0057]
在一个实施例中，图像处理设备分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，即可以实现分别对伪分割标签集中，被判定为错误标注的伪分割标签进行标签修正处理，得到修正分割标签。进一步的，对不确定度大于不确定度阈值的任一伪分割标签进行标签修正处理得到的修正分割标签应当满足以下条件：多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率高，且多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率的波动性小。
[0058]
s205，基于各个修正分割标签以及伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集。
[0059]
其中，目标图像的目标分割标签集可以用于对初始语义分割模型进行训练，以保证训练得到的目标语义分割模型的性能。
[0060]
在一个实施例中，基于本技术实施例提出的图像处理方法，可以在标注目标图像的图像类别标签的情况下，生成用于对初始语义分割模型进行训练的目标图像的目标分割标签集，节约了对目标图像进行像素级别的分割标签进行标注所产生的人力、时间等成本，提升了初始语义分割模型的训练效率；参见图3，为本技术实施例提供的一种基于目标图像的图像类别标签生成目标分割标签集的示意图，若目标图像为如301标记所示的图像，目标图像的图像类别标签为“人”以及“瓶子”，则图像处理设备可以基于训练后的多标签分类模型生成目标图像的伪分割标签集；进而可以确定目标图像的各个像素的伪分割标签的不确定度，并分别对不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集，构建得到的目标图像的目标分割标签集可以如302标记所示。
[0061]
在一个可选的实现方式中，本技术实施例提供的图像处理方法可以在pytorch(1.7.1)神经网络框架上实现，涉及对初始语义分割模型的训练过程时，可以使用优化算法中的adam算法作为训练时的优化器，设置训练初始学习率为3e-4，进一步还可以在训练过程中采用余弦退火学习率调度机制。进一步可选的，对目标图像所属样本图像集中各个样本图像的伪分割标签集的修正可以采用在线修正的方式，即边对样本图像集中样本图像的伪分割标签集进行修正，边采用修正得到的样本图像的目标分割标签集对初始语义分割模型进行训练，可以进一步提升对初始语义分割模型的训练速率，使得对初始语义分割模型的训练更加高效。
[0062]
本技术实施例中，可以分别通过对初始语义分割模型进行训练得到的多个参考语义分割模型来对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集，其中，任一语义预测概率集包括：目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率；然后可以针对目标图像中的任一像素，基于多个语义预测概率集中，针对该任一像素预测得到的语义预测概率之间的差异，确定该任一像素的伪分割标签的不确定度，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，进而可以基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建用于对初始语义分割模型进行训练的目标图像的目标分割标签集；可以基于目标图像中各个像素的伪分割标签的不确定度确定出目标图像的伪分割标签集中的错误标注，进而可实现对错误标注的修正，提高标注准确度，以保证基于目标分割标签集对初始语义分割模型训练得到的目标语义分割模型的性能。
[0063]
基于上述图像处理方案，本技术实施例提供了另一种图像处理方法，该图像处理方法以多个语义类别的数量为h，h为大于或等于2的整数进行阐述。参见图4为本技术实施例提供的另一种图像处理方法的流程示意图。图4所示的图像处理方法可由图像处理设备执行，也可以由其他有计算力的电子设备单独或协同执行，本技术实施例以图像处理设备为例。图4所示的图像处理方法可包括如下步骤：
[0064]
s401，获取目标图像以及目标图像的伪分割标签集。
[0065]
其中，伪分割标签集包括：用于指示目标图像中的各个像素所属语义类别的伪分割标签；步骤s401的相关过程与上述步骤s201的相关过程类似，在此不再赘述。
[0066]
s402，分别通过多个参考语义分割模型对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集。
[0067]
其中，各个参考语义分割模型是对初始语义分割模型进行训练得到的，任一语义预测概率集包括：目标图像中的各个像素，被预测为h个语义类别中各个语义类别的语义预测概率；步骤s402的相关过程与上述步骤s202的相关过程类似，在此不再赘述。
[0068]
s403，针对目标图像中的任一像素，遍历h个语义类别，基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，作为任一像素的一个预测不确定度。
[0069]
在一个实施例中，若参考语义分割模型的数量为n，n为大于或等于2的整数，n个参考语义分割模型是基于对初始语义分割模型进行n轮迭代训练得到的；若目标图像由x表示，h
*
和w
*
为正整数，分别表示目标图像的高度和宽度；由各个参考语义分割模型对应的语义预测概率集构成的序列可以被称为原始预测概率序列，具体可以表示为：其中，n为自变量，n∈[1，n]，pn表示n个语义预测概率集中的第n个语义预测概率集，h为语义类别的数量。
[0070]
进一步的，由n个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率构成的序列可以被称为该任一像素在第h个语义类别下的第一子序列，h为自变量，h∈[1，h]；若该任一像素为目标图像中第i行第j列的像素，i、j为自变量，i∈h
*
，j∈w
*
，则该任一像素在第h个语义类别下的第一子序列可以表示为：s
h,i,j
＝{p1(h,i,j),
…
,pn(h,i,j),
…
,pn(h,i,j)}，其中，pn(h,i,j)表示第n个语义预测概率集中，目标图像中的第i行第
j列的像素，被预测为第h个语义类别时的语义预测概率，即通过第n个参考语义分割模型处理得到的，目标图像中的第i行第j列的像素，被预测为第h个语义类别时的语义预测概率。
[0071]
举例来说，若参考语义分割模型的数量为n，n＝4，多个语义类别的数量h＝5，该任一像素为目标图像中第i行第j列的像素；若通过第1个参考语义分割模型得到的第1个语义预测概率集中，该任一像素被预测为5个语义类别中各个语义类别的语义预测概率分别为：{0.05，0.8，0.05，0.05，0.05}，通过第2个参考语义分割模型得到的第2个语义预测概率集中，该任一像素被预测为5个语义类别中各个语义类别的语义预测概率分别为：{0.04，0.8，0.06，0.05，0.05}，通过第3个参考语义分割模型得到的第3个语义预测概率集中，该任一像素被预测为5个语义类别中各个语义类别的语义预测概率分别为：{0.04，0.85，0.06，0.02，0.03}，通过第4个参考语义分割模型得到的第4个语义预测概率集中，该任一像素被预测为5个语义类别中各个语义类别的语义预测概率分别为：{0.02，0.9，0.03，0.02，0.03}，则该任一像素在第1个语义类别下的第一子序列可以表示为：s
1,i,j
＝{0.05,0.04,0.04,0.02}，该任一像素在第2个语义类别下的第一子序列可以表示为：s
2,i,j
＝{0.8,0.8,0.85,0.9}，以此类推。
[0072]
在一个实施例中，图像处理设备基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，可以包括：对多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率进行方差计算处理，得到第一方差；将第一方差作为该任一像素的语义预测概率在第h个语义类别下的不确定度；其中，该任一像素对应的第一方差的大小可以用于衡量：多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率之间的差异，也可以用于衡量多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率的波动性。具体实现中，若任一像素为目标图像中第i行第j列的像素，则该任一像素对应的第一方差可以由以下公式1.1示出：
[0073][0074]
其中，n表示语义预测概率集的数量，即参考语义分割模型的数量，也表示目标图像中第i行第j列的像素在第h个语义类别下的第一子序列的长度，n为自变量，n∈[1，n]；s
h,i,j
(n)表示第n个语义预测概率集中，目标图像中第i行第j列的像素被预测为第h个语义类别时的语义预测概率，即目标图像中第i行第j列的像素在第h个语义类别下的第一子序列中的第n个序列值；表示目标图像中第i行第j列的像素的第h个预测概率均值，目标图像中第i行第j列的像素的第h个预测概率均值是通过对多个语义预测概率集中，目标图像中第i行第j列的像素被预测为第h个语义类别时的语义预测概率进行平均处理得到的，也即目标图像中第i行第j列的像素在第h个语义类别下的第一子序列的期望。
[0075]
进一步的，若用表示目标图像中第i行第j列的像素的语义预测概率在第h个语义类别下的不确定度，即目标图像中第i行第j列的像素的第h个预测不确定度，则将目标图像中第i行第j列的像素对应的第一方差，作为该像素的语义预测概率在第h个语义类别下的不确定度可以由以下公式1.2示出：
[0076]
[0077]
在一个实施例中，在确定任一像素的语义预测概率在第h个语义类别下的不确定度时，在基于多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率之间的差异的基础上，还可以引入多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率，与该任一像素的伪分割标签之间的差异；基于此，图像处理设备基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，可以包括：基于任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值；对多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率，和该任一像素对应的参考指示值进行方差计算处理，得到第二方差；将第二方差作为该任一像素的语义预测概率在第h个语义类别下的不确定度。具体实现中，若该任一像素的伪分割标签指示该任一像素所属语义类别为第h个语义类别，则该任一像素对应的参考指示值可以被确定为第一数值，例如可以为1，若该任一像素的伪分割标签指示该任一像素所属语义类别不为第h个语义类别，则该任一像素对应的参考指示值可以被确定为第二数值，例如可以为0；进一步的，当该任一像素的伪分割标签为独热编码时，该任一像素的伪分割标签包括h个伪标签指示值，则可以将该任一像素的第h个伪标签指示值确定为该任一像素对应的参考指示值；举例来说，若h＝5，该任一像素的伪分割标签的独热编码为{0,1,0,0,0,}，则在第1个语义类别下，该任一像素对应的参考指示值为0，在第2个语义类别下，该任一像素对应的参考指示值为1，在第3个语义类别下，该任一像素对应的参考指示值为0，在第4个语义类别下，该任一像素对应的参考指示值为0，在第5个语义类别下，该任一像素对应的参考指示值为0。
[0078]
进一步的，由多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率，和该任一像素对应的参考指示值构成的序列可以被称为该任一像素在第h个语义类别下的第二子序列，h为自变量，h∈[1，h]；若该任一像素为目标图像中第i行第j列的像素，i、j自变量，i∈h
*
，j∈w
*
，在第h个语义类别下，目标图像中第i行第j列的像素对应的参考指示值用m
p
(h,i,j)表示，则目标图像中第i行第j列的像素在第h个语义类别下的第二子序列可表示为：s
′
h,i,j
＝{p1(h,i,j),m
p
(h,i,j),
…
,pn(h,i,j),m
p
(h,i,j),
…
,pn(h,i,j),m
p
(h,i,j)}；由于当目标图像中第i行第j列的像素的伪分割标签为独热编码时，可以将该像素的第h个伪标签指示值确定为在第h个语义类别下该像素对应的参考指示值，则m
p
(h,i,j)也可以表示目标图像中第i行第j列的像素的第h个伪标签指示值，此时采用独热编码的目标图像的伪分割标签集可以表示为m
p
，
[0079]
进一步的，若任一像素为目标图像中第i行第j列的像素，则该任一像素对应的第二方差可以由以下公式2.1示出：
[0080][0081]
其中，n表示语义预测概率集的数量，即参考语义分割模型的数量，2n表示目标图像中第i行第j列的像素在第h个语义类别下的第二子序列的长度，n为自变量，n∈[1，2n]；s
′
h,i,j
(n)表示目标图像中第i行第j列的像素在第h个语义类别下的第二子序列中的第n个序列值；表示目标图像中第i行第j列的像素在第h个语义类别下的第二子序列的期望。
[0082]
进一步的，若用表示目标图像中第i行第j列的像素的语义预测概率在第h个语义类别下的不确定度，即目标图像中第i行第j列的像素的第h个预测不确定度，则将目标图像中第i行第j列的像素对应的第二方差，作为该像素的语义预测概率在第h个语义类别下的不确定度可以由以下公式2.2示出：
[0083][0084]
在一个实施例中，图像处理设备基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，可以包括：采用后处理算法，对多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率进行后处理，得到后处理的语义预测概率；基于该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率之间的差异，确定该任一像素的语义预测概率在第h个语义类别下的不确定度。其中，该后处理算法(post-processing)可以为密集条件随机场等后处理算法，后处理算法可以被用于提升多个语义预测概率集中每个语义预测概率的准确性，由多个语义预测概率集中每个语义预测概率对应的后处理的语义预测概率构成的序列可以被称为后处理预测概率序列，具体可以表示为：进一步的，由任一像素被预测为第h个语义类别时的多个后处理的语义预测概率构成的序列可以被称为该任一像素在第h个语义类别下的第三子序列，若该任一像素为目标图像中第i行第j列的像素，i∈h
*
，j∈w
*
，则该任一像素在第h个语义类别下的第三子序列可以表示为：其中，表示目标图像中第i行第j列的像素，被预测为第h个语义类别时的第n个后处理的语义预测概率，即第n个语义预测概率集中，目标图像中第i行第j列的像素，被预测为第h个语义类别时的语义预测概率所对应的后处理的语义预测概率。
[0085]
在一种可行的实施方式中，图像处理设备基于任一像素被预测为第h个语义类别时的多个后处理的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，可以包括：对该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率进行方差计算处理，得到第三方差；将第三方差作为该任一像素的语义预测概率在第h个语义类别下的不确定度；其中，对任一像素对应的第三方差的大小可以用于衡量：该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率之间的差异，也可以用于衡量该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率的波动性。具体实现中，若任一像素为目标图像中第i行第j列的像素，则该任一像素对应的第三方差可以由以下公式3.1示出：
[0086][0087]
其中，n表示语义预测概率集的数量，即参考语义分割模型的数量，也表示目标图像中第i行第j列的像素在第h个语义类别下的第三子序列的长度，n为自变量，n∈[1，n]；表示目标图像中第i行第j列的像素在第h个语义类别下的第三子序列中的第n个序列值；表示目标图像中第i行第j列的像素在第h个语义类别下的第三子序列的期望。
[0088]
进一步的，若用表示目标图像中第i行第j列的像素的语义预测概率在第h个语义类别下的不确定度，即目标图像中第i行第j列的像素的第h个预测不确定度，则将目标图像中第i行第j列的像素对应的第三方差，作为该像素的语义预测概率在第h个语义类别下的不确定度可以由以下公式3.2示出：
[0089][0090]
在另一种可行的实施方式中，在确定任一像素的语义预测概率在第h个语义类别下的不确定度时，在基于该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率之间的差异的基础上，还可以引入该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率，与该任一像素的伪分割标签之间的差异；基于此，图像处理设备基于任一像素被预测为第h个语义类别时的多个后处理的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，可以包括：基于任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值；对该任一像素被预测为第h个语义类别时的多个后处理的语义预测概率，和该任一像素对应的参考指示值进行方差计算处理，得到第四方差；将第四方差作为该任一像素的语义预测概率在第h个语义类别下的不确定度。其中，基于任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值的相关过程已在上述进行详细阐述，在此不再赘述。
[0091]
进一步的，由任一像素被预测为第h个语义类别时的多个后处理的语义预测概率，和该任一像素对应的参考指示值构成的序列可以为称为该任一像素在第h个语义类别下的第四子序列，h为自变量，h∈[1，h]；若该任一像素为目标图像中第i行第j列的像素，i、j为自变量，i∈h
*
，j∈w
*
，在第h个语义类别下，目标图像中第i行第j列的像素对应的参考指示值用m
p
(h,i,j)表示，则目标图像中第i行第j列的像素在第h个语义类别下的第四子序列可以表示为：
[0092][0093]
进一步的，若任一像素为目标图像中第i行第j列的像素，则该任一像素对应的第四方差可以由以下公式4.1示出：
[0094][0095]
其中，n表示语义预测概率集的数量，即参考语义分割模型的数量，2n表示目标图像中第i行第j列的像素在第h个语义类别下的第四子序列的长度，n为自变量，n∈[1，2n]；表示目标图像中第i行第j列的像素在第h个语义类别下的第四子序列中的第n个序列值；表示目标图像中第i行第j列的像素在第h个语义类别下的第四子序列的期望。
[0096]
进一步的，若用表示目标图像中第i行第j列的像素的语义预测概率在第h个语义类别下的不确定度，即目标图像中第i行第j列的像素的第h个预测不确定度，则将目标图像中第i行第j列的像素对应的第四方差，作为该像素的语义预测概率在第h个语义类别下的不确定度可以由以下公式4.2示出：
[0097][0098]
s404，从任一像素的h个预测不确定度中，选取一个预测不确定度作为任一像素的伪分割标签的不确定度。
[0099]
在一个实施例中，图像处理设备从任一像素的h个预测不确定度中，选取一个预测不确定度作为任一像素的伪分割标签的不确定度，可以包括：将任一像素的h个预测不确定度中，最大预测不确定度作为该任一像素的伪分割标签的不确定度；若该任一像素为目标图像中第i行第j列的像素，则该任一像素的伪分割标签的不确定度具体可以由以下公式5.1示出：
[0100][0101]
在一个实施例中，图像处理设备从任一像素的h个预测不确定度中，选取一个预测不确定度作为任一像素的伪分割标签的不确定度，可以包括：从任一像素的h个预测不确定度中，确定与h-1个预设类别对应的h-1个预测不确定度；将h-1个预测不确定度中，最大预测不确定度作为任一像素的伪分割标签的不确定度；若该任一像素为目标图像中第i行第j列的像素，h个语义类别中第1个语义类别为背景类别，第2个语义类别至第h个语义类别为预设类别，则该任一像素的伪分割标签的不确定度具体可以由以下公式5.2示出：
[0102][0103]
进一步的，图像处理设备从该任一像素的h个预测不确定度中，选取一个预测不确定度作为该任一像素的伪分割标签的不确定度后，还可以对该任一像素的伪分割标签的不确定度进行归一化处理，以对该任一像素的伪分割标签的不确定度进行更新，后续涉及该任一像素的伪分割标签的不确定度的相关处理均可以是对该任一像素的伪分割标签更新后的不确定度进行的处理；例如，可以基于目标图像中各个像素的伪分割标签的不确定度对该任一像素的伪分割标签的不确定度进行最小-最大归一化计算，以对该任一像素的伪分割标签的不确定度进行更新，该任一像素的伪分割标签更新后的不确定度具体可以由以下公
[0104]
式5.3示出：
[0105][0106]
其中，min(u)表示目标图像中各个像素的伪分割标签的不确定度的最小值，max(u)表示目标图像中各个像素的伪分割标签的不确定度的最大值，u表示目标图像中各个像素的伪分割标签的不确定度，
[0107]
s405，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签。
[0108]
在一个实施例中，对不确定度大于不确定度阈值的任一伪分割标签进行标签修正处理得到的修正分割标签应当满足以下条件：多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率高，且多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率的波动性小；基于此，图像处理设备分别对伪分割标签集
中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，可以包括：针对不确定度大于不确定度阈值的任一伪分割标签，获取该任一伪分割标签所对应的目标像素的第h个预测不确定度，以及目标像素的第h个预测概率均值；其中，目标像素的第h个预测不确定度指的是：目标像素的语义预测概率在第h个语义类别下的不确定度，目标像素的第h个预测概率均值是对多个语义预测概率集中，目标像素被预测为第h个语义类别时的语义预测概率进行平均处理得到的；基于目标像素的第h个预测不确定度，以及目标像素的第h个预测概率均值，确定目标像素在第h个语义类别下的修正参考参数，h∈[1，h]；从目标像素在各个语义类别下的修正参考参数中确定目标修正参考参数，并将目标修正参考参数所指示的语义类别作为任一伪分割标签对应的修正分割标签。
[0109]
在一种可行的实施方式中，图像处理设备基于目标像素的第h个预测不确定度，以及目标像素的第h个预测概率均值，确定目标像素在第h个语义类别下的修正参考参数，可以包括：将目标像素的第h个预测不确定度，与目标像素的第h个预测概率均值之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；进一步的，图像处理设备从目标像素在各个语义类别下的修正参考参数中确定目标修正参考参数，可以包括：将目标像素在各个语义类别下的修正参考参数中，最小修正参考参数作为目标修正参考参数。
[0110]
可选的，图像处理设备基于目标像素的第h个预测不确定度，以及目标像素的第h个预测概率均值，确定目标像素在第h个语义类别下的修正参考参数时，可以将目标像素的第h个预测不确定度的平方根，与目标像素的第h个预测概率均值之间的比值，确定为目标像素在第h个语义类别下的修正参考参数。进一步可选的，由于目标像素的第h个预测不确定度可以是确定出的第一方差、第二方差、第三方差或第四方差，但仅有第一方差是直接对多个语义预测概率集中，目标像素被预测为第h个语义类别时的语义预测概率进行方差计算处理得到的，可以更直观的反映多个语义预测概率集中，该目标像素被预测为第h个语义类别时的语义预测概率的波动性，所以在确定目标像素在第h个语义类别下的修正参考参数时，可以将对多个语义预测概率集中，目标像素被预测为第h个语义类别时的语义预测概率进行方差计算处理得到的第一方差，与目标像素的第h个预测概率均值之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；进一步也可以将目标像素对应的第一方差的平方根，与目标像素的第h个预测概率均值之间的比值，确定为目标像素在第h个语义类别下的修正参考参数，此时目标像素在第h个语义类别下的修正参考参数即为归一化类别概率方差(normalized variance of category probability，nvcp)；本技术实施例以目标像素在第h个语义类别下的修正参考参数为归一化类别概率方差为例进行阐述。
[0111]
具体实现中，图像处理设备可以遍历目标图像中的各个像素，若任一像素的伪分割标签的不确定度大于不确定度阈值，则可以将该任一像素对应的第一方差的平方根，与该任一像素的第h个预测概率均值之间的比值，确定为该任一像素在第h个语义类别下的修正参考参数，进而可以将该任一像素在各个语义类别下的修正参考参数中，最小修正参考参数作为目标修正参考参数，并将目标修正参考参数所指示的语义类别作为该任一像素的伪分割标签对应的修正分割标签；进而可以基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集；也就是说，若目标图像的目标分割标签集中的分割标签被称为目标分割标签，则针对目标图像中的任一像素，若该任一像素的伪分割标签的不确定度大于不确定度阈值，则可以基于该任一像素在各个语义类
别下的修正参考参数确定目标分割标签，若该任一像素的伪分割标签的不确定度小于或等于不确定度阈值，则可以将该任一像素的伪分割标签确定为该任一像素的目标分割标签。若该任一像素为目标图像中第i行第j列的像素，则该任一像素的目标分割标签可以由以下公式6.1示出：
[0112][0113]
其中，mr(i,j)表示目标图像中第i行第j列的像素的目标分割标签，u(i,j)表示目标图像中第i行第j列的像素的伪分割标签的不确定度，t1表示不确定度阈值，可以根据具体需求进行设定，m
p
(h,i,j)表示独热编码时，目标图像中第i行第j列的像素的第h个伪标签指示值，c
h,i,j
表示目标图像中第i行第j列的像素在第h个语义类别下的修正参考参数，具体可以由以下公式6.2示出：
[0114][0115]
其中，v
h,i,j
表示在第h个语义类型下，目标图像中第i行第j列的像素对应的第一方差，表示目标图像中第i行第j列的像素的第h个预测概率均值，即目标图像中第i行第j列的像素在第h个语义类别下的第一子序列的期望。
[0116]
在另一种可行的实施方式中，图像处理设备基于目标像素的第h个预测不确定度，以及目标像素的第h个预测概率均值，确定目标像素在第h个语义类别下的修正参考参数时，还可以采用其他方式来确定目标像素在第h个语义类别下的修正参考参数，以使能够基于目标像素在第h个语义类别下的修正参考参数对目标像素的第h个预测不确定度以及目标像素的第h个预测概率均值共同进行衡量，即可以对多个语义预测概率集中，该目标像素被预测为第h个语义类别时的语义预测概率，和多个语义预测概率集中，该目标像素被预测第h个语义类别时的语义预测概率的波动性共同进行衡量，例如可以将目标像素的第h个预测概率均值与目标像素的第h个预测不确定度之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；此时进一步的，图像处理设备从目标像素在各个语义类别下的修正参考参数中确定目标修正参考参数，可以包括：将目标像素在各个语义类别下的修正参考参数中，最大修正参考参数作为目标修正参考参数。再如，可以将目标像素的第h个预测概率均值与目标像素的第h个预测不确定度的平方根之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；又如，可以将目标像素的第h个预测概率均值与目标像素对应的第一方差之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；又如，可以将目标像素的第h个预测概率均值与目标像素对应的第一方差的平方根之间的比值，确定为目标像素在第h个语义类别下的修正参考参数；本技术实施例不对确定目标像素在第h个语义类别下的修正参考参数的方式进行限制，只要能实现基于目标像素在第h个语义类别下的修正参考参数对目标像素的第h个预测不确定度以及目标像素的第h个预测概率均值共同进行衡量即可。
[0117]
s406，基于各个修正分割标签以及伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集。
[0118]
其中，目标分割标签集用于对初始语义分割模型进行训练。
[0119]
本技术实施例中，在确定目标图像中任一像素的伪分割标签的不确定度时，可以遍历h个语义类别，基于多个语义预测概率集中，该任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定该任一像素的语义预测概率在第h个语义类别下的不确定度，作为该任一像素的一个预测不确定度，进而可以从该任一像素的h个预测不确定度中，选取一个预测不确定度作为该任一像素的伪分割标签的不确定度；由于当该任一像素的伪分割标签为错误标注时，通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的语义预测概率之间的差异应该较大，当该任一像素的伪分割标签为正确标注时，通过各个参考语义分割模型处理得到的，该任一像素被预测为同一个语义类别时的语义预测概率之间的差异应该较小，所以基于多个语义预测概率集中，该任一像素被预测为同一个语义类别时的语义预测概率之间的差异，确定出的该任一像素的伪分割标签的不确定度，在用于判别该任一像素的伪分割标签是否为错误标注时的准确度高；进一步的，对不确定度大于不确定度阈值的任一伪分割标签进行标签修正处理得到的修正分割标签满足：多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率高，且多个语义预测概率集中，该任一伪分割标签所对应的目标像素，被预测为修正分割标签所指示的语义类别时的语义预测概率的波动性小，可实现对错误标注的修正，提高标注准确度。
[0120]
基于上述图像处理方案，本技术实施例提供了另一种图像处理方法，该图像处理方法以多个语义类别的数量为h，h为大于或等于2的整数进行阐述。参见图5为本技术实施例提供的另一种图像处理方法的流程示意图。图5所示的图像处理方法可由图像处理设备执行，也可以由其他有计算力的电子设备单独或协同执行，本技术实施例以图像处理设备为例。图5所示的图像处理方法可包括如下步骤：
[0121]
s501，获取目标图像以及目标图像的伪分割标签集。
[0122]
其中，伪分割标签集包括：用于指示目标图像中的各个像素所属语义类别的伪分割标签。
[0123]
s502，分别通过多个参考语义分割模型对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集。
[0124]
其中，任一语义预测概率集包括：目标图像中的各个像素，被预测为h个语义类别中各个语义类别的语义预测概率，各个参考语义分割模型是对初始语义分割模型进行训练得到的。
[0125]
s503，针对目标图像中的任一像素，遍历h个语义类别，基于多个语义预测概率集中，任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定任一像素的语义预测概率在第h个语义类别下的不确定度，作为任一像素的一个预测不确定度。
[0126]
其中，步骤s501至步骤s503的相关过程与上述步骤s401至步骤s403的相关过程类似，在此不再赘述，h∈[1，h]。
[0127]
s504，获取语义预测结果集；语义预测结果集包括：目标图像中的各个像素的语义预测结果。
[0128]
其中，任一像素的语义预测结果用于指示：预测得到的该任一像素所属的语义类别；任一像素的语义预测结果是基于任一语义预测概率集中的，该任一像素被预测为各个语义类别的语义预测概率确定出的，任一像素的语义预测结果所指示的语义类别为：用于
确定语义预测结果的任一语义预测概率集中的，该任一像素对应的最大语义预测概率所指示的语义类别；由于各个参考语义分割模型是对初始语义分割模型进行训练得到的，若参考语义分割模型的数量为n，n为大于或等于2的整数，n个参考语义分割模型是基于对初始语义分割模型进行n轮迭代训练得到的，本技术实施例后续以用于确定语义预测结果的语义预测概率集为：通过第n个参考语义分割模型确定出的第n个语义预测概率集为例进行阐述。进一步的，当任一像素的语义预测结果为独热编码时，该任一像素的语义预测结果可以包括h个预测标签指示值，该任一像素的h个预测标签指示值中，语义类别为该任一像素对应的最大语义预测概率所指示的语义类别的预测标签指示值为1，该任一像素的其余预测标签指示值为0；举例来说，若第n个语义预测概率集中，该任一像素被预测为h个语义类别中各个语义类别的语义预测概率分别为{0.01,0.9,0.02,0.03,0.04}，则该任一像素的语义预测结果的独热编码为{0,1,0,0,0}。
[0129]
s505，基于语义预测结果集中各个像素的语义预测结果，和伪分割标签集中相应像素的伪分割标签之间的差异，从任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度。
[0130]
其中，z∈[0，h]；图像处理设备基于语义预测结果集中各个像素的语义预测结果，和伪分割标签集中相应像素的伪分割标签之间的差异，从任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度，是为了剔除识别难度大的语义类别，因为对于识别难度大的语义类别来说，例如“沙发”和“椅子”，即使使用正确标记的伪分割标签来对初始语义分割模型进行训练，参考语义分割模型对识别难度大的语义类别也较难识别，相应像素的语义预测概率在识别难度大的语义类别下的不确定度也较大。
[0131]
具体实现中，图像处理设备基于语义预测结果集中各个像素的语义预测结果，和伪分割标签集中相应像素的伪分割标签之间的差异，从任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度，可以包括：遍历任一像素的h个预测不确定度，针对该任一像素的第h个预测不确定度，基于该任一像素的语义预测结果，确定用于指示预测得到的该任一像素所属语义类别是否为第h个语义类别的预测指示值，以及基于该任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值；基于目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将该任一像素的第h个预测不确定度，作为一个筛选后的不确定度；直至得到z个筛选后的不确定度。其中，基于该任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值的相关过程，在上述步骤s403中已经进行阐述，在此不再赘述；基于该任一像素的语义预测结果，确定用于指示预测得到的该任一像素所属语义类别是否为第h个语义类别的预测指示值的相关过程，与基于该任一像素的伪分割标签，确定用于指示该任一像素所属语义类别是否为第h个语义类别的参考指示值的相关过程类似，在此不再赘述。
[0132]
在一种可行的实施方式中，图像处理设备基于目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将任一像素的第h个预测不确定度，作为一个筛选后的不确定度，可以包括：计算目标图像中的各个像素对应的预测指示值，与目标图像中的各个像素对应的参考指示值之间的交并比；若交并比大于筛选阈值，则将该任一像素的第h个预测不确定度，作为一个筛选后的不确定度。进一步可选的，若交并
比小于或等于筛选阈值，则可以将预设数值作为一个筛选后的不确定度，其中，该预设数值可以为根据具体需求进行设定的，该预设数值应该小于或等于在各个语义类别下确定出的最小交并比，例如，该预设数值可以为0或负数，本技术实施例以该预设数值为0进行阐述，在该种情况下z＝h。参见以下公式7，为本技术实施例提供的一种确定筛选后的不确定度的公式：
[0133][0134]
其中，表示由目标图像中的各个像素的语义预测概率在第h个语义类别下的不确定度所构成的矩阵，即由目标图像中的各个像素的第h个预测不确定度所构成的矩阵，表示由在第h个语义类别下，目标图像中的各个像素对应的预测指示值所构成的矩阵，即由目标图像中的各个像素的第h个预测标签指示值所构成的矩阵，阵，即由目标图像中的各个像素的第h个预测标签指示值所构成的矩阵，表示由目标图像中的各个像素对应的参考指示值所构成的矩阵，即由目标图像中的各个像素的第h个伪标签指示值所构成的矩阵；t2为筛选阈值，可以根据具体需求进行设定；o为全零矩阵，为全零矩阵，表示第h个语义类别下，由目标图像中的各个像素的筛选后的不确定度所构成的矩阵。
[0135]
s506，从任一像素的z个筛选后的不确定度中，选取一个预测不确定度作为任一像素的伪分割标签的不确定度。
[0136]
s507，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签。
[0137]
s508，基于各个修正分割标签以及伪分割标签集中的其他伪分割标签，构建目标图像的目标分割标签集。
[0138]
其中，目标分割标签集用于对初始语义分割模型进行训练；步骤s506至步骤s508的相关过程，与上述步骤s404至步骤s406的相关过程类似，在此不再赘述。
[0139]
在一个实施例中，若选用像素对应的第四方差作为该像素的语义预测概率在第h个语义类别下的不确定度，选用公式7所指示的方式从像素的h个预测不确定度中筛选得到z个筛选后的不确定度，进而从该像素的z个筛选后的不确定度中确定像素的伪分割标签的不确定度；参见图6a，为本技术实施例提供的一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图，其中，目标图像如601标记所示，如602标记所示为该目标图像中各个像素的真实分割标签，指示目标图像中各个像素实际所属的语义类别，如603标记所示为该目标图像中各个像素的伪分割标签，如604标记所示区域为像素的伪分割标签的不确定度较大的一个区域；参见图6b，为本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图，其中，目标图像如611标记所示，如612标记所示为该目标图像中各个像素的真实分割标签，如613标记所示为该目标图像中各个像素的伪分割标签，如614标记所示区域为像素的伪分割标签的不确定度较大的一个区域；参见图6c，为本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图，其中，目标图像如621标记所示，如622标记所示为该目标图像中各个像素的真实分割标签，如623标记所示为该目标图像中各个像素的伪分割标签，如624标记所示区域为像素的伪分
割标签的不确定度较大的一个区域；参见图6d，为本技术实施例提供的另一种确定目标图像中的各个像素的伪分割标签的不确定度的示意图，其中，目标图像如631标记所示，如632标记所示为该目标图像中各个像素的真实分割标签，如633标记所示为该目标图像中各个像素的伪分割标签，如634标记所示区域为像素的伪分割标签的不确定度较大的一个区域。
[0140]
在一个实施例中，当本技术实施例提供的图像处理方法应用于弱监督语义分割技术或半监督语义分割技术中的相应方法时，例如：用于弱监督语义分割的自监督等变注意力机制(即self-supervised equivariant attention mechanism for weakly supervised semantic segmentation，称为方法1)、用于弱和半监督语义分割的反对抗性操纵属性(即anti-adversarially manipulated attributions for weakly and semi-supervised semantic segmentation，称为方法2)、用于弱监督语义分割的跨语言图像匹配(即cross language image matching for weakly supervised semantic segmentation，称为方法3)、用于弱监督语义分割的嵌入判别注意力机制(即embedded discriminative attention mechanism for weakly supervised semantic segmentation，称为方法4)，通过对比未引入本技术实施例所提供的图像处理方法的情况下所生成的像素的伪分割标签，和引入本技术实施例所提供的图像处理方法的情况下所修正得到的像素的目标分割标签，发现修正得到的像素的目标分割标签的标注准确度更高，更接近于像素的真实分割标签。参见图7a，为本技术实施例提供的一种得到目标图像中各个像素的目标分割标签的示意图，其中，目标图像如700标记所示，如701标记所示为该目标图像中各个像素的真实分割标签，指示目标图像中各个像素实际所属的语义类别，如702标记所示为基于方法1得到的该目标图像中各个像素的伪分割标签，如703标记所示为修正得到的目标图像中各个像素的目标分割标签，如704标记所示为基于方法2得到的该目标图像中各个像素的伪分割标签，如705标记所示为修正得到的目标图像中各个像素的目标分割标签，如706标记所示为基于方法3得到的该目标图像中各个像素的伪分割标签，如707标记所示为修正得到的目标图像中各个像素的目标分割标签，如708标记所示为基于方法4得到的该目标图像中各个像素的伪分割标签，如709标记所示为修正得到的目标图像中各个像素的目标分割标签。
[0141]
参见图7b，为本技术实施例提供的另一种得到目标图像中各个像素的目标分割标签的示意图，其中，目标图像如710标记所示，如711标记所示为该目标图像中各个像素的真实分割标签，指示目标图像中各个像素实际所属的语义类别，如712标记所示为基于方法1得到的该目标图像中各个像素的伪分割标签，如713标记所示为修正得到的目标图像中各个像素的目标分割标签，如714标记所示为基于方法2得到的该目标图像中各个像素的伪分割标签，如715标记所示为修正得到的目标图像中各个像素的目标分割标签，如716标记所示为基于方法3得到的该目标图像中各个像素的伪分割标签，如717标记所示为修正得到的目标图像中各个像素的目标分割标签，如718标记所示为基于方法4得到的该目标图像中各个像素的伪分割标签，如719标记所示为修正得到的目标图像中各个像素的目标分割标签。
[0142]
在一个实施例中，可以采用语义分割领域中常用的评价指标来对本技术实施例提供的图像处理方法的标签修正效果进行评价，例如可以采用平均交并比来进行评价，其中，平均交并比(mean intersection over union，miou)是各个语义类别下的交并比的均值；参见表1，示出了弱监督语义分割技术中的方法1、方法2、方法3以及方法4，在未引入本技术
实施例所提供的图像处理方法(称为本方法)时的评价值和引入了本方法后的评价值，其中，“未修正”对应于对未引入本方法时生成的图像中各个像素的伪分割标签的评价，“修正后”对应于引入本方法后对图像中各个像素的伪分割标签进行修正后，得到的图像中各个像素的目标分割标签的评价；由表1可知引入了本方法后的评价值均较未引入本方法时有明显的增大，进而可知本技术实施例提供的图像处理方法的标签修正效果好。
[0143]
表1
[0144][0145]
在一个实施例中，还可以采用语义分割领域中常用的评价指标来对语义分割模型的模型性能进行评价；参见表2，示出了基于同一个验证集和同一个测试集，对采用同一个训练集对同一个初始语义分割模型训练得到的对比语义分割模型和目标语义分割模型进行评价的评价值；其中，对比语义分割模型为采用了弱监督语义分割技术中的方法1、方法2、方法3或方法4生成的像素的伪分割标签对初始语义分割模型进行训练得到的，目标语义分割模型为采用了对像素的伪分割标签进行修正得到的像素的目标分割标签对初始语义分割模型进行训练得到的；由表2可知，在采用对像素的伪分割标签修正得到的目标分割标签训练得到的目标语义分割模型的模型效果更好。
[0146]
表2
[0147][0148]
本技术实施例中，在确定目标图像中任一像素的伪分割标签的不确定度时，可以基于语义预测结果集中各个像素的语义预测结果，和伪分割标签集中相应像素的伪分割标签之间的差异，从该任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度，并进一步从该任一像素的z个筛选后的不确定度中，选取一个预测不确定度作为该任一像素的伪分割标签的不确定度；可以剔除识别难度大的语义类别，因为对于识别难度大的语义类别来说，即使使用正确标记的伪分割标签来对初始语义分割模型进行训练，参考语义分割
模型对识别难度大的语义类别也较难识别，相应像素的语义预测概率在识别难度大的语义类别下的不确定度也较大，所以在剔除像素的语义预测概率在识别难度大的语义类别所下的不确定度后，所确定出的像素的伪分割标签的不确定度更加准确，进而使得对于目标图像的各个像素中属于错误标注的伪分割标签的判别更加准确。
[0149]
基于上述图像处理方法实施例，本技术实施例提供了一种图像处理装置。参见图8，为本技术实施例提供的一种图像处理装置的结构示意图，该图像处理装置可包括获取单元801以及处理单元802。图8所示的图像处理装置可运行如下单元：
[0150]
获取单元801，用于获取目标图像以及所述目标图像的伪分割标签集；所述伪分割标签集包括：用于指示所述目标图像中的各个像素所属语义类别的伪分割标签；
[0151]
处理单元802，用于分别通过多个参考语义分割模型对所述目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集；任一语义预测概率集包括：所述目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率，所述各个参考语义分割模型是对初始语义分割模型进行训练得到的；
[0152]
所述处理单元802，还用于针对所述目标图像中的任一像素，基于多个语义预测概率集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度；
[0153]
所述处理单元802，还用于分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签；
[0154]
所述处理单元802，还用于基于各个修正分割标签以及所述伪分割标签集中的其他伪分割标签，构建所述目标图像的目标分割标签集；所述目标分割标签集用于对所述初始语义分割模型进行训练。
[0155]
在一个实施例中，所述多个语义类别的数量为h，h为大于或等于2的整数；
[0156]
所述处理单元802基于多个语义预测概率集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0157]
遍历h个语义类别，基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度，作为所述任一像素的一个预测不确定度，h∈[1，h]；
[0158]
从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0159]
在一个实施例中，所述处理单元802基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0160]
对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率进行方差计算处理，得到第一方差；
[0161]
将所述第一方差作为所述任一像素的语义预测概率在所述第h个语义类别下的不确定度。
[0162]
在一个实施例中，所述处理单元802基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测
概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0163]
基于所述任一像素的伪分割标签，确定用于指示所述任一像素所属语义类别是否为所述第h个语义类别的参考指示值；
[0164]
对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率，和所述任一像素对应的参考指示值进行方差计算处理，得到第二方差；
[0165]
将所述第二方差作为所述任一像素的语义预测概率在所述第h个语义类别下的不确定度。
[0166]
在一个实施例中，所述处理单元802基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0167]
采用后处理算法，对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率进行后处理，得到后处理的语义预测概率；
[0168]
基于所述任一像素被预测为所述第h个语义类别时的多个后处理的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度。
[0169]
在一个实施例中，所述处理单元802从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0170]
将所述任一像素的h个预测不确定度中，最大预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0171]
在一个实施例中，所述h个语义类别包括h-1个预设类别以及背景类别；
[0172]
所述处理单元802从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0173]
从所述任一像素的h个预测不确定度中，确定与所述h-1个预设类别对应的h-1个预测不确定度；
[0174]
将所述h-1个预测不确定度中，最大预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0175]
在一个实施例中，所述处理单元802，还用于：
[0176]
获取语义预测结果集；所述语义预测结果集包括：所述目标图像中的各个像素的语义预测结果，所述任一像素的语义预测结果用于指示：预测得到的所述任一像素所属的语义类别，所述任一像素的语义预测结果是基于任一语义预测概率集中的，所述任一像素被预测为所述各个语义类别的语义预测概率确定出的；
[0177]
基于所述语义预测结果集中各个像素的语义预测结果，和所述伪分割标签集中相应像素的伪分割标签之间的差异，从所述任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度，z∈[0，h]；
[0178]
所述处理单元802从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0179]
从所述任一像素的z个筛选后的不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0180]
在一个实施例中，所述处理单元802基于所述语义预测结果集中各个像素的语义预测结果，和所述伪分割标签集中相应像素的伪分割标签之间的差异，从所述任一像素的h
个预测不确定度中筛选得到z个筛选后的不确定度时，具体执行如下操作：
[0181]
遍历所述任一像素的h个预测不确定度，针对所述任一像素的第h个预测不确定度，基于所述任一像素的语义预测结果，确定用于指示预测得到的所述任一像素所属语义类别是否为所述第h个语义类别的预测指示值，以及基于所述任一像素的伪分割标签，确定用于指示所述任一像素所属语义类别是否为所述第h个语义类别的参考指示值；
[0182]
基于所述目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度；直至得到z个筛选后的不确定度。
[0183]
在一个实施例中，所述处理单元802基于所述目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度时，具体执行如下操作：
[0184]
计算所述目标图像中的各个像素对应的预测指示值，与所述目标图像中的各个像素对应的参考指示值之间的交并比；
[0185]
若所述交并比大于筛选阈值，则将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度。
[0186]
在一个实施例中，所述多个语义类别的数量为h，h为大于或等于2的整数；
[0187]
所述处理单元802分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签时，具体执行如下操作：
[0188]
针对不确定度大于所述不确定度阈值的任一伪分割标签，获取所述任一伪分割标签所对应的目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值；所述目标像素的第h个预测不确定度指的是：所述目标像素的语义预测概率在第h个语义类别下的不确定度，所述目标像素的第h个预测概率均值是对所述多个语义预测概率集中，所述目标像素被预测为所述第h个语义类别时的语义预测概率进行平均处理得到的；
[0189]
基于所述目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值，确定所述目标像素在所述第h个语义类别下的修正参考参数，h∈[1，h]；
[0190]
从所述目标像素在所述各个语义类别下的修正参考参数中确定目标修正参考参数，并将所述目标修正参考参数所指示的语义类别作为所述任一伪分割标签对应的修正分割标签。
[0191]
在一个实施例中，所述处理单元802基于所述目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值，确定所述目标像素在所述第h个语义类别下的修正参考参数时，具体执行如下操作：
[0192]
将所述目标像素的第h个预测不确定度，与所述目标像素的第h个预测概率均值之间的比值，确定为所述目标像素在所述第h个语义类别下的修正参考参数；
[0193]
所述处理单元802从所述目标像素在所述各个语义类别下的修正参考参数中确定目标修正参考参数时，具体执行如下操作：
[0194]
将所述目标像素在所述各个语义类别下的修正参考参数中，最小修正参考参数作为所述目标修正参考参数。
[0195]
根据本技术的一个实施例，图2、图4以及图5所示的图像处理方法所涉及的各个步骤可以是由图8所示的图像处理装置中的各个单元来执行的。例如，图2所示的步骤s201可
由图8所示的图像处理装置中的获取单元801来执行；图2所示的步骤s202至步骤s205可由图8所示的图像处理装置中的处理单元802来执行。又如，图4所示的步骤s401可由图8所示的图像处理装置中的获取单元801来执行；图4所示的步骤s402至步骤s406可由图8所示的图像处理装置中的处理单元802来执行。再如，图5所示的步骤s501可由图8所示的图像处理装置中的获取单元801来执行；图5所示的步骤s502至步骤s508可由图8所示的图像处理装置中的处理单元802来执行。
[0196]
根据本技术的另一个实施例，图8所示的图像处理装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，基于逻辑功能划分的图像处理装置也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0197]
根据本技术的另一个实施例，可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图2、图4以及图5所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图8中所示的图像处理装置，以及来实现本技术实施例图像处理方法。所述计算机程序可以记载于例如计算机可读存储介质上，并通过计算机可读存储介质装载于上述计算设备中，并在其中运行。
[0198]
本技术实施例中，可以分别通过对初始语义分割模型进行训练得到的多个参考语义分割模型来对目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集，其中，任一语义预测概率集包括：目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率；然后可以针对目标图像中的任一像素，基于多个语义预测概率集中，针对该任一像素预测得到的语义预测概率之间的差异，确定该任一像素的伪分割标签的不确定度，分别对伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签，进而可以基于各个修正分割标签以及目标图像的伪分割标签集中的其他伪分割标签，构建用于对初始语义分割模型进行训练的目标图像的目标分割标签集；可以基于目标图像中各个像素的伪分割标签的不确定度确定出目标图像的伪分割标签集中的错误标注，进而可实现对错误标注的修正，提高标注准确度，以保证基于目标分割标签集对初始语义分割模型训练得到的目标语义分割模型的性能。
[0199]
基于上述的图像处理方法实施例以及图像处理装置实施例，本技术还提供了一种图像处理设备。参见图9，为本技术实施例提供的一种图像处理设备的结构示意图。图9所示的图像处理设备可至少包括处理器901、输入接口902、输出接口903以及计算机存储介质904。其中，处理器901、输入接口902、输出接口903以及计算机存储介质904可通过总线或其他方式连接。
[0200]
计算机存储介质904可以存储在图像处理设备的存储器中，计算机存储介质904用于存储计算机程序，计算机程序包括程序指令，处理器901用于执行计算机存储介质904存储的程序指令。处理器901(或称cpu(central processing unit，中央处理器))是图像处理设备的计算核心以及控制核心，其适于实现一条或多条指令，具体适于加载并执行一条或
多条指令从而实现上述图像处理方法流程或相应功能。
[0201]
本技术实施例还提供了一种计算机存储介质(memory)，计算机存储介质是图像处理设备中的记忆设备，用于存放程序和数据。可以理解的是，此处的计算机存储介质既可以包括终端中的内置存储介质，当然也可以包括终端所支持的扩展存储介质。计算机存储介质提供存储空间，该存储空间存储了终端的操作系统。并且，在该存储空间中还存放了适于被处理器901加载并执行的一条或多条的指令，这些指令可以是一个或一个以上的计算机程序(包括程序代码)。需要说明的是，此处的计算机存储介质可以是高速随机存取存储器(random access memory，ram)存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选的还可以是至少一个位于远离前述处理器的计算机存储介质。
[0202]
在一个实施例中，可由处理器901加载并执行计算机存储介质中存放的一条或多条指令，以实现上述有关图2、图4以及图5的图像处理方法实施例中的方法的相应步骤，具体实现中，处理器901可用于：
[0203]
获取目标图像以及所述目标图像的伪分割标签集；所述伪分割标签集包括：用于指示所述目标图像中的各个像素所属语义类别的伪分割标签；
[0204]
分别通过多个参考语义分割模型对所述目标图像进行语义分割处理，得到各个参考语义分割模型对应的语义预测概率集；任一语义预测概率集包括：所述目标图像中的各个像素，被预测为多个语义类别中各个语义类别的语义预测概率，所述各个参考语义分割模型是对初始语义分割模型进行训练得到的；
[0205]
针对所述目标图像中的任一像素，基于多个语义预测概率集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度；
[0206]
分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签；
[0207]
基于各个修正分割标签以及所述伪分割标签集中的其他伪分割标签，构建所述目标图像的目标分割标签集；所述目标分割标签集用于对所述初始语义分割模型进行训练。
[0208]
在一个实施例中，所述多个语义类别的数量为h，h为大于或等于2的整数；
[0209]
所述处理器901基于多个语义预测概率集中，针对所述任一像素预测得到的语义预测概率之间的差异，确定所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0210]
遍历h个语义类别，基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度，作为所述任一像素的一个预测不确定度，h∈[1，h]；
[0211]
从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0212]
在一个实施例中，所述处理器901基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0213]
对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率进行方差计算处理，得到第一方差；
[0214]
将所述第一方差作为所述任一像素的语义预测概率在所述第h个语义类别下的不
确定度。
[0215]
在一个实施例中，所述处理器901基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0216]
基于所述任一像素的伪分割标签，确定用于指示所述任一像素所属语义类别是否为所述第h个语义类别的参考指示值；
[0217]
对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率，和所述任一像素对应的参考指示值进行方差计算处理，得到第二方差；
[0218]
将所述第二方差作为所述任一像素的语义预测概率在所述第h个语义类别下的不确定度。
[0219]
在一个实施例中，所述处理器901基于所述多个语义预测概率集中，所述任一像素被预测为第h个语义类别时的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度时，具体执行如下操作：
[0220]
采用后处理算法，对所述多个语义预测概率集中，所述任一像素被预测为所述第h个语义类别时的语义预测概率进行后处理，得到后处理的语义预测概率；
[0221]
基于所述任一像素被预测为所述第h个语义类别时的多个后处理的语义预测概率之间的差异，确定所述任一像素的语义预测概率在所述第h个语义类别下的不确定度。
[0222]
在一个实施例中，所述处理器901从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0223]
将所述任一像素的h个预测不确定度中，最大预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0224]
在一个实施例中，所述h个语义类别包括h-1个预设类别以及背景类别；
[0225]
所述处理器901从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0226]
从所述任一像素的h个预测不确定度中，确定与所述h-1个预设类别对应的h-1个预测不确定度；
[0227]
将所述h-1个预测不确定度中，最大预测不确定度作为所述任一像素的伪分割标签的不确定度。
[0228]
在一个实施例中，所述处理器901，还用于：
[0229]
获取语义预测结果集；所述语义预测结果集包括：所述目标图像中的各个像素的语义预测结果，所述任一像素的语义预测结果用于指示：预测得到的所述任一像素所属的语义类别，所述任一像素的语义预测结果是基于任一语义预测概率集中的，所述任一像素被预测为所述各个语义类别的语义预测概率确定出的；
[0230]
基于所述语义预测结果集中各个像素的语义预测结果，和所述伪分割标签集中相应像素的伪分割标签之间的差异，从所述任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度，z∈[0，h]；
[0231]
所述处理器901从所述任一像素的h个预测不确定度中，选取一个预测不确定度作为所述任一像素的伪分割标签的不确定度时，具体执行如下操作：
[0232]
从所述任一像素的z个筛选后的不确定度中，选取一个预测不确定度作为所述任
一像素的伪分割标签的不确定度。
[0233]
在一个实施例中，所述处理器901基于所述语义预测结果集中各个像素的语义预测结果，和所述伪分割标签集中相应像素的伪分割标签之间的差异，从所述任一像素的h个预测不确定度中筛选得到z个筛选后的不确定度时，具体执行如下操作：
[0234]
遍历所述任一像素的h个预测不确定度，针对所述任一像素的第h个预测不确定度，基于所述任一像素的语义预测结果，确定用于指示预测得到的所述任一像素所属语义类别是否为所述第h个语义类别的预测指示值，以及基于所述任一像素的伪分割标签，确定用于指示所述任一像素所属语义类别是否为所述第h个语义类别的参考指示值；
[0235]
基于所述目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度；直至得到z个筛选后的不确定度。
[0236]
在一个实施例中，所述处理器901基于所述目标图像中的各个像素对应的预测指示值，与相应像素对应的参考指示值之间的差异，确定是否将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度时，具体执行如下操作：
[0237]
计算所述目标图像中的各个像素对应的预测指示值，与所述目标图像中的各个像素对应的参考指示值之间的交并比；
[0238]
若所述交并比大于筛选阈值，则将所述任一像素的第h个预测不确定度，作为一个筛选后的不确定度。
[0239]
在一个实施例中，所述多个语义类别的数量为h，h为大于或等于2的整数；
[0240]
所述处理器901分别对所述伪分割标签集中，不确定度大于不确定度阈值的伪分割标签进行标签修正处理，得到修正分割标签时，具体执行如下操作：
[0241]
针对不确定度大于所述不确定度阈值的任一伪分割标签，获取所述任一伪分割标签所对应的目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值；所述目标像素的第h个预测不确定度指的是：所述目标像素的语义预测概率在第h个语义类别下的不确定度，所述目标像素的第h个预测概率均值是对所述多个语义预测概率集中，所述目标像素被预测为所述第h个语义类别时的语义预测概率进行平均处理得到的；
[0242]
基于所述目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值，确定所述目标像素在所述第h个语义类别下的修正参考参数，h∈[1，h]；
[0243]
从所述目标像素在所述各个语义类别下的修正参考参数中确定目标修正参考参数，并将所述目标修正参考参数所指示的语义类别作为所述任一伪分割标签对应的修正分割标签。
[0244]
在一个实施例中，所述处理器901基于所述目标像素的第h个预测不确定度，以及所述目标像素的第h个预测概率均值，确定所述目标像素在所述第h个语义类别下的修正参考参数时，具体执行如下操作：
[0245]
将所述目标像素的第h个预测不确定度，与所述目标像素的第h个预测概率均值之间的比值，确定为所述目标像素在所述第h个语义类别下的修正参考参数；
[0246]
所述处理器901从所述目标像素在所述各个语义类别下的修正参考参数中确定目标修正参考参数时，具体执行如下操作：
[0247]
将所述目标像素在所述各个语义类别下的修正参考参数中，最小修正参考参数作
为所述目标修正参考参数。
[0248]
本技术实施例提供了一种计算机程序产品，计算机程序产品包括计算机程序，该计算机程序存储在计算机存储介质中；图像处理设备的处理器从计算机存储介质中读取该计算机程序，处理器执行该计算机程序，使得图像处理设备执行上述如图2、图4以及图5所示的方法实施例。其中，计算机可读存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)或随机存储记忆体(random access memory，ram)等。
[0249]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。