图像中异常区域的处理方法、装置和图像分割方法、装置与流程

1.本公开涉及图像处理技术领域，特别涉及一种图像中异常区域的处理方法、图像中异常区域的处理装置、图像分割方法、图像分割装置、电子设备和非易失性计算机可读存储介质。


背景技术：

2.目前，图像识别和分割技术在计算机视觉、医学图像分析等领域中得到了广泛的应用。例如，可以利用基于监督训练的机器学习方式实现人脸识别、自动驾驶、肿瘤检测等功能。
3.但是，由于训练数据采样的局限性，并不能把实际应用中可能出现的所有情况都包含进去。例如，在实际使用中，训练好的机器学习模型往往会遇到图像中存在包含异常区域的异常区域。这些异常区域包含了训练中没有出现的物体或图像表象，从而导致机器学习模型做出错误的判别或预测。
4.在相关技术中，可以在受到异常区域干扰的情况下，利用自动编码器和生成对抗网络等深度生成网络，生成未受干扰的纯净图像特性。使用纯净图像训练的自动编码器或生成对抗网络重建图像。


技术实现要素：

5.本公开的发明人发现上述相关技术中存在如下问题：需要一定数量的包含异常区域的图像样本来训练深度神经网络，使得异常区域的检测难以适应各种实际情况，从而导致异常区域的检测性能下降。
6.鉴于此，本公开提出了一种图像中异常区域的处理技术方案，能够提高异常区域的检测性能。
7.根据本公开的一些实施例，提供了一种图像中异常区域的处理方法，包括：针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域；根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值；根据该待检测区域的原始像素值，计算与所述各预测像素值相应的预测误差分布，作为第一误差分布；根据所述第一误差分布，判断该待检测区域是否属于所述待处理图像中的异常区域。
8.在一些实施例中，所述根据所述第一误差分布，判断该像素是否属于所述待处理图像中的异常区域包括：根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域，所述第二误差分布能够表征不包含所述异常区域的图像的预测误差分布。
9.在一些实施例中，所述第二误差分布通过以下方式中的一个确定：
10.根据所述第一机器学习模型处理不包含所述异常区域的其他图像的预测误差分布，确定所述第二误差分布；根据所述待处理图像中所有像素的第一误差分布的标准差，确
定所述第二误差分布；或者根据所述待处理图像，利用第二机器学习模型确定所述第二误差分布。
11.在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；更新步骤，根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布，或者根据所述候选图像，利用第二机器学习模型，更新所述第二误差分布；判断步骤，根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域。
12.在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：重复所述生成步骤、所述更新步骤、所述判断步骤，直到满足迭代条件，以确定所述待处理图像中的各待检测区域是否属于异常区域。
13.在一些实施例中，所述根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布包括：根据所述多个待处理区域，利用所述第一机器学习模型，计算所述候选图像中该待检测区域的各预测像素值；根据所述候选图像的各预测像素值，确定所述候选图像中该待检测区域的预测误差分布；利用所述候选图像中该待检测区域的预测误差分布，更新所述第二误差分布。
14.在一些实施例中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定所述待处理图像中的各待检测区域是否属于所述异常区域。
15.在一些实施例中，所述根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域包括：根据判断为属于所述异常区域的像素，生成候选像素集合；根据所述候选图像中各像素的第二误差分布，计算各像素不属于所述异常区域的第一概率，根据所述候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据所述第一概率和所述第二概率确定的所述像素集合的后验概率，生成目标函数；以所述候选像素集合中的像素为变量，以最大化所述后验概率为条件，求解所述目标函数，以确定所述候选图像中哪些像素属于所述异常区域。
16.在一些实施例中，所述的处理方法，还包括：根据满足所述迭代条件时生成的候选图像，确定不包含所述异常区域的纯净图像。
17.在一些实施例中，所述根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域包括：根据所述第一误差分布与第二误差分布的交叉熵，确定所述差异。
18.在一些实施例中，所述第一阈值根据所述差异的标准差确定。
19.在一些实施例中，所述针对待处理图像中任一个像素，划分包含该像素的多个待处理区域包括：利用多个掩模叠加在所述待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含像素的一个待处理区域；移动所述多个掩模，形成多个第二空白区域，
分别作为各第二空白区域包含像素的另一个待处理区域；不断移动所述多个掩模，直到所述待处理图像中所有像素均具有多个待处理区域。
20.在一些实施例中，所述待处理图像为生物的医学影像图像，所述异常区域为非生物区域或异常生物区域；或者所述待处理图像为工业产品图像，所述异常区域为破损或划痕区域。
21.根据本公开的另一些实施例，提供一种图像分割方法，包括：根据上述任一个实施例所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
22.根据本公开的又一些实施例，提供一种图像中异常区域的处理装置，包括：划分单元，用于针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域；预测值计算单元，用于根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值；分布计算单元，用于根据该待检测区域的原始像素值，计算与所述各预测像素值相应的预测误差分布，作为第一误差分布；判断单元，用于根据所述第一误差分布，判断该待检测区域是否属于所述待处理图像中的异常区域。
23.在一些实施例中，所述判断单元根据所述第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于所述待处理图像中的异常区域，所述第二误差分布能够表征不包含所述异常区域的图像的预测误差分布。
24.在一些实施例中，所述分布计算单元通过以下方式中的一个确定第二误差分布：根据所述第一机器学习模型处理不包含所述异常区域的其他图像的预测误差分布，确定所述第二误差分布；根据所述待处理图像中所有像素的第一误差分布的标准差，确定所述第二误差分布；或者根据所述待处理图像，利用第二机器学习模型确定所述第二误差分布。
25.在一些实施例中，所述的处理装置还包括生成单元，用于执行生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；所述分布计算单元执行更新步骤，根据所述候选图像，利用所述多个待处理区域和所述第一机器学习模型，更新所述第二误差分布，或者根据所述候选图像，利用第二机器学习模型，更新所述第二误差分布；所述判断单元执行判断步骤，根据所述第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于所述异常区域。
26.在一些实施例中，所述生成单元、所述分布计算单元和所述判断单元重复上述生成步骤、更新步骤、更新步骤，直到满足迭代条件，以确定所述待处理图像中的各像素是否属于异常区域。
27.在一些实施例中，所述预测值计算单元根据所述多个待处理区域，利用所述第一机器学习模型，计算所述候选图像中该待检测区域的各预测像素值；所述分布计算单元根据所述候选图像的各预测像素值，确定所述候选图像中该待检测区域的预测误差分布；所述分布计算单元利用所述候选图像中该待检测区域的预测误差分布，更新所述第二误差分布。
28.在一些实施例中，所述判断单元根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定所述待处理图像中的各待检测区域是否属于所述异常区域。
29.在一些实施例中，所述判断单元根据判断为属于所述异常区域的像素，生成候选像素集合；根据所述候选图像中各像素的第二误差分布，计算各像素不属于所述异常区域的第一概率，根据所述候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据所述第一概率和所述第二概率确定的所述像素集合的后验概率，生成目标函数；以所述候选像素集合中的像素为变量，以最大化所述后验概率为条件，求解所述目标函数，以确定所述候选图像中哪些像素属于所述异常区域。
30.在一些实施例中，所述生成单元，用于根据满足所述迭代条件时生成的候选图像，确定不包含所述异常区域的纯净图像。
31.在一些实施例中，所述判断单元根据所述第一误差分布与第二误差分布的交叉熵，确定所述差异。
32.在一些实施例中，所述第一阈值根据所述差异的标准差确定。
33.在一些实施例中，所述划分单元利用多个掩模叠加在所述待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含待检测区域的一个待处理区域；移动所述多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含待检测区域的另一个待处理区域；不断移动所述多个掩模，直到所述待处理图像中所有待检测区域均具有多个待处理区域。
34.在一些实施例中，所述待处理图像为生物的医学影像图像，所述异常区域为非生物区域或异常生物区域；或者所述待处理图像为工业产品图像，所述异常区域为破损或划痕区域。
35.根据本公开的再一些实施例，提供一种图像分割装置，包括：检测单元，用于根据上述任一个实施例所述的图像中异常区域的处理方法，检测待处理图像中的异常区域；分割单元，用于对生成的不包含所述异常区域的纯净图像进行图像分割，以确定所述待处理图像的图像分割结果。
36.根据本公开的又一些实施例，提供一种电子设备，包括：存储器；和耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例中的图像中异常区域的处理方法或图像分割方法。
37.根据本公开的再一些实施例，提供一种非易失性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例中的图像中异常区域的处理方法或图像分割方法。
38.在上述实施例中，针对待处理图像中每一个像素的像素值进行多次预测，并基于多个预测值确定预测误差分布作为检测异常区域的依据。这样，可以在无需异常区域训练数据的情况下，利用待处理图像中正常区域和异常区域的预测误差分布的差异，对异常区域的特征进行深度挖掘，从而提高异常区域的检测性能。
附图说明
39.构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。
40.参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：
41.图1示出本公开的图像中异常区域的处理方法的一些实施例的流程图；
42.图2a示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
43.图2b示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
44.图2c示出本公开的图像中异常区域的处理方法的一些实施例的示意图；
45.图3示出图1的步骤140的一些实施例的流程图；
46.图4示出本公开的图像中异常区域的处理装置的一些实施例的框图；
47.图5示出本公开的电子设备的一些实施例的框图；
48.图6示出本公开的电子设备的另一些实施例的框图。
具体实施方式
49.现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。
50.同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
51.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。
52.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。
53.在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。
54.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
55.如前所述，由于训练数据采样的局限性，并不能把实际情况中可能出现的所有情况都包含进去。因此，在实际情况中，训练好的机器学习模型可能遇到待处理图像中包含训练中没有出现的物体或图像表象，从而导致该模型做出错误的判别或预测。
56.例如，在医学成像领域中，患者在图像采集之前可能在体内植入了一些医疗设备(如起搏器等)，或者在图像采集时可能佩戴有一些额外物体(如纽扣、项链等)。这些异常区域在医学图像通常被称为异物，极易引起分割网络或分类网络的失败。
57.因此，很难通过有监督学习的方式进行有效检测待处理图像中的这些异常区域。
58.基于上述技术问题，本公开提出了一种无监督的像素级图像异常区域(异常区域所在区域)的检测技术方案。该技术方案基于图像补绘(image inpainting)技术来建立图像中各区域的预测模型，在不需要含有异常区域标注的训练数据的情况下，进行无监督学习。
59.这样，本技术方案可以自动检测图像上存在的异常区域的所在区域，并具有相当高的准确性。而且，本技术方案还可以将检测到的异常区域从待处理图像中去除，得到纯净图像用于进一步的图像处理(如分割、分类等)。
60.例如，可以通过下面的实施例实现上述技术方案。
61.图1示出本公开的图像中异常区域的处理方法的一些实施例的流程图。
62.如图1所示，该方法包括：步骤110，划分多个待处理区域；步骤120，计算各预测像
素值；步骤130，计算第一误差分布；和步骤140，判断异常区域。
63.在步骤110中，针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域。例如，待检测区域可以为待处理图像中的任一个像素，待检测区域为某干扰物体所在区域。
64.在一些实施例中，例如，可以通过图2a中的实施例来实现步骤110。
65.图2a示出本公开的图像中异常区域的处理方法的一些实施例的示意图。
66.如图2a所示，对于一个待处理图像i中的任一个像素x，针对待处理图像中的每一个像素x均形成多个包含该像素的待处理区域。这些待处理区域可以是大小、位置、形状不同的“孔洞”。例如，“孔洞”的形状可以矩形，也可以是任一种形状，甚至是不规则形状。
67.在一些实施例中，可以根据先验知识，“孔洞”大小可以根据最大的异常区域的大小设置。
68.利用这些“孔洞”作为掩模叠加在某一待处理像素所在区域上，可以将“孔洞”内所有的原有像素值置0形成遮盖区域，以便将待处理像素的像素值作为预测的对象。
69.在一些实施例中，需要对待处理图像中的每一个像素均进行如上处理，即需要遍历待处理图像中的每一个像素。例如，可以根据待处理图像的大小、异常区域的大小、检测需求等要素，设置一定的步长；按照该步长，在待处理图像上移动各“孔洞”，以实现对每一个像素的掩模处理。
70.在一些实施例中，为了提高遍效率，可以使用网格式的“孔洞”组实现多个像素的并行处理。例如，可以通过图2b、2c的实施例来实现并行处理。
71.图2b、2c示出本公开的图像中异常区域的处理方法的一些实施例的示意图。
72.如图2b所示，可以利用多个掩模(图中小的矩形框)叠加在待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含像素的一个待处理区域。
73.如图2c所示，移动这些掩模，形成多个第二空白区域，分别作为各第二空白区域包含像素的另一个待处理区域；不断移动多个掩模，直到待处理图像中所有像素均具有多个待处理区域。
74.在待处理图像上形成了包含各像素的空白区域后，就可以通过图1中的其他步骤进行像素值预测。
75.在步骤120中，根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值。
76.在一些实施例中，对于待处理图像中遮盖区域的像素x，可以通过补绘函数i
′
(x)＝g(m,x)来预测x点上的灰度值(像素值)i(x)的预测值i
′
(x)，m为包含x的待处理区域，即“孔洞”。g(m,x)可以是一个机器学习模型，如pcnn(partial convolutional neural network，部分卷积神经网络)。
77.在一些实施例中，由于一个像素x具有多个待处理区域，因此可以得到多个i
′
(x)。这样，就可以根据i(x)及其相应的多个i
′
(x)，计算多个预测误差ε
x
＝i(x)-i
′
(x)。
78.由于异常区域所在的异常区域与待处理图像中的正常区域的预测误差ε
x
不同，因此可以根据每一个像素的预测误差来判断该像素是否属于异常区域。
79.但是，预测误差与“孔洞”的大小、形状等诸多因素相关，仅依靠ε
x
检测异常区域的准确率较低。因此，本公开对一个像素采用多个待处理区域进行预测，以获取ε
x
的误差分布
pa(ε
x
)。通过pa(ε
x
)可以更加准确地检测异常区域。
80.在步骤130中，根据该待检测区域的原始像素值，计算与各预测像素值相应的预测误差分布，作为第一误差分布。
81.在一些实施例中，由于本公开为每一个像素设置了多个待处理区域，因此对于每一个像素x，均可以计算多个预测误差ε
x
。这样，就可以得到ε
x
的预测误差分布pa(ε
x
)。例如，pa(ε
x
)可以通过ε
x
的pdf(probability density function，概率密度函数)计算。
82.在一些实施例中，由于异常区域所在的异常区域与待处理图像中的正常区域的预测误差分布pa(ε
x
)不同，因此可以根据每一个像素的pa(ε
x
)是否符合来判断该像素是否属于异常区域。
83.在步骤140中，根据第一误差分布，判断该待检测区域是否属于待处理图像中的异常区域。可以选择向用户发出关于该异常区域的警告信息。例如，待处理图像为生物的医学影像图像，异常区域为属于非生物的物体；或者待处理图像为工业产品图像，异常区域为破损或划痕区域。
84.在一些实施例中，根据第一误差分布与第二误差分布的差异是否大于第一阈值，判断该像素是否属于待处理图像中的异常区域。第二误差分布能够表征不包含异常区域的图像的预测误差分布。
85.例如，根据先验知识，可以知道正常区域的预测误差分布pb(ε
x
)为第二误差分布，通常呈现的分布特性为一个宽度很窄的单峰分布。在pa(ε
x
)不符合上述分布特性的情况下，可以判断像素x属于异常区域。
86.在一些实施例中，根据第一误差分布与第二误差分布的交叉熵，确定差异。交叉熵即kl(kullback
–
leibler)散度。
87.在一些实施例中，第一阈值可以根据差异的标准差确定。例如，可以将交叉熵的标准差的3倍作为第一阈值。
88.在一些实施例中，无法直接获取不包含异常区域的纯净图像，也就无法直接获取pb(ε
x
)。在这种情况下，可以采用迭代方法来逐步完善对异常区域的判断，以及对纯净图像的预测误差的估计。
89.例如，可以通过图3中的实施例实现步骤140。
90.图3示出图1的步骤140的一些实施例的流程图。
91.如图3所示，步骤140包括：步骤1410，替换预测像素值；步骤1420，更新第二误差分布；和步骤1430，判断异常区域。
92.在步骤1410中，将所有属于所述异常区域的像素值，替换为相应的预测像素值，生成候选图像。例如，可以根据满足迭代条件时生成的候选图像，确定不包含异常区域的纯净图像。
93.在一些实施例中，根据上述任一个实施例中的图像中异常区域的处理方法，检测待处理图像中的异常区域；对生成的不包含异常区域的纯净图像进行图像分割，以确定待处理图像的图像分割结果。例如，上述任一个实施例中处理方法输出的不包含异常区域的纯净图像可作为另外一个图像分割模块的输入。
94.在一些实施例中，可以用所有属于异常区域的像素集合建立一个新的待处理区域。利用第二机器学习模型预测该新的待处理区域中的像素值。利用预测的像素值替换待
处理图像中相应区域的像素值以生成候选图像。
95.在一些实施例中，对于待处理图像i，为第i次迭代得到的第一误差分布与第二误差分布的差异值(如kl散度)。
96.例如，pa(ε
x
)和pb(ε
x
)均成正态分布。这样，需要获取pa(ε
x
)和pb(ε
x
)的均值和标准差，以计算二者的kl散度；还可以生成pa(ε
x
)和pb(ε
x
)的直方图，然后计算两个直方图的kl散度。
97.在一些实施例中，根据机器学习模型处理不包含异常区域的其他图像的预测误差分布，确定第二误差分布作为pb(ε
x
)的初值。
98.例如，可以预先生成多个不包含异常区域的其他图像作为训练数据，通过上述“孔洞”和补绘函数i
′
(x)＝g(m,x)计算其预测误差分布pb(ε
x
)作为第二误差分布，从而确定迭代初值
99.在一些实施例中，由于异常区域一般在待处理图像中的面积占比较小，因此可以通过统计方法确定第二误差分布作为pb(ε
x
)的初值。
100.例如，可以根据待处理图像中所有像素的第一误差分布的标准差，确定第二误差分布，从而确定迭代初值
101.在一些实施例中，纯净图像中像素的预测误差分布pb(ε
x
)通常满足以零为均值以σ0为标准方差的正态分布n(0,σ0)。σ0的初值可以通过上述实施例确定。例如，σ0可以被设置为待处理图片中所有像素的预测误差的标准差的中位数。
102.在一些实施例中，在确定了kl散度初值后，可以根据第一阈值确定覆盖了异常区域的“孔洞”的各初值m0。
103.例如，可以通过分析训练集中纯净图像的的范围确定第一阈值。例如，第一阈值可以为标准差的3倍。
104.在确定了m0之后，可以利用训练好的补绘神经网络，确定覆盖区域的像素值，从而把这些m0充上“正常”的像素值，以生成本次迭代的候选图像
105.在步骤1420中，根据候选图像，利用多个待处理区域和第一机器学习模型，更新第二误差分布。例如，可以对候选图像进行图像补绘，以确定本次迭代的预测误差分布或者通过训练第二机器学习模型直接来推测
106.在一些实施例中，根据多个待处理区域，利用第一机器学习模型，计算候选图像中该像素的各预测像素值；根据候选图像的各预测像素值，确定候选图像中该像素的预测误差分布；利用候选图像中该像素的预测误差分布，更新第二误差分布。
107.在一些实施例中，利用一个新的机器学习模型(第二机器学习模型)，以候选图像为输入，以每个像素预测误差的均值和标准方差为输出，直接估计预测误差分布，来更新第二误差分布。这个新的机器模型可以用上面进行补绘的第一机器学习模型产生的预测误差分布来进行训练。在步骤1430中，根据第一误差分布与更新后的第二误差分布的差异是否
大于第一阈值，重新判断该像素是否属于所述异常区域。
108.在一些实施例中，根据pa(ε
x
)和的可以确定新的第一阈值；根据新的第一阈值，可以确定本次迭代中覆盖了异常区域的“孔洞”m1。通过对m1覆盖区域的图像补绘，可以更新的迭代图像
109.在一些实施例中，可以重复上述步骤，直到满足迭代条件，以确定待处理图像中的各像素是否属于异常区域。例如，迭代条件可以根据迭代次数设置，或者根据覆盖异常区域的“孔洞”是否趋于稳定设置。
110.这样，通过迭代不断更新这样，通过迭代不断更新和mi，可以得到越来越准确的异常区域和纯净图像。
111.在一些实施例中，为了避免在迭代过程中向pa(ε
x
)漂移，即预测的纯净图片(候选图片)越来越接近输入的污染图片(待处理图片)，可以在更新mi的时候增加纠错检查处理。例如，可以通过下面任一个实施例中的方法实现纠错检查处理。
112.在一些实施例中，根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定待处理图像中的各像素是否属于所述异常区域。
113.例如，根据本次迭代的mi进行图像补绘处理，得到本次迭代的候选图像计算与上次迭代的之间的kl散度之间的kl散度超过第二阈值，则认为mi的覆盖区域为异常区域；可以将根据和两个kl散度确定的异常区域的并集，确定为本次迭代的包含异常区域的异常区域。
114.例如，为了确保在图像补绘处理中“孔洞”能够覆盖所有异常区域的像素，在每次阈值更新操作，将“孔洞”扩展若干个像素(如3个像素等)作为新的“孔洞”。
115.在一些实施例中，根据判断为属于所述异常区域的像素，生成候选像素集合；根据候选图像中各像素的第二误差分布，计算各像素不属于异常区域的第一概率，根据候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据第一概率和第二概率确定的像素集合的后验概率，生成目标函数；以候选像素集合中的像素为变量，以最大化后验概率为条件，求解目标函数，以确定候选图像中哪些像素属于异常区域。
116.例如，可以将对本次迭代覆盖异常区域的mi的估计，作为一个针对后验概率的优化问题。即寻找一个mi，使得mi覆盖区域为异常区域的概率最大，而mi未覆盖区域为正常区域的概率最大。
117.例如，可以将最大化这个后验概率等价于最小化它的-log(
·
)值。这样，可以设置一个目标函数，其包含mi覆盖区域为异常区域的概率的成分(-log(p(pa(ε
x
)||mi＝1))，和mi未覆盖区域为正常区域的概率的成分为了让得到的区域更加平滑，还可以加入一个使得mi边界平滑的成分。
118.上述实施例中，提出了通过多次图像补绘来观测各个像素点的预测误差分布，并
通过对分布的分析来判断是否存在异常。例如，通过比较两个预测误差分布的差异，来确定相应区域是否存在异常。
119.而且，还提出了通过图像补绘处理，对异常区域进行补绘，从而推测无异物的纯净图像；并通过迭代，逐步完善对异常区域的判定，以及对纯净图像的推测。
120.图4示出本公开的图像中异常区域的处理装置的一些实施例的框图。
121.如图4所示，图像中异常区域的处理装置4包括划分单元41、预测值计算单元42、分布计算单元43和判断单元44。
122.划分单元41针对待处理图像中任一个或多个像素组成的待检测区域，划分包含该待检测区域的多个待处理区域。
123.预测值计算单元42根据各待处理区域之外预设范围内的像素值，利用第一机器学习模型，分别计算该待检测区域的各预测像素值。
124.分布计算单元43根据该待检测区域的原始像素值，计算与各预测像素值相应的预测误差分布，作为第一误差分布。
125.判断单元44根据第一误差分布，判断该待检测区域是否属于待处理图像中的异常区域。
126.在一些实施例中，判断单元44根据第一误差分布与第二误差分布的差异是否大于第一阈值，判断该待检测区域是否属于待处理图像中的异常区域。第二误差分布能够表征不包含异常区域的图像的预测误差分布。
127.在一些实施例中，分布计算单元43通过以下方式中的一个确定第二误差分布：根据第一机器学习模型处理不包含异常区域的其他图像的预测误差分布，确定第二误差分布；根据待处理图像中所有像素的第一误差分布的标准差，确定第二误差分布；或者根据待处理图像，利用第二机器学习模型确定第二误差分布。
128.在一些实施例中，处理装置4还包括生成单元45，用于执行生成步骤，将所有属于所述异常区域的像素替换为相应的预测像素值，生成候选图像；分布计算单元43执行更新步骤，根据候选图像，利用多个待处理区域和第一机器学习模型，更新第二误差分布，或者根据候选图像，利用第二机器学习模型，更新第二误差分布；判断单元44执行判断步骤，根据第一误差分布与更新后的第二误差分布的差异是否大于第一阈值，重新判断该待检测区域是否属于异常区域。
129.在一些实施例中，生成单元45、分布计算单元43和判断单元44重复上述步骤，直到满足迭代条件，以确定待处理图像中的各像素是否属于异常区域。
130.在一些实施例中，预测值计算单元42根据多个待处理区域，利用第一机器学习模型，计算候选图像中该待检测区域的各预测像素值；分布计算单元43根据候选图像的各预测像素值，确定候选图像中该待检测区域的预测误差分布；分布计算单元43利用候选图像中该待检测区域的预测误差分布，更新第二误差分布。
131.在一些实施例中，判断单元44根据相邻两次迭代中候选图像的第二误差分布之间的差异是否大于第二阈值，确定待处理图像中的各待检测区域是否属于异常区域。
132.在一些实施例中，判断单元44根据判断为属于异常区域的像素，生成候选像素集合；根据候选图像中各像素的第二误差分布，计算各像素不属于异常区域的第一概率，根据候选图像中各像素的第一误差分布与第二误差分布的差异，计算各像素的第二概率；根据
第一概率和第二概率确定的像素集合的后验概率，生成目标函数；以候选像素集合中的像素为变量，以最大化后验概率为条件，求解目标函数，以确定候选图像中哪些像素属于异常区域。
133.在一些实施例中，生成单元45，用于根据满足迭代条件时生成的候选图像，确定不包含异常区域的纯净图像。
134.在一些实施例中，判断单元4根据第一误差分布与第二误差分布的交叉熵，确定差异。
135.在一些实施例中，第一阈值根据差异的标准差确定。
136.在一些实施例中，划分单元41利用多个掩模叠加在待处理图像上，形成多个第一空白区域，分别作为各第一空白区域包含待检测区域的一个待处理区域；移动多个掩模，形成多个第二空白区域，分别作为各第二空白区域包含待检测区域的另一个待处理区域；不断移动多个掩模，直到待处理图像中所有待检测区域均具有多个待处理区域。
137.在一些实施例中，待处理图像为生物的医学影像图像，异常区域为非生物区域或异常生物区域；或者待处理图像为工业产品图像，异常区域为破损或划痕区域。
138.在一些实施例中，本公开的图像分割装置包括：检测单元，用于根据上述任一个实施例中的图像中异常区域的处理方法，检测待处理图像中的异常区域；分割单元，用于对生成的不包含异常区域的纯净图像进行图像分割，以确定待处理图像的图像分割结果。
139.图5示出本公开的电子设备的一些实施例的框图。
140.如图5所示，该实施例的电子设备5包括：存储器51以及耦接至该存储器51的处理器52，处理器52被配置为基于存储在存储器51中的指令，执行本公开中任意一个实施例中的图像中异常区域的处理方法或图像分割方法。
141.其中，存储器51例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)、数据库以及其他程序等。
142.图6示出本公开的电子设备的另一些实施例的框图。
143.如图6所示，该实施例的电子设备6包括：存储器610以及耦接至该存储器610的处理器620，处理器620被配置为基于存储在存储器610中的指令，执行前述任意一个实施例中的图像中异常区域的处理方法或图像分割方法。
144.存储器610例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(boot loader)以及其他程序等。
145.电子设备6还可以包括输入输出接口630、网络接口640、存储接口650等。这些接口630、640、650以及存储器610和处理器620之间例如可以通过总线660连接。其中，输入输出接口630为显示器、鼠标、键盘、触摸屏、麦克、音箱等输入输出设备提供连接接口。网络接口640为各种联网设备提供连接接口。存储接口650为sd卡、u盘等外置存储设备提供连接接口。
146.本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
147.至此，已经详细描述了根据本公开的图像中异常区域的处理方法、图像中异常区域的处理装置、图像分割方法、图像分割装置、电子设备和非易失性计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
148.可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
149.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。