模型生成、图像分割方法、系统、电子设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种模型生成、图像分割方法、系统、电子设备及存储介质。


背景技术：

2.从医学图像中准确分割出的解剖结构，可以作为医护人员进行诊断、制定治疗计划、临床研究等的重要参考依据。近年来，深度卷积神经网络已被广泛应用于自动化分割任务中，然而，将基于深度学习的分割方法部署到实际应用中的一个主要难点是临床部署期间的数据分布差异(也可以称为域偏移)，其中包括跨医疗中心和扫描仪的图像外观和对比度的变化以及各种成像伪影。
3.最近关于域泛化的工作为解决上述问题提供了一个很好的方向，可是这一工作中的大多数需要通过收集来自多个数据分布中的数据(如来自不同的扫描仪的数据、来自不同的医疗中心的数据等)，来帮助网络学习用于分割的域不变特征。然而，由于数据隐私问题和收集成本，多种数据分布下的数据收集并不总是可行的。因此，如何基于有限数据分布下的数据训练得到具有强鲁棒性的图像分割模型，这对于医学图像研究具有重要的实用价值。


技术实现要素：

4.本发明实施例提供了一种模型生成、图像分割方法、系统、电子设备及存储介质，以实现基于有限数据分布下的数据(即训练样本)训练出具有强鲁棒性的图像分割模型的效果。
5.第一方面，本发明实施例提供了一种模型生成方法，可以包括：
6.获取样本图像、增强图像和样本图像的分割标签，将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本；
7.基于多组训练样本对原始分割模型进行训练，得到图像分割模型；
8.其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值。
9.第二方面，本发明实施例还提供了一种图像分割方法，可以包括：
10.获取目标图像、以及按照本发明任意实施例所提供的模型生成方法生成的图像分割模型；
11.将目标图像输入到图像分割模型中，根据图像分割模型的输出结果，得到目标图像中的待分割目标。
12.第三方面，本发明实施例还提供了一种模型生成系统，可以包括：
13.训练样本得到模块，用于获取样本图像、增强图像和样本图像的分割标签，将样本
图像和分割标签、及增强图像和分割标签分别作为一组训练样本；
14.模型生成模块，用于基于多组训练样本训练原始分割模型，得到图像分割模型；
15.其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值。
16.第四方面，本发明实施例还提供了一种图像分割系统，可以包括：
17.图像分割模型获取模块，用于获取目标图像、以及按照本发明任意实施例所提供的模型生成方法生成的图像分割模型；
18.图像分割模块，用于将目标图像输入到图像分割模型中，并根据图像分割模型的输出结果，得到目标图像中的待分割目标。
19.第五方面，本发明实施例还提供了一种电子设备，可以包括：
20.一个或多个处理器；
21.存储器，用于存储一个或多个程序；
22.当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本发明任意实施例所提供的模型生成方法或是图像分割方法。
23.第六方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时可实现本发明任意实施例所提供的模型生成方法或是图像分割方法。
24.本发明实施例的技术方案，通过获取样本图像、增强图像、及样本图像的分割标签，将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本，其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，该图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均是小于预设数值，这意味着将图像模板作用在样本图像上后生成的第一增强图像可以理解为部分图像细节缺失的样本图像，将目标特征图模板作用在目标特征图上后生成的缺失特征图可以理解为部分特征细节缺失的目标特征图，而正是因为这种缺失，样本图像和第一增强图像的数据分布、以及根据缺失特征图生成的第二增强图像和样本图像的数据分布均可能存在差异；进一步，基于多组训练样本对原始分割模型进行训练，由于多组训练样本是多数据分布下的样本，因此由此训练得到的图像分割模型具有强鲁棒性。上述技术方案，通过对样本图像或是样本图像的目标特征图执行缺失操作生成与样本图像的数据分布不同的增强图像，那么包含样本图像和增强图像的多组训练样本是多数据分布下的训练样本，由此达到了在只需获取有限数据分布下的样本图像的情况下，训练得到具有强鲁棒性的图像分割模型的效果。
附图说明
25.图1a是本发明实施例中的第一网络训练方式的示意图；
26.图1b是本发明实施例中的第二网络训练方式的示意图；
27.图1c是本发明实施例中的第三网络训练方式的示意图；
28.图2是本发明实施例中的一种模型生成方法的流程图；
29.图3a是本发明实施例中的第一增强图像生成的第一示意图；
30.图3b是本发明实施例中的第一增强图像生成的第二示意图；
31.图4是本发明实施例中的另一种模型生成方法的流程图；
32.图5是本发明实施例中的第二增强图像生成的示意图；
33.图6a是本发明实施例中的随机特征图模板生成的示意图；
34.图6b是本发明实施例中的针对通道型特征图模板生成的示意图；
35.图6c是本发明实施例中的针对空间型特征图模板生成的示意图；
36.图7是本发明实施例中的再一种模型生成方法的流程图；
37.图8是本发明实施例中的串并联协同训练的示意图；
38.图9是本发明实施例中的一种图像分割方法的流程图；
39.图10是本发明实施例中的一种模型生成系统的结构框图；
40.图11是本发明实施例中的一种图像分割系统的结构框图；
41.图12是本发明实施例中的一种电子设备的结构示意图。
具体实施方式
42.下面结合附图和实施例对本发明作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
43.在介绍本发明实施例之前，先对本发明实施例的应用场景进行示例性说明：图像分割任务可以由单一图像分割网络完成，也可以由至少两个图像分割网络共同完成。其中，由单一图像分割网络完成是指仅使用一个图像分割网络直接学习最终的图像分割任务；由至少两个图像分割网络共同完成，顾名思义就是将最终的图像分割任务拆分成至少两个图像分割子任务，并且每一个图像分割子任务由一个图像分割网络完成，因此最终的图像分割任务是由至少两个图像分割网络共同完成的，其中靠前的图像分割网络进行的是粗分割，靠后的图像分割网络要做的就是基于前面的粗分割结果进行分割细化。
44.为得到上述的图像分割网络(下文简称为网络)，网络训练方式主要包括以下几种：
45.(1)单一网络一阶段训练(single network,one-stage training，snot)
46.示例性的，参见图1a，仅使用一个网络s直接学习最终的图像分割任务，所选用的损失函数l为最终的图像分割损失函数。在每次训练时，从训练样本集中随机选取(x,y)，其中x＝[x1,x2,...,xn]为训练样本集中容量为n(batch size，即进行一次迭代训练所使用的样本图像的数量)的样本图像集，y＝[y1,y2,...,yn]为该样本图像集中的每个样本图像xi对应的分割标签组成的分割标签集。选取数据增强方式t(t＝[t1,t2,...,tn]，ti为某数据变换方式)对(x,y)进行变换得到(x’,y’)，其中x’是x基于t变换后的样本图像集合，y’是y使用与x相同变换后用于s学习的分割标签集合。将x’输入到s中进行预测得到p，将p与y’根据损失函数l进行差异计算，然后基于l计算出的回传梯度完成反向传播对s中的网络参数进行更新。如此进行迭代训练，最终当l达到某种预设条件后结束训练，得到最终的图像分割模型。上述训练方式因为仅仅使用一个网络就完成最终的图像分割任务，因此在图像分
割任务较复杂时，最终得到的图像分割模型的分割性能有时无法满足实际需求，需使用后处理操作来满足实际需求。
[0047]
(2)多个网络一阶段训练(multiple networks,one-stage training，mnot)
[0048]
mnot可以是将多个网络在每个训练阶段同时进行网络参数的更新，示例性的，参见图1b，以使用两个网络学习最终的图像分割任务为例，选取网络s1和s2，并选取l1作为s1训练时的损失函数，l2为s2训练时的损失函数，那么最终的损失函数l为l1和l2的加权求和。在每次迭代训练时，从训练样本集中随机选取(x,y)，其中x＝[x1,x2,...,xn]为训练样本集中容量为n的样本图像集，y＝[y1,y2,...,yn]为这一样本图像集中的每个样本图像xi对应的分割标签组成的分割标签集。选取数据增强方式t(其中t＝[t1,t2,...,tn]，ti为某种数据变换方式)对(x,y)进行变换得到(x1,y1,y2)，其中x1是x基于t变换后的图像集合，y1是y使用与x相同变换后用于s1学习的分割标签集合，y2是y使用与x相同变换后用于s2学习的分割标签集合。将x1输入到s1中进行预测后得到p1，将p1与y1根据l1进行差异计算，同时将p1与x1完成组合c(这里的组合c可以是但不限于：p1与x1逐像素相乘，p1与x1通道合并)得到x2，将x2输入到s2中进行预测得到p，将p与y2根据l2进行差异计算。将计算出的l1和l2根据设定的加权方式得到l，随后基于计算出的l反向传播回传梯度进行s1和s2的网络参数更新。如此进行迭代训练，最终当l达到某种预设条件后结束训练，得到最终所需的两个图像分割模型。上述训练方式由于在一个训练阶段下需要同时训练多个网络，因此对训练时所需要的硬件要求较高。即使使用条件较弱的硬件能够进行训练，也可能导致训练好的网络出现欠拟合问题。
[0049]
(3)多个网络多阶段训练(multiple networks,multi-stage training，mnmt)
[0050]
mnmt可以是多个网络分开进行网络参数更新，即有几个网络则进行几个阶段性的迭代训练。示例性的，如图1c所示，以使用两个网络学习最终的图像分割任务为例。选取网络s1和s2，选取l1为s1训练时的损失函数，l2为s2训练时的损失函数。整个训练过程分为两个阶段，第一阶段只训练s1，第二阶段只训练s2。
[0051]
在训练的第一阶段，每次迭代训练时，从训练样本集中随机选取(x,y)，其中x＝[x1,x2,...,xn]为训练样本集中容量为n(针对s1设定的batch size)的样本图像集，y＝[y1,y2,...,yn]为这一样本图像集中的每个样本图像xi对应的分割标签组成的分割标签集。选取数据增强方式t(t＝[t1,t2,...,tn]，ti为某种数据变换方式)对(x,y)进行变换得到(x1,y1)，其中x1是x基于t变换后的样本图像集合，y1是y使用与x相同变换后用于s1学习的分割标签集合。将x1输入到s1中进行预测得到p1，将p1与y1根据损失函数l1进行差异计算，然后基于l1计算出的回传梯度完成反向传播对s1进行网络参数更新。如此进行迭代训练，最终当l1达到某种预设条件后结束训练，得到该图像分割子任务所需的图像分割模型，此处训练后得到的图像分割模型也记为s1。
[0052]
在训练的第二阶段，首先对训练样本集中的训练样本进行剪裁处理，随后使用剪裁后的训练样本集训练s2，其中，剪裁处理是基于第一阶段得到的模型s1的预测结果完成的。每次迭代训练时，从剪裁后的训练样本集中随机选取(xx,yy)，其中xx＝[xx1,xx2,...,xxm]为剪裁后的训练样本集中容量为m(针对s2设定的batch size)的样本图像集，yy＝[yy1,yy2,...,yym]为这一样本图像集中的每个样本图像xxi对应的剪裁后的分割标签组成的分割标签集。选取数据增强方式t’(t’＝[t
’1,t
’2,...,t’m
]，t’i
为某种数据变换方式)对
(xx,yy)进行变换得到(xx2,yy2)，其中xx2是xx基于t’变换后的样本图像集合，yy2是yy使用与xx相同变换后用于s2学习的分割标签集合。将xx2输入到s2中进行预测得到pp2，将pp2与yy2根据l2进行差异计算，然后基于l2计算出的回传梯度完成反向传播对s2进行网络参数的更新。如此进行迭代训练，最终当l2达到某种预设条件后结束训练，得到最终的图像分割模型，此处训练得到的图像分割模型也记为s2。上述训练方式由于每个网络单独训练，因此所需要花费的训练时间较长。
[0053]
综上所述，上述所有的网络训练方式都可认为是“串联”的训练形式。
[0054]
上述网络训练方式中的t可以选用任意数据增强方式，主要包括有监督的数据增强方式和无监督的数据增强方式。其中，有监督的数据增强方式包括但不限于：基于单样本的数据增强方式，如几何变换(如恒等变换、翻转、旋转、剪裁、变形、缩放等)、“颜色”变换(如加噪、模糊、明暗变化、擦除、填充等)；基于多样本的数据增强方式，如smote、samplepairing、mixup等。无监督的数据增强包括但是不限于autoaugmentation等。需要说明的是，上述数据增强方式都是基于样本图像本身进行的数据增强，即皆是对数据直接进行各种变换，若数据简记为x，则数据增强后的数据记为x’＝t(x)。这些数据增强方式生成未见数据的能力有限，即x’与x的数据分布较为相似，基于x’训练得到的图像分割模型在未见数据分布中的鲁棒性依然不高。
[0055]
图2是本发明实施例中提供的一种模型生成方法的流程图。本实施例可适用于生成图像分割模型的情况，尤其适用于基于有限数据分布下的数据训练出具有强鲁棒性的图像分割模型的情况。该方法可以由本发明实施例提供的模型生成系统来执行，该系统可以由软件和/或硬件的方式实现，该系统可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。
[0056]
参见图2，本发明实施例的方法具体包括如下步骤：
[0057]
s110、获取样本图像、增强图像和样本图像的分割标签，并将样本图像和分割标签、以及增强图像和分割标签分别作为一组训练样本，其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值。
[0058]
其中，样本图像可以是在模型训练过程中作为样本的图像，从图像类型上来说可以是医学图像或是自然图像，需要说明的是，由不同的图像拍摄设备(如不同的手机、平板电脑、相机等)拍摄出来的自然图像在数据分布上也有可能存在差异；从图像处理来说可以是未经处理的原始图像，也可以是已经处理的处理图像，如经过归一化、标准化、加窗操作、重采样、重新调整图像大小、剪裁以及提取图像块中的至少一个处理方式处理后的图像；从图像维度上来说可以是(2dimensional,2d)图像、2.5d图像、3d图像等。分割标签可以是样本图像的在分割方面的标签。将样本图像和分割标签作为一组训练样本。当获取多个样本图像时，各样本图像的数据分布可以相同或不同，在此未做具体限定。
[0059]
增强图像包括第一增强图像和第二增强图像，具体的，第一增强图像可以是根据样本图像和图像模板生成的增强图像，该图像模板可以是预先生成的与样本图像有关的模板，其中可以包括像素值为第一数值的像素点，该第一数值小于预设数值，实际应用中，可选的，该预设数值可以是小于或等于1的正数。这意味着将图像模板作用在样本图像上后生
成的第一增强图像可以理解为部分图像细节缺失的样本图像，而正是因为这种缺失，样本图像和第一增强图像的数据分布可能存在差异。第二增强图像可以是根据目标特征图模板和样本图像的目标特征图生成的增强图像，该目标特征图可以是对样本图像进行特征提取后得到的特征图，该目标特征图模板可以是已生成的与目标特征图有关的模板，其中可以包括像素值为第二数值的像素点，该第二数值小于预设数值。这意味着将目标特征图模板作用在目标特征图上后生成的缺失特征图可以理解为部分特征细节缺失的目标特征图，而正因为这种缺失，根据缺失特征图生成的第二增强图像和样本图像的数据分布可能存在差异。需要说明的是，当第一数值和/或第二数值为0时，上述缺失可以理解为完全缺失；当第一数值和/或第二数值大于0时，上述缺失可以理解为部分缺失(即被抑制住)。
[0060]
s120、基于多组训练样本对原始分割模型进行训练，得到图像分割模型。
[0061]
其中，原始分割模型可以是待训练的可用于进行图像分割的神经网络模型，基于多组训练样本对原始分割模型进行训练，即基于多组的由样本图像和分割标签构成的训练样本、及多组的由增强图像和分割标签构成的训练样本对原始分割模型进行训练，由于样本图像和增强图像的数据分布存在差异，这意味着上述模型训练过程是基于多数据分布的训练样本进行的，由此有效保证了训练得到的图像分割模型的强鲁棒性。
[0062]
本发明实施例的技术方案，通过获取样本图像、增强图像、及样本图像的分割标签，将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本，其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，该图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均是小于预设数值，这意味着将图像模板作用在样本图像上后生成的第一增强图像可以理解为部分图像细节缺失的样本图像，将目标特征图模板作用在目标特征图上后生成的缺失特征图可以理解为部分特征细节缺失的目标特征图，而正是因为这种缺失，样本图像和第一增强图像的数据分布、以及根据缺失特征图生成的第二增强图像和样本图像的数据分布均可能存在差异；进一步，基于多组训练样本对原始分割模型进行训练，由于多组训练样本是多数据分布下的样本，因此由此训练得到的图像分割模型具有强鲁棒性。上述技术方案，通过对样本图像或是样本图像的目标特征图执行缺失操作生成与样本图像的数据分布不同的增强图像，那么包含样本图像和增强图像的多组训练样本是多数据分布下的训练样本，由此达到了在只需获取有限数据分布下的样本图像的情况下，训练得到具有强鲁棒性的图像分割模型的效果。
[0063]
一种可选的技术方案，当图像模板包括第一模板和第二模板时，第一增强图像包括第一子图像和第二子图像，上述模型生成方法，还可以包括：获取与样本图像的尺寸相同的初始模板，其中，初始模板中的各像素点的像素值均为第一数值；将初始模板中随机选取的选取区域下的像素点的像素值设置为1，得到第一模板，并生成与第一模板互补的第二模板；根据样本图像和第一模板生成第一子图像，根据样本图像和第二模板生成第二子图像。其中，初始模板可以是能够让样本图像中的每个图像细节均缺失的模板，实际应用中，可选的，第一数值可以是0或是与0非常接近的正数，由此保证了图像细节的有效缺失。选取区域可以是初始模板中随机选取的区域，将这些区域下的像素点的像素值设置为1，得到第一模板，将这样的第一模板作用在样本图像上后生成的第一子图像，可以理解为样本图像中与
这些区域对应的图像细节被保留下来，并且其余的图像细节缺失的图像。第二模板与第一模板互补，即第二模板可以是将第一模板中的第一数值变更为1且将1变更为第一数值后的模板，将第二模板作用在样本图像上后生成第二子图像。需要说明的是，第一模板和第二模板的数量可以是一个、两个或多个，即基于每个样本图像生成的第一子图像和第二子图像的数量可以是一个、两个或多个，在此未做具体限定。上述技术方案，通过基于互补子图生成的第一增强图像在模型训练阶段能够对模型能够产生较强的约束力，可以提高模型对图像中细节的学习能力，从而有效改善图像分割模型在已见域以及未见域中的数据上的模型性能。
[0064]
为了更加形象化的理解上述技术方案，下面结合具体示例对其进行示例性的说明。示例性的，参见图3a，第一数值为0，模板中的黑色代表像素值为0的像素点，白色代表像素值为1的像素点。设定边长为s(0《s《min(h,w))，h和w分别为样本图像的高和宽。生成初始模板m，其的尺寸与样本图像相同，里面的像素点的像素值均为0。在m中随机选取q个以s
×
s为大小的选取区域，并将这些选取区域下的像素点的像素值均赋值为1，构成第一模板。由于第一子图像和第二子图像互补，因此根据第一模板生成第二模板，即凡是第一模板中像素值为1的区域在第二模板中像素值均为0，第一模板中像素值为0的区域在第二模板中像素值均为1。将这两个模板分别与样本图像逐像素相乘，得到第一子图像和第二子图像。相较于样本图像，第一子图像和第二子图像在一些图像细节上均存在缺失。
[0065]
另一种可选的技术方案，图像模板包括第三模板和第四模板时，第一增强图像包括第三子图像和第四子图像，上述模型生成方法，还可以包括：获取与样本图像的尺寸相一致的至少两个中间模板，其中，中间模板中的各像素点的像素值均为第一数值；针对每个中间模板，将中间模板中边长为与中间模板对应的预设边长的目标区域下的像素点的像素值设置为1，并根据设置结果对中间模板进行更新；将各中间模板的并集作为第三模板，并生成与第三模板互补的第四模板；根据样本图像和第三模板生成第三子图像，并且根据样本图像和第四模板生成第四子图像。其中，中间模板可以是能让样本图像中的每个图像细节均缺失的模板，在实际应用中，可选的，第一数值可以是0或是与0非常接近的正数，由此保证了图像细节的有效缺失。每个中间模板均对应有各自的预设边长，针对每个中间模板，目标区域可以是该中间模板中边长为与该中间模板对应的预设边长的区域，将这些区域下的像素点的像素值设置为1，并将设置后的模板作为中间模板。将各中间模板的并集作为第三模板，生成与第三模板互补的第四模板，第四模板的生成方式与第二模板类似，在此不再赘述。进一步，生成第三子图像和第四子图像，其的生成过程与第一子图像和第二子图像的生成过程类似，在此亦不再赘述。需要说明的是，第三模板和第四模板的数量可以是一个、两个或是多个，即基于每个样本图像生成的第三子图像和第四子图像的数量可以是一个、两个或是多个，在此未做具体限定。上述技术方案，通过基于互补子图生成的第一增强图像在模型训练阶段能够对模型能够产生较强的约束力，可以提高模型对图像中细节的学习能力，从而有效改善图像分割模型在已见域以及未见域中的数据上的模型性能。
[0066]
为了更加形象化的理解上述技术方案，下面结合具体示例对其进行示例性的说明。示例性的，参见图3b，第一数值为0，模板中的黑色代表像素值为0的像素点，白色代表像素值为1的像素点。设定一组预设边长为s1，s2，...(0《si《min(h,w))，其中h和w分别为样本图像的高和宽。初始生成中间模板t1，t2，...，个数与设定的预设边长的个数相同，每个中
间模板的尺寸与样本图像相同，里面的像素点的像素值均为0。对每个中间模板进行以下操作：在中间模板ti中心的2si×
2si区域中选取a个边长为si的目标区域，并赋值为1。对全部中间模板求并集，得到第三模板。由于第三子图像和第四子图像互补，因此根据第三模板生成第四模板，即凡是第三模板中像素值为1的区域在第四模板中像素值均为0，第三模板中像素值为0的区域在第四模板中像素值均为1。将这两个模板分别与样本图像逐像素相乘，得到第三子图像和第四子图像。相较于样本图像，第三子图像和第四子图像在一些图像细节上均存在缺失。
[0067]
图4是本发明实施例中提供的另一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，原始分割模型包括第一分割网络，第一分割网络包括依次连接的编码器和过渡解耦器，过渡解耦器包括卷积结构，上述模型生成方法，还可包括：将样本图像输入到第一分割网络中，分别得到编码器输出的编码特征图和过渡解耦器输出的解耦特征图，并将编码特征图和解耦特征图均作为样本图像的候选特征图；获取各候选特征图模板，其中，候选特征图模板包括随机生成的随机特征图模板、和/或根据候选特征图所对应的梯度矩阵生成的针对型特征图模板；根据从各候选特征图中确定出的目标特征图、以及从各候选特征图模板中确定出的目标特征图模板，生成第二增强图像。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
[0068]
参见图4，本实施例的方法具体可以包括如下步骤：
[0069]
s210、获取原始分割模型、样本图像和样本图像的分割标签，将样本图像和分割标签作为一组第一训练样本，其中，原始分割模型包括包含有依次连接的编码器和过渡解耦器的第一分割网络，过渡解耦器包括卷积结构。
[0070]
其中，原始分割模型包括待训练的可用于进行图像分割的第一分割网络，该第一分割网络可以包括依次连接的编码器和过渡解耦器，具体来说可以包括依次连接的编码器、过渡解耦器和解码器。该编码器可以包括任意形式的编码结构，该解码器可以包括任意形式的解码结构，且该过渡解耦器可以包括用于连接编码器和解码器的任意形式的卷积结构，或是说卷积结构的堆叠结构，如普通卷积单元结构的堆叠结构、残差网络单元结构(residual block)的堆叠结构、密集连接结构(dense block)的堆叠结构等。
[0071]
s220、在基于多组第一训练样本对原始分割模型进行训练时，将样本图像输入到第一分割网络中，分别得到编码器输出的编码特征图和过渡解耦器输出的解耦特征图，并将编码特征图和解耦特征图均作为样本图像的候选特征图。
[0072]
其中，在基于多组第一训练样本对原始分割模型进行训练时，可以将每个样本图像分别输入到第一分割网络中。具体的，针对每个样本图像，将其输入到编码器中，得到由编码器输出的编码特征图；然后将编码特征图输入到过渡解耦器中，得到由过渡解耦器中输出的解耦特征图；进而将编码特征图和解耦特征图均作为该样本图像的候选特征图。在实际应用中，可选的，除了将样本图像和分割标签作为一组第一训练样本外，还可以将第一增强图像和分割标签也作为一组第一训练样本。由此，在基于多组第一训练样本训练原始分割模型时，针对每个样本图像，可以将其和与其对应的第一增强图像分别输入到第一分割网络中，由此可以将编码器针对样本图像和第一增强图像分别输出的编码特征图和过渡解耦器针对样本图像和第一增强图像分别输出的解耦特征图均作为该样本图像的候选特征图。
[0073]
s230、获取各候选特征图模板，其中，候选特征图模板包括随机生成的随机特征图模板、和/或根据候选特征图所对应的梯度矩阵生成的针对型特征图模板。
[0074]
其中，候选特征图模板可以是已生成的与候选特征图有关的模板，其可以包括随机生成的随机特征图模板、根据候选特征图所对应的梯度矩阵生成的针对型特征图模板等，该针对型特征图模板可以是针对通道型特征图模板、针对空间型特征图模板、这两者结合起来的针对结合型特征图模板等，在此未做具体限定。在实际应用中，可选的，当基于多组训练样本对原始分割模型进行迭代训练时，候选特征图模板可以包括在当前迭代训练过程中生成的特征图模板、及在当前迭代训练之前的历史迭代训练过程中生成的特征图模板，该历史迭代训练过程可以是在该当前迭代训练的前一迭代训练过程、前二迭代训练过程、前三迭代训练过程等，在此未做具体限定。
[0075]
s240、根据从各候选特征图中确定出的目标特征图、以及从各候选特征图模板中确定出的目标特征图模板，生成第二增强图像，其中，目标特征图模板中包括像素值为第二数值的像素点，第二数值小于预设数值。
[0076]
其中，从各候选特征图中确定目标特征图，且从各候选特征图模板中确定目标特征图模板。在实际应用中，可选的，针对基于多组训练样本对原始分割模型进行迭代训练的情况，从当前迭代训练过程中生成的各候选特征图模板中得到目标特征图模板的概率可以大于从历史迭代训练过程中生成的各候选特征图模板中得到目标特征图模板的概率。进一步，根据目标特征图和目标特征图模板生成第二增强图像，如根据目标特征图和目标特征图模板生成缺失特征图，然后将缺失特征图输入到数据生成器中，以目标特征图所对应的样本图像为图像生成监督信息，得到第二增强图像，这一数据生成器可以是任意形式的解码结构。需要说明的是，正如上文所述，缺失特征图可以理解为部分特征细节缺失的目标特征图，因此将这样的特征图输入到数据生成器后，由数据生成器对缺失的特征细节进行补充，而补充出的特征细节和原有的特征细节的数据分布是否相同，这并非是人为能够控制的，由此提高了生成与样本图像的数据分布不同的第二增强图像的可能性。
[0077]
s250、将第二增强图像和分割标签作为一组第二训练样本，基于多组第一训练样本和多组第二训练样本对原始分割模型进行训练，得到图像分割模型。
[0078]
本发明实施例的技术方案，通过基于网络特征的数据增强方式来生成第二增强图像，该数据增强方式可以是通过随机或者有针对性的操作方式生成候选特征图模板，然后基于从各候选特征图模板中确定出的目标特征图模板对目标特征图进行处理以生成与样本图像的数据分布不同的第二增强图像，从而增强了由此训练出的图像分割模型的鲁棒性。
[0079]
为了更加形象化的理解上述技术方案，下面结合具体示例对其进行示例性的说明。示例性的，参见图5，以样本图像x、及x的两个互补子图像x
c1
和x
c2
为例，将x、x
c1
和x
c2
分别输入到编码器e和过渡解耦器td中，则可分别得到候选特征图z
1k
、z
1k,c1
、z
1k,c2
、z
1m
、z
1m,c1
和z
1m,c2
，其中的前三个是由e输出的候选特征图，后三个是由td输出的候选特征图。然后，基于这些候选特征图形成与x有关的候选特征图库(即候选特征图库中的各候选特征图均是在当前迭代训练过程中生成的特征图)，从该候选特征图库中选取一个候选特征图作为用于生成第二增强数据x'的目标特征图z。假设候选特征图的尺寸为c
×h×
w，其中，c是候选特征图的通道数量，h和w分别为候选特征图的高和宽，那么候选特征图模板的尺寸也为c
×h×
w。候选特征图模板库中存储的各候选特征图模板可以包括在当前迭代训练过程中生成的候选特征图模板、以及在历史迭代训练过程中生成的候选特征图模板，这意味着随着迭代训练次数的增加，候选特征图模板库的容量也会不断增大。在实际应用中，可选的，起始的候选特征图模板库中可以存储有恒等变换矩阵模板im，im内各像素点的像素值可以均为1，即满足z
×
im＝z。从候选特征图模板库中选取出目标特征图模板m，将m与z逐像素相乘，得到缺失特征图z
new
，然后将z
new
输入到数据生成器g中生成x'，x'的生成过程是以x作为监督信息产生重建损失差异l
aug
。
[0080]
总而言之，对于一个x生成n个x'来说，可以由以下四个步骤循环n次得到：(1)从候选特征图库中随机选取一个z；(2)从候选特征图模板库中随机选出一个m；(3)将z与m逐像素相乘，得到z
new
；(4)以z
new
为输入，并以x作为监督信息，由g生成x'。对于多个x进行数据增强的情况，如x＝[x1,x2,...,xn]，针对x中的每个x，可以依次进行上述操作，也可以并行进行上述操作，在此未做具体限定。
[0081]
一种可选的技术方案，上述模型生成方法，还可以包括：获取随机列表，其中，随机列表中包括第一数量个1和第二数量个0，第一数量和第二数量之和为候选特征图的通道数量；根据随机列表生成随机特征图模板，其中，随机特征图模板中与随机列表中的1对应的通道图下的像素点的像素值为1，且与随机列表中的0对应的通道图下的像素点的像素值为0。其中，随机列表list中有通道数量个数值，这些数值包括第一数量个1和第二数量个0。随机特征图模板rm包括通道数量个通道，这些通道中与1对应的通道(即通道图)下的像素点的像素值均为1，其余的通道(即通道图)下的像素点的像素值均为0，这样的rm可以较好地保留目标特征图中的一些特征细节并且缺失其余的特征细节，这为后续的第二增强图像的生成打下了良好的基础。为了更加形象化的理解上述技术方案，下面结合具体示例对其进行示例性的说明。示例性的，参见图6a，rm是由长度为c(c为候选特征图的通道数量)的随机生成的list决定，list对应于rm的c个通道。list中包括c(0《c《c)个1和c-c个0，则rm中与list中1所在位置的通道图rm1×h×w下的像素点的像素值均为1，与list中0所在位置的通道图rm1×h×w下的值均为0。
[0082]
另一种可选的技术方案，针对型特征图模板包括针对通道型特征图模板，第二数值包括预先设置的通道数值，上述模型生成方法，还可包括：获取与候选特征图对应的梯度矩阵、及尺寸相同的空白特征图模板；针对梯度矩阵中的每个通道，根据通道下的各特征点的特征值得到通道的通道均值；将空白特征图模板中与通道均值大于或是等于第一响应阈值的通道对应的通道图下的像素点的像素值设置为通道数值，并将与通道均值小于第一响应阈值的通道对应的通道图下的像素点的像素值设置为1，得到针对通道型特征图模板。其中，梯度矩阵可以是将根据设定的损失函数进行反向传播时得到的尺寸为c
×h×
w的矩阵，在实际应用中，可选的，与候选特征图z
1k
,z
1k,c1
,z
1k,c2
对应的梯度矩阵可以选用由上述的重建损失l
aug
反向传播得到的梯度矩阵，由分割部分损失反向传播得到的梯度矩阵，或由l
aug
以及分割部分损失反向传播得到的梯度矩阵之和，与候选特征图z
1m
,z
1m,c1
,z
1m,c2
对应的梯度矩阵可以选用由分割部分损失反向传播得到的梯度矩阵。空白特征图模板可以包括与候选特征图尺寸相同的空白的特征图模板。针对梯度矩阵中的每个通道，根据通道下的各特征点的特征值得到通道的通道均值，即将该通道下的各特征值的均值作为该通道的通道均值。在对各通道均处理完毕后，得到c个通道均值。针对通道均值大于或是等于第一响应阈
值tc的通道，将空白特征图模板中与该通道对应的通道图下的像素点的像素值设置为通道数值a，且将其余的通道图下的像素点的像素值设置为1，由此得到的针对通道型特征图模板可以较好保留目标特征图中的部分特征细节并且抑制其余的特征细节。示例性的，参见图6b，对梯度矩阵中每个通道上的h
×
w平面计算通道均值，由此得到c个通道均值。设定tc，对于大于或是等于tc的通道均值，设置针对通道型特征图模板上与该通道均值对应的通道图tm1×h×w值为a(0《a《1)；对于小于tc的通道均值，将针对通道型特征图模板上与该通道均值对应的通道图tm1×h×w设置为1。上述技术方案是根据梯度矩阵中的每个h
×
w平面的通道均值完成针对通道型特征图模板中的通道选取。
[0083]
又一种可选的技术方案，针对型特征图模板包括针对空间型特征图模板，第二数值包括预先设置的空间数值，上述模型生成方法，还可以包括：针对梯度矩阵中的每个平面位置，根据平面位置下的各特征点的特征值得到平面位置的位置均值；将空白特征图模板中与位置均值大于或是等于第二响应阈值的平面位置对应的空间图下的像素点的像素值设置为空间数值，并且将与位置均值小于第二响应阈值的平面位置对应的空间图下的像素点的像素值设置为1，得到针对空间型特征图模板。其中，平面位置可以是梯度矩阵的二维平面上的某个位置，整个梯度矩阵具有h
×
w个平面位置。由于梯度矩阵具有c个通道，那么任一平面位置上均具有c个像素点，针对每个平面位置，根据其上的各特征点的特征值得到该平面位置的位置均值，即将各特征值的均值作为位置均值。在对各平面位置均处理完毕后，得到h
×
w个位置均值。针对位置均值大于或是等于第二响应阈值ts的平面位置，将空白特征图模板中与该平面位置对应的空间图下的像素点的像素值设置为空间数值b，并且将其余的空间图下的像素点的像素值设置为1，由此得到的针对空间型特征图模板可以较好地保留目标特征图中的部分特征细节并且抑制其余的特征细节。示例性的，参见图6c，对梯度矩阵中的每个平面位置上的c个特征值计算位置均值，由此得到h
×
w个位置均值。设定ts，对于大于或是等于ts的位置均值，设置针对空间型特征图模板上的与该位置均值对应的空间图tmc×1×1值为b(0《b《1)；对于小于ts的位置均值，将针对空间型特征图模板上的与该位置均值对应的空间图tmc×1×1设置为1。上述技术方案是根据梯度矩阵中的h
×
w个平面位置的位置均值完成针对空间型特征图模板中的空间位置选取。
[0084]
在此基础上，上述模型生成方法，还可包括：根据针对通道型特征图模板和针对空间型特征图模板，得到针对结合型特征图模板，并将针对结合型特征图模板作为针对型特征图模板。例如，将针对通道型特征图模板和针对空间型特征图模板对应位置上的数值(即某平面位置在某通道上的像素点的像素值)加权求和后的结果作为针对结合型特征图模板。
[0085]
图7是本发明实施例中提供的再一种模型生成方法的流程图。本实施例以上述各技术方案为基础进行优化。在本实施例中，可选的，原始分割模型包括依次连接的第一分割网络和第二分割网络，增强图像包括第一增强图像，基于多组训练样本对原始分割模型进行训练，得到图像分割模型，可包括：将包含多个样本图像的样本图像集输入到第一分割网络中，得到第一预测标签集，并且将包含多个第一增强图像的第一增强图像集输入到第一分割网络中，得到第二预测标签集，并将第一预测标签集输入到第二分割网络中，得到第三预测标签集。其中，与上述各实施例相同或相应的术语的解释在此不再赘述。
[0086]
参见图7，本实施例的方法具体可以包括如下步骤：
[0087]
s310、获取原始分割模型、样本图像、样本图像的分割标签、及根据样本图像和图像模板生成的第一增强图像，其中原始分割模型包括依次连接的第一分割网络和第二分割网络，图像模板中包括像素值为小于预设数值的第一数值的像素点。
[0088]
其中，第二分割网络可以是待训练的可用于进行图像分割的网络结构，在实际应用中，可选的，其可以包括“编码-解码”的网络结构。第一分割网络和第二分割网络依次连接，即输入到原始分割模型中的样本图像和第一增强图像可以先被输入到第一分割网络中，然后将第一分割网络的输出结果输入到第二分割网络中。
[0089]
s320、将包含多个样本图像的样本图像集输入到第一分割网络中，得到第一预测标签集，将包含多个第一增强图像的第一增强图像集输入到第一分割网络中，得到第二预测标签集，并将第一预测标签集输入到第二分割网络中，得到第三预测标签集。
[0090]
其中，将每个样本图像分别输入到第一分割网络中，得到各自的第一预测标签，并将这些第一预测标签构成的集合称为第一预测标签集。类似的，将每个第一增强图像分别输入到第一分割网络中，得到各自的第二预测标签，并将这些第二预测标签构成的集合称为第二预测标签集。显然，多个样本图像和多个第一增强图像是并联输入到第一分割网络中的。进一步，将第一预测标签集输入到第二分割网络中，得到第三预测标签集，显然，样本图像在第一分割网络和第二分割网络中是串联训练。
[0091]
s330、将第一预测标签集、第二预测标签集、第三预测标签集、以及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度，并根据回传梯度对原始分割模型中的网络参数进行调整，得到图像分割模型。
[0092]
其中，在实际应用中，可选的，损失函数l可以通过如下式子进行表示：l l
seg,1
(y
p
,y) l
seg,2
(y1,y) l
c1
(y
1,c1
,y
1,c2
,y1) l
c2
(y
1,c1
,y
1,c2
,y1)，其中y1表示第一预测标签，y
1,c1
和y
1,c2
均表示第二预测标签(因为第一增强图像包括两个互补的子图像)，y
p
表示第三预测标签，y表示分割标签；l
seg,1
与l
seg,2
均为分割损失函数，如dice loss、iou loss、交叉熵损失、或是这些分割损失函数的组合，l
seg,1
(y
p
,y) l
seg,2
(y1,y)设置的目的是既要让y1和y相似，又要让y
p
和y相似；l
c1
(y
1,c1
,y
1,c2
,y1) l
c2
(y
1,c1
,y
1,c2
,y1)设置的目的是让作为x的子图像的预测标签y
1,c1
和y
1,c2
对y1的预测在细节方面上产生约束力；l
c1
(r,s,t)＝||(a1*r a2*s)-t||1，a1和a2为大于0的超参数，l
c2
(r,s,t)＝||(t-b1*r)-b2*s||1，b1和b2为大于0的超参数。
[0093]
本发明实施例的技术方案，通过第一增强图像和样本图像在第一分割网络中的并联训练、以及样本图像在第一分割网络和第二分割网络中的串联训练的相互配合，达到了训练出鲁棒性更强的图像分割模型的效果。
[0094]
一种可选的技术方案，目标特征图是根据样本图像或是第一增强图像得到的特征图，第二增强图像包括与样本图像对应的样本增强图像以及与第一增强图像对应的对应增强图像，上述模型生成方法，还可以包括：将多个样本增强图像构成的样本增强图像集输入到第一分割网络中，得到第四预测标签集，将多个对应增强图像构成的对应增强图像集输入到第一分割网络中，得到第五预测标签集，且将第四预测标签集输入到第二分割网络中，得到第六预测标签集；获取根据样本增强图像集和对应增强图像集生成的第五增强图像集；相应的，将第一预测标签集、第二预测标签集、第三预测标签集、及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度，可以包括：将第一预测标签集、第二预测标签集、第三预测标签集、第四预测标签集、第五预测标签集、第六预测标签集、及包含多个分
割标签的分割标签集传递至分割损失函数中，得到分割回传梯度，并将第五增强图像集及样本图像集传递至图像重建损失函数中，得到重建回传梯度；根据分割回传梯度和重建回传梯度，得到回传梯度。其中，样本增强图像可以包括根据样本图像的目标特征图生成的第二增强图像，对应增强图像可以包括将生成第一增强图像的图像模板作用到样本增强图像生成的样本增强子图像，即第一增强图像和第二增强图像同时存在。第四预测标签集、第五预测标签集和第六预测标签集的生成过程与第一预测标签集、第二预测标签集和第三预测标签集的生成过程类似，第五增强图像的生成与第二增强图像的生成类似，在此不再赘述。样本图像和第一增强图像是并联训练的方式，相对于样本图像和第一增强图像构成的整体，第二增强图像与该整体亦构成了并联训练的方式，由此通过两个并联分支达到了辅助模型训练的效果。
[0095]
另一种可选的技术方案，上述模型生成方法，还可以包括：将分割标签集输入到第二分割网络中，得到第七重建标签集；相应的，将第一预测标签集、第二预测标签集、第三预测标签集、及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度，可以包括：将第一预测标签集、第二预测标签集、第三预测标签集、第七重建标签集、以及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度。即，通过本技术方案可以让第二分割网络能够通过自我重建学习到正确的分割标签的样子，以便基于第二分割网络对第一分割网络输出的预测标签进行形状校正，改善分割结果，这也是一种并联训练的方式。
[0096]
为了从整体上更好地理解上文中阐述的串联和并联两种训练方式协同配合的具体实现过程，下面结合具体示例对其进行示例性的说明。示例性的，参见图8，原始分割模型包括第一分割网络s1和第二分割网络s2，在每次迭代训练时，s1和s2同时进行，即“串联”和“并联”同时进行。具体的，从训练样本集中随机选取(x,y)，其中x＝[x1,x2,...,xn]为训练样本集中容量为n的样本图像集，y＝[y1,y2,...,yn]为这一样本图像集中的每个样本图像xi对应的分割标签组成的分割标签集。在“串联”部分，将x输入到s1的编码器e中得到候选特征图z
k1
，即z
k1
＝e(x)，随后将z
k1
输入到过度解耦器td中得到候选特征图z
m1
，即z
m1
＝td(z
k1
)＝td(e(x))，接着将z
m1
输入到解码器d中得到s1输出的第一预测标签y1，即y1＝sd(z
m1
)＝sd(td(e(x)))；进一步，直接将y1输入到s2中得到y
p
，即y
p
＝s2(y1)，由于s2的输入仅为s1的输出，即s2的作用只是校正s1的输出，因此s2可以是轻量级网络，这对于硬件要求不高。在“并联”部分，主要由下述三方面的辅助训练组成：s1的辅助训练、s2的辅助训练、及s1与s2的辅助训练。
[0097]
针对s1的辅助训练，这里是指基于x生成的两个互补的子图像集合对s1训练时产生约束。以一个样本图像对应于两个互补的子图像为例，基于x生成的两个互补的子图集合为x
c1
和x
c2
，其中x
c1
＝[x
1,c1
,x
2,c1
,...,x
n,c1
]和x
c2
＝[x
1,c2
,x
2,c2
,...,x
n,c2
]，即x
i,c1
和x
i,c2
为基于xi生成的两个互补的子图像。将x
c1
输入到s1中则可得到z
k,c11
，z
m,c11
和y
1,c1
；类似的，将x
c2
输入到s1中则可得到z
k,c21
，z
m,c21
和y
1,c2
。这是针对s1的x、x
c1
和x
c2
的并联训练。
[0098]
针对s2的辅助训练，这里是指在每次迭代训练s2时，除了将y1作为s2的输入外，还会将分割标签集合y作为s2的输入来得到相应的输出y’，这可以让s2通过自我重建学习到正确的分割标签的样子，从而帮助s2更好地对s1的输出进行形状校正，改善分割结果。
[0099]
针对s1与s2的辅助训练，这里是指在每次迭代训练时，除了使用x，x
c1
和x
c2
，还会使用以上面所述的z
k1
，z
m1
，z
k,c11
，z
m,c11
，z
k,c21
和z
m,c21
为引来生成第二增强图像。以对x中的每
个样本图像xi生成一个第二增强图像为例，针对由新生成的第二增强图像构成的集合x’＝[x1’
,x2’
,...,x
n’]，与其所对应的分割标签集合依然为y。对(x’,y)进行上述所有操作(即串联训练、针对s1的辅助训练和针对s2的辅助训练)，则可得到s1输出的y1’
，s2输出的y
p’、基于x’的两个互补的子图像得到的y
1,c1’和y
1,c2’、以及对x’进行数据增强后得到的x”。
[0100]
此时，损失函数l可以通过如下式子进行表示：l＝l
base
l
aux
，其中l
base
＝l
seg,1
(y
p
,y) l
seg,2
(y1,y) l
c1
(y
1,c1
,y
1,c2
,y1) l
c2
(y
1,c1
,y
1,c2
,y1) l
rec
(y’,y)，l
aux
＝l
aug
(x’,x) l
aux’，其中l
aux’＝l
seg,1
(y
p’,y) l
seg,2
(y1’
,y) l
c1
(y
1,c1’,y
1,c2’,y1’
) l
c2
(y
1,c1’,y
1,c2’,y1’
) l
aug
(x”,x)。l
aug
为上面所述的图像重建损失。l
aug
与l
rec
均为重建损失函数，如l1、l2等重建损失函数、或者这些重建损失函数的组合。图8中的l
seg
＝l
seg,1
l
seg,2
。此处l
aux
只是基于一个x’产生的损失，当x’的数量不止一个时，l
aux
则由多组损失组成。基于l计算得到的回传梯度完成反向传播对s1和s2进行网络参数的更新。上述所有操作为一次迭代训练所要执行的步骤，如此进行迭代训练，最终当l达到某种预设条件后结束训练，得到最终的图像分割模型s1和s2。
[0101]
图9是本发明实施例中提供的一种图像分割方法的流程图。本实施例可适用于图像分割的情况，尤其适用于基于具有强鲁棒性的图像分割模型进行图像分割的情况。该方法可以由本发明实施例提供的图像分割系统来执行，该系统可以由软件和/或硬件的方式实现，该系统可以集成在电子设备上，该电子设备可以是各种用户终端或服务器。
[0102]
参见图9，本发明实施例的方法具体包括如下步骤：
[0103]
s410、获取目标图像、以及按照本发明任意实施例所提供的模型生成方法生成的图像分割模型。
[0104]
其中，目标图像可以是待进行图像分割的图像，其中包含有待分割目标；图像分割模型可以是基于上述的模型生成方法生成的具有强鲁棒性的用于进行图像分割的神经网络模型。
[0105]
s420、将目标图像输入到图像分割模型中，根据图像分割模型的输出结果，得到目标图像中的待分割目标。
[0106]
其中，由于图像分割模型具有强鲁棒性，因此将目标图像输入到图像分割模型后，可以从目标图像中准确分割出待分割目标。
[0107]
本发明实施例中的技术方案，通过将目标图像输入到具有强鲁棒性的图像分割模型中，由此可以从目标图像中准确分割出待分割目标，保证了图像分割的精准度。
[0108]
图10为本发明实施例提供的模型生成系统的结构框图，该系统用于执行上述任意实施例所提供的模型生成方法。该系统与上述各实施例的模型生成方法属于同一个发明构思，在模型生成系统的实施例中未详尽描述的细节内容，可以参考上述模型生成方法的实施例。参见图10，该系统具体可包括：训练样本得到模块510和模型生成模块520。其中，
[0109]
训练样本得到模块510，用于获取样本图像、增强图像和样本图像的分割标签，将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本；
[0110]
模型生成模块520，用于基于多组训练样本训练原始分割模型，得到图像分割模型；
[0111]
其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，图像模板中包括像素值为第
一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值。
[0112]
可选的，原始分割模型包括第一分割网络，第一分割网络包括依次连接的编码器和过渡解耦器，过渡解耦器包括卷积结构，上述模型生成系统，还可以包括：
[0113]
候选特征图得到模块，用于将样本图像输入到第一分割网络中，分别得到编码器输出的编码特征图和过渡解耦器输出的解耦特征图，并将编码特征图和解耦特征图均作为样本图像的候选特征图；
[0114]
候选特征图模板获取模块，用于获取各候选特征图模板，其中，候选特征图模板包括随机生成的随机特征图模板、和/或是根据候选特征图所对应的梯度矩阵生成的针对型特征图模板；
[0115]
第二增强图像生成模块，用于根据从各候选特征图中确定出的目标特征图、以及从各候选特征图模板中确定出的目标特征图模板，生成第二增强图像。
[0116]
在此基础上，可选的，上述模型生成系统，还可以包括：
[0117]
随机列表获取模块，用于获取随机列表，其中，随机列表中包括第一数量个1和第二数量个0，第一数量和第二数量之和为候选特征图的通道数量；
[0118]
随机特征图模板生成模块，用于根据随机列表生成随机特征图模板，其中，随机特征图模板中与随机列表中的1对应的通道图下的像素点的像素值为1，与随机列表中的0对应的通道图下的像素点的像素值为0。
[0119]
再可选的，针对型特征图模板可包括针对通道型特征图模板、针对空间型特征图模板和针对结合型特征图模板中的至少一个，第二数值包括预先设置的通道数值和空间数值，上述模型生成系统，还可以包括：
[0120]
空白特征图模板获取模块，用于获取与候选特征图对应的梯度矩阵、以及尺寸相同的空白特征图模板；
[0121]
通道均值得到模块，用于针对梯度矩阵中的每个通道，根据通道下的各特征点的特征值得到通道的通道均值；
[0122]
针对通道型特征图模板得到模块，用于将空白特征图模板中与通道均值大于或是等于第一响应阈值的通道对应的通道图下的像素点的像素值设置为通道数值，并且将与通道均值小于第一响应阈值的通道对应的通道图下的像素点的像素值设置为1，得到针对通道型特征图模板；
[0123]
和/或，
[0124]
位置均值得到模块，用于针对梯度矩阵中的每个平面位置，根据平面位置下的各特征点的特征值得到平面位置的位置均值；
[0125]
针对空间型特征图模板得到模块，用于将空白特征图模板中与位置均值大于或是等于第二响应阈值的平面位置对应的空间图下的像素点的像素值设置为空间数值，并且将与位置均值小于第二响应阈值的平面位置对应的空间图下的像素点的像素值设置为1，得到针对空间型特征图模板；
[0126]
和/或，
[0127]
针对结合型特征图模板得到模块，用于根据针对通道型特征图模板和针对空间型特征图模板，得到针对结合型特征图模板。
[0128]
又可选的，第二增强图像生成模块，具体可以用于：
[0129]
根据从各候选特征图中确定出的目标特征图、以及从各候选特征图模板中确定出的目标特征图模板，确定缺失特征图；
[0130]
将缺失特征图输入到数据生成器，以其对应的样本图像为监督信息，得到第二增强图像，其中，数据生成器包括解码结构。
[0131]
另可选的，基于多组训练样本对原始分割模型进行迭代训练时，候选特征图模板包括在当前迭代训练过程中生成的特征图模板、以及在当前迭代训练之前的历史迭代训练过程中生成的特征图模板，且从当前迭代训练过程中生成的候选特征图模板中得到目标特征图模板的概率大于从历史迭代训练过程中生成的候选特征图模板中得到目标特征图模板的概率。
[0132]
可选的，图像模板包括第一模板和第二模板时，第一增强图像包括第一子图像和第二子图像，上述模型生成系统，还可以包括：
[0133]
初始模板获取模块，用于获取与样本图像的尺寸相同的初始模板，其中，初始模板中的各像素点的像素值均为第一数值；
[0134]
第二模板生成模块，用于将初始模板中随机选取的选取区域下的像素点的像素值设置为1，得到第一模板，并生成与第一模板互补的第二模板；
[0135]
第二子图像生成模块，用于根据样本图像和第一模板生成第一子图像，且根据样本图像和第二模板生成第二子图像；
[0136]
和/或，
[0137]
当图像模板包括第三模板和第四模板时，第一增强图像包括第三子图像和第四子图像，上述模型生成系统，还可以包括：
[0138]
中间模板获取模块，用于获取与样本图像的尺寸相同的至少两个中间模板，其中，中间模板中的各像素点的像素值均为第一数值；
[0139]
中间模板更新模块，用于针对每个中间模板，将中间模板中边长为与中间模板对应的预设边长的目标区域下的像素点的像素值设置为1，根据设置结果对中间模板进行更新；
[0140]
第四模板生成模块，用于将各中间模板的并集作为第三模板，生成与第三模板互补的第四模板；
[0141]
第四子图像生成模块，用于根据样本图像和第三模板生成第三子图像，且根据样本图像和第四模板生成第四子图像。
[0142]
可选的，原始分割模型可包括依次连接的第一分割网络和第二分割网络，增强图像包括第一增强图像，模型生成模块520，可以包括：
[0143]
第三预测标签集得到单元，用于将包含多个样本图像的样本图像集输入到第一分割网络中，得到第一预测标签集，并且将包含多个第一增强图像的第一增强图像集输入到第一分割网络中，得到第二预测标签集，并将第一预测标签集输入到第二分割网络中，得到第三预测标签集；
[0144]
图像分割模型得到单元，用于将第一预测标签集、第二预测标签集、第三预测标签集、及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度，并根据回传梯度对原始分割模型中的网络参数进行调整，得到图像分割模型。
[0145]
在此基础上，可选的，目标特征图是根据样本图像或是第一增强图像得到的特征图，第二增强图像包括与样本图像对应的样本增强图像以及与第一增强图像对应的对应增强图像，模型生成模块520，还可以包括：
[0146]
第六预测标签集得到单元，用于将包含多个样本增强图像的样本增强图像集输入到第一分割网络中，得到第四预测标签集，将包含多个对应增强图像的对应增强图像集输入到第一分割网络中，得到第五预测标签集，且将第四预测标签集输入到第二分割网络中，得到第六预测标签集；
[0147]
第五增强图像集获取单元，用于获取根据样本增强图像集和对应增强图像集生成的第五增强图像集；
[0148]
图像分割模型得到单元，可以包括：
[0149]
重建回传梯度得到子单元，用于将第一预测标签集、第二预测标签集、第三预测标签集、第四预测标签集、第五预测标签集、第六预测标签集、及包含多个分割标签的分割标签集传递至分割损失函数中，得到分割回传梯度，并将第五增强图像集及样本图像集传递至图像重建损失函数中，得到重建回传梯度；
[0150]
回传梯度第一得到子单元，用于根据分割回传梯度和重建回传梯度，得到回传梯度。
[0151]
再可选的，模型生成模块520，可以包括：
[0152]
第七重建标签集得到单元，用于将分割标签集输入到第二分割网络，得到第七重建标签集；
[0153]
图像分割模型得到单元，可以包括：
[0154]
回传梯度第二得到子单元，用于将第一预测标签集、第二预测标签集、第三预测标签集、第七重建标签集、及包含多个分割标签的分割标签集传递至损失函数中，得到回传梯度。
[0155]
本发明实施例提供的模型生成系统，通过训练样本得到模块获取样本图像、增强图像、及样本图像的分割标签，并将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本，其中增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，该图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值，这意味着将图像模板作用在样本图像上后生成的第一增强图像可以理解为部分图像细节缺失的样本图像，且将目标特征图模板作用在目标特征图上后生成的缺失特征图可以理解为部分特征细节缺失的目标特征图，而正是因为这种缺失，样本图像和第一增强图像的数据分布、及根据缺失特征图生成的第二增强图像和样本图像的数据分布均可能存在差异；进一步，通过模型生成模块基于多组训练样本对原始分割模型进行训练，由于多组训练样本是多数据分布下的样本，因此由此训练得到的图像分割模型具有强鲁棒性。上述系统，通过对样本图像或是样本图像的目标特征图执行缺失操作生成与样本图像的数据分布不同的增强图像，那么包含样本图像和增强图像的多组训练样本是多数据分布下的训练样本，由此达到了在只需获取有限数据分布下的样本图像的情况下，训练得到具有强鲁棒性的图像分割模型的效果。
[0156]
本发明实施例所提供的模型生成系统可执行本发明任意实施例所提供的模型生
成方法，具备执行方法相应的功能模块和有益效果。
[0157]
值得注意的是，上述模型生成系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0158]
图11为本发明实施例提供的图像分割系统的结构框图，该系统用于执行上述任意实施例所提供的图像分割方法。该系统与上述各实施例的图像分割方法属于同一个发明构思，在图像分割系统的实施例中未详尽描述的细节内容，可以参考上述图像分割方法的实施例。参见图11，该系统具体可包括：图像分割模型获取模块610和图像分割模块620。
[0159]
其中，图像分割模型获取模块610，用于获取目标图像、以及按照本发明任意实施例所提供的模型生成方法生成的图像分割模型；
[0160]
图像分割模块620，用于将目标图像输入到图像分割模型中，并根据图像分割模型的输出结果，得到目标图像中的待分割目标。
[0161]
本发明实施例所提供的图像分割系统，通过图像分割模型获取模块和图像分割模块相互配合，将目标图像输入到具有强鲁棒性的图像分割模型中，由此可以从目标图像中准确分割出待分割目标，保证了图像分割的精准度。
[0162]
本发明实施例所提供的图像分割系统可执行本发明任意实施例所提供的图像分割方法，具备执行方法相应的功能模块和有益效果。
[0163]
值得注意的是，上述图像分割系统的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0164]
图12为本发明实施例提供的一种电子设备的结构示意图，如图12所示，该电子设备包括存储器710、处理器720、输入系统730和输出系统740。电子设备中的处理器720的数量可以是一个或多个，图12中以一个处理器720为例；电子设备中的存储器710、处理器720、输入系统730和输出系统740可以通过总线或其它方式连接，图12中以通过总线750连接为例。
[0165]
存储器710作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的模型生成方法对应的程序指令/模块(例如，模型生成系统中的训练样本得到模块510和模型生成模块520)，或是，如本发明实施例中的图像分割方法对应的程序指令/模块(例如，图像分割系统中的图像分割模型获取模块610和图像分割模块620)。处理器720通过运行存储在存储器710中的软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述的模型生成方法或图像分割方法。
[0166]
存储器710可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器710可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器710可进一步包括相对于处理器720远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0167]
输入系统730可用于接收输入的数字或字符信息，以及产生与系统的用户设置以及功能控制有关的键信号输入。输出系统740可包括显示屏等显示设备。
[0168]
本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种模型生成方法，该方法包括：
[0169]
获取样本图像、增强图像和样本图像的分割标签，将样本图像和分割标签、及增强图像和分割标签分别作为一组训练样本；
[0170]
基于多组训练样本对原始分割模型进行训练，得到图像分割模型；
[0171]
其中，增强图像包括根据样本图像和图像模板生成的第一增强图像、和/或根据样本图像的目标特征图和目标特征图模板生成的第二增强图像，图像模板中包括像素值为第一数值的像素点，目标特征图模板中包括像素值为第二数值的像素点，第一数值和第二数值均小于预设数值。
[0172]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的模型生成方法中的相关操作。
[0173]
本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种图像分割方法，该方法包括：
[0174]
获取目标图像、以及按照本发明任意实施例所提供的模型生成方法生成的图像分割模型；
[0175]
将目标图像输入到图像分割模型中，根据图像分割模型的输出结果，得到目标图像中的待分割目标。
[0176]
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本发明任意实施例所提供的图像分割方法中的相关操作。
[0177]
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。依据这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
[0178]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。