一种半监督的跨领域自适应的图像分割方法与流程

1.本发明涉及的是一种图像的自动分割技术，特别是针对从一个从带标注的源数据域中训练的算法模型迁移到另一个含少量标注的目标数据域进行图像分割，属于图像识别方法领域。


背景技术：

2.随着成像技术的不断发展，图像分割技术成为理解图像内容、实现计算机视觉的重要基础，比如对街景图像的自动分割是自动驾驶汽车的重要基础，在医学图像中对病灶的分割有助于医生对疾病做出精确的诊断和定量化的评估。由于对图像进行人工手动分割是一项费时费力的事情，将人工宝贵的时间浪费在对目标区域的低效率勾画上是不可取的，因此图像的自动分割方法越来越受到临床上的关注。近年来，随着深度学习的出现，全监督的自动分割算法的表现接近甚至是超过人类的水平，基于深度学习的图像自动分割方法已经逐渐成为目前的主流方法并逐渐得到应用。
3.对目前的图像自动分割模型进行研究发现，尽管深度学习在图像分割任务中可以取得令人瞩目的表现，但是这些好的表现都依赖于大量的含像素级别的精确标注的图像进行训练，即全监督学习。图像的逐像素精确标注十分耗时，且在某些情况下依赖于具有专业知识的人员来操作，导致获得高质量的标注数据十分困难，时间和人力成本高昂。这已经成为深度学习算法发展的主要障碍。同时，传统的全监督深度学习方法普遍具有较差的跨领域适应性，在一批数据上训练好模型后，当新来一批没有在训练时见过的数据时，模型的性能往往会有非常明显的下降。这主要是由于不同中心的图像在成像模态、成像参数、目标物体的特点、环境变化等因素上存在较多差异，导致两个中心的图像存在分布差异，即域偏移，从而在一个数据域上训练的模型不能直接用于另一个数据域。
4.传统的迁移学习方法需要目标数据域图像的完整标注，具有较高的标注成本，即利用在源数据域上预训练的模型作为初始模型，再使用目标域的图像及其标注进行全监督学习。高昂的标注成本限制了这些方法的实用性。为了解决这一问题，本发明提出一种半监督的域适应方法，即只需要目标数据域的少量标注图像，将预训练模型适应到该数据域，从而提高模型在新的目标数据域的性能。


技术实现要素：

5.本发明的目的在于克服现有的图像自动分割算法的跨数据域迁移和适应能力不足的问题和现有的迁移学习方法依赖大量人工标注的问题，提出一种基于对比学习的半监督域适应方法用于图像分割。已有的全监督迁移学习技术需要对目标数据域的图像进行大量精确标注，标注成本高，限制了方法的实用性。同时，目前的无监督域适应方法不使用目标数据域上的任何标注信息，缺乏有效的监督信号，导致其难以取得满意的性能。本发明的设计的半监督域适应方法，只需要对目标数据域上的图像进行少量标注，有效减少标注成本的同时，也提供了足够的监督信号以保证算法的性能。
6.本发明采用一种新的基于半监督知识迁移的领域适应方法来解决不同中心的数据分布差异带来的域偏移的问题和数据标注不足的挑战。对于一个给定的已标注的源数据域和一个带部分标注的目标数据域，本发明采用域适应性批归一化的神经网络进行学习，在分别对两个数据域的图像的特征进行适应性批归一化后，消除域差异，并通过共享卷积参数，学习到域不变特征。同时，本发明采用对比学习的方法，通过构建对比学习策略让网络更关注到领域不变的特征信息。在此基础上，基于一种主网络和辅助网络的半监督学习方法，通过学习源域和有部分标注的目标域数据获得分割能力，将源域的知识迁移到目标域上，克服目标域图像标注量少的不足，从而得到在目标域上具有较高性能的分割模型。
7.本发明技术方案为一种半监督的跨领域自适应的图像分割方法，该方法包括以下步骤：
8.步骤1：图像预处理；
9.将获取的彩色图片先转换成灰度图片，并且将灰度图进行直方图匹配，完成预处理；
10.步骤2：构建基于域适应性批归一化的主网络
11.主网络包括级联的编码器和解码器，所述编码器由多个级联的卷积-下采样单元组成，每个卷积-下采样单元包括一个卷积层和一个下采样层，每个卷积层包括一个卷积运算，一个批归一化层和一个激活层；解码器由多个级联的卷积-上采样单元组成，其中的每个卷积-上采样单元包含一个卷积层和一个上采样层，其中卷积层与编码器中的卷积层结构一致；
12.考虑到源数据域的图像和目标数据域的图像在分布上存在差异，为了消除这种差异，分别针对两个数据域设立批归一化层；用s和t分别表示源数据域和目标数据域，d∈{s,t}表示其中的某一个数据域，fd表示神经网络中某一层在数据域d的特征图，表示fd的第c个通道，对进行批归一化的操作如下：
[0013][0014]
其中，和分别是尺度系数和偏移系数，中间值由如下公式得到：
[0015][0016]
其中和分别是在当前批次中的均值和方差；
[0017]
设数据集中包含n张带标注的源数据域图像及其标注m张带标注的目标域图像及其标注以及k张未标注的目标域图像用θ表示神经网络中卷积层的参数，分别表示源数据域和目标数据域的批归一化参数，将图像分割网络的所有参数表示为
[0018]
将n张带标注的源数据域图像送入主网络，以进行归一化，并将m张带标注的目标域图像送入主网络，以进行归一化，得到的预测结果分别表示为和
其中n＝1,2,
…
,n,m＝1,2,
…
,m；主网络针对源数据域图像和目标域图像的监督损失函数ls为：
[0019][0020]
其中，是主网络利用θ,对源数据域的图像的预测结果，是主网络利用θ,对目标数据域的图像的预测结果，l
seg
为图像分割损失函数；
[0021]
步骤3：构建基于指数移动平均的辅助网络和一致性约束；
[0022]
以作为主网络，设置一个与其结构相同、参数值不同的辅助网络,该辅助网络专用于目标数据域图像的处理；具体地，用表示主网络的针对目标域的参数，θ
′
表示辅助网络对应的所有参数，辅助网络的参数通过指数移动平均的方式进行更新，用t和t 1分别表示训练过程中当前迭代时刻和下一迭代时刻，α∈[0,1]是控制参数更新速度的超参数，θ
′
的更新过程如下：
[0023]
θ
′
t 1
＝αθ
′
t
(1-α)θ
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0024]
针对目标数据域中的所有m k张图像，对分别添加不同的随机噪声δ
′
和δ
″
，其中k＝1,2,
…
,m k，得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络，得到其预测结果同时将输入辅助网络，得到其预测结果构建这两个预测之间的一致性约束如下：
[0025][0026]
步骤4：构建对比样本；
[0027]
基于编码器-解码器结构的所述主网络中，用e表示编码器，当使用批归一化时，该编码器记为源域编码器es,当使用批归一化时，该编码器记为目标域编码器e
t
；在编码器的输出部分增加一个全连接层分支，该分支用g表示；一幅图像x经过编码器e和该全连接层分支后的输出为高维隐藏特征z＝g(e(x))；
[0028]
针对一幅源域图像其经过es和g得到的结果记为经过e
t
和g得到的结果记为对于一幅目标域图像其经过es和g得到的结果记为和g得到的结果记为经过e
t
和g得到的结果记为则称为的一个正样本，称为的一个负样本；将的所有负样本的集合记为λ-，则的对比损失函数为：
[0029][0030]
其中sim()是计算两个向量之间的余弦相似度；τ是一个超参数；
[0031]
步骤5：设置整体损失函数；
[0032]
根据主网络、辅助网络、样本对比网络的损失函数，建立如下损失函数l；在采用主网络对图像分割结果进行预测的同时，采用损失函数l对主网络的参数进行更新：
[0033]
l＝ls λ1lc λ2l
cont
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式7
[0034]
l
cont
是对比学习约束函数，λ1,λ2是三项约束函数之间的相对权重,对比学习损失函数l
cont
的定义如下：
[0035][0036]
与现有技术相比，本发明具有以下优点：
[0037]
(1)针对在深度学习图像分割模型在一个中心训练好之后在另外一个中心测试存在性能明显降低的问题，本发明提出基于主网络和辅助网络的半监督领域适应方法，可以在目标领域提供少量精确标注的情况下解决领域迁移问题。相比于已有的全监督迁移学习技术，本方法可以大大减少标注成本，提高训练的效率，同时相比于已有的无监督域适应技术，本方法在少量标注图像的引导下，可以大幅度提高模型的性能。
[0038]
(2)现有的大部分方法都是通过生成对抗网络来学习域不变特征，需要额外的判别器模型进行训练，训练不够稳定且耗时，对计算机显存占用较高。本发明提出使用域适应性批归一化操作，使用独立的归一化参数分别处理源域和目标域的图像，可以更简洁的处理不同数据域之间分布差异的问题，同时使用对比学习策略，使得网络卷积参数层更容易学到域不变特征。
[0039]
(3)传统的领域适应方法只能解决源域和目标域是相同目标的分割任务的问题，例如相同器官在不同模态的图像中的分割任务，这样限制了实际解决领域迁移问题的使用场景。本发明不受限于相同目标物体的域适应任务，可让网络提取不同目标物体之间存在的相同的结构信息，从而可用于跨目标的域适应任务。例如可以使用网上公开的眼底血管图像对网络进行训练后，迁移到对x光图像中心脏冠状动脉的分割任务中。因此本发明可使用范围更广，数据有效性利用更高，更具有实际部署潜力。
附图说明
[0040]
图1本发明中源域数据和目标域数据的示例，(a)为预处理后源域数据——眼底血管图像及其分割标注，(b)为预处理后目标域数据——x光冠脉图像及其分割标注；
[0041]
图2本发明中基于半监督域适应图像分割方法的框架图；
[0042]
图3本发明中进行图像分割所提出的网络结构示例图；
[0043]
图4本发明中主网络对带标注的源域和目标域图像构建监督损失的示意图；
[0044]
图5本发明中主网络和辅助网络对目标域的未标注图像构建一致性损失示意图；
[0045]
图6本发明中主网络编码器对源域和目标域特征表达构建对比学习损失的示意图；
[0046]
图7本发明方法在半监督跨目标领域适应分割模型的效果，(a)是目标域中一张测试样本和部分区域的细节放大展示，(b)是对应的分割标注和对应区域展示；(c)是本发明提出的方法利用眼底血管图像作为源域训练后，在x光图像的目标域中取得的分割结果。可以表明本发明提出的模型在解决领域迁移问题上有很好的的表现，得到的结果接近金标准。
具体实施方式
[0047]
结合本发明的内容，提供以下以眼底血管图像作为源域数据，冠状动脉x光图像作为目标数据域，实现目标数据域图像中冠状动脉分割的实施例，本实施例在cpu为intel(r)core(tm)i7-6850k 3.60ghz，gpu为nvidia gtx1080ti，内存为32.0gb的计算机中实现，编程语言为python。
[0048]
步骤1、源域数据和目标域数据的预处理
[0049]
由于眼底图像为彩色图像，同冠状动脉的x光图像存在图像颜色、对比度等的差别，所以需要将彩色眼底图片先转换成黑白的灰度图片，并且将灰度图进行直方图匹配；x光的冠状动脉图片同样进行直方图匹配，最后完成图像输入神经网络前的预处理工作。图1展示一组预处理后的眼底图片和冠状动脉图片。
[0050]
数据集中包含n＝40张带标注的源数据域图像及其标注及其标注张带标注的目标域图像及其标注以及k张(k＝191)未标注的目标域图像
[0051]
步骤2、基于域适应性批归一化的主网络的构建
[0052]
本实施例中的神经网络基本结构采用编码器-解码器的结构，由18个卷积模块构成的编码-解码结构组成，如图3所示。每个卷积模块包含一个3
×
3的卷积，在每层卷积之后，先使用批归一化，再使用线性整流函数进行激活，以获得更平滑输出。在相同的图片分辨率下级联有两个卷积模块，在第二个卷积模块中使用跳跃连接将编码器的特征传递到对应分辨率下的解码器中的卷积模块中，以获得更好的收敛效果。在编码过程中，每次经过最大池化下采样后，通道数都翻倍。为获得更好的分割性能，将编码通道中各层得到的特征图跳跃连接后与解码通道中对应大小的特征图相拼接，以充分利用高层次特征和低层次特征进行分割。编码器的输出其中一支进入对比学习中抽取特征表达的模块中，另外一支输入到解码器中，完成下游任务。在解码器的输出部分，最终通过一个1
×
1的卷积与softmax函数得到预测的分割概率图。
[0053]
为了处理源数据域与目标数据域不同的分布，使用两套批归一化参数以分别对两个数据域的特征图进行归一化操作，即域适应性批归一化。因此，这两个数据域共享网络中的卷积参数，而使用各自的批归一化参数。用s和t分别表示源数据域和目标数据域，d∈{s,t}表示其中的某一个数据域，fd表示神经网络中某一层在数据域d的特征图，表示fd的第c个通道。对进行批归一化的操作如下：
[0054][0055]
其中和分别是尺度系数和偏移系数，由如下公式得到：
[0056][0057]
其中和分别是在当前批次中的均值和方差。用θ表示神经网络中卷积层的参数，分别表示源数据域和目标数据域的批归一化参数，则图像分割网络的所有参数可以表示为图4展示了含域适应性批归一化操作的分割网络的示意图。
[0058]
将n＝40张带标注的源数据域图像送入主网络，以进行归一化，并将m＝20张带标注的目标域图像送入主网络，以进行归一化，得到的预测结果分别表示为和其中n＝1,2,
…
,n,m＝1,2,
…
,m。基于这两种预测结果的监督损失函数ls的定义如下：
[0059][0060]
其中是主网络利用θ,对源数据域的图像的预测结果，是主网络利用θ,对目标数据域的图像的预测结果，l
seg
为交叉熵和dice损失函数的混合分割损失函数。
[0061]
步骤3、基于指数移动平均的辅助网络的设计和一致性约束
[0062]
以上述神经网络作为主网络，设置一个与其结构一致的辅助网络，辅助网络仅用于目标域图像的处理，接受目标域的未标注图像作为输入。用表示主网络的针对目标域的参数，θ
′
表示辅助网络对应的所有参数。辅助网络的参数通过指数移动平均的方式进行更新，用t和t 1分别表示训练过程中当前迭代时刻和下一迭代时刻，α是控制参数更新速度的超参数，这里设置为α＝0.99。θ
′
的更新过程如下：
[0063]
θ
′
t 1
＝αθ
′
t
(1-α)θ
t
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式4
[0064]
针对目标数据域中的所有211张图像，对分别添加不同的随机噪声δ
′
和δ
″
，得到由同一幅未标注图像的产生两幅噪声图像与将输入主网络，得到其预测结果同时将输入辅助网络，得到其预测结果构建这两个预测之间的一致性约束如下：
[0065][0066]
一致性约束损失函数如图5所示。
[0067]
步骤4、对比样本网络的构建
[0068]
在上述基于编码器-解码器结构的基础上，用e表示其编码器部分。当使用批归一化时，该编码器记为源域编码器es,当使用批归一化时，该编码器记为目标域域编码器e
t
。在编码器的输出部分增加一个全连接层分支，该分支用g表示。一幅图像x经过编码器e和该全连接层分支后的输出是一个高维向量z＝g(es(x))。
[0069]
针对一幅源域图像其经过es和g得到的结果记为经过e
t
和g得到的结果记为对于一幅目标域图像其经过es和g得到的结果记为和g得到的结果记为经过e
t
和g得到的结果记为则称为的一个正样本，称为的一个负样本。将的所有负样本的集合记为λ-，则的对比损失函数为：
[0070]
[0071]
其中sim()是计算两个向量之间的余弦相似度。τ是一个超参数，数值为0.1。
[0072]
步骤5、整体损失函数的设置及计算
[0073]
在上述不同类型的网络的预测结果的基础上，建立如下损失函数对网络的参数进行更新：
[0074]
l＝ls λ1lc λ2l
cont
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式7
[0075]
其中ls是根据公式3定义的监督损失函数，lc是根据公式5定义的一致性约损失函数，l
cont
是对比学习约束函数，λ1＝1.0,λ2＝1.0是三项约束函数之间的相对权重。对比学习损失函数l
cont
的定义如下：
[0076][0077]
在损失函数l的基础上，利用梯度下降法对模型进行训练，训练收敛后针对目标域的模型参数对目标域的测试图像进行预测，得到分割结果。
[0078]
图7展示了一例目标域测试样本用本方法训练的模型得到的分割结果。本实施例的实施流程如下。
[0079]
1、首先利用opencv(一个科学运算库)编写函数对眼底图像和冠状动脉x光图像进行预处理，将眼底图像转换为灰度图，并对两种图像进行直方图匹配。
[0080]
2、利用pytorch(一个机器学习库)搭建本发明提出基于主网络和辅助网络的半监督领域适应卷积神经网络，将预处理后的图像输入网络中，对于有金标准的源域和目标域数据，将预测结果与对应金标准送入监督损失函数中。对于所有的目标域数据，使用一致性约束函数对主网络和辅助网络分别经过扰动的数据输出计算一致性损失函数值。此外，基于源域和目标域的编码器，构建一幅图像的正样本和负样本，建立对比学习损失函数。将监督损失函数、一致性损失函数和对比学习损失函数结合，使用adam优化器进行反向传播，优化网络参数。对训练集数据循环训练，直至网络收敛。
[0081]
3、对一个目标数据域的测试图像，使用训练完成后的主网络得到预测结果。
[0082]
图7(a)表示是目标域中的一个测试样本，(b)是该测试样本的金标准以及部分细节的展示，(c)是本方法训练的模型在该样本上的分割预测图及其与金标准细节的比较。可以看到，本发明提出的模型在仅仅使用少量有标注的目标域数据的情况下，借助网上公开的容易获得金标准具有相似结构的血管图像对网络进行训练后，对目标血管的分割能力能够很好的迁移到目标域数据上。