一种适用于眼部血管分割的领域自适应系统及方法

1.本发明涉及眼科的计算机辅助诊断技术领域，更具体地，涉及一种适用于眼部血管分割的领域自适应系统及方法。


背景技术：

2.眼部血管分割是眼科的计算机辅助诊断和大规模眼部疾病自动检测系统的基础。卷积神经网络在眼部血管分割中取得了令人印象深刻的表现。但由于采集设备的噪声、成像角度、分辨率、图像采集技术和其他原因，训练数据(源域)和测试数据(目标域)之间会出现差异，导致模型的测试精度大幅度下降。
3.idsia使用滑动窗口的方法提取每个像素周围的局部补丁作为输入，来训练输出类别概率的人工cnn。为了获得整个图像的类别概率图，ciresan等人在上述重复过程中使用了一张图像中的所有像素。由于这种方法中训练补丁的数量远大于训练图像的数量，所以它是冗余且效率低下的。
4.全卷积网络作为一种没有全连接层的流行方法，也被广泛应用于各种图像分割任务中。它的主要思想是使用上采样算子代替全连接层，从而通过连续的层来补充常见的收缩网络。因此，网络的输出是类别概率图像，该图像的大小与输入图像的大小相同。全卷积网络可以接受任何大小的输入图像，并且由于去除了一些全连接层和像素块，所以它比idsia更为有效。但是，全卷积网络方法的定位精度和上下文信息的利用率呈负相关。更多的最大池化层可以促进上下文信息的利用，但同时降低了定位能力。
5.目前研究学者们已经提出了广泛的领域自适应方法来减轻域偏移。一种简单有效的方法是使用来自目标域的一些标记数据对学习到的网络进行微调。但微调需要的标记昂贵且费时，尤其是在生物医学图像分割任务中。在无监督领域自适应任务中，目前的主流思想是通过匹配源域和目标域之间的特征分布来指导特征学习。其中一种方法是使用最大平均差异(mmd)损失来最小化源域和目标域的特征分布之间的差异。ddc将mmd用作域损失，并添加了适应层，有效地学习了域不变的表示。深度自适应网络计算了嵌入在再生核希尔伯特空间中的最后三层中的mmd损失，目的是最小化两个分布的高阶统计量。在此基础上，学者提出了jan方法，通过使用联合最大平均差异(jmmd)损失来匹配跨域的多个特定域的层的联合分布来学习传输网络。
6.现有技术中公开了一种基于无监督领域自适应的激光散斑衬比图像分割方法，该专利首先获取源域数据集和目标域数据集，源域数据集包括源域图像及对应的标签，目标域数据集包括目标域图像，目标域图像为激光散斑衬比图像；然后，构建图像转换模型和图像分割模型；然后，将源域图像和目标域图像输入到图像转换模型进行训练，将源域图像通过训练好的图像转换模型转换到目标域生成新的目标域图像；然后，将新的目标域图像和对应的源域图像的标签输入到图像分割模型进行训练；最后，将待分割的激光散斑衬比图像输入到训练好的图像分割模型得到分割完成的血管网络。然而，该专利未涉及任何有关通过两个辅助分类器和一个主要分类器非对称地训练模型，从而提高模型在无标签领域上
的目标检测能力，减轻域偏移对模型的影响，降低目标检测模型对标注数据的需求，节约人力、物力与时间。


技术实现要素：

7.本发明提供一种适用于眼部血管分割的领域自适应系统，该系统通过两个辅助分类器和一个主要分类器非对称地训练模型，从而提高模型在无标签领域上的目标检测能力，减轻域偏移对模型的影响，降低目标检测模型对标注数据的需求，节约人力、物力与时间。
8.本发明的又一目的在于提供一种适用于眼部血管分割的领域自适应方法。
9.为了达到上述技术效果，本发明的技术方案如下：
10.一种适用于眼部血管分割的领域自适应系统，包括：
11.特征生成网络g，将从源域提取的有标记图像xs和从目标域提取的未标记目标图像x
t
作为输入，使源域和目标域差异最小化，从而使目标特征趋向于定位在源区域中；
12.主分类器网络mc，在源数据上进行训练，防止样本接近决策边界，从而使训练稳定；
13.第一辅助分类器网络ac1和第二辅助分类器网络ac2，在给定目标特征的情况下最大化差异，以检测超出源支持的目标样本。
14.进一步地，使用从源域提取的有标记图像xs来训练系统所有网络，通过最小化以下等式中的分割损失来获取源数据的判别特征：
[0015][0016][0017]
其中y为标签，p为模型参数，代表模型判断x是y的概率。
[0018]
进一步地，固定特征生成网络g并训练第一辅助分类器网络ac1和第二辅助分类器网络ac2来扩大差异，以便在源域的支持范围外检测目标数据，考虑在源域上的分割损失，防止第一辅助分类器网络ac1和第二辅助分类器网络ac2 对源数据进行错误分类，具体来说，将来自每个域的相同数量的样本用于训练两个辅助分类器网络。目标函数如下：
[0019][0020][0021]
进一步地，固定所有分类器网络并训练特征生成网络g，减少三个分类器网络之间的差异损失，目标函数如下：
[0022][0023]
进一步地，完成最大的一代训练后，由于目标样本距离主分类器网络mc的决策边界很远，选择主分类器网络mc作为最终分类器。
[0024]
一种适用于眼部血管分割的领域自适应方法，包括以下步骤：
[0025]
s1：特征生成网络g将从源域提取的有标记图像xs和从目标域提取的未标记目标图像x
t
作为输入，使源域和目标域差异最小化，从而使目标特征趋向于定位在源区域中；
[0026]
s2：主分类器网络mc在源数据上进行训练
[0027]
s3：第一辅助分类器网络ac1和第二辅助分类器网络ac2在给定目标特征的情况下最大化差异，以检测超出源支持的目标样本。
[0028]
进一步地，使用从源域提取的有标记图像xs来训练系统所有网络，通过最小化以下等式中的分割损失来获取源数据的判别特征：
[0029][0030][0031]
进一步地，固定特征生成网络g并训练第一辅助分类器网络ac1和第二辅助分类器网络ac2来扩大差异，以便在源域的支持范围外检测目标数据，考虑在源域上的分割损失，防止第一辅助分类器网络ac1和第二辅助分类器网络ac2 对源数据进行错误分类，具体来说，将来自每个域的相同数量的样本用于训练两个辅助分类器网络。目标函数如下：
[0032][0033][0034]
进一步地，固定所有分类器网络并训练特征生成网络g，减少三个分类器网络之间的差异损失，目标函数如下：
[0035][0036]
进一步地，完成最大的一代训练后，由于目标样本距离主分类器网络mc的决策边界很远，选择主分类器网络mc作为最终分类器。
[0037]
与现有技术相比，本发明技术方案的有益效果是：
[0038]
本发明通过两个辅助分类器和一个主要分类器非对称地训练模型。其中两个辅助分类器使用源样本和目标样本进行训练，从而在给目标特征的情况下最大化差异，以检测超出源支持的目标样本。同时，主分类器仅在源域上训练，使训练更加稳定，目标样本远离决策边界；本发明已经在drive，stare，chase-dr1和 iostar眼部血管分割数据集上得到了验证，实验结果表明，本非买那个可以在无监督领域自适应任务中获得显著的准确性。
附图说明
[0039]
图1为本发明系统结构图；
[0040]
图2为本发明方法流程图；
[0041]
图3为本发明实施例3中整体的处理过程示意图。
具体实施方式
[0042]
附图仅用于示例性说明，不能理解为对本专利的限制；
[0043]
为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；
[0044]
对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
[0045]
下面结合附图和实施例对本发明的技术方案做进一步的说明。
[0046]
实施例1
[0047]
如图1所示，一种适用于眼部血管分割的领域自适应系统，包括：
[0048]
特征生成网络g，将从源域提取的有标记图像xs和从目标域提取的未标记目标图像x
t
作为输入，使源域和目标域差异最小化，从而使目标特征趋向于定位在源区域中；
[0049]
主分类器网络mc，在源数据上进行训练，防止样本接近决策边界，从而使训练稳定；
[0050]
第一辅助分类器网络ac1和第二辅助分类器网络ac2，在给定目标特征的情况下最大化差异，以检测超出源支持的目标样本。
[0051]
使用从源域提取的有标记图像xs来训练系统所有网络，通过最小化以下等式中的分割损失来获取源数据的判别特征：
[0052][0053][0054]
进一步地，固定特征生成网络g并训练第一辅助分类器网络ac1和第二辅助分类器网络ac2来扩大差异，以便在源域的支持范围外检测目标数据，考虑在源域上的分割损失，防止第一辅助分类器网络ac1和第二辅助分类器网络ac2 对源数据进行错误分类，具体来说，将来自每个域的相同数量的样本用于训练两个辅助分类器网络。目标函数如下：
[0055][0056][0057]
固定所有分类器网络并训练特征生成网络g，减少三个分类器网络之间的差异损失，目标函数如下：
[0058][0059]
完成最大的一代训练后，由于目标样本距离主分类器网络mc的决策边界很远，选择主分类器网络mc作为最终分类器。
[0060]
实施例2
[0061]
如图2所示，一种适用于眼部血管分割的领域自适应方法，包括以下步骤：
[0062]
s1：特征生成网络g将从源域提取的有标记图像xs和从目标域提取的未标记目标图像x
t
作为输入，使源域和目标域差异最小化，从而使目标特征趋向于定位在源区域中；
[0063]
s2：主分类器网络mc在源数据上进行训练
[0064]
s3：第一辅助分类器网络ac1和第二辅助分类器网络ac2在给定目标特征的情况下最大化差异，以检测超出源支持的目标样本。
[0065]
使用从源域提取的有标记图像xs来训练系统所有网络，通过最小化以下等式中的分割损失来获取源数据的判别特征：
[0066][0067][0068]
固定特征生成网络g并训练第一辅助分类器网络ac1和第二辅助分类器网络ac2来扩大差异，以便在源域的支持范围外检测目标数据，考虑在源域上的分割损失，防止第一辅助分类器网络ac1和第二辅助分类器网络ac2对源数据进行错误分类，具体来说，将来自每个域的相同数量的样本用于训练两个辅助分类器网络。目标函数如下：
[0069][0070][0071]
进一步地，固定所有分类器网络并训练特征生成网络g，减少三个分类器网络之间的差异损失，目标函数如下：
[0072][0073]
完成最大的一代训练后，由于目标样本距离主分类器网络mc的决策边界很远，选择主分类器网络mc作为最终分类器。
[0074]
实施例3
[0075]
基于生物医学图像分割架构u-net，将u-net分为两个部分：以xs(从源域提取的有标记图像)或x
t
(从目标域提取的未标记目标图像)为输入的特征生成网络g，以及三个分类器网络：主分类器(mc)，辅助分类器1(ac1)，辅助分类器2(ac2)，它们使用g生成的特征通过sigmoid函数得到血管(类别0)和其他(类别1)的概率图。
[0076]
如图3所示，如果仅使用源域来训练网络，由于存在域偏移(源域和目标域在特征空间中不匹配)，分类器无法在目标域上精确区分类别0和类别1。方法的主要思想是通过利用目标图像上两个辅助分类器的差异(图3中的阴影区域)的对抗训练来对齐源域和目标域的特征分布。由于该区域中的目标域样本不在源域的支持范围内，因此两个辅助分类器将输出差异。在这项工作中，使用方程式d(p1(y|x
t
)，p2(y|x
t
))来测量目标样本的差异，其中d表示测量两个概率输出之间的差异损失函数：
[0077][0078]
式子中p
1k
和p
2k
表示由类别k的两个不同分类器生成的概率分布图。
[0079]
为了充分利用差异，将特征生成器网络(g)和分类器网络(mc，ac1，ac2) 作为实施对抗训练的两个对立部分。两个辅助分类器的目的是在给定目标特征的情况下最大化差异，以检测超出源支持的目标样本。而特征生成器尝试使差异最小化，从而使目标特征趋向于定位在源区域中。此外，通过引入主分类器(mc)对分类器进行非对称训练，该分类器仅在源数据上进行训练，以防止样本接近决策边界，从而使训练更加稳定。重复上述对抗训练步骤后，特征生成器可以将源数据和目标数据映射到同一区域，从而mc可以将其准确分类，如图3的最右侧所示。
[0080]
分三步对所有网络进行迭代训练：
[0081]
步骤1：
[0082]
使用已标记的源样本来训练所有网络，目的是通过最小化以下等式中的分割损失来获取源数据的判别特征。独立且随机地初始化三个分类器网络以获得差异特征。目标函数如下：
[0083][0084][0085]
步骤2：
[0086]
固定g并训练辅助分类器来扩大差异，以便在源域的支持范围外检测目标数据。重
要的是，应同时考虑在源样本上的分割损失，以防止辅助分类器对源数据进行错误分类。具体来说，将来自每个域的相同数量的样本用于训练两个辅助分类器。目标函数如下：
[0087][0088][0089]
步骤3：
[0090]
固定所有分类器并训练特征生成器，最大程度减少三个分类器之间的差异损失。与仅将两个辅助分类器之间的差异最小化不同，还减小了主分类器与每个辅助分类器之间的差异。目标函数如下：
[0091][0092]
重复上述三个步骤，直到达到最大的一代训练。选择主分类器作为最终分类器，因为目标样本距离mc的决策边界很远。
[0093]
本方案创造性地提出了不对称地最大分类器差异方法来解决眼部血管分割的领域自适应问题。通过两个辅助分类器和一个主要分类器非对称地训练模型。其中两个辅助分类器使用源样本和目标样本进行训练，从而在给目标特征的情况下最大化差异，以检测超出源支持的目标样本。同时，主分类器仅在源域上训练，使训练更加稳定，目标样本远离决策边界。已经在drive，stare，chase-db1和 iostar眼部血管分割数据集上验证了的方法，实验结果表明，方法可以在无监督领域自适应任务中获得显著的准确性。
[0094]
本发明在pytorch平台中实现，并使用adam作为优化器，初始学习率为 0.001。单次训练两个样本并进行20,000次迭代优化，每次迭代中重复三次步骤三。将四个广泛使用的眼部血管分割数据(stare(s)，drive(d)，chase-db1(c) 和iostar(i))一一分为二，并使用其中一个进行训练，另一个进行测试。
[0095]
表1总结了本发明以及所有无监督域适应转移任务的source-only和 oracle基线的量化结果，用来分析本专利获得的性能提升。显然，每个 source-only的值都远远低于oracle的值，这意味着数据集之间的域偏移会严重损害模型的性能。以f1得分为例，source-only的平均值为64.27，比oracle 的平均值低21.12％。同时，本专利平均f1得分为78.51，从而将source-only 基线提高了22.16％，最终结果仅比oracle低3.65％。换句话说，本专利极大地减轻了域偏移造成的负面影响。
[0096]
表1不同方法的比较结果
[0097]
[0098][0099]
在常见的传输任务中，我们还将本专利与revgrad和r-sgan的f1得分进行比较。如表2所示，本专利在所有传输任务中都取得了最佳表现。特别要说明的是，尽管r-sgan使用driu模型训练比u-net更高级的合成样本，但本专利平均f1得分比r-sgan高1.75。
[0100]
表2三种域适应方法的f1得分
[0101]
tasksrebgradr-sganamcd(本专利)d
→
s76.7579.6080.66s
→
d67.0978.8279.92d
→
o-77.0780.17avg71.9278.5080.25
[0102]
相同或相似的标号对应相同或相似的部件；
[0103]
附图中描述位置关系的用于仅用于示例性说明，不能理解为对本专利的限制；
[0104]
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。