一种三维医学影像无监督特征抽取系统的制作方法

1.本发明涉及医学图像特征提取技术领域，具体地说是一种三维医学影像无监督特征抽取系统。


背景技术：

2.随着科学的发展和技术的进步，3d医学影像的计算机辅助诊断技术已经取得了一定成就，例如基于ct(computed tomography)、mri(magnetic resonance imaging)等影像的疾病检测和诊断系统。但是在深度学习领域仍存在诸多挑战，高质量的标注医学数据较少，在训练过程中极易引起模型的过拟合；同时如何充分利用3d医学影像的3d信息仍是一个难点，一方面3d神经网络参数众多，需要消耗大量的计算资源和计算时间，另一方面2d切片信息量不足，不能全面表示目标的3d特征。大多数深度学习模型都是直接标注信息训练模型，无法避免上述问题，从而导致预测效果不佳。
3.在医学上，早期肺癌主要表现为孤立性肺小结节，肺癌治疗的关键就在于肺结节的诊断，虽然其检出率逐年提高，但是假阳性率仍然较高，导致目前肺结节良恶性诊断仍存在困难，微小结节的诊断更具挑战。当前，肺结节诊断的最好方式就是通过低剂量螺旋ct扫描。研究发现，低剂量螺旋ct与常规剂量ct相比，对肺内小结节的检出率同时有较高的敏感度，同时降低了患者接受的放射剂量，因此，低剂量螺旋ct是最常用的肺癌筛查和早期诊断的工具。医生在进行肺结节诊断时，通常需要逐一观察上百张ct影像，并根据医生的临床经验做出最终的诊断结果。对于每位放射科医生，每天都要诊断大量的病例，诊断过程不仅工作量巨大，耗时耗力，同时还需要医生有丰富的临床经验，诊断结果存在一定的主观性，这对一些低年资医生是一种巨大的考验。因此，为了提高肺结节诊断效率并降低误诊率，通过结合人工智能技术和医学诊断知识，实现基于低剂量螺旋ct扫描的计算机辅助诊断技术(cad)成为了一种进行肺癌早期筛查的可靠且高效的手段。
4.随着深度学习在医学影像分析中的应用，现有技术中提出了一个3d dpn来学习结节的特征，并采用梯度提升机(gbm)进行结节分类。尽管基于cnn的良恶性结节分类模型的性能已经超过了基于人工特征的方法，但是和在自然图像数据集imagenet上的性能相比，cnn还没有在医学图像上充分展示其分类能力，很重要的原因在于缺少高质量标注的医学影像数据集，这与获取图像数据和图像注释所需的工作有关。当前许多研究工作致力于解决该问题，包括数据增强、深度集成学习、将传统浅层模型与深层模型相结合等，尽管取得了一定的性能提升，但这些方法仍然依赖于训练数据量。由于医学图像标注需要很强的专业知识，3d病灶的标注复杂且困难，并且并不是所有的标注图像都可用，因此如何使用少量的标注图像实现较高的良恶性结节分类性能是一个巨大的挑战。


技术实现要素：

5.本发明之目的是弥补上述之不足，向社会公开能够提高表征学习质量，提高目标获取准确性的一种三维医学影像无监督特征抽取系统。
6.本发明的技术方案是这样实现的：
7.一种三维医学影像无监督特征抽取系统，包括以下步骤：
8.步骤一、获取ct图像数据集，将包含预测目标的3d图像数据分解为不同视角的2d视图，分解后的视图用于无监督表征抽取；
9.步骤二、构建基于多视图对比学习的无监督特征提取模型，将2d视图数据进行特征提取，生成与每个视图对应的特征；每个视图构建一个独立的网络结构，所述特征提取模型中的每个网络结构都由一个编码器和一个映射头组成；将同一感兴趣区域的不同视图组成正样本对，不同区域的视图视为负样本对，计算视图相似度；
10.步骤三、对提取的特征进行融合并分类预测：从编码器中提取表征进行特征融合，将融合表征输入到分类器中，输入表征的维度，得到良恶性结节的概率。
11.进一步优化本技术方案的措施是：
12.作为改进，所述的步骤一中，ct图像预处理的具体过程为，将原始ct影像的hu值的范围截断到[
‑
1000，400]以减小其它器官的影响，并将其缩放到[0，1]，然后将所有ct扫描的像素分辨率调整为1mm
×
1mm
×
1mm。
[0013]
作为改进，所述的步骤一中，所述的3d图像数据分解为9个视角，包括3个正平面视角和6个对角面视角。
[0014]
作为改进，所述的步骤二中，采用resnet结构作为的编码器。
[0015]
作为改进，所述的步骤二中，映射头是具有两个隐藏层的多层感知机。
[0016]
作为改进，所述的步骤二中，所述的计算视图相似度的具体过程为：计算余弦相似度sim(
·
)，假设sim(u,v)＝u
t
v/||u||||v||，u和v为两个不同且经过l2归一化的2d视图。
[0017]
作为改进，使用目标函数l优化所有编码器和映射头，
[0018]
其中l(v)是我们索引为i的感兴趣区域的损失，n为神经网络优化时的批大小；
[0019][0020]
其中，是固定锚点为时和其他视图之间的损失。
[0021]
作为改进，网络损失为其中，v
i
表示从同一病变中提取的所有视图，
[0022][0023]
其中，τ表示用于调整损耗动态范围的温度参数，i表示的是感兴趣区域的索引，i
[k≠i]
是判断和是否属于同一感兴趣区域的指示函数；如果和是从同一个病灶中提取的，i
[k≠i]
＝1，否则i
[k≠i]
＝0；对称的，得到
[0024]
作为改进，所述的步骤三中，在分类器中，通过softmax函数得到良恶性结节的概率。
[0025]
本发明与现有技术相比的优点是：
[0026]
本发明将包含预测目标的3d图像数据按照不同方向分解为多个2d视图，构建基于多视图对比学习的无监督特征提取模型，将所述2d图像通过上述模型进行特征抽取，以生成与每个视图相对应的表征，对所述特征提取结果进行融合并分类预测；由此既保留了单个视图的信息特点又可以学习到不同视图之间的共性，通过融合不同视图之间的特征，实现3d表征学习，提高了表征学习质量，从而提高目标获取准确性。
附图说明
[0027]
图1显示为本发明的九个方向的视图过滤器以及2d视图示例图；
[0028]
图2显示为本发明的特征抽取模型架构图；
[0029]
图3显示为本发明的分类预测图；
[0030]
图4显示为本发明的使用不同数量视图的分类预测结果图。
具体实施方式
[0031]
本发明一种三维医学影像无监督特征抽取系统，系统模型的输入是由3d图像分解成的2d图像，输出的是所有视图的表征。整个系统模型包含3d图像分解、模型构建和特征提取三部分。以下将结合图示对一种三维医学影像无监督特征抽取系统进行详细描述。
[0032]
如图2所示，本发明一种三维医学影像无监督特征抽取系统的架构图，其提供了一种多视图对比学习网络，每个2d视图是按照不同的方向从3d图像中分解得到，然后通过一个由编码器和映射头组成的卷积神经网络，通过对比损失学习到各视图表征；由此既保留了单个视图的信息特点又可以学习到不同视图之间的共性，通过融合不同视图之间的特征，实现3d表征学习，提高了表征学习质量。
[0033]
如图1和图4所示，一种三维医学影像无监督特征抽取系统，包括以下步骤：
[0034]
步骤一、获取ct图像数据集，将包含预测目标的3d图像数据分解为不同视角的2d视图，分解后的视图用于无监督表征抽取。
[0035]
具体的，利用现有的目标检测模型得到ct图像中包含预测目标的3d图像数据(即3d感兴趣区域)，本实施例中，获取包含肺结节的3d图像数据。在构建基于多视图对比学习无监督模型前，将3d感兴趣区域进行多视图预处理。在预处理变换过程中，保留了分类目标不同方向之间的相关性和差异性，然后将变换后的视图用于无监督表征抽取。所获取的图像数据集为肺结节ct扫描数据集。
[0036]
ct图像预处理的具体过程为，将原始ct影像的hu值(亨氏单位)的范围截断到[
‑
1000，400]以减小其它器官的影响，并将其缩放到[0，1]，然后将所有ct扫描的像素分辨率调整为1mm
×
1mm
×
1mm，这是计算机辅助诊断中的应用中最常见的ct扫描分辨率。预处理后，根据病灶直径提取病灶体积，结节的直径通常在3mm
‑
30mm之间，结合神经网络的输入，将每个感兴趣区域的大小设置为64mm
×
64mm
×
64mm。最后，为了避免变换的经验设计并保留病变的3d特征，按照如图1所示的9个方向，利用视图过滤器将3d图像分解为2d视图，9个视角包括3个正平面视角和6个对角面视角。
[0037]
步骤二、构建基于多视图对比学习的无监督特征提取模型，将2d视图数据进行特征提取，生成与每个视图对应的特征。
[0038]
对比学习旨在构建一个潜在的嵌入空间，以无监督的方式将样本从不同的集群中分离出来。本发明使用对比损失来来增强病灶内的相似性和病灶之间的可分离性。
[0039]
本发明的系统中，为每个视图构建一个独立的网络结构，而不是为所有视图共享参数，这样可以最大化不同视图之间的互信息并保留视图之间的差异性。所述特征提取模型中的每个网络结构都由一个编码器和一个映射头组成，采用resnet结构作为的编码器，映射头是具有两个隐藏层的多层感知机(mlp)，该模型是随机初始化的，映射头的作用是消除表征中语义不相关的低级信息。下面用两个视图来说明这个结构(v_1和v_2)，通过编码器从每个视图中学习表征向量y，y是编码器最后一个卷积层之后的输出；即，y_1＝f_1(v_1)和y_2＝f_2(v_2)；然后，将表征通过映射头映射为嵌入z，即z_1＝g_1(y_1)＝g_1(f_1(v_1))和z_2＝g_2(y_2)＝g_2(f_2(v_2))。
[0040]
本发明中同一感兴趣区域的不同视图组成正样本对，不同区域的视图视为负样本对，利用对比损失来实现正样本对的高相似性和负样本对的低相似性，计算余弦相似度sim(
·
)作为评估视图相似度的指标。假设sim(u,v)＝u
t
v/||u||||v||,u和v为两个不同且经过l2归一化的2d视图，将目标函数定义为：
[0041][0042]
其中τ表示用于调整损耗动态范围的温度参数，i表示的是感兴趣区域的索引；i
[k≠i]
是判断和是否属于同一感兴趣区域的指示函数，如果和是从同一个病灶中提取的，i
[k≠i]
＝1，否则i
[k≠i]
＝0。对称的，可以得到
[0043]
最终的损失由两个损失相加表示：
[0044][0045]
其中，v
i
表示从同一病变中提取的所有视图，
[0046]
基于多视图对比学习的无监督特征抽取模型，可以应用于不同数量的视图，本发明中将最大视图数限制为9。
[0047]
使用不同数量视图的目标函数为：
[0048][0049]
其中，是固定锚点为时和其他视图之间的损失，考虑到所有视图依次充当锚点，目标函数l(v)则为：
[0050][0051]
其中，l(v)是我们索引为i的感兴趣区域的损失，假设神经网络优化时的批大小为n，则最终的目标函数公式化为：使用目标函数l优化所有编码器和映射头。从上述公式得到，使用的视图数量越多，计算成本就越大。确定损失函数，利用梯度下降法对所述对比模型进行参数优化，以使损失函数最小化。
[0052]
步骤三、对提取的特征进行融合并分类预测：从编码器中提取表征进行特征融合，将融合表征输入到分类器中，输入表征的维度，得到良恶性结节的概率。
[0053]
目标任务的目标是评估多视图对比学习模型抽取的表征的质量，本发明通过分类器来使用诊断准确性评估表示，该分类器只包含一个从头开始训练的全连接层，下游任务是一个良恶性结节分类任务。使用以下六个指标来衡量的特征抽取模型的性能：接受者操作曲线下的面积(auc)、灵敏度、特异性、准确率、精确度、f1值。准确率描述了模型可以在多大程度上正确区分恶性和良性结节，灵敏度衡量正确识别的恶性结节的百分比，特异性衡量正确识别的良性结节的百分比，auc综合考虑了敏感性和特异性，精确度是检索到的正例中检索到的真正例的比例，f1值考虑了准确率和召回率。
[0054]
本发明中，在进行特征融合时使用的是从编码器而不是投影仪中提取的表征，将融合表征输入到分类器中，输入表征的维度取决于视图的数量，即输入维度是n
×
d，其中n代表视图的数量，每个视图的维度是d，最后通过softmax函数得到良恶性结节的概率。
[0055]
下面通过分类预测实验将本发明系统与其他方法在上述六个指标进行比较：
[0056]
方法面积(auc)灵敏度特异性准确率精确度f1值moco73.27
±
0.5571.50
±
0.9674.91
±
1.3174.15
±
0.5374.29
±
0.8571.82
±
0.34moco v278.45
±
0.8578.48
±
1.9677.66
±
1.0578.69
±
0.5576.50
±
1.5977.26
±
0.85simclr78.98
±
0.5070.32
±
0.8189.64
±
1.0280.31
±
0.7184.88
±
1.7076.31
±
0.65byol70.49
±
0.1857.06
±
1.0576.96
±
1.1765.77
±
0.9476.12
±
1.1465.18
±
1.01simsiam77.10
±
1.1266.79
±
1.2471.11
±
0.7970.32
±
1.6969.23
±
1.3465.45
±
0.90models genesis76.29
±
2.2361.17
±
0.9274.33
±
1.6865.83
±
1.5677.90
±
0.9167.98
±
1.44rubik's cube 82.07
±
0.4478.00
±
0.9283.80
±
0.7781.21
±
0.1681.17
±
0.5678.78
±
0.28restoration85.60
±
0.3173.68
±
1.8581.03
±
1.0478.75
±
0.8472.34
±
1.1772.97
±
1.06本系统88.74
±
0.2385.92
±
0.8788.51
±
0.8189.55
±
0.4288.87
±
0.6787.07
±
0.35
[0057]
通过分类预测实验结果表明，对于基于多视图对比学习的特征提取模型能够使分类准确率达到89.55％，且和其它自监督模型相比，例如和simclr、rubik's cube 以及restoration相比，分别实现了9％、8％以及10％的提升。结果表明，与以前的自监督技术相比，本发明中无监督抽取系统具有更好的性能。
[0058]
本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。