一种基于大脑T1-w磁共振影像的高维特征自动提取方法

一种基于大脑t1-w磁共振影像的高维特征自动提取方法
技术领域
1.本发明涉及医学图像处理、医学技术领域，具体涉及一种基于大脑t1-w磁共振影像的高维 特征自动提取方法。


背景技术：

2.磁共振成像(mri)作为一种非侵入性医学成像技术，已广泛应用于诊断和治疗。在对人脑的 研究中，核磁共振成像不仅可以提供大脑解剖结构的信息，还可以提供功能和代谢的综合多参 数信息。结构磁共振成像(smri)和功能磁共振成像(fmri)由于具有较高的空间分辨率，在人脑 结构和功能的研究方面分别取得了很大进展。
3.在人脑的放射学研究中，原始数据主要是采集到的人脑磁共振图像。主要影像学包括t1加 权成像(t1-w)、t2加权成像(t2-w)、扩散张量成像(dti)、扩散加权成像(dwi)、血氧水平依 赖功能磁共振成像(bold-fmri)等。t1图像整体感官跟“临床图像”的“习惯配色风格”非常接近， 可以看出各种断层解剖图。脑部t1-w可使灰白质的对比度更大，观察解剖结构较好。
4.对原始数据进行预处理后，用不同的模型对图像进行特征提取，可以用于后续任务处理， 克服传统判断的主观局限性，实现从主观定性分析到客观定量分析的转变。现有的特征提取的 技术方案主要分为基于体素的形态学分析(vbm)、基于深度学习和基于影像组学方法。
5.vbm(voxel-basedmorphometry)方法是一种以体素为单位的形态测量学方法，可以定量 检测出脑组织各组分的密度和体积，从而能够检测出局部脑区的特征和脑组织成分的差异。 vbm方法首先需要把被研究的所有个体的大脑mri t1-w图像在空间上标准化到一个完全相同 的立体空间中，然后对该高分辨力、高清晰度、高灰白质对比的脑结构图像进行解剖分割，得 到灰质、白质和脑脊液，利用参数统计检验对分割的脑组织成分逐个进行体素组间比较分析， 定量检测出脑灰质和白质的密度和体积，从而量化分析脑形态学上的异常。具体过程包括空间 标准化、脑组织的分割、平滑、统计建模和假设检验。
6.深度学习(dl)是机器学习(ml)的一个子领域，是一种以自动特征学习为特征的端到 端算法，可以用来构建从数据中学习高维特征的模型。由于它不像传统的ml那样依赖于特征 的人工提取，因此可以获得数据的更多原始特征。前人提出了许多dl架构，例如cnn、dnn、 rnn、ae、深度信念网络(dbn)和概率神经网络(pnn)等，这些结构能提取到人工无法直接获 取的高维特征，用于下游任务的执行。近年来，尤其是在图像分析方面，它引起了极大的关注， 科研人员主要依靠基于卷积神经网络(cnn)的方法来从图像数据中提取特征。cnn的各种架构， 如resnet、lenet、alexnet、vggnet、googlenet等，都可以用来构建用于mri分析的模型。
7.影像组学是一种定量的成像方法，它通过提取信号强度的空间分布和像素相互关系来得到 纹理信息。在纹理特征提取之后，采用机器学习或统计学的方法来识别最佳特征。通常使用 pyradiomics工具箱来进行图像预处理和特征提取，这是radiomics网站团队
开发和推出的一个 开源python工具包。使用pyradiomics包可以提取到的特征包括一阶特征(中值、平均值等)、 形状特征、纹理特征和小波特征等。纹理特征定义了灰度共生矩阵(glcm)、灰度相关矩阵 (gldm)、灰度游程矩阵(glrlm)、灰度大小区域矩阵(glszm)和相邻灰度差矩阵(ngtdm)等。
8.现有技术缺点：
9.基于体素的形态学分析(vbm)：1、基于体素的统计分析以空间标准化为前提，某些局部 区域和模板的匹配不准确会导致统计结果中出现组间系统性的脑区形态差异。2、在分割过程中， 由于脑实质与脑脊液交界区体素量差别很大，容易产生伪影。而且vbm难于区别脑的一些微 小复杂结构的差异，如海马区等。
10.基于深度学习：1、深度学习模型的中间过程是一个“黑匣子”，我们输入数据得到结果， 但无法得知模型训练过程得到的特征的具体含义表征，这些特征一般为机器所理解。2、深度学 习模型一般有n层结构，不能确定求取哪一层输出更合适。深度学习模型很抽象——几十层的 卷积、池化、信息被分散在网络参数之中。比如提取自然语言的特征时，常常提取词向量层的 输出作为特征，有时也取最后一层用于描述句意；图像处理时往往提取最后一层输出向量；在 图像目标识别问题中，常提取后两层子网络的输出作为组合向量。3、针对不同问题训练出的模 型，输出的特征也不同。通常下载的resnet，vgg，bert预训练模型，虽然通用性高，但解 决具体问题的能力比较弱。如果要解决具体问题，需要对基本模型用自己的数据fine-tune，但 fine-tune的也需要仔细斟酌，否则可能起到反作用。
11.基于影像组学方法：1、在进行影像组学研究时，对每个数据进行准确标记.手工提取感兴趣 区的可靠性及可重复性不能保证。2、基于mri的影像组学的研究多为回顾性分析，影像组学 特征及筛选受到机器平台、重建算法、扫描序列、成像参数等的影响,不同的扫描设备、不同 mr参数及不同医学中心扫描方式会有所差异，基于影像组学方法提取的影像数据需要规范化 和标准化。3、影像组学模型建立方法多种多样，图像预处理方法选择和执行顺序尚无统一的标 准，是影响影像组学模型泛化性的原因之一。
12.综上，基于深度学习的方法能自动地提取到人工无法直接获取的高维特征，但该特征可解 释性较差，无法直接应用于临床；基于影像组学的方法可以提取到基于图像本身的形状、纹理 等特征，但通常需要专家手工标注感兴趣区域，不但费时费力且容易引入人为误差。


技术实现要素：

13.本发明的目的在于克服上述背景技术存在缺陷，提供一种基于大脑t1-w磁共振影像的高维 特征自动提取方法，能够避免单一方法提取特征所存在的缺点。
14.为实现上述目的，本发明的技术方案是：一种基于大脑t1-w磁共振影像的高维特征自动提 取方法，包括如下步骤：
15.s1、对t1-w磁共振图像进行预处理；
16.s2、将预处理后的t1-w磁共振图像输入到基于注意力的3d resnet网络，进行定性分析保 存最佳模型；
17.s3、将最佳模型输入grad-cam网络，定位相关感兴趣区域；
18.s4、针对t1-w图像的感兴趣区域提取组学特征。
19.在本发明一实施例中，步骤s1中，图像进行预处理的步骤包括：格式转换、偏置场校正、 颅骨剥离、归一化，其中，格式转换即将dicom格式图像转换为nifti格式图像，偏置场校 正即通过采用ants包通过从格式转换后的图像中提取偏置场来校正偏置场，颅骨剥离即采用 fsl软件进行颅骨剥离，归一化的目的在于降低相同组织的亮度值差异，消除误差。
20.在本发明一实施例中，步骤s2中，基于注意力的3dresnet网络，其网络框架包括两个卷 积层、五个基本的resnet块和一个全连接层，每个resnet块由三个residual unit单元组成， 每个卷积层之后是批处理归一化和非线性激活函数relu，在输出层使用基于交叉熵损失的 softmax分类器，注意模块嵌入在resnet块结构中，通过一个具有3
×3×
3大小的滤波器的卷 积层实现；基于注意力的3d resnet网络训练得到的三维特征maskmi独立于特征通道并且与 空间位置相关，它表示每个三维体素i的重要性，每个三维体素的特征图f
i,c
由其三维特征 maskmi来定义，加权特征h
i,c
定义为：
21.h
i,c
＝mi*f
i,c
22.其中，c∈{1,...,c}是通道数，体素(x,y,z)的空间位置由 i(i∈{1,...,h
×w×
d},x∈{1,...,h},y∈{1,...,w},z∈{1,...,d})定义，h、w、d是体素空间维度的 大小。
23.在本发明一实施例中，所述步骤s3具体实现如下：
24.首先计算c类别的模型得分对于一卷积层的梯度，同时在对于这个过程得到的梯度信息， 在每个通道维度上对各像素值取平均，得到神经元重要性权重，如下式所示：
[0025][0026]
其中z代表特征图的像素个数，a
ij
表示第k个特征图的i，j位置的像素值；
[0027]
利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权，如下式所示：
[0028][0029]
在本发明一实施例中，步骤s4中，使用pyradiomics工具箱来进行图像特征提取。
[0030]
相较于现有技术，本发明具有以下有益效果：
[0031]
1、本发明提出了一种自动提取大脑t1-w影像特征的方法，避免了人工的参与，既节约了 人工成本，也避免了人为误差。
[0032]
2、本发明采用了基于注意力的3d resnet分类器 grad-cam的方案，定位显著的脑区。 由于特征图的梯度求导过程是可追溯的，本专利具有可解释性。
[0033]
3、本发明识别到的脑区及其高维特征是具有可读性的，可以为临床鉴别提供诊断依据。
附图说明
[0034]
图1为本发明方法流程图。
[0035]
图2为本发明基于注意力的3d resnet网络框架。
具体实施方式
[0036]
下面结合附图，对本发明的技术方案进行具体说明。
[0037]
本发明一种基于大脑t1-w磁共振影像的高维特征自动提取方法，包括如下步骤：
[0038]
s1、对t1-w磁共振图像进行预处理；
[0039]
s2、将预处理后的t1-w磁共振图像输入到基于注意力的3d resnet网络，进行定性分析保 存最佳模型；
[0040]
s3、将最佳模型输入grad-cam网络，定位相关感兴趣区域；
[0041]
s4、针对t1-w图像的感兴趣区域提取组学特征。
[0042]
以下为本发明具体实现过程。
[0043]
本发明一种基于大脑t1-w磁共振影像的高维特征自动提取方法，即一种基于深度学习和基 于影像组学相结合的方法，能够避免单一方法提取特征所存在的缺点。下面结合附图对本提案 的实施过程作进一步的说明。如图1，是本提案方法的流程图，包括以下4个步骤：
[0044]
1)对t1-w磁共振图像进行预处理；
[0045]
2)将预处理后的图像输入到基于注意力的3d resnet网络，进行定性分析保存最佳模型；
[0046]
3)将最佳模型输入grad-cam网络，定位相关感兴趣区域；
[0047]
4)针对t1-w图像的感兴趣区域提取组学特征。
[0048]
步骤s1，图像预处理。图像预处理步骤包括：格式转换、偏置场校正、颅骨剥离、归一化。
[0049]
dicom是一种统一的兼容各种ct,mri,pet等医学影像的图像存储方式，其中包括了各种 医院、设备、患者的信息，需要将其格式转换为nifti格式的图像。标准nifti图像的扩展名是.nii， 包含了头文件及图像资料。
[0050]
由于磁场的变化，磁共振扫描通常显示强度不均匀这是一种低频平滑的不良信号，会破坏 mr图像，表现为mr图像在同一组织内的亮度差异。由于磁场变化导致图像的一部分在可视 化时可能会显得更亮或更暗。这些变化的映射称为偏置场。偏置场可能会导致分类器出现问题， 因为信号强度的变化不是由于任何解剖差异造成的。如果未校正偏置字段将导致所有成像处理 算法输出不正确的结果。因此需要预处理步骤来校正偏置场的影响。采用ants包通过从图像 中提取偏置场来校正偏置场。
[0051]
由于骨骼组织与人体内部其他组织的差异较大，计算所得的ct值也与其他组织差异较大， 表现在影像上就是灰度值与其他组织差异较大。在各种图像的处理中，颅骨的存在可能会对大 脑组织的识别产生一定影响，而且颅骨的存在会增加各种图像处理的运算量。因此，对mri图 像中颅骨剥离能够有助于提高各种图像识别准确度，减少计算量。采用fsl软件进行颅骨剥离。
[0052]
归一化可以降低相同组织的亮度值差异，消除误差。i_max和i_min分别表示图像强度的 最大值和最小值，那么归一化后的图像强度表示为：
[0053][0054]
步骤s2，基于注意力的3d resnet网络定性分析。将经过预处理的t1-w图像采用基
于注 意力的3d resnet分类网络进行定性分析，网络框架如图2所示。
[0055]
基于注意力的3d resnet网络，它由两个卷积层，五个基本的resnet块和一个全连接层组 成。每个resnet块由三个residual unit单元组成。每个卷积层之后是批处理归一化和非线性激 活函数relu。在输出层使用基于交叉熵损失的softmax分类器。注意模块嵌入在resnet网络 中结构中，通过一个具有3
×3×
3大小的滤波器的卷积层实现。注意力模块可以捕捉端到端训 练过程中各种体素的定性分析的意义。网络训练得到的特征maskmi独立于特征通道并且与空 间位置相关，它表示了每个体素i的重要性。每个三维体素的特征图f
i,c
由其三维特征maskmi来 定义。加权特征h
i,c
定义为：
[0056]hi,c
＝mi*f
i,c
[0057]
其中，c∈{1,...,c}是通道数，体素(x,y,z)的空间位置由 i(i∈{1,...,h
×w×
d},x∈{1,...,h},y∈{1,...,w},z∈{1,...,d})定义，h、w、d是体素空间维度的 大小。。注意力模块还可以在反向传播过程中充当梯度更新过滤器。因此，注意力模块的引入可 以使网络更健壮。
[0058]
步骤s3，grad-cam感兴趣区域定位。grad-cam的思想是选择softmax值最大的节点(对 应置信度最高的类别)反向传播，对最后一层卷基层求梯度，每张特征图的梯度的均值作为该 张特征图的权重。
[0059]
首先计算c类别的模型得分对于某个卷积层的梯度，同时在对于上述过程得到的梯度信息， 在每个通道维度上对各像素值取平均(类似globalaverage pooling)，得到神经元重要性权重， 如下式所示：
[0060][0061]
其中z代表特征图的像素个数，a
ij
表示第k个特征图的i，j位置的像素值；
[0062]
利用上述得到的神经元重要性权重对选定的卷积层的特征进行加权，如下式所示：
[0063][0064]
步骤s4，提取组学特征。使用pyradiomics工具箱来进行图像特征提取。使用pyradiomics 包可以提取到的特征包括一阶特征(中值、平均值等)、形状特征、纹理特征和小波特征等。由 于t1-w图像可以显示明显的结构变化，因此在大脑的纹理、形状方面可能存在异常，这些特征 可以给临床提供诊断依据。
[0065]
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出 本发明技术方案的范围时，均属于本发明的保护范围。