一种头部三维MRI超分辨率重建方法与流程

一种头部三维mri超分辨率重建方法
技术领域
1.本发明涉及医学图像处理技术领域，具体是一种头部三维mri超分辨率重建方法。


背景技术：

2.在磁共振成像（mri）过程中，由于图像采集传感器的限制，图像的信噪比和空间分辨率会受到影响。另一方面，由于图像数据存储空间的限制，在图像采集时通过略去一些与诊断信息关联不大的影像数据以减轻医院的存储压力。例如，在鼻咽癌的mri诊断中，医生常从冠状面、矢状面和横断面三个视图中获取临床影像信息。为了节省存储空间，这类图像数据其片内分辨率较高以满足医生诊断需求，图像层间距较大以节约存储空间，层间距通常是3-10mm。在只使用一个轴向的数据进行图像处理任务中，对于现在的医学图像机器视觉任务，在经常使用的3d卷积操作中，由于图像层间距的影响，导致每一个卷积核覆盖的真实空间并不是正方体，而是一个有一个边很长的长方体，卷积核在不同轴向上提取的图像的空间分辨率不同，导致模型性能的下降。在使用三个轴向的数据进行图像处理任务时，如果不能将三个方位平面的图像信息进行有效整合，会对后续的图像处理任务造成影响，例如影响图像分割和疾病的分类问题的实验精度。有必要设计一种三维医学影像超分辨率重建方法，提高三维医学图像的分析精度。


技术实现要素：

3.本发明的目的克服现有技术的不足，提供一种头部三维mri超分辨率重建方法，该方法模型规模小，图像重建速度快，重建图像质量高。
4.实现本发明目的的技术方案是：一种头部三维mri超分辨率重建方法，具体包括如下步骤：1）选取头部高分辨率的mri图像数据，将该数据进行处理，去除黑色背景区域数据，并作为步骤2）的数据范围；2）对步骤1）选取的mri数据进行预处理，在该数据上滑动选取正方体数据块，得到的正方体数据块分解为六个表面图像和表面数据覆盖的内部3d数据块，得到的数据作为步骤3）的模型训练数据；3）建立基于卷积神经网络和transformer编码器的三维mri超分辨率重建模型，步骤2）描述的数据块作为网络训练数据，得到三维mri超分辨率重建模型；4）选取三个轴向的mri数据，对三个轴向数据进行配准，将三个方向平面数据进行交叉，得到空腔数据块，将空腔数据块分解得到6个平面；5）将步骤4）得到的数据，输入到步骤3）建立的模型中，得到输出数据；6）将步骤5）所得到的输出数据进行重新整合，根据步骤4）中空腔数据块选取位置，重建整个数据空间。
5.所述的步骤1），具体是选取的数据为层间隔为零的高分辨率mri数据，数据为dicom格式图像，其每个像素真实空间大小为1mm
×
1mm
×
1mm；去除黑色背景区域数据具体
操作首先将dicom数据转换成位图数据，将像素取值范围转换到0-1之内，然后选取阈值为0.1，将背景区域噪声像素信息去除。
6.所述的步骤2），具体是在高分辨率数据上滑动取数据块，滑动的步进应该为（目标mri图像层间距/目标mri图像像素真实大小-1）；对于六个表面图像和表面数据覆盖的内部3d数据块，其中六个表面图像作为步骤3）模型训练的输入数据，表面数据覆盖的内部正方体数据块作为步骤3）模型训练的目标输出。
7.所述的步骤3），基于卷积神经网络和transformer编码器的三维mri超分辨率重建模型，是由线性变换层、cnn层、dnn层和transformer编码器层四部分共同构成，模型数据并行输入到线性变换变换层和cnn层，数据经过线性变换层处理后输入到transformer编码器层中；经过transformer编码器层和cnn层处理后由dnn层进行整合，输出最终结果；其中cnn层由卷积、池化、激活以及残差连接结构组成；transformer编码器层由多个transformer编码器串联构成，每个编码器由两个子层连接结构组成，第一个子层连接结构包括一个多头自注意力子层、标准化化层和一个残差连接，第二个子层连接结构包括一个前馈全连接子层、标准化层和一个残差连接；线性变换层的作用是将多维数据转化为一维，cnn层作用是图像轮廓和部分纹理信息提取、transformer编码器作用是纹理信息提取，dnn层作用是信息整合；在构建好模型后，将步骤2）的数据输入模型中训练，得到mri超分辨率重建模型，训练过程中，将由模型得到的3d数据块，与真实数据块做比较，使用绝对误差和梯度误差作为他们之间损失值的损失函数，损失值通过反向传播算法不断地迭代优化模型中的参数。
8.所述的步骤4），具体是横断面、冠状面和矢状面图像在成像过程中记录每张图像的空间位置关系，将所有三个轴向的mri切片图像建立空间面方程，通过求解得到任意两个相邻横断面、任意两个相邻冠状面和任意两个相邻矢状面，相交产生的空腔正方体，通过得到的空腔正方体得到步骤3）所需要输入的数据格式。
9.所述的步骤6），具体是步骤5）得到的数据块与步骤4）得到的空腔数据进行组合，完成步骤4）空腔填充，然后将组合的数据重新还原到步骤4）产生空腔的位置。
10.有益效果：本发明提供的一种头部三维mri超分辨率重建方法，该方法模型规模小，图像重建速度快，重建图像质量高，为医学图像处理提供更精密数据。
附图说明
11.图1为头部三维mri超分辨率重建技术线路图；图2为冠状面、矢状面和横断面图像相交示意图；图3为重建区域示意图；图4为三维mri超分辨率重建神经网络的示意图。
具体实施方式
12.下面结合附图和实施例对本发明进一步阐述，但不是对本发明的限定。
13.如图1所示，头部三维mri超分辨率重建技术线路图，主要包括如下步骤：1）三个轴向mri图像扫描使用磁共振设备采集实头部冠状面、矢状面和横断面三个方向平面的mri图像数据。
14.2）三个轴向mri图像配准磁共振设备在成像过程中会记录每张图像的空间位置关系，将所有三个轴向的mri切片图像建立空间面方程，通过求解即可得如图2所示的到任意两个相邻横断面、任意两个相邻冠状面和任意两个相邻矢状面，相交产生的空腔正方体。
15.3）特征提取如图3所示，将得到的任意两个相邻横断面，任意两个相邻冠状面，任意两个相邻矢状面，相交产生的空腔正方体拆解开，得到6个小的平面图像，作为基于卷积神经网络和transformer编码器的三维mri超分辨率重建模型的数据输入。
16.4）基于卷积神经网络和transformer编码器的三维mri超分辨率重建模型如图4所示，为三维mri超分辨率重建神经网络的示意图。模型主要由cnn卷积模块、线性变换模块、transformer编码器模块和dnn深度神经网络模块构成，数据输入到模型中分为并行的两个部分，cnn模块和线性变换模块，线性变换模块部分的数据再输入transformer编码器模块，最后将两部分的结果输入到dnn中进行特征融合，输出目标结果。
17.在cnn模块中，由于输入图像的尺寸大小为5
×
5、7
×
7、9
×
9或11
×
11这类小尺寸的图像，因此在卷积过程中选取大小为3
×
3的卷积核，既可以提取临近像素间关联信息，又可以兼顾输入图像尺寸。
18.最初提出的transformer模型由6个编码器和6个解码器构成，在处理图像任务中通常只使用到编码器。由于transformer编码器对输入要求为向量，对于输入数据，首先使用线性变换模块将6个面的数据转换为6个一维序列，然后输入到transformer编码器中。经过实验本模型的使用8个串联的transformer编码器。编码器由一个多头注意力层和一个前馈层组成，在多头注意力机制中，模型将关注于不同像素区间的相关性，将覆盖空腔的六个面中的纹理进行提取和迁移。
19.由于在使用transformer编码器过程中，将一个二维图片转化为所有像素的一维序列，在模型中将会丢失一部分的图像空间信息，所以本模型将卷积和transformer编码器并连起来，可以集中两者的优势。在整个模型中cnn提供了主要的图像轮廓生成，transformer部分负责部分高频纹理信息的提取、迁移和回归过程。模型加入transformer编码器部分，相较于单独的cnn结构网络，对于非连续图像片段纹理特征提取能力更强。
20.模型使用绝对误差和梯度误差作为训练的损失函数，使用adam作为模型的优化器。在模型的训练过程中，使用了迁移学习的方法。实验首先训练只有一层transformer编码器的模型，然后使用已有模型参数，训练增加到2层transformer编码器层的模型，以此类推不断增加transformer编码器层的深度，最终训练出一个transformer编码器层深度为8的模型。该训练策略相较于一次性训练8层transformer编码器的模型，训练收敛速度更快。
21.5）图像三维重建基于卷积神经网络和transformer编码器的三维mri超分辨率重建模型输出的3d数据块和该模型的输入数据进行组合，得到更大的数据块。该过程对原有的空腔数据内部空腔进行填充，并将数据块按照原有的数据位置进行摆放，完成整个三维超分辨率重建过程。