一种腰骶丛神经分割及三维可视化方法

1.本发明涉及医学影像三维可视化技术领域，尤其是一种腰骶丛神经分割及三维可视化方法。


背景技术：

2.随着人工智能领域的发展，人工智能方法在医学领域的应用日渐广泛。同时，计算机算法与医学的交叉渗透到了整个医学领域，利用人工智能所开发的系统也不尽其数。在临床诊断和手术的过程中，医疗安全是非常重要的，只有结合临床应用的开发才是有价值的人工智能产品。就目前脊柱相关的手术大多采用卧位姿势进行。为手术提供方便的同时也增加了手术的难度。对于椎管狭窄的患者，医生通常行椎管减压内固定手术来减少神经压迫，从而减轻患者症状。对于椎体压缩骨折的患者，医生通常行经皮穿刺椎体成形术，来增强椎体的硬度，防止二次骨折，对于严重的患者，医生还会通过施加内固定螺钉的方式加以改善骨折椎体。以上手术都会存在一个共同的特点，其手术过程也是通过后路入进行手术，该手术方式会很大程度上触及到椎管内的神经，严重的情况下会导致患者下肢瘫痪、大小便失禁等问题，不仅给患者带来难以接受的事实，也会产生医疗纠纷。因此如何利用一种可视化技术，能够使医生在术前对神经与其他组织的相对位置有足够明确的了解显得尤为重要，尤其是对于一些罕见病例的提前规划能够大大提高医生的手术效率以及降低手术失败的风险。对于现在大多数脊柱外科医生，针对此类患者利用已有经验的基础上结合单方面的x光片、ct、mri确定病变的位置从而进行手术，该类平面成像方式难以完整的展示它们之间的相对位置。即使术中也仅仅是采用c臂机进行术中透视的方式加以呈现，但这种透视方式不仅不能呈现神经等相关软组织，而且多次的透视会使医生和患者的辐射量大大增加。除此之外，单凭经验进行手术难免会存在一定的偶然性，大大增加了手术的风险。随着深度学习在医学领域的应用成为医学图像分割的关键工具。近年来，人们对使用mr图像进行脊柱分割的兴趣重新燃起。许多研究都集中在椎体的定位、识别和分割上。然而，只有几项研究集中在腰骶丛神经分割上。腰骶丛神经分割是寻找腰骶丛神经疾病异常结构和可能致病因素的关键步骤。然而，从mr图像中分割腰骶丛仍然是一项具有挑战性的任务。通常在腰骶丛周围具有低对比度,其次，腰骶神经丛结构极其复杂，不同的患者有不同的神经形态。此外，从mr图像手动标记腰骶丛不仅耗时，而且即使对于外科医生来说也容易出错。因此，在临床上的脊柱手术中急需要一种能够进行术前三维可视化的方法去减少手术风险，从而提高手术成功的机率。


技术实现要素：

3.本发明所要解决的技术问题在于，提供一种腰骶丛神经分割及三维可视化方法，能够直观的显示神经的三维解剖结构在脊柱中的相对位置，而且还能辅助临床疾病诊断。
4.为解决上述技术问题，本发明提供一种腰骶丛神经分割及三维可视化方法，包括如下步骤：
5.(1)数据处理；采集病人的mri影像学数据并以dicom格式存储，将得到的数据转换成灰度图像，并存储为.png格式，并对图像进行归一化处理；
6.(2)采用深度神经网络对步骤(1)得到的归一化图像做分割处理；
7.(3)三维重建；将分割好的二维平面图像的进行堆叠，并给定原始的体素空间，利用vtk包采用移动立方体算法进行三维重建，利用等值面构造，向用户显示重建物体的内部细节。
8.优选的，步骤(2)中，深度神经网络包括编码器、解码器、空域卷积编码模块、残差跳跃链接模块和尺度注意力模块；预处理后的神经影像首先进入编码器，编码器中包含四个大小不同的空域卷积编码模块，输入图像得到不同尺度的特征图，随后最后一层的特征图进入解码器，编码器中不同尺度的特征图分别与解码器中对应尺度的特征图进行融合，最终不同尺度的解码器经过双线性插值处理得到与输入影像维度相同的特征图，并将它们级联后的特征图经过尺度注意力模块和残差跳跃链接模块处理，得到最终的分割图像。
9.优选的，步骤(2)中，每个多孔编码器模块首先经过一个核大小为3
×
3的卷积层获得特征图，特征图使用不同的卷积率和卷积核来计算感受野，感受野被定义如下：
[0010][0011]
其中，rn表示当前层的感受野，r
n-1
表示感受野的上层，si表示第i次卷积的步长，k表示卷积核的大小；
[0012]
空域卷积函数f(x)有4个不同卷积率和卷积核的级联分支，包括1到1、3、5的卷积率，卷积核包括3
×
3和1
×
1两种；
[0013]
[r3:r7:r9:r
19
]＝f(x)
[0014]
其中[:]代表级联；
[0015]
然后，每个分支的感受野将设置为3、7、9、19，并获得级联特征图[r3:r7:r9:r
19
]，级联特征图应用1
×
1卷积和线性激活函数；最后，将输入特征图与之前的特征图相加，得到一个新的分辨率级别特征图，再经过一个核大小为3
×
3卷积层和一个核大小为2
×
2池化层得到最终的输出。通过在四个不同分辨率级别引入多个不同卷积率的卷积层，能够很好的扩大特征图的感受野，每个分辨率级别特征图的参数也大大减少，并在腰骶丛神经mri图像中学习了更多语义信息。
[0016]
优选的，步骤(2)中，残差跳跃链接模块中，将不同维度的特征映射到一个具有3
×
3个内核的卷积层、一个批量归一化层和一个relu作为激活层；同时，不同维度的特征映射也变成了一个有3个3核的卷积层和一个层；将特征图h(x)和原特征图x通过短接的方式相加，形成一个新的特征图，放入relu激活函数中，得到新的特征图β：
[0017]
β＝relu(h(x) e(x))
[0018]
其中relu()表示激活函数；
[0019]
此外，还在短接中添加了1
×
1卷积层，可以提供一些额外的空间特征e(x)。
[0020]
优选的，步骤(2)中，尺度注意力模块中，使用双线性插值法将解码器获得的不同尺度的特征图重新采样到预测图像大小，将三个不同尺度的特征图级联起来作为输入级联后的代表一个输入大小为c
×h×
w的特征图，其中c代表输入通道，h和w分别代表特征图
的高度和宽度，输入分别通过全局平均池化gap层和全局最大池化gmp层，目的是为了简化特征图参数并获得每个通道的权重信息，输出分别表示为p
gap
(x)∈r1×1×c和p
gmp
(x)∈r1×1×c，多层感知mlp由两个全连接层实现，以获得尺度注意力系数并在x1和x2之间共享。尺度注意力系数α∈[0,1]为：
[0021]
α＝sigmoid(x1 x2)
[0022]
在尺度注意力模块中，额外使用空间注意力块来获取空间信息，它由一个3
×
3卷积层和一个1
×
1卷积层组成，然后应用dropout层来增强泛化能力，将输出的特征图与α相乘经过sigmoid函数得到新的特征图，该特征图与空间注意力模块中的原始特征图做相加运算得到输出特征图γ，最后特征图γ与原始输入特征图相加，最终得到多尺度注意力块输出为：
[0023][0024]
经过尺度注意力的特征图最后通过一个核大小为1
×
1的一维卷积和sigmoid函数，得到最终与输入图像具有相同形状的输出分割图像。
[0025]
优选的，步骤(3)中，将分割好的二维平面图像的进行堆叠，并给定原始的体素空间，利用vtk包采用移动立方体算法进行三维重建，利用等值面构造，向用户显示重建物体的内部细节具体为：首先通过分层读入的方式读取该病号的所有影像学序列数据，扫描两层数据，逐个构造体素，体素中的8个角点取自两张切片上下对应的四个像素点，这两张切片构成一个立方体，等值面的定义如下：
[0026]fi,j,k
＝f
i,j,k
(xi,yj,zk)
[0027]
{(x,y,z)|f(x,y,z)＝n}
[0028]
其中，f为每个像素的值，xi,yj,zk为像素点的坐标，满足上述公式点的集合为等值面，如果顶点的函数值f≥n，则该顶点位于等值面内我们标记为 ；如果该顶点的函数值f《n，则该顶点位于等值面之外，标记为-，然后将体素的角点函数值与等值面比较后的结果构造该体素的状态表，由得到的状态表便可以得出与等值面有交点的边界体素，然后通过线性插值的方法计算出等值面与立方体便得交点位置坐标(x,y,z)：
[0029][0030][0031][0032]
为了使用图形硬件显示等值面图像，生成等值面各三角面片的法向分量，然而等值面上的每一点，沿三角面方向的切线的梯度分量是零，那么该点的梯度向量就代表了等值面在该点的法向量，假设体素顶点为(i,j,k)因此梯度值的表示为：
[0033][0034]
[0035][0036]
其中，g
x
、gy、gz分别表示体素顶点在x，y，z方向上的梯度值；
[0037]
然后将求出的g
x
、gy、gz做归一化处理：
[0038][0039]
归一化后的结果作为体素顶点(i,j,k)的单位法向量，再根据线性差值函数就可以计算出三角面片各个顶点上的法向量，最后根据三角面片上的各个顶点坐标及法向量绘制等值面图像，并且用光照渲染器进行渲染，得到最后的表面模型实现最终图像的三维绘制。
[0040]
本发明的有益效果为：本发明的分割算法能够更加快速有效地从脊柱mri医学影像中分割出腰骶丛神经，并且分割的组织准确率更高，从而三维结构的准确率也大大增加；这种腰骶丛神经分割及三维可视化算法，能够使医生在术前对腰骶丛神经的相对位置有足够明确的了解，尤其是对于一些罕见病例的提前规划能够大大提高医生的手术效率以及降低手术失败的风险；本发明不仅能够直观的显示神经的三维解剖结构在脊柱中的相对位置，而且还能辅助临床疾病诊断。
附图说明
[0041]
图1为本发明的方法实现总体框架图。
[0042]
图2为本发明的空域卷积编码模块结构示意图。
[0043]
图3为本发明的残差跳跃连接结构示意图。
[0044]
图4为本发明的尺度注意力模块结构示意图。
[0045]
图5为本发明的三维重建结果示意图。
具体实施方式
[0046]
一种腰骶丛神经分割及三维可视化方法，包括如下步骤：
[0047]
(1)数据处理；采集病人的mri影像学数据并以dicom格式存储，将得到的数据转换成灰度图像，并存储为.png格式，并对图像进行归一化处理；
[0048]
(2)采用深度神经网络对步骤(1)得到的归一化图像做分割处理；
[0049]
(3)三维重建；将分割好的二维平面图像的进行堆叠，并给定原始的体素空间，利用vtk包采用移动立方体算法进行三维重建，利用等值面构造，向用户显示重建物体的内部细节。
[0050]
在数据处理部分中，首先采集病人的mri影像学数据并以dicom格式存储，将得到的数据转换成灰度图像，并存储为.png格式，并对图像进行归一化处理，以便在后续过程中使用。在分割部分中，分割方法我们采用目前人工智能领域流行的深度神经网络，在该神经网络中，我们以u-net经典生物医学图像分割网络为基本框架，并联合空域卷积编码模块，残差跳跃链接模块及尺度注意力模块完成腰骶丛神经分割。u型结构分割网络是一个编码是一个编码解码网络，能够对原始图像进行特征提取，并且恢复到原始图像大小。空域卷积对于图像处理领域的大范围语义分割是必不可少的，并且在特征提取方面取得了有效的改
进。因此在该算法中我们将空域卷积引入到编码器中。然而，腰骶神经丛分割之间的连续池化，不同的特征级别可能会丢失大量分割信息。此外，对于腰骶丛神经mr图像，神经只占图像的很小一部分。为了克服这个限制，我们在特征编码器中使用不同卷积率的空洞卷积来扩展特征图在四个不同分辨率级别的感受野，如图1所示。每个多孔编码器模块首先经过一个核大小为3
×
3的卷积层获得特征图x。特征图使用不同的卷积率和卷积核来计算感受野。具体来说，感受野被定义如下：
[0051][0052]
其中，rn表示当前层的感受野，r
n-1
表示感受野的上层，si表示第i次卷积的步长，k表示卷积核的大小。
[0053]
空域卷积函数f(x)有4个不同卷积率和卷积核的级联分支，包括1到1、3、5的卷积率，卷积核包括3
×
3和1
×
1两种。
[0054]
[r3:r7:r9:r
19
]＝f(x)
[0055]
其中[:]代表级联。
[0056]
然后，每个分支的感受野将设置为3,7,9,19，并获得级联特征图[r3:r7:r9:r
19
]，级联特征图应用1
×
1卷积和线性激活函数。最后，我们将输入特征图与之前的特征图相加，得到一个新的分辨率级别特征图，再经过一个核大小为3
×
3卷积层和一个核大小为2
×
2池化层得到最终的输出。通过在四个不同分辨率级别引入多个不同卷积率的卷积层，能够很好的扩大特征图的感受野，每个分辨率级别特征图的参数也大大减少，并在腰骶丛神经mri图像中学习了更多语义信息。
[0057]
残差网络在一定程度上能够解决网络退化问题，也能一定程度上缓解梯度弥散问题，在残差网络中使用的跳层连接，达到增加特征多样性、加快训练的目的。残差跳过连接可以将相应尺度上的特征信息引入到上采样或反卷积中，以提高分割的准确性。因此，在我们的方法中，我们在编码器和解码器之间引入了残差跳过连接操作，以整合编码器中池化操作丢失的空间特征和解码器中的高级特征图。残差跳过连接，除此之外，还可以从原始图像中恢复详细信息，可以为图像分割提供多尺度、多层次的信息。残差跳跃连接的架构如图2所示。将不同维度的特征映射到一个具有3
×
3个内核的卷积层、一个批量归一化层和一个relu作为激活层。同时，不同维度的特征映射也变成了一个有3个3核的卷积层和一个层。将特征图h(x)和原特征图x通过短接的方式相加，形成一个新的特征图，放入relu激活函数中，得到新的特征图β：
[0058]
β＝relu(h(x) e(x))
[0059]
此外，他们还在短接中添加了1
×
1卷积层，e(x)可以提供一些额外的空间特征。
[0060]
为了达到最好的分割效果，在计算机视觉模型中，通常引入尺度注意力模型。在我们的方法中，我们引入了尺度注意力模块去更好地处理腰骶丛神经以获得不同尺度的分割结果。我们提出的多尺度注意力块如图3所示。我们首先使用双线性插值法将解码器获得的不同尺度的特征图重新采样到预测图像大小。我们首先将三个不同尺度的特征图级联起来作为输入级联后的代表一个输入大小为c
×h×
w的特征图，其中c代表输入通道，h和w分别代表特征图的高度和宽度。输入分别通过全局平均池化(gap)层和全局最大池化(gmp)
层。目的是为了简化特征图参数并获得每个通道的权重信息，输出分别表示为p
gap
(x)∈r1×1×
*
和p
gmp
(x)∈r1×1×c。多层感知(mlp)由两个全连接层实现，以获得尺度注意力系数并在x1和x2之间共享。尺度注意力系数α∈[0,1]为：
[0061]
α＝sigmoid(x1 x2)
[0062]
在尺度注意力块中，我们额外使用空间注意力块来获取空间信息。它由一个3
×
3卷积层和一个1
×
1卷积层组成，然后应用dropout层来增强泛化能力。将输出的特征图与α相乘经过sigmoid函数得到新的特征图。该特征图与空间注意力模块中的原始特征图做相加运算得到输出特征图γ，最后特征图γ与原始输入特征图相加，最终得到多尺度注意力块输出为：
[0063][0064]
经过尺度注意力的特征图最后通过一个核大小为1
×
1的一维卷积和sigmoid函数，得到最终与输入图像具有相同形状的输出分割图像。
[0065]
三维技术能够给人以视觉上的冲击感，能够使人更加直观的感受客观的物体，该系统中将分割好的二维平面图像的进行堆叠，并给定原始的体素空间，利用vtk包采用移动立方体算法进行三维重建，该方法利用等值面构造，可以像用户显示重建物体的内部细节，从而使医生能够更加直观的观察病人的神经情况。该算法的基本思想是处理数据场中的每一个体素，将等值面相交的体元素进行分类后再利用线性差值的方法计算与等值面的交点和法向量，最后利用相关的图形软件进行等值面的绘制。我们首先通过分层读入的方式读取该病号的所有影像学序列数据，扫描两层数据，逐个构造体素，体素中的8个角点取自两张切片上下对应的四个像素点。这两张切片构成一个立方体，等值面的定义如下：
[0066]fi,j,k
＝f
i,j,k
(xi,yj,zk)
[0067]
{(x,y,z)|f(x,y,z)＝n}
[0068]
其中，f为每个像素的值,xi,yj,zk为像素点的坐标，满足上述公式点的集合为等值面，如果顶点的函数值f≥n，则该顶点位于等值面内我们标记为 ；如果该顶点的函数值f《n，则该顶点位于等值面之外，标记为-，然后将体素的角点函数值与等值面比较后的结果构造该体素的状态表。由得到的状态表便可以得出与等值面有交点的边界体素，然后通过线性插值的方法计算出等值面与立方体便得交点位置坐标(x,y,z)：
[0069][0070][0071][0072]
为了使用图形硬件显示我们的等值面图像，我们必须生成等值面各三角面片的法向分量，然而等值面上的每一点，沿三角面方向的切线的梯度分量是零，那么该点的梯度向量就代表了等值面在该点的法向量，假设体素顶点为(i,j,k)因此梯度值的表示为：
[0073]
[0074][0075][0076]
其中，g
x
、gy、gz分别表示体素顶点在x，y，z方向上的梯度值；
[0077]
然后将求出的g
x
、gy、gz做归一化处理：
[0078][0079]
归一化后的结果作为体素顶点(i,j,k)的单位法向量。再根据线性差值函数就可以计算出三角面片各个顶点上的法向量。最后根据三角面片上的各个顶点坐标及法向量绘制等值面图像，并且用光照渲染器进行渲染，得到最后的表面模型实现最终图像的三维绘制，如图5所示。进而方便医生进行术前判断以及让病人更好的了解自己的病灶部位。