一种基于深度学习的MRI脊椎图像椎间盘扫描定位和椎骨标识方法与流程

一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法
技术领域
1.本发明涉及医学影像处理技术领域，尤其涉及一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法。


背景技术：

2.随着经济水平的提高和技术的发展，人们对医疗健康提出了更高的要求。核磁共振(magnet resonance image,mri)作为一种先进的影像诊断技术越来越广泛的应用到病人的检查中。使用mri对脊柱相关疾病的诊断相较于其他影像技术有明显的优势，例如更明显的组织对比度、任意方向的成像等。
3.在mri检查脊柱的过程中，有两个关键的操作，椎间盘定位和椎骨标识：
4.椎间盘定位指mri扫描定位相完成后，需要进一步根据定位图像扫描脊椎椎间盘横截面层，通常扫描的横截面层根据椎间盘中心点和椎骨分布方向确定。通常扫描一个部位需要定位多次定位调整，比较费时费力，包括对扫描中心调整和扫描角度的调整。
5.椎骨标识指扫描完成后，诊断医生在图像上确定每个椎骨的标识，例如颈椎c2到c7，胸椎t1到t12，腰椎l1到l5，通过这些标识确定疾病出现的位置并生成诊断报告。
6.现有的mri产品中，在扫描脊椎时，椎间盘定位的方式为人工手动定位。先确定椎间盘的中心点，然后根据椎骨的分布方向，以旋转定位线的方式调整扫描的方向，且还需要人工提前确定部分椎骨的标签。这个过程根据操作技师的熟练程度，一般需要花费好几分钟不等。
7.椎骨标识，也是人工标识。部分软件产品提供了工具，可以人工添加标签，部分软件则没有，需要人脑默记。
8.现有技术主要存在以下两点缺陷：
9.1、人工执行操作耗时较长，扫描一个椎间盘序列，人工定位通常要用好几分钟执行定位操作；
10.2、阅片诊断中，人工给确定椎骨标签同样非常耗时，而且人工大量反复工作，非常容易产生疲劳导致发生错误出现误诊。


技术实现要素：

11.本发明旨在提供一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法，能够减少临床工作人员的工作量且其自动扫描定位可以提高效率，并使得病人的多次检查的扫描位置具有很高重复度，以便于复查。
12.为达到上述目的，本发明是采用以下技术方案实现的：
13.一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法，包括以下步骤：
14.步骤s1：利用卷积神经网络模型对预先准备的mri脊柱图像进行语义分割；
15.步骤s2：在步骤s1语义分割所得到的图像上拟合前景像素得到多个多边形；
16.步骤s3：进行多边形筛选；
17.步骤s4：进行多边形排序并添加标签，完成椎骨标识；
18.步骤s5：进行多边形边逼近，减少顶点数，使得多边形更接近四边形；
19.步骤s6：计算并找出多边形的左下角顶点、左上角顶点、右上角顶点以及右下角顶点；
20.步骤s7：计算椎间盘扫描定位线，完成椎间盘扫描定位。
21.优选的，在步骤s1中，所述卷积神经网络模型为dunet模型，所述dunet模型的输出是一个矩阵，所述矩阵与mri脊柱图像尺寸相同，所述矩阵即为mask图像；
22.所述dunet模型包含4层encoder模块、1层空洞卷积模块和2层decoder模块，所述encoder模块包含2层3x3的卷积，encoder模块使用leaky relu函数激活并且使用batch normalization规范化；所述空洞卷积模块包括4个3x3的空洞卷积层且其空洞卷积率分别为1、2、3及5，空洞卷积模块还包括一个1x1的卷积层。
23.进一步的，在步骤s2中，拟合mask图像中的所有前景像素得到由这些前景像素所组成的多个相互独立的多边形。
24.进一步的，在步骤s3中，多边形筛选包括以下步骤：
25.步骤s301：遍历每个多边形，并通过以下方式进行筛选：首先通过多边形顶点数进行筛选，若其顶点数小于或等于2，则将其直接删除，若其顶点数大于2，则计算该多边形面积；设定最小面积阈值为s
min
，若多边形面积小于s
min
则删除，若多边形面积不小于s
min
则保留；
26.步骤302：计算步骤s301筛选后的每个多边形的中心点，同时计算多边形的中心点到最邻近多边形的中心点的距离，通过以下公式计算mask图像中多个多边形的最邻近距离平均值davg：
[0027][0028]
其中，di表示mask图像中第i个多边形中心点到最邻近多边形中心点的距离，n表示多边形个数；遍历步骤s301筛选后的多边形，如果多边形i满足di＞2
×davg
，则舍弃多边形i。
[0029]
进一步的，在步骤s4中，将步骤s3筛选后的多边形按照行业标准dicom所规定的图像参考坐标系的y轴坐标值从小到大排序，完成排序后，结合扫描部位和人工辅助可以在多边形中心点处直接添加多边形标签，将单个多边形视作单块椎骨完成椎骨标识。
[0030]
另进一步的，在步骤s5中，遍历每个排序后的多边形，计算多边形周长c，以精度p逼近多边形曲线，使得多边形接近一个四边形，其中η表示一个经验值，p＝η
×
c。
[0031]
另进一步的，在步骤s6中，包括以下步骤：
[0032]
步骤s601：根据所述图像参考坐标系，确定多边形中心点坐标(x0,y0)，多边形顶点坐标(xi，yi)，并以x0为界限将顶点划分为2个集合：小于x0划分为一个集合，在该集合中寻找左上角顶点和左下角顶点；大于x0的划分为另一个集合，在该集合中寻找右上角顶点和
右下角顶点；
[0033]
步骤s602：通过下列公式计算多边形顶点集合到中心点的距离d：
[0034][0035]
进一步的，在步骤s7中，所述计算椎间盘扫描定位线即为计算相邻两个多边形之间的中线。
[0036]
本发明具有以下有益效果：
[0037]
1、本发明所涉及的椎骨标识能有效辅助影像诊断医生阅片，生成诊断报告，减少工作量和降低工作疲劳，提高阅片效率和准确性；
[0038]
2、本发明所涉及的椎间盘扫描定位可以极大限度减少扫描操作员的操作步骤和时间，服务更多的病人，从而提高核磁共振系统的效率并增加复查的可重复性；
[0039]
3、本发明所涉及的椎间盘扫描定位还可以实现核磁共振脊柱序列的全自动扫描、全脊柱任意分段扫描这些类型的高级应用。
附图说明
[0040]
图1为本发明dunet模型示意图；
[0041]
图2为encoder模块示意图；
[0042]
图3为decoder模块示意图；
[0043]
图4为空洞卷积模块示意图；
[0044]
图5为本发明椎间盘定位示意图；
[0045]
图6为本发明所涉及模型训练过程中loss函数收敛趋势曲线图；
[0046]
图7为本发明椎间盘扫描定位及椎骨标识的实施结果图。
具体实施方式
[0047]
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。
[0048]
一种基于深度学习的mri脊椎图像椎间盘扫描定位和椎骨标识方法，包括以下步骤：
[0049]
步骤s1：利用卷积神经网络模型对预先准备的mri脊柱图像进行语义分割。
[0050]
在步骤s1中，所述卷积神经网络模型为dunet模型，所述dunet模型的输出是一个矩阵，所述矩阵与mri脊柱图像尺寸相同，所述矩阵即为mask图像。
[0051]
所述dunet模型包含4层encoder模块、1层空洞卷积模块和2层decoder模块，所述encoder模块包含2层3x3的卷积，encoder模块使用leaky relu函数激活并且使用batch normalization规范化；所述空洞卷积模块包括4个3x3的空洞卷积层且其空洞卷积率分别为1、2、3及5，空洞卷积模块还包括一个1x1的卷积层。
[0052]
首先，使用1层7x7的二维卷积对图像提取特征，降低特征图大小，增加特征图通道数，然后按照unet encoder-decoder方式继续提取图像特征。encoder见图2所示，其包含2层3x3的卷积，使用leaky relu函数激活，使用batch normalization规范化。encoder在输出前使用3x3卷积层stride为2对特征降采。
[0053]
空洞卷积模块见图4所示，包括4个3x3的空洞卷积层，空洞率分别为1、2、3、5，四层卷积分别对输入执行卷积操作。四个层的输出连接后，使用一个1x1的卷积层进行特征融合，最后与输入相加。
[0054]
decode流程中，不采用反卷积的方式恢复图像大小，而直接使用upsize_bilinear恢复图像大小，这样可以节省计算量同时不损失图像特征。该方法在tensorflow实现中为tf.image.resize_bilinear，其通过双线性插值法调整图像大小。decode相比于标准的unet模型，只用两个decoder模块和两次upsize_bilinear过程，每次upsize_bilinear扩展图像4倍大小。decoder模块内，如图3所示，首先通过与encoder模块流程对应的层进行连接，然后通过两个3x3的卷积层提取特征，用leaky relu进行激活，再用batch normalization规范化后输出。
[0055]
decoder层之后，使用一层upsize_bilinear扩展特征图2倍，使得特征图和输入图像有相同的大小。再使用1层1x1的卷积层融合特征图通道数为2，通过一个softmax分类器后，特征图中的两个通道分别表示对应位置的图像元素被划分为背景和前景的概率。最后通过一个argmax得出特征图中每个像素点概率最大的通道编号，最终得出mask。输出的mask只包含0、1值，分别表示对应位置的输入图像元素归属为背景或前景，1表示前景，0表示背景。
[0056]
步骤s2：在步骤s1语义分割所得到的图像上拟合前景像素得到多个多边形。
[0057]
在步骤s2中，拟合mask图像中的所有前景像素得到由这些前景像素所组成的多个相互独立的多边形，一个mask图像中包含n个多边形。
[0058]
步骤s3：进行多边形筛选。
[0059]
在步骤s3中，多边形筛选包括以下步骤：
[0060]
步骤s301：遍历每个多边形，并通过以下方式进行筛选：首先通过多边形顶点数进行筛选，若其顶点数小于或等于2，则将其直接删除，若其顶点数大于2，则计算该多边形面积；设定最小面积阈值为s
min
，若多边形面积小于s
min
则删除，若多边形面积不小于s
min
则保留；
[0061]
步骤302：计算步骤s301筛选后的每个多边形的中心点，同时计算多边形的中心点到最邻近多边形的中心点的距离，通过以下公式计算mask图像中多个多边形的最邻近距离平均值d
avg
：
[0062][0063]
其中，di表示mask图像中第i个多边形中心点到最邻近多边形中心点的距离，n表示多边形个数；遍历步骤s301筛选后的多边形，如果多边形i满足di＞2
×davg
，则舍弃多边形i。
[0064]
步骤s4：进行多边形排序并添加标签，完成椎骨标识。
[0065]
在步骤s4中，将步骤s3筛选后的多边形按照行业标准dicom所规定的图像参考坐标系的y轴坐标值从小到大排序，完成排序后，结合扫描部位和人工辅助可以在多边形中心点处直接添加多边形标签，将单个多边形视作单块椎骨完成椎骨标识。
[0066]
所述行业标准dicom所规定的的图像参考坐标系以病人头先进呈仰卧姿态为例，从右手到左手为x轴，从前到后为y轴，从脚到头为z轴，扫描时定位中心为坐标系中心点。
[0067]
步骤s5：进行多边形边逼近，减少顶点数，使得多边形更接近四边形。
[0068]
在步骤s5中，遍历每个排序后的多边形，计算多边形周长c，以精度p逼近多边形曲线，使得多边形接近一个四边形，其中η表示一个经验值，p＝η
×
c。
[0069]
步骤s6：计算并找出多边形的左下角顶点、左上角顶点、右上角顶点以及右下角顶点。
[0070]
在步骤s6中，包括以下步骤：
[0071]
步骤s601：根据所述图像参考坐标系，确定多边形中心点坐标(x0,y0)，多边形顶点坐标(xi，yi)，并以x0为界限将顶点划分为2个集合：小于x0划分为一个集合，在该集合中寻找左上角顶点和左下角顶点；大于x0的划分为另一个集合，在该集合中寻找右上角顶点和右下角顶点；
[0072]
步骤s602：通过下列公式计算多边形顶点集合到中心点的距离d：
[0073][0074]
步骤s7：计算椎间盘扫描定位线，完成椎间盘扫描定位。
[0075]
在步骤s7中，所述计算椎间盘扫描定位线即为计算相邻两个多边形之间的中线。如图5中左半部分所示，假设需要计算p1和p2椎骨间的椎间盘定位线，则直接转化为计算两个多边形的中线。计算顶点v3和v1的中点得v
31
，计算顶点v4和v2的中点得v
42
，连接两个中点的直线就是所求。结合到临床应用某些场景中操作员需要拖拽和旋转扫描线，所以还需要计算出直线的中心点，即椎间盘的中心点。计算完椎间盘定位线如图5右半部分所示，然后得到完整的扫描平面中心和角度。
[0076]
下面通过具体实施例所包括的各步骤来依次序进行说明：
[0077]
准备数据。收集mri脊柱图像，包括腰椎、颈椎和胸椎等，本实施中收集了780张脊柱dicom图像；使用人工智能图像标记工具标记出图像的脊柱多边行；划分训练集、验证集和测试集；对图像进行预处理，包括归一化、调整图片大小，本实施中使用大小图像；数据增广，本实施对图像进行90度、180、270度旋转。
[0078]
创建和训练卷积神经网络模型。本实施中使用tensorflow-1.14创建和训练模型；本实施的模型在gpu上训练，gpu型号英伟达1080ti,显存12g；训练batchsize等于2；初始学习率为1e-3，训练过程中采用指数下降法的方式逐渐降低学习率；训练采用softmax交叉熵作为loss函数；模型的输出是一个mask图像；训练epoch设置为2000，每训练10步，使用验证集验证，观测模型的泛化能力；训练过程中loss函数收敛趋势如图6所示，红色表示训练loss函数下降趋势，蓝色表示验证时loss下降趋势，通过观测，模型收敛较好，没有出现过拟合的现象。
[0079]
使用训练完成的神经网络模型对图像进行分割，分割结果为mask图像。
[0080]
在mask图像上拟合多边形。本实施借助第三方图像处理库，根据mask图像的前景像素得出由这些前景像素组成的相互独立的多边形，多边形以顶点的形式体现。
[0081]
对多边形筛选。筛选方式为顶点筛选、面积筛选和最邻近距离筛选。顶点筛选和面
积筛选的目的是为了排除由神经网络模型分割误差造成的邻近椎骨的、面积较小的噪声点和区域，这种误差可能是一个点、两个点或者面积较小的区域；最邻近距离筛选是为了排除远离椎骨的分割误差，同时兼容应用场景中部分图像椎骨分布不完整的情况。
[0082]
排序和标记。在已有的多边形上计算多边形中心点，然后对多边形从上到下排序。结合扫描部位和人工辅助可以在中心点处直接标记椎骨的标识。例如颈椎、腰椎和全脊柱图像可以全自动标识，胸椎需要人工辅助确定第一个或者最后一个椎骨的标识，其余自动推导。
[0083]
多边形边逼近。遍历每个多边形，计算多边形周长c，以精度p逼近多边形曲线，使得多边形接近一个四边形，其中η表示一个经验值，η取值为0.02，p＝η
×
c。多边形逼近顶点目的是为了减少顶点数目，同时让多边形最大程度接近四边形。
[0084]
在多边形顶点集合中寻找四个顶点：左上角顶点、左下角顶点、右上角顶点和右下角顶点。
[0085]
计算椎间盘定位线，即计算每两个相邻多边形的中线，根据多边形的4个顶点计算，同时计算中线的中点。最终使用三个点表示一条直线，结果以直线的形式体现。本实施的结果展示如图7。
[0086]
当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。