基于腹部CT图像和深度学习的身体成分自动测量系统

基于腹部ct图像和深度学习的身体成分自动测量系统
技术领域
1.本发明属于医疗诊断设备技术领域，具体涉及基于腹部ct图像的身体成分自动测量系统。


背景技术：

2.身体成分分析，就是量化肌肉和脂肪组织。其测量通常基于生物参数或医学影像两类方法。尤其，测量通过第三腰椎(the third lumbar vertebra，l3)中心的轴向ct切片上的骨骼肌质量，证明是最精确的[1]。在l3(或l4)轴向ct切片中测量骨骼肌主要根据ct图像的hu值分割肌肉和脂肪，有两种方式：一种方法分割所有肌肉和脂肪，如肌肉、皮下和肌间脂肪、腹内脂肪的hu值区间分别为[-29,150]，[-190,-30]和[-150,-50][2]。另一种方法只测量腰肌[3]。这两种方法的缺陷在于：这类方法很难区分处于某些特殊病理情况下的组织，造成分割结果不精确；无论所有骨骼肌作为整体分析，还是只分析腰肌，都没没有充分利用ct影像；更重要的是，仅使用l3或l4单一轴向ct切片上的骨骼肌，样本数量少，无法准确描述肌肉质量。
[0003]
(1)传统分割方法
[0004]
医学图像分割是决定医学图像在临床诊疗中能否提供可靠依据的关键因素。目前，几种半自动骨骼肌面积测量软件，如imagej，coreslicer，slice-o-matic，3d slicer，horos，osirix、mimics和fatseg，广泛用于图像分割[4][5]。
[0005]
除了软件分割，基于机器学习的方法也广泛用于肌肉分割。比如，研究者使用形状先验建模方法分割l3对应切片中的肌肉或者使用新的有限元变形模型分割肌肉[6]。然而，利用传统方法分割l3轴状位ct切片上的不同类型骨骼肌具有挑战性，因为：1)不同类型骨骼肌的形状和大小差异较大，优化时存在类不平衡问题，如图3四种骨骼肌标签所示；2)不同骨骼肌之间，骨骼肌与周围组织之间的界限不明确，具有粗糙的边缘，现有软件分割方法无法主动学习这些有用信息，因而精确度不高，如图3的标签2和标签3所示；3)同一类型骨骼肌在不同个体间存在形态差异，影响分割结果。
[0006]
(2)深度学习分割方法
[0007]
深度学习因可实现自动批量分割现有各种疾病数据库中病人影像中的相关器官、组织及肿瘤，故可将低肌肉数量和质量从理论研究带向临床实践。在腹部ct图像上的深度学习相关研究有：在第三或第四腰椎轴向ct图像中分割骨骼肌以用于身体成分分析[7]；从全身或部分身体ct图像中先自动定位l3中心的轴向切片，再分割骨骼肌等身体组分[8]；使用第3腰椎下终板对应的轴向ct切片进行骨骼肌分割的分析[9]。但上述这些方法均在单个切片上对整体的骨骼肌进行分割，以考虑生理病理对整体骨骼肌的影响，而没有考虑生理病理对不同种类肌肉的影响。
[0008]
现有的研究也有全自动分割出第三腰椎和第四腰椎的多个肌群，用于检测中枢性肌减少症[10]；也有研究在不同脊椎的轴向磁共振成像上对椎旁肌进行自动分割[11]；研究者也在第十二胸椎轴向位自动分割左侧棘旁肌[12]。这些方法虽然已经关注到不同种类
的肌肉群，但仍旧局限于单个切片，而没有在整体体积上分析，而且没有覆盖所有肌群。而最新出现的论文通过分割整个腹盆部骨骼肌证明，骨骼肌体积的平均差异显著低于单个ct切片相应区域的平均差异[13]。
[0009]
肝硬化患者营养不良往往会导致肌肉减少症。然而当前，诊断肌肉减少症取决于对腹部或腹盆部ct图像上通过第三腰椎(third lumbar vertebra，l3)的单一轴向切片上的骨骼肌质量和数量的度量。这种测量缺乏不同类型骨骼肌与肌少症的关联分析，并且仅使用单一轴向ct切片上的骨骼肌，样本量较小。
[0010]
据此，本发明将l3相关所有轴向ct切片上的骨骼肌划分四类，并自动计算骨骼肌数量与平均肌肉衰减；根据阈值处理，计算脂肪的数量与平均hu值，因而本系统可以将腹部ct图像的身体成分自动测量。


技术实现要素：

[0011]
本发明的目的在于提出一测量速度快、自动化程度高的基于腹部ct图像和深度学习的身体成分自动测量系统。
[0012]
本发明提出的基于腹部ct图像和深度学习的身体成分自动测量系统，可以自动获取第三腰椎对应所有层面的肌肉、脂肪等参数，包括三个模块：(i)定位模块，用于对ct图像上第三腰椎对应的所有轴向切片进行定位；(ii)分割模块，用于对ct图像上第三腰椎对应轴向切片的四类骨骼肌进行分割；(iii)自动测量模块，用于对临床ct图像的身体成分的自动测量。系统的整体架构如图1所示。其中：
[0013]
所述的定位模块，首先对患者行腹部或腹盆部ct检查，得到的ct图像包括第三腰椎以及其他脊柱椎体；由经验丰富的医生定位并提供第三腰椎位置。选取第三腰椎对应切片作为定位网络训练的正样本输入，选取剩余切片数量的二分之一作为定位网络训练的负样本输入。这里，定位网络使用预训练网络efficientnet-b2，将全连接层设置输出为2类，判读是否为第三腰椎对应切片。经过训练，得到最优定位模型，此定位模块可以自动筛选出第三腰椎对应的所有轴向切片；
[0014]
(1)所述的分割模块，从自动筛选出的第三椎体对应的所有轴向切片上提取四类骨骼肌，其中，四种类别的划分根据是骨骼肌的空间分布及肌肉纹理特征；腹部ct图像第三腰椎节段轴向切片作为训练分割网络的输入，输出是该节段区域的4类骨骼肌标签；经过训练，得到最优分割模型；这里，分割网络，采用广泛用于医学图像分割的残差结构增强的u-net(2d residual u-net)框架，借鉴其编码和解码路径设计。
[0015]
所述的自动测量模块，利用前两个模块训练得到的定位模型与分割模型，将新的腹部或腹盆部ct图像与对应的第三腰椎位置作为输入，一方面根据深度学习模型，可以计算四类骨骼肌的数量和平均肌肉衰减(即ct图像的hu值)，另一方面根据皮下脂肪、腹内脂肪的hu值区间分别为[-29,150]、[-150,-50]进行阈值处理，得到脂肪数量和平均肌肉衰减。计算每个患者第三腰椎体积，可以计算第三腰椎占比。最终，可以实现身体成分自动测量。
[0016]
下面对三个模块作进一步具体说明。
[0017]
(一)所述定位模块(i)，其内容包括：
[0018]
(1)腹部或腹盆腔ct图像包含了较大的腹腰部区域，因此，首先是要定位第三腰
椎，由医生选取第三腰椎所有轴向切片形成训练深度模型所需要的的位置标签，共计4-8层；
[0019]
(2)定位预处理：对第三腰椎位置进行标注后，选取第三腰椎对应切片作为正样本输入，标签设置为1；选取剩余切片数量的二分之一作为负样本输入，标签设置为0。并将hu值归一化到[0,1]区间；
[0020]
(3)利用如干例肝硬化患者(实施例中为216例)的ct数据训练定位网络，定位网络使用的是预训练网络efficientnet-b2，将全连接层设置输出为2类，判读是否为第三腰椎对应切片。如图2所示，筛选出第三腰椎对应的所有切片，并保存准确率最高的模型为最优模型。
[0021]
(二)所述分割模块(ii)，其内容包括：
[0022]
(1)将定位模块获取的属于第三腰椎的切片由经验丰富的医生进行四类骨骼肌的划分，实现在体积上分析多类骨骼肌：包括l3腹部前外周的腹直肌、腹外斜肌、腹内斜肌、腹横肌(见图3的label1)；l3椎体左侧和右侧的腰大肌、腰小肌、腰方肌(见图3的label2和label3)；以及l3后部的竖脊肌等椎旁肌群(见图3的label4)；
[0023]
(2)分割预处理：对每个ct数据进行归一化处理，统一尺寸到深度、高度、宽度分别为8、512、512，将hu值归一化到[0,1]区间；
[0024]
(3)构建四类骨骼肌分割网络，方法是基于广泛用于于医学图像分割的残差结构增强的u-net(2d residual u-net)框架，借鉴其编码和解码路径设计。该分割网络的输入是腹部ct图像第三腰椎节段轴向切片，输出是该节段区域的4类骨骼肌标签。其中：
[0025]
1)2d编码-解码主干网络
[0026]
这是用于轴向切片图像的分割网络。该网络一共设置四层，由具有跳跃链接的encoder支路与decoder支路组成。encoder支路的每一层由block2d构成，通过最大池化层(max pooling)进行2倍下采样，缩小特征图尺寸并传递到下一层。decoder支路的每一层先进行2倍上采样(upsample)，在与encoder支路对应层的相同尺寸特征图进行通道向加运算的跳跃连接后，进行block2d处理。在decoder支路的最后一层，特征恢复到与输入图像相同的大小，在与3d编码支路输出的特征进行通道方向的加运算后，通过1x1卷积核输出分割标签。
[0027]
2)三维编码分支结构
[0028]
这是由l3相关的多层轴向切片组成的体区域的上下文特征提取网络，如图4所示。该三维encoder分支的每一层由block3d、最大池化层和注意力增强机制构成。block3d输出的特征图通过最大池化层(max pooling)进行2倍下采样减半，所得的特征一方面传递给下一层，另一方面则通过模糊区域注意力增强机制后，上采样恢复到原始图像尺寸，通过通道向加运算与二维支路的输出特征融合。在本发明中，对于输入的l3轴向切片体三维图像i，将它按照channel
×
depth
×
height
×
width的方式直接输入网络，尺寸为1
×8×
512
×
512。在经过三次block3d和下采样后，不同尺寸的特征图通过注意力机制增强后，与二维特征进行了通道向加连接。
[0029]
3)block2d与block3d
[0030]
作为分割网络的基本结构，借鉴了2d resu-net中的残差结构，但也有所不同，即改进。首先，卷积层与instancenorm和leakyrelu级联构成基本块；随后，三组基本块通过级
联和跳跃连接分别组成具有残差结构的block2d或block3d，如图5所示。block2d的卷积核为3x3，block3d的卷积核为3
×3×
3。这两个结构块都不改变通道数，但能使模型加深，有助于更精细的边缘信息提取，对骨骼肌的细化具有更好的修正作用。尤其，三维编码分支中含有更多的可训练的空间和纹理信息，需要更多的卷积层提取空间信息，因而，block3d和block2d残差连接的位置不同，block3d卷积层多，能够充分训练提取的信息。
[0031]
4)纹理注意力增强机制
[0032]
为了将3d特征与2d特征更好的融合，本系统基于传统的标准增强块(standard enhancement block,se block)，构建了一个在三维网络上进行通道向的特征压缩，增强模糊边缘区域的三维纹理注意力增强机制(texture attention enhancementmechanism)，如图6所示。block3d提取的大小为channel
×
depth
×
height
×
width的特征图输入注意力机制。首先对它进行全局平均池化的操作，得到尺寸为c
×1×1×
1的特征图。然后经过两层全连接层，其中第一个全连接层神经元个数为c/16(类似于se block，设置比率为16)，第二个全连接层又恢复原始神经元个数c。此操作增加了非线性处理，并且可以拟合通道之间复杂的相关性。然后经过sigmoid函数生成可输入texture enhance block的概率图。所提出的texture enhance block可以增大注意力的范围，如公式(1)所示，
[0033]
textureenhance(x)＝x(1-x)
ꢀꢀ
(1)
[0034]
其中，x表示输入的概率图。此公式给概率接近0.5的边缘区域赋予更高的权重，远离0.5的区域减小权重。通过添加这一部分，网络不再只关注骨骼肌的中间部分，而且还加强了边缘的细化，特别是骨骼肌纤维束的形状。生成的信息通过将输入特征图的每个像素相乘而赋予权重。最后，通过squeeze和upsample对通道进行压缩，将特征图在高度和宽度方向恢复为512
×
512的原始大小，以便与二维网络进行融合。
[0035]
5)构建损失函数
[0036]
对于大小为h
×
w的2d腹部ct图像i，使用医学图像分割任务中，常用的多类交叉熵损失函数与dice损失函数相结合，分割得到四类骨骼肌，如公式(2)所示,
[0037][0038]
其中，c＝5，表示四类骨骼肌和背景。ωc表示第c类骨骼肌的权重，表示像素i属于第c类标签的金标准值，表示像素i预测为第c类标签的预测结果，h和w分别表示二维轴向面图像的高和宽。
[0039]
四类骨骼肌与背景的大小差异很大，这意味着存在导致分割框架不稳定地类不平衡问题。为此，在训练过程中，在损失函数中，需要对低置信度预测(如label2和label3)通过设置权重进行惩罚。具体地，首先在训练图像中，统计四类骨骼肌与背景的像素占比，再将占比小的骨骼肌设置小的权重，占比大的设置大的权重，如公式(3)所示，
[0040][0041]
其中，h，w和d表示二维图像的高、宽和深度，nc表示第c类标签的像素数统计。由此，来自ωc的先验统计保证了损失函数的类平衡优化。
[0042]
(4)利用若干例肝硬化患者(实施方式中为216例)的ct数据训练分割网络，自动分割四类骨骼肌。保存dice指数最高的模型为最优分割模型。
[0043]
(三)所述自动测量模块(ⅲ)，其内容包括：
[0044]
(1)将新的腹部或腹盆部ct图像进行定位预处理后，输入到训练得到的定位最优模型，得到第三腰椎对应的4-8切片；
[0045]
(2)得到的第三腰椎对应的4-8切片经过分割预处理后，输入到分割最优模型，得到四类骨骼肌；
[0046]
(3)同时，将得到第三腰椎对应的4-8切片进行阈值处理，得到第三腰椎的体积与腹内脂肪与皮下脂肪相应区域；
[0047]
(4)对得到的四类骨骼肌，腹内脂肪与皮下脂肪进行数量和平均肌肉衰减计算，实现身体成分的自动测量。
[0048]
本发明在临床216例肝硬化患者ct数据上训练验证，四类骨骼肌分割结果平均dice达到0.9283，平均表面距离为0.6779mm。在101例非肝硬化患者ct数据上进一步泛化验证，其平均dice为0.9277，平均表面距离为0.8279mm。本发明不但能够度量ct图像中第三腰椎对应的四类骨骼肌，利用阈值处理，也能够得到此区域的皮下脂肪与腹内脂肪等其他身体成分。本发明批量得到第三腰椎对应的身体组分，用时为2-3秒，这对于临床协助诊断肝硬化患者的并发症具有重要意义。
[0049]
本发明的优点：
[0050]
(1)本发明提出的基于腹部ct图像和深度学习的身体成分自动测量系统，能够对第三腰椎对应的四类骨骼肌及腹内脂肪与皮下脂肪进行自动测量，有助于肝硬化并发症(如肌少症)的诊断治疗。
[0051]
(2)本发明定位方法使用预训练网络，能够做到快速准确定位第三腰椎。分割方法基于先进的u-net架构，并对其增强；考虑到不同类型骨骼肌大小和纤维束走形等特征，分割方法也结合了骨骼肌边缘模糊区域增强的纹理注意力机制；提取纤维束特征的3d编码支路；降低类不平衡的损失函数。本发明系统在300多个腹部或腹盆腔ct图像上精确分割了l3相关所有轴向切片的多类骨骼肌。
[0052]
自动测量系统使用的是定位、分割网络的最优模型，相较于其他传统方法，有测量速度快，自动化程度高，不需要占用大量内存的优点。
附图说明
[0053]
图1为本发明系统整体框架图。
[0054]
图2为筛选出第三腰椎对应的所有切片示意图。
[0055]
图3为四类骨骼肌划分示意图。
[0056]
图4骨骼肌分割网络示意图。
[0057]
图5骨骼肌分割网络中的残差模块示意图。
[0058]
图6骨骼肌分割网络中的纹理特征增强模块。
[0059]
图7为四例肝硬化患者的肌肉脂肪分割结果图。
[0060]
图8为本发明系统应用流程图示。
具体实施方式
[0061]
下面结合实例和系统整体框架图进一步描述本发明。
[0062]
以从临床采集的临床原始图像为例，本发明自动测量身体组分应用流程，如图8所示。
[0063]
模块1筛选第三腰椎对应的轴向切片。首先将101例非肝硬化患者的临床ct图像集进行定位预处理，即将三维数据集保存为扩展名为“png格式”的图片，再进行随机竖直翻转与仿射变换。将所有的切片输入到216例肝硬化数据集训练得到的定位模型，得到第三腰椎切片的预测结果，如表1所示。表1中“0”表示不是第三腰椎对应的轴向切片，“1”表示第三腰椎对应的轴向切片。accuracy表示精确性。
[0064]
模块2是骨骼肌分割过程。首先将模块1定位的第三腰椎对应的切片进行分割预处理，将尺寸填充到深度、高度和宽度分别为8、512、512，将数值归一化到[0,1]区间。再将图像输入到216例肝硬化数据集训练得到的分割模型，得到四类骨骼肌的分割结果。
[0065]
表1和表2为101例非肝硬化数据在定位模型和分割模型上的实验结果。在定位模型中，以第三腰椎对应的切片作为金标准训练，表1得到的准确率越高，说明定位效果越好。在分割模型中，以四类骨骼肌作为金标准训练，分割指标dice、sensitivity、precision、specificity越高越好，assd(mm)越小越好，表2分别计算出四种骨骼肌的分割指标及其均值。这里，dice是评价图像分割精确度常用的指标，sensitivity表示敏感性，precision表示精确性，specificity表示特异性，assd表示平均表面距离。
[0066]
表1. 101例非肝硬化患者ct图像在定位网络实验统计结果
[0067][0068]
表2. 101例非肝硬化ct图像在分割网络实验统计结果
[0069][0070]
表3. 101例非肝硬化ct图像的平均身体成分
at varied lumbar spinal levels by explicit saliency-aware learning[c]//23th international conference on medical image computing and computer assisted intervention(miccai).2020.
[0084]
[12]barnard r,tan j,roller b,et al.machine learning for automatic paraspinous muscle area and attenuation measures on low-dose chest ct scans[j].academic radiology,2019,26(12):1686-1694.
[0085]
[13]borrelli p,kaboteh r,enqvist o,et al.artificial intelligence-aided ct segmentation for body composition analysis:a validation study[j].european radiology experimental,2021,5(1):1-6。