一种3D肝脏病灶检测方法及装置与流程

一种3d肝脏病灶检测方法及装置
技术领域
1.本发明属于医学影像技术领域，具体涉及一种3d肝脏病灶检测方法及装置。


背景技术：

2.肝癌是最常见的恶性肿瘤之一，具有异质性强、易转移复发、预后差等特点。肝癌尤其是小肝癌(单个癌结节的最大直径小于或等于3cm，多个癌结节数目不超过2个，最大直径之和≤3cm的肝细胞性肝癌)的早期识别和诊断对于后续治疗具有深刻的意义。肝脏病灶的良恶性检测识别是肝癌诊断的先决条件，是构建肝癌计算机辅助诊断系统的至关重要的一环。
3.肝脏病灶的类型分布广泛且复杂，包含多种良性病灶和多种恶性病灶，尺寸变化也多种多样，部分病灶在图像特征上与周围肝脏组织十分接近，整体检出难度非常大。现有技术或依赖于传统图像处理方法，利用一些统计学的先验知识实现病灶检出；或仅针对ct中3d病灶检测的某个环节进行优化，没有端到端自动化检测的能力，比如需要手动剔除原始数据中不属于肝脏部分的切片，模型仅输出每个切片的2d病灶检测框或轮廓结果，无法直接给出3d的检测结果；或利用多个神经网络串联，构建复杂的病灶检测流程。现有基于语义分割技术进行肝脏病灶分割检测难以应对小病灶场景，且较难基于全分辨率的3d图像进行检测；现有技术更缺少对ct数据3d上下文特征的学习，仅仅对单个切片或上下共3个切片进行特征提取无法覆盖现实中病灶在ct轴向中的分布。现有技术缺少对小肝癌病灶(≤3cm甚至≤1cm)检测的优化，缺乏临床应用价值。现有技术缺乏将ct多期相特征结合起来，对病灶检测中普遍存在的假阳现象进行优化。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种3d肝脏病灶检测方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种3d肝脏病灶检测方法，包括：
7.获取待检测多期相ct图像，构建以每个待检测切片层为中心包括其上下多层切片的3d数据；
8.将3d数据输入到检测模型，进行多尺寸特征提取，获得图像的3d上下文特征，基于中心切割和全局注意力机制获得中心切片层的2d病灶特征，进而得到2d病灶为阳性的概率；
9.将属于同一病灶的连续层切片的2d病灶组合成一个3d病灶，3d病灶为阳性的概率等于所有2d病灶为阳性的概率的融合；
10.将检测模型输出的3d病灶在多个期相切割的局部图像，输入到一个假阳性识别模型，对3d病灶进行假阳性过滤，得到3d病灶的检测结果。
11.进一步地，所述多期相包括平扫期相、动脉期相、门静脉期相和延迟期相。
12.进一步地，所述方法在获取多期相ct图像后还包括，对ct图像进行窗宽窗位调整，使其突出肝脏所在部位的特征。
13.进一步地，以每个待检测切片层为中心构建的3d数据维度为(2m 1,h,w)，m为待检测切片层以上和以下的层数，m>1，h、w分别为图像的高度和宽度。
14.更进一步地，检测模型的训练数据包括正样本3d数据和负样本3d数据，正样本3d数据的中心层为有病灶标注的切片，负样本3d数据的中心层为无病灶标注的切片。
15.进一步地，所述检测模型包括特征提取模块和检测模块，还包括位于特征提取模块和检测模块之间的特征金字塔网络fpn，用于提升深层特征与浅层特征之间的信息融合，提高小尺寸病灶的检测能力。
16.进一步地，以2d病灶的外接矩形作为其检测框，检测框数据为(x,y,h1,w1)，其中x、y分别为检测框左上角的横、纵坐标，h1、w1分别为检测框的高度和宽度。
17.更进一步地，判断连续两层的2d病灶是否属于同一3d病灶的方法包括：如果连续两层的2d病灶的检测框之间的重合度iou大于设定的阈值，则连续两层的病灶属于同一3d病灶，重合度的计算公式为：
[0018][0019]
式中，|a|、|b|分别为两个检测框的面积，|a∩b|为两个检测框重合部分的面积。
[0020]
第二方面，本发明提供一种3d肝脏病灶检测装置，包括：
[0021]
3d数据构建模块，用于获取待检测多期相ct图像，构建以每个待检测切片层为中心包括其上下多层切片的3d数据；
[0022]
2d病灶检测模块，将3d数据输入到检测模型，进行多尺寸特征提取，获得图像的3d上下文特征，基于中心切割和全局注意力机制获得中心切片层的2d病灶特征，进而得到2d病灶为阳性的概率；
[0023]
3d病灶合成模块，用于将属于同一病灶的连续层切片的2d病灶组合成一个3d病灶，3d病灶为阳性的概率等于所有2d病灶为阳性的概率的融合；
[0024]
假阳性过滤模块，用于将检测模型输出的3d病灶在多个期相切割的局部图像，输入到一个假阳性识别模型，对3d病灶进行假阳性过滤，得到3d病灶的检测结果。
[0025]
进一步地，所述多期相包括平扫期相、动脉期相、门静脉期相和延迟期相。
[0026]
与现有技术相比，本发明具有以下有益效果。
[0027]
本发明通过构造以每个待检测切片层为中心包括其上下多层切片的3d数据，能够充分利用ct数据的3d上下文信息，有效提取3d图像特征。本发明通过多尺寸特征提取，能够对尺寸分布差异较大的肝脏病灶尤其是小尺寸肝脏病灶进行有效检测。本发明基于多期相ct图像进行病灶检测，能够充分利用每个期相的病灶信息，从而提高病灶检测精度。本发明通过设置假阳性识别模型，对3d病灶进行假阳性过滤，能够进一步提高病灶检测精度。
附图说明
[0028]
图1为本发明的实施例一种3d肝脏病灶检测方法的流程图。
[0029]
图2为假阳性识别网络的示意图。
[0030]
图3为本发明的实施例一种3d肝脏病灶检测装置的方框图。
具体实施方式
[0031]
为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
图1为本发明实施例一种3d肝脏病灶检测方法的流程图，包括以下步骤：
[0033]
步骤101，获取待检测多期相ct图像，构建以每个待检测切片层为中心包括其上下多层切片的3d数据；
[0034]
步骤102，将3d数据输入到检测模型，进行多尺寸特征提取，获得图像的3d上下文特征，基于中心切割和全局注意力机制获得中心切片层的2d病灶特征，进而得到2d病灶为阳性的概率；
[0035]
步骤103，将属于同一病灶的连续层切片的2d病灶组合成一个3d病灶，3d病灶为阳性的概率等于所有2d病灶为阳性的概率的融合；
[0036]
步骤104，将检测模型输出的3d病灶在多个期相切割的局部图像，输入到一个假阳性识别模型，对3d病灶进行假阳性过滤，得到3d病灶的检测结果。
[0037]
本实施例中，步骤101主要用于构建3d数据。待检测ct图像为2d切片数据，在输入检测模型前需要先转换成3d数据。3d数据的构造方法是：以每个待检测切片层为中心，分别连续向上和向下各取层数相等的切片。这种方法构造的两个3d数据可能会包含很多相同的切片，尤其是相邻的两个3d数据，但至少有一个切片不同，因此不会出现完全相同的3d数据。将这样的3d数据输入到检测模型进行特征提取，有利于得到上下文特征。上面讲述的3d数据的构造方法是针对输入到训练好的检测模型(进行预测)的待检测ct图像，检测模型训练时的训练数据同样需要按照相同的方法构建3d数据，所不同的是需要分别构造中心层为正样本(有病灶标注)的3d数据和中心层为负样本(无病灶标注)的3d数据。值得说明的是，本实施例是针对多期相ct图像进行处理，能够充分利用每个期相的病灶信息，提高病灶的检测精度。
[0038]
本实施例中，步骤102主要用于特征提取和2d病灶检测。将构造好的3d数据输入到检测模型，可以获得图像的3d上下文特征。为了能够有效检测小尺寸病灶，本实施例进行多尺寸特征提取。构造3d数据进行特征提取是为了有效提取上下文特征，而病灶检测仍然需要针对2d病灶进行，因此需要将3d特征转换成2d特征。本实施例通过中心切割和全局注意力机制获得中心切片层的2d病灶特征，然后检测模型基于2d病灶特征输出病灶的参数(位置和大小)及属于阳性的概率。
[0039]
本实施例中，步骤103主要用于构造3d病灶。3d病灶的构造方法是将属于同一病灶的连续层切片的2d病灶组合在一起，构成一个3d病灶。属于同一病灶的图像应具有很大的相似度，据此可以判定两个连续层切片的2d病灶是否属于同一病灶。3d病灶为阳性的概率等于构成3d病灶的所有2d病灶为阳性的概率的融合，如可以是均值、加权均值、最大值、中位数等。另外，构造的不同3d病灶的候选框之间可能有较大的重合部分，因此，还需要采用3dnms非最大值抑制算法进行去重处理。
[0040]
本实施例中，步骤104主要用于得到3d病灶的检测结果。为了最大程度地降低假阳必对检测性能的影响，本实施例设置一个假阳性识别模型对检测模型输出的3d病灶结果进
行假阳性过滤。假阳性识别模型的结构如图2所示，假阳性识别模型是一个二分类器，可由一个卷积神经网络(如3d resnet
‑
18)实现。模型训练时，输入的正例为病灶在ct中的3d坐标框区域特征，负例为其它非病灶区域随机3d坐标框特征。具体地，假设一个病灶在某个期相ct中的坐标为(z，y，x)，其中z表示所跨度的切片层数，则将该病灶从ct图像中切割出来，得到该期相下病灶的局部图像。同样地，将该病灶在其它期相的局部图像也切割出来，将所有期相的3d病灶图像共同作为假阳性识别模型的正样本；对于病灶区域之外的图像，设定固定大小3d框随机从各期相图像中切割得到模型训练的负样本。假阳性识别模型训练完成后，可以直接以检测模型输出的3d病灶在每个期相切割的局部图像作为输入，对3d病灶进行假阳性判断，对3d病灶进行假阳性过滤，得到3d病灶最终的检测结果。
[0041]
作为一可选实施例，所述多期相包括平扫期相、动脉期相、门静脉期相和延迟期相。
[0042]
本实施例给出了ct图像的4种具体期相。4种具体期相分别为平扫期相、动脉期相、门静脉期相和延迟期相。现有技术一般只采用平扫期相进行病灶特征提取和检测，不能充分利用其它期相的病灶信息。本实施例同时对4种期相的ct图像进行处理，可有效提高病灶检测精度。
[0043]
作为一可选实施例，所述方法在获取多期相ct图像后还包括，对ct图像进行窗宽窗位调整，使其突出肝脏所在部位的特征。
[0044]
本实施例给出了对多期相ct图像进行预处理的一种技术方案。所述预处理主要是对ct图像进行窗宽窗位调整，目的是突出肝脏所在部位的特征，有助于模型对肝脏病灶特征的学习。
[0045]
作为一可选实施例，以每个待检测切片层为中心构建的3d数据维度为(2m 1,h,w)，m为待检测切片层以上和以下的层数，m>1，h、w分别为图像的高度和宽度。
[0046]
本实施例给出了3d数据的一种具体结构。3d数据的维度为(2m 1,h,w)，第一个维度表示层数，中心层为待检测切片层，中心层上下各有m个连续层，共2m 1层。m>1，m的取值不能太小，否则不利于有效获得上下文特征，但也不能过大，一般可取m＝5；另外两个维度h、w分别为图像的高度和宽度。
[0047]
作为一可选实施例，检测模型的训练数据包括正样本3d数据和负样本3d数据，正样本3d数据的中心层为有病灶标注的切片，负样本3d数据的中心层为无病灶标注的切片。
[0048]
本实施例给出了用于检测模型训练的3d数据的种类。训练阶段3d数据的构造方法与预测阶段的待检测3d数据构造方法基本相同，所不同的是训练阶段3d数据需要分别构造正样本3d数据和负样本3d数据。构造方法如下：对于任一期相ct，将存在病灶标注的切片层作为正样本层，将其它切片层作为负样本层，假设总切片数为n，正样本切片数为np。以每一个正样本切片为中心切片，扩展其上下连续各m层切片，共同组成维度为(2*m 1,h,w)的3d正样本，其中h和w为单个切片图像的高和宽，而每个正样本对应的标签即为中心切片所标注的2d病灶框。生成负样本时，首先采用随机采样的方式从n
‑
np个不包含病灶的切片中选取nn张，再对nn张负样本切片采用同样的方式生成nn个维度为(2*m 1,h,w)的3d负样本。
[0049]
作为一可选实施例，所述检测模型包括特征提取模块和检测模块，还包括位于特征提取模块和检测模块之间的特征金字塔网络fpn，用于提升深层特征与浅层特征之间的信息融合，提高小尺寸病灶的检测能力。
[0050]
本实施例给出了提高小尺寸病灶检测能力的一种技术方案。检测模型主要由特征提取模块和检测模块组成，在本实施例中，为了提高小尺寸病灶检测能力，在特征提取模块和检测模块之间增加一个特征金字塔网络。特征金字塔网络是根据特征金字塔概念设计的特征提取器，目的是提高检测精度，尤其是小尺寸目标的检测精度。其原理是：经过一系列的卷积后得到了特征图，然后通过上采样再一步步还原回去，在保证不丢失高级语义信息的情况下将特征图放大，最后用放大的特征图去检测小目标，从而解决小目标难以检测的问题。
[0051]
作为一可选实施例，以2d病灶的外接矩形作为其检测框，检测框数据为(x,y,h1,w1)，其中x、y分别为检测框左上角的横、纵坐标，h1、w1分别为检测框的高度和宽度。
[0052]
本实施例对2d病灶的检测框进行了定义。由于病灶的形状是不规则的，因此本实施例以2d病灶外接矩形的所占区域作为2d病灶的所占区域，所述外接矩形称为2d病灶的检测框。构成3d病灶的2d病灶实际上就是2d病灶的检测框。2d病灶的位置和尺寸也是用检测框的数据参数表示，包括检测框左上角的坐标以及检测框的长和宽。
[0053]
作为一可选实施例，判断连续两层的2d病灶是否属于同一3d病灶的方法包括：如果连续两层的2d病灶的检测框之间的重合度iou大于设定的阈值，则连续两层的病灶属于同一3d病灶，重合度的计算公式为：
[0054][0055]
式中，|a|、|b|分别为两个检测框的面积，|a∩b|为两个检测框重合部分的面积。
[0056]
本实施例给出了判断连续两层的2d病灶是否属于同一3d病灶的一种技术方案。如前述，可以采用连续两层的2d病灶图像的相似度大小判断它们是否属于同一病灶。为了简化计算，本实施例用检测框代替对应的2d病灶图像，根据两个检测框的重合度大小判断它们是否属于同一病灶。计算公式如上式，分子是两个检测框重合部分的面积的2倍，分母是两个检测框面积的和。根据两个检测框的坐标和长宽数据很容易得到二者的面积以及二者重合的面积，从而得到重合度。
[0057]
图3为本发明实施例一种3d肝脏病灶检测装置的组成示意图，所述装置包括：
[0058]
3d数据构建模块11，用于获取待检测多期相ct图像，构建以每个待检测切片层为中心包括其上下多层切片的3d数据；
[0059]
2d病灶检测模块12，将3d数据输入到检测模型，进行多尺寸特征提取，获得图像的3d上下文特征，基于中心切割和全局注意力机制获得中心切片层的2d病灶特征，进而得到2d病灶为阳性的概率；
[0060]
3d病灶合成模块13，用于将属于同一病灶的连续层切片的2d病灶组合成一个3d病灶，3d病灶为阳性的概率等于所有2d病灶为阳性的概率的融合；
[0061]
假阳性过滤模块14，用于将检测模型输出的3d病灶在多个期相切割的局部图像，输入到一个假阳性识别模型，对3d病灶进行假阳性过滤，得到3d病灶的检测结果。
[0062]
本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
[0063]
作为一可选实施例，所述多期相包括平扫期相、动脉期相、门静脉期相和延迟期相。
[0064]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。