微小实性异生组织的分割方法、系统、电子设备及介质

1.本发明涉及图像中目标检测领域，具体涉及一种微小实性异生组织的分割方法、系统、电子设备及介质。


背景技术：

2.实性异生组织指非正常的人体器官组织，如肿块、肿瘤等。由于实性异生组织在常见的医学影像如ct、mri上会呈现实性占位，其精准勾画对临床诊断、治疗方案选择及预后估计等有重大意义。随着临床需求的不断增长，需要分析的医学影像数据也越来越多，大大增加了相关医务人员的工作量。在此背景下，对医学影像进行自动分析，分割出实性异生组织，对减轻医生工作负担、提高阅片效率、加速临床工作流程有重要的意义。
3.近年来，得益于卷积神经网络和深度学习的发展，典型的实性异生组织分割是最为热门的研究方向，取得了丰硕的成果。然而，已有方法的分割精度和准确性严重依赖于目标的尺寸，对于大的实性占位目标，如胶质瘤等，主流的语义分割网络结构如3dunet等均能够取得优秀的分割效果，但是对于小目标(占位尺寸1.5cc以下)，现有算法的性能欠佳。其面临的主要挑战是：1)小目标在原始成像数据中所占的像素数量少，如健康成年人脑的体积约为1000cc，心脏约为300cc，相比而言，1.5cc以下的小目标在正常器官的影像数据中占比不足1％。当前语义分割算法的思路着眼于构建非线性模型对像素间相互关系进行分析，小目标覆盖的像素数量有限，导致了算法性能的下降，极易发生漏检。2)实性占位在医学影像数据上往往呈现聚拢的高密度影，而部分正常组织也会有相似的表现，当体积很小的时候，难以通过几何形状等条件加以区别，极易发生误检。


技术实现要素：

4.本发明提供一种微小实性异生组织的分割方法、系统、电子设备及介质，通过目标检测网络保证小目标的检出率，降低漏检概率，通过语义分割网络获取目标轮廓信息，同时剔除上一步误检的小目标，降低误检概率。
5.本发明通过下述技术方案实现：
6.一种微小实性异生组织的分割方法，包括：
7.s1、通过特征提取网络提取医学影像图片的浅层特征图；
8.s2、获取所述浅层特征图的关键区域，并生成基于所述关键区域的关于待检测目标的先验框；
9.s3、根据生成的所述先验框进行分类并回归，最终得到关于待检测目标的检测框；
10.s4、对得到的检测框的感兴趣区域进行提取；
11.s5、对得到的所述感兴趣区域进行语义分割，以得到待检测目标的轮廓，从而完成对待检测目标的分割。
12.作为优化，所述浅层特征图为第一层特征图和/或第二层特征图。
13.作为优化，s2中，获取所述浅层特征图的关键区域的具体公式为：
14.h
(i，j，l)
＝sigmoid(conv(max(sum(max(f
(o，n，k)
：f
(i，n，k)
)，max(f
(i，n，k)
：f
(m，n，k)
))，
15.sum(max(f
(m，0，k)
：f
(m，j，k)
)，max(f
(m，j，k)
：f
(m，n，k)
))，
16.sum(max(f
(m，n，0)
：f
(m，n，l)
)，max(f
(m，n，l)
：f
(m，n，k)
))))；
17.其中，(i，j，l)为在关键区域热图h
(m，n，k)
的位置的三维坐标，sigmoid(
·
)为sigmoid函数，conv(
·
)为三维卷积算子，sum(
·
)为求和，max(
·
)为求取最大值，f
(
·
)
为在浅层特征图f
(m，n，k)
上的元素，m、n、k分别为浅层特征图在三维坐标上的尺寸。
18.作为优化，s2中，生成基于所述关键区域的关于待检测目标的先验框的具体步骤为：
19.s2.1、选择关键区域热图中最大的前k个位置作为关键点，并将每个关键点的邻域定义为关键区域；
20.s2.2、针对每个所述关键点产生c个先验框，每个所述先验框的体积为浅层特征图的尺寸m
×n×
k和比例系数rc乘积。
21.作为优化，所述比例系数具体为：c∈[1，c]。
[0022]
作为优化，s3中，根据生成的所述先验框进行分类并回归的具体步骤为：
[0023]
s3.1、通过softmax函数对得到的所述先验框进行分类，并对分类后的所述先验框进行判断，判断所述先验框是否包含被测目标；
[0024]
s3.2、通过回归分析对包含被测目标的所述先验框的大小和位置进行调整，最终获得检测框。
[0025]
作为优化，s4、对得到的检测框的感兴趣区域进行提取的具体步骤为：提取所述医学影像图片中的检验框覆盖范围内的区域作为感兴趣区域。
[0026]
本发明还公开了一种微小实性异生组织的分割系统，包括：
[0027]
特征提取模块：用于提取医学影像图片的浅层特征图；
[0028]
先验框生成模块：用于获取所述浅层特征图的关键区域，并生成基于所述关键区域的关于待检测目标的先验框；
[0029]
3d关键点检测模块：用于根据生成的所述先验框进行分类并回归，最终得到关于待检测目标的检测框；
[0030]
感兴趣区域提取模块：用于对得到的检测框的感兴趣区域进行提取；
[0031]
3d语义分割模块：用于对得到的所述感兴趣区域进行语义分割，以得到待检测目标的轮廓，从而完成对待检测目标的分割。
[0032]
本发明还公开了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种微小实性异生组织的分割方法。
[0033]
本发明还公开了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种微小实性异生组织的分割方法。
[0034]
本发明与现有技术相比，具有如下的优点和有益效果：
[0035]
本发明增加了浅层特征图的使用，可以提高小目标检测的能力，同时为了避免计算量增长太快，本发明提出了3d关键点检测模块，从尺寸较大的浅层特征图中筛选出关键
点，基于此生成先验框，该操作将所生成先验框的数量控制在可行范围内，又利用了浅层特征图对小目标的定位能力，极大的提高了小目标的检测性能。
附图说明
[0036]
为了更清楚地说明本发明示例性实施方式的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。在附图中：
[0037]
图1为本发明所述的一种微小实性异生组织的分割方法的流程图；
[0038]
图2为3d关键点检测模块的工作原理图；
[0039]
图3为实施例中的增强的t1加权磁共振图像；
[0040]
图4为对图3的分割结果示意图(高亮部分为分割轮廓)。
具体实施方式
[0041]
为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。
[0042]
实施例
[0043]
如图1所示，一种微小实性异生组织的分割方法，包括：
[0044]
s1、通过特征提取网络提取医学影像图片的浅层特征图。
[0045]
本实施例中，所述浅层特征图为第一层特征图和/或第二层特征图。本步骤的主要目的是提取原始医学影像中目标的浅层特征，可以采用任意的基于卷积神经网络结构的特征提取框架，为了确保所提取的特征包含小目标信息，仅使用框架中第一、第二层特征图，以避免经过多次下采样后在特征图中失去小目标信息。
[0046]
分割的精度与微小组织的大小无直接关系，主要看医学用途来确定分割精度。
[0047]
例如，用于诊断时所需的精度比用于治疗时所需的精度要低。但是本发明中只做技术部分，即只管分割，精度越高越好。目前，组织大小和提取方式的对应关系为：组织体积越大，其在深层特征中的占比越大，即深层特征中能够提取到比较大的组织的特征；组织体积越小，其不会明显的出现在深层特征图中，这也是常规分割算法对微小目标性能不佳的原因。而对于1.5cc及以下体积的目标，提取几乎完全依赖于浅层特征，只有未经多次池化(pooling)的浅层特征能够保存微小目标的位置信息从而完善提取到的特征。
[0048]
而医学影像图片的格式统一为dicom格式，即ct mri等成像设备上导出的图像格式，实际上是本发明的输入信号格式。
[0049]
s2、获取所述浅层特征图的关键区域，并生成基于所述关键区域的关于待检测目标的先验框。本步骤的主要目的是获取原始医学影像中的关键区域，即与最有可能包含目标的区域，并生成3d目标检测的先验框。为了定位关键区域，本发明提出了3d关键点检测模块，从输入的浅层特征图生成关键区域热图，其实质为三维矩阵，每个位置元素的值代表了该位置上元素属于关键区域的概率，如图2所示。其中，从浅层特征图到关键区域热图的生成过程的计算过程如下：记输入浅层特征图为f
(m，n，k)
，输出的关键区域热图为h
(m，n，k)
，(m，n，
k)为浅层特征图尺寸。对于关键区域热图在位置(i，j，l)上的取值h
(i，j，l)
的计算方法如式(1)所示，其中sigmoid(
·
)为sigmoid函数，conv(
·
)为三维卷积算子，sum(
·
)为求和，max(
·
)为求取最大值，如max(f
(0，n，k)
：f
(i，n，k)
)表示求取f
(m，n，k)
中元素f
(0，n，k)
到f
(i，n，k)
的最大值，f
(
·
)
为在浅层特征图f
(m，n，k)
上的元素。
[0050]h(i，j，l)
＝sigmoid(conv(max(sum(max(f
(0，n，k)
：f
(i，n，k)
)，max(f
(i，n，k)
：f
(m，n，k)
))，
[0051]
sum(max(f
(m，0，k)
：f
(m，j，k)
)，max(f
(m，j，k)
：f
(m，n，k)
))，
[0052]
sum(max(f
(m，n，0)
：f
(m，n，l)
)，max(f
(m，n，l)
：f
(m，n，k)
))))(1)
[0053]
当获得h
(m，n，k)
后，选择最大的前k个位置作为关键点，每个关键点的邻域为关键区域。针对每个关键点产生c个先验框，每个先验框的体积为浅层特征图的尺寸m
×n×
k和比例系数rc乘积，比例系数rc取值由公式(2)所示，将设置为先验框的体积为浅层特征图的尺寸m
×n×
k和比例系数rc乘积，可以生成一系列不同大小的正方体框，以适应多尺度的目标，比如0.5cc和1.5cc的目标，其所需要的检测框大小是不一样的。由于微小目标一般为类球体，故每个先验框均为正方体，具有相同的长宽高，这样可以减小计算量。在目标极小时，一般为球形，长宽高尺寸接近，可以用正方体对其进行框选，而传统的目标检测框架里面为了检测形态各异的物体，需要设置不同长宽比的检测框。
[0054]
k为超参数，为小于10的整数，这样可以保证性能的同时不过多增加计算量。c为4。
[0055][0056]
s3、根据生成的所述先验框进行分类并回归，最终得到关于待检测目标的检测框。
[0057]
本实施例中，s3中，根据生成的所述先验框进行分类并回归的具体步骤为：
[0058]
s3.1、通过softmax函数对得到的所述先验框进行分类，并对分类后的所述先验框进行判断，判断所述先验框是否包含被测目标；
[0059]
s3.2、通过回归分析对包含被测目标的所述先验框的大小和位置进行调整，最终获得检测框。
[0060]
本步骤为依据先验框进行分类和检测框回归。浅层特征图中每个先验框标定的区域将用于执行如下任务：通过softmax函数对该先验框进行分类，判断其是否包含目标；通过回归分析对该先验框的大小和位置进行调整，最终获得检测框。
[0061]
softmax会输出一个概率值，大于0.5表示阳性，小于表示阴性，分类结果为阳性即包含被测目标，所有的先验框都需要进行分类。
[0062]
s4、对得到的检测框的感兴趣区域进行提取；根据s3获得的检测框所标定的范围从原始医学影像中提取出图像块。
[0063]
s5、对得到的所述感兴趣区域进行语义分割，以得到待检测目标的轮廓，从而完成对待检测目标的分割。该步骤的主要目的是勾画目标轮廓，完成分割，可以采用任意的基于卷积神经网络结构的三维语义分割算法，对感兴趣区域进行语义分割，从而得到待检测目标的轮廓。
[0064]
实施例2
[0065]
本发明还公开了一种微小实性异生组织的分割系统，包括：
[0066]
特征提取模块：用于提取医学影像图片的浅层特征图；特征提取模块可以参考表1,
[0067]
表1
[0068][0069][0070]
先验框生成模块：用于获取所述浅层特征图的关键区域，并生成基于所述关键区域的关于待检测目标的先验框；
[0071]
3d关键点检测模块：用于根据生成的所述先验框进行分类并回归，最终得到关于待检测目标的检测框；如图2所示，为3d关键点检测模块的工作过程原理图。
[0072]
感兴趣区域提取模块：用于对得到的检测框的感兴趣区域进行提取；
[0073]
3d语义分割模块：用于对得到的所述感兴趣区域进行语义分割，以得到待检测目标的轮廓，从而完成对待检测目标的分割。
[0074]
实施例3
[0075]
本发明还公开了一种电子设备，包括至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的一种微小实性异生组织的分割方法。
[0076]
实施例4
[0077]
本发明还公开了一种存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的一种微小实性异生组织的分割方法。
[0078]
为了提高计算效率，传统目标检测主要采用特征提取网络中经过语义信息抽象的深层特征图，结合密集先验框生成策略，具体做法为在所选取的特征图上逐点生成先验框，在此策略下，特征图的大小将直接影响生成的先验框数量，从而影响后续的分类检测任务需要处理的对象数量。深层特征图尺寸较小，即使是密集的生成先验框，其计算量也不大。然而，多层的语义信息抽象将导致特征图中缺失微小目标的定位信息，降低算法的检测性能。为提高小目标检测的能力，在此基础上，本发明的改进手段主要是增加浅层特征图的使用，同时为了避免计算量增长太快，本发明提出了3d关键点检测模块，从尺寸较大的浅层特征图中筛选出关键点，基于此生成先验框，该操作将所生成先验框的数量控制在可行范围
内，又利用了浅层特征图对小目标的定位能力，极大的提高了小目标的检测性能。
[0079]
接下来，利用本发明的方法对颅内微小肿瘤的医学影像进行分割。
[0080]
所采用的医学图像为增强的t1加权磁共振图像，每个图像的尺寸为256
×
256
×
128，如图3所示。
[0081]
1)首先构建训练数据库，主要包括患有1.5cc以下颅内肿瘤的增强的t1加权磁共振图像及由专家手工勾画的肿瘤轮廓作为数据标定，数据大小10g以上；
[0082]
2)对所提出的分割框架进行训练，具体方法为先分别训练3d目标检测模型(包含特征提取模块、先验框生成模块、3d关键点检测模块和感兴趣区域提取模块)和3d语义分割模型，最后将两个模型联合起来微调参数。3d目标检测模型中，特征提取模块由8个串联的3d卷积模块和se注意力机制模块构成，选取第2层输出的特征图用于生成关键点、关键区域及先验框。损失函数采用常规的目标检测损失函数，由先验框置信度损失和位置损失加权得到，具体形式为采用adam优化器训练；当训练过程完全收敛后，保存检测框架。3d语义分割模型中，选用3层的3d unet，损失函数为dice系数，采用adam优化器训练；当训练过程完全收敛后，保存检测框架。联合微调时，将两个网络串联起来，以dice系数作为损失函数，训练20个epoch。
[0083]
3)测试过程采用了50例mri影像，包含72个目标，平均尺寸为1.4
±
0.3cc。分割性能指标如表2所示。部分分割结果如图4所示。
[0084]
表2
[0085]
方法diceprecisionrecallassdhd95本发明方法0.770.820.745.52mm31.12mm纯3dunet0.350.280.7427.6mm104.11mmdeepmedic0.720.740.788.33mm51.57mm
[0086]
表2中的各参数分别为dice系数、准确率，召回率，平均对称表面距离，95％霍斯多夫距离。
[0087]
由表2可知，使用本发明检测微小实性异生组织的精准度高，可以分割医学影像中的微小实性异生组织的直径小。
[0088]
以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。