一种基于改进FasterRCNN算法的肺结节检测装置的制作方法

一种基于改进fasterrcnn算法的肺结节检测装置
技术领域
1.本发明涉及计算机医疗图像技术领域，具体是一种基于改进fasterrcnn算法的肺结节检测装置。


背景技术：

2.肺癌是最常见的疾病之一，并且是导致死亡率最高的。肺癌的成因包括吸烟、空气中的有毒颗粒、衰老、基因、性别等。不幸的是，人们感到无法找到有效的方法来控制癌症的发病率，同时，在目前的情况下，当病人处于癌症的晚期时，几乎不可能找到治愈方法。肺癌确诊病例通常伴有结节的持续出现。癌症的早期发现可以大大提高患者的生存率。可见，在计算机辅助诊断(cadx)方案的初始阶段，肺结节的检测是显著和必要的。同时，对于放射科医师来说，由于疲劳而发现大量的结节也是容易出错的。为了缓解这一问题，迫切需要cad方案分担检测工作。cad系统的主要功能是利用图像处理技术和机器学习算法进行病变检测、病变体分割和病理分析。然而，肺结节的形状、规模和密度各不相同，难以概括为特定的类别。由于结节的差异性增加了肺结节检测的难度，因此提出一些有潜力的cade方案以达到更好的检测性能对研究者来说是非常有意义的。


技术实现要素：

3.本发明的目的是提供一种基于改进fasterrcnn算法的肺结节检测装置，包括数据采集标注模块、数据预处理模块、特征提取模块、肺结节检测与分类模块。
4.所述数据采集标注模块获取待测者的肺结节ct图像，并传输至数据预处理模块。
5.所述数据预处理模块对待测者的肺结节ct图像进行预处理，得到预处理后的待测者肺结节图像，并传输至特征提取模块。
6.所述数据预处理模块对待测者的肺结节ct图像进行预处理的步骤为：根据空气、水和x射线的线性衰减系数，统计肺部区域的hu值范围，并将待测者的肺结节ct图像转化为jpg格式的待测者肺结节图像，得到预处理后的待测者肺结节图像。
7.所述特征提取模块存储有特征提取模型。
8.所述特征提取模型包括unet网络和fasterrcnn神经网络模型。
9.所述unet网络模型用于特征提取。unet网络模型的输入为待测者肺结节图像，输出为待测者肺结节图像特征。
10.unet网络包括下采样层，上采样层和横向连接层。所述下采样层为卷积层。横向连接层为残差块。
11.所述fasterrcnn神经网络模型用于对肺结节图像的目标位置回归和类别预测；所述fasterrcnn神经网络的输入为待测者肺结节图像特征，fasterrcnn神经网络利用region proposal network确定待测者肺结节候选区域，输出为待测者肺结节的精确位置、类别和置信度；
12.所述fasterrcnn神经网络模型利用dilated encoder产生具有多感受域的特征
图，实现特征的复用与融合。
13.fasterrcnn神经网络模型的损失函数l(pi，ti)如下所示：
[0014][0015]
式中，pi为第i个目标框的预测分类概率。当第i个目标框是正样本时，当第i个目标框是负样本时，ti表征第i个目标框的预测的边界框的参数化坐标(x，y，w，h)。表征第i个目标框的真实的边界框的参数化坐标(x
*
，y
*
，w
*
，h
*
)。λ为权重平衡参数。类别损失函数回归损失函数r表示smooth l1 loss函数。
[0016]
所述特征提取模块将预处理后的待测者肺结节图像输入到特征提取模型中，从而对预处理后的待测者肺结节图像进行特征提取和目标区域预测，得到若干待测者肺结节候选区域。
[0017]
所述特征提取模块将待测者肺结节候选区域传输至肺结节检测与分类模块。
[0018]
所述肺结节检测与分类模块存储有肺结节检测分类模型。
[0019]
所述肺结节检测与分类模块将待测者肺结节候选区域输入到肺结节检测分类模型中，得到待测者肺结节的预测区域和预测置信概率。
[0020]
将待测者肺结节候选区域输入到肺结节检测分类模型中，得到待测者肺结节的预测区域和预测置信概率的步骤包括：
[0021]
1)所述肺结节检测分类模型对待测者肺结节候选区域进行roi pooling，将不同大小的区域转换为固定长度的区域。将固定长度的区域输入到两个相连的全连接层中，得到位置与类别输出。
[0022]
2)采用交叉熵损失函数进行类别预测。
[0023]
3)采用smooth l1 loss函数进行位置回归，得到待测者肺结节的预测区域和预测置信概率。
[0024]
smooth l1 loss函数smooth
l1
如下所示：
[0025][0026]
式中，测试σ为常数。
[0027]
建立肺结节检测分类模型的步骤包括：
[0028]
1)所述数据采集标注模块获取若干来自不同测试者的肺结节ct图像，并在肺结节ct图像中标注出肺结节区域目标框。
[0029]
所述数据采集标注模块将标注后的肺结节ct图像传输至数据预处理模块。
[0030]
2)所述数据预处理模块对肺结节ct图像进行预处理，得到预处理后的肺结节图像，并将预处理后的肺结节图像划分为训练集和测试集。
[0031]
所述数据预处理模块对肺结节ct图像进行预处理的步骤包括：
[0032]
2.1)根据空气、水和x射线的线性衰减系数，统计肺部区域的hu值范围，并将肺结节ct图像转换为jpg图片。
[0033]
2.2)利用翻转方法对jpg图片进行扩充，并将标注的肺结节区域目标框转换为voc
格式。
[0034]
3)所述特征提取模块利用k-means方法对肺结节ct图像的肺结节区域目标框进行聚类，得到若干组肺结节区域目标框。
[0035]
所述对肺结节ct图像的肺结节区域目标框进行聚类的目标函数min e如下所示：
[0036][0037]
式中，μj是簇cj的均值向量；e为平方误差；k为簇的数量；j为簇的序号。
[0038]
4)建立特征提取模型。
[0039]
5)利用训练集对所述特征提取模型进行训练，得到训练后的特征提取模型。
[0040]
6)利用测试集对训练后的特征提取模型进行测试，若训练后的特征提取模型的准确率大于预设阈值，则完成特征提取模型的建立，否则，返回步骤1)。
[0041]
值得说明的是，本发明提供一种基于改进faster rcnn算法的肺结节检测装置，该装置首先以基于回归的目标识别方法的深度卷积神经网络faster rcnn为基础，对faster rcnn的结构进行修改，并对层级结构中的参数进行调整，改进为一种带有密集卷积块的神经网络结构，重点优化了肺部结节目标过小、位置复杂、特征各异以及容易误诊等问题，最终模型极大提高了肺结节检测的查准率、查全率、效率，为肺部ct图像肺结节实时检测提供了条件。
[0042]
本发明的技术效果是毋庸置疑的，本发明具有以下效果：
[0043]
1)直接对整张ct图像进行结节检测与分类，不需要对图像进行放缩等预处理，避免造成图像中有效信息的缺失，充分利用图像中的细节信息；
[0044]
2)利用k-means对数据集的目标框大小进行聚类，得到9组目标框的长宽。在预测边界框时得到更小的误差，可以提高目标定位的精确性以及检测的召回率；
[0045]
3)将普通卷积换为残差卷积块，可以减缓梯度消失，将fpn换成dilated encoder，在保留多尺度特征情况下，减少时间内存消耗。
附图说明
[0046]
图1为本发明装置示意图。
[0047]
图2为一种基于改进fasterrcnn算法的结构示意图。
[0048]
图3为dilated encoder示意图。
[0049]
图4为一种基于改进fasterrcnn算法的肺结节检测装置的使用流程图。
[0050]
图5(a)是本发明提供的对肺结节的检测分类结果示意图i；图5(b)是本发明提供的对肺结节的检测分类结果示意图ii；图5(c)是本发明提供的对肺结节的检测分类结果示意图iii。
具体实施方式
[0051]
下面结合实施例对本发明作进一步说明，但不应该理解为本发明上述主题范围仅限于下述实施例。在不脱离本发明上述技术思想的情况下，根据本领域普通技术知识和惯用手段，做出各种替换和变更，均应包括在本发明的保护范围内。
[0052]
实施例1：
[0053]
参见图1至图5，一种基于改进fasterrcnn算法的肺结节检测装置，包括数据采集标注模块、数据预处理模块、特征提取模块、肺结节检测与分类模块。
[0054]
所述数据采集标注模块获取待测者的肺结节ct图像，并传输至数据预处理模块。
[0055]
所述数据预处理模块对待测者的肺结节ct图像进行预处理，得到预处理后的待测者肺结节图像，并传输至特征提取模块。
[0056]
所述数据预处理模块对待测者的肺结节ct图像进行预处理的步骤为：根据空气、水和x射线的线性衰减系数，统计肺部区域的hu值范围，并将待测者的肺结节ct图像转化为jpg格式的待测者肺结节图像，得到预处理后的待测者肺结节图像。
[0057]
所述特征提取模块存储有特征提取模型。
[0058]
所述特征提取模型包括unet网络和fasterrcnn神经网络模型。
[0059]
所述unet网络模型用于特征提取。unet网络模型的输入为待测者肺结节图像，输出为待测者肺结节图像特征。
[0060]
unet网络包括下采样层，上采样层和横向连接层。所述下采样层为卷积层。横向连接层为残差块。
[0061]
所述fasterrcnn神经网络模型用于对肺结节图像的目标位置回归和类别预测；所述fasterrcnn神经网络的输入为待测者肺结节图像特征，利用region proposal network(区域候选网络)确定待测者肺结节候选区域，输出为待测者肺结节的精确位置、类别和置信度；
[0062]
所述fasterrcnn神经网络模型利用dilated encoder(扩展编码器)产生具有多感受域的特征图，实现特征的复用与融合。
[0063]
fasterrcnn神经网络模型的损失函数l(pi，ti)如下所示：
[0064][0065]
式中，pi为第i个目标框的预测分类概率。当第i个目标框是正样本时，当第i个目标框是负样本时，ti表征第i个目标框的预测的边界框的参数化坐标(x，y，w，h)。表征第i个目标框的真实的边界框的参数化坐标(x
*
，y
*
，w
*
，h
*
)。λ为权重平衡参数。类别损失函数回归损失函数r表示smooth l1 loss函数。
[0066]
所述特征提取模块将预处理后的待测者肺结节图像输入到特征提取模型中，从而对预处理后的待测者肺结节图像进行特征提取和目标区域预测，得到若干待测者肺结节候选区域。
[0067]
所述特征提取模块将待测者肺结节候选区域传输至肺结节检测与分类模块。
[0068]
所述肺结节检测与分类模块存储有肺结节检测分类模型。
[0069]
所述肺结节检测与分类模块将待测者肺结节候选区域输入到肺结节检测分类模型中，得到待测者肺结节的预测区域和预测置信概率。
[0070]
将待测者肺结节候选区域输入到肺结节检测分类模型中，得到待测者肺结节的预测区域和预测置信概率的步骤包括：
[0071]
1)所述肺结节检测分类模型对待测者肺结节候选区域进行roi pooling，将不同大小的区域转换为固定长度的区域。将固定长度的区域输入到两个相连的全连接层中，得到位置与类别输出。
[0072]
2)采用交叉熵损失函数进行类别预测。
[0073]
3)采用smooth l1 loss函数进行位置回归，得到待测者肺结节的预测区域和预测置信概率。
[0074]
smooth l1 loss函数smooth
l1
如下所示：
[0075][0076]
式中，测试σ为常数。
[0077]
建立肺结节检测分类模型的步骤包括：
[0078]
1)所述数据采集标注模块获取若干来自不同测试者的肺结节ct图像，并在肺结节ct图像中标注出肺结节区域目标框。
[0079]
所述数据采集标注模块将标注后的肺结节ct图像传输至数据预处理模块。
[0080]
2)所述数据预处理模块对肺结节ct图像进行预处理，得到预处理后的肺结节图像，并将预处理后的肺结节图像划分为训练集和测试集。
[0081]
所述数据预处理模块对肺结节ct图像进行预处理的步骤包括：
[0082]
2.1)根据空气、水和x射线的线性衰减系数，统计肺部区域的hu值范围，并将肺结节ct图像转换为jpg图片。
[0083]
2.2)利用翻转方法对jpg图片进行扩充，并将标注的肺结节区域目标框转换为voc格式。
[0084]
3)所述特征提取模块利用k-means方法对肺结节ct图像的肺结节区域目标框进行聚类，得到若干组肺结节区域目标框。
[0085]
所述对肺结节ct图像的肺结节区域目标框进行聚类的目标函数min e如下所示：
[0086][0087]
式中，μj是簇cj的均值向量；e为平方误差；k为簇的数量；j为簇的序号。
[0088]
4)建立特征提取模型。
[0089]
5)利用训练集对所述特征提取模型进行训练，得到训练后的特征提取模型。
[0090]
6)利用测试集对训练后的特征提取模型进行测试，若训练后的特征提取模型的准确率大于预设阈值，则完成特征提取模型的建立，否则，返回步骤1)。
[0091]
实施例2：
[0092]
一种基于改进fasterrcnn算法的肺结节检测装置的使用过程如下：
[0093]
1)收集肺结节数据并标注，对原始ct图片进行预处理，具体步骤如下：
[0094]
1.1)肺结节数据集采集与数据标注；
[0095]
1.2)根据空气、水和x射线的线性衰减系数，统计肺部区域的hu值范围，将dcm文件转换为对应jpg图片；
[0096]
1.3)通过对jpg图片进行90度、180度和270度翻转来扩充数据集，并将所有数据转
换为voc格式的数据集，同时将数据集划分为训练集、验证集和测试集。
[0097]
2)利用k-means对训练集中的真实boxes大小进行聚类，得到9组长宽不同的anchor box，具体步骤如下：
[0098]
2.1)经过数据预处理操作后，采用k-means算法对数据集的目标框大小进行聚类，k-means算法优化的目标函数为最小化平方误差e：
[0099][0100]
其中μi是簇ci的均值向量，有时也称为质心；
[0101]
2.2)对聚类结果排序，依次得到9组大小各异的anchor box。
[0102]
3)利用unet网络对ct图片进行特征提取，通过区域建议网络选出候选区域，具体步骤如下：
[0103]
3.1)将unet网络中的卷积层替换为残差块，有利于防止梯度消失；将unet网络中的池化层下采样替换成步长为2的卷积层，有利于保留细节信息；
[0104]
3.2)fasterrcnn区域建议网络采用fpn在不同尺度进行区域选择。考虑到肺结节大小差异不是很显著，且fpn网络会极大增加时间内存消耗。我们采用一层特征进行检测，增加dilated encoder，产生具有多感受野的特征图，实现特征的复用与融合；
[0105]
3.3)在该层特征图上进行区域建议，通过region proposal network来预测anchor box偏移值与置信度。
[0106]
4)对步骤3推荐出的候选区域进行位置回归与结节分类，得到结节的预测框和预测置信概率，具体步骤如下：
[0107]
4.1)对region proposal networks输出的候选区域进行roi pooling，将不同大小的区域转换为固定长度的输出，经过两个全连接层得到位置与类别输出；
[0108]
4.2)采用交叉熵损失函数进行类别预测；
[0109]
4.3)采用smooth l1 loss函数进行位置回归。
[0110]
faster rcnn的损失函数形式如下：
[0111][0112]
其中，pi为第i个anchor box的预测分类概率，如果第i个anchor box是正样本时，如果第i个anchor box是负样本时，ti为第i个anchor box的预测的边界框的参数化坐标(x，y，w，h)，为第i个anchor box的真实的边界框的参数化坐标(x
*
，y
*
，w
*
，h
*
)；λ为权重平衡参数；类别损失函数)；λ为权重平衡参数；类别损失函数回归损失函数其中r为smooth l1函数，定义如下：
[0113]
[0114]
其中σ＝3。
[0115]
实施例3：
[0116]
参见图3，一种基于改进fasterrcnn算法的肺结节检测装置的使用过程如下：
[0117]
首先采集肺结节ct图像，对肺结节图像进行数据增强以扩充数据集，同时按病人进行数据集划分；然后利用k-means方法对数据集的目标框大小进行聚类，按降序排序依次得到前9组值作为anchor box的长宽；之后将训练集输入到网络中对肺结节图像进行基础特征提取，并使用区域建议网络rpn对网络产生的anchor box进行分类和回归，按置信度和交并比排序推荐产生候选区域，并对候选区域进行roi池化，得到对应的特征映射图；最后将rpn网络输出的特征映射图做展平处理，通过两个全连接层输出图像中肺结节边界框的位置与类别信息。
[0118]
实施例4：
[0119]
一种基于改进fasterrcnn算法的肺结节检测装置的使用过程如下：
[0120]
1)肺结节ct图像预处理
[0121]
本发明使用的数据集共含有300个病人的5559张肺结节图片，通过对肺结节图片进行90度和180度翻转来扩充数据集，将所有数据标注转换为voc格式，得到16679张肺结节图片及其对应的voc格式的标注信息，并将数据集按病人划分为训练集和测试集。
[0122]
2)提取图像特征信息
[0123]
本发明网络结构中使用的网络以unet作为基础网络，并且进行了改进。原始的unet网络使通过卷积的方式提取特征，并且采用最大池化进行下采样，新的网络引入了resnet的残差结构，使得网络可以变得更深时，减缓梯度消失，让模型更快收敛；同时将最大池化换成步长为2的卷积核进行下采样以保留图片细节信息；fpn网络可以对不同尺度的特征映射图进行特征的复用与融合，从而增强网络对不同大小目标检测能力，但同时会带来巨大的时间内存开销，新的网络将用dilated encoder替代fpn，在保留多尺度特征信息同时可以有效减少时间内存开销，所以
[0124]
将原unet网络中卷积层替换成含有残差结构的resblock{4,6，8，4}，resblock中每个bottleneck使用1
×
1 3
×
3 1
×
1组合的卷积层，将原始最大池化下采样用步长为2卷积核进行替换；
[0125]
将特征金字塔网络fpn替换成膨胀编码器dilated encoder，通过将空洞的residual block，首先通过含有bn层的1x1以及3x3卷积，接着使用带有不同dilated rate的residual block来产生具有多感受野的特征图，能够获得更加丰富的特征。这里采用的dilated rate为{2，4，6，8}，dilated encoder示意图如图2所示。
[0126]
3)使用rpn对anchor box进行分类和回归
[0127]
与选用固定anchor box不同，本发明使用k-means方法对数据集的目标框大小进行聚类，按降序排序依次得到前9组值作为anchor box的长宽。之后，区域建议网络rpn在提取到的特征图基础上进行卷积操作，负责生成锚框并对anchor box进行分类和回归，该层主要用于生成目标候选区域。通过bce loss对anchor box为前景或是背景进行类别判断，利用smooth l1 loss回归修正anchor box长宽，最后按置信度和交并比排序推荐产生候选区域。
[0128]
4)对候选区域进行roi池化，得到对应区域特征映射图，进行类别判断与位置精修
rpn生成目标候选区域，通过roi pooling生成固定大小的特征映射图(此处特征映射图大小为7
×
7)，送入后续全连接层得到roi特征向量，进行目标区域类别的判定和目标区域位置的精修。