一种基于深度学习的肋骨CT影像骨折检测分割辅助阅片方法及系统与流程

一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统
技术领域
1.本发明涉及图像处理领域，特别是涉及一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统。


背景技术：

2.近年来对于医学影像诊断的需求不断攀升，ct影像即为一种常见的3d医学影像。而由于ct影像的层厚、层间距较小，一例患者的ct影像可能会产生上百张扫描图像。为了准确地进行诊断，医生需要对这些图像逐张进行排查，寻找病灶，工作量大，耗时耗力，给医生带来较为沉重的工作负担。
3.已公开的专利cn113077419a，公开了一种用于髋关节ct影像识别的信息处理方法，首先对ct影像进行预处理，后将预处理后的图像输入至2ddenseunet神经网络模型中，对骨折区域进行识别，而后将识别的骨折区域的影像数据输入至maskrcnn网络模型，由该maskrcnn对骨折区域进行分割，生成骨折块区域的影像数据；最后将骨折区域的影像映射到ct影像的原始影像尺度，但上述专利只对解决骨折区域识别不准确的问题，无法系统的解决骨折类型的判别，同时只在二维图像上进行肺结节检测，无法利用ct影像的空间信息，存在准确率较低和假阳性率较高的缺陷。已公开的专利cn113077418a，基于卷积神经网络的ct影像骨骼分割方法，通过足够的数据量以及参数量，使得骨骼识别模型可以学习到更加复杂以及更高维度的特征，但存在常见检测网络框架结构冗余，参数量大造成网络训练周期长，模型无法小型化的缺陷。


技术实现要素：

4.本发明主要解决的技术问题是提供一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法及系统，能够提高ct影像排查的效率，并能为医生提供预诊断结果，提高诊断准确率的同时有效降低医生工作量。
5.为解决上述技术问题，本发明采用的一个技术方案是：提供一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法，包括以下步骤：s1：ct影像输入：用户通过输入模块输入初始的ct影像；s2：ct影像预处理：由数据预处理模块对输入的ct影像进行切片和切块处理，得到2d切片序列图像数据集和3d切块序列图像数据集，并进行数据增强以及数据划分；s3：3d初检：将s1得到的3d切块序列图像数据集作为输入，由图像初检模块得到初步的疑似骨折区域，作为病灶区域；s4：2d筛选：将s2得到的病灶区域映射至对应的2d切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域并输出骨折概率；s5：3d分割：将s3保留的真阳性区域，按比例映射至主干网络、fpn的不同尺度特征图上，由精细分割模块得到最终的3d分割结果；
s6：阅片结果输出：将骨折检测结果输出给用户；所述骨折检测结果，包括由s5得到的3d分割结果所对应的2d切片图像，及骨折区域、骨折类型的标注。
6.并提供一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片系统，包括：ct影像输入模块，数据预处理模块，图像初检模块，病灶筛选模块，精细分割模块，结果输出模块。
7.进一步的，所述数据预处理模块，包括：切片预处理功能，切块预处理功能，数据增强功能，数据划分功能；所述切片预处理功能，将获取的原始ct影像按指定方向、指定图像大小转换为2d切片序列图像数据集；所述切块预处理功能，将获取的原始ct影像按指定图块大小转换为3d切块序列图像数据集；所述数据增强功能，包括图像旋转、图像翻转、图像缩放；所述数据划分功能，通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
8.进一步的，所述图像旋转，包括：对于2d切片图像数据，以图像中心为旋转中心，按逆时针方向旋转90
°
、180
°
或270
°
；对于3d切块图像数据，以xy平面中心绕z轴逆时针旋转90
°
、180
°
或270
°
；所述图像翻转，包括：对于2d切片图像数据，以图像中心进行水平翻转或垂直翻转；对于3d切块图像数据，以yz平面绕x轴翻转或xz平面绕y轴进行翻转；所述图像缩放，包括：对于2d切片图像数据，将图像进行0.7~1.3倍的缩放；对于3d切块图像数据，保持z方向图像不变，将xy方向进行0.7~1.3倍的缩放。
9.进一步的，所述图像初检模块，包括：由3d卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3d卷积神经网络，分为主干网络、特征金字塔网络及检测组件。
10.进一步的，所述病灶筛选模块，由2d分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果，及区分骨折类型；所述2d分类卷积神经网络，获得由图像初检模块得到的3d病灶区域，并处理成对应的2d切片图像集，由2d分类卷积神经网络对每一个切片图像进行分类，分类结果为切片图像对应预设骨折的概率；所述预设骨折，包括：弯曲骨折、移位骨折、无移位骨折、节段性骨折。
11.进一步的，所述分类结果，当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在骨折；所述阈值，弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶
区域存在此类骨折，作为真阳性区域并保留该病灶区域。
12.进一步的，所述概率值，计算公式为：其中，i表示第i种类型骨折，xi表示第i种类型骨折的特征值；所述特征值，由2d切片图像经过2d分类卷积神经网络卷积后会得到的四维向量，分别代表各预设骨折的特征值。
13.进一步的，所述精细分割模块，由3d分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
14.本发明的有益效果是：1、能够实现ct影像的快速排查，有效降低医生工作量；2、能够实现对骨折的四种类型进行检测并分析，作为预诊断反馈给医生；3、采用3d—2d—3d的检测方法，在保证检测效率的同时有效提升准确度。
附图说明
15.图1是本发明一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法的流程图。
16.图2是一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片系统的网络流程示意图。
具体实施方式
17.下面结合附图对本发明的较佳实施例进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
18.请参阅图1，本发明实施例包括：一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片方法，其特征在于，包括以下步骤：s1，ct影像预处理：由数据预处理模块对输入的ct影像进行切片和切块处理，得到2d切片序列图像数据集和3d切块序列图像数据集，并进行数据增强以及数据划分；s2，3d初检：将s1得到的3d切块序列图像数据集作为输入，由图像初检模块得到初步的疑似骨折区域，作为病灶区域；s3，2d筛选：将s2得到的病灶区域映射至对应的2d切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域；s4，3d分割：将s3保留的真阳性区域，按比例映射至主干网络、fpn的不同尺度特征图上，由精细分割模块得到最终的3d分割结果，计算概率值，经过网络卷积后会得到一个四维的向量，分别代表各类骨折的特征值，使用softmax进行归一化即得到每种类型骨折的概率，概率值计算公式：其中i表示第i种类型骨折，xi表示第i种类型骨折的特征值。
19.当连续的若干个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
20.进一步的，当最终的概率值为0.6时，表示存在弯曲骨折；当最终的概率值为0.7时，表示存在移位骨折；当最终的概率值为0.6时，表示存在无移位骨折；当最终的概率值为0.8时，表示存在节段性骨折；在另一个实施例中，步骤s1：切片处理为保持z方向物理间距不变，将xy方向的图像重采样至大小512*512，得到2d切片；切块处理为按照步长50*50*50，提取大小为128*128*64且有相互重叠的3d立方块；数据增强方式有随机旋转、水平翻转、垂直翻转和随机缩放；训练集与验证集的划分依据5折交叉验证法进行划分。
21.步骤s2：根据步骤s1得到的一系列图像输入到3d 卷积神经网络中，得到初步检出疑似存在骨折的区域；步骤s3：根据筛选出的病灶区域图像映射至对应的2d切片序列图像数据上，由病灶筛选模块进行分类，保留真阳性区域，在感兴趣的区域按照步长为50*50*50，提取大小为128*128*64且有相互重叠的片块(patch)；步骤s4：3d分割：将s3保留的真阳性区域，按比例映射至主干网络、fpn的不同尺度特征图上，由精细分割模块计算。
22.ct影像骨折检测分割辅助阅片系统，其特征在于，包括：ct影像输入模块，数据预处理模块，图像初检模块，病灶筛选模块，精细分割模块，结果输出模块。
23.数据预处理模块，用于将输入ct影像的图像灰度值规范化，提取肺的轮廓和肺部感兴趣的区域roi(region of interest)，并根据肺部感兴趣的区域将肺部区域图像从ct影像中筛选出来；包括：切片预处理功能，切块预处理功能，数据增强功能，数据划分功能；所述切片预处理功能，将获取的原始ct影像按指定方向、指定图像大小转换为2d切片序列图像数据集。
24.进一步的，所述切块预处理功能，将获取的原始ct影像按指定图块大小转换为3d切块序列图像数据集。
25.进一步的，所述数据增强功能，包括图像旋转、图像翻转、图像缩放；所述图像旋转，包括：对于2d切片图像数据，以图像中心为旋转中心，按逆时针方向旋转90
°
、180
°
或270
°
；对于3d切块图像数据，以xy平面中心绕z轴逆时针旋转90
°
、180
°
或270
°
；所述图像翻转，包括：对于2d切片图像数据，以图像中心进行水平翻转或垂直翻转；对于3d切块图像数据，以yz平面绕x轴翻转或xz平面绕y轴进行翻转；所述图像缩放，包括：对于2d切片图像数据，将图像进行0.7~1.3倍的缩放；对于3d切块图像数据，保持z方向图像不变，将xy方向进行0.7~1.3倍的缩放。
26.所述数据划分功能，本实施例通过k折交叉验证的方法将图像数据集划分为训练集与验证集。
27.图像初检模块，包括：由3d卷积神经网络构成，负责检出疑似存在骨折的病灶区域；所述3d卷积神经网络，分为主干网络、特征金字塔网络及检测组件，病灶筛选模块，由2d分类卷积神经网络构成，负责对图像初检模块得到的病灶区域进一步判断剔除假阳性结果，及区分骨折类型，通过查阅医学资料，可得知现有医学领域中，将骨折的大致类型分为四类，分别是弯曲骨折、移位骨折、无移位骨折、节段性骨折，1、弯曲骨折（buckle）：内侧或外侧皮质破裂，而另一个皮质没有可观察到的骨折；2、无移位骨
折（non-displaced）：皮质完全破坏，但仍保持对齐。由于没有发生皮层偏移，医生很难从x光片中检测到非移位骨折。这类损伤只有在表现出愈合迹象后才能在x光片下呈现，因此放射科医生应寻找相关的损伤；3、移位骨折（displaced）：此类骨折可观察到明显的皮层破裂和对齐异常，可能会伤害周围的组织和结构；4、节段性骨折（segmental）：属于高度损伤，在同一肋骨中至少有两处单独的完整骨折。节段性骨折可能在解剖学上保持对准，但经常在一或两处骨折部位出现部分或大幅度移位；所述2d分类卷积神经网络，获得由图像初检模块得到的3d病灶区域，并处理成对应的2d切片图像集，由2d分类卷积神经网络对每一个切片图像进行分类，输出结果为切片图像对应预设骨折的概率；进一步的，所述预设骨折，包括：弯曲骨折、移位骨折、无移位骨折、节段性骨折。
28.进一步的，所述输出结果，当某种预设骨折的概率值最高且大于相应的阈值，则表示该切片图像存在此类骨折，否则表示该切片不存在骨折；进一步的，所述阈值，弯曲骨折、移位骨折、无移位骨折、节段性骨折对应的概率阈值分别为0.6、0.7、0.6、0.8；当连续的n个切片图像的输出结果都表示存在同一类预设骨折时，则认为该病灶区域存在此类骨折，作为真阳性区域并保留该病灶区域。
29.精细分割模块，由3d分割卷积神经网络构成，负责对病灶筛选模块保留下的真阳性区域进行精细化分割。
30.综上所述，本发明实施例提供的基于深度学习的ct影像肺气管的分割方法及系统同时运用2d分类卷积神经网络和3d卷积神经网络，使得病灶区域分割结果更优，分割方法更加鲁棒。而且在2d分类卷积神经网络训练过程中，进一步判断剔除采样的方法能够提高网络的训练效率和精度。
31.如图2所示，本发明实施例的深度学习网络包括：主干网络：对输入图像通过卷积和下采样进行高层次抽象特征的提取，得到不同尺度（原图尺寸的1/4、1/8、1/16、1/32）的特征图。
32.特征金字塔网络：将主干网络得到的特征图经过上采样后，和上一层的特征图进行融合、卷积，得到新的不同尺度的特征图。
33.检测组件：对输入特征图进行卷积、下采样、全连接，得到感兴趣区域。
34.分类网络：对输入特征图进行卷积、下采样、全连接，得到不同类别目标的相应概率。
35.分割网络：对输入特征图进行卷积、上采样、融合，得到最终分割结果。
36.通过以上的实施方式的描述，本领域的技术人员本发明提供了一种基于深度学习的肋骨ct影像骨折检测分割辅助阅片系统方法及系统，通过2d分离卷积神经网络和3d卷积神经网络对ct影像进行文字标注和图像标注，有效地提高了标注效率和准确性，使得医生可以对医学影像进行快速准确地标注，提高了疾病诊断的效率，降低医生的工作量，运用计算机通信技术与设备、医疗技术与设备，通过文字、语音和图像资料可以精准的判断出病人存在的骨折类型，便于后续医生的应对和辅助诊疗。
37.以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技
术领域，均同理包括在本发明的专利保护范围内。