一种基于深度学习的髋关节CT图像分割方法与流程

一种基于深度学习的髋关节ct图像分割方法
技术领域
1.本发明涉及医学图像处理领域，具体涉及一种基于深度学习的髋关节ct图像分割方法。


背景技术：

2.在髋关节置换手术术前规划过程中，髋关节分割是十分重要的一步。通过髋关节分割可以提供髋骨与股骨的三维模型，用于后续的配准点选取，同时患者髋臼窝处的病变区域，可以用于术中打磨髋骨时的即时渲染，便于医生对打磨深度的把控。
3.专利号为cn111563899a的专利提出了一种髋关节ct图像中骨的分割方法，该方法通过gan网络对髋关节ct图像的二维切片进行分割，再使用lstm网络学习切片之间的层间信息。尽管lstm网络具有一定的序列信息的处理能力，但它的输入始终只是局部的序列信息，无法把握全局的层间信息，在对3d图像的处理能力上有所欠缺。
4.专利号为cn107274389a的专利提出了一种基于ct三维序列图像的股骨和髋臼解剖参数获取方法，该方法通过阈值分割进行粗分割，使用hessian矩阵强化间隙区域，再使用水平集方法得到精分割结果。其中阈值分割方法对图像噪声、伪影十分敏感，容易出现过分割；而水平集方法是一种迭代方法，容易陷入局部最优，且水平集算法需要设定超参数，而同一套超参数无法适应不同的数据，因此算法的稳定性较差。
5.专利号为cn114419618a的专利提出了一种基于深度学习的全髋关节置换术前规划系统，该系统的分割模块中使用一个3d分割网络对髋关节进行分割。由于ct图像通常较大，髋臼窝处的病变区域在整个图像中的占比很小，因此使用一个网络对整个图像进行分割会造成髂骨、股骨柄等体积较大区域的分割效果较好，而髋臼窝处的病变则对损失函数的贡献不大，导致髋臼窝处的分割效果不好。


技术实现要素：

6.本发明的目的在于克服上述背景技术中描述的现有技术的缺点，提供一种基于深度学习的髋关节ct图像分割方法，该方法首先通过unet网络对髋关节进行粗分割，简化了模型并提升了层间信息的处理能力；接着通过髋臼窝中心检测，自动定位髋臼窝的位置，使用transformer网络对髋臼窝处的股骨头和髋臼窝进行精细分割，有效地提高了病变处的分割精度。
7.为实现以上目的，本发明采用以下技术方案予以实现：一种基于深度学习的髋关节ct图像分割方法，包括以下步骤：获取待处理的髋关节ct图像；通过神经网络分割定位模块对输入图像进行粗分割，得到髋骨与股骨的粗分割结果以及左右髋臼窝中心的定位结果；通过基于transformer的精分割模块对髋臼窝中心进行精细分割，得到髋臼窝与股骨头的精分割结果；
将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合，得到最终的分割结果。
8.进一步地，所述神经网络分割定位模块包括：降采样部分，神经网络结构，分割分支和定位分支。
9.进一步地，所述降采样部分使用线性插值法对输入图像进行采样。
10.进一步地，所述神经网络结构使用unet作为基本的网络结构。
11.进一步地，所述分割分支由尺寸为1*1*1的3d卷积组成，所述定位分支由尺寸为3*3*3的3d卷积组成。
12.进一步地，所述分割分支的损失函数采用diceloss函数，所述定位分支的损失函数采用mseloss函数，且两个分支共享同一个unet的权重。
13.进一步地，所述通过神经网络分割定位模块对输入图像进行粗分割，得到髋骨与股骨的粗分割结果以及左右髋臼窝中心的定位结果，包括：通过所述降采样部分对输入图像进行降采样，使得采样后的图像分辨率以及层间距为2 mm；通过所述unet神经网络结构提取3d图像在高维与低维的语义特征，并将它们进行融合，得到特征图像；通过所述分割分支输出每个体素点的类别，得到髋骨与股骨的粗分割结果；通过所述定位分支输出髋臼窝中心点的概率热图，越靠近髋臼窝中心处的体素值越接近于1，反之则接近于0，选取概率值最大的体素坐标作为最终髋臼窝中心的定位结果。
14.进一步地，所述基于transformer的精分割模块包括：图像裁剪部分，块嵌入，transformer编码器，解码器。
15.进一步地，所述transformer编码器包括：归一化函数、全连接层和多头自注意力。其中归一化函数可以调整数据分布，避免梯度消失；全连接层用于对块嵌入进行线性映射；多头自注意力可以使神经网络更加关注目标区域，能够有效地提升网络对图像的感知能力。
16.进一步地，所述解码器由尺寸为3*3*3的三维卷积算子组成。
17.进一步地，所述通过基于transformer的精分割模块对髋臼窝中心进行精细分割，得到髋臼窝与股骨头的精分割结果，包括：根据所述髋臼窝中心点的定位结果，通过所述图像裁剪部分裁剪大小为96*96*96的区域作为所述精分割模块的输入图像；将裁剪后的输入图像切分成n个小块，并将n个块状图像进行位置编码与线性映射，得到每个块状图像的块嵌入；所述块嵌入在经过所述transformer编码器编码之后获得较强的特征表达能力；所述解码器对经过所述transformer编码器编码后的所述块嵌入进行解码，将所述块嵌入重新转换为图像形式，并对图像中的每个体素点进行分类；对所述神经网络进行训练，直到损失函数收敛，可以得到最终的神经网络模型，其中所述神经网络的损失函数采用bceloss函数；利用所述神经网络模型对裁剪后的图像进行分割，得到所述髋臼窝与所述股骨头的精分割结果。
18.进一步地，所述将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合，得到最终的分割结果，包括：将粗分割得到的结果重采样为分辨率1 mm的图像；计算精分割结果中每个前景体素点在ras坐标系下的坐标；将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合；融合之后对图像进行高斯平滑，去除粗分割结果与精分割结果边界处的毛刺，得到最终的髋关节ct图像分割结果。
19.进一步地，所述高斯平滑的平滑半径设置为1 mm。
20.本发明提供了一种基于深度学习的髋关节ct图像分割方法，与现有技术相比，本发明具有以下优点：1、使用unet网络直接在3d图像上对目标进行分割，简化了模型并提升了层间信息的处理能力；2、基于深度学习的方法，可以有效地避免噪声、伪影带来的影响，且深度学习卷积算子以及自注意力模块可以起到类似hessian矩阵的作用，无需单独对间隙区域另作处理，算法稳定性更好；3、通过定位方法，自动检测髋臼窝中心位置，对髋臼窝中心附近的区域进行裁剪后使用单独的神经网络进行分割，可以避免髋骨和股骨其他区域的影响，提升髋臼窝和股骨头的分割精度。
附图说明
21.下面将参考附图来描述本发明示例性实施例的特征、优点和技术效果。
22.图1是本发明实施例提供的基于深度学习的髋关节ct图像分割方法的流程图示意图；图2是本发明实施例提供的神经网络分割定位模块对输入图像进行粗分割的示意图；图3是本发明实施例提供的基于transformer的精分割模块对髋臼窝中心进行精细分割的示意图；图4是本发明实施例提供的分割结果的融合示意图。
具体实施方式
23.下面将详细描述本公开的各个方面的特征和示例性实施例，为了使本公开 的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本公开进行进一步详细描述。应理解，此处所描述的具体实施例仅意在解释本公开， 而不是限定本公开。对于本领域技术人员来说，本公开可以在不需要这些具体 细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本 公开的示例来提供对本公开更好的理解。
24.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将 一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些 实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵
盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
25.为了更好地理解本发明，下面结合附图对本发明实施例进行详细描述。
26.图1是本发明实施例提供的基于深度学习的髋关节ct图像分割方法的流程图示意图。
27.如图1所示，本发明提供一种基于深度学习的髋关节ct图像分割方法，包括以下步骤：s101，获取待处理的髋关节ct图像；s102，通过神经网络分割定位模块对输入图像进行粗分割，得到髋骨与股骨的粗分割结果以及左右髋臼窝中心的定位结果；s103，通过基于transformer的精分割模块对髋臼窝中心进行精细分割，得到髋臼窝与股骨头的精分割结果；s104，将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合，得到最终的分割结果。
28.图2是本发明实施例提供的神经网络分割定位模块对输入图像进行粗分割的示意图。
29.如图2所示，所述神经网络分割定位模块包括：降采样部分，神经网络结构，分割分支和定位分支。
30.作为一种可选的实施方式，所述降采样部分使用线性插值法对输入图像进行采样。
31.作为一种可选的实施方式，降采样部分也可以使用其他可以达到相同或者类似效果的算法对输入图像进行采样。
32.作为一种可选的实施方式，所述神经网络结构使用unet作为基本的网络结构。
33.作为一种可选的实施方式，所述神经网络结构也可以使用其他的卷积神经网络作为基本的网络结构，以达到相同或者类似效果。
34.作为一种可选的实施方式，所述分割分支由尺寸为1*1*1的3d卷积组成，所述定位分支由尺寸为3*3*3的3d卷积组成。
35.作为一种可选的实施方式，所述分割分支的损失函数采用diceloss函数，所述定位分支的损失函数采用mseloss函数，且两个分支共享同一个unet的权重。
36.作为一种可选的实施方式，s102中所述通过神经网络分割定位模块对输入图像进行粗分割，得到髋骨与股骨的粗分割结果以及左右髋臼窝中心的定位结果，包括：通过所述降采样部分对输入图像进行降采样，使得采样后的图像分辨率以及层间距为2 mm；通过所述unet神经网络结构提取3d图像在高维与低维的语义特征，并将它们进行融合，得到特征图像；通过所述分割分支输出每个体素点的类别，得到髋骨与股骨的粗分割结果；通过所述定位分支输出髋臼窝中心点的概率热图，越靠近髋臼窝中心处的体素值
越接近于1，反之则接近于0，选取概率值最大的体素坐标作为最终髋臼窝中心的定位结果。
37.图3是本发明实施例提供的基于transformer的精分割模块对髋臼窝中心进行精细分割的示意图。
38.如图3所示，所述基于transformer的精分割模块包括：图像裁剪部分，块嵌入，transformer编码器，解码器。
39.作为一种可选的实施方式，所述transformer编码器包括：归一化函数、全连接层和多头自注意力。其中归一化函数可以调整数据分布，避免梯度消失；全连接层用于对块嵌入进行线性映射；多头自注意力可以使神经网络更加关注目标区域，能够有效地提升网络对图像的感知能力。
40.作为一种可选的实施方式，所述解码器由尺寸为3*3*3的三维卷积算子组成。
41.作为一种可选的实施方式，s103中所述通过基于transformer的精分割模块对髋臼窝中心进行精细分割，得到髋臼窝与股骨头的精分割结果，包括：根据所述髋臼窝中心点的定位结果，通过所述图像裁剪部分裁剪大小为96*96*96的区域作为所述精分割模块的输入图像；将裁剪后的输入图像切分成n个小块，并将n个块状图像进行位置编码与线性映射，得到每个块状图像的块嵌入；所述块嵌入在经过所述transformer编码器编码之后获得较强的特征表达能力；所述解码器对经过所述transformer编码器编码后的所述块嵌入进行解码，将所述块嵌入重新转换为图像形式，并对图像中的每个体素点进行分类；对所述神经网络进行训练，直到损失函数收敛，可以得到最终的神经网络模型，其中所述神经网络的损失函数采用bceloss函数；利用所述神经网络模型对裁剪后的图像进行分割，得到所述髋臼窝与所述股骨头的精分割结果。
42.图4是本发明实施例提供的分割结果的融合示意图。
43.如图4所示，s104中所述将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合，得到最终的分割结果，包括：将粗分割得到的结果重采样为分辨率1 mm的图像；计算精分割结果中每个前景体素点在ras坐标系下的坐标；将粗分割结果中对应坐标下的体素点类别替换为精分割结果的类别，实现两种结果的融合；融合之后对图像进行高斯平滑，去除粗分割结果与精分割结果边界处的毛刺，得到最终的髋关节ct图像分割结果。
44.作为一种可选的实施方式，所述高斯平滑的平滑半径设置为1 mm。
45.本发明提供了一种基于深度学习的髋关节ct图像分割方法，与现有技术相比，本发明具有以下优点：1、使用unet网络直接在3d图像上对目标进行分割，简化了模型并提升了层间信息的处理能力；2、基于深度学习的方法，可以有效地避免噪声、伪影带来的影响，且深度学习卷积算子以及自注意力模块可以起到类似hessian矩阵的作用，无需单独对间隙区域另作处理，
算法稳定性更好；3、通过定位方法，自动检测髋臼窝中心位置，对髋臼窝中心附近的区域进行裁剪后使用单独的神经网络进行分割，可以避免髋骨和股骨其他区域的影响，提升髋臼窝和股骨头的分割精度。
46.虽然已经参考优选实施例对本发明进行了描述，但在不脱离本发明的范围的情况下，可以对其进行各种改进并且可以用等效物替换其中的部件。尤其是，只要不存在结构冲突，各个实施例中所提到的各项技术特征均可以任意方式组合起来。本发明并不局于文中公开的特定实施例，而是包括落入权利要求的范围内的所有技术方案。