脊椎医学影像处理方法、装置、设备及存储介质与流程

1.本公开涉及医学影像处理领域，尤其涉及一种脊椎医学影像处理方法、装置、设备及存储介质。


背景技术：

2.随着医学影像技术的不断进步，ct医学影像在脊椎疾病诊断中被广发应用。为了通过ct影像来定位脊椎病灶的位置，从ct影像中对脊椎进行检测和分割起到重要作用。
3.正常人有24根脊椎，其中7根颈椎、12根胸椎和5根腰椎，相比于其他脊椎，颈椎和靠近颈椎的胸椎部份存在明显的角度差异性，在脊椎检测和分割中会因大角度和大重叠度存在明显的精度问题。
4.对脊椎这种外观相似的目标进行多目标分类会存在明显问题，分割结果粗糙，欠分割严重，相邻脊椎标签容易重叠混淆，存在一个脊椎上有多标签分割结果问题，导致重复分割。


技术实现要素：

5.本公开提供了一种脊椎医学影像处理方法、装置、设备及存储介质，以至少解决现有技术中存在的以上技术问题。
6.根据本公开的第一方面，提供了一种脊椎医学影像处理方法，所述方法包括：
7.对脊椎的原始影像进行粗分割，得到脊椎的粗分割影像；
8.基于所述粗分割影像，提取脊椎矢状位的中心线；
9.根据所述中心线划分梯度区段；
10.对超限梯度区段对应的所述原始影像进行矫正，得到矫正影像，所述超限梯度区段为与轴位的夹角角度超过梯度阈值的梯度区段；
11.根据所述矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果；
12.将所述检测结果投影到所述原始影像；
13.根据所述检测结果对所述原始影像进行精分割处理。
14.在一可实施方式中，基于所述脊椎粗分割影像，提取脊椎矢状位的中心线，包括：
15.将脊椎粗分割影像沿矢状位视角进行压缩投影，得到脊椎的矢状位分割影像；
16.对所述矢状位分割影像进行图像平滑和滤波处理；
17.根据平滑和滤波处理后的所述矢状位分割影像，提取所述中心线。
18.在一可实施方式中，对超限梯度区段对应的所述原始影像进行矫正，包括：
19.获取原始影像中与所述超限梯度区段对应的待矫正脊椎；
20.旋转所述待矫正脊椎。
21.在一可实施方式中，根据所述矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果，包括：
22.以resnet作为骨干网络提取特征，得到特征图；
23.对所述特征图通过特征金字塔进行多层级信息结合，得到结合图。
24.在一可实施方式中，在得到所述结合图之后，所述方法还包括：
25.对所述结合图进行分类和检测框检测，在所述检测框检测中采用3danchors作为候选框，在所述检测框检测中采用smoothl1 loss计算损失，在所述分类中采用focalloss计算损失。
26.在一可实施方式中，将所述检测结果投影到所述原始影像，包括：
27.通过非极大值抑制消除冗余检测框，得到最佳检测框；
28.对非极大值抑制后的所述最佳检测框采用仿射变换，仿射变换矩阵为对所述原始影像进行矫正变换的逆变换，以使所述检测结果投影到所述原始影像上；
29.计算投影后的检测框区域与所述粗分割影像的重叠度，将所述重叠度小于重叠阈值的检测框去除；
30.对轴位上检测框中心距离小于5个像素的检测框，通过冠状位和矢状位上距所述粗分割结果的中心线的欧氏距离来选取，选取距离最小的检测框为最终的检测框。
31.在一可实施方式中，根据所述检测结果对所述原始影像进行精分割处理，包括：
32.根据所述检测结果将所述原始影像中的脊椎进行区段划分；
33.对划分的每一个所述区段进行精分割处理，得到每一节脊椎的分割结果。
34.在一可实施方式中，根据所述检测结果将所述原始影像中的脊椎进行区段划分，包括：
35.通过脊椎椎体检的检测框范围和所述粗分割影像确定区段在冠状位和矢状位的范围，该范围包含目标脊椎节段的椎体和附件，并沿冠状位和矢状位向脊椎外侧延展10mm，在轴位向目标脊椎节段外延展20mm。
36.根据本公开的第二方面，提供了一种脊椎医学影像处理装置，所述装置包括：
37.粗分割模块，其用于对脊椎的原始影像进行粗分割，得到脊椎的粗分割影像；
38.提取模块，其用于基于所述粗分割影像，提取脊椎矢状位的中心线；
39.划分模块，其用于根据所述中心线划分梯度区段；
40.矫正模块，其用于对各梯度区段对应的所述原始影像进行矫正，使各梯度区段与轴位的夹角角度在预设阈值内，得到矫正影像；
41.检测模块，其用于根据所述矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果；
42.投影模块，其用于将所述检测结果投影到所述原始影像；
43.精分割模块，其用于根据所述检测结果对所述原始影像进行精分割处理。
44.根据本公开的第三方面，提供了一种电子设备，包括：
45.至少一个处理器；以及
46.与所述至少一个处理器通信连接的存储器；其中，
47.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开所述的方法。
48.根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开所述的方法。
49.本公开的脊椎医学影像处理方法、装置、设备及存储介质，在对脊椎粗分割的基础
上，对角度差异较大的部位进行矫正，使矫正后的脊椎相对轴位基本平行，对矫正后的脊椎进行检测能够解决脊椎多目标分割造成的重复分割问题，能够实现脊椎的准确检测分割。根据投影到原始影像的检测结果对原始影像进行精分割，避免因大角度和大重叠而造成的精度问题，针对角度不同和大小不同的颈椎、胸椎和腰椎，具有较好的检测分割精度。
50.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
51.通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
52.在附图中，相同或对应的标号表示相同或对应的部分。
53.图1示出了本公开实施例的脊椎医学影像处理方法的实现流程示意图一；
54.图2示出了本公开实施例的脊椎医学影像处理方法的实现影像变化示意图一；
55.图3示出了本公开实施例的脊椎医学影像处理方法的实现影像变化示意图二；
56.图4示出了本公开实施例一种电子设备的组成结构示意图。
具体实施方式
57.为使本公开的目的、特征、优点能够更加的明显和易懂，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而非全部实施例。基于本公开中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
58.本公开实施例提供了一种脊椎医学影像处理方法，该方法能够对包括脊椎ct医学影像进行处理，解决脊椎大角度和大重叠度导致影像切割存在明显的精度问题。参见图1和图2，下面以对脊椎ct医学影像进行处理为例，对本公开实施例的脊椎医学影像处理方法进行说明。本公开实施例的脊椎医学影像处理方法包括：
59.对脊椎的原始影像进行粗分割，得到脊椎的粗分割影像；
60.基于粗分割影像，提取脊椎矢状位的中心线；
61.根据中心线划分梯度区段；
62.对超限梯度区段对应的原始影像进行矫正，得到矫正影像，超限梯度区段为与轴位的夹角角度超过梯度阈值的梯度区段；
63.根据矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果；
64.将检测结果投影到原始影像；
65.根据检测结果对原始影像进行精分割处理。
66.脊椎具有较高的形状相似性，脊椎检测分割中的明显难度在于不同人的脊椎空间走势不同，正常人的颈椎和靠近颈椎部位的胸椎，以及腰椎在矢状位上存在一定的倾斜角度，但对于脊椎弯曲的患者(类似驼背)来说，脊椎在矢状位上弯曲程度较正常人的有明显区别，对这样的脊椎医学影像进行脊椎检测会有较大的检测难度。本公开实施例的脊椎医学影像处理方法，在对脊椎粗分割的基础上，对角度差异较大的部位进行矫正，使矫正后的
脊椎相对轴位基本平行，对矫正后的脊椎进行检测能够解决脊椎多目标分割造成的重复分割问题，为脊椎的准确检测分割提供了良好的基础。根据投影到原始影像的检测结果对原始影像进行精分割，避免因大角度和大重叠而造成的精度问题，针对角度不同和大小不同的颈椎、胸椎和腰椎，具有较好的检测分割精度。
67.本公开实施例中，对原始影像进行粗分割的具体方式不限。示例实施例中，参加图2，可以采用3d-unet网络模型对原始影像进行脊椎粗分割处理，得到脊椎3d粗分割影像，其中不同节段脊椎统一标签。脊椎粗分割是为了将脊椎作为前景提取。图2中第一图为粗分割影像。
68.在一可实施方式中，参见图2，基于脊椎粗分割影像，提取脊椎矢状位的中心线，包括：
69.将脊椎粗分割影像沿矢状位视角进行压缩投影，得到脊椎的矢状位分割影像；参见图2中第二图。
70.对矢状位分割影像进行图像平滑和滤波处理；
71.根据平滑和滤波处理后的矢状位分割影像，提取中心线。参见图2中第三图。
72.在对原始影像进行3d粗分割后，提取中心线之前，将得到的脊椎3d粗分割结果沿着矢状位视角进行压缩投影，压缩投影是沿着矢状位视角对脊椎3d粗分割mask进行或处理后生成二值图，得到脊椎的矢状位2d分割结果。
73.对脊椎的矢状位2d分割影像进行图像平滑和滤波处理，对矢状位分割影像进行降噪，可以消除孤立的噪点和非脊椎投影，并可以进一步对图像边缘进行平滑。矢状位分割影像处理的具体方法可以包括：先对矢状位分割影像进行高斯平滑去除孤立噪点，然后采用开运算去除非脊椎投影，最后采用闭运算对脊椎投影内部孔洞进行填充和边缘平滑。对矢状位分割影像进行处理后，提取脊椎2d中心线。本公开实施例中，提取脊椎2d中心线的具体方式不限，例如，可以采用任何现有的方式提取脊椎中心线，在此不再赘述。
74.划分梯度区段时，可以是对中心线进行轮廓拟合来划分不同的梯度区段。在矢状位，颈椎、胸椎和腰椎弯曲的方向发生变化，根据中心线可以确定拐点，从而能够对应颈椎、胸椎和腰椎划分3个梯度区段。根据划分的梯度区段可以确定脊椎医学影像中矢状位上倾斜程度较大的区段，该区段的脊椎检测分割存在较大的精度问题，为了提高脊椎检测分割的准确性，对原始影像中梯度较大的区段进行姿态矫正，使得矫正后的脊椎影像沿轴位近似水平。是否需要矫正，可以根据各梯度区段与轴位的夹角大小来确定，当某一梯度区段与轴位的夹角大于梯度阈值时，则该梯度区段可称之为超限梯度区段，对所有超限梯度区段对应的原始影像部分进行矫正。该梯度阈值可以是5度。当某一梯度区段与轴位的夹角大于5度时，则该梯度区段为超限梯度区段，需要对该梯度区段对应的原始影像部分进行矫正。
75.在一可实施方式中，参见图2，对超限梯度区段对应的原始影像进行矫正，包括：
76.获取原始影像中与超限梯度区段对应的待矫正脊椎；
77.旋转待矫正脊椎。参见图2中第四图。
78.本公开实施例中，原始影像中与超限梯度区段对应的脊椎可以称为待矫正脊椎，对待矫正脊椎进行旋转，可以使该脊椎与轴位近似平行，为后续的精准检测和分割提供了基础。旋转待矫正脊椎可以是绕该待矫正脊椎的中心旋转，也可以是绕该待矫正脊椎的一端旋转，具体不做限定。
79.矫正影像中，脊椎相对轴位基本平行，进行检测时能够对脊椎准确识别和划分，将检测结果投影到原始影像后，可以为后续原始影像的精准分割提供基础。
80.在一可实施方式中，根据矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果，包括：
81.以resnet作为骨干网络提取特征，得到特征图；
82.对特征图通过特征金字塔进行多层级信息结合，得到结合图。
83.本公开实施例中，对脊椎椎体进行检测，可以采用2d模型也可以采用3d模型。
84.示例性实施例中，采用3d-retinanet模型对影像进行3d脊椎椎体检测，采用3d-retinanet模型能对患有压缩性骨折和术后患者的复杂脊椎影像进行脊椎椎体检测，压缩区段和术后区段较正常存在明显差异，本公开实施例的处理方法能够改善漏层检出问题。
85.本公开实施例中，3d-retinanet模型的输入是经过姿态矫正后得到的矫正影像，输入格式为3d体素，3d-retinanet模型采用resnet-50作为骨干网络提取特征，具体实施中，可以采用resnet-50作为骨干网络。对提取的特征图通过特征金字塔(fpn)进行多层级信息结合。骨干网络提取的低层特征图分辨率较高，语义信息较少，目标位置信息较准确，高层特征图分辨率较底，语义信息丰富，但目标位置信息较粗略，通过特征金字塔(fpn)可以结合高低层信息，解决目标检测的多尺度问题。正常人的ct影像中脊椎椎体的大小区分度较小，最大尺寸集中在腰椎，最小尺寸集中在颈椎，针对脊椎椎体检测问题，本公开一示例性实施例中，减少了特征金字塔(fpn)的输出层数，只通过分辨率最大的两层作为输出，既可以解决脊椎椎体不同尺寸的检出问题，又提高了检测速度。
86.在一可实施方式中，在得到结合图之后，方法还包括：
87.对结合图进行分类和检测框检测，在检测框检测中采用3danchors作为候选框，在检测框检测中采用smoothl1 loss计算损失，在分类中采用focalloss计算损失。
88.本公开实施例中，在特征金字塔(fpn)的输出后接类别和检测框检测子网络对特征金字塔(fpn)的输出的结合图进行分类和检测，该网络框架采用3danchors作为后选框，在类别子网络中采用focalloss计算损失，在检测框检测子网络中采用smoothl1 loss计算损失。
89.在其他实施例中，也可以用脊椎椎体关键点检测模型来对脊椎椎体进行检测，或者也可以用脊椎(包含椎体和附件)检测模型来对脊椎椎体进行检测，均可以确定脊椎区段划分的目标位置。
90.在一可实施方式中，将检测结果投影到原始影像，包括：
91.通过非极大值抑制消除冗余检测框，得到最佳检测框；其中，采用交并比(iou)作为度量计算，阈值具体取值范围可以是0.2-0.35；
92.对非极大值抑制后的最佳检测框采用仿射变换，仿射变换矩阵为对原始影像进行矫正变换的逆变换，以使检测结果投影到原始影像上；
93.计算投影后的检测框区域与粗分割影像的重叠度，将重叠度小于重叠阈值的检测框去除。
94.本公开实施例中，检测框区域与粗分割影像的重叠度＝检测框区域与粗分割结果的重叠区域体积/检测框体积。重叠阈值可以根据具体情况设置，重叠阈值的取值范围可以为0.2-0.35，例如，重叠阈值具体可以为0.25，0.3。将与脊椎的重叠度小于重叠阈值(例如
0.3)的检测框作为假阳去除。
95.在上述实施例基础上，将检测结果投影到原始影像，还包括：对轴位上检测框中心距离小于5个像素的检测框，通过冠状位和矢状位上距粗分割结果的中心线的欧氏距离来选取，选取距离最小的检测框为最终的检测框。通过对检测框进一步优化选择，可以得到最优的结果。
96.在一可实施方式中，参见图3，根据检测结果对原始影像进行精分割处理，包括：
97.根据检测结果将原始影像中的脊椎进行区段划分；
98.对划分的每一个区段进行精分割处理，得到每一节脊椎的分割结果。
99.本公开实施例中，脊椎各节在外观上具有较高的相似度，对这种相似度特别大的目标进行多目标分类会存在明显问题，分割结果粗糙，欠分割严重，相邻脊椎标签容易重叠混淆，存在一个脊椎上有多标签分割结果问题，导致重复分割。为此，本公开实施例中，根据脊椎椎体检测的结果，在原始影像上截取目标区段，对目标区段进行脊椎分割，既能保证分割精度，又可有效避免重复分割问题。
100.在一可实施方式中，根据检测结果将原始影像中的脊椎进行区段划分，包括：通过脊椎椎体检的检测框范围和粗分割影像确定区段在冠状位和矢状位的范围，该范围包含目标脊椎节段的椎体和附件，并沿冠状位和矢状位向脊椎外侧延展10mm，在轴位向目标脊椎节段外延展20mm。
101.采用该分段标准对脊椎椎体检测对应的脊椎节段依次划分区段，对每一个划分的区段采用3d-unet网络模型进行脊椎精分割，得到最终的脊椎分割结果。
102.针对脊椎在矢状位上弯曲程度较大的ct影像，本公开实施例的方法具有更高的检测分割精度。正常人的脊椎在矢状位上的弯曲程度对脊椎检测分割精度占主要影响因素，本公开实施例的方法通过对矢状位倾斜程度较大的脊椎区段进行姿态矫正，消除脊椎矢状位弯曲程度带来的影响，极大的提高了脊椎检测精度。
103.针对患有压缩性骨折的ct影像和术后ct影像，本公开实施例的方法具有更高的检测精度。改善缺层检出和检测精度较低问题，本公开时撕毁了采用3dretinanet检测模型对脊椎椎体进行检测，可以适用于压缩性骨折和术后的脊椎区段，具有较高精度。
104.通过脊椎粗分割、脊椎椎体检测和脊椎精分割及联方法，解决脊椎多目标分割造成的重复分割问题，实现脊椎的准确检测分割。对脊椎这种外观相似的目标进行多目标分类存在分割结果粗糙，欠分割严重的问题，相邻脊椎标签容易重叠混淆，一个脊椎上有多标签分割结果问题，导致重复分割。本公开实施例的方法通过利用脊椎粗分割结果对原始ct影像进行姿态矫正，提高后续脊椎检测精度，通过3d脊椎椎体检测可以有效的定位脊椎各节位置，再对各节脊椎进行区段划分，对每个区段目标脊椎进行精分割，避免重复分割，保证脊椎分割精度。
105.本公开实施例提供了一种脊椎医学影像处理装置，本公开实施例的装置能够实现上述各实施例的方法，上述方法实施例可以用于理解本公开实施例的脊椎医学影像处理装置，下述装置的实施例也可用于理解本公开实施例的脊椎医学影像处理方法。本公开实施例的脊椎医学影像处理装置包括粗分割模块、提取模块、划分模块、矫正模块、检测模块、投影模块和精分割模块，粗分割模块用于对脊椎的原始影像进行粗分割，得到脊椎的粗分割影像。提取模块用于基于粗分割影像，提取脊椎矢状位的中心线。划分模块用于根据中心线
划分梯度区段。矫正模块用于对各梯度区段对应的原始影像进行矫正，使各梯度区段与轴位的夹角角度在预设阈值内，得到矫正影像。检测模块用于根据矫正影像对脊椎椎体进行检测，得到脊椎椎体检测结果。投影模块用于将检测结果投影到所述原始影像。精分割模块用于根据检测结果对原始影像进行精分割处理
106.本公开实施例的脊椎医学影像处理装置中，在粗分割模块对脊椎粗分割的基础上，提取模块提取脊椎矢状位的中心线，通过划分模块划分不同的梯度区段，可以对原始影像中角度差异较大的部位进行矫正，使矫正后的脊椎相对轴位基本平行，对矫正后的脊椎进行检测能够解决脊椎多目标分割造成的重复分割问题，为脊椎的准确检测分割提供了良好的基础。根据投影到原始影像的检测结果对原始影像进行精分割，避免因大角度和大重叠而造成的精度问题，针对角度不同和大小不同的颈椎、胸椎和腰椎，具有较好的检测分割精度。
107.示例实施例中，粗分割模块可以采用3d-unet网络模型对原始影像进行脊椎粗分割处理，得到脊椎3d粗分割影像，其中不同节段脊椎统一标签。脊椎粗分割是为了将脊椎作为前景提取。
108.在一可实施方式中，提取模块包括投影单元、噪声消除单元提取单元。投影单元用于将脊椎粗分割影像沿矢状位视角进行压缩投影，得到脊椎的矢状位分割影像。噪声消除单元用于对矢状位分割影像进行图像平滑和滤波处理。提取单元根据平滑和滤波处理后的矢状位分割影像，提取中心线。
109.在对原始影像进行3d粗分割后，提取模块将得到的脊椎3d粗分割结果沿着矢状位视角进行压缩投影，压缩投影是沿着矢状位视角对脊椎3d粗分割mask进行或处理后生成二值图，得到脊椎的矢状位2d分割结果。
110.提取模块对脊椎的矢状位2d分割影像进行图像平滑和滤波处理，对矢状位分割影像进行降噪，可以消除孤立的噪点和非脊椎投影，并可以进一步对图像边缘进行平滑。矢状位分割影像处理的具体方法可以包括：先对矢状位分割影像进行高斯平滑去除孤立噪点，然后采用开运算去除非脊椎投影，最后采用闭运算对脊椎投影内部孔洞进行填充和边缘平滑。对矢状位分割影像进行处理后，提取脊椎2d中心线。
111.划分模块划分梯度区段时，可以是对中心线进行轮廓拟合来划分不同的梯度区段。在矢状位，颈椎、胸椎和腰椎弯曲的方向发生变化，划分模块根据中心线可以确定拐点，从而能够对应颈椎、胸椎和腰椎划分3个梯度区段。根据划分的梯度区段可以确定脊椎医学影像中矢状位上倾斜程度较大的区段，该区段的脊椎检测分割存在较大的精度问题，为了提高脊椎检测分割的准确性，对原始影像中梯度较大的区段进行姿态矫正，使得矫正后的脊椎影像沿轴位近似水平。是否需要矫正，可以根据各梯度区段与轴位的夹角大小来确定，当某一梯度区段与轴位的夹角大于梯度阈值时，则该梯度区段可称之为超限梯度区段，对所有超限梯度区段对应的原始影像部分进行矫正。该梯度阈值可以是5度。当某一梯度区段与轴位的夹角大于5度时，则该梯度区段为超限梯度区段，需要对该梯度区段对应的原始影像部分进行矫正。
112.在一可实施方式中，矫正模块对超限梯度区段对应的原始影像进行矫正，包括：获取原始影像中与超限梯度区段对应的待矫正脊椎；旋转待矫正脊椎。参加图2总第四图。
113.本公开实施例中，原始影像中与超限梯度区段对应的脊椎可以称为待矫正脊椎，
矫正模块对待矫正脊椎进行旋转，可以使该脊椎与轴位近似平行，为后续的精准检测和分割提供了基础。旋转待矫正脊椎可以是绕该待矫正脊椎的中心旋转，也可以是绕该待矫正脊椎的一端旋转，具体不做限定。
114.矫正影像中，脊椎相对轴位基本平行，进行检测时能够对脊椎准确识别和划分，将检测结果投影到原始影像后，可以为后续原始影像的精准分割提供基础。
115.在一可实施方式中，检测模块包括特征提取单元和特征金字塔单元，特征提取单元以resnet作为骨干网络提取特征，得到特征图；特征金字塔单元对特征图通过特征金字塔进行多层级信息结合，得到结合图。
116.本公开实施例中，对脊椎椎体进行检测，可以采用2d模型也可以采用3d模型。
117.示例性实施例中，检测模块采用3d-retinanet模型对影像进行3d脊椎椎体检测，采用3d-retinanet模型能对患有压缩性骨折和术后患者的复杂脊椎影像进行脊椎椎体检测，压缩区段和术后区段较正常存在明显差异，本公开实施例的处理方法能够改善漏层检出问题。
118.本公开实施例中，3d-retinanet模型的输入是经过姿态矫正后得到的矫正影像，输入格式为3d体素，3d-retinanet模型采用resnet-50作为骨干网络提取特征，具体实施中，可以采用resnet-50作为骨干网络。对提取的特征图通过特征金字塔(fpn)进行多层级信息结合。骨干网络提取的低层特征图分辨率较高，语义信息较少，目标位置信息较准确，高层特征图分辨率较底，语义信息丰富，但目标位置信息较粗略，通过特征金字塔(fpn)可以结合高低层信息，解决目标检测的多尺度问题。正常人的ct影像中脊椎椎体的大小区分度较小，最大尺寸集中在腰椎，最小尺寸集中在颈椎，针对脊椎椎体检测问题，本公开一示例性实施例中，减少了特征金字塔(fpn)的输出层数，只通过分辨率最大的两层作为输出，既可以解决脊椎椎体不同尺寸的检出问题，又提高了检测速度。
119.在一可实施方式中，在得到结合图之后，检测模块还包括类别单元和检测框单元，类别单元和检测框单元分别用于对结合图进行分类和检测框检测，在检测框单元检测中采用3danchors作为候选框，在检测框单元检测中采用smoothl1 loss计算损失，在类别单元进行分类中采用focalloss计算损失。
120.本公开实施例中，在特征金字塔(fpn)单元的输出后接类别单元和检测框单元对特征金字塔(fpn)单元的输出的结合图进行分类和检测框检测，该网络框架采用3danchors作为后选框，在类别子网络中采用focalloss计算损失，在检测框检测子网络中采用smoothl1 loss计算损失。
121.在一可实施方式中，投影模块将检测结果投影到原始影像，包括：
122.通过非极大值抑制消除冗余检测框，得到最佳检测框；其中，采用交并比(iou)作为度量计算，阈值具体取值范围可以是0.2-0.35；
123.对非极大值抑制后的最佳检测框采用仿射变换，仿射变换矩阵为对原始影像进行矫正变换的逆变换，以使检测结果投影到原始影像上；
124.计算投影后的检测框区域与粗分割影像的重叠度，将重叠度小于重叠阈值的检测框去除。
125.本公开实施例中，检测框区域与粗分割影像的重叠度＝检测框区域与粗分割结果的重叠区域体积/检测框体积。重叠阈值可以根据具体情况设置，重叠阈值的取值范围可以
为0.2-0.35，例如，重叠阈值具体可以为0.25，0.3。将与脊椎的重叠度小于重叠阈值(例如0.3)的检测框作为假阳去除。
126.在上述实施例基础上，投影模块将检测结果投影到原始影像，还包括：对轴位上检测框中心距离小于5个像素的检测框，通过冠状位和矢状位上距粗分割结果的中心线的欧氏距离来选取，选取距离最小的检测框为最终的检测框。通过对检测框进一步优化选择，可以得到最优的结果。
127.在一可实施方式中，精分割模块根据检测结果对原始影像进行精分割处理，包括根据检测结果将原始影像中的脊椎进行区段划分，对划分的每一个区段进行精分割处理，得到脊椎的分割结果。
128.本公开实施例中，脊椎各节在外观上具有较高的相似度，对这种相似度特别大的目标进行多目标分类会存在明显问题，分割结果粗糙，欠分割严重，相邻脊椎标签容易重叠混淆，存在一个脊椎上有多标签分割结果问题，导致重复分割。为此，本公开实施例中，精分割模块根据脊椎椎体检测的结果，在原始影像上截取目标区段，对目标区段进行脊椎分割，既能保证分割精度，又可有效避免重复分割问题。
129.在一可实施方式中，精分割模块根据检测结果将原始影像中的脊椎进行区段划分，包括：通过脊椎椎体检的检测框范围和粗分割影像确定区段在冠状位和矢状位的范围，该范围包含目标脊椎节段的椎体和附件，并沿冠状位和矢状位向脊椎外侧延展10mm，在轴位向目标脊椎节段外延展20mm。
130.采用该分段标准对脊椎椎体检测对应的脊椎节段依次划分区段，对每一个划分的区段采用3d-unet网络模型进行脊椎精分割，得到最终的脊椎分割结果。
131.根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
132.图4示出了可以用来实施本公开的实施例的示例电子设备400的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
133.如图4所示，设备400包括计算单元401，其可以根据存储在只读存储器(rom)402中的计算机程序或者从存储单元404加载到随机访问存储器(ram)403中的计算机程序，来执行各种适当的动作和处理。在ram 403中，还可存储设备400操作所需的各种程序和数据。计算单元401、rom 402以及ram 403通过总线404彼此相连。输入/输出(i/o)接口405也连接至总线404。
134.设备400中的多个部件连接至i/o接口405，包括：输入单元406，例如键盘、鼠标等；输出单元407，例如各种类型的显示器、扬声器等；存储单元408，例如磁盘、光盘等；以及通信单元409，例如网卡、调制解调器、无线通信收发机等。通信单元409允许设备400通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
135.计算单元401可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元401的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及
任何适当的处理器、控制器、微控制器等。计算单元401执行上文所描述的各个方法和处理，例如脊椎医学影像处理方法。例如，在一些实施例中，脊椎医学影像处理方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元408。在一些实施例中，计算机程序的部分或者全部可以经由rom 402和/或通信单元409而被载入和/或安装到设备400上。当计算机程序加载到ram 403并由计算单元401执行时，可以执行上文描述的脊椎医学影像处理方法的一个或多个步骤。备选地，在其他实施例中，计算单元401可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行脊椎医学影像处理方法。
136.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
137.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
138.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
139.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
140.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数
字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
141.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
142.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
143.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本公开的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
144.以上所述，仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应以所述权利要求的保护范围为准。