基于深度学习的脊椎图像分割方法及手术导航定位系统与流程

1.本发明涉及医学图像处理技术领域，尤其涉及一种基于深度学习的脊椎图像分割方法及手术导航定位系统。


背景技术：

2.在涉及脊椎的外科手术中，医生需要根据病人的医学影像资料制定治疗方案，例如确定植入物的植入角度、植入深度等，如果能够获取脊椎的三维模型，则能够方便医生制定准确的治疗方案，提升手术精度。
3.而获取脊椎的三维模型，需要精确分割出椎骨骨骼部分，现有技术中通常的做法是通过一个定位模型确定出大致的脊椎区域，然后，将确定出的脊椎区域输入到分割模型中分割出骨骼体素，上述方案的椎骨分割过程计算量较大，分割效率较低。


技术实现要素：

4.本发明提供一种基于深度学习的脊椎图像分割方法及装置，用以解决现有技术中脊椎分割过程计算量大，分割效率较低的缺陷。
5.本发明提供一种基于深度学习的脊椎图像分割方法，包括：
6.根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取影像切块；其中，所述影像切块至少包括第一椎骨，以及第二椎骨的至少部分数据；
7.将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果；
8.根据所述影像切块分割结果，确定第二椎骨定位点；
9.迭代执行上述过程，直至所述待分割医学影像的至少部分数据分割完毕。
10.根据本发明提供的基于深度学习的脊椎图像分割方法，在首轮迭代的情况下，所述第一椎骨定位点通过如下方式获取：
11.接收用户输入数据，并根据所述用户输入数据确定所述第一椎骨定位点；
12.或，从所述待分割医学影像的端部获取初始切块，根据所述初始切块确定出所述第一椎骨定位点；其中，所述初始切块包含所述第一椎骨的至少部分数据。
13.根据本发明提供的基于深度学习的脊椎图像分割方法，所述从所述待分割医学影像的端部获取初始切块，包括：
14.从所述待分割医学影像的端部按照第一预设步长移动切割框；
15.统计所述切割框中强度处于预设强度范围的体素组成的最大连通域中的体素总数，在所述体素总数大于预设总数阈值的情况下，根据所述切割框，从所述待分割医学影像中切割出所述初始切块。
16.根据本发明提供的基于深度学习的脊椎图像分割方法，所述根据所述初始切块确定出所述第一椎骨定位点，包括：
17.获取所述初始切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素总数，记为第一总数；
18.根据所述初始切块进行偏移，从所述待分割医学影像中获取偏移切块；
19.确定所述偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素数量，记为第二总数；
20.在所述第二总数大于所述第一总数的情况下，以所述偏移切块为基础上进行下一次迭代偏移，直至相应的偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素数量不再增加；
21.根据最终偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素确定出所述第一椎骨定位点。
22.根据本发明提供的基于深度学习的脊椎图像分割方法，所述根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取影像切块，包括：
23.根据所述第一椎骨定位点，以及偏移向量，确定第一切块定位点；
24.根据所述第一切块定位点，定位预设大小的第一切割框，并根据所述第一切割框从所述待分割医学影像中确定出所述影像切块。
25.根据本发明提供的基于深度学习的脊椎图像分割方法，所述偏移向量根据如下方式确定：
26.在所述第一椎骨定位点为首个确定的椎骨定位点的情况下，将初始偏移向量作为所述偏移向量；
27.在所述第一椎骨定位点不是首个确定的椎骨定位点的情况下，根据所述第一椎骨的上一椎骨的定位点指向所述第一椎骨定位点的向量确定所述偏移向量。
28.根据本发明提供的基于深度学习的脊椎图像分割方法，在将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果之后，方法还包括：
29.若所述影像切块中未发现第二椎骨像素点，则在所述第一椎骨定位点的基础上，增大所述偏移向量，从所述待分割医学影像中重新获取影像切块；
30.若所述重新获取的影像切块中包含椎骨像素点，则根据其中的所有椎骨像素点确定新的起始椎骨定位点，并继续执行迭代分割。
31.根据本发明提供的基于深度学习的脊椎图像分割方法，在将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果之后，方法还包括：
32.若所述影像切块中未发现第二椎骨像素点，则通过阈值分割的方式从所述待分割医学影像中确定所述第一椎骨的沿脊椎分割方向上的椎骨区域；
33.根据所述椎骨区域获取影像切块，并输入到所述脊椎分割神经网络模型中，得到相应的分割结果；
34.根据所述相应的分割结果确定出新的起始椎骨定位点，并继续执行迭代分割。
35.根据本发明提供的基于深度学习的脊椎图像分割方法，所述根据所述影像切块分割结果，确定第二椎骨定位点，包括：
36.从所述影像切块分割结果中，确定出标签为“第二椎骨”的体素；
37.根据所有标签为“第二椎骨”的体素，通过计算质心，或通过生成包围盒并计算中心，或通过生成包围球并计算中心的方式，确定出所述第二椎骨定位点。
38.根据本发明提供的基于深度学习的脊椎图像分割方法，所述迭代执行上述过程，直至所述待分割医学影像的至少部分数据分割完毕，包括：
39.每一轮迭代后，判断当前轮的迭代是否达到预设终止条件；
40.其中，所述预设终止条件包括：
41.已分割出指定数量的椎骨；或，
42.当前迭代轮的影像切块中位于图像边界之外的体素占所述当前迭代轮的影像切块中体素总数的比例大于第一比例阈值。
43.根据本发明提供的基于深度学习的脊椎图像分割方法，方法还包括：
44.将原始医学影像进行预处理，得到所述待分割医学影像；
45.其中，所述预处理至少包括以下的一个或更多个：灰度标准化、旋转、降噪处理、重采样。
46.本发明还提供一种基于深度学习的脊椎图像分割装置，包括：
47.切块模块，用于根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取影像切块；其中，所述影像切块至少包括第一椎骨，以及第二椎骨的至少部分数据；
48.分割模块，用于将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果；
49.定位模块，用于根据所述影像切块分割结果，确定第二椎骨定位点；
50.迭代模块，用于迭代执行上述过程，直至所述待分割医学影像的至少部分数据分割完毕。
51.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的脊椎图像分割方法的全部或部分步骤。
52.本发明还提供一种手术导航定位系统，其包括主机、机械臂，所述主机中设置有存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述任一项基于深度学习的脊椎图像分割方法的全部或部分步骤；所述机械臂与所述主机通信连接，用于接收控制指令并执行相应动作。
53.本发明提供的一种基于深度学习的脊椎图像分割方法及手术导航定位系统，通过第一椎骨定位点，从待分割医学影像中获取影像切块，输入脊椎分割神经网络模型中进行分割，每次仅对相邻的部分椎骨进行分割，减少了单次分割的数据处理量，使用结构简单的神经网络即可快速处理；通过影像切块的分割结果确定出第二椎骨定位点，能够自动感知脊椎走向，并进行迭代切块；通过迭代分割过程，能够便捷高效地完成脊椎分割任务，并且还可以间接地实现多分类效果。
附图说明
54.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
55.图1是本发明提供的基于深度学习的脊椎图像分割方法的流程示意图；
56.图2是本发明提供的基于深度学习的脊椎图像分割方法的过程示意图之一；
57.图3是本发明提供的脊椎分割神经网络模型的结构示例之一；
58.图4是本发明提供的基于深度学习的脊椎图像分割方法的过程示意图之二；
59.图5是本发明提供的基于深度学习的脊椎图像分割装置的结构示意图；
60.图6是本发明提供的电子设备的结构示意图。
具体实施方式
61.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
62.本发明的基于深度学习的脊椎图像分割方法通过逐步迭代对待分割医学影像进行分割处理，实现自动定位椎骨，每次针对脊柱方向上相邻的部分椎骨进行处理，最终完成脊椎分割任务。
63.下面结合图1-图6描述本发明的一种基于深度学习的脊椎图像分割方法及手术导航定位系统。
64.图1是本发明提供的基于深度学习的脊椎图像分割方法的流程示意图，如图1所示，该方法包括：
65.s11、根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取影像切块；其中，所述影像切块至少包括第一椎骨，以及第二椎骨的至少部分数据。
66.具体地，待分割医学影像是患者的需要进行椎骨分割处理的三维医学影像，例如ct图像，需要说明的是，在实际场景中，通常仅对患者的部分区域拍摄脊椎图像，即，本发明中的待分割医学影像不仅可以是包含完整的脊椎的医学影像，也可以是仅包含部分脊椎的医学影像。第一椎骨定位点是医学影像中第一椎骨中的体素，可以用于确定第一椎骨及其相邻椎骨的位置，第二椎骨是第一椎骨的沿脊柱方向的下一相邻椎骨。可以理解的是，假设医学影像中脊柱方向为上下方向(当然，也可以是其他方向)，在迭代分割椎骨时，可以从上往下对脊椎分割，此时，第二椎骨是第一椎骨下方的相邻椎骨，还可以从下往上对脊椎分割，此时，第二椎骨是第一椎骨上方的相邻椎骨。
67.根据第一椎骨定位点，从待分割医学影像中取出第一椎骨定位点周围一定范围的体素数据，得到影像切块。通过对切块范围的调整，使得影像切块中至少包含第一椎骨数据，以及第二椎骨的至少部分数据。
68.本发明在影像切块中尽可能取得较为完整的第二椎骨，但是，由于各椎骨沿脊柱曲线的偏移、各椎骨大小不同等原因，可能存在的情况是，影像切块中第二椎骨的数据可能不完整。可以理解的是，如果切块范围足够大，影像切块中还可以包含更多椎骨，即每次迭代过程分割出多节椎骨。
69.s12、将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果。
70.具体地，脊椎分割神经网络模型是预先训练好的专门用于分割出脊椎体素的卷积神经网络模型，例如全卷积神经网络模型，u-net网络模型等。将影像切块输入脊椎分割神经网络模型中，可以得到影像切块分割结果，影像切块分割结果中包含其中每一体素的分割标签 (即“脊椎”，“非脊椎”体素)。
71.s13、根据所述影像切块分割结果，确定第二椎骨定位点。
72.具体地，影像切块分割中包含了第二椎骨的至少部分数据，相应的，切块分割结果中包含了分割出的第二椎骨体素。根据分割出的所有第二椎骨体素，可以生成用于对第二椎骨进行定位的第二椎骨定位点。
73.s14、迭代执行上述过程，直至所述待分割医学影像的至少部分数据分割完毕。
74.具体地，确定了第二椎骨定位点，则可以继续生成包含第二椎骨及其下一椎骨至少部分数据的影像切块，再输入脊椎分割神经网络模型进行分割，迭代执行上述过程直至完成分割任务。对于每一影像切块，其中的第一椎骨的数据较为完整，也包含更多的全局信息，其椎骨分割结果较为精确，可以作为第一椎骨的最终分割结果，而影像切块中第二椎骨的数据可能不完整，由于切块定位的原因其包含的第二椎骨的全局信息可能存在缺失，在当前迭代轮的分割结果可以作为初步分割结果，用于确定第二椎骨定位点，在下一轮迭代时获取更为完整的第二椎骨数据，并对该第二椎骨进行准确地分割，作为第二椎骨的最终分割结果。由于本方法为迭代执行的方法，每次迭代完成一段椎骨的精确分割，相应的分割结果也对应了椎骨的次序，结合医师对第一椎骨的识别，可以间接的实现多分类的效果。
75.考虑到医生主要关注医学影像中的病灶区域，本发明的基于深度学习的脊椎图像分割方法设置为可以分割医学影像的部分区域(例如病灶区域)，也可以分割出医学影像的全部脊椎区域，即完成对待分割医学影像的至少部分数据的分割，具体可以通过设置迭代终止条件实现部分影像数据的分割。
76.本实施例中通过第一椎骨定位点，从待分割医学影像中获取影像切块，输入脊椎分割神经网络模型中进行分割，每次仅对相邻的部分两块椎骨进行分割，减少了单次分割的数据处理量；通过影像切块的分割结果确定出第二椎骨定位点，能够自动感知脊椎走向，并进行迭代切块；通过迭代分割过程，便捷高效地完成了脊椎分割任务，并且可以间接实现多分类效果。
77.基于上述实施例，在一个实施例中，在首轮迭代的情况下，所述第一椎骨定位点通过如下方式获取：
78.接收用户输入数据，并根据所述用户输入数据确定所述第一椎骨定位点；
79.或，从所述待分割医学影像的端部获取初始切块，根据所述初始切块确定出所述第一椎骨定位点；其中，所述初始切块包含所述第一椎骨的至少部分数据。
80.具体地，首轮迭代情况下，第一椎骨也就是脊椎分割过程的起始椎骨，此时，第一椎骨定位点可以是通过接收用户输入数据，并根据用户数据确定的，例如，用户通过交互设备(键盘、鼠标、触摸屏等) 输入的框选区域、定位线、定位点等数据，根据用户的输入数据确定第一椎骨定位点(例如，计算框选区域中心，计算定位线中心等)。需要说明的是，通过用户输入数据确定个的第一椎骨定位点不一定是待分割医学影像端部椎骨的定位点，也可能是脊椎中的任一椎骨(例如，腰椎)，相应地，在执行分割任务时，可以是从脊椎中的任一椎骨开始分割。
81.另外，此时的第一椎骨定位点(即，起始椎骨定位点)还可以是自动获取的，具体地，从待分割医学影像的端部获取初始切块，也就是从待分割医学影像的边缘区域开始搜索，得到包含第一椎骨至少部分数据的初始切块，根据初始切块中包含的椎骨体素确定出第一椎骨定位点。
82.本实施例中可以根据用户输入灵活地确定脊椎分割任务的起始椎骨，满足用户的
差异化需求；也可以自动确定确定脊椎分割任务的起始椎骨，提升了用户使用过程的便利性。
83.基于上述任一实施例，在一个实施例中，所述从所述待分割医学影像的端部获取初始切块，包括：
84.从所述待分割医学影像的端部按照第一预设步长移动切割框；
85.统计所述切割框中强度处于预设强度范围的体素组成的最大连通域中的体素总数，在所述体素总数大于预设总数阈值的情况下，根据所述切割框，从所述待分割医学影像中切割出所述初始切块。
86.具体地，可以通过切割框遍历的方式确定初始切块，切割框是预设大小的长方体(优选为立方体，切割框的大小经预先设定，至少能够容纳一段椎骨)，从待分割医学影像的端部按照第一预设步长移动切割框获取影像数据块。医学影像中骨骼组织的与其他组织的图像强度存在差异，即骨骼体素的图像强度位于一定范围区间，确定切割框中强度处于预设强度范围的体素，可以初步确定出切割框中的骨骼体素。预设强度范围可以根据医学影像类型及影像分割精度需求进行设置，例如对于ct图像，可以将预设强度范围设置为大于200hu，又例如，考虑到金属固定物在ct图像中也显示为高强度，可以将预设强度范围设置为200～1500hu，去除掉金属固定物对应的体素。此外，考虑到椎骨的形状不规则，相邻椎骨的距离也较近，初始切块中可能出现切割出第一椎骨的多个区域的情况，也可能出现同时包含了第一椎骨部分数据以及第二椎骨部分数据的情况。为此，对处于预设强度范围的体素进行连通域分析，将初始切块中可能存在的多个连通域中最大的连通域作为第一椎骨数据(或第一椎骨的部分数据)。
87.通过将切割框中强度处于预设强度范围的体素组成的最大连通域中的体素总数(即，切块中的第一椎骨体素总数)与预设总数阈值作比较判断，当体素总数小于预设总数阈值时，认为切割框中第一椎骨数据较少，难以准确确定第一椎骨的定位点，当体素总数大于预设总数阈值时，认为切割框中第一椎骨数据足够，能够准确确定第一椎骨的定位点，将此时的切割框对应的切块确定为初始切块。
88.本实施例中通过按照第一预设步长移动切割框从医学影像中取出数据进行统计，并通过阈值范围、连通域筛选确定出了第一椎骨体素数量满足要求的初始切块，较为精确地确定了第一椎骨定位点，提升了后续迭代分割的精度。
89.基于上述任一实施例，在一个实施例中，所述根据所述初始切块确定出所述第一椎骨定位点，包括：
90.确定所述初始切块中强度处于预设强度范围的体素组成的最大连通域中的体素总数，记为第一总数；
91.根据所述初始切块进行偏移，从所述待分割医学影像中获取偏移切块；
92.确定所述偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素数量，记为第二总数；
93.在所述第二总数大于所述第一总数的情况下，以所述偏移切块为基础上进行下一次迭代偏移，直至相应的偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的体素数量不再增加；
94.根据最终偏移切块中强度处于所述预设强度范围的体素组成的最大连通域中的
体素确定出所述第一椎骨定位点。
95.具体地，初始切块中的第一椎骨数据可能不完整，可以进一步在初始切块的基础上获取完整的第一椎骨数据，确定出更为精确的第一椎骨定位点。具体可以通过如下方式实现：在初始切块的基础上进行偏移(即，将初始切块对应的切割框进行偏移)，从待分割医学影像中获取偏移切块，偏移的方向可以按需求进行预设。例如，优先沿x 轴偏移，次选沿y轴偏移，再次选沿z轴偏移，又例如，交替沿x 轴、y轴、z轴偏移等。
96.初始切块中强度处于预设强度范围的体素即为初步确定出的骨骼体素，对骨骼体素范围进行连通域分析，将最大连通域作为第一椎骨的部分数据，最大连通域中的体素数量即为初始切块中第一椎骨体素的数量，记为第一总数。同理，可以确定偏移切块中强度处于预设强度范围的体素组成的最大连通域中的体素数量，即为偏移切块中第一椎骨体素的数量，记为第二总数。
97.如果第二总数大于第一总数，则说明偏移后的偏移切块中第一椎骨体素的数量增加了，则在该偏移切块的基础上进行下一次的迭代偏移，直至相应偏移切块中最大连通域中的体素数量不再增加，得到最终偏移切块。
98.举例说明如下，初始切块中强度处于预设强度范围的体素组成的最大连通域中的体素数量为2000，优先沿x轴偏移3个体素，得到偏移切块，假设偏移切块中强度处于预设强度范围的体素组成的最大连通域中的体素数量为2500，则在此偏移切块的基础上继续沿x轴偏移(即，优先沿x轴偏移)，假设该偏移切块中强度处于预设强度范围的体素组成的最大连通域中的体素数量为1900，相对于初始切块的脊椎像素减少，则在初始切块的基础上沿y轴进行偏移(即，次选沿y轴偏移)，并重新验证新的偏移切块中第一椎骨体素数量是否增加。
99.当第一椎骨体素数量不再增加时，即确定出最终偏移切块，根据最终偏移切块的分割结果中的像素点确定出第一椎骨定位点。例如通过计算脊椎像素点的平均坐标确定第一椎骨定位点(即，计算质心)，例如通过包围盒囊括偏移切块中的脊椎像素点，将包围盒的中心确定为第一椎骨定位点，又例如，通过包围球囊括偏移切块中的脊椎像素点，将包围盒的中心确定为第一椎骨定位点，此处不作限制。
100.本实施例中进一步通过迭代偏移以及脊椎像素点数量校验的方式，确定了完整的第一椎骨(本实施例中对应初始椎骨)，使得初始椎骨的定位更为精确，为后续过程的精确迭代奠定了良好的基础。
101.基于上述任一实施例，在一个实施例中，所述根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取第影像切块，包括：
102.根据所述第一椎骨定位点，以及偏移向量，确定第一切块定位点；
103.根据所述第一切块定位点，定位预设大小的第一切割框，并根据所述第一切割框从所述待分割医学影像中确定出所述影像切块。
104.具体地，第一椎骨定位点描述了第一椎骨在医学影像中的位置，在第一椎骨定位点的基础上按照偏移向量进行偏移，确定出第一切块定位点。第一椎骨定位点用于定位第一切割框，并从待分割医学影像总切割出预设大小的数据块，即前述影像切块。通过偏移向量以及预设大小的第一切割框，使得影像切块中至少包括第一椎骨以及第二椎骨的至少部分数据。第一切割框的预设大小可以是根据经验预先设定的值，也可以是根据用户标识初
始椎骨时圈定的范围框的大小相应确定的。
105.另外，偏移向量可以是预设大小，预设大小可以由用户输入的数据确定(例如，由医生指定)，还可以是固定值(例如，设置为20 体素)。偏移向量的预设方向可以是脊柱方向，具体地，医学影像在成像时标记了方向数据，例如ct、mr图像的orientation字段记录了方向数据，可以对应到医学影像数据中病人的前/后，左/右，上/下方向，此外，还可以根据医学影像的direction矩阵进行计算转换，得到方向标签，确定病人的前/后，左/右，上/下方向。病人的上下方向即对应了医学影像中的脊柱方向，可以据此设定偏移向量的预设方向。
106.本实施例中通过偏移向量准确地确定了包含第一椎骨以及第二椎骨至少部分数据的影像切块，能够以尽可能小的数据块迭代分割脊椎，提升脊椎分割效率。
107.下面参照图2、图3、图4对本发明的一个实施例进行进行进一步说明。
108.图2是本发明提供的基于深度学习的脊椎图像分割方法的过程示意图之一，图2示意了初始迭代的过程。如图2所示，其中，左图为示意的待分割医学影像(为便于理解，使用一个脊椎断面上的二维图像来简要表示待分割的三维医学影像)；中图示意了在用户输入框选区域b0(初始切块)后，根据框选区域b0确定的第一椎骨定位点 a1的过程(此时，对应初始椎骨定位点)；右图示意了在第一椎骨定位点a1的基础上沿着偏移向量t进行偏移，确定第一轮迭代的影像切块定位点p1，然后根据影像切块定位点p1定位第一切割框b1，从医学影像中获取第一轮迭代的影像切块，然后将该影像切块通过脊椎分割神经网络模型得到第一椎骨的最终分割结果和第二椎骨的初步分割结果，例如，将影像切块输入如图3所示的脊椎分割神经网络模型，其中，脊椎分割神经网络模型包括u型的主体结构(含卷积层、下采样层、上采样层、跳接结构)，以及两个输出层，u型的主体结构对影像切块i进行特征提取，得到相应的特征矩阵，两个输出层分别根据特征矩阵进行像素级分类，分别得到第一椎骨的最终分割结果 s1，以及第二椎骨的初步分割结果s2。
109.图4是本发明提供的基于深度学习的脊椎图像分割方法的过程示意图之二，图4示意了后续的迭代过程。如图4所示，其中，左图示意了上一迭代轮的切块定位点p
n-1
，以及相应确定的切割框b
n-1
，根据切割框b
n-1
可以确定出相应n-1轮迭代中的影像切块(切块中包含第n-1段椎骨，以及第n段椎骨的至少部分数据)，用于输入到脊椎分割神经网络模型中确定出第n段椎骨的定位点an，an用于定位下一迭代轮的影像切块，此迭代轮的“第二椎骨”即为下一迭代轮对应的“第一椎骨”。对于中图，通过第n段椎骨的定位点an和偏移向量 t确定出第n切块定位点pn，点pn用于定位第n切割框bn，进而可以确定出第n轮迭代中的影像切块(切块中包含第n段椎骨，以及第 n 1段椎骨的至少部分数据)，第n轮迭代中的影像切块可以用于输入到脊椎分割神经网络模型中得到相应的分割结果，分割结果中第n 段椎骨的分割结果作为该段椎骨的最终分割结果，第n 1段椎骨的分割结果仅为初步分割结果，用于确定第n 1段椎骨的定位点a
n 1
。对于右图，通过第n 1段椎骨的定位点a
n 1
和偏移向量t确定出第n 1 切块定位点p
n 1
，基于p
n 1
确定第n 1个切割框bn 1，进而确定出第n 1轮迭代中的影像切块，第n 1轮迭代中的影像切块输入脊椎分割神经网络模型可以分割出第n 1段以及第n 2段椎骨的分割结果，其中，第n 1段椎骨的分割结果作为最终分割结果，第n 2段椎骨的分割结果仅为初步分割结果，用于确定第n 2段椎骨的定位点。
110.基于上述任一实施例，在一个实施例中，所述偏移向量根据如下方式确定：
111.在所述第一椎骨定位点为首个确定的椎骨定位点的情况下，将初始偏移向量作为所述偏移向量；
112.在所述第一椎骨定位点不是首个确定的椎骨定位点的情况下，根据所述第一椎骨的上一椎骨的定位点指向所述第一椎骨定位点的向量确定所述偏移向量或者继续使用初始偏移向量。
113.具体地，在第一椎骨定位点为首个确定的椎骨定位点的情况下 (即，此时第一椎骨为起始椎骨)，则将初始偏移向量作为当前偏移向量，初始偏移向量按照需求预设，具体可以参照上述实施例，此处不再赘述。
114.在第一椎骨定位点不是首个确定的椎骨定位点，也就是第一椎骨为迭代过程的后续椎骨的情况下，确定第一椎骨的上一椎骨的定位点指向第一椎骨定位点的向量，然后根据此向量确定出偏移向量。
115.本实施例中，正常情况脊柱曲线不会发生突变，相应地各椎骨定位点形成曲线也不会发生突变弯曲，由此，根据两个椎骨定位点形成的向量确定出偏移向量，用于生成下一影像切块，使得影像切块中包含更大概率地包含下一椎骨数据。本实施例中实时确定的偏移向量能够更好地适应迭代过程中脊柱弯曲带来的后续椎骨定位不准确的问题，进一步精确定位了下一椎骨，提升了脊椎分割准确率和分割效率。
116.基于上述任一实施例，在一个实施例中，在将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果之后，方法还包括：
117.若所述影像切块中未发现第二椎骨像素点，则在所述第一椎骨定位点的基础上，增大所述移向量，从所述待分割医学影像中重新获取影像切块；
118.若所述重新获取的影像切块中包含椎骨像素点，则根据其中的所有椎骨像素点确定新的起始椎骨定位点，并继续执行迭代分割。
119.具体地，如果病人脊柱中存在异常区域，例如椎骨骨折、缺失等情况，此时，影像切块相应的分割结果中可能找不到第二椎骨像素点，需要进一步搜索下一椎骨，以继续进行迭代。具体可以以第一椎骨定位点为起点，通过增大偏移向量的大小(模)的方式确定新的切块定位点及相应的切割框，然后根据切割框从待分割医学影像中重新获取影像切块，将重新获取的影像切块输入到脊椎分割神经网络模型中得到相应的分割结果，如果分割结果中包含椎骨像素点，则根据分割结果中所有的椎骨像素点确定新的起始椎骨定位点，然后以新的起始椎骨定位点开始，继续执行迭代分割。
120.可以理解的是，增大偏移向量的方式有多中，例如，可以在原偏移向量的基础上每次增加固定值(例如，30个体素)，也可以在原偏移向量的基础上每次增加原偏移向量的预设比例大小的增幅，此处不作限制。进一步地，可以参照上述实施例，对新的起始椎骨定位点进行进一步优化，可以在其影像切块的基础上生成偏移切块并进行分割，直至确定出椎骨像素点最多的偏移切块，根据椎骨像素点最多的偏移切块确定出优化后的起始椎骨定位点。
121.本实施例在脊柱异常的情况下通过增大偏移向量确定了新的起始椎骨定位点并继续进行迭代分割，保障了脊椎分割过程的顺利进行。
122.基于上述任一实施例，在一个实施例中，在将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果之后，方法还包括：
123.若所述影像切块中未发现第二椎骨像素点，则通过阈值分割的方式从所述待分割医学影像中确定所述第一椎骨的沿脊椎分割方向上的椎骨区域；
124.从所述椎骨区域中获取影像切块，并输入到所述脊椎分割神经网络模型中，得到相应的分割结果；
125.根据所述相应的分割结果确定出新的起始椎骨定位点，并继续执行迭代分割。
126.具体地，对于影像切块相应的分割结果中存在找不到第二椎骨像素点的情况，此时，可通过阈值分割的方式，确定出第一椎骨的沿脊椎分割方向上的椎骨区域，这里的沿脊椎分割方向上的椎骨区域是指第一椎骨的迭代分割方向上(沿脊柱由下到上，或沿脊柱由上到下) 的所有待分割椎骨组成的区域。例如，对于ct图像，通过200～1500hu 的阈值范围初步筛选出第一椎骨的沿脊椎分割方向的椎骨区域。在得到初步得到椎骨区域后，从椎骨区域中获取影像切块，并输入到椎骨分割神经网络模型中分割出准确的椎骨像素点，然后根据分割出的椎骨像素点确定出新的起始椎骨定位点，用于定位新的起始椎骨，继续执行迭代分割。上述从椎骨区域中获取影像切块的过程，例如，在第一椎骨定位点的定位基础上，沿脊椎分割方向移动切割框从该椎骨区域中获取影像切块，获取影像切块过程中，还可以通过判断切割框中椎骨像素的数量，筛选出符合需求的影像切块，提升新的起始椎骨的定位精度。
127.本实施例在脊柱异常的情况下通过阈值分割以及搜索切块的方式确定了新的起始椎骨定位点并继续进行迭代分割，保障了脊椎分割过程的顺利进行。
128.基于上述任一实施例，在一个实施例中，所述根据所述影像切块分割结果，确定第二椎骨定位点，包括：
129.从所述影像切块分割结果中，确定出标签为“第二椎骨”的体素；
130.根据所有标签为“第二椎骨”的体素，通过计算质心，或通过生成包围盒并计算中心，或通过生成包围球并计算中心的方式，确定出所述第二椎骨定位点。
131.具体地，影像切块中包含了第一椎骨数据以及第二椎骨的至少部分数据，相应地，影像切块分割结果中包含了标签为“第二椎骨的体素”。确定标签为“第二椎骨”的体素的方式，可以通过对影像切块分割结果进行连通域分析，将沿迭代分割方向上的下一连通区域集合中的“椎骨”体素确定为“第二椎骨”体素；也可以直接将脊椎分割神经网络模型设置为包含两个输出层，一个输出层输出“第一椎骨”以及“非第一椎骨”标签，另一个输出层输出“第二椎骨”以及“非第二椎骨”标签，即脊椎分割神经网络模型能够直接输出“第二椎骨”标签。
132.根据所有的标签为“第二椎骨”的体素可以确定第二椎骨的定位点，具体可以通过生成囊括所有标签为“第二椎骨”体素的包围盒，然后计算包围盒的中心，将包围盒中心作为代表第二椎骨所在位置的第二椎骨定位点；还可以生成囊括所有标签为“第二椎骨”体素的包围球，然后确定球心，将包围球的球心作为代表第二椎骨所在位置的第二椎骨定位点；还可以计算所有标签为“第二椎骨”的体素的质心 (例如，求取平均坐标)，将质心作为第二椎骨定位点。
133.本实施例中根据影像切块确定了第二椎骨定位点，从而可以便捷、准确地确定下一待分割的椎骨的椎骨定位点，便于进行迭代分割。
134.基于上述任一实施例，在一个实施例中，所述迭代执行上述过程，直至所述待分割
医学影像的至少部分数据分割完毕，包括：
135.每一轮迭代后，判断当前轮的迭代是否达到预设终止条件；
136.其中，所述预设终止条件包括：
137.已分割出指定数量的椎骨；或，
138.当前迭代轮的影像切块中位于图像边界之外的体素占所述当前迭代轮的影像切块中体素总数的比例大于第一比例阈值。
139.具体地，用户可以通过指定需要分割的椎骨数量，当迭代分割出指定数量的椎骨后停止迭代，例如，用户标记的胸椎t1的定位点作为起始椎骨定位点，并指定分割12段椎骨，则分割出胸椎t12后不再继续分割。此外，当影像切块超出三维图像边界，其中的体素数据不足时，会通过自动补充空白体素的方式补齐像素后用于输入脊椎分割神经网络模型，在当前迭代轮的影像切块中位于图像边界之外的体素(即，补充的空白体素)占该影像切块中体素总数的比例大于第一比例阈值，则认为整个待分割医学影像已经分割完毕，不再继续迭代分割。
140.本实施例中通过预设终止条件，灵活、准确地医学影像进行了分割处理。
141.基于上述任一实施例，在一个实施例中，方法还包括：
142.将原始医学影像进行预处理，得到所述待分割医学影像；
143.其中，所述预处理至少包括以下的一个或更多个：灰度标准化、旋转、降噪处理、重采样。
144.具体地，通过对原始医学影像进行预处理可以提高图像质量，提升脊椎分割准确率。预处理可以包括灰度标准化，例如，将原始医学影像的强度进行缩放，将其中最高的图像强度缩放至“1”，最低的图像强度缩放至“0”；预处理可以包括旋转，根据原始医学影像中自带的方位数据进行旋转，使得其中脊柱为统一的朝向，该统一的朝向即为初始偏移向量的方向，例如，通过旋转使得医学影像坐标系中脊柱整体沿着z轴方向(当然，也可以是其他的统一方向)；预处理还可以包括降噪，例如通过高斯滤波、形态学滤波等方式降低噪声干扰；预处理还可以包括重采样，将原始医学影像统一到同一个分辨率 (例如1
×1×
1mm3)，便于脊椎分割神经网络模型进行处理，可以理解的是，在完成脊椎分割后，还需要将分割结果还原到原始医学影像分辨率，便于重建脊椎三维模型。
145.本实施中通过预处理提升了图像质量即脊椎分割准确率，也提升了脊椎分割效率。
146.基于上述任一实施例，在一个实施例中，所述旋转是指将原始医学影像进行旋转，使得所述待分割医学影像中的脊柱朝向医学影像坐标系中的预设方向；
147.具体地，根据原始医学影像中自带的方位数据进行旋转，使得其中脊柱为统一的朝向，旋转后得到的待分割医学影像中脊柱朝向医学影像坐标系中的预设方向，此方向即为作为初始偏移向量的预设方向。
148.本实施例中通过旋转统一了待处理医学影像中的脊柱方向，使得在处理不同的原始医学影像时，无需每次重新确定偏移向量在医学影像坐标系中的方向。
149.基于上述任一实施例，在一个实施例中，所述脊椎分割神经网络模型包括主体模块，以及第一输出层，第二输出层；
150.所述主体模块用于对所影像切块进行特征提取，得到特征矩阵；
151.所述第一输出层连接所述主体模块，用于根据所述特征矩阵得到所述影像切块中所述第一椎骨的最终分割结果；
152.所述第二输出层连接所述主体模块，用于根据所述特征矩阵得到所述影像切块中所述第二椎骨的初步分割结果。
153.具体地，脊椎分割神经网络模型是预先训练好的卷积神经网络模型。仍参照图3进行说明，如图3所示，脊椎分割神经网络模型包括主体切块、第一输出层、第二输出层，图中的u型结构(包含卷积层、下采样层、上采样层、跳接结构)即对应了主体模块，用于对影像切块进行特征提取，输出影像切块的特征矩阵，主体模块可以包括卷积层、下采样层以及上采样层、跳接结构；第一输出层连接所述主体模块，用于根据主体模块输出的特征矩阵得到影像切块中第一椎骨的最终分割结果，影像切块中第一椎骨的数据较为完整，也包含更多的全局信息，其椎骨分割结果较为精确，分割结果中的标签包括“椎骨”体素、“非椎骨”体素，由于本方法还记录了迭代信息，相应的分割结果也对应了椎骨的次序，可以间接的实现多分类的效果，即识别出“第一椎骨”体素、“非第一椎骨”体素；第二输出层连接主体模块，用于根据特征矩阵得到影像切块中第二椎骨的初步分割结果，由于影像切块中第二椎骨的数据可能不完整，其包含的第二椎骨的全局信息可能存在缺失，在当前迭代轮的分割结果仅作为初步分割结果，用于确定第二椎骨定位点，在下一轮迭代时获取更为完整的第二椎骨数据，用于对其进行精确分割，得到第二椎骨的最终分割结果。
154.本实施例中的脊椎分割神经网络模型通过主体模块提取了影像切块的特征信息，通过第一输出层获取了第一椎骨的精确分割结果，通过第二输出层获取了第二椎骨的初步分割结果，便于实现脊椎中各椎骨的准确定位及精确分割。
155.基于上述任一实施例，在一个实施例中，所述脊椎分割神经网络模型是预先利用训练数据训练卷积神经网络得到的模型；
156.其中，所述训练数据包括训练样本以及每一训练样本对应的参考标签；所述每一训练样本中的颈椎c1以上的部分，和/或，腰椎l5 以下的部分，被配置为无效区域。
157.具体地，脊椎分割神经网络模型是预先训练好的卷积神经网络模型，可以是全卷积神经网络模型，u-net模型等等。训练数据包括多个训练样本以及每一训练样本的参考标签，将训练样本中颈椎c1以上的部分配置为无效区域(通过掩膜去掉样本中对应的区域，并将其参考标签配置为“非椎骨”)，可以减少数据处理量，也避免无关组织对脊椎样本造成干扰。同理，也可以将腰椎l5以下的部分确定为无效区域。
158.本实施例中通过配置训练样本的无效区域，优化了训练样本的质量，提升了脊椎分割准确率。
159.基于上述任一实施例，在一个实施例中，方法还包括：
160.从各迭代轮次的影像切块的分割结果中获取相应的第一椎骨的分割结果；
161.将各影像切块相应的第一椎骨的分割结果进行进行融合，得到所述待分割医学影像的脊椎分割结果。
162.具体地，本方法每次切块获取两段椎骨(或更多椎骨)，每一影像切块对应的分割结果中第一椎骨的分割结果为准确的椎骨分割结果，根据其切块位置，将其准确的椎骨分割结果对应到待处理医学影像空间中并进行融合，得到待分割医学影像的脊椎分割结果。
163.本实施例中实现了各影像切块分割结果的融合，准确获取了待分割医学影像的脊
椎分割结果。
164.下面对本发明提供的基于深度学习的脊椎图像分割装置进行描述，下文描述的基于深度学习的脊椎图像分割装置与上文描述的基于深度学习的脊椎图像分割方法可相互对应参照。
165.图5是本发明提供的基于深度学习的脊椎图像分割装置的结构示意图，如图5所示，该装置包括：
166.切块模块51，用于根据待分割医学影像的第一椎骨定位点，从所述待分割医学影像中获取影像切块；其中，所述影像切块至少包括第一椎骨，以及第二椎骨的至少部分数据；
167.分割模块52，用于将所述影像切块输入脊椎分割神经网络模型，得到影像切块分割结果；
168.定位模块53，用于根据所述影像切块分割结果，确定第二椎骨定位点；
169.迭代模块54，用于迭代执行上述过程，直至所述待分割医学影像的至少部分数据分割完毕。
170.本实施例中通过第一椎骨定位点，从待分割医学影像中获取影像切块，输入脊椎分割神经网络模型中进行分割，每次仅对相邻的部分椎骨进行分割，减少了单次分割的数据处理量；通过影像切块的分割结果确定出第二椎骨定位点，能够自动感知脊柱走向，并进行迭代切块；通过迭代分割过程，便捷高效地完成了脊椎分割任务，并且可以间接实现多分类效果。
171.图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(communicationsinterface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行上述各提供的基于深度学习的脊椎图像分割方法的全部或部分步骤。
172.此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
173.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各提供的基于深度学习的脊椎图像分割方法的全部或部分步骤。
174.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于深度学习的脊椎图像分割方法的全部或部分步骤。
175.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
176.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
177.又一方面，本发明还提供一种手术导航定位系统包括主机、机械臂，所述主机中设置有存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一项基于深度学习的脊椎图像分割方法的全部或部分步骤；所述机械臂与所述主机通信连接，用于接收控制指令并执行相应动作。
178.主机中的处理器执行存储器上存储的计算机程序，实现前述任一项基于深度学习的脊椎图像分割方法的全部或部分步骤，完成脊椎分割，还可以通过连接的显示设备将脊柱分割结果进行显示，供医生观看；机械臂与主机通信连接，用于接收主机(或其他设备)输入的控制指令并执行相应的动作，辅助医生完成手术。
179.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。