一种脊柱配准方法、装置、设备及计算机存储介质与流程

1.本发明涉及脊柱配准研究领域，特别是一种脊柱配准方法、装置、设备及计算机存储介质。


背景技术：

2.腰椎间盘突出是最常见的骨科疾病，发病率约20％，其中10
‑
15％的病人需要手术治疗。椎间盘消融术是在图像辅助下利用c型臂x光机对病变椎间隙准确定位，将射频消融针头插入病变椎间盘组织中，通过消融与热凝相结合完成对髓核的分解、气化、消融、皱缩、固化，减小髓核体积，使突出的椎间盘回缩，解除对脊髓和神经根的压迫，从而达到治疗的目的，极大程度上减少了对脊柱固有结构的损伤，降低了患者术后恢复时间。椎间盘消融术已成为椎间盘手术的重要治疗方式。
3.目前，椎间盘消融术采用c型臂x光机引导下完成，存在图像引导不直观、观察视野小等问题，加之椎间盘周边遍布重要神经与血管，对手术定位要求很高，因此存在手术操作难度大、严重依赖医生经验、手术风险较大等问题。总体来看，基于图像的手术导航系统有望改善这种情况。分析椎间盘消融的手术过程可知，导航系统需要对脊柱、椎间盘及其周边的血管、神经根提供精确的定位信息。必须利用术前磁共振(magnetic resonance imaging，mri)获得椎骨、椎间盘及其周边的血管、神经根图像；利用ct(computed tomography)获得脊柱骨性结构图像；通过多模态脊柱图像配准技术将不同模态图像配准在同一个坐标空间，进而进行融合显示，提供病变部位椎骨、椎间盘、血管、神经等组织的增强呈现，实现手术路径规划、引导与术中观察。
4.传统方法多采用在标准弹性配准框架中加入“刚性约束”方式以保证椎骨的刚性形变。例如在弹性图像配准算法中加入图像中解剖结构的刚性信息，通过约束图像中刚性区域的形变场的雅可比矩阵是正交阵来保证刚性区域的形变是刚性的。此类方法采用传统弹性配准框架，计算量巨大(运行时间>5分钟)，难以满足手术导航应用要求。
5.另一类传统方法为分步配准方法，需要先计算每个椎骨与椎间盘对应的刚性变换，然后将求得数个刚性变换融合优化得到最终的形变场。例如，通过手动选特征点，然后基于到骨性结构的距离进行加权得到最终的形变场。此类方法多需人工参与，难以满足手术导航应用要求。
6.此外，以上的传统方法在应用时必须提供脊柱骨性结构的信息，才能保持椎骨的刚性。


技术实现要素：

7.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种脊柱配准方法、装置、设备及计算机存储介质。
8.根据本发明提供的脊柱配准方法，包括：
9.获取待配准的mr图像和ct图像；
10.利用训练好的刚弹性脊柱配准模型对mr图像和ct图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，所述特征提取单元用于接收待配准的mr图像和ct图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层，所述空间变换层连接所述融合单元，所述空间变换层用于根据待配准的mr图像生成配准后的mr图像；
11.获取所述刚弹性脊柱配准模型输出的配准结果。
12.根据本发明的一些实施例，所述特征提取单元包括依次连接的第一提取卷积层、第二提取卷积层、第三提取卷积层和第四提取卷积层，所述第一提取卷积层用于接收mr图像和ct图像，所述第四提取卷积层连接所述全连接单元。
13.根据本发明的一些实施例，所述全连接单元包括第一全连接层以及若干个第二全连接层，所述第一全连接层连接所述第四提取卷积层，各个所述第二全连接层并联连接所述第一全连接层。
14.根据本发明的一些实施例，所述特征变换单元包括特征变换层，所述特征变换层的数量与所述第二全连接层相同，各个所述第二全连接层与所述特征变换层一一对应连接，所述融合单元包括依次连接的第一融合卷积层、第二融合卷积层、第三融合卷积层和第四融合卷积层，所述第一提取卷积层和各个所述特征变换层连接所述第四融合卷积层，所述第二提取卷积层和各个所述特征变换层连接所述第三融合卷积层，所述第三提取卷积层和各个所述特征变换层连接所述第二融合卷积层，所述第四提取卷积层和各个所述特征变换层连接所述第一融合卷积层。
15.根据本发明的一些实施例，脊柱配准方法还包括：
16.构建所述刚弹性脊柱配准模型；
17.获取用于训练的mr图像、ct图像、mr分割图像、ct分割图像；
18.依据损失函数对所述刚弹性脊柱配准模型进行训练；
19.对训练后的所述刚弹性脊柱配准模型进行测试，获取训练好的所述刚弹性脊柱配准模型。
20.根据本发明的一些实施例，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
21.使用dice损失单元根据mr分割图像、ct分割图像计算第一损失l1；
22.使用最小二乘损失单元根据mr分割图像计算第二损失l2；
23.使用归一化互相关损失单元根据ct图像和配准后的mr图像计算第三损失l3。
24.根据本发明的一些实施例，所述依据损失函数对所述刚弹性脊柱配准模型进行训练这一步骤，还包括：
25.计算全局损失l，所述全局损失l满足公式l＝l1 0.1*l2 l3；
26.依据所述全局损失l对所述刚弹性脊柱配准模型进行训练。
27.根据本发明提供的脊柱配准装置，包括：
28.第一获取模块，所述第一获取模块用于获取待配准的mr图像和ct图像；
29.处理模块，所述处理模块用于利用训练好的刚弹性脊柱配准模型对mr图像和ct图像进行配准，所述刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融
合单元，所述特征提取单元用于接收待配准的mr图像和ct图像，所述特征提取单元、所述全连接单元、所述特征变换单元和所述融合单元依次连接，所述特征提取单元跳跃连接所述融合单元，所述刚弹性脊柱配准模型包括空间变换层，所述空间变换层连接所述融合单元，所述空间变换层用于根据待配准的mr图像生成配准后的mr图像；
30.第二获取模块，所述第二获取模块用于获取所述刚弹性脊柱配准模型输出的配准结果。
31.根据本发明提供的设备，包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由所述处理器处理时用于实现本发明提供的脊柱配准方法。
32.根据本发明提供的计算机存储介质，计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集在由处理器处理时用于实现如本发明提供的脊柱配准方法。
33.本发明的有益效果是：
34.本发明提供的脊柱配准方法使用神经网络模型进行多模态脊柱图像的刚弹性配准，能够同时估计骨性结构的刚性变换与软组织结构的弹性形变，脊柱配准方法在应用时无需提供骨性结构的信息，解决了传统刚性约束算法在应用时需要提供骨性结构的信息的瓶颈，本发明的脊柱配准方法采用神经网络模型进行配准，相比于传统算法的运行时间短，不需要人工参与，配准精度高，能够满足多模态图像引导的手术导航应用要求。
附图说明
35.本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
36.图1是根据本发明提供的刚弹性脊柱配准模型的结构示意图；
37.图2是使用本发明提供的脊柱配准方法进行脊柱配准的效果示意图。
38.附图标记：
39.第一提取卷积层11、第二提取卷积层12、第三提取卷积层13、第四提取卷积层14、
40.第一全连接层21、第二全连接层22、
41.特征变换层31、
42.第一融合卷积层41、第二融合卷积层42、第三融合卷积层43、第四融合卷积层44、
43.第五融合卷积层5、形变场6、空间变换层7、
44.第一dice损失层81、第二dice损失层82、最小二乘损失层83、归一化互相关损失层84。
具体实施方式
45.下面详细描述本发明的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
46.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、前、后、左、右等
指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
47.在本发明的描述中，若干的含义是一个或者多个，多个的含义是两个以上，大于、小于、超过等理解为不包括本数，以上、以下、以内等理解为包括本数。术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
48.本发明的描述中，除非另有明确的限定，设置、安装、连接等词语应做广义理解，所属技术领域技术人员可以结合技术方案的具体内容合理确定上述词语在本发明中的具体含义。
49.首先，对本技术实施例中涉及的相关名词术语进行介绍和说明：
50.mr图像：利用术前磁共振(magnetic resonance imaging，mri)获得的椎骨、椎间盘及其周边的血管、神经根图像。
51.ct图像：利用ct(computed tomography)获得的脊柱骨性结构图像。
52.mr分割图像：对mr图像的骨性结构进行标记后获得的mr掩膜图像，用于提取mr图像的特征。
53.ct分割图像：对ct图像的骨性结构进行标记后获得的ct掩膜图像，用于提取ct图像的特征。
54.配准：将不同mr图像和ct图像配准在同一个坐标空间，以便于进行融合显示。
55.骨性结构信息：椎骨的信息，椎骨是刚性结构，骨性结构信息用于约束算法以使配准时椎骨的形状不发生变化，避免产生不合理的解，本技术实施例中骨性结构信息可以由掩膜图像(分割图像)或掩膜图像定义或计算出来的其它图像提供。
56.现有的配准方法采用的算法计算量较大，解算耗时较长。解算时，需要提供骨性结构信息对算法进行约束，而骨性结构信息一般需要手动标注生成，使用不便。
57.根据本发明提供的脊柱配准方法，包括：
58.获取待配准的mr图像和ct图像；
59.利用训练好的刚弹性脊柱配准模型对mr图像和ct图像进行配准，刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，特征提取单元用于接收待配准的mr图像和ct图像，特征提取单元、全连接单元、特征变换单元和融合单元依次连接，特征提取单元跳跃连接融合单元，刚弹性脊柱配准模型包括空间变换层7，空间变换层7连接融合单元，空间变换层7用于根据待配准的mr图像生成配准后的mr图像；
60.获取刚弹性脊柱配准模型输出的配准结果。
61.根据本发明提供的脊柱配准方法，通过采用神经网络算法进行配准，能够提高算法的解算速度，神经网络算法可以运行在gpu平台上，进一步降低运行时间(运行时间<25秒)。神经网络算法训练完成后不需要提供骨性结构信息即可进行解算，使得脊柱配准方法
不需要人工参与，使用方便。脊柱配准方法能够满足手术导航的应用要求。
62.可以理解的是，刚弹性脊柱配准模型通过以下逻辑进行配准：
63.将mr图像作为待配准图像，ct图像作为参考图像进行前处理，前处理后的图像输入特征提取单元，特征提取单元提取图像的多尺度特征图。
64.特征提取单元的输出输入全连接单元，全连接单元估计出每个骨性结构(椎骨)对应的刚性形变场参数，利用估计出的参数产生相应椎骨的刚性矩阵{x
i
}，i＝[1,2,
…
,n]。其中n为图像中椎骨的数量，x
i
为第i个椎骨的刚性形变场参数。
[0065]
特征变换单元将全连接单元产生的刚性矩阵转换为不同尺度的特征图。
[0066]
融合单元接收来自特征提取单元的特征图以及特征变换单元的特征图，根据特征图估计形变场6。
[0067]
空间变换层7根据形变场6对输入的mr图像进行空间变换，即得到基于参考ct图像进行配准后的mr图像。
[0068]
在此，融合单元和特征提取单元设置了跳跃连接，从而使刚弹性脊柱配准模型能够克服梯度消失和梯度爆炸的问题，并且有助于提高训练效果，提高输出结果的精确性。前处理指将mr图像和ct图像组合并调整至合适的规格，例如前处理可以包括将mr图像和ct图像拼接起来。
[0069]
图2显示了本发明提供的脊柱配准方法与传统方法的比较，其中a行为原始图像，b行为处理后的图像，第1列为未配准的mr图像，第2列为作为参照的ct图像，可见a2和b2之间存在较大的差别。3至5列为采用传统方法配准后的mr图像，与b2对比，可以认识到配准后仍存在一定的差异，6和7列为根据本发明提供的脊柱配准方法配准后的mr图像，与b2对比，差异相比于传统方法进一步缩小，本发明提供的脊柱配准方法能够提高输出结果的精确性。
[0070]
在一些实施例中，特征提取单元包括依次连接的第一提取卷积层11、第二提取卷积层12、第三提取卷积层13和第四提取卷积层14，第一提取卷积层11用于接收mr图像和ct图像，第四提取卷积层14连接全连接单元。
[0071]
在一些实施例中，全连接单元包括第一全连接层21以及若干个第二全连接层22，第一全连接层21连接第四提取卷积层14，各个第二全连接层22并联连接第一全连接层21。全连接单元首先通过flatten层将特征提取单元提取的数据转换为一维矩阵，采用第一全连接层21和第二全连接层22估计出每个骨性结构椎骨对应的刚性形变场参数，利用估计出的参数产生相应椎骨的刚性矩阵{x
i
}。第二全连接层22的数量与输入的mr图像和ct图像中椎骨的数量一致，例如如图2所示，输入的mr图像和ct图像具有5个椎骨，相应地全连接单元包括5个第二全连接层22，一个第二全连接层22输出一个椎骨的刚性矩阵{x
i
}。
[0072]
在一些实施例中，特征变换单元包括特征变换层31，特征变换层31的数量与第二全连接层22相同，第二全连接层22与特征变换层31连接，融合单元包括依次连接的第一融合卷积层41、第二融合卷积层42、第三融合卷积层43和第四融合卷积层44，第一提取卷积层11和各个特征变换层31连接第四融合卷积层44，第二提取卷积层12和各个特征变换层31连接第三融合卷积层43，第三提取卷积层13和各个特征变换层31连接第二融合卷积层42，第四提取卷积层14和各个特征变换层31连接第一融合卷积层41。
[0073]
在一些实施例中，融合单元包括第五融合卷积层5，第四融合卷积层44连接第五融合卷积层5，第五融合卷积层5输出的特征图通过上采样层得到最终用于配准的形变场6。
[0074]
根据本发明提供的脊柱配准方法，还包括：
[0075]
构建刚弹性脊柱配准模型；
[0076]
获取用于训练的mr图像、ct图像、mr分割图像、ct分割图像；
[0077]
依据损失函数对刚弹性脊柱配准模型进行训练；
[0078]
对训练后的刚弹性脊柱配准模型进行测试，获取训练好的刚弹性脊柱配准模型。
[0079]
刚弹性脊柱配准模型采用有监督训练方式，通过损失函数对训练进行监督。训练采用预先标记好的mr分割图像和ct分割图像进行特征提取，mr分割图像和ct分割图像的标记可由专家手工进行。通过对刚弹性脊柱配准模型进行训练和测试，能够提高刚弹性脊柱配准模型的配准准确度。训练完成后，刚弹性脊柱配准模型使用时无需再参考mr分割图像和ct分割图像。
[0080]
在一些实施例中，依据损失函数对刚弹性脊柱配准模型进行训练这一步骤，还包括：
[0081]
使用dice损失单元根据mr分割图像、ct分割图像计算第一损失l1；
[0082]
使用最小二乘损失单元根据mr分割图像计算第二损失l2；
[0083]
使用归一化互相关损失单元84根据ct图像和配准后的mr图像计算第三损失l3。
[0084]
在一些实施例中，dice损失单元包括第一dice损失层81和第二dice损失层82。第一dice损失层81和第二dice损失层82的输出加权获得l1。例如如图1所示，第一dice损失层81的输入为mr分割图像、ct分割图像和各个第二全连接层22的刚性矩阵{x
i
}，第一dice损失层81首先将mr分割图像和刚性矩阵{x
i
}组合产生配准后的mr分割图像，随后通过dice损失函数评估配准后的mr分割图像与作为参照的ct分割图像的相似度，从而得到l
11
。可以理解的是，相似度越高，说明全连接单元输出的刚性矩阵{x
i
}用于配准时的准确度越好。第二dice损失层82的输入为mr分割图像、ct分割图像和空间变换层7，第二dice损失层82首先将mr分割图像和空间变换层7组合产生配准后的mr分割图像，随后通过dice损失函数评估配准后的mr分割图像与作为参照的ct分割图像的相似度，从而得到l
12
。将l
11
和l
12
按照一定的加权相加即获得第一损失l1。
[0085]
在一些实施例中，l1满足公式l1＝0.1*l
11
0.9*l
12
，从而强调空间变换层7的配准效果在损失函数中的地位。
[0086]
在一些实施例中，最小二乘损失单元包括最小二乘损失层83，最小二乘损失层83的输入为mr分割图像以及形变场6。参照图1，最小二乘损失单元83按如下步骤求取l2：
[0087]
mr分割图像包含n个椎体的分割图像通过mr分割图像将形变场6进行裁剪，得到n个刚性区域的形变场
[0088]
根据计算每个刚性区域内所有点在配准前后的位置：其中分别为第i个刚性区域中的点集在配准前后的坐标，为矩阵，矩阵每列对应刚性区域中一个点的三维坐标；
[0089]
利用最小二乘估计得到每个刚性区域内的刚性变换参数矩阵
[0090]
依据求得的刚性变换参数矩阵，计算每一个刚性区域刚弹性形变场与理想刚性形变场之间的误差
[0091]
计算第二损失
[0092]
可以理解的是，骨性结构经过配准后不应发生变形，刚弹性形变场与理想刚性形变场之间的误差越小，说明刚弹性脊柱配准模型的结构越合理，用于配准时的准确度越好。
[0093]
在一些实施例中，归一化互相关损失单元包括归一化互相关损失层84，归一化互相关损失层84的输入为配准后的mr图像以及作为参照的ct图像，归一化互相关损失单元84评估配准后的mr图像与作为参照的ct图像的相似度。可以理解的是，相似度越高，说明刚弹性脊柱配准模型用于配准时的准确度越好。
[0094]
在一些实施例中，依据损失函数对刚弹性脊柱配准模型进行训练这一步骤，还包括：
[0095]
计算全局损失l，全局损失l满足公式l＝l1 0.1*l2 l3；
[0096]
依据全局损失l对刚弹性脊柱配准模型进行训练。
[0097]
通过对第一损失、第二损失和第三损失进行加权，降低第二损失的权重，从而优化全局损失，使得损失函数的训练效果更加理想。
[0098]
根据本发明提供的脊柱配准装置，包括：
[0099]
第一获取模块，第一获取模块用于获取待配准的mr图像和ct图像；
[0100]
处理模块，处理模块用于利用训练好的刚弹性脊柱配准模型对mr图像和ct图像进行配准，刚弹性脊柱配准模型包括特征提取单元、全连接单元、特征变换单元和融合单元，特征提取单元用于接收待配准的mr图像和ct图像，特征提取单元、全连接单元、特征变换单元和融合单元依次连接，特征提取单元跳跃连接融合单元，刚弹性脊柱配准模型包括空间变换层7，空间变换层7连接融合单元，空间变换层7用于根据待配准的mr图像生成配准后的mr图像；
[0101]
第二获取模块，第二获取模块用于获取刚弹性脊柱配准模型输出的配准结果。
[0102]
本发明提供的脊柱配准装置可用于执行本发明任意实施例所提供的脊柱配准方法，脊柱配准装置具备执行本发明任意实施例所提供的脊柱配准方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本技术任意实施例所提供的脊柱配准方法。
[0103]
根据本发明提供的设备，包括处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集在由处理器处理时用于实现本发明任意实施例所提供的脊柱配准方法。
[0104]
本发明提供的设备可用于实现本发明任意实施例所提供的脊柱配准方法，本发明提供的设备具体实现的功能以及有益效果与本发明任意实施例所提供的脊柱配准方法具体实现的功能以及有益效果相同。
[0105]
根据本发明提供的计算机存储介质，计算机存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集在由处理器
处理时用于实现本发明任意实施例所提供的脊柱配准方法。
[0106]
本发明提供的计算机存储介质可用于实现本发明任意实施例所提供的脊柱配准方法，本发明提供的计算机存储介质具体实现的功能以及有益效果与本发明任意实施例所提供的脊柱配准方法具体实现的功能以及有益效果相同。
[0107]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示意性实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0108]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。