基于目标器官三维图像的刚性配准方法及相关装置与流程

1.本技术属于互联网产业的一般的图像数据处理技术领域，具体涉及一种基于目标器官三维图像的刚性配准方法及相关装置。


背景技术：

2.计算机断层扫描图像（ct图像）对骨性结构显影优秀，而核磁共振图像（mri图像）对软组织显影卓越，超声图像又具备实时反馈的特性，将三者属于不同模态下的图像进行图像刚性配准以此辅助微创介入手术对病灶的查找和定位，从而降低手术难度和门槛是目前医学影像领域研究的热点。但是，现有技术中，有关于器官三维图像的刚性配准方法都存在计算量大，配准效率低的问题，严重降低了医生的工作效率。


技术实现要素：

3.本技术提供了一种基于目标器官三维图像的刚性配准方法及相关装置，以期提高图像配准效率。
4.第一方面，本技术实施例提供了一种基于目标器官三维图像的刚性配准方法，包括：获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到
配准后的三维图像。
5.第二方面，本技术实施例提供了一种基于目标器官三维图像的刚性配准装置，包括：第一获取单元，用于获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据；第一确定单元，用于确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；创建单元，用于根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；第二获取单元，用于获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；第二确定单元，用于根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；图像变换单元，用于根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；图像融合单元，用于将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
6.第三方面，本技术实施例提供了一种电子设备，包括处理器、存储器以及一个或多个程序，所述一个或多个程序被存储在所述存储器中，并且被配置由所述处理器执行，所述程序包括用于执行如本技术实施例第一方面中的步骤的指令。
7.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现本技术实施例第一方面中的步骤。
8.第五方面，本技术实施例提供了一种计算机程序产品，其中，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如本技术实施例第一方面中所描述的部分或全部步骤。
9.可以看出，本技术实施例中，电子设备首先获取目标器官对应的ct/mri图像以及参考超声图像，再确定ct/mri图像对应的第一掩膜图像以及超声图像对应的第二掩膜图像，以确定病灶轮廓，再根据第一掩膜图像创建能量场，以及获取第二掩膜图像边界处的参考坐标点序列，然后根据参考坐标点序列和能量场确定出该能量场中能量值最小的目标坐标点序列，从而得到参考坐标点序列和目标坐标点序列之间的变换关系，根据该变换关系对参考超声图像进行空间几何变换，从而得到目标超声图像，最后将ct/mri图像和目标超声图像进行融合，得到配准后的三维图像。如此，通过创建能量场关联坐标点序列来得到由参考坐标点序列到目标坐标点序列之间最优的变换关系，操作简单，省去了复杂的计算过程，提高了图像配准的效率，使医生能够在超声环境下看到ct/mri序列中的器官及周围组织，有效提升了医生的工作效率。
附图说明
10.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1是本技术实施例提供的一种电子设备的结构框图；图2是本技术实施例提供的一种基于目标器官三维图像的刚性配准方法的流程示意图；图3a是本技术实施例提供的一种第一掩膜图像的示例图；图3b是本技术实施例提供的一种第二掩膜图像的示例图；图4是本技术实施例提供的一种配准后的三维图像对应的掩膜图像的示例图；图5a是本技术实施例提供的一种基于目标器官三维图像的刚性配准装置的功能单元组成框图；图5b是本技术实施例提供的另一种基于目标器官三维图像的刚性配准装置的功能单元组成框图。
具体实施方式
12.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
13.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
14.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
15.下面先对本技术涉及到的相关术语进行介绍。
16.刚性配准：医学图像配准中的一种配准方式，主要应用于组织器官内部基本不会发生形变的刚体部位的医学图像。
17.医学图像配准：是指针对两幅医学图像，以其中一幅医学图像作为参考来寻找一种(或一系列)空间变换关系,使得另一幅医学图像经过空间变换后，两幅图像之间相对应的点在空间上达到基本一致的一种技术。
18.掩膜（mask）：用选定的图像、图形或物体，对处理的图像（全部或局部）进行遮挡，来控制图像处理的区域或处理过程。在医学图像配准技术领域中，掩膜技术的作用：提取图像中的感兴趣区域，从而使得配准的结果是使两幅图像上所有的解剖点，或至少是所有具
有诊断意义的点及手术感兴趣的点都达到匹配。
19.目前，医学图像配准技术在微创介入手术领域中的作用越来越大，可以有效辅助医生查找病灶位置，从而准确制定手术方案，对病人进行有效治疗。但是现有技术中的医学图像配准技术通常存在计算量大，计算复杂度高的问题，导致配准效率并不理想，严重影响了医生的工作效率。
20.为解决上述问题，本技术实施例提供了一种基于目标器官三维图像的刚性配准方法及相关装置，该方法应用于对目标器官的三维图像进行处理的电子设备中。电子设备通过创建ct/mri图像对应的第一掩膜图像对应的能量场，从而在能量场的维度找到最优的变换关系，以对超声图像进行变换，实现配准。在简化了配准流程、提高配准效率的同时，也能够保证图像配准的精确度，提高医生的使用体验和工作效率。
21.请参阅图1，图1是本技术实施例提供的一种电子设备的结构框图。如图1所示，电子设备10可以包括一个或多个如下部件：处理器11、与处理器11耦合的存储器12，其中存储器12可存储有一个或多个计算机程序，一个或多个计算机程序可以被配置为由一个或多个处理器11执行时实现下述实施例描述的方法。其中，所述电子设备可以是医疗设备，如医疗平板、医疗电脑等。
22.处理器11可以包括一个或者多个处理核。处理器11利用各种接口和线路连接整个电子设备10内的各个部分，通过运行或执行存储在存储器12内的指令、程序、代码集或指令集，以及调用存储在存储器12内的数据，执行电子设备10的各种功能和处理数据。可选地，处理器11可以采用数字信号处理(digital signal processing，dsp)、现场可编程门阵列(field－programmable gate array，fpga)、可编程逻辑阵列(programmable logicarray，pla)中的至少一种硬件形式来实现。处理器11可集成中央处理器(centralprocessing unit，cpu)、图像处理器(graphics processing unit，gpu)和调制解调器等中的一种或几种的组合。其中，cpu主要处理操作系统、用户界面和应用程序等；gpu用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器11中，单独通过一块通信芯片进行实现。
23.存储器12可以包括随机存储器(random access memory，ram)，也可以包括只读存储器(read-only memory，rom)。存储器12可用于存储指令、程序、代码、代码集或指令集。存储器12可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等。存储数据区还可以存储电子设备10在使用中所创建的数据等。
24.可以理解的是，电子设备10可包括比上述结构框图中更多或更少的结构元件，例如，包括电源模块、物理按键、wi-fi模块、扬声器、蓝牙模块、传感器等，在此不进行限定。
25.下面介绍本技术实施例提供的一种基于目标器官三维图像的刚性配准方法。
26.请参阅图2，图2是本技术实施例提供的一种基于目标器官三维图像的刚性配准方法的流程示意图，所述方法应用于如图1所示的电子设备10中，如图2所示，所述方法包括：步骤201，获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像。
27.其中，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的
三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图像用于指示所述目标器官的超声数据，所述三维体数据是指目标器官在经过ct或mri扫描后呈现出的三维立体状态的图像数据，所述超声数据是指目标器官在所述多组超声图像组合形成的参考超声图像中呈现出三维立体状态的图像数据。其中，所述多组超声图像是在二维空间的超声图像，通过电磁传感器定位多组二维超声图像上的像素点坐标信息，在经过组合、空间转换得到三维空间下的像素点坐标信息，从而组合形成所述参考超声图像。需要说明的是，mri可获得人体横面、冠状面、矢状面及任何方向断面的图像，可以做到直接三维显示，而ct需要采用图像重建的方法来获得三维重建的立体图像，例如可以通过多平面重建法、最大密度投影法来实现ct图像的三维重建。
28.步骤202，确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像。
29.其中，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，具体的三维图像轮廓如图3a所示；所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分，具体的三维图像轮廓如图3b所示。掩膜图像可以看作是由0和1组成的一个二进制图像，当在某一功能中应用掩膜时，1值区域被处理，被屏蔽的0值区域不被包括在计算中，那么在本示例中，可以对目标器官的病灶对应的图像位置赋值为1，其余位置赋值为0，则可以得到表征目标器官的病灶位置的掩膜图像。可以理解的是，第一掩膜图像的边界轮廓即为ct/mri图像中病灶的部分轮廓，第二掩膜图像的边界轮廓即为参考超声图像中病灶的部分轮廓。
30.步骤203，根据所述第一掩膜图像创建能量场。
31.其中，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减，即越靠近能量场边界处，能量值越小。可选地，运用相关图像处理技术对上述第一掩膜图像进行处理，得到所述能量场，所述相关图像处理技术可以是图像腐蚀、膨胀、去噪等。
32.步骤204，获取所述第二掩膜图像边界处的参考坐标点序列。
33.其中，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标。具体地，可通过电磁传感器对多组二维超声图像中具有病理诊断意义的多个像素点进行采样并记录坐标，在经过三维转换得到参考超声图像后可以根据该三维转换具体计算出所述参考超声图像中具有病理诊断意义的多个像素点的坐标，从而计算得到上述参考坐标点序列。
34.步骤205，根据所述参考坐标点序列和所述能量场确定目标坐标点序列。
35.其中，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等。可以理解的是，医学图像配准的任务就是找到一个最优的变换关系，使得不同图像上具有意义的点在空间上实现一一对应，在本技术实施例中，是通过变换关系对参考坐标点序列进行变换，当其变换成为能量场中能量值最小的坐标点序列时，该变换关系为最优解。
36.步骤206，根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所
述参考超声图像进行空间几何变换，得到目标超声图像。
37.其中，所述空间几何变换至少包括以下一种：平移、旋转。
38.步骤207，将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
39.其中，所述配准后的三维图像可以同时兼容ct/mri图像和超声图像的优点，使得目标器官的病灶图像在具有高清晰度的同时又具备实时反馈的特性。由于超声图像变换后，其对应的掩膜图像也会随之进行空间几何变换，为便于阐述和理解，下面通过掩膜图像之间的融合配准来说明ct/mri图像和目标超声图像之间的融合配准。例如，如图4所示，图4中的三维图像是将上述示例中图3a和经过空间几何变换后的图3b融合配准形成的图像，可以理解的是，图3b经过空间几何变换后在图4中的图像部分即为所述目标超声图像对应的掩膜图像。
40.可见，本示例中，电子设备首先获取目标器官对应的ct/mri图像以及参考超声图像，再确定ct/mri图像对应的第一掩膜图像以及超声图像对应的第二掩膜图像，以确定病灶轮廓，再根据第一掩膜图像创建能量场，以及获取第二掩膜图像边界处的参考坐标点序列，然后根据参考坐标点序列和能量场确定出该能量场中能量值最小的目标坐标点序列，从而得到参考坐标点序列和目标坐标点序列之间的变换关系，根据该变换关系对参考超声图像进行空间几何变换，从而得到目标超声图像，最后将ct/mri图像和目标超声图像进行融合，得到配准后的三维图像。如此，通过创建能量场关联坐标点序列来得到由参考坐标点序列到目标坐标点序列之间最优的变换关系，操作简单，省去了复杂的计算过程，提高了图像配准的效率，使医生能够在超声环境下看到ct/mri序列中的器官及周围组织，有效提升了医生的工作效率。
41.在一个可能的示例中，所述根据所述参考坐标点序列和所述能量场确定目标坐标点序列，包括：根据所述参考坐标点序列和所述能量场确定目标变换参数；根据所述目标变换参数对所述参考坐标点序列进行坐标变换，得到所述目标坐标点序列。
42.其中，所述目标变换参数用于表征在当前能量场的作用下所述参考坐标点序列和所述目标坐标点序列之间的最优变换关系，该目标变换参数的具体形态可以是变换矩阵，也可以是空间变换函数，或是其他任意一种可以将上述参考坐标点序列变换为上述目标坐标点序列的参数形态。
43.可见，本示例中，电子设备先确定出作为参考坐标点序列和目标坐标点序列之间的最优变换关系的表现形态之一的目标变换参数，再根据目标变换参数对参考坐标点序列进行坐标变换，从而得到目标坐标点序列，操作简单，提高了图像配准的效率。
44.在一个可能的示例中，所述根据所述参考坐标点序列和所述能量场确定目标变换参数，包括：根据所述参考坐标点序列和所述能量场构建能量值计算公式，所述能量值计算公式的因变量为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值，所述能量值计算公式中的自变量为所述参考坐标点序列进行坐标变换的变换参数；根据所述能量值计算公式确定所述目标变换参数。
45.其中，上述能量值计算公式表示在当前能量场的约束下，参考坐标点序列在变换参数x的作用下变换为另一坐标点序列后在该能量场中的能量值y，简单来说，该能量值计算公式的基本形态可以是y=f(x)，其中，f代表能量场这一约束条件，在本示例中，f代表的
是根据第一掩膜图像创建的能量场，可以理解的是，在其他示例中，由于第一掩膜图像的不同，所创建得到的能量场也就不同，那么在该能量值计算公式中的约束条件f也是不同的。需要说明的是，y=f(x)仅为所述能量值计算公式最基本的形态，其中还可以包括其他数学模型或优化函数。
46.可见，本示例中，电子设备通过构建关联能量场的能量值计算公式，进而根据能量值计算公式来确定目标变换参数，提高了图像配准的效率和准确性。
47.在一个可能的示例中，所述能量值计算公式为：，其中，t(xi，yi)为所述变换参数，f为所述能量场，为惩罚函数，e为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值。
48.在本示例中，所述变换参数的具体形态是变换矩阵t(xi，yi)，具体地，该变换矩阵t可以是所述参考坐标点序列进行rt变换的变换矩阵，所述rt变换指的是对坐标/图像的一种空间变换方式，其中r代表旋转变换，t代表平移变换，则变换矩阵t(xi，yi)中具体的待求变量可以是r(q1,q2,q3)，t(dx,dy,dz)，其中，q1，q2，q3分别为参考坐标点序列在三维坐标系下三个旋转平面上顺时针旋转的旋转角度，例如q1为参考坐标点序列在x-z平面上的旋转角度，q2为参考坐标点序列在y-z平面上的旋转角度，q3为参考坐标点序列在x-z平面上的旋转角度；dx，dy，dz分别为参考坐标点序列在三维坐标系下三个坐标轴上正向的平移距离，dx为参考坐标点序列在x轴方向的平移距离，dy为参考坐标点序列在y轴方向的平移距离，dz为参考坐标点序列在z轴方向的平移距离。
49.可见，本示例中，变换参数具体可以是rt变换矩阵的形态，电子设备可以通过确定变换矩阵中的最优变量来找到最优的变换关系，提高了图像配准的效率和准确性。
50.在一个可能的示例中，所述根据所述能量值计算公式确定所述目标变换参数，包括：利用牛顿优化算法对所述能量值计算公式中的自变量进行估算求解，得到所述目标变换参数。
51.其中，由于在能量场中，参考坐标点序列的变换关系并不是唯一的，因此在上述能量值计算公式中变换参数x/变换矩阵t也就不具有唯一的解，此时可以运用部分数学理论根据所述能量值计算公式确定出一个最优解，即目标变换参数，上述部分数学理论包括所述牛顿优化算法，所述牛顿优化算法是指利用迭代点处的一阶导数梯度和二阶导数海森矩阵对目标函数进行二次函数近似然后把二次模型的极小点作为新的迭代点并不断重复这一过程直至求得满足精度的近似极小值。
52.具体地，针对上述示例中的公式：，可以通过计算能量值e关于变换矩阵t(xi，yi)中待求变量r(q1,q2,q3)，t(dx,dy,dz)的一阶、二阶偏导数，进而估算出六个待求变量q1、q2、q3、dx、dy和dz的最优解。
53.可见，本示例中，电子设备通过牛顿优化算法对能量值计算公式中的自变量进行估算求解，使得最终得到的结果高度逼近最优解，相比于现有技术中的图像配准方法，降低了计算量和复杂度，在保证准确度的基础上有效提高了图像配准的效率。
54.在一个可能的示例中，所述根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，包括：根据所述目
标变换参数对所述参考超声图像进行空间几何变换，得到目标超声图像。
55.其中，以目标变换参数为上述示例中的变换矩阵t(xi，yi)为例，假设最终求得的最优变换矩阵t(xi，yi)中各待求变量分别为r(10,5,13)，t(0.2,0.4,0.6)，则对所述参考超声图像进行如下变换：在x-z平面上顺时针旋转10
°
，在y-z平面上顺时针旋转5
°
，在x-z平面上顺时针旋转13
°
，在x轴方向上正向平移0.2个单位长度，在y轴方向上正向平移0.4个单位长度，在z轴方向上正向平移0.6个单位长度，从而得到目标超声图像，其中，所述单位长度和图像参数相关，可由电子设备自动设定或用户手动设定。可以理解的是，目标超声图像中的具有病理诊断意义的多个像素点和所述ct/mri图像中具有病理诊断意义的多个像素点在同一个坐标系下拥有相同的坐标，即目标坐标点序列。
56.在本技术实施例中，以所述多个像素点为基准，对ct/mri图像和目标超声图像进行融合，得到配准后的三维图像。
57.可见，本示例中，电子设备通过目标变换参数对参考超声图像进行空间几何变换，得到目标超声图像，使得目标超声图像中具有病理诊断意义的多个像素点和ct/mri图像中具有病理诊断意义的多个像素点达到匹配，提高了图像配准的效率和准确性。
58.在一个可能的示例中，所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，包括：将所述计算机断层扫描图像/核磁共振图像输入到预先训练好的第一分割模型中，得到所述第一掩膜图像；以及，将所述参考超声图像输入到预先训练好的第二分割模型中，得到所述第二掩膜图像。
59.其中，所述第一分割模型和所述第二分割模型都是预先训练好并存储在所述电子设备中的人工智能分割模型。具体地，将ct/mri图像作为第一分割模型的输入，所述第一分割模型对所述ct/mri图像中的病灶进行分割，得到第一掩膜图像；同理，将参考超声图像作为第二分割模型的输入，所述第二分割模型对所述参考超声图像中的病灶进行分割，得到第二掩膜图像。
60.可见，本示例中，电子设备通过预先训练好的分割模型对获取到的目标器官对应的多种三维图像进行分割，得到对应图像的掩膜图像，提高了图像配准的效率和准确性。
61.在其他可能的示例中，所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，包括：利用opencv的findcontours函数来对ct/mri图像中的病灶图像进行轮廓分割得到第一掩膜图像，以及对参考超声图像中的病灶图像进行轮廓分割得到第二掩膜图像。
62.在其他可能的示例中，在所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像之前，所述方法还包括：对所述计算机断层扫描图像/核磁共振图像以及所述参考超声图像进行预处理操作，所述预处理操作至少包括以下一种：低通滤波处理、图像归一化。
63.与上述所示的实施例一致的，请参阅图5a，图5a是本技术实施例提供的一种基于目标器官三维图像的刚性配准装置的功能单元组成框图，如图5a所示，所述基于目标器官三维图像的刚性配准装置50包括：第一获取单元501，用于获取所述目标器官对应的计算机断层扫描图像/核磁共振图像以及所述目标器官对应的参考超声图像，所述参考超声图像是指多组超声图像组合形成的用于指示所述目标器官的三维立体效果的超声图像，所述计算机断层扫描图像/核磁共振图像用于指示所述目标器官的三维体数据，所述参考超声图
像用于指示所述目标器官的超声数据；第一确定单元502，用于确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像，所述第一掩膜图像为所述目标器官的病灶在所述计算机断层扫描图像/核磁共振图像中的图像部分，所述第二掩膜图像为所述目标器官的病灶在所述参考超声图像中的图像部分；创建单元503，用于根据所述第一掩膜图像创建能量场，所述能量场的边界轮廓与所述第一掩膜图像的边界轮廓重合，所述能量场的能量值大小由能量场中心处到能量场边界处递减；第二获取单元504，用于获取所述第二掩膜图像边界处的参考坐标点序列，所述参考坐标点序列是指所述病灶在所述参考超声图像中具有病理诊断意义的多个像素点对应的多个坐标；第二确定单元505，用于根据所述参考坐标点序列和所述能量场确定目标坐标点序列，所述目标坐标点序列是指所述病灶在所述计算机断层扫描图像/核磁共振图像中具有病理诊断意义的多个像素点对应的多个坐标，所述目标坐标点序列在所述能量场中的能量值最小，所述目标坐标点序列中的像素点坐标个数与所述参考坐标点序列中的像素点坐标个数相等；图像变换单元506，用于根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像，所述空间几何变换至少包括以下一种：平移、旋转；图像融合单元507，用于将所述计算机断层扫描图像/核磁共振图像和所述目标超声图像进行融合，得到配准后的三维图像。
64.在一个可能的示例中，在所述根据所述参考坐标点序列和所述能量场确定目标坐标点序列方面，所述第二确定单元505具体用于：根据所述参考坐标点序列和所述能量场确定目标变换参数；根据所述目标变换参数对所述参考坐标点序列进行坐标变换，得到所述目标坐标点序列。
65.在一个可能的示例中，在所述根据所述参考坐标点序列和所述能量场确定目标变换参数方面，所述第二确定单元505具体用于：根据所述参考坐标点序列和所述能量场构建能量值计算公式，所述能量值计算公式的因变量为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值，所述能量值计算公式中的自变量为所述参考坐标点序列进行坐标变换的变换参数；根据所述能量值计算公式确定所述目标变换参数。
66.在一个可能的示例中，所述能量值计算公式为：，其中，t(xi，yi)为所述变换参数，f为所述能量场，为惩罚函数，e为所述参考坐标点序列经过坐标变换后在所述能量场中的能量值。
67.在一个可能的示例中，在所述根据所述能量值计算公式确定所述目标变换参数方面，所述第二确定单元505具体用于：利用牛顿优化算法对所述能量值计算公式中的自变量进行估算求解，得到所述目标变换参数。
68.在一个可能的示例中，在所述根据所述参考坐标点序列和所述目标坐标点序列之间的变换关系对所述参考超声图像进行空间几何变换，得到目标超声图像方面，所述图像变换单元506具体用于：根据所述目标变换参数对所述参考超声图像进行空间几何变换，得到目标超声图像。
69.在一个可能的示例中，在所述确定所述计算机断层扫描图像/核磁共振图像对应的第一掩膜图像和所述参考超声图像对应的第二掩膜图像方面，所述第一确定单元502具体用于：将所述计算机断层扫描图像/核磁共振图像输入到预先训练好的第一分割模型中，
得到所述第一掩膜图像；以及，将所述参考超声图像输入到预先训练好的第二分割模型中，得到所述第二掩膜图像。
70.可以理解的是，由于方法实施例与装置实施例为相同技术构思的不同呈现形式，因此，本技术中方法实施例部分的内容应同步适配于装置实施例部分，此处不再赘述。
71.在采用集成的单元的情况下，如图5b所示，图5b是本技术实施例提供的另一种基于目标器官三维图像的刚性配准装置的功能单元组成框图。在图5b中，基于目标器官三维图像的刚性配准装置51包括：处理模块512和通信模块511。处理模块512用于对基于目标器官三维图像的刚性配准装置的动作进行控制管理，例如，执行第一获取单元501、第一确定单元502、创建单元503、第二获取单元504、第二确定单元505、图像变换单元506和图像融合单元507的步骤，和/或用于执行本文所描述的技术的其它过程。通信模块511用于支持基于目标器官三维图像的刚性配准装置与其他设备之间的交互。如图5b所示，基于目标器官三维图像的刚性配准装置还可以包括存储模块513，存储模块513用于存储基于目标器官三维图像的刚性配准装置的程序代码和数据。
72.其中，处理模块512可以是处理器或控制器，例如可以是中央处理器(central processing unit，cpu)，通用处理器，数字信号处理器(digital signal processor，dsp)，asic，fpga或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。通信模块511可以是收发器、rf电路或通信接口等。存储模块513可以是存储器。
73.其中，上述方法实施例涉及的各场景的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。上述基于目标器官三维图像的刚性配准装置51均可执行上述图2所示的基于目标器官三维图像的刚性配准方法。
74.上述实施例，可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时，上述实施例可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令或计算机程序。在计算机上加载或执行所述计算机指令或计算机程序时，全部或部分地产生按照本技术实施例所述的流程或功能。所述计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线或无线方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质（例如，软盘、硬盘、磁带）、光介质（例如，dvd）、或者半导体介质。半导体介质可以是固态硬盘。
75.本技术实施例还提供一种计算机存储介质，其中，其上存储有计算机程序/指令，所述计算机程序/指令被处理器执行时实现如上述方法实施例中记载的任一方法的部分或全部步骤。
76.本技术实施例还提供一种计算机程序产品，上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。
77.应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
78.在本技术所提供的几个实施例中，应该理解到，所揭露的方法、装置和系统，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的；例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式；例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
79.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
80.另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理包括，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
81.上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、磁碟、光盘、易失性存储器或非易失性存储器。其中，非易失性存储器可以是只读存储器（read-only memory，rom）、可编程只读存储器（programmable rom，prom）、可擦除可编程只读存储器（erasable prom，eprom）、电可擦除可编程只读存储器（electrically eprom，eeprom）或闪存。易失性存储器可以是随机存取存储器（random access memory，ram），其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的随机存取存储器（random access memory，ram）可用，例如静态随机存取存储器（static ram，sram）、动态随机存取存储器（dram）、同步动态随机存取存储器（synchronous dram，sdram）、双倍数据速率同步动态随机存取存储器（double data rate sdram，ddr sdram）、增强型同步动态随机存取存储器（enhanced sdram，esdram）、同步连接动态随机存取存储器（synchlink dram，sldram）和直接内存总线随机存取存储器（direct rambus ram，dr ram）等各种可以存储程序代码的介质。
82.虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，可轻易想到变化或替换，均可作各种更动与修改，包含上述不同功能、实施步骤的组合，包含软件和硬件的实施方式，均在本发明的保护范围。