多模态医学图像配准方法、系统、可读存储介质和设备与流程

1.本技术涉及医疗影像技术领域，特别是涉及一种多模态医学图像配准方法、系统、可读存储介质和设备。


背景技术：

2.医学影像设备现已广泛应用于临床诊断和治疗中。由于各种设备模态的原理不同，具有不同的图像模态，具体可以分为解剖结构图像和功能图像，解剖结构图像包括如ct(computed tomography，电子计算机断层扫描)图像、mr(magnetic resonance，磁共振)图像、超声图像等，功能图像包括pet(positron emission computed tomography，正电子发射型计算机断层显像)图像、spect(single
‑
photon emission computed tomography，单光子发射断层显像)图像等，将上述多种模态图像融合成一幅图像，可以直观地在同一幅图像中同时表达来自人体多方面的信息，直观地提供人体解剖结构和功能代谢等状况，可以达到准确诊断、病灶的精确定位、放疗计划改进等目的。而影响多模态医学图像精准融合的关键因素之一是图像配准技术。
3.目前针对相关技术中存在的医学图像配准的准确性较低、难以直接实现跨平面的配准的问题，尚未提出有效的解决方案。


技术实现要素：

4.基于此，有必要针对相关技术中医学图像配准的准确性较低、难以直接实现跨平面的配准的问题，提供一种多模态医学图像配准方法、系统、可读存储介质和设备。
5.第一方面，本技术提供了一种多模态医学图像配准方法，包括以下步骤：
6.获取多模态医学图像，以及目标坐标系，目标坐标系包括解剖学坐标系和/或图像坐标系；
7.在目标坐标系下对多模态医学图像进行配准，得到配准后的模态图像。
8.在其中一个实施例中，在目标坐标系下对多模态医学图像进行配准包括以下步骤：
9.根据多模态医学图像进行目标部位识别；
10.若识别出的目标部位属于预置的目标类型，采用解剖学坐标系对多模态医学图像进行配准；
11.反之，采用解剖学坐标系或图像坐标系对多模态医学图像进行配准。
12.在其中一个实施例中，在采用解剖学坐标系对多模态医学图像进行配准时，还包括以下步骤：
13.在多模态医学图像上分别标注解剖学坐标系的方位。
14.在其中一个实施例中，在目标坐标系下对多模态医学图像进行配准时，配准的操作包括刚性变换、非线性变换、投影变换、仿射变换中的至少一种，各配准的操作均有对应于目标部位的配准预设范围。
15.在其中一个实施例中，在得到配准后的模态图像后，还包括以下步骤：
16.在目标坐标系或世界坐标系下，对配准后的模态图像进行二次配准。
17.在其中一个实施例中，多模态医学图像配准方法还包括以下步骤：
18.对配准后的模态图像进行融合，得到多模态的配准融合图像。
19.第二方面，本技术提供了一种多模态医学图像配准系统，包括：
20.数据获取单元，用于获取多模态医学图像和目标坐标系，其中，目标坐标系包括解剖学坐标系和/或图像坐标系；
21.图像配准单元，用于在目标坐标系下对多模态医学图像进行配准，得到配准后的模态图像。
22.在其中一个实施例中，图像配准单元还用于根据多模态医学图像进行目标部位识别；若识别出的目标部位属于预置的目标类型，采用解剖学坐标系对多模态医学图像进行配准；反之，采用解剖学坐标系或图像坐标系对多模态医学图像进行配准。
23.在其中一个实施例中，图像配准单元还用于在多模态医学图像上分别标注解剖学坐标系的方位。
24.在其中一个实施例中，图像配准单元在目标坐标系下对多模态医学图像进行配准时，配准的操作包括刚性变换、非线性变换、投影变换、仿射变换中的至少一种，各配准的操作均有对应于目标部位的配准预设范围。
25.在其中一个实施例中，图像配准单元还用于在得到配准后的模态图像后，在目标坐标系或世界坐标系下，对配准后的模态图像进行二次配准。
26.在其中一个实施例中，多模态医学图像配准系统还包括图像融合单元，用于对配准后的模态图像进行融合，得到多模态的配准融合图像。
27.第三方面，本技术提供了一种可读存储介质，其上存储有可执行程序，可执行程序被处理器执行时实现上述任一多模态医学图像配准方法的步骤。
28.第四方面，本技术提供了一种多模态医学图像配准设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述的多模态医学图像配准方法的步骤。
29.相比于相关技术，本技术提供的多模态医学图像配准方法、系统、可读存储介质和设备，目标坐标系是针对受试者的解剖学坐标系或模态图像所在的图像坐标系，而非一般采用的固定的世界坐标系，在目标坐标系下对多模态医学图像进行配准，可在不同于世界坐标系的目标坐标系中实现跨平面的三维方向的配准，解决相关技术中难以实现三维方向的配准以及点配准和自动配准难以辨别扫描方位的问题，从而提高医学图像配准的准确性。
30.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
31.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
32.图1为一个实施例中的示例性医学设备100的示意图；
33.图2为一个实施例中的在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图；
34.图3为一个实施例中的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图；
35.图4为一个实施例中的多模态医学图像配准方法的流程示意图；
36.图5为一个实施例中的多模态医学图像配准系统的结构示意图；
37.图6为另一个实施例中的多模态医学图像配准系统的结构示意图。
具体实施方式
38.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
39.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
40.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”等仅仅是区别类似的对象，不代表针对对象的特定排序。
41.图1是一个实施例的示例性用于多模态医学图像配准的医学设备100的示意图。参考图1所示，医学设备100可包括扫描仪110、网络120、一个或多个终端130、处理引擎140以及存储器150。医学设备100中的所有组件都可以通过网络120互相连接。
42.扫描仪110可扫描对象并且生成与该扫描对象相关的扫描图像数据。在一些实施例中，扫描仪110可以是医学成像设备，例如ct设备、pet设备、spect设备、mri设备等或其任意组合(例如，pet
‑
ct设备或ct
‑
mri设备)。
43.本技术中提到的“图像”可以指2d图像、3d图像、4d图像和/或任何相关数据，这并非旨在限制本技术的范围。对于本领域的技术人员来说，在本技术的指导下可以进行各种
修正和改变。
44.扫描仪110可包括支撑组件111、探测器组件112、扫描床114、电子模块115以及冷却组件116。
45.支撑组件111可以支撑扫描仪110的一个或多个部件，例如探测器组件112、电子模块115、冷却组件116等。在一些实施例中，支撑组件111可以包括主机架、机架基座、前盖板以及后盖板(未出示)。前盖板可以与机架基座连接。前盖板可以垂直于机架基座。主机架可以安装于前盖板的侧面。主机架可以包括一个或多个支撑架以容纳探测器组件112和/或电子模块115。主机架可以包括圆形的开口(例如，检测区域113)以容纳受试者。在一些实施例中，主机架的开口可以是其它形状，包括，例如椭圆形。后盖板可以安装于主机架上与前盖板相对的侧面。机架基座可以支撑前盖板、主机架和/或后盖板。在一些实施例中，扫描仪110可以包括一个外壳以覆盖并保护主机架。
46.探测器组件112可以探测从检测区域113发射的辐射事件(例如，x射线信号等)。在一些实施例中，探测器组件112可以接收辐射线(例如，x射线信号等)并且生成电信号。探测器组件112可以包括一个或多个探测器单元。一个或多个探测器单元可以被封装而形成一个探测器区块。一个或多个探测器区块可以被封装而形成一个探测器盒。一个或多个探测器盒可以被安装而形成一个探测环。一个或多个探测环可以被安装而形成一个探测器模块。
47.扫描床114可以支撑受试者并将受试者定位于检测区域113中所需位置。在一些实施例中，受试者可以在扫描床114上。扫描床114可以移动并且到达检测区域113中的所需位置。在一些实施例中，扫描仪110可以具有相对较长的轴向视野，例如2米长的轴向视野。相应地，扫描床114可以沿着轴向在较广范围(例如，大于2米)内移动。
48.电子模块115可以采集和/或处理由探测器组件112生成的电信号。电子模块115可以包括加算器、乘法器、减法器、放大器、驱动器电路、差动电路、积分电路、计数器、过滤器、模数转换器、下限检测电路、恒定系数鉴别器电路、时间
‑
数字转换器、符合电路等其中一种或几种的组合。电子模块115可以将与探测器组件112接收到的辐射线的能量相关的模拟信号转化为数字信号。电子模块115可以比较多个数字信号、分析多个数字信号并且通过探测器组件112中所接收辐射线的能量确定图像数据。在一些实施例中，如果探测器组件112具有一个大的轴向视野(例如，0.75米至2米)，则电子模块115可以具有来自多个探测器通道的高数据输入速率。例如，电子模块115可以每秒处理数百亿事件。在一些实施例中，数据输入速率可以与探测器组件112中探测器单元的数量有关。
49.冷却组件116可以产生、转移、传送、传导冷却介质或使冷却介质在扫描仪110中循环以吸收成像过程中扫描仪110产生的热量。在一些实施例中，冷却组件116可以完全集成入扫描仪110并且成为扫描仪110的一部分。在一些实施例中，冷却组件116可以部分集成入扫描仪110并且与扫描仪110相关联。冷却组件116可以允许扫描仪110维持适合且稳定的工作温度(例如，25℃、30℃、35℃等)。在一些实施例中，冷却组件116可以控制扫描仪110的一个或多个目标部件的温度。目标部件可以包括探测器组件112、电子模块115和/或在操作中生成热量的任何其他部件。冷却介质可以是气态、液态(例如，水)等其中一种或几种的组合。在一些实施例中，气态冷却介质可以是空气。
50.扫描仪110可以扫描位于其检测区域内的对象，并生成与对象相关的多个成像数
据。在本技术中，“受试者”和“对象”可交替使用。仅作为示例，受试者可包括扫描目标、人造物体等。在另一实施例中，受试者可包括扫描目标的特定部分、器官和/或组织。例如，受试者可包括头部、大脑、颈部、身体、肩部、手臂、胸部、心脏、胃、血管、软组织、膝盖、脚或其他部位等，或其任意组合。在本技术中，受试者主要为心脏。
51.网络120可包括任意合适的网络，该网络能协助医学设备100交换信息和/或数据。在一些实施例中，医学设备100的一个或多个组件(例如，扫描仪110、终端130、处理引擎140、存储器150等)可通过网络120与医学设备100的一个或多个其他组件传递信息和/或数据。例如，处理引擎140可通过网络120从扫描仪110获得图像数据。作为另一示例，处理引擎140可通过网络120从终端130获得用户指令。一个或多个终端130包括移动设备131、平板电脑132、笔记本电脑133等或其任意组合。在一些实施例中，移动设备131可包括智能家用设备、可穿戴设备、移动设备、虚拟现实设备、增强现实设备等或其任意组合。
52.处理引擎140可以处理从扫描仪110、终端130和/或存储器150获得的数据和/或信息。在一些实施例中，处理引擎140可以是单个服务器或服务器组。服务器组可以是集中式的或者分布式的。在一些实施例中，处理引擎140可以是本地的或远程的。例如，处理引擎140可通过网络120来访问存储在扫描仪110、终端130和/或存储器150中的信息和/或数据。作为另一示例，处理引擎140可以直接连接到扫描仪110、终端130和/或存储器150以访问所存储的信息和/或数据。在一些实施例中，处理引擎140可在云平台上实现。仅作为示例，云平台可包括私有云、公共云、混合云、社区云、分布式云、互联云、多重云等或者其任意组合。在一些实施例中，处理引擎140可由图2中所示的具有一个或多个组件的计算设备200来实现。
53.存储器150可存储数据、指令、和/或任何其他信息。在一些实施例中，存储器150可以存储从终端130和/或处理引擎140获得的数据。在一些实施例中，存储器150可存储数据和/或指令，处理引擎140可以执行或使用该数据和/或指令以执行本技术中所描述的示例性方法。在一些实施例中，存储器150可包括大容量存储设备、可移动存储设备、易失性读写存储器、只读存储器(rom)等或其任意组合。
54.在一些实施例中，存储器150可连接到网络120，以便与医学设备100中的一个或多个其他组件(例如，处理引擎140、终端130等)通信。医学设备100中的一个或多个组件可通过网络120来访问存储在存储器150中的数据或指令。在一些实施例中，存储器150可直接连接到医学设备100中的一个或多个其他组件(例如，处理引擎140、终端130等)或与这些组件通信。在一些实施例中，存储器150可以是处理引擎140的一部分。
55.图2是一个实施例的可以在其上实现处理引擎140的示例性计算设备200的示例性硬件和/或软件组件的示意图。如图2所示，计算设备200可以包括内部通信总线210、处理器(processor)220、只读存储器(rom)230、随机存取存储器(ram)240、通信端口250、输入/输出组件260、硬盘270以及用户界面设备280。
56.图3是一个实施例的可以在其上实现终端130的示例性移动设备300的示例性硬件和/或软件组件的示意图。如图3所示，移动设备300可包括天线310、显示器320、图形处理单元(gpu)330、中央处理单元(cpu)340、输入输出单元(i/o)350、内存360以及存储器390。在一些实施例中，移动设备300中还可包括任何其他合适的组件，包括但不限于系统总线或控制器(未示出)。在一些实施例中，移动操作系统370(例如，ios、android、windows phone等)
和一个或多个应用程序380可从存储器390被加载到内存360中以便由cpu340执行。应用程序380可包括浏览器或任意其它合适的移动应用以用于接收和绘制与图像处理相关的信息或来自处理引擎140的其它信息。用户与信息流的交互可通过i/o350来实现并通过网络120提供给处理引擎140和/或医学设备100的其他组件。
57.为了实现本技术中所描述的各种模块、单元及其功能，计算机硬件平台可被用作本文所描述的一个或多个元件的(诸)硬件平台。具有用户界面元件的计算机可被用于当作个人计算机(pc)或任何其他类型的工作站或终端设备。如果进行适当的编程，计算机也可以充当服务器。在医学设备100中可以实现多模态医学图像配准方法、系统等。
58.本技术中使用了流程图用来说明根据本技术的实施例的方法所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各种步骤。同时，或将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
59.参见图4所示，为本技术一个实施例的多模态医学图像配准方法的流程示意图。该实施例中的多模态医学图像配准方法包括以下步骤：
60.步骤s410：获取多模态医学图像，以及目标坐标系；目标坐标系包括解剖学坐标系和/或图像坐标系；
61.在本步骤中，获取多模态医学图像具体包括：获取扫描对象的第一模态图像，所述第一模态图像包括扫描对象的解剖图像；获取扫描对象的第二模态图像，所述第二模态图像包括扫描对象的功能图像，所述第一模态图像包括ct图像、mr图像、超声图像等，所述第二模态图像包括pet图像、spect图像等；
62.其中，解剖图像是指可以获取扫描对象解剖结构的图像，功能图像是指可以反映有关扫描对象生理、生化等功能代谢信息的图像。
63.在本步骤中，多模态医学图像是在不同成像机理下获取的不同医学图像，可以提供不同的信息，如多模态医学图像可以是不同模态的医学扫描装置对受试者的同一部位进行扫描后得到的图像，如ct扫描图像、pet扫描图像、mri扫描图像等；目标坐标系可以是针对受试者的解剖学坐标系和/或模态图像所在的图像坐标系；解剖学坐标系可以包括在医学扫描装置上对受试者进行扫描时的三维正交坐标轴：头脚方向(h、f)、左右方向(r、l)、前后方向(a、p)，由于医学扫描采集数据时所采用的方位一般不是正位，通常是针对受试者的斜位，因而模态图像所在的图像坐标系与解剖学坐标系是不同的。
64.多模态医学图像可以从存储器150中获取，存储器150中可以设置数据库，用于保存各种模态图像，模态图像的数据也可以在扫描后从电子模块115中获取，具体过程为：受试者可以置于医学设备扫描仪110的扫描床114上，进入扫描仪110的检测区域113并进行扫描拍摄，从电子模块115中直接获取数据，并通过图像算法获取各种模态图像。
65.具体的，医学设备在扫描时可得到扫描影像数据，包括多种类型，如计算机断层扫描影像数据、x射线影像数据、磁共振影像数据、正电子发射断层扫描影像数据以及多模态融合影像数据等，可通过ct设备、mr设备或pet设备等扫描成像模态设备获取对应模态的扫描影像数据，上述扫描影像数据也可从相应设备的存储器中进行读取。
66.进一步的，在得到各种模态图像后，可以对其进行预处理，如对其中需要配准的目标区域进行分割，以便于进行后续处理，在预处理时可采用图像分割算法、深度学习等技术。
67.步骤s420：在目标坐标系下对多模态医学图像进行配准，得到配准后的模态图像；
68.在本步骤中，多模态医学图像可以在目标坐标系下进行各种配准操作，在准配过程中模态图像的调整方位和方向参照目标坐标系。
69.在本实施例中，目标坐标系是针对受试者的解剖学坐标系或模态图像所在的图像坐标系，而非一般采用的固定的世界坐标系，在目标坐标系下对多模态医学图像进行配准，可在不同于世界坐标系的目标坐标系中实现跨平面的三维方向的配准，解决相关技术难以实现三维方向的配准以及点配准和自动配准难以辨别扫描方位的问题，从而提高医学图像配准的准确性。
70.需要说明的是，上述多模态医学图像配准方法可以在医学设备的控制台上执行，也可以在医学设备的后处理工作站上执行，或在能与医学设备通信的终端设备上执行，且不局限于此，可以根据实际应用的需要进行变化调整。
71.在一个实施例中，在目标坐标系下对多模态医学图像进行配准包括以下步骤：
72.根据多模态医学图像进行目标部位识别；
73.若识别出的目标部位属于预置的目标类型，采用解剖学坐标系对多模态医学图像进行配准；
74.反之，采用解剖学坐标系或图像坐标系对多模态医学图像进行配准。
75.在本实施例中，在进行配准之前，可以对多模态医学图像进行目标部位识别，由于多模态医学图像包括多种模态图像，可采用多模态医学图像中的任意一种或几种模态图像进行目标部位识别。判断识别出的目标部位是否符合预置的目标类型，若符合，则采用解剖学坐标系对多模态医学图像进行配准，通过目标部位识别，可加强对包含目标部位的医学图像配准的准确性；若识别出的目标部位不属于预置的目标类型，则可以选择性地采用解剖学坐标系或图像坐标系对多模态医学图像进行配准，并且在配准的过程中可以随时根据需要切换目标坐标系，以便更快速、准确、方便地完成配准。
76.具体的，目标部位可包括各种器官、软组织、血管、骨骼等。
77.进一步的，以目标部位为器官为例，在进行器官识别时，可采用针对器官的各种不同的图像识别算法；预置的器官类型可为心脏、膝关节、肩关节等，上述器官类型一般都是采用斜位扫描采集数据，因此适用解剖学坐标系进行配准。同时，若识别出的器官不属于预置的器官类型，则可以自由选择采用解剖学坐标系或模态图像本身所在的图像坐标系进行配准。
78.需要说明的是，此处的器官类型不局限于某一特定的器官，可以包括扫描的部位，如头部或全身等。
79.在一个实施例中，在采用解剖学坐标系进行配准时，还包括以下步骤：
80.在多模态医学图像上分别标注解剖学坐标系的方位。
81.在本实施例中，多模态医学图像均是在各自的扫描方位下根据采集的扫描数据得到的，解剖学坐标系的方位与模态图像所在的图像坐标系的方位是不同的，通过在多模态医学图像上分别标注解剖学坐标系的方位，可便于对多模态医学图像在解剖学坐标系上进行各种方位的调节，以实现图像配准。
82.需要说明的是，解剖学坐标系的方位包括受试者的头脚方位(分别表示为h、f)、前后方位(分别表示为a、p)和左右方位(分别表示为l、r)。解剖学坐标系是在医学扫描装置上
对受试者进行扫描时所在的空间坐标系，即受试者置于医学扫描装置的扫描床时的空间坐标系，该空间坐标系的三个维度可以是受试者的头脚方位、前后方位和左右方位，前后方位和左右方位是相对受试者的正面而言。模态图像所在的图像坐标系与扫描方位有关，模态图像所在的图像坐标系一般与解剖学坐标系不同，但在扫描一些较为普通的部位(如可采用正位扫描的器官或组织)时，模态图像所在的图像坐标系可能与解剖学坐标系相同。
83.在一个实施例中，在目标坐标系下对多模态医学图像进行配准时，除了可以选择适合的目标坐标系之外，还可以选择在目标坐标系下进行手动配准或者半自动配准或者自动配准，即：接收手动操作指令，根据手动操作指令对多模态医学图像进行配准；或者，以人机交互的方式手动提取特征，计算机利用相关算法自用进行配准；或者，直接由计算机根据目标部位的解剖部位识别算法对多模态医学图像进行自动化配准。
84.在本实施例中，在目标图像坐标系下，通过手动操作指令，人机交互提取特征并结合相关算法，或目标部位的解剖部位识别算法对多模态医学图像进行配准，均可以实现在目标坐标系下对多模态医学图像进行配准；通过多种方式的灵活选择应用，可提高模态图像配准的准确性。
85.在一个实施例中，在目标坐标系下对多模态医学图像进行配准时，配准的操作包括刚性变换、非线性变换、投影变换、仿射变换中的至少一种，各配准的操作均有对应于目标部位的配准预设范围。
86.在本实施例中，可利用刚性变换、非线性变换、投影变换、仿射变换等多种方式对多模态医学图像进行配准，在图像配准过程中，对配准的操作设置对应于目标部位的配准预设范围，可防止配准调节过度出现的失配，提高图像配准的准确性。
87.以刚性变换为例，可通过平移和旋转等配准的操作，在目标坐标系下对多模态医学图像进行方位调整，以实现配准。由于目标坐标系不同于世界坐标系，通过平移和旋转等操作，模态图像可实现跨平面的三维方向的配准，从而提高医学图像配准的准确性。
88.在一个实施例中，在得到配准后的模态图像后，还包括以下步骤：
89.在目标坐标系或世界坐标系下，对配准后的模态图像进行二次配准。
90.在本实施例中，在目标坐标系下对多模态医学图像进行配准后，还可以在目标坐标系或世界坐标系下对配准后的多模态医学图像进行二次配准，进一步提高配准的准确性。
91.具体的，进行二次配准时可采用手动配准、点配准和自动配准等多种配准方式。在手动配准时，可通过手动操作指令，对模态图像在目标坐标系或世界坐标系下进行平移(上下左右四个方向)和旋转(包括顺时针方向和逆时针方向)；在点配准时，可通过分别在多模态医学图像上设置十字线并拖动十字线，从而确定需要配准的点(即十字线的中心)，形成点对，得到3组以上的点对后，利用3组以上的点对对多模态医学图像进行配准；在自动配准时，可采用自动配准矩阵计算和配准操作，自动配准矩阵计算可基于解剖位置识别算法。
92.在一个实施例中，多模态医学图像配准方法还包括以下步骤：
93.对配准后的模态图像进行融合，得到多模态的配准融合图像。
94.在本实施例中，在完成配准操作后，可将已配准的模态图像进行融合，综合多幅模态图像的信息，得到具备整体特征的多模态的配准融合图像，从而实现在同一幅图像中展示多种特征。
95.具体的，在进行融合操作时，可灵活设置融合比例、上下层等参数，从而实现不同融合显示效果。
96.进一步的，在获得多模态的配准融合图像后，还可以显示在显示设备上，在显示设备上展示具体的图像特征，并且配准前的多模态医学图像和多模态的配准融合图像可对应保存在存储器中，以备读取使用。
97.在实际应用中，以心脏为目标器官为例，经过临床人员对于pet/mr检查图像数据的广泛分析，发现受pet数据与mr数据的方式影响，心脏pet/mr图像的配准问题主要来自受试者的呼吸运动，与心跳运动的关系较弱。而人体呼吸运动产生的位移方向主要集中于受试者头脚方向。心脏的常规采集方位不是正位，为特殊的斜位，常规采集也包括心脏长轴、短轴、2ch、3ch、4ch等多种复杂情况，因而在图像配准时，沿用平面内的平移旋转方位并不能解决问题。经过研究发现，在人体头脚方向上对心脏pet/mr图像上下层的匹配性进行调整，可以在某些扫描层面获得比较好的融合效果，能够满足临床检查需求。
98.除心脏外，在膝关节、肩关节等部位临床成像时，图像扫描和浏览方位也通常不是正位，而常常是与解剖位置相关的特殊斜位。在图像配准过程中，同时可结合受试者坐标系情况和扫描方位情况，灵活地选择以何种方式进行配准度调整。
99.本技术的方案可在系统内实现对受试者扫描方位的自适应应用，在部分场景下应用平面内配准方案，而在另一部分特殊场景下，调用受试者扫描方位信息做配准。对于心脏pet/mr成像来说，本技术的方案大大减少了临床后处理图像配准的难度，便于技师和医生操作使用，提升了图像准确性和工作效率。
100.根据上述多模态医学图像配准方法，本技术实施例还提供一种多模态医学图像配准系统，以下就多模态医学图像配准系统的实施例进行详细说明。
101.参见图5所示，为一个实施例的多模态医学图像配准系统的结构示意图。该实施例中的多模态医学图像配准系统包括：
102.数据获取单元510，用于获取多模态医学图像和目标坐标系，其中，目标坐标系包括解剖学坐标系和/或图像坐标系；
103.图像配准单元520，用于在目标坐标系下对多模态医学图像进行配准，得到配准后的模态图像。
104.在本实施例中，目标坐标系是针对受试者的解剖学坐标系或模态图像所在的图像坐标系，而非一般采用的固定的世界坐标系，在目标坐标系下对多模态医学图像进行配准，可在不同于世界坐标系的目标坐标系中实现跨平面的三维方向的配准，解决手动配准难以实现三维方向的配准以及点配准和自动配准难以辨别扫描方位的问题，从而提高医学图像配准的准确性。
105.在一个实施例中，图像配准单元520还用于根据多模态医学图像进行目标部位识别，若识别出的目标部位属于预置的目标类型，采用解剖学坐标系对多模态医学图像进行配准；反之，采用解剖学坐标系或图像坐标系对多模态医学图像进行配准。
106.在一个实施例中，图像配准单元520还用于在多模态医学图像上分别标注解剖学坐标系的方位。
107.在一个实施例中，图像配准单元520在目标坐标系下对多模态医学图像进行配准时，配准的操作包括刚性变换、非线性变换、投影变换、仿射变换中的至少一种，各配准的操
作均有对应于目标部位的配准预设范围。
108.在一个实施例中，图像配准单元520还用于在得到配准后的模态图像后，在目标坐标系或世界坐标系下，对配准后的模态图像进行二次配准。
109.在一个实施例中，如图6所示，多模态医学图像配准系统还包括图像融合单元530，用于对配准后的模态图像进行融合，得到多模态的配准融合图像。
110.本技术实施例的多模态医学图像配准系统与上述多模态医学图像配准方法一一对应，在上述多模态医学图像配准方法的实施例阐述的技术特征及其有益效果均适用于多模态医学图像配准系统的实施例中。
111.根据上述多模态医学图像配准方法，本技术实施例还提供一种可读存储介质和多模态医学图像配准设备。
112.一种可读存储介质，其上存储有可执行程序，可执行程序被处理器执行时实现上述的多模态医学图像配准方法的步骤。
113.上述可读存储介质，通过在处理器上运行可执行程序，可以实现在目标坐标系下对多模态医学图像进行配准，可在不同于世界坐标系的目标坐标系中实现跨平面的三维方向的配准，解决相关技术中难以实现三维方向的配准以及点配准和自动配准难以辨别扫描方位的问题，从而提高医学图像配准的准确性。
114.一种多模态医学图像配准设备，包括存储器和处理器，存储器存储有可执行程序，处理器执行可执行程序时实现上述的多模态医学图像配准方法的步骤。
115.上述多模态医学图像配准设备，通过在处理服务器上运行可执行程序，可以实现在目标坐标系下对多模态医学图像进行配准，可在不同于世界坐标系的目标坐标系中实现跨平面的三维方向的配准，解决相关技术中难以实现三维方向的配准以及点配准和自动配准难以辨别扫描方位的问题，从而提高医学图像配准的准确性。
116.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
117.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成。所述的程序可以存储于可读取存储介质中。该程序在执行时，包括上述方法所述的步骤。所述的存储介质，包括：rom/ram、磁碟、光盘等。
118.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。