一种图像配准方法、装置、电子装置和存储介质与流程

1.本技术涉及图像处理领域，特别是涉及一种图像配准方法、装置、电子装置和存储介质。


背景技术：

2.随着科技日益发展，图像数据被越来越多地运用到各个场景中，对于图像处理的要求也大大提高，尤其是在医疗领域，对于医疗图像的精确度比其他场景更加严格。而在实际应用中，往往会针对医学检查部位，在不同时期拍摄多张图像，在诊断时为了更加高效准确，需要将所述的多张图像在同一坐标下对齐，即进行图像配准。
3.目前在相关技术中，大部分医疗图像配准工作主要由医生手动标注，手动标注对齐的配准效果高度依赖于医生的专业知识，无法保证稳定的精确性，因此在一些情况下，自动医疗图像配准技术受到关注。但是目前的图像配准方法计算量大、标注成本高、模型训练复杂，导致相关技术中的图像配准精度低、速度慢，针对上述问题，尚未提出有效的解决方案。


技术实现要素：

4.本技术实施例提供了一种图像配准方法、装置、电子装置和存储介质，以至少解决相关技术中图像配准精度低、速度慢的问题。
5.第一方面，本技术实施例提供了一种图像配准方法。
6.在其中一些实施例中，所述方法包括：
7.获取固定图像和移动图像；
8.将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数；
9.根据所述图像配准参数，确定所述移动图像对应的配准图像；
10.根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数。
11.在其中一些实施例中，所述根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数包括：
12.根据所述固定图像、所述配准图像及所述图像配准参数，确定包含平均平方误差项、体积约束项及正交约束项的配准损失函数。
13.在其中一些实施例中，所述将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数包括：
14.将所述固定图像和所述移动图像输入预设的卷积网络，得到初始旋转参数和初始平移参数；
15.根据所述初始旋转参数及所述初始平移参数，确定图像配准参数。
16.在其中一些实施例中，所述根据所述图像配准参数，确定所述移动图像对应的配准图像包括：
17.根据所述图像配准参数，对所述移动图像进行空间变换，确定所述移动图像对应
的配准图像。
18.在其中一些实施例中，所述根据所述固定图像、所述配准图像及所述图像配准参数，确定包含平均平方误差项、体积约束项及正交约束项的配准损失函数包括：
19.计算所述固定图像及所述配准图像之间的像素差，根据所述像素差确定平均平方误差项。
20.在其中一些实施例中，所述根据所述固定图像、所述配准图像及所述图像配准参数，确定包含平均平方误差项、体积约束项及正交约束项的配准损失函数包括：
21.获取所述图像配准参数中的配准旋转参数，根据所述配准旋转参数确定旋转参数矩阵；
22.根据所述旋转参数矩阵的行列式，确定所述体积约束项。
23.在其中一些实施例中，所述根据所述固定图像、所述配准图像及所述图像配准参数，确定包含平均平方误差项、体积约束项及正交约束项的配准损失函数包括：
24.获取所述图像配准参数中的配准旋转参数，根据所述配准旋转参数确定旋转参数矩阵；
25.基于所述旋转参数矩阵得到配准正定矩阵，根据所述配准正定矩阵确定所述正交约束项。
26.第二方面，本技术实施例提供了一种图像配准装置。
27.在其中一些实施例中，所述装置包括图像获取模块、参数确定模块、图像配准模块及损失函数确定模块：
28.所述图像获取模块，用于获取固定图像和移动图像；
29.所述参数确定模块，用于将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数；
30.所述图像配准模块，用于根据所述图像配准参数，确定所述移动图像对应的配准图像；
31.所述损失函数确定模块，根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数。
32.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的图像配准方法。
33.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的图像配准方法。
34.相比于相关技术，本技术实施例提供的图像配准方法、装置、电子装置和存储介质，通过卷积网络获得图像配准参数，基于图像配准参数得到配准图像，进一步确定配准损失函数，解决了相关技术中的图像配准精度低、速度慢的技术问题，实现了精确高效的图像配准方法。
35.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
36.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
37.图1是根据本技术实施例的图像配准方法的终端的硬件结构框图；
38.图2是根据本技术实施例的图像配准方法的流程图；
39.图3是根据本技术优选实施例的图像配准方法的流程图；
40.图4是根据本技术实施例的图像配准装置的结构框图。
具体实施方式
41.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
42.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
43.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
44.本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本技术实施例的图像配准方法的终端的硬件结构框图。如图1所示，终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
45.存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的图像配准方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
46.传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
47.本实施例提供了一种图像配准方法，图2是根据本技术实施例的图像配准方法的流程图，如图2所示，该流程包括如下步骤：
48.步骤s201，获取固定图像和移动图像。
49.其中，固定图像通常用来作为图像配准时的参考图像，移动图像是指待配准的图像，需要经过处理，使得移动图像与固定图像对齐。
50.步骤s202，将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数。
51.利用预设的卷积网络，对输入的固定图像和移动图像进行处理，端到端得到图像配准参数。在本技术实施例中，图像配准参数可以为16个，其中包括9个配准旋转参数和3个配准平移参数。
52.步骤s203，根据所述图像配准参数，确定所述移动图像对应的配准图像。
53.根据卷积神经网络输出的16个图像配准参数，作用于待配准的移动图像后，可以得到配准图像。
54.步骤s204，根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数。
55.损失函数可以衡量配准结果的误差大小，本技术实施例在模型训练时根据固定图像、配准图像及图像配准参数，确定损失函数，对模型进行调整和约束。
56.通过上述步骤，本技术利用预设的卷积神经网络，得到16个图像配准参数，根据图像配准参数得到配准图像，采用了深度学习无监督图像配准方法，配准速度快，并且本技术进一步根据固定图像、配准图像及图像配准参数确定配准损失函数，使得在应用时输入图像与输出图像相似度更高，解决了相关技术中图像配准精度低、速度慢的问题，提高了图像配准的准确性和效率。
57.在其中一些实施例中，步骤s204还包括：
58.步骤s2041，根据所述固定图像、所述配准图像及所述图像配准参数，确定包含平均平方误差项、体积约束项及正交约束项的配准损失函数。
59.具体的，通过计算固定图像和配准图像之间的平均平方误差，得到平均平方误差项。本技术实施例通过对图像配准参数进行处理，得到体积约束项和正交约束项，进一步提
高图像配准的精确性。
60.在其中一些实施例中，步骤s202还包括：
61.步骤s2021，将所述固定图像和所述移动图像输入预设的卷积网络，得到初始旋转参数和初始平移参数。
62.将固定图像和移动图像输入预设的卷积网络，可预测得到12个初始参数，其中包括9个初始旋转参数，分别代表图像在x，y和z三个轴上的旋转角度，以及，3个初始平移参数，分别代表图像在x，y，z三个轴上的位移。
63.步骤s2022，根据所述初始旋转参数及所述初始平移参数，确定图像配准参数。
64.本技术实施例中，9个初始旋转参数，3个初始平移参数及4个常数可组成包含16个参数的仿射矩阵，获取该仿射矩阵中的所有16个参数，确定为图像配准参数。图像配准参数包括9个配准旋转参数、3个配准平移参数和4个常数。本技术实施例预测得到的图像配准参数包括有9个配准旋转参数及3个配准平移参数，可以保证配准的绝对刚性，并基于12个初始参数得到16个图像配准参数的仿射矩阵，从而得到配准图像，进一步提高了图像配准的精确性。
65.在其中一些实施例中，步骤s203还包括：
66.步骤s2031，根据所述图像配准参数，对所述移动图像进行空间变换，确定所述移动图像对应的配准图像。
67.具体的，所述空间变换可以是，将移动图像的初始坐标与图像配准参数对应的仿射矩阵进行矩阵乘法运算，以得到配准坐标，再将配准坐标经过对齐，从而确定配准图像。
68.在其中一些实施例中，步骤s2041还包括：
69.步骤s20411，计算所述固定图像及所述配准图像之间的像素差，根据所述像素差确定平均平方误差项。
70.具体的，可根据固定图像及配准图像，计算两个图像之间对应的像素差，并且平均所述像素差的平方，得到平均平方误差项。
71.在其中一些实施例中，步骤s2041还包括：
72.步骤s20412，获取所述图像配准参数中的配准旋转参数，根据所述配准旋转参数确定旋转参数矩阵。
73.获取16个图像配准参数中的9个配准旋转参数，根据9个配准旋转参数确定旋转参数矩阵。
74.步骤s20413，根据所述旋转参数矩阵的行列式，确定所述体积约束项。
75.具体的，对上述旋转参数矩阵进行行列式计算，并令其优化方向为1，从而确定体积约束项。如此，体积约束项使得配准后的图像体积趋近于1，从而进一步提高图像配准精确性。
76.在其中一些实施例中，步骤s2041还包括：
77.步骤s20414，获取所述图像配准参数中的配准旋转参数，根据所述配准旋转参数确定旋转参数矩阵。
78.该步骤具体实现与步骤s20412类似，在此不再赘述。
79.步骤s20415，基于所述旋转参数矩阵得到配准正定矩阵，根据所述配准正定矩阵确定所述正交约束项。
80.具体的，计算旋转参数矩阵的转置矩阵与其自身的乘积，得到配准正定矩阵，并且令配准正定矩阵的2范式结果为0，从而得到正交约束项。正交约束项可以使得9个配准旋转参数无限逼近正交结果，即保证参数与参数之间的正交性，从而使得配准误差小，图像配准结果更加准确。
81.下面通过优选实施例对本技术实施例进行描述和说明。
82.图3是根据本技术优选实施例的图像配准方法的流程图。如图3所示，该图像配准方法包括如下步骤：
83.步骤s301，获取固定图像和移动图像。其中，固定图像即fix image，移动图像即moving image。
84.步骤s302，将所述固定图像和所述移动图像输入预设的卷积网络，预测得到初始旋转参数和初始平移参数。本优选实施例中，包括9个初始旋转参数和3个初始平移参数。
85.步骤s303，根据所述初始旋转参数和所述初始平移参数，计算得到仿射矩阵，根据所述仿射矩阵确定图像配准参数。本优选实施例中，得到的仿射矩阵包括16个参数，其中包含4个常数参数、9个配准旋转参数和3个配准平移参数，确定所有16个参数为图像配准参数。优选仿射矩阵示意如下。
[0086][0087]
步骤s304，根据所述图像配准参数，确定所述移动图像对应的配准图像。本优选实施例中，根据确定的16个图像配准参数，通过空间变换方式作用于待配准的移动图像后，可以得到配准图像。
[0088]
步骤s305，根据所述固定图像、所述配准图像及所述图像配准参数，确定平均平方误差项、体积约束项及正交约束项。
[0089]
本优选实施例中，可根据固定图像及配准图像，计算两个图像之间对应的像素差，并且平均所述像素差的平方，得到平均平方误差项。获取图像配准参数中的9个配准旋转参数，根据9个配准旋转参数确定旋转参数矩阵x。对旋转参数矩阵x进行行列式计算，并令其优化方向为1，从而确定体积约束项。计算旋转参数矩阵x的转置矩阵与其自身的乘积，得到配准正定矩阵，并且令配准正定矩阵的2范式结果为0，从而得到正交约束项。
[0090]
步骤s306，根据所述平均平方误差项、所述体积约束项及所述正交约束项，确定配准损失函数。
[0091]
进一步的，体积约束项与正交约束项的权重通过α和β来共同决定。优选的，两项的权重均为0.05。如此，可得到配准损失函数如下：
[0092]
loss＝mse(fix image,moving image) α([det(x)-1]2) β(‖x
t
x‖2)
[0093]
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
[0094]
本技术实施例还提供了一种图像配准装置，该装置用于实现上述实施例及优选实
施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
[0095]
图4是根据本技术实施例的图像配准装置的结构框图，如图4所示，该装置包括：图像获取模块10、参数确定模块20、图像配准模块30及损失函数确定模块40：
[0096]
所述图像获取模块10，用于获取固定图像和移动图像；
[0097]
所述参数确定模块20，用于将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数；
[0098]
所述图像配准模块30，用于根据所述图像配准参数，确定所述移动图像对应的配准图像；
[0099]
所述损失函数确定模块40，根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数。
[0100]
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
[0101]
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
[0102]
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
[0103]
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
[0104]
获取固定图像和移动图像；
[0105]
将所述固定图像和所述移动图像输入预设的卷积网络，得到图像配准参数；
[0106]
根据所述图像配准参数，确定所述移动图像对应的配准图像；
[0107]
根据所述固定图像、所述配准图像及所述图像配准参数，确定配准损失函数。
[0108]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0109]
另外，结合上述实施例中的图像配准方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种图像配准方法。
[0110]
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0111]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。