一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像融合方法、存储介质和计算机程序产品与流程

2022-06-01 03:07:38 来源:中国专利 TAG:


1.本技术涉及医学影像技术领域,特别是涉及一种图像融合方法、存储介质和计算机程序产品。


背景技术:

2.通常,不同期相的医学影像可以显影不同的器官与组织,以肝脏的医学影像为例,在静脉期时,门静脉、肝静脉与肿瘤显影明显,而在动脉期时,肝动脉显影明显。因此,融合不同期相的医学影像对于更好的了解病人的组织形态以及病灶对周边各个器官的影响至关重要,例如,可以利用肝肿瘤在门静脉、肝静脉与肝动脉多个血管的不同位置,判断肝肿瘤对各个血管的影响,进而制定影像外科手术方案等。
3.传统技术中,主要是将不同期相的医学影像的原图进行配准,以对多个不同期相的医学影像进行融合,或者,将不同期相的医学影像中器官的掩膜图像分割出来,对分割的掩膜图像进行配准,以对多个不同期相的医学影像进行融合。
4.但是,上述传统技术存在难以保证融合后的图像中不同血管对应的空间解剖结构唯一的问题。


技术实现要素:

5.基于此,有必要针对上述技术问题,提供一种能够确保不同期相的医学影像融合后,融合图像中不同血管对应的空间解剖结构唯一的图像融合方法、存储介质和计算机程序产品。
6.第一方面,本技术提供了一种图像融合方法,所述方法包括:
7.获取感兴趣区域的第一期相图像和第二期相图像;
8.对所述第一期相图像和所述第二期相图像进行配准,得到第一变形场;
9.根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图像;
10.根据所述初始融合图像,得到目标变形场;其中,所述目标变形场为以减小所述初始融合图像中感兴趣部位的重叠区域为目标所得到的;
11.根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像。
12.在其中一个实施例中,所述根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图像,包括:
13.获取所述第一期相图像对应的第一期相血管掩膜,以及所述第二期相图像对应的第二期相血管掩膜;
14.利用所述第一变形场对所述第二期相血管掩膜进行变换处理,得到第一变换后的第二期相血管掩膜,对所述第一变换后的第二期相血管掩膜和所述第一期相血管掩膜进行融合处理,得到所述初始融合图像;
15.或者,利用所述第一变形场对所述第一期相血管掩膜进行变换处理,得到第一变换后的第一期相血管掩膜,对所述第一变换后的第一期相血管掩膜和所述第二期相血管掩膜进行融合处理,得到所述初始融合图像。
16.在其中一个实施例中,所述根据所述初始融合图像,得到目标变形场,包括:
17.根据所述初始融合图像,得到目标互斥场;
18.对所述目标互斥场和所述第一变形场进行叠加,得到所述目标变形场。
19.在其中一个实施例中,所述根据所述初始融合图像,得到目标互斥场,包括:
20.执行迭代操作,其中,所述迭代操作包括:
21.根据所述初始融合图像,得到局部互斥场;
22.利用所述局部互斥场和所述第一变形场,得到融合图像;
23.将所述融合图像作为新的初始融合图像,返回执行所述迭代操作,直至达到预设的收敛条件;
24.将达到所述预设的收敛条件时得到的局部互斥场确定为目标互斥场。
25.在其中一个实施例中,所述根据所述初始融合图像,得到局部互斥场,包括:
26.提取所述初始融合图像中所述第一期相图像中血管的中心线或所述第二期相图像中血管的中心线;
27.获取所述初始融合图像中感兴趣部位的任一重叠区域的质心;
28.根据所述中心线和所述质心,得到所述重叠区域的初始场向量;
29.获取与所述重叠区域相邻的预设区域内的第一目标点与所述重叠区域的距离;
30.根据所述初始场向量和所述距离,得到局部互斥场。
31.在其中一个实施例中,所述利用所述局部互斥场和所述第一变形场,得到融合图像,包括:
32.对所述局部互斥场和所述第一变形场进行叠加,得到第二变形场;
33.利用所述第二变形场对所述第二期相血管掩膜进行变换处理,得到第二变换后的第二期相血管掩膜,将所述第二变换后的第二期相血管掩膜和所述第一期相血管掩膜进行融合处理,得到所述融合图像;
34.或者,利用所述第二变形场对所述第一期相血管掩膜进行变换处理,得到第二变换后的第一期相血管掩膜,将所述第二变换后的第一期相血管掩膜和所述第二期相血管掩膜进行融合处理,得到所述融合图像。
35.在其中一个实施例中,所述根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像,包括:
36.利用所述目标变形场对所述第二期相血管掩膜进行转换,得到转换后的第二期相血管掩膜,将所述转换后的第二期相血管掩膜和所述第一期相血管掩膜进行融合处理,得到所述目标融合图像;或者,
37.利用所述目标变形场对所述第一期相血管掩膜进行转换,得到转换后的第一期相血管掩膜,将所述转换后的第一期相血管掩膜和所述第二期相血管掩膜进行融合处理,得到所述目标融合图像。
38.在其中一个实施例中,所述第一期相图像为所述感兴趣区域的静脉期图像,所述第二期相图像为所述感兴趣区域的动脉期图像;或者,所述第一期相图像为所述感兴趣区
域的动脉期图像,所述第二期相图像为所述感兴趣区域的静脉期图像。
39.在其中一个实施例中,所述根据所述中心线和所述质心,得到所述重叠区域的初始场向量,包括:
40.将所述质心与所述中心线上各点的距离中的最短距离对应的点确定为第二目标点;
41.将所述质心与所述第二目标点间的向量,确定为所述重叠区域的初始场向量。
42.在其中一个实施例中,所述根据所述初始场向量和所述距离,得到局部互斥场;
43.获取所述距离对应的高斯距离衰减函数;
44.根据所述初始场向量和所述高斯距离衰减函数,得到所述局部互斥场。
45.在其中一个实施例中,所述获取所述第一期相图像对应的第一期相血管掩膜,以及所述第二期相图像对应的第二期相血管掩膜,包括:
46.对所述第一期相图像进行分割,得到所述第一期相血管掩膜;
47.以及,
48.对所述第二期相图像进行分割,得到所述第二期相血管掩膜。
49.第二方面,本技术还提供了一种图像融合装置,所述装置包括:
50.第一获取模块,用于获取感兴趣区域的第一期相图像和第二期相图像;
51.配准模块,用于对所述第一期相图像和所述第二期相图像进行配准,得到第一变形场;
52.第二获取模块,用于根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图像;
53.第三获取模块,用于根据所述初始融合图像,得到目标变形场;其中,所述目标变形场为以减小所述初始融合图像中感兴趣部位的重叠区域为目标所得到的;
54.融合模块,用于根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像。
55.第三方面,本技术还提供了一种计算机设备,所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以下步骤:
56.获取感兴趣区域的第一期相图像和第二期相图像;
57.对所述第一期相图像和所述第二期相图像进行配准,得到第一变形场;
58.根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图像;
59.根据所述初始融合图像,得到目标变形场;其中,所述目标变形场为以减小所述初始融合图像中感兴趣部位的重叠区域为目标所得到的;
60.根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像。
61.第四方面,本技术还提供了一种计算机可读存储介质,所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以下步骤:
62.获取感兴趣区域的第一期相图像和第二期相图像;
63.对所述第一期相图像和所述第二期相图像进行配准,得到第一变形场;
64.根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图
像;
65.根据所述初始融合图像,得到目标变形场;其中,所述目标变形场为以减小所述初始融合图像中感兴趣部位的重叠区域为目标所得到的;
66.根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像。
67.第五方面,本技术还提供了一种计算机程序产品,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
68.获取感兴趣区域的第一期相图像和第二期相图像;
69.对所述第一期相图像和所述第二期相图像进行配准,得到第一变形场;
70.根据所述第一变形场、所述第一期相图像和所述第二期相图像,得到初始融合图像;
71.根据所述初始融合图像,得到目标变形场;其中,所述目标变形场为以减小所述初始融合图像中感兴趣部位的重叠区域为目标所得到的;
72.根据所述目标变形场、所述第一期相图像和所述第二期相图像,得到目标融合图像。
73.上述图像融合方法、装置、计算机设备、存储介质和计算机程序产品,通过获取感兴趣区域的第一期相图像和第二期相图像,对感兴趣区域的第一期相图像和第二期相图像进行配准,能够得到第一变形场,从而可以根据得到的第一变形场、第一期相图像和第二期相图像,得到初始融合图像,再以减小初始融合图像中感兴趣部位的重叠区域为目标得到目标变形场,进而可以根据得到的目标变形场、第一期相图像和第二期相图像,得到目标融合图像,由于得到的目标变形场是以减小初始融合图像中感兴趣部位的重叠区域为目标的,这样再利用该目标变形场、第一期相图像和第二期相图像得到目标融合图像,避免了得到的目标融合图像中不同血管配准后局部血管空间位置存在重叠的问题,确保了融合后的图像中不同血管对应的空间解剖结构唯一。
附图说明
74.图1为一个实施例中图像融合方法的应用环境图;
75.图1a为一个实施例中肝脏静脉期的医学图像示意图;
76.图1b为一个实施例中肝脏动脉期的医学图像示意图;
77.图1c为本技术提供的图像融合方法的流程示意图;
78.图2为一个实施例中图像融合方法的流程示意图;
79.图3为另一个实施例中图像融合方法的流程示意图;
80.图4为另一个实施例中图像融合方法的流程示意图;
81.图4a为一个实施例中获取局部互斥场的过程示意图;
82.图5为一个实施例中获取目标变形场的过程示意图;
83.图6为另一个实施例中获取目标变形场的过程示意图;
84.图7为另一个实施例中获取目标变形场的过程示意图;
85.图8为另一个实施例中获取目标变形场的过程示意图;
86.图9为另一个实施例中获取目标变形场的过程示意图;
87.图10为另一个实施例中获取目标变形场的过程示意图;
88.图11为另一个实施例中获取目标变形场的过程示意图;
89.图12a为一个实施例中采用传统的图像融合方法得到的初始配准图像的示意图;
90.图12b为一个实施例中采样本技术的图像融合方法得到的目标融合图像的示意图;
91.图13a为另一个实施例中采用传统的图像融合方法得到的初始配准图像的示意图;
92.图13b为另一个实施例中采样本技术的图像融合方法得到的目标融合图像的示意图;
93.图14为一个实施例中图像融合装置的结构框图。
具体实施方式
94.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
95.本技术实施例提供的图像融合方法,可以适用于如图1所示的计算机设备。该计算机设备包括通过系统总线连接的处理器、存储器,该存储器中存储有计算机程序,处理器执行该计算机程序时可以执行下述方法实施例的步骤。可选的,该计算机设备还可以包括网络接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器,该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。可选的,该计算机设备可以是服务器,可以是个人计算机,还可以是个人数字助理,还可以是其他的终端设备,例如平板电脑、手机等等,还可以是云端或者远程服务器,本技术实施例对计算机设备的具体形式并不做限定。
96.通常,医学影像中,不同期相的医学影像可以显影不同的器官与组织,以肝脏的医学影像为例,在静脉期时,如图1a所示,门静脉、肝静脉与肿瘤显影明显,而在动脉期时,如图1b所示,肝动脉显影明显。因此,融合不同期相的医学影像对于更好的了解病人的组织形态以及病灶对周边各个器官的影响至关重要,例如,可以利用肝肿瘤在门静脉、肝静脉与肝动脉多个血管的不同位置,判断肝肿瘤对各个血管的影响,进而制定影像外科手术方案等。目前,主要是将不同期相的医学影像的原图进行配准,以对多个不同期相的医学影像进行融合,或者,将不同期相的医学影像中器官的掩膜图像分割出来,对分割的掩膜图像进行配准,以对多个不同期相的医学影像进行融合。医学影像配准是一种成熟的技术,例如,对于肝脏的配准可以在原图或者原图分割出的掩膜图像上使用刚性和(或)形变配准,但该配准方法对于肝脏整体配准或许有效,却很难保证配准后不同血管对应的空间解剖结构唯一,即配准后血管空间位置唯一。解决该问题的主要难点:1、传统的配准方法主要是基于相似性来优化,而不同血管的配准需要互斥,即空间的一个位置只能对应一个器官(或血管);2、血管分为1,2,3,4级血管,目前的配准算法很难参考细小血管之间的空间关系。基于此,本技术提出了一种基于血管局部互斥形变场的后处理方法来解决不同血管配准后局部血管
空间位置重叠的问题,其主要思想如图1c所示,包括:通过对感兴趣区域的静脉期图像和动脉期图像进行初步配准,但初步配准后得到初步融合图中血管之间可能存在重合,进而,利用初步融合图得到局部互斥场,再使用局部互斥场进行迭代生成融合图直到指定迭代次数或者没有重合为止,得到最终的目标形变场,利用目标变形场对静脉期图像和动脉期图像进行配准融合,确保不同期相的医学影像融合后,融合图像中不同血管对应的空间解剖结构唯一。
97.在一个实施例中,如图2所示,提供了一种图像融合方法,以该方法应用于图1中的计算机设备为例进行说明,包括以下步骤:
98.s201,获取感兴趣区域的第一期相图像和第二期相图像。
99.其中,感兴趣区域的第一期相图像和第二期相图像为感兴趣区域在不同期相下所对应的医学图像。可选的,感兴趣区域可以为肝脏,也可以为心脏,或者,其他器官等。可选的,感兴趣区域的第一期相图像和第二期相图像可以为任何模态的医学图像,例如,感兴趣区域的第一期相图像和第二期相图像可以为电子计算机断层扫描(computed tomography,ct)影像,磁共振(magnetic resonance imaging,mri)影像,数字减影血管造影(digital substraction angiography,dsa)影像,数字化放射摄影dr(digital radiography)影像等等。
100.需要说明的是,感兴趣区域的第一期相图像和第二期相图像可以显影不同的器官与组织。可选的,第一期相图像可以为感兴趣区域的静脉期图像,第二期相图像可以为感兴趣区域的动脉期图像;或者,第一期相图像可以为感兴趣区域的动脉期图像,第二期相图像可以为感兴趣区域的静脉期图像。以肝脏的医学影像为例,在静脉期时,门静脉、肝静脉与肿瘤显影明显,而在动脉期时,肝动脉显影明显。可选的,计算机设备可以从pacs(picture archiving and communication systems,影像归档和通信系统)服务器中获取感兴趣区域的第一期相图像和第二期相图像,也可以从影像设备中实时地获取感兴趣区域的第一期相图像和第二期相图像。可选的,计算机设备获取到感兴趣区域的第一期相图像和第二期相图像后,还可以对感兴趣区域的第一期相图像和第二期相图像进行预处理,例如,去噪处理,去伪影处理等等。
101.s202,对第一期相图像和第二期相图像进行配准,得到第一变形场。
102.其中,图像配准(image registration)是将不同时间、不同成像设备或不同条件下(照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程。可选的,图像配准可以包括基于灰度信息法的配准、变换域法的配准和基于特征法的配准等,本实施例在此对第一期相图像和第二期相图像的配准方式并不加以限制。可选的,在本实施例中,计算机设备可以将第一期相图像配准到第二期相图像,得到第一变形场,也可以将第二期相图像配准到第一期相图像,得到第一变形场。可选的,计算机设备可以对第一期相图像和第二期相图像进行刚性配准,得到第一变形场,也可以对第一期相图像和第二期相图像进行形变配准,得到第一变形场。可选的,计算机设备可以对第一期相图像和第二期相图像进行配准,得到上述第一变形场,也可以对第一期相图像的掩膜图像和第二期相图像的掩膜图像进行配准,得到上述第一变形场。
103.s203,根据第一变形场、第一期相图像和第二期相图像,得到初始融合图像。
104.可选的,计算机设备可以利用第一变形场对第一期相图像进行变换,将变换后的
第一期相图像和第二期相图像进行融合,得到初始融合图像。或者,计算机设备也可以利用第一变形场对第二期相图像进行变换,将变换后的第二期相图像和第一期相图像进行融合,得到初始融合图像。又或者,计算机设备可以获取第一期相图像的掩膜图像和第二期相图像的掩膜图像,利用第一变形场对第一期相图像的掩膜图像进行变换,将变换后的第一期相图像的掩膜图像和第二期相图像的掩膜图像进行融合,得到上述初始融合图像,又或者,计算机设备可以利用第一变形场对第二期相图像的掩膜图像进行变换,将变换后的第二期相图像的掩膜图像和第一期相图像的掩膜图像进行融合,得到上述初始融合图像。可以理解的是,由于第一期相图像和第二期相图像是同一器官的图像,由于不同期相的两个图像病人姿态存在变化,或者是图像分割或者配准过程存在误差,因此,根据第一变形场、第一期相图像和第二期相图像得到的初始融合图像中感兴趣部位将可能会存在重叠的区域。
105.s204,根据初始融合图像,得到目标变形场;其中,目标变形场为以减小初始融合图像中感兴趣部位的重叠区域为目标所得到的。
106.具体地,在本实施例中,计算机设备以减小初始融合图像中感兴趣部位的重叠区域为目标,根据初始融合图像,得到对第一期相图像和第二期相图像进行配准的目标变形场。可选的,在本实施例中,计算机设备可以根据初始融合图像,得到初始融合图像对应的互斥场,根据初始融合图像对应的互斥场、第一期相图像和第二期相图像,得到迭代融合图像,直至得到的融合图像中感兴趣部位的重叠区域最小或不存在重叠区域为止,再将此时对应的互斥场和上述第一形变场进行叠加,得到上述目标场。可选的,计算机设备可以根据初始融合图像中感兴趣部位的重叠区域的质心以及初始融合图像中静脉血管或者动脉血管的中心线,得到初始融合图像对应的互斥场。示例性地,计算机设备可以通过以下步骤得到上述迭代融合图像:利用初始融合图像对应的互斥场对第一期相图像进行变换,得到变换后的第一期相图像,再将变换后的第一期相图像和第二期相图像进行融合,重复此步骤,得到上述迭代融合图像,或者,计算机设备可以利用初始融合图像对应的互斥场对第二期相图像进行变换,得到变换后的第二期相图像,再将变换后的第二期相图像和第一期相图像进行融合,重复此步骤,得到上述迭代融合图像。
107.s205,根据目标变形场、第一期相图像和第二期相图像,得到目标融合图像。
108.可选的,计算机设备可以利用目标变形场对第一期相图像进行转换,得到转换后的第一期相图像,再将转换后的第一期相图像和第二期相图像进行融合,得到目标融合图像;或者,计算机设备可以利用目标变形场对第二期相图像进行转换,得到转换后的第二期相图像,将转换后的第二期相图像和第一期相图像进行融合,得到目标融合图像;又或者,计算机设备可以利用目标变形场对第一期相图像的掩膜图像进行转换,得到转换后的第一期相掩膜图像,再将转换后的第一期相掩膜图像和第二期相掩膜图像进行融合,得到目标融合图像;又或者,计算机设备可以利用目标变形场对第二期相图像的掩膜图像进行转换,得到转换后的第二期相掩膜图像,再将转换后的第二期相掩膜图像和第一期相掩膜图像进行融合,得到目标融合图像。
109.上述图像融合方法中,通过获取感兴趣区域的不同期相的第一期相图像和第二期相图像,对感兴趣区域的第一期相图像和第二期相图像进行配准,能够得到第一变形场,从而可以根据得到的第一变形场、第一期相图像和第二期相图像,得到初始融合图像,再以减
小初始融合图像中感兴趣部位的重叠区域为目标得到目标变形场,进而可以根据得到的目标变形场、第一期相图像和第二期相图像,得到目标融合图像,由于得到的目标变形场是以减小初始融合图像中感兴趣部位的重叠区域为目标的,这样再利用该目标变形场、第一期相图像和第二期相图像得到目标融合图像,避免了得到的目标融合图像中不同血管配准后局部血管空间位置存在重叠的问题,确保了融合后的图像中不同血管对应的空间解剖结构唯一。
110.进一步地,在一个实施例中,如图3所示,上述s203,包括:
111.s301,获取第一期相图像对应的第一期相血管掩膜,以及第二期相图像对应的第二期相血管掩膜。
112.其中,图像掩膜是由0和1组成的一个二进制图像。当对图像进行处理应用掩膜时,1值区域被处理,被屏蔽的0值区域不被包括在计算中。通常,可以通过指定的数据值,数据范围,有限或无限值,感兴趣区中的至少一种来定义图像掩膜。
113.可选的,计算机设备可以对第一期相图像进行分割,得到第一期相图像对应的第一期相血管掩膜,以及,对第二期相图像进行分割,得到第二期相图像对应的第二期相血管掩膜。需要说明的是,在本技术实施例中,第一期相图像对应的第一期相血管掩膜,也可以使用第一期限图像对应的其他组织的掩膜进行替代,第二期相图像对应的第二期相血管掩膜,也可以使用第二期限图像对应的其他组织的掩膜进行替代。
114.s302,利用第一变形场对第二期相血管掩膜进行变换处理,得到第一变换后的第二期相血管掩膜,对第一变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到初始融合图像;
115.或者,利用第一变形场对第一期相血管掩膜进行变换处理,得到第一变换后的第一期相血管掩膜,对第一变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到初始融合图像。
116.具体地,在本实施例中,计算机设备可以利用第一变形场对第二期相血管掩膜进行变换处理,得到第一变换后的第二期相血管掩膜,再对第一变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到上述初始融合图像。或者,计算机设备还可以利用第一变形场对第一期相血管掩膜进行变换处理,得到第一变换后的第一期相血管掩膜,对第一变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到上述初始融合图像。
117.本实施例中,计算机设备能够快速准确地获取第一期相图像对应的第一期相血管掩膜,以及第二期相图像对应的第二期相血管掩膜,从而可以利用得到的第一变形场对第二期相血管掩膜进行准确地变换处理,准确地得到第一变换后的第二期相血管掩膜,再对第一变换后的第二期相血管掩膜和第一期相血管掩膜准确地进行融合处理,准确地得到初始融合图像;或者,计算机设备可以利用第一变形场对第一期相血管掩膜进行准确地变换处理,准确地得到第一变换后的第一期相血管掩膜,再对第一变换后的第一期相血管掩膜和第二期相血管掩膜准确地进行融合处理,准确地得到初始融合图像。
118.进一步地,在上述根据初始融合图像,得到目标变形场的场景中,在一个实施例中,如图4所示,上述s204,包括:
119.s401,根据初始融合图像,得到目标互斥场。
120.具体地,在本实施例中,计算机设备可以根据初始融合图像中感兴趣部位的重叠区域,计算出局部互斥场,利用局部互斥场和上述第一变形场得到迭代融合图像,经过多次迭代最终得到目标互斥场。也就是说,计算机设备可以通过执行迭代操作,将达到预设的收敛条件时得到的局部互斥场确定为目标互斥场,其中,迭代操作包括:
121.步骤a,根据初始融合图像,得到局部互斥场。
122.可选的,计算机设备可以提取初始融合图像中第一期相图像中血管的中心线或第二期相图像中血管的中心线,获取初始融合图像中感兴趣部位的任一重叠区域的质心,根据上述中心线和初始融合图像中感兴趣部位的任一重叠区域的质心,得到重叠区域的初始场向量,并获取与重叠区域相邻的预设区域内的第一目标点与重叠区域的距离,根据初始场向量和距离,得到局部互斥场。需要说明的是,利用初始融合图像中静脉血管的中心线和初始融合图像中感兴趣部位的任一重叠区域的质心只是计算局部互斥场多种方法中的一种,计算机设备也可以采用其他获取局部互斥场的方法,得到上述局部互斥场。可选的,上述第一期相图像中血管的中心线可以为第一期相图像中静脉血管的中心线,也可以为第一期相图像中动脉血管的中心线。可选的,上述第二期相图像中血管的中心线可以为第二期相图像中静脉血管的中心线,也可以为第二期相图像中动脉血管的中心线。
123.可选的,计算机设备根据上述中心线和初始融合图像中感兴趣部位的任一重叠区域的质心,得到重叠区域的初始场向量可以通过以下步骤获取:将初始融合图像中感兴趣部位的任一重叠区域的质心与上述中心线上各点的距离中的最短距离对应的点确定为第二目标点,将上述质心与第二目标点间的向量,确定为初始融合图像中感兴趣部位的重叠区域的初始场向量。
124.可选的,计算机设备根据初始场向量、第一目标点与重叠区域的距离,得到局部互斥场,可通过如下步骤得到:获取第一目标点与重叠区域的距离对应的高斯距离衰减函数,根据上述重叠区域的初始场向量和高斯距离衰减函数,得到上述局部互斥场。
125.示例性地,以提取的初始融合图像中静脉血管的中心线为l,初始融合图像中感兴趣部位的任一重叠区域的质心为o为例,计算机设备可以将质心o到中心线l最近点的向量lo(包括大小和方向)作为重叠区域的初始场向量,进一步地,为了变换的平滑,重叠区域外围附近区域也要有相应的变形场,假设重叠区域附近区域的一个点为p,且p到重叠区域的距离为d
p
,假设初始融合图像中只有一个重叠区域,则点p的局部互斥场fo为:fo=lo*gauss(d
p
);进一步地,假设初始融合图像中有两个重叠区域,在这种情况下,如图4a所示,则点p的局部互斥场fo=w1*lo1*gauss(d
p1
) w2*lo2*gauss(d
p2
),其中,w1=d
p2
/(d
p1
d
p2
),w2=d
p1
/(d
p1
d
p2
);假设初始融合图像中有n个重叠区域,上述点p到各个重叠区域的距离为d
pi
,则式中,
126.步骤b,利用局部互斥场和第一变形场,得到融合图像。
127.可选的,计算机设备可以对上述局部互斥场和上述第一变形场进行叠加,得到第二变形场,然后,可以利用得到的第二变形场对第二期相血管掩膜进行变换处理,得到第二变换后的第二期相血管掩膜,将第二变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到上述融合图像;或者,计算机设备也可以利用第二变形场对第一期相血管掩膜进行变换处理,得到第二变换后的第一期相血管掩膜,将第二变换后的第一期相血管掩
膜和第二期相血管掩膜进行融合处理,得到上述融合图像。
128.步骤c,将融合图像作为新的初始融合图像,返回执行迭代操作,直至达到预设的收敛条件。
129.具体地,计算机设备将得到的上述融合图像作为新的初始融合图像,返回执行上述迭代操作,直至达到预设的收敛条件,其中,预设的收敛条件包括得到的融合图像中感兴趣部位不存在重叠区域,或者,得到的融合图像中感兴趣部位的重叠区域的面积小于预设的面积阈值,或者,上述迭代操作的迭代次数达到预设迭代次数。也就是说,计算机设备将上述融合图像作为新的初始融合图像,提取新的初始融合图像中静脉血管的中心线,以及获取新的初始融合图像中感兴趣部位的任一重叠区域的质心,根据新的初始融合图像中静脉血管的中心线和新的初始融合图像中感兴趣部位的任一重叠区域的质心,得到新的重叠区域的初始场向量,并获取与新的重叠区域相邻的预设区域内的新的第一目标点与上述新的重叠区域的距离,将新的初始融合图像中感兴趣部位的任一重叠区域的质心与新的初始融合图像中静脉血管的中心线上各点的距离中的最短距离对应的点确定为新的第二目标点,将新的初始融合图像中感兴趣部位的任一重叠区域的质心和新的第二目标点间的向量,确定为新的重叠区域的初始场向量,并获取与新的重叠区域相邻的预设区域内的新的第一目标点与新的重叠区域的新距离,得到新的局部互斥场,对新的局部互斥场和上述第一变形场进行叠加,得到新的第二变形场,利用新的第二变形场对第二期相血管掩膜进行变换处理,得到新的第二变换后的第二期相血管掩膜,将新的第二变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到新的融合图像;或者,利用第二变形场对第一期相血管掩膜进行变换处理,得到新的第二变换后的第一期相血管掩膜,将新的第二变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到新的融合图像,直至新的融合图像中感兴趣部位不存在重叠区域,或者,新的融合图像中感兴趣部位的重叠区域的面积小于预设的面积阈值。
130.步骤d,将达到预设的收敛条件时得到的局部互斥场确定为目标互斥场。
131.具体地,计算机设备将执行迭代操作达到上述预设的收敛条件时,根据初始融合图像得到的局部互斥场确定为上述目标互斥场。
132.s402,对目标互斥场和第一变形场进行叠加,得到目标变形场。
133.具体地,计算机设备将上述得到的目标互斥场和上述第一变形场进场叠加,得到目标变形场。可选的,计算机设备可以获取目标互斥场的参数和第一变形场的参数,通过对目标互斥场的参数和第一变形场的参数进行叠加,得到目标变形场。又或者,计算机设备可以将目标互斥场与第一变形场上对应的点进行叠加,得到目标变形场。
134.本实施例中,计算机设备根据初始融合图像,能够准确地得到目标互斥场,从而可以对目标互斥场和第一变形场进行叠加,准确地得到目标变形场,提高了得到的目标变形场的准确度。
135.为了便于本领域技术人员的理解,以下对本技术提供的图像融合方法进行详细介绍,该方法可以包括:
136.s1,获取感兴趣区域的第一期相图像和第二期相图像。
137.s2,对第一期相图像和第二期相图像进行配准,得到第一变形场。
138.s3,对第一期相图像进行分割,得到第一期相血管掩膜;
139.以及,
140.对第二期相图像进行分割,得到第二期相血管掩膜。
141.s4,利用第一变形场对第二期相血管掩膜进行变换处理,得到第一变换后的第二期相血管掩膜,对第一变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到初始融合图像;
142.或者,利用第一变形场对第一期相血管掩膜进行变换处理,得到第一变换后的第一期相血管掩膜,对第一变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到初始融合图像。
143.s5,执行迭代操作,其中,迭代操作包括:
144.提取初始融合图像中第一期相图像中血管的中心线或第二期相图像中血管的中心线;
145.获取初始融合图像中感兴趣部位的任一重叠区域的质心;
146.根据中心线和质心,得到重叠区域的初始场向量;
147.获取与重叠区域相邻的预设区域内的第一目标点与重叠区域的距离;
148.根据初始场向量和距离,得到局部互斥场;
149.对局部互斥场和第一变形场进行叠加,得到第二变形场;
150.利用第二变形场对第二期相血管掩膜进行变换处理,得到第二变换后的第二期相血管掩膜,将第二变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到融合图像;
151.或者,利用第二变形场对第一期相血管掩膜进行变换处理,得到第二变换后的第一期相血管掩膜,将第二变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到融合图像。
152.s6,将融合图像作为新的初始融合图像,返回执行迭代操作,直至达到预设的收敛条件;其中,预设的收敛条件包括融合图像中感兴趣部位不存在重叠区域,或,融合图像中感兴趣部位的重叠区域的面积小于预设的面积阈值;
153.s7,将达到预设的收敛条件时得到的局部互斥场确定为目标互斥场。
154.s8,对目标互斥场和第一变形场进行叠加,得到目标变形场。
155.s9,利用目标变形场对第二期相血管掩膜进行转换,得到转换后的第二期相血管掩膜,将转换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到目标融合图像;或者,
156.利用目标变形场对第一期相血管掩膜进行转换,得到转换后的第一期相血管掩膜,将转换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到目标融合图像。
157.需要说明的是,针对上述s1-s9中的描述可以参见上述实施例中相关的描述,且其效果类似,本实施例在此不再赘述。
158.示例性地,以感兴趣区域为肝脏,第一期相图像为静脉期图像、第二期相图像为动脉期图像为例,计算机设备可以通过如图5-图11所示的步骤得到目标变形场,下边对图5-图11的步骤加以示例说明:
159.1,配准动脉期图像与静脉期图像,并转换动脉期肝动脉血管到静脉期,得到如图5所示的示意图;
160.2,如图6所示,提取静脉期图像中静脉血管的中心线;图6中各区域的解释请参见图5中的描述,图6中不再重复描述;
161.3,如图7所示,计算任一个重叠区域的质心;图7中各区域的解释请参见图5中的描述,图7中不再重复描述;
162.4,如图8所示,计算质心到中心线的最近点的向量,即局部变形场;图8中各区域的解释请参见图5中的描述,图8中不再重复描述;
163.5,如图9所示,计算重叠区域周边的递减变形场;图9中各区域的解释请参见图5中的描述,图9中不再重复描述;
164.6,如图10所示,重复上述步骤3-5,局部变化每个重叠区域附近的变形场;图10中各区域的解释请参见图5中的描述,图10中不再重复描述;
165.7,如图11所示,重复上述步骤3-6,局部形变每个重叠区域,直到指定次数,或者没有重叠区域,得到目标变形场。
166.进一步地,计算机设备再利用得到的目标变形场、第一期相图像和第二期相图像,得到目标融合图像,如图12a、12b和13a、13b所示,其中,12a为初始配准图像,12b为得到的目标融合图像,13a为初始配准图像,13b为得到的目标融合图像,由12a、12b以及13a、13b的对比可以看出,12b和13b融合图像中不同血管对应的空间解剖结构唯一,避免了得到的目标融合图像中不同血管配准后局部血管空间位置存在重叠的问题。
167.应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
168.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的图像融合方法的图像融合装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个图像融合装置实施例中的具体限定可以参见上文中对于图像融合方法的限定,在此不再赘述。
169.在一个实施例中,如图14所示,提供了一种图像融合装置,包括:第一获取模块、配准模块、第二获取模块、第三获取模块和融合模块,其中:
170.第一获取模块,用于获取感兴趣区域的第一期相图像和第二期相图像;
171.配准模块,用于对第一期相图像和第二期相图像进行配准,得到第一变形场;
172.第二获取模块,用于根据第一变形场、第一期相图像和第二期相图像,得到初始融合图像;
173.第三获取模块,用于根据初始融合图像,得到目标变形场;其中,目标变形场为以减小初始融合图像中感兴趣部位的重叠区域为目标所得到的;
174.融合模块,用于根据目标变形场、第一期相图像和第二期相图像,得到目标融合图像。
175.可选的,第一期相图像为感兴趣区域的静脉期图像,第二期相图像为感兴趣区域
的动脉期图像;或者,第一期相图像为感兴趣区域的动脉期图像,第二期相图像为感兴趣区域的静脉期图像。
176.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
177.在上述实施例的基础上,可选的,上述第二获取模块,包括:第一获取单元和第二获取单元,其中:
178.第一获取单元,用于获取第一期相图像对应的第一期相血管掩膜,以及第二期相图像对应的第二期相血管掩膜。
179.第二获取单元,用于利用第一变形场对第二期相血管掩膜进行变换处理,得到第一变换后的第二期相血管掩膜,对第一变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到初始融合图像;
180.或者,利用第一变形场对第一期相血管掩膜进行变换处理,得到第一变换后的第一期相血管掩膜,对第一变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到初始融合图像。
181.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
182.在上述实施例的基础上,可选的,上述第三获取模块,包括:第三获取单元和第四获取单元,其中:
183.第三获取单元,用于根据初始融合图像,得到目标互斥场。
184.第四获取单元,用于对目标互斥场和第一变形场进行叠加,得到目标变形场。
185.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
186.在上述实施例的基础上,可选的,上述第三获取单元,用于执行迭代操作,其中,迭代操作包括:
187.根据初始融合图像,得到局部互斥场;
188.利用局部互斥场和第一变形场,得到融合图像;
189.将融合图像作为新的初始融合图像,返回执行迭代操作,直至达到预设的收敛条件;
190.将达到预设的收敛条件时得到的局部互斥场确定为目标互斥场。
191.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
192.在上述实施例的基础上,可选的,上述第三获取单元,用于提取初始融合图像中第一期相图像中血管的中心线或第二期相图像中血管的中心线;获取初始融合图像中感兴趣部位的任一重叠区域的质心;根据中心线和质心,得到重叠区域的初始场向量;获取与重叠区域相邻的预设区域内的第一目标点与重叠区域的距离;根据初始场向量和距离,得到局部互斥场。
193.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
194.在上述实施例的基础上,可选的,上述上述第三获取单元,用于对局部互斥场和第
一变形场进行叠加,得到第二变形场;
195.利用第二变形场对第二期相血管掩膜进行变换处理,得到第二变换后的第二期相血管掩膜,将第二变换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到融合图像;
196.或者,利用第二变形场对第一期相血管掩膜进行变换处理,得到第二变换后的第一期相血管掩膜,将第二变换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到融合图像。
197.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
198.在上述实施例的基础上,可选的,上述融合模块,包括:融合单元,其中:
199.融合单元,用于利用目标变形场对第二期相血管掩膜进行转换,得到转换后的第二期相血管掩膜,将转换后的第二期相血管掩膜和第一期相血管掩膜进行融合处理,得到目标融合图像;或者,
200.利用目标变形场对第一期相血管掩膜进行转换,得到转换后的第一期相血管掩膜,将转换后的第一期相血管掩膜和第二期相血管掩膜进行融合处理,得到目标融合图像。
201.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
202.在上述实施例的基础上,可选的,上述第三获取单元,用于将质心与中心线上各点的距离中的最短距离对应的点确定为第二目标点;将质心与第二目标点间的向量,确定为重叠区域的初始场向量。
203.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
204.在上述实施例的基础上,可选的,上述第三获取单元,用于获取距离对应的高斯距离衰减函数;根据初始场向量和高斯距离衰减函数,得到局部互斥场。
205.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
206.在上述实施例的基础上,可选的,上述第一获取单元,用于对第一期相图像进行分割,得到第一期相血管掩膜;
207.以及,
208.对第二期相图像进行分割,得到第二期相血管掩膜。
209.本实施例提供的图像融合装置,可以执行上述方法实施例,其实现原理和技术效果类似,在此不再赘述。
210.上述图像融合装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
211.在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现以下步骤:
212.获取感兴趣区域的第一期相图像和第二期相图像;
213.对第一期相图像和第二期相图像进行配准,得到第一变形场;
214.根据第一变形场、第一期相图像和第二期相图像,得到初始融合图像;
215.根据初始融合图像,得到目标变形场;其中,目标变形场为以减小初始融合图像中感兴趣部位的重叠区域为目标所得到的;
216.根据目标变形场、第一期相图像和第二期相图像,得到目标融合图像。
217.上述实施例提供的计算机设备,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
218.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现以下步骤:
219.获取感兴趣区域的第一期相图像和第二期相图像;
220.对第一期相图像和第二期相图像进行配准,得到第一变形场;
221.根据第一变形场、第一期相图像和第二期相图像,得到初始融合图像;
222.根据初始融合图像,得到目标变形场;其中,目标变形场为以减小初始融合图像中感兴趣部位的重叠区域为目标所得到的;
223.根据目标变形场、第一期相图像和第二期相图像,得到目标融合图像。
224.上述实施例提供的计算机可读存储介质,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
225.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以下步骤:
226.获取感兴趣区域的第一期相图像和第二期相图像;
227.对第一期相图像和第二期相图像进行配准,得到第一变形场;
228.根据第一变形场、第一期相图像和第二期相图像,得到初始融合图像;
229.根据初始融合图像,得到目标变形场;其中,目标变形场为以减小初始融合图像中感兴趣部位的重叠区域为目标所得到的;
230.根据目标变形场、第一期相图像和第二期相图像,得到目标融合图像。
231.上述实施例提供的计算机程序产品,其实现原理和技术效果与上述方法实施例类似,在此不再赘述。
232.需要说明的是,本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
233.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存
取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
234.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
235.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献