双能CT成像模型的训练方法、系统、应用方法及系统

双能ct成像模型的训练方法、系统、应用方法及系统
技术领域
1.本发明涉及神经网络及医学影像领域，特别是涉及一种双能ct成像模型的训练方法、系统、应用方法及系统。


背景技术：

2.计算机断层成像(computedtomography，简称ct)是临床上应用最广泛的医学影像模式之一，是疾病诊断以及图像引导放射治疗中不可或缺的一环。
3.目前，研究表明在单能ct图像基础上利用深度学习实现双能ct成像是可行的，最早实现双能ct成像的方法是基于级联神经网络的双能ct成像方法，虽然该方法能够在单能ct图像的基础上得到双能ct图像，但该方法的成像模型的成像精度较低，导致最终得到的双能ct图像不够精准。因此，如何提升双能ct成像的精度，是一个目前亟待解决的问题。


技术实现要素：

4.本发明的目的是提供一种双能ct成像模型的训练方法、系统、应用方法及系统，能够有效提高双能ct成像的精度，得到更加准确、可靠的双能ct图像。
5.为实现上述目的，本发明提供了如下方案：
6.一方面，本发明提出了一种双能ct成像模型的训练方法，所述训练方法包括：
7.构建双能ct成像模型，所述双能ct成像模型包括权重图合成子模型和双能ct成像子模型，所述权重图合成子模型包括第一编码器和第一解码器；所述双能ct成像子模型包括第二编码器、第二解码器和增强注意力门控；所述第一解码器通过所述增强注意力门控与所述第二解码器连接；
8.获取低能ct图像和对应的高能ct图像以及合成权重图，所述合成权重图为对所述低能ct图像和所述高能ct图像合成得到的；
9.以所述低能ct图像为输入，以所述合成权重图为目标，对所述权重图合成子模型进行预训练，得到训练好的权重图合成子模型；
10.将所述低能ct图像分别输入所述双能ct成像模型的第一编码器和第二编码器，以所述高能ct图像为目标，对所述双能ct成像子模型的权重进行训练，得到训练好的双能ct成像子模型。
11.可选地，所述权重图合成子模型和/或所述双能ct成像子模型采用u-net网络。
12.可选地，对所述低能ct图像和所述高能ct图像合成得到合成权重图，具体包括：
13.将所述低能ct图像和所述高能ct图像作差，得到高低能差值图像；
14.对所述高低能差值图像依次进行硬阈值处理和高斯滤波处理，得到降噪后的高低能差值图像；
15.对所述降噪后的高低能差值图像进行标准化处理，得到所述合成权重图。
16.可选地，所述将所述低能ct图像分别输入所述双能ct成像模型的第一编码器和第二编码器，以所述高能ct图像为目标，对所述双能ct成像子模型的权重进行训练，得到训练
好的双能ct成像子模型，具体包括：
17.将所述低能ct图像输入所述第一编码器和所述第二编码器；
18.将所述第二编码器的输出和所述第一解码器的输出同时输入所述增强注意力门控；
19.将所述增强注意力门控的输出输入第二解码器；
20.根据所述第二解码器的输出与所述高能ct图像计算损失函数，并基于所述损失函数对所述双能ct成像子模型的权重进行调整，得到所述训练好的双能ct成像子模型。
21.可选地，在对所述权重图合成子模型和所述双能ct成像子模型进行训练时，采用均方误差函数作为损失函数，采用自适应矩估计算法对模型网络参数进行优化。
22.另一方面，本发明还提出了一种双能ct成像模型的应用方法，所述应用方法包括：
23.获取目标低能ct图像；
24.将所述目标低能ct图像输入双能ct成像模型，得到预测的目标高能ct图像；所述双能ct成像模型为如上所述的一种双能ct成像模型的训练方法训练好的双能ct成像模型。
25.另一方面，本发明还提出了一种双能ct成像模型的训练系统，所述训练系统包括：
26.双能ct成像模型构建模块，用于构建双能ct成像模型，所述双能ct成像模型包括权重图合成子模型和双能ct成像子模型，所述权重图合成子模型包括第一编码器和第一解码器；所述双能ct成像子模型包括第二编码器、第二解码器和增强注意力门控；所述第一解码器通过所述增强注意力门控与所述第二解码器连接；
27.图像获取模块，用于获取低能ct图像和对应的高能ct图像以及合成权重图，所述合成权重图为对所述低能ct图像和所述高能ct图像合成得到的；
28.权重图合成子模型预训练模块，用于以所述低能ct图像为输入，以所述合成权重图为目标，对所述权重图合成子模型进行预训练，得到训练好的权重图合成子模型；
29.双能ct成像子模型训练模块，用于将所述低能ct图像分别输入所述双能ct成像模型的第一编码器和第二编码器，以所述高能ct图像为目标，对所述双能ct成像子模型的权重进行训练，得到训练好的双能ct成像子模型。
30.可选地，所述权重图合成子模型和/或所述双能ct成像子模型采用u-net网络。
31.可选地，所述训练系统还包括：
32.作差单元，用于将所述低能ct图像和所述高能ct图像作差，得到高低能差值图像；
33.降噪单元，用于对所述高低能差值图像依次进行硬阈值处理和高斯滤波处理，得到降噪后的高低能差值图像；
34.标准化单元，用于对所述降噪后的高低能差值图像进行标准化处理，得到所述合成权重图。
35.另一方面，本发明还提出了一种双能ct成像模型的应用系统，所述应用系统包括：
36.目标图像获取模块，用于获取目标低能ct图像；
37.目标图像预测模块，用于将所述目标低能ct图像输入双能ct成像模型，得到预测的目标高能ct图像；所述双能ct成像模型为如上所述的一种双能ct成像模型的训练方法训练好的双能ct成像模型。
38.根据本发明提供的具体实施例，本发明公开了以下技术效果：
39.本发明提供了一种双能ct成像模型的训练方法、系统、应用方法及系统，训练方法
包括：构建双能ct成像模型，所述双能ct成像模型包括权重图合成子模型和双能ct成像子模型，所述权重图合成子模型包括第一编码器和第一解码器；所述双能ct成像子模型包括第二编码器、第二解码器和增强注意力门控；所述第一解码器通过所述增强注意力门控与所述第二解码器连接；获取低能ct图像和对应的高能ct图像以及合成权重图，所述合成权重图为对所述低能ct图像和所述高能ct图像合成得到的；以所述低能ct图像为输入，以所述合成权重图为目标，对所述权重图合成子模型进行预训练，得到训练好的权重图合成子模型；将低能ct图像分别输入双能ct成像模型的第一编码器和第二编码器，以高能ct图像为目标，对双能ct成像子模型的权重进行训练，得到训练好的双能ct成像子模型，从而得到训练好的双能ct成像模型。
40.本发明不仅能够在低能ct图像基础上实现双能ct成像，并且，本发明在双能ct成像模型中引入了增强注意力门控，将注意力机制应用于双能ct成像技术，由于权重图合成子模型的第一解码器和双能ct成像子模型的第二解码器之间设置有增强注意力门控，使得合成权重图会输入至双能ct成像子模型的增强注意力门控中，从而通过增强注意力门控能够提高双能ct成像模型对于合成权重图中高、低能ct图像之间差异较大的区域的关注程度，进而提升了双能ct成像模型在这些重要区域的成像精度，得到更加准确、可靠的双能ct图像。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。以下附图并未刻意按实际尺寸等比例缩放绘制，重点在于示出本发明的主旨。
42.图1为本发明实施例1提供的双能ct成像模型的训练方法的流程图；
43.图2为本发明实施例1提供的双能ct成像模型的整体结构图；
44.图3为本发明实施例1提供的权重图合成模块的合成流程图；
45.图4为本发明实施例1提供的增强注意力门控的运行机制图；
46.图5为本发明实施例2提供的双能ct成像模型的应用方法的流程图；
47.图6为本发明实施例3提供的双能ct成像模型的训练系统的结构示意图；
48.图7为本发明实施例4提供的双能ct成像模型的应用系统的结构示意图。
具体实施方式
49.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
50.如本发明和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备
也可能包含其他的步骤或元素。
51.虽然本发明对根据本发明的实施例的系统中的某些模块做出了各种引用，然而，任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性的，并且所述系统和方法的不同方面可以使用不同模块。
52.本发明中使用了流程图用来说明根据本发明的实施例的系统所执行的操作。应当理解的是，前面或下面操作不一定按照顺序来精确地执行。相反，根据需要，可以按照倒序或同时处理各种步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
53.计算机断层成像是临床上应用最广泛的医学影像模式之一，是疾病诊断以及图像引导放射治疗中不可或缺的一环。但是由于受到x射线在人体组织中衰减规律的限制，单能ct图像中不同组织也可能对应相同的ct值，因而临床上常用的单能ct无法有效区分不同组织或对组织成分进行定量表征。
54.双能ct的出现弥补了这一不足，它利用两组具有不同能谱的x射线得到两组衰减信息，通过这两组衰减信息进行图像重建就能够得到高、低能两种ct图像，并进一步利用材料分解算法得所需的基材料图像，进而对组织成分进行区分或定量表征。因此，双能ct有着非常广泛的应用，比如虚拟单色成像、去骨成像、血液灌注定量、肾脏囊肿诊断以及质子治疗实时在线监测等，极大地拓展了ct成像的应用范围。然而与传统的单能ct相比，临床高端双能ct技术复杂、成本高。目前双能ct市场基本上被发达国家的医疗器械巨头(如西门子、通用电气和飞利浦等)所垄断，因此开发新型双能ct成像方法和设备有利于快速推动高端医疗器械自主化的发展，有利于提升高端医疗器械自主化水平。
55.深度学习是一种以深度神经网络为架构的人工智能技术，可对数据进行表征学习。受到医学图像大数据的支持，深度学习广泛应用于医学图像处理任务中，比如医学图像的分割、配准、去噪等，也给双能ct成像提供了一种新的思路。近几年，研究表明在单能ct图像基础上利用深度学习实现双能ct成像是可行的。其中，基于级联神经网络的双能ct成像方法是最早将利用深度学习实现双能ct成像的研究，该方法利用临床双能ct图像数据(每组双能ct图像都包含一张低能ct图像和其对应的高能ct图像)训练了一个级联神经网络，将低能ct图像输入训练好的网络模型就得到对应的高能ct图像，即在单能ct图像的基础上实现了双能ct成像。但该方法的模型简单，数据量少，因此得到的高能ct图像不够精准，不能满足精准高能ct图像的需求。
56.基于此，本发明的目的是提供一种双能ct成像模型的训练方法、系统、应用方法及系统，能够有效提高双能ct成像的精度，得到更加准确、可靠的双能ct图像。
57.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
58.实施例1
59.如图1所示，本实施例提供了一种双能ct成像模型的训练方法，所述训练方法包括：
60.步骤s1、构建双能ct成像模型。
61.本实施例中，所述双能ct成像模型包括权重图合成子模型和双能ct成像子模型，所述权重图合成子模型包括第一编码器和第一解码器；所述双能ct成像子模型包括第二编
码器、第二解码器和增强注意力门控；所述第一解码器通过所述增强注意力门控与所述第二解码器连接。
62.如图2所示，本实施例中双能ct成像模型由权重图合成子模型和双能ct成像子模型两个子模块构成，其中，权重图合成子模型可以称为权重图生成器，权重图生成器中的权重图合成模块用于根据低能ct图像和高能ct图像生成合成权重图，合成权重图表征的是高低能ct图像两种能量下的ct值的差异程度；而双能ct成像子模型即双能ct成像模块，主要用于根据低能ct图像预测出高能ct图像。
63.本实施例中，所述权重图合成子模型和/或所述双能ct成像子模型可以采用u-net网络，也可以采用其他同类型的神经网络。
64.本实施例中，第一解码器和第二解码器可以均为四层结构，且第一解码器中各层和第二解码器中各层一一对应连接，增强注意力门控也有四个，针对权重图合成子模型中第一解码器中的每一层，均在双能ct成像子模型中设置有一个对应的增强注意力门控，使第一解码器中的每一层均经一个对应的增强注意力门控后与第二解码器中对应的层连接，从而使得权重图合成子模型中第一解码器的各个层的输出首先输入至对应的增强注意力门控，然后再到达第二解码器中的对应的层。
65.步骤s2、获取低能ct图像和对应的高能ct图像以及合成权重图。
66.应说明的是，本实施例中的合成权重图是通过权重图合成模块对低能ct图像和对应的高能ct图像进行合成得到的，也可以是采用其他手段得到的合成权重图。
67.如图3所示，本实施例通过权重图合成模块对低能ct图像和高能ct图像进行合成得到合成权重图，具体包括：
68.将所述低能ct图像和所述高能ct图像作差，得到高低能差值图像；
69.对所述高低能差值图像依次进行硬阈值处理和高斯滤波处理，得到降噪后的高低能差值图像；
70.对所述降噪后的高低能差值图像进行标准化处理，得到所述合成权重图。
71.本发明采用配备有双能ct成像设备的三甲医院中临床采集的双能ct图像数据来合成目标合成权重图。首先利用低能ct图像和高能ct图像作差得到绝对差值图，再通过硬阈值和高斯滤波两步操作排除图像噪声干扰，最后对降噪后的绝对差值图进行标准化得到目标合成权重图。本实施例中，合成权重图的数值范围为0到1，数值越大代表高、低能ct图像两种能量的ct图像在该像素点的差异越大，即需要的关注度越高。然后将合成权重图作为目标，低能ct图像作为输入，对权重图合成子模型进行预训练。其中，由于权重图合成子模型采用的是经典的u-net结构，由第一编码器和第一解码器组成，将低能ct图像输入到训练好的权重图合成子模型后，由第一解码器的四层结构得到四种不同尺寸的合成权重图。
72.本发明将低能ct图像和高能ct图像进行了权重图合成，经过硬阈值、高斯滤波等预处理后得到了降噪后的合成权重图，从而有效排除了训练过程中ct图像噪声对于训练效果的干扰，提升了模型训练精度以及双能ct成像精度。
73.步骤s3、以所述低能ct图像为输入，以所述合成权重图为目标，对所述权重图合成子模型进行预训练，得到训练好的权重图合成子模型。
74.步骤s4、将所述低能ct图像分别输入所述双能ct成像模型的第一编码器和第二编码器，以所述高能ct图像为目标，对所述双能ct成像子模型的权重进行训练，得到训练好的
双能ct成像子模型。具体包括：
75.步骤s4.1、将所述低能ct图像输入所述第一编码器和所述第二编码器。
76.步骤s4.2、将所述第二编码器的输出和所述第一解码器的输出同时输入所述增强注意力门控。
77.本实施例中，增强注意力门控的运行机制如图4所示，增强注意力门控接收的是第一解码器输出的不同尺寸的合成权重图，以及第二编码器输出的低能ct特征图，然后合成权重图经过线性激活relu函数、卷积层、sigmoid函数后，再与低能ct特征图合并得到加权特征图，加权特征图表示的是带有高、低能两种能量的ct值权重差异的低能ct图像，从而使双能ct成像模型具有根据低能ct图像预测高能ct图像的能力，并且由于训练时通过增强注意力门控使双能ct成像模型更加关注高、低能ct图像中差异较大的区域，从而使其预测出的高能ct图像更加准确、可靠。
78.步骤s4.3、将所述增强注意力门控的输出输入第二解码器。
79.步骤s4.4、根据所述第二解码器的输出与所述高能ct图像计算损失函数，并基于所述损失函数对所述双能ct成像子模型的权重进行调整，得到所述训练好的双能ct成像子模型，从而得到训练好的双能ct成像模型。
80.本实施例中，在对所述权重图合成子模型和所述双能ct成像子模型进行训练时，采用均方误差函数作为损失函数，采用自适应矩估计算法对模型网络参数进行优化。
81.由于权重图合成子模型已经完成了预训练，因此在对双能ct成像子模型进行训练时，分别将高、低能ct图像作为目标和输入，在训练的过程中低能ct图像通过权重图合成子模型得到四种不同尺寸的合成权重图，这些合成权重图分别从第一解码器输入到对应的增强注意力门控中，引导双能ct成像子模型的训练过程。
82.由于本实施例中双能ct成像子模型采用的也是经典的u-net神经网络，四个增强注意力门控分别控制双能ct成像子模型的第二解码器的不同层，当权重图合成子模型的第一解码器输出四张不同尺寸的合成权重图后，这四张合成权重图将分别输入到对应的增强注意力门控中，并通过增强注意力门控作用于双能ct成像子模型的第二解码器的不同层，使得双能ct成像子模型提高对高、低能ct图像中差异较大的区域的关注程度。同时，考虑到均方误差(mse)可以用于计算网络输出的高能ct图像与真实高能ct图像的相似性，因此本实施例在训练过程中将mse作为损失函数，并使用自适应矩估计算法来对网络参数进行调优，最终使训练好的双能ct成像模型具备生成符合临床精度的高能ct图像的能力。
83.如图2所示，本发明主要包括权重图生成器、增强注意力门控和双能ct成像模块，其中，权重图生成器即权重图合成器，也就是本发明中的权重图合成子模型；而增强注意力门控和双能ct成像模块则组成了双能ct成像子模型，权重图合成子模型和双能ct成像子模型又形成了完整的双能ct成像模型。首先本实施例利用临床采集的双能ct图像数据，通过权重图合成模块得到合成权重图，合成权重图的数值代表高能ct图像和低能ct图像两种能量下的ct值差异程度。然后以低能ct图像为输入，合成权重图为目标，对权重图合成子模型即权重图生成器进行预训练，经过预训练的权重图合成子模型能够实现由低能图像特征自动生成用于表征双能ct图像差异的合成权重图。此时，再利用临床双能ct图像数据训练添加了增强注意力门控的双能ct成像子模型，在训练过程中，向训练好的权重图合成子模型和双能ct成像子模型输入低能ct图像，训练好的权重图合成子模型则输出合成权重图，然
后经第一解码器将合成权重图输入增强注意力门控，从而使权重图合成子模型通过增强注意力门控引导双能ct成像子模型关注高、低能ct图像中ct值差异较大的组织区域，提高了预测高能ct图像的精度，并且，合成权重图的过程采用了硬阈值和高斯滤波等降噪方法，从而排除了模型训练过程中ct噪声的干扰，进一步提高了双能ct成像模型预测高能ct图像的精度。
84.本发明能够在低能ct图像基础上，利用神经网络技术即可实现双能ct成像，这样的成像方法解决了双能ct作为一种高端医学影像设备而被国外厂商技术垄断以及其价格高昂、难以推广的问题。并且，本发明在双能ct成像模型中引入了增强注意力门控，将注意力机制应用于双能ct成像技术，由于权重图合成子模型的第一解码器和双能ct成像子模型的第二解码器之间设置有增强注意力门控，使得合成权重图会输入至双能ct成像子模型的增强注意力门控中，从而通过增强注意力门控能够提高双能ct成像模型对于合成权重图中高、低能ct图像之间差异较大的区域的关注程度，进而提升了双能ct成像模型在这些重要区域的成像精度；同时还仅利用低能ct图像特征即可实现对于增强注意力门控的有效监督，排除了训练过程中ct图像噪声对于训练效果的干扰，能够得到更加准确、可靠的双能ct图像。
85.实施例2
86.如图5所示，对应于实施例1中的双能ct成像模型的训练方法，本实施例提出了一种双能ct成像模型的应用方法，所述应用方法包括：
87.步骤a1、获取目标低能ct图像。
88.步骤a2、将所述目标低能ct图像输入双能ct成像模型，得到预测的目标高能ct图像；所述双能ct成像模型为实施例1中所述的一种双能ct成像模型的训练方法训练好的双能ct成像模型，训练过程与实施例1相同，在此不再赘述。
89.实施例3
90.如图6所示，对应于实施例1中的双能ct成像模型的训练方法，本实施例提出了一种双能ct成像模型的训练系统，所述训练系统采用的是实施例1中的双能ct成像模型的训练方法，训练方法与实施例1完全相同，所述训练系统包括：
91.双能ct成像模型构建模块m1，用于构建双能ct成像模型，所述双能ct成像模型包括权重图合成子模型和双能ct成像子模型，所述权重图合成子模型包括第一编码器和第一解码器；所述双能ct成像子模型包括第二编码器、第二解码器和增强注意力门控；所述第一解码器通过所述增强注意力门控与所述第二解码器连接。
92.本实施例中，所述权重图合成子模型和/或所述双能ct成像子模型可以采用u-net网络，也可以采用其他同类型的神经网络，可根据实际需求自行确定。
93.图像获取模块m2，用于获取低能ct图像和对应的高能ct图像以及合成权重图，所述合成权重图为对所述低能ct图像和所述高能ct图像合成得到的。
94.合成权重图的获取方式可以是通过权重图合成子模型中的权重图合成模块，权重图合成模块包括：
95.作差单元，用于将所述低能ct图像和所述高能ct图像作差，得到高低能差值图像。
96.降噪单元，用于对所述高低能差值图像依次进行硬阈值处理和高斯滤波处理，得到降噪后的高低能差值图像。
97.标准化单元，用于对所述降噪后的高低能差值图像进行标准化处理，得到所述合成权重图。
98.权重图合成子模型预训练模块m3，用于以所述低能ct图像为输入，以所述合成权重图为目标，对所述权重图合成子模型进行预训练，得到训练好的权重图合成子模型。
99.双能ct成像子模型训练模块m4，用于将所述低能ct图像分别输入所述双能ct成像模型的第一编码器和第二编码器，以所述高能ct图像为目标，对所述双能ct成像子模型的权重进行训练，得到训练好的双能ct成像子模型。
100.实施例4
101.如图7所示，对应于实施例2中的双能ct成像模型的应用方法，本实施例提出了一种双能ct成像模型的应用系统，所述应用系统包括：
102.目标图像获取模块n1，用于获取目标低能ct图像。
103.目标图像预测模块n2，用于将所述目标低能ct图像输入双能ct成像模型，得到预测的目标高能ct图像；所述双能ct成像模型为实施例1中所述的一种双能ct成像模型的训练方法训练好的双能ct成像模型，训练过程与实施例1相同，在此不再赘述。
104.除非另有定义，这里使用的所有术语(包括技术和科学术语)具有与本发明所属领域的普通技术人员共同理解的相同含义。还应当理解，诸如在通常字典里定义的那些术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
105.上面是对本发明的说明，而不应被认为是对其的限制。尽管描述了本发明的若干示例性实施例，但本领域技术人员将容易地理解，在不背离本发明的新颖教学和优点的前提下可以对示例性实施例进行许多修改。因此，所有这些修改都意图包含在权利要求书所限定的本发明范围内。应当理解，上面是对本发明的说明，而不应被认为是限于所公开的特定实施例，并且对所公开的实施例以及其他实施例的修改意图包含在所附权利要求书的范围内。本发明由权利要求书及其等效物限定。