一种基于深度学习的超低剂量PET图像重建系统及方法与流程

一种基于深度学习的超低剂量pet图像重建系统及方法
技术领域
1.本发明涉及医疗图像工程技术领域，特别涉及一种基于深度学习的超低剂量pet图像重建系统及方法。


背景技术：

2.随着医学成像技术和人工智能技术的迅猛发展，自动以及半自动的计算机辅助重建以及图像质量增强系统在近年来被逐步应用于剂量降低和绿色诊疗的场景中，以实现降低患者所经受辐射暴露水平，同时提高图像信噪比和病理学解析能力的目的。
3.目前，针对人脑病理学分析的图像成像系统主要包括正电子发射计算机断层扫描（pet）、核磁共振成像（mri）、单光子发射计算机断层扫描（spect）、电子计算机断层扫描（ct）和脑电图（eeg），其中pet由于具有精准、定性、定量在内的优势，因此在包括阿尔兹海默症（ad）、轻度认知障碍（mci）和癫痫（ep）等的检测和预后分析中具有更好的普适性。由于很多基于脑部图像的病理学分析与诊断方案（如：癫痫病灶的定位和形态学分析）均需要通过多次pet扫描来确定，因此导致患者不得不面对多次辐射暴露的风险。根据国际辐射委员会报告，单次pet/ct扫描可导致被扫描者终身患癌风险提升0.04%。尽管这个数字看起来不大，其在多次扫描过程中所产生的叠加效应却极为显著。此外，由于儿科患者自身免疫系统大都还未彻底建立，相对成年患者而言，多次扫描对他们带来的辐射暴露问题更为严峻。无论是pet/ct还是pet/mri联合成像系统，降低扫描时所造成的辐射剂量始终是近年来许多研究竞相追逐的热点和难点。因此，提出一种极大程度降低辐射暴露、保证成像分辨率和精准度的超低剂量pet图像重建系统能极大程度相应国家提出的“绿色诊疗”的号召，且具有广泛且实际的临床需求。
4.目前在超低剂量成像应用中面临的主要挑战有：1. 大多数为纯临床研究，如有的医生团队经过验证发现使用半剂量（half
‑
dose）示踪剂（radioactive tracer）能基本满足临床诊断和视觉评估要求，因此建议将示踪剂剂量减半。由于临床研究样本少、样本异质性强，因此没法依据示踪剂剂量确定统一的量化方案，导致相应研究在后续其他研究中无法产生普适化价值。2.依赖于生成对抗网络（gan）的引入，现有大多数高质量全剂量pet图像合成框架均能对超低剂量pet图像切片实现良好的合成效果。然而，大多数同类研究并未充分探索超低剂量pet图像切片的片间临近空间信息变化模式，而是将每一张图像切片视为独立的对象来合成，导致丢失了切片间的空间关系。3.大多数同类研究均使用常用卷积（如：3*3的方形卷积核），固定尺度的矩形卷积核显然会忽略掉大量脑图像切片内的高阶语义特征（如：脑沟与脑回的局部分布模式）。4.越低的剂量要求模型对感兴趣区（rois）要有越敏感的感知能力，而超低剂量pet图像中大量模糊不清的边界和无法避免的噪声则要求合成过程中gan网络的描述器模块一定要对切片内部的分布模式有准确的判断，而现有主流合成框架均缺乏这种同时具有全尺度和局部尺度的注意力模式。
5.综上，提供一种基于深度学习的超低剂量pet图像重建系统，利用pet图像片间空间变化模式和可变卷积，在超低剂量pet到全剂量pet图像的合成过程中充分探索对应关
系、注意力机制和感知模式，以极大程度降低诊疗患者在多次pet图像扫描过程中积累的辐射暴露风险，成为目前亟待解决的重要技术问题。


技术实现要素：

6.本发明的目的在于针对目前主流pet医学图像成像模式对患者相对较高的辐射暴露，提供了一种基于深度学习的超低剂量pet图像重建系统及方法，用于自动将超低剂量pet图像重建为满足临床需求的全剂量pet图像，其重建精度高，模型具有较高的鲁棒性。
7.本发明的目的是通过以下技术方案来实现的：一种基于深度学习的超低剂量pet图像重建系统，该系统包括图像采集模块、pet和mri配准与标准化模块、移位预测网络模块、空间可变形卷积模块和基于transformer的跨模态生成对抗网络模块：所述图像采集模块用于采集超低剂量pet图像和mri图像；所述pet和mri配准与标准化模块用于同时对超低剂量pet图像和mri图像进行配准，并将配准后的两个图像标准化到mni标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；所述移位预测网络模块用于将输入的标准化后的超低剂量pet图像和对应的mri图像拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有超低剂量pet切片输入到基于unet为骨架的移位预测网络；该过程会将每一帧超低剂量pet切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值，并将这些移位数值进行输出；所述空间可变形卷积模块用于将移位预测网络模块输出的每一帧超低剂量pet切片的移位数值进行可变形优化，根据移位数值的大小，将自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量pet切片，输出强化后的超低剂量pet切片；所述基于transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于resnet生成器和transformer描述器的生成对抗网络模块：所述基于双模态图像融合的卷积编码器模块包含两种具有不同尺寸卷积核的卷积层，分别对pet切片和mri切片进行编码，使得经空间可变形卷积模块输出的强化后的每一张超低剂量pet切片与相对应的mri切片整合，生成并输出融合了mri结构纹理信息的融合超低剂量pet切片，从而进一步丰富超低剂量pet图像所蕴含的结构模式；所述基于resnet生成器和transformer描述器的生成对抗网络模块包括charbonnier损失函数模块、vgg16
‑
net感知损失函数模块、resnet生成器模块和基于transformer的描述器模块：所述基于resnet生成器模块，由若干个resnet块的依次拼接组成；resnet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量pet切片，resnet生成器的输出为最终合成的全剂量pet图像；所述基于transformer的描述器模块，将patchgan描述器模块与具备注意力机制的transformer编码模块进行拼接，构造出基于transformer的描述器；transformer描述器能对同一张切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正，patchgan描述器模块由4层卷积层所构成，transformer编码
模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成；所述charbonnier损失函数模块通过引入l1范数和一个常量，使得resnet生成器模块输出的合成的全剂量pet图像和采集的真实全剂量pet图像的像素尺度绝对值之差能被严格约束，控制合成全剂量pet图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；所述vgg16
‑
net感知损失函数模块，通过引入预训练好的vgg16
‑
net模块，进一步提高生成器生成能力，获取更高质量的代谢纹理分布模式，从而使得最终合成的全剂量pet图像更为可靠、真实。
8.进一步地，所述超低剂量pet图像为注射剂量仅为常规全剂量pet图像所需剂量数额5%的18f
‑
fdg示踪剂注射后经pet
‑
mri扫描仪成像后的pet图像；pet与mri配准与标准化模块执行过程中，同时对所有被试者nifti格式的超低剂量pet图像和mri图像进行配准，并将配准后的两个图像均标准化到mni标准脑模板空间。
9.进一步地，移位预测网络模块执行过程中，将输入的每位被试者的nifti格式的标准化后的超低剂量3d pet脑图像和mri图像拆解为若干紧密堆叠的二维图像切片的具体过程为：其中，是被试者的超低剂量3d pet脑图像，是该被试者的一张二维pet图像切片；是被试者的3d mri脑图像，是该被试者的一张二维mri图像切片，是每张切片的高度，是每张切片的宽度，是切片总数量。
10.进一步地，在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大小的卷积核；其中，对mri切片编码过程中每一层卷积核的大小均为3
×
3，连续三层；对pet图像编码过程中每一层卷积核的大小均为1
×
1，也是连续三层；经过三层编码后，强化后的每一张低剂量pet切片与其相对应的mri切片进行整合，生成并输出融合了mri结构纹理信息的融合超低剂量pet切片，从而进一步丰富超低剂量pet图像所蕴含的结构模式。
11.进一步地，charbonnier损失函数模块在执行过程中，由于每一张超低剂量pet切片和mri切片都被进行了良好的配准，因此charbonnier损失函数通过以下表达式对生成器中的隐变量进行约束：其中，表示生成器的charbonnier损失，表示一个小于的极小常量，表示期望，表示对应的真实全剂量pet切片，表示输入的融合超低剂量pet切片，表示经resnet生成器模块输出的合成的全剂量pet切片。
12.进一步地，所使用的vgg16
‑
net感知损失函数模块是在imagenet上预训练而得到；vgg16
‑
net感知损失函数模块的表达式如下：
其中表示vgg16
‑
net网络模块运算。
13.进一步地，所述resnet生成器模块由9个resnet块依次连接组成，每个resnet块均包含2个卷积层、2次归一化操作和1个relu函数。
14.本发明还提供了一种基于深度学习的超低剂量pet图像重建方法，该方法包括以下步骤：（1）采集超低剂量pet图像和mri图像；所述超低剂量pet图像为注射剂量仅为常规全剂量pet图像所需剂量数额5%的18f
‑
fdg示踪剂注射后经pet
‑
mri扫描仪成像后的pet图像；（2）同时对步骤（1）采集的超低剂量pet图像和mri图像进行配准，并将配准后的两个图像均标准化到mni标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响；（3）将步骤（2）标准化后的超低剂量pet图像和mri图像均拆解为二维图像切片，对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变形卷积提取融合特征图，并强化所有超低剂量pet图像切片；具体步骤如下：（3.1）将输入的标准化后的pet图像和mri图像均拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有pet图像输入到基于unet为骨架的移位预测网络，将每一张二维图像切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值；（3.2）通过空间可变形卷积对步骤（3.1）执行完后多帧切片相对于目标切片的移位数值进行优化处理，根据移位数值的大小，自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量pet切片，形成强化后的超低剂量pet切片；（4）使用不同尺寸卷积核的卷积层，分别对pet切片和mri切片进行编码，使得经步骤（3）强化后的每一张超低剂量pet切片与相对应的mri切片整合，生成并输出融合了mri结构纹理信息的融合超低剂量pet切片，从而进一步丰富pet图像蕴含的结构模式；（5）通过若干个resnet块的依次拼接而组成的resnet生成器，resnet生成器的输入为步骤（4）输出的融合超低剂量pet切片，resnet生成器的输出为最终合成的全剂量pet图像；resnet生成器生成过程中通过charbonnier损失函数将合成的全剂量pet图像和采集的真实全剂量pet图像的像素尺度绝对值进行约束，同时通过vgg16
‑
net感知损失函数保证合成的全剂量pet图像拥有更高质量的代谢纹理分布模式；（6）为了提高对步骤（5）中resnet生成器生成图像的判断能力，设计基于transformer的描述器对resnet生成器生成的每张图像切片进行基于融合了注意力得分的判别，所述基于transformer的描述器将patchgan描述器与具备注意力机制的transformer编码器拼接组成；transformer描述器能对同一张图像切片内部的所有图像块进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正；patchgan描述器由4层卷积层所构成，transformer编码器由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
15.本发明的有益效果如下：1）能够充分探索每个被试者的超低剂量pet脑图像切片间的代谢和结构分布模
式。近年来主流的超低剂量pet图像合成研究大多将每一张具有空间连续性的pet图像切片独立地送入对应的深度学习模型产生对应的合成高剂量pet图像，然而却忽略了这些超低剂量pet图像切片的片间临近空间信息变化模式，导致模型训练过程中丢失了切片间的空间关系。空间可变形卷积模块能高效且自动地学习超低剂量pet图像切片间的临近空间信息变化模式，能根据具体需求将所有临近切片的信息变化模式整合在目标图像切片上，使得超低剂量pet图像切片被预强化，从而利于模型后期学习。与近年来主流的超低剂量pet图像合成研究相比，本发明中经过预强化的超低剂量pet图像切片更利于模型学习到高阶特征，从而使得后续分析的输入数据更稳定、更可靠、更精确。
16.2）能够捕获每一张超低剂量pet脑图像切片的片内高阶语义特征。大多数同类研究均使用经典卷积尺寸（如：3*3的方形卷积核）来提取图像的片内特征，固定尺度的矩形卷积核显然会忽略掉大量脑图像切片内的高阶语义特征（如：脑沟与脑回的局部分布模式），因为大多数脑内结构的几何学模式是非线性分布的。通过移位预测网络与空间可变卷积的联合，本发明使得每一张超低剂量pet脑图像切片的片内高阶语义特征均能被很好地提取出来，从而保证对超低剂量pet图像切片做片间临近空间信息强化时能学习到片间脑局部区域的结构变化模式，使得后续分析接触到的输入图像更为真实。
17.3）能够保证对超低剂量pet脑图像切片内部感兴趣区域（rois）的关联模式依然有非常敏感的感知能力。不同于全剂量和半剂量pet图像，当被试者被注射的放射性示踪剂剂量极低时（如：仅注射5%剂量），此类超低剂量pet脑图像由于存在大量模糊不清的边界和无法避免的噪声，因此要求合成过程中gan网络的描述器模块要对切片内部的分布模式有极为准确的判断。现有主流合成框架均缺乏这种注意力模式，因此无法在全切片尺度和块尺度同时对生成图像和真实图像进行判断。为解决这一问题，本发明将经典的、性能优异的patchgan描述器与具备注意力机制的transformer编码器相结合，构造出基于transformer的描述器。该描述器能对同一张图像切片内部的所有图像块（patches）进行全尺度探索（具备相对于目前主流描述器而言更宽阔的视野），并能进一步通过多头注意力机制使得图像块间的关系得到注意力修正。这一模式使得本模型的描述器模块性能得到进一步强化，使其表现优于近年来常见的描述器架构，因此能最大程度地描述出合成图像与真实图像的区别。
18.4）能够在小数据量的数据集中快速收敛，且结果稳定。由于本发明既能对全脑尺度的所有切片间的结构关联模式进行探索，又能聚焦于每张切片对其内部代谢和结构分布做适应性分析，因此极大地降低了对所需要训练样本量的需求。同时，由于感知损失和注意力机制的引入，其在极大程度上保证了最终生成图像的结果稳定可靠。
附图说明
19.图1是本发明一个实施例的基于深度学习的超低剂量pet图像重建系统的结构框图；图2是本发明一个实施例的基于深度学习的超低剂量pet图像重建系统的实现流程图；图3是本发明一个实施例的可变式生成对抗网络degan构建示意图；图4是本发明一个实施例的基于transformer的描述器架构示意图；
图5是本发明一个实施例的生成全剂量pet图像与真实全剂量pet图像的绝对差值对比图。
具体实施方式
20.下面结合附图和具体实施例对本发明作进一步详细说明。
21.如图1所示，本发明提供的一种基于深度学习的超低剂量pet图像重建系统的结构框图，该系统包括图像采集模块、pet和mri配准与标准化模块、空间可变聚合模块和基于transformer的跨模态生成对抗网络模块：所述超低剂量pet图像为注射剂量仅为常规全剂量pet图像所需剂量数额5%的18f
‑
fdg示踪剂注射后经pet
‑
mri扫描仪成像后的pet图像；图像采集模块：使用pet/mri扫描仪采集脑部pet图像，受试者在采集过程中保持相同体位。图像采集后进行图像格式转换，即将dicom格式的原始采集图像序列转换成易处理的nifti格式图像。
22.pet和mri配准与标准化模块，包括图像配准和图像标准化：图像配准：将转换完成后的nifti格式图像传入spm软件模块进行自动化配准。
23.图像标准化：将配准后得到的nifti格式pet图像和mri图像同时传入spm软件进行批处理，并标准化到mni标准脑模板空间，消除个体间由于脑形态学差异对后续分析造成的潜在影响。
24.空间可变聚合模块，用于对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变卷积提取融合特征图，并强化所有对应的目标超低剂量pet图像切片。其具体包括：移位预测网络模块：将输入的每位被试者的nifti格式的标准化后的超低剂量3d pet脑图像和mri图像拆解为若干紧密堆叠的二维图像切片，具体如下：其中，是被试者的超低剂量3d pet脑图像，是该被试者的一张二维pet图像切片；是被试者的3d mri脑图像，是该被试者的一张二维mri图像切片，是每张切片的高度，是每张切片的宽度，是切片总数量。将输入的每位被试者的3d pet脑图像数据拆解为若干紧密堆叠的二维图像切片并输入基于unet的移位预测网络，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值。根据先前pet图像重建文献和实际临床实践，具体先将每一张pet图像切片放缩为256
×
256像素尺度，该尺度更适应于深度神经网络训练。移位预测网络内部所包含的unet网络架构为：9个卷积层，3个maxpooling层和3个反卷积层。
25.假定表示目标超低剂量pet图像切片，其中的h和w分别表示该图像切片放缩后的高度和宽度。假定将该目标超低剂量pet图像切片之前的和之后的r张切片视作参考（这些切片会和一起被输入移位预测网络），因此空间可变聚合模块的目的是将可变卷积应用到整个超低剂量pet序列化输入，从而强化目标超低剂量pet图像切片的质量。该移位预测网络的操作可以被表达为下式：
其中，表示衍生的特征图，表示卷积核的尺寸，表示第t个信道的卷积核。k表示空间坐标，表示常规采样移位；是一个二维笛卡尔坐标，专门用来指定可变移位。由于可变移位对于每一个空间坐标是能独立地进行优化的，因此使得可变卷积不仅可以从不同的切片中提取结构信息，还能从这些切片不同的空间位置中提取结构信息。当这些二维图像切片被输入到基于unet的移位预测网络后，所有可变移位将被同时计算出来。在该过程中，maxpooling和反卷积层被分别用来降采样和升采样。为了很好地维持特征尺寸，这些卷积层采用的步进为1，且均采用0填充。
26.空间可变形卷积模块：对移位预测网络模块执行完后多帧切片相对于目标切片的移位数值送入空间可变形卷积模块，空间可变形卷积模块将自适应地在切片内部的对应位置计算片间残差图。通过片间残差图的叠加，使目标切片进一步自适应地融合上临近多帧切片的丰富结构信息，从而预强化每一张超低剂量pet切片，形成强化后的超低剂量pet切片。
27.基于transformer的跨模态生成对抗网络模块包含基于双模态图像融合的卷积编码器模块和基于resnet生成器和transformer描述器的生成对抗网络模块；基于双模态图像融合的卷积编码器模块：在双模态图像融合卷积编码器模块的编码过程中，包含两种具有不同尺寸卷积核的卷积层，同时对同一模态采用相同大小的卷积核，分别对pet切片和mri切片进行编码。其中，对mri切片编码过程中每一层卷积核的大小均为3
×
3，连续三层；对pet图像编码过程中每一层卷积核的大小均为1
×
1，也是连续三层。经过三层编码后，强化后的每一张超低剂量pet切片与其相对应的mri切片进行整合，生成并输出融合了mri结构纹理信息的融合超低剂量pet切片，从而进一步丰富超低剂量pet图像所蕴含的结构模式。
28.基于resnet生成器和transformer描述器的生成对抗网络模块，包括：charbonnier损失函数模块：通过引入l1范数和一个常量，使得resnet生成器模块输出的合成的全剂量pet图像和采集的真实全剂量pet图像的像素尺度绝对值之差能被严格约束，控制合成全剂量pet图像代谢值的可变范围，同时在像素尺度保证合成结果的稳定性；charbonnier损失函数模块在执行过程中，由于每一张超低剂量pet切片和mri切片都被进行了良好的配准，因此charbonnier损失函数可以通过以下表达式对生成器中的隐变量进行约束：其中，表示生成器的charbonnier损失，表示一个小于的极小常量，表示期望，表示对应的真实全剂量pet切片，表示输入的融合超低剂量pet切片，表示经resnet生成器模块输出的合成的全剂量pet切片。
29.vgg16
‑
net感知损失函数模块：该模块通过在imagenet上预训练而得到。该模块的应用能进一步提高生成器的生成能力，获取更高质量的代谢纹理分布模式，从而使其产生能拟合出具有复杂几何学变化模式的图像，挖掘出更多全剂量pet图像中局部子区域间蕴
含的高阶语义特征，从而使得最终合成的全剂量pet图像更为可靠、真实。vgg16
‑
net感知损失函数模块的表达式如下：其中表示vgg16
‑
net网络模块运算。
30.基于9个block的resnet生成器模块：鉴于大量短程连接的引入使得resnet具有能够跳层连接的能力，因此它可以很好地克服模型随神经网络层数增加而导致学习能力退化的缺点。以resnetblock构造生成器模块，并选取了数量相对合理的block总量（9个），能在极大程度上保证生成器稳定且优异的生成能力。这9个resnetblock依次连接，每个resnetblock均包含2个卷积层、2次归一化操作和1个relu函数。resnet生成器模块的输入为基于双模态图像融合的卷积编码器模块输出的融合超低剂量pet切片，resnet生成器的输出为最终合成的全剂量pet图像。
31.基于transformer的描述器模块：将经典的、性能优异的patchgan描述器模块与具备注意力机制的transformer编码模块相结合，构造出基于transformer的描述器。该描述器能对同一张图像切片内部的所有图像块（patches）进行全尺度探索（具备相对于目前主流描述器而言更宽阔的视野），并能进一步通过多头注意力机制使得图像块间的关系得到注意力修正，这一模式使得本模型的描述器模块性能得到进一步强化，使其表现优于近年来常见的描述器架构。本系统所设计的patchgan描述器模块由4层卷积层所构成，transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
32.假定表示经过强化的目标超低剂量pet切片，表示目标超低剂量pet切片所对应的mri切片，它们将同时被输入到编码器中去。首先将送入三层卷积核大小为1
×
1的卷积层，同时将送入三层卷积核大小为3
×
3的卷积层，来达到同时捕获超低剂量pet图像切片代谢信息和对应mri图像切片结构纹理信息的目的，经重建层后达到双模态图像融合的目的。鉴于resnet在很多具有挑战性的计算机视觉任务中的让人印象深刻的表现，提出的生成器使用了9个基于resnet的block，从而使得超低剂量融合pet图像切片到全剂量pet图像切片的合成过程更加优异和顺畅。同时，提出将经典的、性能优异的patchgan描述器模块与具备注意力机制的transformer编码模块相结合而成的transformer的描述器模块，它能通过transformer编码器在全切片尺度高效学习图像块间的内部关联模式，从而进一步降低图像合成过程中的假阳性率。综上，将系统尺度的对抗损失函数定义为下式：其中x表示融合超低剂量pet切片，表示生成器输出的合成全剂量pet切片，y表示对应的真实全剂量pet图像切片，表示关于x和y分布的期望，以及分别表示基于transformer的描述器模块的两个判定条件。
33.如图2所示，本发明还提供了一种基于深度学习的超低剂量pet图像重建方法，该方法包括以下步骤：
（1）采集超低剂量pet图像和mri图像；所述超低剂量pet图像为注射剂量仅为常规全剂量pet图像所需剂量数额5%的18f
‑
fdg示踪剂注射后经pet
‑
mri扫描仪成像后的pet图像。
34.（2）同时对步骤（1）采集的超低剂量pet图像和mri图像进行配准，并将配准后的两个图像均标准化到mni标准脑模板空间，消除个体间由于局部脑形态学差异对这两个图像后续分析造成的潜在影响。
35.（3）将步骤（2）标准化后的超低剂量pet图像和mri图像均拆解为二维图像切片，对临近的二维图像切片间的结构信息做充分探索并预测出相对移位数值，通过可变卷积提取融合特征图，并强化所有超低剂量pet图像切片。具体步骤如下：（3.1）将输入的标准化后的pet图像和mri图像均拆解为若干紧密堆叠的二维图像切片，并将拆解后的所有pet图像输入到基于unet为骨架的移位预测网络，将每一张二维图像切片分别作为目标切片，通过卷积操作预测出所有临近多帧切片相对于目标切片的移位数值。
36.（3.2）通过空间可变卷积对步骤（3.1）执行完后多帧切片相对于目标切片的移位数值进行优化处理，根据移位数值的大小，自适应地在切片内部的对应位置计算片间残差图，通过片间残差图的叠加，使目标切片进一步自适应地融合临近多帧切片的结构信息，从而预强化每一张超低剂量pet切片，形成强化后的超低剂量pet切片。
37.（4）使用不同尺寸卷积核的卷积层，分别对pet切片和mri切片进行编码，使得经步骤（3）强化后的每一张超低剂量pet切片与相对应的mri切片整合，生成并输出融合了mri结构纹理信息的融合超低剂量pet切片，从而进一步丰富pet图像蕴含的结构模式。
38.（5）通过若干个resnet块的依次拼接而组成的resnet生成器，resnet生成器的输入为步骤（4）输出的融合超低剂量pet切片，resnet生成器的输出为最终合成的全剂量pet图像；resnet生成器生成过程中通过charbonnier损失函数将合成的全剂量pet图像和采集的真实全剂量pet图像的像素尺度绝对值进行约束，同时通过vgg16
‑
net感知损失函数保证合成的全剂量pet图像拥有高质量的代谢纹理分布模式。
39.（6）为了提高对步骤（5）中resnet生成器生成图像的判断能力，设计基于transformer的描述器对resnet生成器生成的每张图像切片进行基于融合了注意力得分的判别，所述基于transformer的描述器将patchgan描述器与具备注意力机制的transformer编码器拼接组成。transformer描述器能对同一张图像切片内部的所有图像块（patches）进行全尺度探索，并能进一步通过注意力机制使得图像块间的关系得到注意力修正；patchgan描述器由4层卷积层所构成，transformer编码器由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
40.在一个应用本实施例系统的具体案例中，如图3所示，首先将每个样本经过配准与标准化处理的超低剂量pet图像切片以序列化的形式送入一个基于unet为骨架的移位预测网络模块，计算出临近多帧切片相对于目标切片的移位数值。假设一个被试者全脑3d超低剂量pet图像此时送入本模块的一张超低剂量pet切片的编号为1（它为第1张，其前面为空，其后面为第2张），选定，则用第2张超低剂量pet图像对其进行强化；假设此时送入本模块的一张超低剂量pet切片的编号为，为最后1张超低剂量pet图像，则用切片的左右两张相邻切片来对其进行强化；假设此时送入本模块的一张超低剂量pet
切片的编号为（它为最后1张，其后面为空），则用第张图片对其进行强化。如图3所示，相邻切片的间隔选择可由来确定。
41.因此，基于移位数值和可变卷积，每一张目标切片通过叠加片间残差图的形式得到强化，构成预强化的超低剂量pet图像切片。之后，每一张强化后的超低剂量pet图像切片将和与其相匹配的mri图像切片同时被送入基于双模态图像融合的卷积编码器模块进行整合，生成融合超低剂量pet切片。最后，在训练过程中，每一张融合超低剂量pet图像切片和与其相对应的全剂量pet图像切片将被同时送入基于resnet生成器和transformer描述器的生成对抗网络进行训练，充分学习到超低剂量pet图像对应的高阶关系。在测试和验证过程中，该系统仅需要输入超低剂量pet图像，便可输出对应的高质量全剂量pet图像。在实际应用中，本系统生成的全剂量pet图像相对于真实全剂量pet图像的psnr均值为37.91，ssim为0.985，两个指标均为目前同类研究中最佳，且具备直接临床使用的价值。
42.在一个应用本实施例系统的具体案例中，如图4所示，基于transformer的描述器模块由经典的、性能优异的patchgan描述器模块与具备注意力机制的transformer编码模块相结合，且具体结合模式为输入与输出先后相互串联：先经过patchgan描述器模块生成30
×
30的图像块，再将图像块输入标准的transformer编码模块进行注意力得分融合。本系统所设计的patchgan描述器模块由4层卷积层所构成，transformer编码模块由2个标准化层、1个多头注意力机制层和1个线性层串联而成。
43.在一个应用本实施例系统的具体案例中，如图5所示，将通过本系统生成的全剂量pet图像与真实全剂量pet图像进行做差处理，并将结果放大至方便观察，可见差异极小，已难以通过肉眼进行简单区分。
44.本专利不局限于上述最佳实施方式。任何人在本专利的启示下都可以得出其他各种形式的基于深度学习的超低剂量pet图像重建系统及方法，凡依照本发明申请专利范围所做的均等变化与修饰，皆应属本专利的涵盖范围。