图像处理方法、图像处理装置和存储介质与流程

1.本公开的实施例涉及一种图像处理方法、图像处理装置和计算机可读存储介质。


背景技术：

2.图像重建在视频、遥感、医学及信号处理等领域均有十分重要的应用。例如，在不改变卫星图像探测系统的条件下，采集清晰度高的气象遥感图像更利于观测；磁共振成像能提供相比于计算机断层扫描更好的软组织对比度和安全性(例如，避免患者被核辐射等)，然而，缓慢的磁共振成像速度将降低患者的舒适性并导致高昂的成本；在银行、交通等监控系统中，往往需要获取高分辨率的图像，以提取重要的线索。


技术实现要素：

3.本公开至少一个实施例提供一种图像处理方法，包括：获取输入图像；利用图像重建网络对所述输入图像进行n次重建操作，以得到所述输入图像对应的重建图像，其中，n为大于等于1的正整数，所述图像重建网络包括编码子网络、解码子网络和连接子网络，所述编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，所述解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，所述连接子网络包括连接层，所述至少一个编码块中的一个编码块与所述至少一个解码块中的一个解码块通过所述连接层映射连接，其中，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出；利用所述解码子网络和所述连接子网络对所述第一特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。
4.例如，在本公开至少一个实施例提供的图像处理方法中，所述图像重建网络还包括瓶颈层，其中，在所述图像重建网络包括所述瓶颈层的情况下，每次重建操作包括：通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到所述第一特征图和所述至少一个编码块的输出；利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图；利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出。
5.例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层包括多个自注意力算子，利用所述瓶颈层对所述第一特征图进行处理，以得到第二特征图，包括：利用所述瓶颈层的多个自注意力算子对所述第一特征图进行表示学习，以得到所述第二特征图。
6.例如，在本公开至少一个实施例提供的图像处理方法中，所述瓶颈层的多个自注意力算子包括依次交替连接的基于窗口的自注意力算子和基于移动窗口的自注意力算子，所述瓶颈层中的基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1。
7.例如，在本公开至少一个实施例提供的图像处理方法中，当n为1，对于所述n次重
建操作，所述编码子网络的输入为所述输入图像，所述解码子网络的输出为所述重建图像，当n大于1，对所述n次重建操作中的第i次重建操作中所述解码子网络的输出进行数据拟合处理和数据修正处理，以得到所述n次重建操作中的第i 1次重建操作中所述编码子网络的输入，i为正整数且小于n，i为1时，所述第i次重建操作中所述编码子网络的输入为所述输入图像，i为n-1时，所述第i 1次重建操作中所述解码子网络的输出为所述重建图像。
8.例如，在本公开至少一个实施例提供的图像处理方法中，所述连接子网络包括至少一个连接层，所述至少一个编码块与所述至少一个解码块通过所述至少一个连接层一一对应映射连接，每个所述连接层用于将具有相同尺寸特征的编码块和解码块进行映射连接。
9.例如，在本公开至少一个实施例提供的图像处理方法中，所述解码子网络还包括线性投影层，所述至少一个编码块包括依次连接的多个编码块，所述至少一个解码块包括依次连接的多个解码块，所述连接子网络包括多个连接层，所述多个编码块与所述多个解码块通过所述多个连接层一一对应映射连接，每个所述连接层用于将所述连接层对应的编码块的输出和所述连接层对应的解码块的输出进行连接处理，所述连接层的输出作为所述连接层对应的解码块所连接的下一个解码块的输入或者所述连接层的输出作为所述线性投影层的输入。
10.例如，在本公开至少一个实施例提供的图像处理方法中，所述编码子网络还包括输出编码块，所述至少一个编码块包括输入编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图。
11.例如，在本公开至少一个实施例提供的图像处理方法中，所述输出编码块包括多个自注意力算子和补丁合并层，利用所述输出编码块对所述输入编码块的输出进行处理，以得到所述第一特征图，包括：通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图；通过所述输出编码块中的多个自注意力算子对所述第一编码特征图进行表示学习，以得到所述第一特征图。
12.例如，在本公开至少一个实施例提供的图像处理方法中，所述补丁合并层包括下采样层和第一线性层，所述下采样层用于执行所述下采样操作，所述第一线性层用于执行所述第一通道数调整操作；通过所述输出编码块中的补丁合并层对所述输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图，包括：通过所述下采样层对所述输入编码块的输出进行所述下采样操作，以得到所述下采样层的输出；通过所述第一线性层对所述下采样层的输出进行所述第一通道数调整操作，以得到所述第一编码特征图。
13.例如，在本公开至少一个实施例提供的图像处理方法中，所述第一编码特征图的维度和所述第一特征图的维度相同，所述第一编码特征图的尺寸和所述第一特征图的尺寸相同。
14.例如，在本公开至少一个实施例提供的图像处理方法中，所述至少一个编码块包括依次连接的输入编码块和至少一个中间编码块，每个中间编码块还包括补丁合并层，每个中间编码块用于利用所述中间编码块的补丁合并层对所述中间编码块的输入进行下采
样操作和第一通道数调整操作，以得到所述中间编码块的补丁合并层的输出；利用所述中间编码块中的多个自注意力算子对所述中间编码块的补丁合并层的输出进行表示学习，以得到所述中间编码块的输出。
15.例如，在本公开至少一个实施例提供的图像处理方法中，所述编码子网络还包括输出编码块，所述至少一个中间编码块包括第一中间编码块和第二中间编码块，通过所述编码子网络对所述编码子网络的输入进行特征提取处理，以得到第一特征图和所述至少一个编码块的输出，包括：通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出；利用所述第一中间编码块对所述输入编码块的输出进行处理，以得到所述第一中间编码块的输出；利用所述第二中间编码块对所述第一中间编码块的输出进行处理，以得到所述第二中间编码块的输出；利用所述输出编码块对所述第二中间编码块的输出进行处理，以得到所述第一特征图。
16.例如，在本公开至少一个实施例提供的图像处理方法中，所述输入编码块还包括线性嵌入层，通过所述输入编码块对所述编码子网络的输入进行处理，以得到所述输入编码块的输出，包括：通过所述输入编码块中的线性嵌入层对所述编码子网络的输入进行处理，以得到第二编码特征图；通过所述输入编码块中的多个自注意力算子对所述第二编码特征图进行表示学习，以得到所述输入编码块的输出。
17.例如，在本公开至少一个实施例提供的图像处理方法中，所述第二编码特征图的维度和所述输入编码块的输出的维度相同，所述第二编码特征图的尺寸和所述输入编码块的输出的尺寸相同。
18.例如，在本公开至少一个实施例提供的图像处理方法中，每个解码块还包括补丁扩展层，每个解码块用于利用所述解码块的补丁扩展层对所述解码块的输入进行上采样操作和第二通道数调整操作，以得到所述解码块的补丁合并层的输出；利用所述解码块中的多个自注意力算子对所述解码块的补丁合并层的输出进行表示学习，以得到所述解码块的输出。
19.例如，在本公开至少一个实施例提供的图像处理方法中，所述补丁扩展层包括上采样层和第二线性层，所述上采样层用于执行所述上采样操作，所述第二线性层用于执行所述第二通道数调整操作。
20.例如，在本公开至少一个实施例提供的图像处理方法中，所述解码子网络还包括线性投影层，所述至少一个解码块包括输入解码块，所述至少一个连接层包括第一连接层，利用所述解码子网络和所述连接子网络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出，包括：通过所述输入解码块对所述第二特征图进行处理，以得到所述输入解码块的输出；通过所述第一连接层将与所述第一连接层对应的编码块的输出和所述输入解码块的输出进行连接处理，以得到所述第一连接层的输出，通过所述线性投影层对所述第一连接层的输出进行投影映射操作，以得到所述解码子网络的输出。
21.例如，在本公开至少一个实施例提供的图像处理方法中，所述解码子网络还包括线性投影层，所述至少一个解码块包括依次连接的输入解码块和至少一个中间解码块，所述至少一个中间解码块包括依次连接的第一中间解码块和第二中间解码块，所述至少一个连接层包括第一连接层、第二连接层和第三连接层，利用所述解码子网络和所述连接子网
络对所述第二特征图和所述至少一个编码块的输出进行处理，以得到所述解码子网络的输出，包括：通过所述输入解码块对所述第二特征图进行处理，以得到所述输入解码块的输出；通过所述第一连接层将与所述第一连接层对应的编码块的输出和所述输入解码块的输出进行连接处理，以得到所述第一连接层的输出；通过所述第一中间解码块对所述第一连接层的输出进行处理，以得到所述第一中间解码块的输出；通过所述第二连接层将与所述第二连接层对应的编码块的输出和所述第一中间解码块的输出进行连接处理，以得到所述第二连接层的输出；通过所述第二中间解码块对所述第二连接层的输出进行处理，以得到所述第二中间解码块的输出；通过所述第三连接层将与所述第三连接层对应的编码块的输出和所述第二中间解码块的输出进行连接处理，以得到所述第三连接层的输出；通过所述线性投影层对所述第三连接层的输出进行投影映射操作，以得到所述解码子网络的输出。
22.例如，在本公开至少一个实施例提供的图像处理方法中，所述至少一个编码块和所述至少一个解码块的每一个中的多个自注意力算子包括至少一个对称窗口的自注意力算子块，每个对称窗口的自注意力算子块包括基于窗口的自注意力算子和基于移动窗口的自注意力算子，所述基于窗口的自注意力算子的输出作为所述基于移动窗口的自注意力算子的输入。
23.例如，在本公开至少一个实施例提供的图像处理方法中，获取输入图像包括：确定采样数据，其中，所述采样数据为进行欠采样得到的数据；对所述采样数据进行初始化处理以将所述采样数据从频域转到对应的空间域，以得到中间输入图像；对所述中间输入图像进行处理，以得到所述输入图像。
24.例如，在本公开至少一个实施例提供的图像处理方法中，对所述中间输入图像进行处理，以得到所述输入图像，包括：对所述中间输入图像进行数据拟合处理和数据修正处理，以得到所述输入图像。
25.例如，在本公开至少一个实施例提供的图像处理方法中，所述输入图像的尺寸和所述重建图像的尺寸相同，所述输入图像的通道数和所述重建图像的通道数相同。
26.例如，在本公开至少一个实施例提供的图像处理方法中，在获取所述输入图像前，所述图像处理方法还包括：在训练阶段，利用样本图像和所述样本图像对应的样本重建图像训练所述图像重建网络，其中，在所述训练阶段，所述图像重建网络对应的损失函数包括平均绝对误差损失函数和结构相似性损失函数。
27.例如，在本公开至少一个实施例提供的图像处理方法中，所述图像重建网络对应的损失函数表示为：
28.l
mix
＝λ*l
ssim
(1-λ)*l
mae
29.其中，l
mix
表示所述图像重建网络对应的损失函数，l
ssim
表示所述结构相似性损失函数，l
mae
表示所述平均绝对误差损失函数，λ为常数。
30.本公开至少一个实施例还提供一种图像处理装置，包括存储器和处理器。存储器存储有适于由所述处理器运行的计算机可执行指令，所述计算机可执行指令被所述处理器运行时执行根据本公开任一实施例所述的图像处理方法中的一个或多个步骤。
31.本公开至少一个实施例还提供一种计算机可读存储介质，非瞬时性地存储计算机可执行指令，所述计算机可执行指令被计算机运行时执行根据本公开任一实施例所述的图像处理方法中的一个或多个步骤。
附图说明
32.为了更清楚地说明本公开实施例的技术方案，下面将对实施例的附图作简单地介绍，显而易见地，下面描述中的附图仅仅涉及本公开的一些实施例，而非对本公开的限制。
33.图1为本公开至少一个实施例提供的一种图像处理方法的示意性流程图；
34.图2为本公开至少一个实施例提供的一种欠采样的过程示意图；
35.图3为本公开至少一个实施例提供的一种图像处理方法的整体流程示意图；
36.图4a为本公开至少一个实施例提供的编码块或解码块中的多个自注意力算子的一种结构示意图；
37.图4b为本公开至少一个实施例提供的瓶颈层中的多个自注意力算子的一种结构示意图；
38.图5为本公开至少一个实施例提供的一种图像重建网络的示意性结构图；
39.图6为本公开至少一个实施例提供的另一种图像重建网络的示意性结构图；
40.图7为本公开至少一个实施例提供的一种补丁合并层的操作示意图；
41.图8为本公开至少一个实施例提供的另一种图像重建网络的结构示意图；
42.图9为本公开至少一个实施例提供的一种图像处理装置的示意性框图；
43.图10为本公开至少一个实施例提供的一种计算机可读存储介质的示意图。
具体实施方式
44.为了使得本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例的附图，对本公开实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。基于所描述的本公开的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
45.除非另外定义，本公开使用的技术术语或者科学术语应当为本公开所属领域内具有一般技能的人士所理解的通常意义。本公开中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“包括”或者“包含”等类似的词语意指出现该词前面的元件或者物件涵盖出现在该词后面列举的元件或者物件及其等同，而不排除其他元件或者物件。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
46.为了保持本公开实施例的以下说明清楚且简明，本公开省略了部分已知功能和已知部件的详细说明。
47.磁共振成像(mri，magnetic resonance imaging)的模型如下面的公式(1)所示，
48.f＝am ε
ꢀꢀꢀ
(1)
49.在公式(1)中，a:cn→cm
是带有欠采样的离散傅里叶变换(即前向成像模型)，f∈cm是欠采样的k空间(k空间是寻常空间在傅里叶转换下的对偶空间)观测数据，m∈cn是待重建的磁共振图像，ε是加性噪声，ε是由成像过程造成的系统噪声(高斯噪声)。从欠采样的观测数据反演出高质量重建图像本质上是解决一个欠定的反演问题，所以要适当选用有关磁
共振图像的先验信息作为解决方案。然而，基于使用先验信息的正则化和压缩感知(compressed sensing)的传统方法并不适合医学图像，原因是：该方法生成的图像的细节模糊，但磁共振图像中的细节特征比整体特征更重要。目前，基于深度学习的反演方法在解决欠定问题方面表现地十分出色，可以克服现有基于数学模型方法的局限性，这是由于训练数据和先验知识可以随着训练时间的增长进行推移和积累。基于迭代展开深度学习方法大多源于具有收敛性或渐近收敛保证的数学模型算法(例如，近端梯度算子、梯度下降等)来提供更多关于网络拓扑和性能之间关系的信息。基于展开的重建方法已经从仅学习正则化参数逐渐演变为学习压缩感知重建公式中的可学习算子和函数。基于非迭代展开的深度学习方法起初依赖标准网络学习欠采样的k空间数据或零填充图像与重建图像之间的特征映射。
50.目前，基于深度学习的图像重建方法大多依赖于卷积神经网络(cnn)。基于cnn的迭代展开深度学习方法在捕获远程依赖关系方面受到固有局部性的限制，并且容易对图像中的细节进行平滑处理，保持细节能力较差；基于cnn的非迭代展开的深度学习方法采用端到端的网络学习低分辨率图像与重建图像之间的特征映射，但是这此类网络犹如黑匣子，具有可解释性低的缺点。
51.本公开涉及图像处理(即图像重建)、基于深度学习的图像反演的技术领域，本公开至少一个实施例提供一种图像处理方法，该图像处理方法包括：获取输入图像；利用图像重建网络对输入图像进行n次重建操作，以得到输入图像对应的重建图像。n为大于等于1的正整数。图像重建网络包括编码子网络、解码子网络和连接子网络，编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子，连接子网络包括连接层，至少一个编码块中的一个编码块与至少一个解码块中的一个解码块通过连接层映射连接。每次重建操作包括：通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出；利用解码子网络和连接子网络对第一特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出。
52.本公开的实施例提供的图像处理方法是一种基于可学习迭代注意力网络的图像重建方法，可以从欠采样的观测数据反演出高质量的重建图像。基于本公开的实施例提供的图像处理方法，重建图像的质量和清晰度可以被提高，使得重建图像中的细节特征得以保留，在减少网络训练时间的条件下，获得更高质量的重建图像，并且可以加速重建图像的生成，提高处理速度，降低运算时间，具有更好、更广泛的应用前景。
53.本公开至少一个实施例还提供一种图像处理装置和计算机可读存储介质。
54.本公开实施例提供的图像处理方法可应用于本公开实施例提供的图像处理装置，该图像处理装置可被配置于电子设备上。例如，在一些实施例中，电子设备可以为医疗类型的电子设备。
55.下面对本公开的实施例进行详细说明，但是本公开并不限于这些具体的实施例。
56.图1为本公开至少一个实施例提供的一种图像处理方法的示意性流程图。
57.例如，在本公开实施例提供的图像处理方法中，图像重建网络可以为神经网络，图像重建网络可以包括编码子网络、解码子网络和连接子网络。编码子网络用于提取特征图(feature map)，解码子网络用于重建并生成重建图像(例如，mri图像等)。
58.例如，连接子网络用于将编码子网络和解码子网络进行连接，即连接浅层特征和深层特征以进行补偿，从而减少压缩和下采样导致的空间信息丢失。此处，所称的连接，例如可以是skip connection(即合并concatenate操作)，即通过内存映射的方式将编码子网络和解码子网络相连接的层中具有相同大小的特征映射连接(使得特征对应的向量合并，特征所在层的通道数加倍)。连接子网络包括连接层，连接层用于融合来自编码子网络的下采样特征和解码子网络的上采样特征的多尺度特征。
59.例如，编码子网络包括至少一个编码块，每个编码块包括多个自注意力算子，解码子网络包括至少一个解码块，每个解码块包括多个自注意力算子。至少一个编码块中的一个编码块与至少一个解码块中的一个解码块通过连接层映射连接，例如，在一些实施例中，连接子网络包括至少一个连接层，至少一个编码块与至少一个解码块通过至少一个连接层一一对应映射连接，也就是说，每个编码块通过一个连接层与相应的解码块进行映射连接。连接层所连接的编码块的输出的尺寸和该连接层所连接的解码块的输出的尺寸相同，连接层所连接的编码块的输出的维度和该连接层所连接的解码块的输出的维度也相同。也就是说，每个连接层用于将具有相同尺寸和维度的特征图的编码块和解码块进行映射连接。
60.如图1所示，本公开实施例提供的图像处理方法可以包括，但不限于，以下步骤：
61.步骤s10：获取输入图像；
62.步骤s20：利用图像重建网络对输入图像进行n次重建操作，以得到输入图像对应的重建图像。
63.例如，在步骤10中，输入图像可以为灰度图像，也可以为彩色图像。
64.例如，输入图像的尺寸可以为256(像素)*256(像素)。但不限于此，输入图像的尺寸还可以为512*512等，本公开实施例对此不作限制。在本公开下面的描述中，以输入图像的尺寸为256*256为例进行详细说明。
65.例如，在一些实施例中，步骤s10可以包括：确定采样数据；对采样数据进行初始化处理以将采样数据从频域转到对应的空间域，以得到中间输入图像；对中间输入图像进行处理，以得到输入图像。
66.例如，采样数据为进行欠采样得到的数据。在本公开的实施例中，可以直接采用欠采样的数据，从而可以减少采样过程的时间，提高了数据采集的速度。在采样数据为磁共振数据时，可以加速磁共振成像的速度，提升患者的舒适性，降低成本。
67.例如，在步骤s10中，采样数据可以为各种类型的数据，从而输入图像可以为各种类型的图像。例如，采样数据可以为医学类型的数据，此时，输入图像为医学图像。按照获取医学类型的数据的设备划分，医学类型的数据可以包括超声数据、x射线计算机断层摄影(computed tomography，ct)数据、磁共振数据(即核磁共振数据)、数字血管剪影(digital subtraction angiography，dsa)数据和正电子断层摄影(positron emission computed tomography pet)数据等。按照医学类型的数据的内容划分，医学类型的数据以包括脑组织核磁共振数据、脊髓核磁共振数据、眼底数据、血管数据、胰腺ct数据和肺部ct数据等。例如，采样数据也可以为监控数据，此时，输入图像为监控图像，例如，道路的监控图像、银行的监控图像等；例如，采样数据也可以为气象遥感数据，此时，输入图像也可以为气象遥感图像等。需要说明的是，输入图像也可以为人物图像、动植物图像或风景图像等，本公开的实施例对输入图像的具体类型不作限制。
68.例如，采样数据可以通过采集装置获取。当采样数据为医学类型的数据时，采集装置例如可以包括超声设备、x线设备、核磁共振设备、核医学设备、医用光学设备以及热成像设备等，本公开在此不作限定。
69.例如，采样数据可以是采集装置直接采集到的原始采样数据，也可以是对原始采样数据进行预处理之后获得的数据。例如，为了避免原始采样数据的数据质量、数据不均衡等对于图像重建精度的影响，在步骤s10中，本公开实施例提供的图像处理方法还可以包括对原始采样数据进行预处理以得到采样数据。预处理可以消除原始采样数据中的无关信息或噪声信息，以得到采样数据，从而便于更好地对输入图像进行重建操作。预处理例如可以包括对原始采样数据进行扩充(data augment)和缩放。扩充包括通过随机裁剪、旋转、翻转、偏斜、调整亮度、对比度等方式扩充原始采样数据的数据。缩放包括对原始采样数据进行等比例缩放并剪裁为预设尺寸(例如256*256)，以便于后续进行图像重建操作。需要说明的是，预处理还可以包括伽玛(gamma)校正、增强或降噪滤波等处理。
70.例如，在一些实施例中，在步骤s10中，确定采样数据，包括：获取测量数据，其中，测量数据为全采样数据；对测量数据进行欠采样，以得到采样数据。例如，也可以进行全采样以得到测量数据，然后对全采样的测量数据进行欠采样，以得到采样数据，此时可以将基于采样数据重建得到的重建图像与基于测量数据确定的图像进行比对，从而可以确定重建得到的重建图像的质量。例如，测量数据可以为预先已经采样得到的数据。
71.例如，采样数据可以为频域数据，从而，上述欠采样表示频域欠采样。图2示出了欠采样的过程示意图。如图2所示，测量数据101为k空间数据，测量数据101为进行全采样得到的数据，例如，测量数据101的尺寸为256*256，然后，将随机掩码应用于测量数据101以对测量数据101进行频域欠采样，以得到采样数据102，采样数据102的尺寸也为256*256。随机掩码可以采用random x*零填充的方式，random x*零填充的方式表示对列进行欠采样，并对欠采样之后剩余的部分进行零填充(像素值为0)，若x为4，即对测量数据101中的25％的列进行随机采样，并对测量数据101中剩余的75％的列(即除了采样得到的25％的列之外的列)进行零填充(像素值为0，黑色)。由于本公开的实施例只需要对采样数据进行处理，从而可以进行欠采样，即仅仅采样获取采样数据，若x为4，则在采样速度上可以加速4倍。需要说明的是，x的具体值可以根据实际情况设置，x也可以为2、6、8等。
72.例如，在一些实施例中，在步骤s10中，初始化处理可以包括逆傅里叶变换，从而将采样数据从频域转到对应的空间域，以得到中间输入图像。如图2所示，对采样数据102(频域)进行逆傅里叶变换以得到中间输入图像103(空间域)。
73.图3为本公开一些实施例提供的一种图像处理方法的整体流程示意图。
74.图3示出了四个采样数据，分别为采样数据sd1、采样数据sd2、采样数据sd3和采样数据sd4，对采样数据sd1进行初始化处理(即逆傅里叶变换a
*
)以得到中间输入图像mp1，对采样数据sd2进行初始化处理以得到中间输入图像mp2，对采样数据sd3进行初始化处理以得到中间输入图像mp3，对采样数据sd4进行初始化处理以得到中间输入图像mp4。
75.例如，在一些实施例中，在步骤s10中，对中间输入图像进行处理，以得到输入图像，包括：对中间输入图像进行数据拟合处理和数据修正处理，以得到输入图像。
76.例如，在一些实施例中，在步骤s20中，输入图像的尺寸和重建图像的尺寸相同，输入图像的通道数和重建图像的通道数相同。
77.例如，在步骤s20中，每次重建操作包括：通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出；利用解码子网络和连接子网络对第一特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出。
78.例如，在步骤s20中，n为大于等于1的正整数。例如，当n为1，表示仅对输入图像进行一次重建操作，以得到重建图像，此时，对于n次重建操作(即第一次重建操作)，编码子网络的输入为输入图像，解码子网络的输出为重建图像。例如，当n大于1时，表示对输入图像迭代进行多次重建操作，以得到重建图像，此时，对n次重建操作中的第i次重建操作中解码子网络的输出进行数据拟合处理和数据修正处理，以得到n次重建操作中的第i 1次重建操作中编码子网络的输入，i为正整数且小于n，i为1时，第i次重建操作(即第一次重建操作)中编码子网络的输入为输入图像，i为n-1时，第i 1次重建操作(即第n次重建操作)中解码子网络的输出为重建图像。
79.例如，如图3所示，当n大于1时，在第一次重建操作中，将中间输入图像mp1～mp4中的任一中间输入图像作为当前中间输入图像m0，当前中间输入图像m0进行数据拟合处理(i-ηa
*
a)和数据修正处理(ηa
*
f)，然后将数据拟合处理的结果和数据修正处理的结果进行求和处理，即将数据拟合处理的结果和数据修正处理的结果相加，从而得到输入图像，该输入图像可以为在第一次重建操作中该图像重建网络的输入；然后，利用图像重建网络对该输入图像进行重建操作，以得到重建图像m1，该重建图像m1为在第一次重建操作中该图像重建网络的输出。当需要进行多次迭代处理，则对该重建图像m1进行第二次重建操作，在该第二次重建操作中，首先，对该重建图像m1分别进行数据拟合处理(i-ηa
*
a)和数据修正处理(ηa
*
f)，以得到该重建图像m1的拟合处理结果和该重建图像m1的修正处理结果，将该重建图像m1的拟合处理结果和该重建图像m1的修正处理结果进行求和处理，以得到在第二次重建操作中该图像重建网络的输入，然后，利用图像重建网络对该图像重建网络的输入(即该重建图像m1的拟合处理结果和该重建图像m1的修正处理结果进行求和处理得到的结果)进行重建操作，以得到第二次重建操作对应的重建图像。依次类推，最终迭代n次，将第n次重建操作对应的重建图像mn作为最终的重建结果。例如，如图3所示，对中间输入图像mp1进行n次迭代重建操作，得到中间输入图像mp1对应的重建图像rp1；对中间输入图像mp2进行n次迭代重建操作，得到中间输入图像mp2对应的重建图像rp2；对中间输入图像mp3进行n次迭代重建操作，得到中间输入图像mp3对应的重建图像rp3；对中间输入图像mp4进行n次迭代重建操作，得到中间输入图像mp4对应的重建图像rp4。
80.例如，在一些实施例中，在图像重建网络中，每个编码块(包括输出编码块，后续描述)中的多个自注意力算子包括至少一个对称窗口的自注意力算子块，每个对称窗口的自注意力算子块包括基于窗口的自注意力算子和基于移动窗口的自注意力算子，基于窗口的自注意力算子的输出作为基于移动窗口的自注意力算子的输入。类似地，每个解码块中的多个自注意力算子包括至少一个对称窗口的自注意力算子块，每个对称窗口的自注意力算子块包括基于窗口的自注意力算子和基于移动窗口的自注意力算子，基于窗口的自注意力算子的输出作为基于移动窗口的自注意力算子的输入。需要说明的是，在本公开的描述中，以每个编码块中的多个自注意力算子包括一个对称窗口的自注意力算子块，每个解码块中的多个自注意力算子包括一个对称窗口的自注意力算子块为例，但本公开不限于此。
81.例如，不同编码块中的基于窗口的自注意力算子的参数可以相同，也可以不相同，
不同编码块中的基于移动窗口的自注意力算子的参数可以相同，也可以不相同；不同解码块中的基于窗口的自注意力算子的参数可以相同，也可以不相同，不同解码块中的基于移动窗口的自注意力算子的参数可以相同，也可以不相同。
82.图4a为本公开一些实施例提供的编码块或解码块中的多个自注意力算子的一种结构示意图。以编码块中的多个自注意力算子为例。
83.例如，在一些实施例中，每个编码块中的多个自注意力算子为对称窗口的自注意力算子块(w-msa和sw-msa成对出现)，如图4a所示，编码块中的多个自注意力算子包括基于窗口的自注意力算子w0和基于移动窗口的自注意力算子sw0，基于窗口的自注意力算子w0的输出作为基于移动窗口的自注意力算子sw0的输入。基于窗口的自注意力算子w0包括多层感知机器mlp(multilayer perceptron)、两个层归一化层ln(layernorm)、swin非移位窗口自注意力算子w-msa(window based multi-head self-attention)。基于移动窗口的自注意力算子sw0包括多层感知机器mlp、两个层归一化层ln、swin移位窗口自注意力算子sw-msa(shifted window based multi-head self-attention)。
84.需要说明的是，解码块中的多个自注意力算子的结构与编码块中的多个自注意力算子的结构相同，重复之处不再赘述。
85.图4b为本公开一些实施例提供的瓶颈层中的多个自注意力算子的一种结构示意图。
86.例如，在一些实施例中，图像重建网络还包括瓶颈层，瓶颈层用于降低网络的深度并最小化模型参数的数量，利用瓶颈层，可以在高级语义上提取特征，以便于后续解码子网络进行图像重建。在瓶颈层中，特征维度(即通道数)和分辨率(即图像尺寸)保持不变。
87.在图像重建网络包括瓶颈层的情况下，每次重建操作包括：通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出；利用瓶颈层对第一特征图进行处理，以得到第二特征图；利用解码子网络和连接子网络对第二特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出。需要说明的是，在本公开的描述中，除非特别说明，否则以图像重建网络包括瓶颈层的情况为例进行说明。
88.例如，在一些实施例中，瓶颈层包括多个自注意力算子。瓶颈层中的多个自注意力算子的参数可以相同，也可以不相同。
89.例如，在一些实施例中，瓶颈层中的多个自注意力算子为非对称窗口的自注意力算子块(w-msa和sw-msa非成对出现)，例如，瓶颈层的多个自注意力算子包括依次交替连接的基于窗口的自注意力算子和基于移动窗口的自注意力算子，瓶颈层中的基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1，瓶颈层的多个自注意力算子包括依次交替连接的多个基于窗口的自注意力算子和至少一个基于移动窗口的自注意力算子。在瓶颈层中，除了最后一个基于窗口的自注意力算子，每个基于窗口的自注意力算子的输出作为一个基于移动窗口的自注意力算子的输入，每个基于移动窗口的自注意力算子的输出作为一个基于窗口的自注意力算子的输入。最后一个基于窗口的自注意力算子的输出作为瓶颈层的输出。
90.需要说明的是，在本公开的实施例中，非对称窗口的自注意力算子块可以包括一个基于窗口的自注意力算子和至少一个对称窗口的自注意力算子块，从而在该非对称窗口的自注意力算子块中，基于窗口的自注意力算子和基于移动窗口的自注意力算子不是成对
出现的，且基于窗口的自注意力算子的数量比基于移动窗口的自注意力算子的数量多1。
91.例如，如图4b所示，在一些实施例中，瓶颈层中的多个自注意力算子包括两个基于窗口的自注意力算子(即基于窗口的自注意力算子w1和基于窗口的自注意力算子w2)和一个基于移动窗口的自注意力算子sw1，第一特征图作为基于窗口的自注意力算子w1的输入，基于窗口的自注意力算子w1的输出作为基于移动窗口的自注意力算子sw1的输入，基于移动窗口的自注意力算子sw1的输出作为基于窗口的自注意力算子w2的输入，基于窗口的自注意力算子w2的输出作为第二特征图。
92.需要说明的是，本公开的瓶颈层不限于此，在另一些实施例中，瓶颈层中的多个自注意力算子包括三个基于窗口的自注意力算子和两个基于移动窗口的自注意力算子，第一特征图作为三个基于窗口的自注意力算子中的第一个基于窗口的自注意力算子的输入，第一个基于窗口的自注意力算子的输出作为两个基于移动窗口的自注意力算子中的第一个基于移动窗口的自注意力算子的输入，第一个基于移动窗口的自注意力算子的输出作为三个基于窗口的自注意力算子中的第二个基于窗口的自注意力算子的输入，第二个基于窗口的自注意力算子的输出作为两个基于移动窗口的自注意力算子中的第二个基于移动窗口的自注意力算子的输入，第二个基于移动窗口的自注意力算子的输出作为三个基于窗口的自注意力算子中的第三个基于窗口的自注意力算子的输入，第三个基于窗口的自注意力算子的输出作为第二特征图。
93.如图4b所示，基于窗口的自注意力算子w1和基于窗口的自注意力算子w2结构相同，以基于窗口的自注意力算子w1为例，基于窗口的自注意力算子w1包括多层感知机器mlp、两个层归一化层ln、swin非移位窗口自注意力算子w-msa。基于移动窗口的自注意力算子sw1包括多层感知机器mlp、两个层归一化层ln、swin移位窗口自注意力算子sw-msa。
94.需要说明的是，在图4a和图4b中，符号表示残差连接。
95.图5为本公开的一些实施例提供的一种图像重建网络的示意性结构图，图6为本公开的一些实施例提供的另一种图像重建网络的示意性结构图。
96.例如，如图5和图6所示，在一些实施例中，输入图像100a的尺寸为h*w，重建图像200a的尺寸也为h*w。例如，输入图像100a的通道数和重建图像200a的通道数均相同，例如，当输入图像100a和重建图像200a为灰度图像时，输入图像100a的通道数和重建图像200a的通道数均为1；当输入图像100a和重建图像200a为彩色图像时，输入图像100a的通道数(即维度)和重建图像200a的通道数均为3(即r、g、b三个颜色通道)。
97.例如，在一些实施例中，如图5和图6所示，图像重建网络可以包括编码子网络10a、解码子网络20a和连接子网络30a。编码子网络10a用于提取输入图像100a的特征信息，解码子网络20a用于根据编码子网络10a的输出进行图像重建。在通过图像重建网络进行n次重建操作之后，解码子网络20a输出对应的重建图像200a。
98.例如，如图5和图6所示，编码子网络10a可以包括至少一个编码块和输出编码块102a，编码子网络10a中的至少一个编码块包括输入编码块101a。输入编码块101a包括多个自注意力算子ma和线性嵌入层(linear embedding)ea，输出编码块102a包括多个自注意力算子ma和补丁合并层da。
99.例如，线性嵌入层ea用于将编码子网络10a的输入的维度(即通道数)映射到隐藏空间的任意维度c11，此过程中，线性嵌入层ea将编码子网络10a的输入的维度扩大，具体扩
大的倍数可以根据实际情况进行设置。
100.例如，输出编码块102a中的补丁合并层da包括下采样层和第一线性层，下采样层用于执行下采样操作，第一线性层用于执行第一通道数调整操作。例如，下采样操作中的下采样因子可以为2*2，即将图像的宽和高均缩小2倍，即下采样得到的图像的宽变为原始的图像的宽的1/2，下采样得到的图像的高变为原始的图像的高的1/2。
101.图7为本公开一些实施例提供的一种补丁合并层的操作示意图。图7中的每个矩形格表示一个像素p。
102.例如，在一些实施例中，如图7所示，通过补丁合并层中的下采样层对某个图像(b,h,w,c)进行下采样操作，b为1，h为8，w为8，c(即通道数)为1，即该图像(b,h,w,c)的尺寸为8*8，该图像(b,h,w,c)的通道数为1。在该下采样操作中，下采样的尺寸可以为2，则在该图像(b,h,w,c)的行方向x和列方向y上，以间隔为2个像素来选取像素，从而可以得到四个下采样图像，该四个下采样图像分别为下采样图像x0、下采样图像x1、下采样图像x2、下采样图像x3。每个下采样图像的通道数均为1，然后将四个下采样图像x0～x3按照维度方向进行拼接，那么，拼接后的图像的通道数则变为图像(b,h,w,c)的4倍，即拼接后的图像的通道数为4。最后，再通过补丁合并层中的第一线性层(全连接层)将拼接后的图像的通道数调整为图像(b,h,w,c)的2倍，最终得到补丁合并层的输出，该补丁合并层的输出的通道数为2，补丁合并层的输出的尺寸为4*4。此时，第一通道数调整操作表示将降低通道数。
103.需要说明的是，本公开对于补丁合并层的具体结构不作限制，只要其能够实现相应的功能即可。在补丁合并层中，下采样操作也可以用重排(rearrange)的方式实现，此时，首先，可以采用一个线性层将图像的特征维度(通道数c)扩大8倍，再经过rearrange层将通道数调整为原始图像的2倍，从而实现补丁合并层的功能，此时，第一通道数调整操作表示将增加通道数。下采样操作也可以用池化(pooling)实现。本公开的实施例不对下采样操作和第一通道数调整操作的具体实现方式进行限制。
104.例如，在一些实施例中，在每次重建操作中，通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出，包括：通过输入编码块对编码子网络的输入进行处理，以得到输入编码块的输出；利用输出编码块对输入编码块的输出进行处理，以得到第一特征图。例如，至少一个编码块的输出包括输入编码块的输出。
105.例如，在每次重建操作中，利用输出编码块对输入编码块的输出进行处理，以得到第一特征图，包括：通过输出编码块中的补丁合并层对输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图；通过输出编码块中的多个自注意力算子对第一编码特征图进行表示学习，以得到第一特征图。
106.例如，在一些实施例中，通过输出编码块中的补丁合并层对输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一编码特征图，包括：通过输出编码块中的补丁合并层中的下采样层对输入编码块的输出进行下采样操作，以得到输出编码块中的补丁合并层中的下采样层的输出；通过输出编码块中的补丁合并层中的第一线性层对输出编码块中的补丁合并层中的下采样层的输出进行第一通道数调整操作，以得到第一编码特征图。
107.例如，如图5和图6所示，输出编码块102a中的补丁合并层da对输入编码块101a的输出f13进行下采样操作和第一通道数调整操作，以得到第一编码特征图f13，该第一编码
特征图f13为补丁合并层da的输出，输出编码块102a中的多个自注意力算子ma对第一编码特征图f13进行表示学习，以得到第一特征图f14，该第一特征图f14为编码子网络10a的输出。
108.例如，第一编码特征图f13的尺寸和第一特征图f14的尺寸相同，例如，均为h/8*w/8。第一编码特征图f13的维度和第一特征图f14的维度相同，例如，均为c12。
109.例如，在每次重建操作中，通过输入编码块对编码子网络的输入进行处理，以得到输入编码块的输出，包括：通过输入编码块中的线性嵌入层对编码子网络的输入进行处理，以得到第二编码特征图；通过输入编码块中的多个自注意力算子对第二编码特征图进行表示学习，以得到输入编码块的输出。
110.例如，如图5和图6所示，输入编码块101a中的线性嵌入层ea对编码子网络10a的输入(例如，输入图像100a)进行处理(例如，增加输入图像100a的通道数)，以得到第二编码特征图f11，该第二编码特征图f11即为线性嵌入层ea的输出，输入编码块101a中的多个自注意力算子ma对第二编码特征图f11进行表示学习，以得到输入编码块101a的输出f12，输入编码块101a的输出f12为特征图。
111.例如，第二编码特征图f11的尺寸和输入编码块101a的输出f12的尺寸相同，例如，均为h/4*w/4。第二编码特征图f11的维度和输入编码块的输出f12的维度相同，例如，均为c11。
112.例如，输入编码块101a的输出f12的尺寸大于第一编码特征图f13的尺寸相同。输入编码块101a的输出f12的维度小于第一编码特征图f13的维度，也就是说，c11小于c12。
113.例如，每个解码块还包括补丁扩展层，每个解码块用于利用解码块的补丁扩展层对解码块的输入进行上采样操作和第二通道数调整操作，以得到解码块的补丁合并层的输出；利用解码块中的多个自注意力算子对解码块的补丁合并层的输出进行表示学习，以得到解码块的输出。
114.例如，在一些实施例中，补丁扩展层包括上采样层和第二线性层，上采样层用于执行上采样操作，第二线性层用于执行第二通道数调整操作。
115.例如，在一些实施中，补丁扩展层中的上采样层可以采用双线性插值、三次插值或pixelshuffle的方式实现上采样操作。当采用双线性插值/三次插值的方式时，补丁扩展层中的上采样层可以将当前特征图重塑为更高分辨率的采样后特征图(2倍上采样)，相应地，补丁扩展层中的第二线性层将采样后特征图的通道数减少为当前特征图的通道数的一半。当采用pixelshuffle的方式时，补丁扩展层中的上采样层可以将当前特征图重塑为更高分辨率的采样后特征图(2倍上采样),同时采样后特征图的通道数减少为当前特征图的通道数四分之一，相应地，补丁扩展层中的第二线性层相应地将采样后特征图的通道数扩充到当前特征图的通道数二分之一。
116.例如，上采样操作中的上采样因子可以为2*2，即将图像的宽和高均扩大2倍，即上采样得到的图像的高变为原始的图像的宽的2倍，上采样得到的图像的高变为原始的图像的高的2倍。
117.需要说明的是，本公开对于补丁扩展层的具体结构不作限制，只要其能够实现相应的功能即可。本公开的实施例也不对上采样操作和第二通道数调整操作的具体实现方式进行限制。
118.例如，如图5所示，解码子网络20a和连接子网络30a对第一特征图f14和输入编码块101a的输出f12进行处理，以得到解码子网络20a的输出。
119.例如，如图5和图6所示，解码子网络20a中的至少一个解码块包括输入解码块103a，输入解码块103a包括补丁扩展层ua和多个自注意力算子mb。连接子网络30a包括一个连接层，即第一连接层301a。解码子网络20a还包括线性投影层lp，线性投影层lp用于将第一连接层301a的输出进行投影映射操作，以得到解码子网络20a的输出。
120.例如，在图5所示的示例中，在每次重建操作中，利用解码子网络和连接子网络对第一特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出，包括：通过输入解码块对第一特征图进行处理，以得到输入解码块的输出；通过第一连接层将与第一连接层对应的编码块的输出和输入解码块的输出进行连接处理，以得到第一连接层的输出，通过线性投影层对第一连接层的输出进行投影映射操作，以得到解码子网络的输出。
121.例如，在一些实施例中，通过输入解码块对第一特征图进行处理，以得到输入解码块的输出包括：通过输入解码块中的补丁扩展层对第一特征图进行上采样操作和第二通道数调整操作，以得到补丁扩展层的输出；通过输入解码块中的多个自注意力算子对补丁扩展层的输出进行表示学习，以得到输入解码块的输出。
122.例如，如图5所示，输入解码块103a中的补丁扩展层ua对第一特征图f14进行上采样操作和第二通道数调整操作，以得到补丁扩展层ua的输出fd11(特征图)，输入解码块103a中的多个自注意力算子mb对补丁扩展层的输出fd11进行表示学习，以得到输入解码块103a的输出fd12(特征图)；第一连接层301a将输入编码块101a的输出f12和输入解码块103a的输出fd12进行映射连接处理，以得到第一连接层301a的输出(未示出)，最后，线性投影层lp对第一连接层301a的输出进行投影映射操作，以得到解码子网络20a的输出。当n为1，解码子网络20a的输出为重建图像200a；当n大于1时，对解码子网络20a的输出进行数据拟合处理和数据修正处理，以得到下一次重建操作中编码子网络10a的输入，然后再次进行重建操作，最终迭代n次重建操作之后，得到重建图像200a。
123.例如，在图像重建网络包括瓶颈层的情况下，即在图6所示的示例中，在每次重建操作中，利用瓶颈层对第一特征图进行处理，以得到第二特征图，包括：利用瓶颈层中的多个自注意力算子对第一特征图进行表示学习，以得到第二特征图。
124.例如，如图6所示，瓶颈层40a的多个自注意力算子对第一特征图f14进行表示学习，以得到第二特征图f15。第二特征图f15为瓶颈层40a的输出。需要说明的是，图6所示的图像重建网络除了包括瓶颈层40a之外，其余结构与图5所示的图像重建网络相同。
125.例如，如图6所示，解码子网络20a和连接子网络30a对第二特征图f15和输入编码块101a的输出f12进行处理，以得到解码子网络20a的输出。
126.例如，如图6所示，第二特征图f15的尺寸与第一特征图f14的尺寸相同，例如，均为h/8*w/8。第二特征图f15的维度与第一特征图f14的维度也相同，例如，均为c12。
127.需要说明的是，在图6中，瓶颈层40a具有图4b所示的结构，即瓶颈层40a仅包括三个自注意力算子，但本公开的实施例不限于此，根据实际应用需求，瓶颈层40a可以包括更多的自注意力算子。
128.例如，在图6所示的示例中，在每次重建操作中，利用解码子网络和连接子网络对第二特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出，包括：通过输入
解码块对第二特征图进行处理，以得到输入解码块的输出；通过第一连接层将与第一连接层对应的编码块的输出和输入解码块的输出进行连接处理，以得到第一连接层的输出；通过线性投影层对第一连接层的输出进行投影映射操作，以得到解码子网络的输出。
129.例如，通过输入解码块对第二特征图进行处理，以得到输入解码块的输出，包括：通过输入解码块中的补丁扩展层对第二特征图进行上采样操作和第二通道数调整操作，以得到输入解码块中的补丁扩展层的输出；通过输入解码块中的多个自注意力算子对输入解码块中的补丁扩展层的输出进行表示学习，以得到输入解码块的输出。
130.例如，如图6所示，输入解码块103a中的补丁扩展层ua对第二特征图f15进行上采样操作和第二通道数调整操作，以得到输入解码块103a中的补丁扩展层ua的输出fd11(特征图)，输入解码块103a中的多个自注意力算子mb对输入解码块103a中的补丁扩展层ua的输出fd11进行表示学习，以得到输入解码块103a的输出fd12(特征图)；第一连接层301a将输入编码块101a的输出f12和输入解码块103a的输出fd12进行连接处理，以得到第一连接层301a的输出(未示出)，最后，线性投影层lp对第一连接层301a的输出进行投影映射操作，以得到解码子网络20a的输出。当n为1，解码子网络20a的输出为重建图像200a；当n大于1时，对解码子网络20a的输出进行数据拟合处理和数据修正处理，以得到下一次重建操作中编码子网络10a的输入，然后再次进行重建操作，最终迭代n次重建操作之后，得到重建图像200a。
131.例如，输入解码块103a中的补丁扩展层ua的输出fd11的尺寸和输入解码块103a的输出fd12的尺寸相同，例如，均为h/4*w/4；输入解码块103a中的补丁扩展层ua的输出fd11的维度和输入解码块103a的输出fd12的维度相同，例如，均为d11。
132.例如，输入编码块101a的输出f12的尺寸和输入解码块103a的输出fd12的尺寸可以相同，例如，均为h/4*w/4；输入编码块101a的输出f12的通道数和输入解码块103a的输出fd12的通道数可以相同，即c11＝d11。
133.例如，第二特征图f15的尺寸小于补丁扩展层ua的输出fd11的尺寸相同；第二特征图f15的维度大于补丁扩展层ua的输出fd11的维度，即c12大于d11。
134.图8为本公开一些实施例提供的另一种图像重建网络的结构示意图。
135.例如，如图8所示，在一些实施例中，图像重建网络包括编码子网络10b、解码子网络20b、连接子网络30b和瓶颈层40b。图像重建网络用于对输入图像100b进行重建操作，以得到输入图像100b对应的重建图像200b。例如，输入图像100b可以为mri图像。输入图像100b的尺寸和重建图像200b的尺寸相同，例如，均为h*w，输入图像100b的通道数(即维度)和重建图像200b的通道数相同，例如，均为1。
136.例如，解码子网络还包括线性投影层，至少一个编码块包括依次连接的多个编码块，至少一个解码块包括依次连接的多个解码块，连接子网络包括多个连接层，多个编码块与多个解码块通过多个连接层一一对应映射连接。每个连接层用于将连接层对应的编码块的输出和连接层对应的解码块的输出进行连接处理，连接层的输出作为连接层对应的解码块所连接的下一个解码块的输入或者连接层的输出作为线性投影层的输入。
137.例如，在一些实施例中，如图8所示，解码子网络20b还包括线性投影层lp，至少一个编码块包括依次连接的输入编码块101b和至少一个中间编码块，至少一个中间编码块包括依次连接的第一中间编码块102b和第二中间编码块103b。至少一个解码块包括依次连接
的输入解码块201b和至少一个中间解码块，至少一个中间解码块包括依次连接的第一中间解码块202b和第二中间解码块203b。连接子网络30b包括多个连接层，多个连接层分别为第一连接层301b、第一连接层302b和第一连接层303b。
138.需要说明的是，虽然图8中仅示出了两个中间编码块和两个中间解码块，但是本公开的实施例不限于此，中间编码块的数量和中间解码块的数量可以根据实际情况设置，相应地，连接层的数量也可以根据实际情况设置，只要为每一组中间编码块和中间解码块设置一个连接层即可，本公开的实施例对此不作具体限定。
139.例如，如图8所示，第二中间编码块103b通过第一连接层301b与输入解码块201b映射连接，也就是说，第一连接层301b用于将第二中间编码块103b的输出和输入解码块201b的输出进行连接处理，类似地，第一中间编码块102b通过第二连接层302b与第一中间解码块202b映射连接，输入编码块101b通过第三连接层303b与第二中间解码块203b映射连接。例如，第一连接层301b的输出作为第一中间解码块202b的输入，第二连接层302b的输出作为第二中间解码块203b的输入，第三连接层303b的输出作为线性投影层lp的输入。
140.例如，在一些实施例中，每个中间编码块还包括补丁合并层，每个中间编码块用于利用中间编码块的补丁合并层对中间编码块的输入进行下采样操作和第一通道数调整操作，以得到中间编码块的补丁合并层的输出；利用中间编码块中的多个自注意力算子对中间编码块的补丁合并层的输出进行表示学习，以得到中间编码块的输出。
141.例如，每个中间编码块中的补丁合并层也可以包括下采样层和第一线性层，以分别实现下采样操作和第一通道数调整操作。需要说明的是，对于补丁合并层的详细描述可以参考上面结合图7的描述。
142.例如，编码子网络还包括输出编码块，至少一个中间编码块包括第一中间编码块和第二中间编码块。在每次重建操作中，通过编码子网络对编码子网络的输入进行特征提取处理，以得到第一特征图和至少一个编码块的输出，包括：通过输入编码块对编码子网络的输入进行处理，以得到输入编码块的输出；利用第一中间编码块对输入编码块的输出进行处理，以得到第一中间编码块的输出；利用第二中间编码块对第一中间编码块的输出进行处理，以得到第二中间编码块的输出；利用输出编码块对第二中间编码块的输出进行处理，以得到第一特征图。
143.例如，至少一个编码块的输出包括输入编码块的输出、第一中间编码块的输出和第二中间编码块的输出。
144.例如，如图8所示，在编码子网络10b中，输入编码块101b包括多个自注意力算子ma和线性嵌入层ea，第一中间编码块102b包括多个自注意力算子ma和补丁合并层da，第二中间编码块103b包括多个自注意力算子ma和补丁合并层da，输出编码块104b包括多个自注意力算子ma和补丁合并层da。
145.例如，通过输入编码块对编码子网络的输入进行处理，以得到输入编码块的输出，包括：通过输入编码块的线性嵌入层对编码子网络的输入进行处理，以得到输入编码块的线性嵌入层的输出；然后通过输入编码块中的多个自注意力算子对线性嵌入层的输出进行表示学习，以得到输入编码块的输出。
146.例如，如图8所示，输入编码块101b的线性嵌入层ea用于将编码子网络10b的输入的维度(即通道数)映射到隐藏空间的任意维度c21，以得到线性嵌入层ea的输出f21(特征
图)。此过程中，线性嵌入层ea将编码子网络10b的输入的维度扩大，具体扩大的倍数可以根据实际情况进行设置。然后，输入编码块101b中的多个自注意力算子ma对线性嵌入层ea的输出f21进行表示学习，以得到输入编码块101b的输出f22(特征图)。
147.例如，如图8所示，线性嵌入层ea的输出f21的维度和输入编码块101b的输出f22的维度均相同，例如，均为c21，在一些示例中，c21可以为48。线性嵌入层ea的输出f21的尺寸和输入编码块101b的输出f22的尺寸均相同，例如，均为h/4*w/4。
148.例如，输入编码块101b的输出f22被传输至第一中间编码块102b，以作为第一中间编码块102b的输入。
149.例如，利用第一中间编码块对输入编码块的输出进行处理，以得到第一中间编码块的输出，包括：利用第一中间编码块的补丁合并层对输入编码块的输出进行下采样操作和第一通道数调整操作，以得到第一中间编码块的补丁合并层的输出；然后利用第一中间编码块中的多个自注意力算子对第一中间编码块的补丁合并层的输出进行表示学习，以得到第一中间编码块的输出。
150.例如，如图8所示，第一中间编码块102b的补丁合并层da对输入编码块101b的输出f22进行下采样操作和第一通道数调整操作，以得到第一中间编码块102b的补丁合并层da的输出f23(特征图)；第一中间编码块102b中的多个自注意力算子ma对第一中间编码块102b的补丁合并层da的输出f23进行表示学习，以得到第一中间编码块102b的输出f24(特征图)。
151.例如，如图8所示，第一中间编码块102b的补丁合并层da的输出f23的维度和第一中间编码块102b的输出f24的维度均相同，例如，均为c22，在一些示例中，c22可以为96。第一中间编码块102b的补丁合并层da的输出f23的尺寸和第一中间编码块102b的输出f24的尺寸均相同，例如，若第一中间编码块102b的补丁合并层da所执行的下采样操作的下采样因子2*2，则第一中间编码块102b的补丁合并层da的输出f23的尺寸和第一中间编码块102b的输出f24的尺寸均为h/8*w/8。
152.例如，第一中间编码块102b的输出f24被传输至第二中间编码块103b，以作为第二中间编码块103b的输入。
153.例如，利用第二中间编码块对第一中间编码块的输出进行处理，以得到第二中间编码块的输出，包括：利用第二中间编码块的补丁合并层对第一中间编码块的输出进行下采样操作和第一通道数调整操作，以得到第二中间编码块的补丁合并层的输出；然后利用第二中间编码块中的多个自注意力算子对第二中间编码块的补丁合并层的输出进行表示学习，以得到第二中间编码块的输出。
154.例如，如图8所示，第二中间编码块103b的补丁合并层da对第一中间编码块102b的输出f24进行下采样操作和第一通道数调整操作，以得到第二中间编码块103b的补丁合并层da的输出f25(特征图)；第二中间编码块103b中的多个自注意力算子ma对第二中间编码块103b的补丁合并层da的输出f25进行表示学习，以得到第二中间编码块103b的输出f26(特征图)。
155.例如，如图8所示，第二中间编码块103b的补丁合并层da的输出f25的维度和第二中间编码块103b的输出f26的维度均相同，例如，均为c23，在一些示例中，c23可以为192。第二中间编码块103b的补丁合并层da的输出f25的尺寸和第二中间编码块103b的输出f26的
尺寸均相同，例如，若第二中间编码块103b的补丁合并层da所执行的下采样操作的下采样因子2*2，则第二中间编码块103b的补丁合并层da的输出f25的尺寸和第二中间编码块103b的输出f26的尺寸均为h/16*w/16。
156.例如，第二中间编码块103b的输出f26被传输至输出编码块104b，以作为输出编码块104b的输入。
157.例如，利用输出编码块对第二中间编码块的输出进行处理，以得到第一特征图，包括：利用输出编码块的补丁合并层对第二中间编码块的输出进行下采样操作和第一通道数调整操作，以得到输出编码块的补丁合并层的输出；然后利用输出编码块中的多个自注意力算子对输出编码块的补丁合并层的输出进行表示学习，以得到输出编码块的输出。该输出编码块的输出即为第一特征图。
158.例如，如图8所示，输出编码块104b的补丁合并层da对第二中间编码块103b的输出f26进行下采样操作和第一通道数调整操作，以得到输出编码块104b的补丁合并层da的输出f27(特征图)；输出编码块104b的编码块中的多个自注意力算子ma对输出编码块104b的补丁合并层da的输出f27进行表示学习，以得到输出编码块104b的输出f28(特征图)。输出编码块104b的输出f28为编码子网络10b的输出，即输出编码块104b的输出f28为第一特征图。
159.例如，如图8所示，输出编码块104b的补丁合并层da的输出f27的维度和第一特征图f28的维度均相同，例如，均为c24，在一些示例中，c24可以为384。输出编码块104b的补丁合并层da的输出f27的尺寸和第一特征图f28的尺寸均相同，例如，若输出编码块104b的补丁合并层da所执行的下采样操作的下采样因子2*2，则输出编码块104b的补丁合并层da的输出f27的尺寸和第一特征图f28的尺寸均为h/32*w/32。
160.例如，第一特征图f28(即输出编码块104b的输出)被传输至瓶颈层40b，以作为瓶颈层40b的输入。
161.例如，如图8所示，瓶颈层40b中的多个自注意力算子mc用于对第一特征图f28进行表示学习，以得到第二特征图f29。
162.例如，第二特征图f29的尺寸与第一特征图f28的尺寸相同，例如，均为h/32*w/32；第二特征图f29的维度与第一特征图f28的维度也相同，例如，均为c24。
163.例如，第二特征图f29被传输至解码子网络20b，以作为解码子网络20b的输入。
164.例如，每个解码块还包括补丁扩展层。补丁扩展层包括上采样层和第二线性层，上采样层用于执行上采样操作，第二线性层用于执行第二通道数调整操作。需要说明的是，关于补丁扩展层的详细说明可以参考上面对于补丁扩展层的描述，重复之处不再赘述。
165.例如，解码子网络还包括线性投影层，至少一个解码块包括依次连接的输入解码块和至少一个中间解码块，至少一个中间解码块包括依次连接的第一中间解码块和第二中间解码块，连接子网络包括至少一个连接层，至少一个连接层包括第一连接层、第二连接层和第三连接层。
166.例如，在一些实施例中，在每次重建操作中，利用解码子网络和连接子网络对第二特征图和至少一个编码块的输出进行处理，以得到解码子网络的输出，包括：通过输入解码块对第二特征图进行处理，以得到输入解码块的输出；通过第一连接层将与第一连接层对应的编码块的输出和输入解码块的输出进行连接处理，以得到第一连接层的输出；通过第
一中间解码块对第一连接层的输出进行处理，以得到第一中间解码块的输出；通过第二连接层将与第二连接层对应的编码块的输出和第一中间解码块的输出进行连接处理，以得到第二连接层的输出；通过第二中间解码块对第二连接层的输出进行处理，以得到第二中间解码块的输出；通过第三连接层将与第三连接层对应的编码块的输出和第二中间解码块的输出进行连接处理，以得到第三连接层的输出；通过线性投影层对第三连接层的输出进行投影映射操作，以得到解码子网络的输出。
167.例如，如图8所示，在一些实施例中，在解码子网络20b中，输入解码块201b包括补丁扩展层ua和多个自注意力算子mb，第一中间解码块202b包括补丁扩展层ua和多个自注意力算子mb，第二中间解码块203b包括补丁扩展层ua和多个自注意力算子mb。
168.例如，在一些实施例中，通过输入解码块对第二特征图进行处理，以得到输入解码块的输出，包括：通过输入解码块中的补丁扩展层对第二特征图进行上采样操作和第二通道数调整操作，以得到输入解码块中的补丁扩展层的输出；通过输入解码块中的多个自注意力算子对输入解码块中的补丁扩展层的输出进行表示学习，以得到输入解码块的输出。
169.例如，如图8所示，在一些实施例中，输入解码块201b中的补丁扩展层ua对第二特征图f29进行上采样操作和第二通道数调整操作，以得到输入解码块201b中的补丁扩展层ua的输出fd21(特征图)，输入解码块201b的多个自注意力算子mb对输入解码块201b中的补丁扩展层ua的输出fd21进行表示学习，以得到输入解码块201b的输出fd22(特征图)。
170.例如，如图8所示，输入解码块201b中的补丁扩展层ua的输出fd21的维度和输入解码块201b的输出fd22的维度均相同，例如，均为d21，在一些示例中，d21可以为192。输入解码块201b中的补丁扩展层ua的输出fd21的尺寸和输入解码块201b的输出fd22的尺寸均相同，例如，若输入解码块201b中的补丁扩展层ua所执行的上采样操作的上采样因子2*2，则输入解码块201b中的补丁扩展层ua的输出fd21的尺寸和输入解码块201b的输出fd22的尺寸均为h/16*w/16。
171.例如，第一连接层301b将第二中间编码块103b的输出f26和输入解码块201b的输出fd22进行连接处理，以得到第一连接层301b的输出fc11。例如，将第二中间编码块103b的输出f26和输入解码块201b的输出fd22按照维度方向进行连接，然后将连接后的特征图的维度进行调整，以得到第一连接层301b的输出fc11。
172.例如，第二中间编码块103b的输出f26的尺寸和输入解码块201b的输出fd22的尺寸相同，第二中间编码块103b的输出f26的维度和输入解码块201b的输出fd22的维度也相同。
173.例如，第一连接层301b的输出fc11的尺寸与输入解码块201b的输出fd22的尺寸相同，第一连接层301b的输出fc11的维度与输入解码块201b的输出fd22的维度也相同。
174.例如，第一连接层301b的输出fc11被传输至第一中间解码块202b，以作为第一中间解码块202b的输入。
175.例如，在一些实施例中，通过第一中间解码块对第一连接层的输出进行处理，以得到第一中间解码块的输出，包括：通过第一中间解码块中的补丁扩展层对第一连接层的输出进行上采样操作和第二通道数调整操作，以得到第一中间解码块中的补丁扩展层的输出；通过第一中间解码块中的多个自注意力算子对第一中间解码块中的补丁扩展层的输出进行表示学习，以得到第一中间解码块的输出。
176.例如，如图8所示，在一些实施例中，第一中间解码块202b中的补丁扩展层ua对第一连接层301b的输出fc11进行上采样操作和第二通道数调整操作，以得到第一中间解码块202b中的补丁扩展层ua的输出fd23(特征图)，第一中间解码块202b的多个自注意力算子mb对第一中间解码块202b中的补丁扩展层ua的输出fd23进行表示学习，以得到第一中间解码块202b的输出fd24(特征图)。
177.例如，如图8所示，第一中间解码块202b中的补丁扩展层ua的输出fd23的维度和第一中间解码块202b的输出fd24的维度均相同，例如，均为d22，在一些示例中，d22可以为96。第一中间解码块202b中的补丁扩展层ua的输出fd23的尺寸和第一中间解码块202b的输出fd24的尺寸均相同，例如，若第一中间解码块202b中的补丁扩展层ua所执行的上采样操作的上采样因子2*2，则第一中间解码块202b中的补丁扩展层ua的输出fd23的尺寸和第一中间解码块202b的输出fd23的尺寸均为h/8*w/8。
178.例如，第二连接层302b将第一中间编码块102b的输出f24和第一中间解码块202b的输出fd24进行连接处理，以得到第二连接层302b的输出fc12。例如，将第一中间编码块102b的输出f24和第一中间解码块202b的输出fd24按照维度方向进行连接，然后将连接后的特征图的维度进行调整，以得到第二连接层302b的输出fc12。
179.例如，第一中间编码块102b的输出f24的尺寸和第一中间解码块202b的输出fd24的尺寸相同，第一中间编码块102b的输出f24的维度和第一中间解码块202b的输出fd24的维度也相同。
180.例如，第二连接层302b的输出fc12的尺寸与第一中间解码块202b的输出fd24的尺寸相同，第二连接层302b的输出fc12的维度与第一中间解码块202b的输出fd24的维度也相同。
181.例如，第二连接层302b的输出fc12被传输至第二中间解码块203b，以作为第二中间解码块203b的输入。
182.例如，在一些实施例中，通过第二中间解码块对第二连接层的输出进行处理，以得到第二中间解码块的输出，包括：通过第二中间解码块中的补丁扩展层对第二连接层的输出进行上采样操作和第二通道数调整操作，以得到第二中间解码块中的补丁扩展层的输出；通过第二中间解码块中的多个自注意力算子对第二中间解码块中的补丁扩展层的输出进行表示学习，以得到第二中间解码块的输出。
183.例如，如图8所示，在一些实施例中，第二中间解码块203b中的补丁扩展层ua对第二连接层302b的输出fc12进行上采样操作和第二通道数调整操作，以得到第二中间解码块203b中的补丁扩展层ua的输出fd25(特征图)，第二中间解码块203b的多个自注意力算子mb对第二中间解码块203b中的补丁扩展层ua的输出fd25进行表示学习，以得到第二中间解码块203b的输出fd26(特征图)。
184.例如，如图8所示，第二中间解码块203b中的补丁扩展层ua的输出fd25的维度和第二中间解码块203b的输出fd26的维度均相同，例如，均为d23，在一些示例中，d23可以为48。第二中间解码块203b中的补丁扩展层ua的输出fd25的尺寸和第二中间解码块203b的输出fd26的尺寸均相同，例如，若第二中间解码块203b中的补丁扩展层ua所执行的上采样操作的上采样因子2*2，则第二中间解码块203b中的补丁扩展层ua的输出fd25的尺寸和第二中间解码块203b的输出fd26的尺寸均为h/4*w/4。
185.例如，第三连接层303b将输入编码块101b的输出f22和第二中间解码块203b的输出fd26进行连接处理，以得到第三连接层303b的输出fc13。例如，将输入编码块101b的输出f22和第二中间解码块203b的输出fd26按照维度方向进行连接，然后将连接后的特征图的通道数进行调整，以得到第三连接层303b的输出fc13。
186.例如，输入编码块101b的输出f22的尺寸和第二中间解码块203b的输出fd26的尺寸相同，输入编码块101b的输出f22的维度和第二中间解码块203b的输出fd26的维度也相同。
187.例如，第三连接层303b的输出fc13的尺寸与第二中间解码块203b的输出fd26的尺寸相同，第三连接层303b的输出fc13的维度与第二中间解码块203b的输出fd26的维度也相同。
188.例如，第三连接层303b的输出fc13被传输至线性投影层lp，以作为线性投影层lp的输入。
189.例如，线性投影层lp对第三连接层303b的输出fc13进行投影映射操作，以得到解码子网络20b的输出。线性投影层lp用于保持将第三连接层303b的输出fc13映射为与编码子网络10b的输入具有相同尺寸和维度的图像。
190.例如，当n为1，解码子网络20b的输出为重建图像200b；当n大于1时，对解码子网络20b的输出进行数据拟合处理和数据修正处理，以得到下一次重建操作中编码子网络10b的输入，然后再次进行重建操作，最终迭代n次重建操作之后，得到重建图像200b。
191.需要说明的是，在本公开的实施例中，每个编码块的输出均为特征图，每个解码块的输出也为特征图，瓶颈层的输出也为特征图，连接层的输出也为特征图。特征图的维度(即特征维度)表示特征图的通道数。
192.下面以磁共振成像为例对本公开的实施例提供的图像处理方法进行详细阐述。本公开下面的描述中块尺寸、特征参数等的具体取值可根据实际应用调整，不限于下文(用于说明举例的)所列出具体数值。
193.例如，在mri图像的重建过程中，前向模型和噪声是已知的。
194.在本公开的实施例中，首先通过经过展开迭代网络的初始化层对采样数据f进行初始化。下面的公式(2)实现了将采样数据f从(频域)转化为对应的中间输入图像m
(0)
(空间域)的操作。
195.m
(0)
＝a
*fꢀꢀꢀ
(2)
196.其中，a
*
表示欠采样的傅里叶变换(mri前向算子)的伪逆。
197.然后，通过数据拟合层和数据修正层对经过初始化得到的中间输入图像m
(0)
分别进行数据拟合处理和数据修正处理，以得到输入图像。
198.然后，利用图像重建网络对输入图像进行n次重建操作，以得到输入图像对应的重建图像。图像重建网络的具体结构可以参考上面图5、6和8所示的结构，重复之处不再赘述。下面结合图8所示的图像重建网络对本公开的实施例进行说明。
199.在第一次重建操作中，首先，将输入图像100b通过块尺寸为4*4的取块模块进行取块以得到不重叠的多个块图像中，每个块图像的尺寸为4*4。例如，输入图像的维度为1，如果输入图像的尺寸为256*256，则对该输入图像进行取块之后，可以得到64*64个块图像。每个块图像作为一个“token”，每个块图像的特征维度被设置为该块图像中的像素的灰度值
的串联，所以每个块图像的特征维度变成4*4*1＝16。多个块图像进行组合以得到组合块图像，组合块图像的尺寸为h/4*w/4，维度为16，组合块图像作为线性嵌入层ea的输入，此时，线性嵌入层ea的输入的维度16，尺寸为h/4*w/4。如图8所示，输入编码块101b中的线性嵌入层ea将线性嵌入层ea的输入的维度映射到隐藏空间的任意维度c21，以得到特征图f21，例如，c21为48。特征图f21的通道数为c21，尺寸为h/4*w/4。然后，特征图f21被送入输入编码块101b中的多个自注意力算子ma，输入编码块101b中的多个自注意力算子ma用于对线性嵌入层ea的输出(即特征图f21)以进行表示学习，以得到特征图f22。输入编码块101b中的多个自注意力算子ma保持特征维度和分辨率不变。
200.特征图f22被送入第一中间编码块102b的补丁合并层da，第一中间编码块102b的补丁合并层da用于对特征图f22进行下采样操作和第一通道数调整操作，以得到特征图f23；然后第一中间编码块102b中的多个自注意力算子ma对特征图f23进行表示学习，以得到特征图f24。特征图f23的维度和特征图f24的维度均为c22，c22可以为96，特征图f23的尺寸和特征图f24的尺寸均为h/8*w/8。
201.与第一中间编码块102b的处理过程类似，第二中间编码块103b中的补丁合并层da对特征图f24进行下采样操作和第一通道数调整操作，以得到特征图f25，第二中间编码块103b中的多个自注意力算子ma对特征图f25进行表示学习，以得到特征图f26。特征图f25的维度和特征图f26的维度均为c23，c23可以为192，特征图f25的尺寸和特征图f26的尺寸均为h/16*w/16。
202.最后，与第一中间编码块102b的处理过程类似，输出编码块104b中的补丁合并层da对特征图f26进行下采样操作和第一通道数调整操作，以得到特征图f27，输出编码块104b中的多个自注意力算子ma对特征图f27进行表示学习，以得到特征图f28。特征图f27的通道数和特征图f28的通道数均为c24，c24可以为384，特征图f27的尺寸和特征图f28的尺寸均为h/32*w/32。
203.为了降低网络的深度并最小化模型参数的数量，如图8所示，使用如图4b所示的两个基于窗口的自注意力算子(即基于窗口的自注意力算子w1和基于窗口的自注意力算子w2)和基于移动窗口的自注意力算子sw1来构建瓶颈层40b以学习深度特征表示。在瓶颈层40b中，特征维度和分辨率保持不变。
204.例如，瓶颈层40b对特征图f28进行表示学习，以得到特征图f29。特征图f29被传输至解码子网络20b。特征图f29的尺寸为h/32*w/32，维度为c24。
205.解码子网络20b的结构与编码子网络10b的结构相似，并与之形成双边对称结构。在解码子网络20b中，使用补丁扩展层ua来扩展提取的特征。首先，通过输入解码块201b中的补丁扩展层ua对特征图f29进行上采样操作和第二通道数调整操作，以得到特征图fd21。然后，将特征图fd21送入到输入解码块201b中的多个自注意力算子以进行表示学习，以得到特征图fd22。特征图fd21的尺寸和特征图fd22的尺寸均为h/16*w/16，特征图fd21的维度和特征图fd22的维度均为d21，d21可以为192。输入解码块201b中的多个自注意力算子保持特征维度和分辨率不变。
206.然后，第一连接层301b将特征图f26和特征图fd22进行映射连接处理，以得到特征图fc11。特征图fc11的通道数为d21，尺寸为h/16*w/16。特征图fc11被传输至第一中间解码块202b。
207.类似地，第一中间解码块202b对特征图fc11进行处理，以得到特征图fd24；第二连接层302b将特征图f24和特征图fd24进行映射连接处理，以得到特征图fc12。特征图fc12的维度为d22，d22可以为96，尺寸为h/8*w/8。特征图fc12被传输至第二中间解码块203b。第二中间解码块203b对特征图fc12进行处理，以得到特征图fd26；第三连接层303b将特征图f22和特征图fd26进行映射连接处理，以得到特征图fc13。特征图fc13的维度为d23，d23可以为48，尺寸为h/4*w/4。
208.最后，线性投影层lp应用于特征图fc13，以得到解码子网络20b的输出。当图像重建网络的输入的是灰度图像时，解码子网络20b的输出的维度为1；当图像重建网络的输入的是rgb图像时，解码子网络20b的输出的维度为3；解码子网络20b的输出的尺寸为h*w。解码子网络20b的输出为第一次重建操作的重建结果。
209.然后，对第一次重建操作的重建结果进行数据拟合处理和数据修正处理，以得到第二次重建操作中的编码子网络的输入。
210.对输入图像100b迭代进行n次重建操作之后，得到重建图像m
(n)
，计算过程见下式：
211.理和图像重建网络执行的重建操作，η表示步长，是基于展开的网络学习的自由参数。图像重建网络对输入图像进行迭代重建操作，以得到重建图像m
(n)
，重建图像m
(n)
为该图像重建网络的第n次重建操作的重建结果。
212.需要说明的是，在本公开上面的描述中，以磁共振成像为例进行的示意性说明，然而本公开不限于此，本领域技术人员应该知道，本公开的实施例提供的图像处理方法不限于重建磁共振图像，还可以重建气象遥感图像、监控图像等，本公开的实施例提供的图像处理方法可以重建各种类型的图像，在此不对所重建的图像的类型进行限定。
213.例如，在一些实施例中，在获取输入图像前，图像处理方法还包括：在训练阶段，利用样本图像和样本图像对应的样本重建图像训练图像重建网络。
214.例如，训练阶段可以包括：利用待训练的图像重建网络对样本图像进行n次重建操作，以得到样本图像对应的训练重建图像；根据训练重建图像和样本重建图像，通过图像重建网络对应的损失函数计算待训练的图像重建网络对应的参数的损失值；根据损失值对待训练的图像重建网络对应的参数进行修正，在损失函数满足预定条件时，得到训练好的图像重建网络，在损失函数不满足预定条件时，继续输入样本图像和样本图像对应的样本重建图像以重复执行上述训练过程；
215.例如，在训练阶段中，待训练的图像重建网络的初始参数可以设置为随机数。
216.例如，在一个示例中，样本图像可以为医学图像库中的各种类型的医学图像，从而可以训练得到与不同类型的医学图像对应的图像重建网络的参数。根据实际需求，样本图像可以包括核磁共振图像、x射线计算机断层摄影(computed tomography，ct)图像等不同类型的医学图像。例如，样本图像可以包括对不同年龄段、不同地方的人进行采样得到的医学图像，从而提高图像重建网络重建图像的准确性和清晰度。
217.例如，在一个示例中，预定条件可以对应于在一定样本图像输入下图像重建网络的损失函数的最小。在另一个示例中，预定条件可以为图像重建网络的训练次数或训练周
期达到预定数目。
218.例如，损失函数可以表示训练重建图像和样本重建图像的差异。在训练阶段，图像重建网络对应的损失函数可以包括平均绝对误差损失函数(mean absolute error，mae)和结构相似性损失函数(structural similarity index，ssim)。
219.例如，图像重建网络对应的损失函数表示为：
220.l
mix
＝λ*l
ssim
(1-λ)*l
mae
221.其中，l
mix
表示图像重建网络对应的损失函数，l
ssim
表示结构相似性损失函数，l
mae
表示平均绝对误差损失函数，λ为常数。例如，在一些示例中，λ为0.8。
222.例如，l
mix
的值越大(即趋近于1)，则表示训练重建图像和样本重建图像之间的差异越大，也就是说，待训练的图像重建网络的参数的调整值越大。l
mix
的值越小，则表示训练重建图像和样本重建图像之间的差异越小。
223.例如，在一些实施例中，图像处理方法还包括：获取样本图像。获取样本图像可以包括：获取训练测量数据；对训练测量数据进行欠采样，以得到训练采样数据；对训练采样数据进行初始化处理以将训练采样数据从频域转到对应的空间域，以得到中间样本图像；对中间样本图像进行数据拟合处理和数据修正处理，以得到样本图像。例如，训练测量数据为已经全采样得到的全采样数据，也就是说，在训练过程中，可以通过对现有的全采样数据进行欠采样的方式来得到样本图像，从而简化样本图像的获取方式，灵活简单地获取样本图像，此时，样本图像对应的样本重建图像可以为对训练测量数据进行处理得到。
224.在本公开的实施例中，图像重建网络在图像重建上具有有效的重建效果。以加速核磁共振成像任务为例，图像重建网络有助于学习欠采样核磁共振成像的细节信息。图像重建网络可以在减少网络训练时间的条件下，获得更高质量的重建图像。在随机掩码(random 4*零填充)欠采样模式下对fastmri数据集(knee-singlecoil)进行了大量实验，实验结果表明，该图像处理方法在加速核磁共振图像的重建方面优于其他图像重建方法，基于该图像处理方法得到的重建图像的峰值信噪比(psnr)可到将近30分贝(db)，结构相似度(ssim)可达将近0.625。
225.本公开至少一个实施例还提供一种图像处理装置。图9为本公开至少一个实施例提供的一种图像处理装置的示意性框图。
226.例如，如图9所示，图像处理装置90可以包括存储器905和处理器910。存储器905用于非暂时性地存储计算机可执行指令；处理器910用于运行计算机可执行指令，计算机可执行指令被处理器910运行时可以执行根据本公开任一实施例所述的图像处理方法中的一个或多个步骤。关于该图像处理方法的各个步骤的具体实现以及相关解释内容可以参见上述图像处理方法的实施例，在此不做赘述。
227.应当注意，图9所示的图像处理装置90的组件只是示例性的，而非限制性的，根据实际应用需要，该图像处理装置90还可以具有其他组件。
228.例如，处理器910和存储器905之间可以直接或间接地互相通信。
229.例如，处理器910和存储器905可以通过网络连接进行通信。网络可以包括无线网络、有线网络、和/或无线网络和有线网络的任意组合，本公开对网络的类型和功能在此不作限制。又例如，处理器910和存储器905也可以通过总线连接进行通信。总线可以是外设部件互连标准(pci)总线或扩展工业标准结构(eisa)总线等。
230.例如，处理器910和存储器905可以设置在服务器端(或云端)，也可以设置在客户端(例如，手机等移动设备)。
231.例如，处理器910可以是中央处理单元(cpu)、张量处理器(tpu)或者图形处理器gpu等具有数据处理能力和/或指令执行能力的器件，并且可以控制图像处理装置90中的其它组件以执行期望的功能。中央处理元(cpu)可以为x86或arm架构等。
232.例如，存储器905可以包括一个或多个计算机程序产品的任意组合，计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(ram)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(rom)、硬盘、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器、闪存等。在计算机可读存储介质上可以存储一个或多个计算机可执行指令，处理器910可以运行计算机可执行指令，以实现图像处理装置90的各种功能。在存储器905中还可以存储各种应用程序和各种数据，以及应用程序使用和/或产生的各种数据等。
233.需要说明的是，图像处理装置90可以实现与前述图像处理方法相似的技术效果，重复之处不再赘述。
234.本公开至少一个实施例还提供一种计算机可读存储介质。图10为本公开至少一个实施例提供的一种计算机可读存储介质的示意图。
235.例如，如图10所示，在计算机可读存储介质1000上可以非瞬时性地存储一个或多个计算机可执行指令1001。例如，当计算机可执行指令1001由计算机执行时可以执行根据本公开任一实施例所述的图像处理方法中的一个或多个步骤。
236.又例如，当计算机可执行指令1001由计算机执行时还可以执行根据本公开任一实施例所述的图像处理方法中的训练阶段中的一个或多个步骤。
237.例如，该计算机可读存储介质1000可以应用于上述图像处理装置中，例如，其可以为图像处理装置90中的存储器905。
238.例如，关于计算机可读存储介质1000的说明可以参考图像处理装置的实施例中对于存储器905的描述，重复之处不再赘述。
239.对于本公开，还有以下几点需要说明：
240.(1)本公开实施例附图只涉及到与本公开实施例涉及到的结构，其他结构可参考通常设计。
241.(2)为了清晰起见，在用于描述本发明的实施例的附图中，层或结构的厚度和尺寸被放大。可以理解，当诸如层、膜、区域或基板之类的元件被称作位于另一元件“上”或“下”时，该元件可以“直接”位于另一元件“上”或“下”，或者可以存在中间元件。
242.(3)在不冲突的情况下，本公开的实施例及实施例中的特征可以相互组合以得到新的实施例。
243.以上所述仅为本公开的具体实施方式，但本公开的保护范围并不局限于此，本公开的保护范围应以所述权利要求的保护范围为准。