一种分辨率提升方法、装置、电子设备及存储介质与流程

1.本技术涉及分析化学、成像分析和等离子体光散射成像的技术领域，具体而言，涉及一种分辨率提升方法、装置、电子设备及存储介质。


背景技术：

2.金属纳米颗粒因为其良好的光稳定性，被用作分子探针研究耗时的生物学过程，在生物医学领域受到广泛的关注。暗场显微成像技术是常用的对金属纳米颗粒成像的一种技术。然而，当目标观测物为金属纳米颗粒时，由于光的衍射作用，在暗场成像中，当粒子距离太近时，成像分辨率将受到光学衍射的干扰，会在检测平面形成衍射斑，进而导致成像分辨率较低。
3.针对此问题，现有的解决方案是，根据角度相关的偏振显微成像技术的成像原理，通过相对于线偏振光旋转样品为基础，实现对一小部分金属纳米颗粒选择性成像，然后使用从一系列图像获得的纳米颗粒的位置以重建整个图像；然而，现有的解决方案所需实验数据复杂，且在活细胞内、生命体或其他环境的复杂背景下，使用暗场显微成像技术对金属纳米颗粒的等离子进行成像存在分辨率不高的问题。


技术实现要素：

4.本技术实施例的目的在于提供一种分辨率提升方法、装置、电子设备及存储介质，用于改善等离子暗场成像分辨率低的问题。
5.本技术实施例提供了一种分辨率提升方法，包括：获得等离子体的待处理图像，等离子体的待处理图像是通过暗场显微镜处理后的图像；使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是第一样本图像和第二样本图像进行训练获得的，第一样本图像是使用暗场显微镜获取等离子体的暗场图像，第二样本图像是使用电子显微镜获取等离子体的电子图像，并根据电子图像对第一样本图像进行处理获得的，第一样本图像的分辨率低于第二样本图像的分辨率；使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图；使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。在上述的实现过程中，通过采用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练的超分辨模型，对暗场显微镜处理得到的等离子体的待处理图像进行编码、采样和解码，进行抽象特征识别和特征提取，从而获得待处理图像的高层语义信息和底层语义信息，通过对高层语义信息和底层语义信息的融合以提高等离子体的待处理图像的分辨率。
6.可选地，在本技术实施例中，编码模块包括：网络加深模块和至少一个子下采样模块；使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，包括：使用网络加深模块对待处理图像进行特征提取，获得第一编码特征图；使用至少一个子下采样模块对第一编码特征图进行下采样，获得编码特征图。在上述的实现过程中，通过网络加深模
块加深神经网络使得非线性表达更好，从而可以拟合更加复杂的特征；下采样模块对待处理图像进行下采样可以对待处理图像去噪，保留待处理图像的主要特征信息，减少计算量，增加模型的计算速度。
7.可选地，在本技术实施例中，子下采样模块包括：第一子下采样模块、第二子下采样模块、第三子下采样模块；使用至少一个子下采样模块对第一编码特征图进行下采样，获得编码特征图，包括：使用第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图；使用第二子下采样模块对第一下采样特征图进行下采样，获得第二下采样特征图；使用第三子下采样模块对第二下采样特征图进行下采样，获得编码特征图。在上述的实现过程中，通过使用三个下采样模块对图像进行下采样，使得卷积能在更大的图像范围上进行特征提取，得到包含有底层语义信息的特征图，从而在后面特征图连接操作中增加图片的分辨率。
8.可选地，在本技术实施例中，使用第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图，包括：使用第一子下采样模块中的挤压激励层对第一编码特征图的特征权重进行校准，获得校准后的特征权重；使用第一子下采样模块中的第一归一化激活层对校准后的特征权重进行归一化处理，获得第一下采样归一化特征图；使用第一子下采样模块中的第一卷积层对第一下采样归一化特征图进行下采样，获得第一下采样卷积特征图；使用第一子下采样模块中的第二归一化激活层对第一下采样卷积特征图进行归一化处理，获得第二下采样归一化特征图；使用第一子下采样模块中的第二卷积层对第二下采样归一化特征图进行卷积，获取第二下采样卷积特征图；使用第一子下采样模块中的残差层对第二下采样特征图和所述校准后的特征权重进行残差处理，获得第一下采样特征图。
9.可选地，在本技术实施例中，解码模块包括：子上采样模块和输出模块；使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，包括：使用上采样模块对采样后的特征图进行上采样，获得上采样特征图；使用输出模块对上采样特征图进行处理后输出，获得处理后的图像。在上述的实现过程中，使用上采样模块提取图像上采样特征，获得包含有高层语义信息的特征图，从而在后面特征图连接操作中增加图片的分辨率。
10.可选地，在本技术实施例中，子上采样模块包括：第一子上采样模块、第二子上采样模块、第三子上采样模块，使用上采样模块对采样后的特征图进行上采样，获得上采样特征图，包括：使用第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图；使用第二子上采样模块对第一下采样特征图和第一上采样特征图进行上采样，获得第二上采样特征图；使用第三子上采样模块对第一编码特征图和第二上采样特征图进行上采样，获得上采样特征图。在上述的实现过程中，通过使用三个上采样模块对图像进行上采样，将图像逐渐放大，从而以更高的分辨率进行显示图像。
11.本技术实施例还提供了一种分辨率提升装置，使用第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图，包括：使用第一子上采样模块中的注意层对第二下采样特征图和采样后的特征图进行注意力计算，获得第一注意特征图；使用第一子上采样模块中的上采样层对第一注意特征图进行上采样，获取第一上采样子特征图；使用第一子上采样模块中的连接层对第二下采样特征图和第一上采样子特征图进行连接，获得第一连接特征图；使用第一子上采样模块中的第一归一化激活层对第一
连接特征图进行归一化处理，获得第一上采样归一化特征图；使用第一子上采样模块中的第一反卷积层对第一上采样归一化特征图进行反卷积，获得第一反卷积特征图；使用第一子上采样模块中的第二归一化激活层对第一反卷积特征图进行归一化处理，获得第二上采样归一化特征图；使用第一子上采样模块中的第二反卷积层对第二上采样归一化特征图进行反卷积，获得第二反卷积特征图；使用第一子上采样模块中的残差层对第二反卷积特征图进行残差处理，获得第一上采样特征图。
12.本技术实施例还提供了一种获得等离子体暗场成像高分辨图装置，包括：图像获得模块，用于使用暗场显微镜对等离子体进行处理，获得所等离子体的待处理图像；图像编码模块，用于使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练获得的，第一样本图像的分辨率低于第二样本图像的分辨率；图像采样模块，使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图；图像解码模块，用于使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。
13.本技术实施例还提供了一种电子设备，包括：处理器和存储器，存储器存储有处理器可执行的机器可读指令，机器可读指令被处理器执行时执行如上面描述的方法。
14.本技术实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上面描述的方法。
附图说明
15.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
16.图1示出的本技术实施例提供的分辨率提升方法的在服务器上执行分辨率提升的流程示意图；
17.图2示出的本技术实施例提供的超分辨率模型的示意图；
18.图3示出的本技术实施例提供的分辨率提升装置的结构示意图；
19.图4示出的本技术实施例提供的电子设备的结构示意图。
具体实施方式
20.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整的描述。
21.在介绍本技术实施例提供的分辨率提升方法之前，先介绍本技术实施例中所涉及的一些概念：
22.暗场显微成像技术，又称暗视野显微是当前广泛使用的显微成像技术之一。其工作原理是利用暗场显微镜(dark
‑
field microscope，dfm)的暗场聚光镜将光照集中在目标观测物体上，除去目标观测物体以外的光线或电子进入物镜，使目镜中观测到的视野背景
是黑的，只有物体的边缘是亮的，使得暗场光散射成像具有高信噪比。
23.深度学习(deep learning，dl)，学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。
24.resunet 模型，是将resunet作为主要架构，resunet使用了深度残差学习和u
‑
net的优点。在此基础上，resunet 模型还增加残差层挤压和激励层、空洞空间卷积池化金字塔(atrous spatial pyramid pooling，aspp)、以及注意层，resunet 模型充分将深度残差学习能力和u
‑
net结构特征融合能力相结合，构建更深层次的u型结构网络。
25.卷积神经网络(convolutional neural networks，cnn)，是一种前馈神经网络，人工神经元可以响应周围单元，可以进行大型图像处理。卷积神经网络包括一维卷积神经网络、二维卷积神经网络以及三维卷积神经网络。一维卷积神经网络常应用于序列类的数据处理；二维卷积神经网络常应用于图像类文本的识别；三维卷积神经网络主要应用于医学图像以及视频类数据识别。
26.最近邻插值(nearest_neighbor)，也称作零阶插值，就是令变换后像素的灰度值等于距它最近的输入像素的灰度值。
27.双线性插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。双线性插值作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理等方面。
28.双三次插值，又叫双立方插值，用于在图像中"插值"(interpolating)或增加"像素"(pixel)数量/密度的一种方法。通常利用插值技术增加图形数据，以便在它打印或其他形式输出的时候，能够增大打印面积以及(或者)分辨率。
29.需要说明的是，本技术实施例提供的分辨率提升方法可以被电子设备执行，这里的电子设备是指具有执行计算机程序功能的设备终端或者服务器，设备终端例如：智能手机、个人电脑(personal computer，pc)、平板电脑、个人数字助理(personal digital assistant，pda)、移动上网设备(mobile internet device，mid)、网络交换机或网络路由器等。
30.下面介绍本技术实施例提供的分辨率提升方法的应用场景，具体例如：在活细胞内、生命体或其他环境的复杂背景下特异性对金属纳米颗粒的等离子进行成像，获取待处理图像，然后通过超分辨模型对待处理图像进行进一步的处理，以提升等离子进行成像的分辨率。通过上述方式，可以获得金属纳米颗粒在活细胞内、生命体或其他环境的复杂背景下分辨率更高的图像。此处的图像用法具体例如，利用金属纳米颗粒图像进行医疗诊断、对探针与细胞的相互过程进行研究，或者，对金属纳米颗粒细胞中的受限运动以及内吞进入细胞的过程进行研究，由于提供的金属纳米颗粒图像分辨率更加高，因此提高了诊断或研究结果的可靠性。请参见图1示出的本技术实施例提供的分辨率提升方法的在服务器上执行分辨率提升的流程示意图；该分辨率提升方法的主要思路是，通过超分辨模型对暗场显微镜处理得到的等离子体的待处理图像进行编码、采样和解码，进行抽象特征识别和特征提取，从而获得待处理图像的高层语义信息和底层语义信息，通过对高层语义信息和底层语义信息的融合以提高等离子体的待处理图像的分辨率，其中上述超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本
图处理，获取的第二样本图像进行训练获得的。该方法包括：
31.步骤s100:获得等离子体的待处理图像。
32.在上述步骤s100中，获取等离子体的待处理图像包括但不限于以下三种方式：第一种方式，通过暗场显微镜对等离子体进行处理，获得等离子体的暗场图像，并将等离子体的暗场图像作为待处理图像。暗场显微成像技术是当前广泛使用的显微成像技术之一。利用暗场显微镜可以有效地观察到纳米颗粒的等离子共振散射信号，并根据信号的光谱和颜色对纳米颗粒进行特异性识别：并且，暗场显微镜中配备了暗场聚光镜能够只让斜射的光照射到金属纳米颗粒样品上，从而屏蔽了来自光源的背景信号，同时，由于获取的信号是来自金属纳米颗粒的高效率的瑞利(rayleigh)散射光，使得暗场光散射成像具有高信噪比的优点。因此，在暗场显微镜的暗场模式下，可以有效观察到纳米颗粒的等离子共振散射信号，并根据信号的光谱和颜色对纳米颗粒进行特异性的识别。然后，对暗场显微镜下获得的图像进行切片处理，以获取待处理图像。
33.第二种方式，获取预先储存的待处理图像。例如，从文件夹或者数据库中获取待处理图像。
34.第三种方式，接收第三方设备发送的待处理图像。需要注意的是，第二种方式和第三种方式获取的待处理图像是暗场显微技术下的等离子体图像。
35.在步骤s100之后，执行步骤s200:使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图。
36.请参见图2示出的本技术实施例提供的超分辨率模型的示意图；其中，超分辨模型是第一样本图像和第二样本图像进行训练获得的，第一样本图像是使用暗场显微镜获取等离子体的暗场图像，第二样本图像是使用电子显微镜获取等离子体的电子图像，并根据电子图像对第一样本图像进行处理获得的，第一样本图像的分辨率低于第二样本图像的分辨率；具体的，首先，获取暗场显微镜处理后的等离子低分辨图像以及电子显微镜处理后的等离子高分辨图像。对上述低分辨图像和高分辨图像进行预处理以获取多个第一样本图像和第二样本图像；其中，预处理包括以下步骤：
37.步骤一：对低分辨图像进行切片,使得每张样本图像中只包含了区分不开的等离子体颗粒，其中经过切片处理的低分辨图像为第一样本图像。
38.步骤二:根据高分辨图像对切片后的低分辨图像进行手工标注，以确定等离子体的精确位置，并根据手工标注对地分辨图像进行掩膜处理，经过手工标注、掩膜处理和切片处理的图像即为第二样本图像。
39.然后，将第一样本图像和第二样本图像进行配对，形成数据对，根据多个数据对训练nanonet模型，获得超分辨模型。在具体的实践过程中，该nanonet模型的主干网络可以采用resunet 体系结构的神经网络模型。
40.上述编码模块包括网络加深模块和子下采样模块，其中，网络加深模块用于对步骤s100中的等离子的待处理图像进行特征提取，获得第一编码特征图，子下采用模块用于对第一编码特征图进行下采用以获得编码特征图，请参见图2，具体的，网络加深模块的执行步骤包括：
41.步骤s210:使用网络加深模块中的第一卷积层对待处理图像进行卷积处理，获得第一卷积特征图。
42.在步骤s210中卷积层(conv2d(3*3))的卷积处理的方式为通过64种不同的滤波器对待处理图像进行卷积。其中，输入的待处理图像的像素为256*256，通道数是3(r通道，g通道，b通道)，通过卷积层的卷积处理得到待处理图像的64个维度的特征，即得到64个第一卷积特征图。
43.在步骤s210之后，执行步骤s211:使用网络加深模块中的归一化激活层对第一卷积特征图进行归一化处理，获得第一归一化特征图。
44.归一化激活层包括批量归一化(batch normalization，bn)函数和非线性激活(rectified linear units，relu)函数。其中bn函数可以避免梯度爆炸和消失，而relu函数用于防止梯度消失。经过归一化激活层后，得到的第一归一化特征图的像素为256*256，通道数为64。
45.在步骤s211之后，执行步骤s212:使用网络加深模块中的第二卷积层对第一归一化特征图进行卷积处理，获得第二卷积特征图。
46.步骤s211中的卷积层对第一归一化特征图进行再卷积可以增加卷积深度，从而获得更多的图像特征。经过归步骤s211的卷积层后，得到的第二卷积特征图的像素为256*256，通道数为64。
47.在步骤s212之后，执行步骤s213:使用网络加深模块中的残差层对第二卷积特征图进行残差处理，获得第一编码特征图。
48.其中，步骤s213中的残差层(addition)能够避免增加网络深度时网络退化的问题。经过残差层后，得到的第一编码特征图的像素为256*256，通道数为64。
49.请参见图2，子下采样模块包括：第一子下采样模块、第二子下采样模块、第三子下采样模块；其中，第一子下采样模块对第一编码特征图进行下采样，获得第一下采样特征图；第二子下采样模块对第一下采样特征图进行下采样，获得第二下采样特征图；使用第三子下采样模块对第二下采样特征图进行下采样，获得编码特征图。
50.具体的，每一个子下采样模块都包括：挤压激励层、第一归一化激活层、第一卷积层、第二归一化激活层、第二卷积层和残差层。其中，每个子下采样模块的执行步骤包括：
51.步骤s213后，执行步骤s220:使用挤压激励层对输入的图像的特征权重进行校准，获得校准后的特征权重。
52.其中，输入的图像指的是输入子下采样模块的图像。例如，对第一子下采样模块而言，输入的图像为第一编码特征图；对第二子下采样模块而言，输入的图像为第一下采样特征图；对第三子下采样模块而言，输入的图像为第二下采样特征图。挤压激励层，即挤压和激励(suqeeze&excite，se)块，其目的是通过显式地建模其卷积特征的通道之间的相互依赖性来提高网络产生的表示质量，通过se块学习使用全局信息来选择性地强调信息性特征，并抑制不太有用的特征。
53.在步骤s220之后，执行步骤s221:使用子下采样模块的第一归一化激活层对校准后的特征权重进行归一化处理，获得子采样模块的第一下采样归一化特征图。
54.步骤s221就第一子下采样模块而言，为使用第一子下采样模块中的第一归一化激活层对校准后的特征权重进行归一化处理，获得第一下采样归一化特征图。
55.在步骤s221之后，执行步骤s222:使用第一卷积层对子采样模块的第一下采样归一化特征图进行下采样，获得子采样模块的第一下采样卷积特征图。
56.需要注意的是，上述步骤s222中的卷积层的卷积核步长为2，通过步骤s222的卷积层得到的第一下采样卷积特征图的像素为原来的一半，通道数为原来的2倍。例如，对第一子下采样模块而言，步骤s222为使用第一子下采样模块中的第一卷积层对第一下采样归一化特征图进行下采样，获得第一下采样卷积特征图。
57.在步骤s222之后，执行步骤s223:使用第二归一化激活层对子采样模块的第一下采样卷积特征图进行归一化处理，获得子采样模块的第二下采样归一化特征图。
58.就第一子下采样模块而言，步骤s223为使用第一子下采样模块中的第二归一化激活层对第一下采样卷积特征图进行归一化处理，获得第二下采样归一化特征图。
59.在步骤s223之后，执行步骤s224:使用第二卷积层对子下采样模块的第二下采样归一化特征图进行卷积，获取子下采样模块的第二下采样卷积特征图。
60.就第一子下采样模块而言，步骤s224为使用第一子下采样模块中的第二卷积层对第二下采样归一化特征图进行卷积，获取第二下采样卷积特征图。
61.在步骤s224之后，执行步骤s225:使用子下采样模块的残差层对第二下采样特征图和校准后的特征权重进行残差处理，获得子模块的下采样特征图。
62.就第一子下采样模块而言，步骤s225为使用第一子下采样模块中的残差层对第二下采样特征图和校准后的特征权重进行残差处理，获得第一下采样特征图。
63.可以理解地是，上述步骤s220
‑
步骤s224中的第一归一化激活层、第二归一化激活层、第二卷积层以及残差层与网络加深模块中的卷积层、归一化激活层和残差层一样。
64.在步骤s200之后，执行步骤s300:使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图。
65.在上述步骤s300中，桥接模块为aspp，通过aspp可以对步骤s200中获得的编码特征图以不同采样率的空洞卷积并行采样，以扩大了图像的上下文的捕捉比例范围，从而精确地捕获多尺度信息。
66.在步骤s300之后，执行步骤s400：使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像。
67.其中，解码模块包括子上采样模块和输出模块，子上采样模块用于对采样后的特征图进行上采样，获得上采样特征图；输出模块用于对上采样特征图进行处理后输出，获得处理后的图像。
68.请参见图2，子上采样模块包括：第一子上采样模块、第二子上采样模块、第三子上采样模块；其中，第一子上采样模块对第二下采样特征图和采样后的特征图进行上采样，获得第一上采样特征图；第二子上采样模块对第一下采样特征图和第一上采样特征图进行上采样，获得第二上采样特征图；第三子上采样模块对第一编码特征图和第二上采样特征图进行上采样，获得上采样特征图。
69.同时，每一个子上采样模块都包括：注意层、上采样层、连接层、第一归一化激活层、第一反卷积层、第二归一化激活层、第二反卷积层和残差层。
70.具体的，每个子上采样模块的执行步骤，包括：
71.步骤s410:使用子上采样模块中的注意层对对应的编码特征图和初始化特征图进行注意力计算，获得子上采样模块的注意特征图。注意层(attention)，用于给像素点分配不同的权重，增强提升最终效果的特征质量。经过注意力层后，特征图的尺度不变，通道数
不变。其中，步骤s410中，对应的编码特征图和初始化特征图，具体而言，第一子上采样模块为第二下采样特征图和采样后的特征图，第二子上采样模块为第一下采样特征图和第一上采样特征图，第三子上采样模块为第一编码特征图和第二上采样特征图。就第一上采样子模块而言，步骤s410为使用第一子上采样模块中的注意层对第二下采样特征图和采样后的特征图进行注意力计算，获得第一注意特征图。
72.在步骤s410后，执行s411:使用子上采样模块中的上采样层对子上采样模块的第一注意特征图进行上采样，获取子上采样模块的第一上采样子特征图。
73.通过上采样层(upsampling)可以将子上采样模块的第一注意特征图的像素增加一倍，但并不改变其通道数量。其中，上采样的方式可以使用插值算法来获得，插值算法具体例如：最近邻插值算法、双线性插值算法和双三次插值算法。就第一上采样子模块而言，步骤s411为使用第一子上采样模块中的上采样层对第一注意特征图进行上采样，获取第一上采样子特征图。第一上采样子特征图的像素为64*64，通道数为512。
74.在步骤s411后，执行s412:使用子上采样模块中的连接层对对应的编码特征图和该子上采样模块的第一上采样子特征图进行连接，获得子上采样模块的第一连接特征图；
75.连接层(concatenate)，既保留了对应的编码特征图高层语义信息，又保留了子上采样模块的第一上采样子特征图的底层语义信息。步骤s412中，第一上采样模块、第二上采样模块和第三上采样模块的对应的编码特征图与步骤s410一致。就第一上采样子模块而言，步骤s412为使用第一子上采样模块中的连接层对第二下采样特征图和第一上采样子特征图进行连接，获得第一连接特征图。
76.在步骤s412后，执行s413:使用子上采样模块中的第一归一化激活层对子上采样模块的第一连接特征图进行归一化处理，获得子上采样模块的第一上采样归一化特征图。
77.就第一上采样子模块而言，步骤s413为使用第一子上采样模块中的第一归一化激活层对第一连接特征图进行归一化处理，获得第一上采样归一化特征图。
78.在步骤s413后，执行步骤s414:使用子上采样模块中的第一反卷积层(convtranspose2d)对子上采样模块的第一上采样归一化特征图进行反卷积，获得子上采样模块的第一反卷积特征图。
79.就第一上采样子模块而言，步骤s414为使用第一子上采样模块中的第一反卷积层对第一上采样归一化特征图进行反卷积，获得第一反卷积特征图。
80.在步骤s414后，执行s415:使用子上采样模块中的第二归一化激活层对子上采样模块的第一反卷积特征图进行归一化处理，获得子上采样模块的第二上采样归一化特征图。
81.就第一上采样子模块而言，步骤s415为使用第一子上采样模块中的第二归一化激活层对第一反卷积特征图进行归一化处理，获得第二上采样归一化特征图。
82.在步骤s415后，执行步骤s416:使用子上采样模块中的第二反卷积层对子上采样模块的第二上采样归一化特征图进行反卷积，获得子上采样模块的第二反卷积特征图。
83.就第一上采样子模块而言，步骤s416为使用第一子上采样模块中的第二反卷积层对第二上采样归一化特征图进行反卷积，获得第二反卷积特征图。
84.在步骤s416后，执行步骤s417:使用子上采样模块中的残差层对子上采样模块的第二反卷积特征图进行残差处理，获得该子上采样模块对应的上采样特征图。
85.就第一上采样子模块而言，步骤s417为使用第一子上采样模块中的残差层对第二反卷积特征图进行残差处理，获得第一上采样特征图。
86.其中，步骤s413
‑
s416中卷积层、归一化激活层、残差层与网络加深层中卷积层、归一化激活层、残差层一样。
87.步骤s400之后，执行步骤s500:使用输出模块对上采样特征图进行输出处理，获得处理后的图像。
88.其中步骤s500包括以下步骤：
89.步骤s510:使用输出模块中的池化(aspp)层对上采样图像进行特征提取，获得第一输出图像。
90.步骤s520:使用输出模块中的卷积层(conv2d 1*1)对第一输出图像进行卷积处理，获得第二输出图像。
91.其中，第二输出图像为像素为256*256的图像。
92.步骤s530:使用模块中的sigmoid层进行激活处理，得到处理后的图像。
93.其中，处理后的图像为只有0和1的二值图像。
94.通过上述实现方式，可以实现对10nm的两个颗粒进行识别。
95.请参见图3示出的本技术实施例提供的分辨率提升装置的结构示意图；本技术实施例提供了一种分辨率提升装置600，包括：
96.图像获得模块601，用于获得等离子体的待处理图像，所述等离子体的待处理图像是通过暗场显微镜处理后的图像。
97.图像编码模块602，用于使用超分辨模型中的编码模块对待处理图像进行编码，获得编码特征图，超分辨模型是使用暗场显微镜获取的第一样本图像和根据电子显微镜对等离子体进行处理后的图像对第一样本图处理，获取的第二样本图像进行训练获得的，第一样本图像的分辨率低于第二样本图像的分辨率。
98.图像采样模块603，使用超分辨模型中的桥接模块对编码特征图进行采样，获得采样后的特征图。
99.图像解码模块604，用于使用超分辨模型中的解码模块对采样后的特征图进行解码，获得处理后的图像，处理后的图像的分辨率高于待处理图像的分辨率。
100.请参见图4示出的本技术实施例提供的电子设备的结构示意图。本技术实施例提供的一种电子设备700，包括：处理器710和存储器720，存储器720存储有处理器710可执行的机器可读指令，机器可读指令被处理器710执行时执行如上的方法。
101.本技术实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上的方法。
102.其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory,简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read
‑
only memory,简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory,简称eprom)，可编程只读存储器(programmable red
‑
only memory,简称prom)，只读存储器(read
‑
only memory,简称rom)，磁存储器，快闪存储器，磁盘或光盘。
103.本技术实施例提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通
过其他的方式实现。以上所描述的装置实施例仅是示意性的，例如，附图中的流程图和框图显示了根据本技术实施例的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以和附图中所标注的发生顺序不同。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这主要根据所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以使用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
104.另外，在本技术实施例中的各个实施例的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
105.在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
106.以上的描述，仅为本技术实施例的可选实施方式，但本技术实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术实施例揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术实施例的保护范围之内。