基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备

1.本发明涉及图像识别技术领域，尤其涉及一种基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备。


背景技术：

2.目前，对于复杂细胞环境中生物大分子的相互作用机理及功能的探究需在真实的细胞环境中进行。冷冻电子断层成像技术（cryo-et）能够实现在接近亚纳米分辨率下观察大分子复合物的原始构象，从而进一步揭示它们的空间分布和组织关系。然而，由于冷冻电子断层图像的信噪比很低，且有限倾斜角度会使断层图中的三维颗粒的部分结构失真，使得手工挑选成千上万的颗粒费时费力，如何自动且准确地定位大分子颗粒是目前cryo-et亟需解决的一个核心问题。
3.现有技术中，颗粒的挑选方法主要包括以下三种：（1）、模板匹配方法（template matching，tm），其中，模板的位置和取向的最佳匹配是通过最大化模板与断层图的互相关来确定的，然而，模板匹配方法在挑选颗粒过程中，过度依赖模板质量，互相关阈值较难手动调节，每次只能挑选一种颗粒，颗粒挑选时间随类别数线性增长，且在低信噪比条件下会检测到较多假阳性颗粒，导致对颗粒的定位速度和定位精度降低。
4.（2）、高斯差分方法（difference of gaussians，dog），使用带通滤波器去除高频和低频成分来挑选颗粒，但是，该方法的性能在很大程度上取决于选定的高斯滤波器。
5.（3）、基于深度神经网络的方法对冷冻电镜电子断层图像进行颗粒挑选，然而，采用深度神经网络进行颗粒挑选过程中，会存在如模型存在大量权重参数、真实掩码缺失、对大目标颗粒定位较佳而对小目标颗粒定位较差等问题，导致颗粒挑选精度较低的情况。


技术实现要素：

6.本发明提供一种基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备，用以解决现有技术中颗粒挑选精度和速度较低的缺陷，实现在真实的冷冻电镜电子断层图像中自动、高效、准确地挑选颗粒。
7.本发明提供一种基于深度学习的冷冻电镜颗粒挑选方法，包括：获取目标冷冻电镜图像；将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征类别的分割图像，所述类别包括背景类别或颗粒类别；对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
8.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，所述将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征颗粒类别的分割图像，包括：
对所述目标冷冻电镜图像进行第一采样，获得子目标电镜图像，所述第一采样为利用预设尺寸的目标块，以预设步长对所述目标冷冻电镜图像采样；将所述子目标电镜图像输入所述颗粒分割模型，确定用于表征类别的预分割图像；基于所述预设步长，对所述预分割图像进行重叠分区，确定所述分割图像，所述分割图像以所述预设步长为边长。
9.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，所述对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标，包括：基于第一预设阈值，将所述分割图像转化为二进制图像；对所述二进制图像进行第一预设次数的均值池化操作，确定平均池化图像；对所述平均池化图像进行非极大值抑制操作，确定操作结果，所述操作结果包括：非极大值抑制图像及所述非极大值抑制图像中的局部最大值；在所述非极大值抑制图像包括至少一个局部最大值的情况下，将所述至少一个局部最大值的位置坐标确定为至少一个颗粒的中心坐标。
10.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，在所述局部最大值的数量不小于1的情况下，将不小于第一阈值的局部最大值的位置坐标确定为颗粒的中心坐标。
11.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，在所述局部最大值的数量不小于2的情况下，若相邻两个局部最大值的最小欧氏距离小于第二阈值，将所述相邻两个局部最大值中的最大局部最大值的位置坐标确定为颗粒的中心坐标。
12.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，在所述颗粒分割模型进行监督训练之前，对样本冷冻电镜电子断层图像进行数据增强，所述数据增强包括随机裁剪、镜像转换、第一预设范围内的弹性形变、第二预设范围内的缩放和第三预设范围内的随机旋转的至少一种。
13.根据本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，所述颗粒分割模型是基于以下步骤训练得到的：确定以颗粒坐标为中心的颗粒弱标签，所述颗粒弱标签为标注颗粒中心及颗粒类别的噪声掩码；对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行第二采样，获得子断层图和子弱标签，所述子弱标签中包括至少一个颗粒，所述第二采样为以标注的颗粒坐标随机偏移小于第一预设数量的体素得到的偏移坐标为中心，对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行采样；基于所述子断层图和对应的子弱标签，对预先构建的颗粒分割模型进行监督训练，得到训练好的所述颗粒分割模型。
14.本发明还提供一种基于深度学习的冷冻电镜颗粒挑选装置，包括：获取模块，用于获取目标冷冻电镜图像；输出模块，用于将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征颗粒
类别的分割图像，所述类别包括背景类别或颗粒类别；确定模块，用于对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
15.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于深度学习的冷冻电镜颗粒挑选方法。
16.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于深度学习的冷冻电镜颗粒挑选方法。
17.本发明提供的基于深度学习的冷冻电镜颗粒挑选方法、装置和电子设备，将目标冷冻电镜图像输入颗粒分割模型，将多种类别的颗粒从目标冷冻电镜图像中进行分割，并对分割后的图像进行平均池化-非极大值抑制操作，在减小特征提取误差的同时，通过非极大值抑制，将分割图像中的局部最大值的位置坐标确定为颗粒的中心坐标，提高了颗粒的挑选准确度和挑选速度。
附图说明
18.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
19.图1是本发明提供的基于深度学习的冷冻电镜颗粒挑选方法的流程示意图；图2是本发明提供的球体掩码的切片示意图；图3是本发明提供的高斯掩码的切片示意图；图4是本发明提供的立方掩码的切片示意图；图5是本发明提供的颗粒分割模型的结构示意图；图6是本发明提供的重叠分区的二维分割示意图；图7是本发明提供的局部最大值的确定示意图；图8是本发明提供的基于深度学习的冷冻电镜颗粒挑选装置的结构示意图；图9是本发明提供的电子设备的结构示意图。
具体实施方式
20.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
21.针对现有技术中颗粒挑选精度和速度较低的问题，本发明提供一种基于深度学习的冷冻电镜颗粒挑选方法，图1是本发明提供的基于深度学习的冷冻电镜颗粒挑选方法的流程示意图，如图1所示，该方法包括：步骤110、获取目标冷冻电镜图像；
步骤120、将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征类别的分割图像，所述类别包括背景类别或颗粒类别；步骤130、对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
22.具体地，通过将真实的目标冷冻电镜图像输入预先训练好的颗粒分割模型，通过提取目标冷冻电镜图像的高维特征，对目标冷冻电镜图像中感兴趣颗粒进行分割，得到包含不同类别颗粒或属于背景类别的分割图像，并通过对分割图像进行平均池化和非极大值抑制操作，确定分割图像的操作结果，若操作结果包括至少一个局部最大值，表明该分割图像中存在至少一个颗粒，从而通过该局部最大值的位置坐标确定感兴趣颗粒的中心坐标，以实现颗粒的准确定位，且通过轻量级颗粒分割模型和平均池化-非极大值抑制操作，提高颗粒坐标的获取速度。
23.可选地，在执行步骤120之前，需构建训练数据集对预先构建的初始颗粒分割模型进行监督训练，训练数据集中可以包括完整的冷冻电镜断层图像及其对应的颗粒弱标签，由于内存的限制，完整的冷冻电镜断层图像通常无法直接输入初始颗粒分割模型，因此，训练数据集中还可以包括对完整的冷冻电镜断层图像进行裁剪后的图像及其位置信息相对应的裁剪后的颗粒弱标签。
24.可选地，在所述颗粒分割模型进行监督训练之前，对样本冷冻电镜电子断层图像进行数据增强，所述数据增强包括随机裁剪、镜像转换、第一预设范围内的弹性形变、第二预设范围内的缩放和第三预设范围内的随机旋转的至少一种。
25.具体地，为进一步丰富训练数据集内的样本，提高初始颗粒分割模型的泛化能力，训练数据集内还可以包括对样本冷冻电镜电子断层图像进行随机增强后的数据。
26.可选地，构建训练数据集时，受到冷冻电镜断层图像低信噪比和重建伪影的限制，人工进行体素级注释以获取颗粒真实掩码的难度较大且耗时较长，因此，本发明中，通过标注颗粒坐标中心，进而自动生成噪声掩码，大幅度降低人工标注的任务量，且加快训练数据集的构建速度。本发明中，提供了三种噪声掩码作为颗粒弱标签，与样本冷冻电镜电子断层图像一同输入初始颗粒分割模型进行监督训练，其中，噪声掩码包括球体掩码、高斯掩码和立方掩码，可选取任意一种噪声掩码近似替代真实掩码。
27.可选地，噪声掩码与真实掩码相比，可视为一种带有标签噪声的弱标签，噪声掩码的值可以为各体素所属类别的索引值，该噪声掩码以颗粒的中心为原点，为便于确定颗粒的中心，噪声掩码的长宽高可以为奇数2r 1，还可以为偶数2r。
28.示例地，图2是本发明提供的球体掩码的切片示意图，如图2所示，该球体掩码为以内部颗粒的中心为原点，长宽高均为23，掩码内球体的半径r=11，在不同高度下，截取球体掩码的切片，则球体掩码如式（1）所示，式（1）为：其中，表示球体掩码的长，表示球体掩码的宽，表示球体掩码的高，且、
和的取值范围均为，表示各体素所属类别的索引值，如，为0时，表示该体素所属类别为背景，为1时，表示该体素所属类别为第一类颗粒，为2时，表示该体素所属类别为第二类颗粒。
29.示例地，图3是本发明提供的高斯掩码的切片示意图，如图3所示，该高斯掩码为以颗粒的中心为原点，长宽高均为23，掩码内球体的半径r=11，则高斯掩码如式（2）所示，式（2）为：其中，表示预设参数。
30.示例地，图4是本发明提供的立方掩码的切片示意图，如图4所示，该立方掩码为以颗粒的中心为原点，长宽高均为23，掩码内球体的半径r=11，则立方掩码如式（3）所示，式（3）为：可选地，所述颗粒分割模型是基于以下步骤训练得到的：确定以颗粒坐标为中心的颗粒弱标签，所述颗粒弱标签为标注颗粒中心及颗粒类别的噪声掩码；对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行第二采样，获得子断层图和子弱标签，所述子弱标签中包括至少一个颗粒，所述第二采样为以标注的颗粒坐标随机偏移小于第一预设数量的体素得到的偏移坐标为中心，对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行采样；基于所述子断层图和对应的子弱标签，对预先构建的颗粒分割模型进行监督训练，得到训练好的所述颗粒分割模型。
31.具体地，构建完训练数据集后，对初始颗粒分割模型进行训练时，由于真实的样本冷冻电镜电子断层图像中属于背景的体素占比较大，感兴趣颗粒的比例相对较小，且小目标颗粒的比例相对更小，考虑到小目标颗粒的准确挑选以及避免对背景的过度分割，本发明实施例中，采用训练数据集对初始颗粒分割模型进行监督训练时，对训练数据进行第二采样，即以标注的颗粒坐标随机偏移小于第一预设数量的体素得到的偏移坐标为中心，提取包含至少一个颗粒的子断层图和子弱标签，确保训练数据中的所有颗粒均被采样，且确保每个子断层图和子弱标签中分别至少包含一个颗粒，便于初始颗粒分割模型进行学习。
32.此外，采用颗粒弱标签以近似代替真实掩码，显著降低了训练过程中的标注成本，避免了真实掩码受到样本冷冻电镜电子断层图像低信噪比和重建伪影的限制。
33.需要说明的是，上述第一预设数量可以为n，则第二采样时可以标注的颗粒坐标偏移[0，n）范围内随机数量的体素，得到偏移坐标。
[0034]
可选地，上述对颗粒坐标的标注方法可以为人工标注，还可以为通过标注软件进行自动标注，也可以为上述两种方式的组合。
[0035]
可选地，初始颗粒分割模型采用adamw优化器进行训练，基于输出的预测结果与真值确定损失函数，并通过损失函数更新初始颗粒分割模型中的参数。
[0036]
可选地，由于样本冷冻电镜电子断层图像中，感兴趣颗粒与背景所占的比例相差较大，导致正负样本不平衡，因此，本发明实施例中，损失函数可以为dice损失，即通过计算用于表示预测标签的分割图像与颗粒弱标签的相似度，进而确定dice损失，dice损失越小，表示分割图像与颗粒弱标签的相似度越大，dice损失如式（4）所示，式（4）为：其中，n表示子断层图的边长，表示初始颗粒分割模型输出的分割图像，且表示三维实数，表示子断层图的体素索引，表示子断层图对应的颗粒弱标签，表示常数，用于防止式（4）中分母为零。
[0037]
可选地，所述将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征颗粒类别的分割图像，包括：对所述目标冷冻电镜图像进行第一采样，获得子目标电镜图像，所述第一采样为利用预设尺寸的目标块，以预设步长对所述目标冷冻电镜图像采样；将所述子目标电镜图像输入所述颗粒分割模型，确定用于表征类别的预分割图像；基于所述预设步长，对所述预分割图像进行重叠分区，确定所述分割图像，所述分割图像以所述预设步长为边长。
[0038]
具体地，在经过上述训练后，得到训练好的颗粒分割模型之后，以预设尺寸的目标块，并以预设步长对目标冷冻电镜图像进行扫描采样，其中，预设步长为s，目标块为长宽高均为n的立方体，使得采样所得的子目标电镜图像为长宽高均为n的立方体，将该立方体输入颗粒分割模型，进而得到边长为n的预分割图像，进一步地，为降低边缘体素分割精度差的负面影响，在预分割图像的基础上，通过超参数，确定分割图像的边长。
[0039]
示例地，图5是本发明提供的颗粒分割模型的结构示意图，如图5所示，以颗粒分割模型为3d-resunet网络为例，颗粒分割模型为编码器-解码器结构，编码器包括第一残差块、第二残差块、第三残差块和第四残差块，第一残差块至第四残差块内均包含坐标卷积层，用于实现子断层图内各体素的坐标变换，编码器内包括三个下采样动作，依次设于第一残差块和第二残差块之间、第二残差块和第三残差块之间、以及第三残差块和第四残差块之间，用于逐层提取子断层图的高维特征；解码器包括第五残差块、第六残差块和第七残差块，第四残差块提取的高维特征信息通过上采样操作输入第五残差块，解码器包括三个上采样动作，且通过三维转置卷积对高维特征信息进行上采样，且依次设于第四残差块和第五残差块之间、第五残差块和第六残差块之间和第六残差块和第七残差块之间，最终输出多个类别的分割图像，整个颗粒分割模型呈倒金字塔结构，提高颗粒定位性能。
[0040]
可选地，上采样和下采样中，可以将elu作为激活函数，用于加速收敛，以提高颗粒挑选速度。
[0041]
可选地，图6是本发明提供的重叠分区的二维分割示意图，如图6所示，以二维图像为例，由于预分割图像中边缘像素分割精度较差，为了消除对边缘像素的误分割，将边长为n的预分割图像进行重叠分区，即从预分割图像的边缘向中心缩进预设距离，该预设距离为超参数pad_size，超参数pad_size的大小决定了分割图像的边长s，其中，s=n-2*pad_size，最终，只保留长、宽、高范围分别在[pad_size：n-pad_size，pad_size：n-pad_size，pad_size：n-pad_size]内的局部最大值即可。此外，在颗粒分割模型的预测阶段，在对目标冷冻电镜图像进行采样时，可以以s作为预设步长进行扫描采样。
[0042]
可选地，所述对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标，包括：基于第一预设阈值，将所述分割图像转化为二进制图像；对所述二进制图像进行第一预设次数的均值池化操作，确定平均池化图像；对所述平均池化图像进行非极大值抑制操作，确定操作结果，所述操作结果包括：非极大值抑制图像及所述非极大值抑制图像中的局部最大值；在所述非极大值抑制图像包括至少一个局部最大值的情况下，将所述至少一个局部最大值的位置坐标确定为至少一个颗粒的中心坐标。
[0043]
具体地，为快速获取颗粒的中心坐标，本发明实施例中，将分割图像转换为二进制图像后，通过对分割图像进行平均池化操作及非极大值抑制操作，由于颗粒分割模型输出的分割图像表示各体素所属类别，若分割图像属于背景类别时，分割图像中不存在颗粒，若分割图像属于颗粒类别时，分割图像中存在至少一个颗粒，相应的，对分割图像进行平均池化-非极大值抑制操作后，通过将分割图像的体素逐渐接近背景的体素值，以确定包括非极大值抑制图像及至少一个局部最大值的操作结果，并将局部最大值的位置坐标确定为颗粒坐标。
[0044]
示例地，图7是本发明提供的局部最大值的确定示意图，如图7所示，将分割图像进行1次平均池化操作，即，将分割图像基于第一预设阈值转换后的二进制图像，对二进制图像进行一次平均池化操作后，二进制图像中掩码边缘的体素更接近背景值，对平均池化图像进行非极大值抑制操作，即基于第一预设阈值对平均池化图像进行转换，随着平均池化操作的次数增加，二进制图像中所有的体素最终均会被改变，而在全部被改变之后，确定图像的局部最大值，而每个局部最大值均可被确定为候选颗粒中心，且局部最大值越大，被预测为颗粒中心的概率就越高。如图7所示，随着平均池化次数的增加，非极大值抑制图像中的背景区域越发增大，且基于非极大值抑制图像的对角线曲线可知，在平均池化次数为8时，非极大值抑制图像中存在两个局部最大值，表明分割图像中可能包括两个颗粒，可通过局部最大值，进一步获取对应颗粒的中心坐标。
[0045]
可选地，上述平均池化-非极大值抑制操作可基于gpu进行加速，以实现颗粒坐标的快速计算，进而提升颗粒挑选的速度。
[0046]
可选地，在所述局部最大值的数量不小于1的情况下，将不小于第一阈值的局部最大值的位置坐标确定为颗粒的中心坐标。
[0047]
具体地，由于局部最大值的值与颗粒的体积成正相关，根据经验值对局部最大值进行判断，若局部最大值小于常规的颗粒体积值，则局部最大值较小的颗粒有极大概率为误检测，可将不小于第一阈值的局部最大值的位置坐标确定为颗粒的中心坐标，将小于第一阈值的局部最大值对应的体素的类别确定为背景，以避免重复检测，进而降低误检概率，提高颗粒挑选的准确度。
[0048]
可选地，在所述局部最大值的数量不小于2的情况下，若相邻两个局部最大值的最小欧氏距离小于第二阈值，将所述相邻两个局部最大值中的最大局部最大值的位置坐标确定为颗粒的中心坐标。
[0049]
具体地，颗粒分割模型在对目标冷冻电镜图像进行分割时，由于信号不稳定，导致颗粒分割模型对同一颗粒进行重复检测，使得将同一颗粒检测为两个颗粒，且两个颗粒相近。在上述情况下，若相邻两个局部最大值的最小欧式距离小于第二阈值，则可将最小局部最大值对应的体素的类别确定为背景，将最大局部最大值的位置坐标确定为颗粒的中心坐标，以提高颗粒挑选的准确度。
[0050]
可选地，本发明实施例中的基于深度学习的冷冻电镜颗粒挑选方法，可以用python语言实现，并实现开源软件，其图形界面操作简便，功能完善。开源软件中集成的操作包括但不限于：手动标注颗粒、标注颗粒的可视化、断层图预处理、颗粒弱标签的生成以及模型的训练和应用等。
[0051]
本发明提供的基于深度学习的冷冻电镜颗粒挑选方法，将目标冷冻电镜图像输入颗粒分割模型，将多种类别的颗粒从目标冷冻电镜图像中进行分割，并对分割后的图像进行平均池化-非极大值抑制操作，在减小特征提取误差的同时，通过非极大值抑制，将分割图像中的局部最大值的位置坐标确定为颗粒的中心坐标，提高了颗粒的挑选准确度和挑选速度；此外，在对颗粒分割模型的监督训练过程中，采用标注颗粒中心及颗粒类别的噪声掩码代替真实掩码，解决真实掩码缺失问题的同时，降低人工标注的成本且提高模型训练速度。
[0052]
下面对本发明提供的基于深度学习的冷冻电镜颗粒挑选装置进行描述，下文描述的基于深度学习的冷冻电镜颗粒挑选装置与上文描述的基于深度学习的冷冻电镜颗粒挑选方法可相互对应参照。
[0053]
图8是本发明提供的基于深度学习的冷冻电镜颗粒挑选装置的结构示意图，如图8所示，该基于深度学习的冷冻电镜颗粒挑选装置800，包括：获取模块801、输出模块802和确定模块803，其中：获取模块801，用于获取目标冷冻电镜图像；输出模块802，用于将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征颗粒类别的分割图像，所述类别包括背景类别或颗粒类别；确定模块803，用于对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
[0054]
本发明提供的基于深度学习的冷冻电镜颗粒挑选装置，将目标冷冻电镜图像输入颗粒分割模型，将多种类别的颗粒从目标冷冻电镜图像中进行分割，并对分割后的图像进行平均池化-非极大值抑制操作，在减小特征提取误差的同时，通过非极大值抑制，将分割
图像中的局部最大值的位置坐标确定为颗粒的中心坐标，提高了颗粒的挑选准确度和挑选速度。
[0055]
可选地，输出模块802，具体用于：所述将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征颗粒类别的分割图像，包括：对所述目标冷冻电镜图像进行第一采样，获得子目标电镜图像，所述第一采样为利用预设尺寸的目标块，以预设步长对所述目标冷冻电镜图像采样；将所述子目标电镜图像输入所述颗粒分割模型，确定用于表征类别的预分割图像；基于所述预设步长，对所述预分割图像进行重叠分区，确定所述分割图像，所述分割图像以所述预设步长为边长。
[0056]
可选地，输出模块802，具体用于：在所述颗粒分割模型进行监督训练之前，对样本冷冻电镜电子断层图像进行数据增强，所述数据增强包括随机裁剪、镜像转换、第一预设范围内的弹性形变、第二预设范围内的缩放和第三预设范围内的随机旋转的至少一种。
[0057]
可选地，输出模块802，具体用于：所述颗粒分割模型是基于以下步骤训练得到的：确定以颗粒坐标为中心的颗粒弱标签，所述颗粒弱标签为标注颗粒中心及颗粒类别的噪声掩码；对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行第二采样，获得子断层图和子弱标签，所述子弱标签中包括至少一个颗粒，所述第二采样为以标注的颗粒坐标随机偏移小于第一预设数量的体素得到的偏移坐标为中心，对所述样本冷冻电镜电子断层图像和所述颗粒弱标签进行采样；基于所述子断层图和对应的子弱标签，对预先构建的颗粒分割模型进行监督训练，得到训练好的所述颗粒分割模型。
[0058]
可选地，确定模块803，具体用于：所述对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标，包括：基于第一预设阈值，将所述分割图像转化为二进制图像；对所述二进制图像进行第一预设次数的均值池化操作，确定平均池化图像；对所述平均池化图像进行非极大值抑制操作，确定操作结果，所述操作结果包括：非极大值抑制图像及所述非极大值抑制图像中的局部最大值；在所述非极大值抑制图像包括至少一个局部最大值的情况下，将所述至少一个局部最大值的位置坐标确定为至少一个颗粒的中心坐标。
[0059]
可选地，确定模块803，具体用于：在所述局部最大值的数量不小于1的情况下，将不小于第一阈值的局部最大值的位置坐标确定为颗粒的中心坐标。
[0060]
可选地，确定模块803，具体用于：
在所述局部最大值的数量不小于2的情况下，若相邻两个局部最大值的最小欧氏距离小于第二阈值，将所述相邻两个局部最大值中的最大局部最大值的位置坐标确定为颗粒的中心坐标。
[0061]
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(communications interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行基于深度学习的冷冻电镜颗粒挑选方法，该方法包括：获取目标冷冻电镜图像；将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征类别的分割图像，所述类别包括背景类别或颗粒类别；对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
[0062]
此外，上述的存储器930中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0063]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于深度学习的冷冻电镜颗粒挑选方法，该方法包括：获取目标冷冻电镜图像；将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征类别的分割图像，所述类别包括背景类别或颗粒类别；对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
[0064]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于深度学习的冷冻电镜颗粒挑选方法，该方法包括：获取目标冷冻电镜图像；将所述目标冷冻电镜图像输入颗粒分割模型，输出用于表征类别的分割图像，所述类别包括背景类别或颗粒类别；对所述分割图像进行平均池化-非极大值抑制操作，确定操作结果，在所述操作结
果包括至少一个局部最大值的情况下，基于所述至少一个局部最大值的位置坐标确定所述分割图像中颗粒的中心坐标。
[0065]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0066]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0067]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。