基于增强自编码的电子衍射晶体结构加速重建方法及系统

1.本发明涉及电子衍射晶体结构重建、深度神经网络机器学习和图像分析等技术领域，具体地指一种基于增强自编码的电子衍射晶体结构加速重建方法及系统。


背景技术：

2.随着高强度x射线源、场发射电子枪和记录设备灵敏度的不断改进，电子衍射晶体重构成像方法由于物镜传递函数对衍射强度远低于对相位的影响，得到的高阶衍射斑使重构分辨率能达到0.1nm，以及比高分辨像具有更高的信噪比等优点。其理论研究和科学实验都受到广泛关注。为消除高能电子对材料的辐照损伤，采用脉冲电子束和低剂量衍射成像技术，控制入射电子剂量，使样品在脉冲间隔时间内恢复到基态。
3.为实现同步低剂量成像，传统方法结合电荷反转复合迭代算法与fienup杂化输入输出算法解决晶体重建的相位问题。通过从晶体分辨率模拟动态电子衍射模式中检索相位来重建薄晶体的二维静电势场分布。使用归一化结构因子作为输入以增强正空间中的重构像衬度。动态混合算法解决了由局域最小值引起的程序停滞问题和传统布拉格衍射模式的相位问题，降低了约束方程中未知数的要求。
4.然而传统电荷反转复合迭代算法需要在随机初始相位的基础上不断迭代傅里叶变换得到晶体结构重建结果，其执行速度受到相位初始值的极大影响，较差的初始相位将导致迭代时间长达数小时或数日，较合适的初始相位则能使晶体结构重建时间减少至数十分钟至数小时。
5.另外，原始电镜衍射图与相应最优初始相位的参考数据仍然不足，难以提供大量数据样本进行深度回归训练。由于电荷反转复合迭代算法的迭代计算受相位初始值影响较大，预测一个较好的初始相位是亟待解决的问题。


技术实现要素：

6.本发明针对快速低剂量衍射成像需求和现有技术的不足之处，提出一种基于增强自编码的电子衍射晶体结构加速重建方法及系统，以解决传统算法采用的随机生成相位初始值的方法难以针对不同的晶体结构进行自适应，也无法从历史数据中学习经验和规律的问题。
7.为实现上述目的，本发明所设计的基于增强自编码的电子衍射晶体结构加速重建方法，其特殊之处在于，所述方法包括如下步骤：s1初始相位数据生成：高频脉冲电子束通过光栅和磁透镜打到用于训练的不同样品上分别形成电镜衍射图，得到用于训练的电镜衍射图像集，计算电镜衍射图像集中每张电镜衍射图成像迭代次数最小的初始相位，建立电镜衍射图-初始相位的映射；s2增强自编码网络训练和初始相位测试：通过所述电镜衍射图-初始相位的映射训练增强自编码网络的内参及隐码，训练完成后在测试阶段通过码本检索建立隐码-最优初始相位的映射；
s3低剂量衍射成像：将高频脉冲电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图，通过所述增强自编码网络得到隐码，并根据隐码-最优初始相位的映射预测初始相位；s4算法加速：通过cuda技术提升电镜衍射图与电荷反转复合迭代的算法速度，得到晶体结构成像。
8.优选地，步骤s1中计算电镜衍射图成像迭代次数最小的初始相位时，使用等间距采样选取初始相位，记录不同初始相位条件下采用电荷反转复合迭代算法正确成像的迭代次数，计算每张电镜衍射图迭代次数最小的最优初始相位。
9.优选地，步骤s1计算每张电镜衍射图迭代次数最小的最优初始相位采用贪心算法实现，具体步骤包括：
①
取n
ij
中的最小迭代次数n1和次小迭代次数n2，其中，n
ij
为对应初始相位p
ij
正确成像的迭代次数，n1为对应初始相位p1的最小迭代次数，n2为对应初始相位p2的次小迭代次数；
②
令p3=(p1 p2)/2，输入电荷反转复合迭代成像算法，得到迭代次数n3；
③
如果满足条件n3》n
1 并且 n3》n2，则进入步骤
④
；如果不满足，则令p2=p1，p1=p3，并重复步骤
②
；
④
得到最优初始相位p
prev
=p1。
10.优选地，步骤s2中训练增强自编码网络的内参及隐码的具体步骤包括：将随机噪声g至输入电镜衍射图x∈rw×h，并保持重建目标不变：（1）式中，编码器φ和解码器ψ都是神经网络，x’、z
’ꢀ
表示由编码器生成的衍射图和对应掩码，参数都在损失函数l(i)最小化下训练，i表示输入电镜衍射图像集的索引：（2）式中，i表示电镜衍射图像id，xi表示第i张衍射图，g(xi) 表示xi的随机噪声函数。
11.优选地，步骤s2中码本检索通过余弦相似性和k近邻搜索得到最优初始相位。
12.优选地，步骤s2中码本检索的具体步骤为：首先将电镜衍射图做二次裁剪和大小调整以匹配编码器的输入大小，通过编码器得到测试图像隐码，计算隐码与训练集隐码间的余弦相似性，测试衍射图的隐码z
test
∈r
128 ，通过k近邻搜索加速；（3）式中，cosi表示训练集中第i张衍射图与测试衍射图的余弦相似度，zi表示第i张衍射图的隐码；余弦相似度最高的隐码z
prev
将通过映射f返回的最优初始相位p
prev
作为网络预测的初始相位：
（4）式中，p
test
为网络预测的初始相位，f()为映射，mincos(z
test
)为余弦相似度最小的隐码，p
prev
为最优初始相位。
13.优选地，步骤s4中的具体步骤包括：采用cuda技术改进原有代码，通过cuda指令完成迭代算法中的傅里叶变换、正空间符号翻转和倒空间振幅约束。
14.本发明还提出一种基于增强自编码的电子衍射晶体结构加速重建系统，其特殊之处在于，所述系统包括电子束输出模块、初始相位数据生成模块、增强自编码网络和算法加速模块；所述电子束输出模块包括电子枪、光栅、磁透镜，电子枪输出高频脉冲电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图；所述初始相位数据生成：用于计算电镜衍射图成像迭代次数最小的初始相位，建立电镜衍射图-初始相位的映射；所述增强自编码网络：通过所述电镜衍射图-初始相位的映射训练增强自编码网络的内参及隐码，训练完成后在测试阶段通过码本检索建立隐码-最优初始相位的映射；所述算法加速模块：用于通过cuda并行计算提升电镜衍射图与电荷反转复合迭代的算法速度，得到晶体结构成像。
15.进一步地，所述增强自编码网络采用余弦相似性和k近邻算法进行码本检索。
16.本发明另外提出一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现上述基于增强自编码的电子衍射晶体结构加速重建方法。
17.相对于现有技术，本发明提采用增强自编码器训练迭代傅里叶变换的相位初始值，并采用cuda gpu并行计算技术改进原有代码，实现晶体结构重建速度的显著提升。
18.本发明的有益效果在于：1、本发明针对低剂量衍射成像中初始相位难以计算的问题，先等间距采样初始相位，通过fienup杂化输入输出的电荷反转复合迭代算法得到正确成像的迭代次数。然后根据本发明提出的一种贪心算法迭代检索衍射图的最优初始相位。
19.2、本发明针对电子衍射晶体结构重建速度提升的需求，采用增强自编码器训练电镜衍射图像集，并建立从电镜衍射图隐码到最优初始相位的映射。测试阶段通过编码器得到衍射图隐码，在映射函数中采用余弦相似性和k近邻算法检索最优初始相位。
20.3、本发明针对进一步提升晶体结构重建速度的需求，采用cuda 技术改进原始代码，通过gpu并行计算提升重建速度。
附图说明
21.图1为本发明基于增强自编码的电子衍射晶体结构加速重建系统的结构图。
22.图2为基于增强自编码的电子衍射晶体结构加速重建方法的流程图。
23.图3为基于增强自编码的电子衍射晶体结构加速重建系统中初始相位预测的原理图。
具体实施方式
24.以下结合附图和具体实施例对本发明作进一步的详细描述。
25.如图1所示，本发明提出的基于增强自编码的电子衍射晶体结构加速重建系统，包括电子束输出模块、初始相位数据生成模块、增强自编码网络和算法加速模块；首先电子枪将电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图，接着将衍射图输入基于增强自编码的初始相位预测模块得到推荐的初始相位，然后通过fienup杂化输入输出的电荷反转复合迭代法进行计算，同时通过cuda gpu并行计算加速，最终快速得到晶体结构成像。
26.具体地，电子束输出模块包括电子枪、光栅、磁透镜，电子枪输出高频脉冲电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图；初始相位数据生成：用于计算电镜衍射图成像迭代次数最小的初始相位，建立电镜衍射图-初始相位的映射；增强自编码网络：通过电镜衍射图-初始相位的映射训练增强自编码网络的内参及隐码，训练完成后在测试阶段通过码本检索建立隐码-最优初始相位的映射；算法加速模块：用于通过cuda gpu并行计算提升电镜衍射图与电荷反转复合迭代的算法速度，得到晶体结构成像。
27.如图2所示，本发明提出的一种基于增强自编码的电子衍射晶体结构加速重建方法，包括如下步骤：s1初始相位数据生成：高频脉冲电子束通过光栅和磁透镜打到用于训练的不同样品上分别形成电镜衍射图，得到用于训练的电镜衍射图像集，计算电镜衍射图像集中每张电镜衍射图成像迭代次数最小的初始相位，建立电镜衍射图-初始相位的映射；s2增强自编码网络训练和初始相位测试：通过所述电镜衍射图-初始相位的映射训练增强自编码网络的内参及隐码，训练完成后在测试阶段通过码本检索建立隐码-最优初始相位的映射；s3低剂量衍射成像：将高频脉冲电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图，通过所述增强自编码网络得到隐码，并根据隐码-最优初始相位的映射预测初始相位；s4算法加速：通过cuda gpu并行计算提升电镜衍射图与电荷反转复合迭代的算法速度，得到晶体结构成像。
28.如图3所示，步骤s2中增强自编码网络训练和初始相位测试分为训练阶段和测试阶段，训练阶段首先采样初始相位，通过fienup杂化输入输出的电荷反转复合迭代法生成晶体结构成像，记录不同初始相位条件下得到正确成像的迭代次数并送入初始相位预测模块。预测阶段通过初始相位预测模块中的增强自编码器得到衍射图隐码，结合余弦相似度检索和k近邻检索加速得到预测的初始相位，送入低剂量衍射成像算法快速得到衍射图。
29.在本发明的一个实施例中，首先计算得到电镜衍射图成像迭代次数最小的初始相位；然后训练增强自编码器建立隐码到该初始相位的映射。测试阶段通过衍射图隐码、余弦相似性和k近邻搜索得到推荐的初始相位。最后采用cuda gpu并行计算实现算法加速。
30.具体地，步骤s1使用等间距采样选取初始相位，记录不同初始相位条件下电荷反转复合迭代算法得到正确成像的迭代次数，得到每张电镜衍射图迭代次数最小的最优初始相位，具体的实施可以分为以下几个步骤：s11等间距采样初始相位。假设输入电镜衍射图为x，其宽与高分别为w和h。采样间距为s，初始相位p
ij
∈p(ui,vj)，其中ui∈(i
×
s)，i∈(0,w/s)。vj∈(j
×
s)，j∈(0,h/s)。将
采样的初始相位（共i
×
j个）输入电荷反转复合迭代成像算法，分别记录对应初始相位p
ij
正确成像的迭代次数n
ij
。
31.s12通过本发明提出的一种贪心算法迭代计算最优初始相位，其计算方法如下：
①
取n
ij
中的最小迭代次数n1（对应初始相位p1）和次小迭代次数n2（对应初始相位p2）；
②
令p3=(p1 p2)/2，输入电荷反转复合迭代成像算法，得到迭代次数n3；
③
如果满足条件n3》n
1 并且n3》n2，则进入步骤
④
；如果不满足，则令p2=p1，p1=p3，并重复步骤
②
；
④
得到最优初始相位p
prev
=p1。
32.s13对每张电镜衍射图x重复步骤s11和s12，得到最优初始相位p，并建立从x到p的映射。
33.具体地，步骤s2通过电镜衍射图训练增强自编码器内参及隐码，测试阶段通过码本检索得到最优初始相位，实施过程可以分为以下几个步骤：s21通过电镜衍射图训练增强自编码器内参及隐码。自动编码器(auto-encoder, ae)的目标是高维数据降维，它由一个编码器φ和一个解码器ψ组成，它们都是任意可学习的函数逼近器。其训练目标是重构输入x∈rw×h在通过一个低维瓶颈后表示为潜码z∈r
n （n《《w
×
h），由此产生的潜在空间可以用于无监督聚类。增强自动编码器将人工随机噪声应用于输入图像x∈rw×h而重建目标则保持干净，训练后的模型可用于重建去噪的测试图像。这种训练策略不仅对噪声具有不变性，而且对各种延迟输入增强也具有不变性，并能弥合模拟数据和真实数据之间的域差距。
34.本发明提出增强自编码器控制潜码编码的参数，应用随机噪声g至输入电镜衍射图x∈rw×h，并保持重建目标不变。通过引入随机噪声增强输入，自编码器对不准确的输入图像具有鲁棒性。
35.（1）公式（1）中ψ和φ都是神经网络，且参数都在损失函数l(i)最小化下训练，i表示输入电镜衍射图像集的索引。
36.（2）式中，i表示电镜衍射图像id，xi表示第i张衍射图，g(xi) 表示xi的随机噪声函数。
37.训练完成后解码器不再使用，测试阶段开始前需要为电镜衍射图隐码和对应的最优初始相位建立映射p=f(z)。为方便测试阶段的检索，通过kmeans聚类隐码z。
38.s22测试阶段通过余弦相似性和k近邻搜索得到最优初始相位。使用余弦相似性是因为即使对于大型数据集，它也可以在单个gpu上有效计算。
39.首先将电镜衍射图做二次裁剪和大小调整以匹配编码器的输入大小，通过编码器得到测试图像隐码，计算隐码与训练集隐码间的余弦相似性，测试衍射图的隐码z
test
∈r
128 ，通过k近邻搜索加速。
40.（3）cosi表示训练集中第i张衍射图与测试衍射图的余弦相似度，zi表示第i张衍射图的隐码。
41.余弦相似度最高的隐码z
prev
将通过映射f返回的最优初始相位p
prev
作为网络预测的初始相位，如公式（4）：（4）式中，p
test
为网络预测的初始相位，f()为映射，mincos(z
test
)为余弦相似度最小的隐码，p
prev
为最优初始相位。
42.具体地，步骤s3 中采用cuda技术改进原有代码，通过cuda指令完成迭代算法中的傅里叶变换、正空间符号翻转和倒空间振幅约束。实验结果表明，经cuda加速的代码较原始代码速度平均提升4倍。
43.低剂量衍射成像系统中高频脉冲电子束通过光栅和磁透镜打到样品上得到样品的电镜衍射图，通过fienup杂化输入输出的电荷反转复合迭代法计算晶体结构成像。由于电荷反转复合迭代算法的迭代计算受相位初始值影响较大，预测一个较好的初始相位是亟待解决的问题。传统算法采用的随机生成相位初始值的方法难以针对不同的晶体结构进行自适应，也无法从历史数据中学习经验和规律。本发明针对快速低剂量衍射成像需求，通过传统fienup杂化输入输出的电荷反转复合迭代成像算法引入增强自编码器训练电镜衍射图到最优初始相位的映射，结合余弦相似性和k近邻算法预测新衍射图的初始相位，并采用cuda和多初始值并行计算提升成像速度，实现成像平均时间小于5min。
44.本说明书未作详细描述的内容属于本领域专业技术人员公知的现有技术。
45.最后需要说明的是，以上具体实施方式仅用以说明本专利技术方案而非限制，尽管参照较佳实施例对本专利进行了详细说明，本领域的普通技术人员应当理解，可以对本专利的技术方案进行修改或者等同替换，而不脱离本专利技术方案的精神和范围，其均应涵盖在本专利的权利要求范围当中。