1.本发明属于超导材料
技术领域：
：，具体涉及一种基于预训练深度神经网络的超导材料预测方法及其装置。
背景技术：
：：2.超导体对可持续的日常应用至关重要，对联合国的可持续发展目标(sdgs)也很有吸引力。超导体具有零电阻，这使得电流能够没有任何损失地完美传输。有了超导电缆，偏远地区可以获得持续的电力供应，以便及时提供灌溉用水，这是执行农业的可持续性的关键。可负担的清洁能源也可以很好地得到，因为来自电力充足的地方的直流电能可以无损耗地输送到世界各地。零电阻意味着“不产生热量和不损失能量”，这是保护气候行动的关键。对于人类健康和生活幸福，超导磁体可以产生高质量、高强度的磁场，在磁共振成像、核磁共振、水净化、磁性药物输送等方面作为高场磁体得到良好的应用。3.超导对人类可持续发展目标有重大意义，超导材料的研发也作为重要的高精尖技术出现在中国发展的众多重大计划中。然而，超导的理论至今仍是一个谜。受益于材料科学领域的大量公开数据集，许多机器学习方法已经被应用于预测材料特性、生成结构等。这也为用机器学习方法对超导体进行建模提供了启示。4.专利号为cn111798940a的中国专利公开了一种基于深度神经网络算法预测新型超导材料的方法，所述方法利用深度神经网络预测超导材料的性能，基于现有材料的大数据并利用深度神经网络的机器学习方法，组合进化算法优选与超导温度有关的特征量，更迅速地优化训练误差和测试误差，提高预测准确度，能够处理大量样本数据，并较好的预测未知材料的超导性能，并为实验及材料选择提供依据。5.上述的机器学习方法主要是通过材料的测量属性来预测超导性，而这些属性是通过复杂而昂贵的特征工程获得的。在物理科学与人工智能的交叉研究中，由于分子是天然的图，人们在用图神经网络(gnn)为分子建模方面做了很多努力。然而，已经提出的用于晶体建模的方法相当少。由于不同数据集的标记不同，目前的监督学习模型只能在小的数据集上进行训练，而其他未标记的数据则没有得到充分的利用，即存在超导数据短缺的问题。6.因此亟需研发一种能够准确确定晶体是否为超导材料的预测方法及装置。技术实现要素：7.本发明提供了一种基于预训练深度神经网络的超导材料预测方法，该方法能够通过大量的数据训练获得超导材料预测模型，并利用该模型能够准确判断输入晶体是否为超导材料。8.一种基于预训练深度神经网络的超导材料预测方法，包括：9.(1)构建预训练样本集，获得晶体中每个原子的位置坐标以及元素类别真实值标签，将晶体中的部分原子序数集进行遮蔽得到遮蔽晶体，遮蔽晶体包括第一原子序数集和第一原子位置集，将多个遮蔽晶体作为预训练样本集；10.(2)构建预训练模型，预训练模型包括第一嵌入层，第一融合层，第一注意力层和分类器层，其中，第一嵌入层用于将第一原子序数集嵌入到多维向量中得到第一多维向量，基于第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离采用高斯运算得到原子坐标位置向量；第一融合层用于将第一多维向量中的每个原子序数与对应原子坐标位置进行融合得到由每个原子融合数据构成的第一融合向量；第一注意力层用于将每个原子及其周边原子的融合数据再次融合得到每个原子注意力融合数据，多个原子注意力融合数据构建了第一注意力向量，将第一注意力向量输出至分类器层，通过分类器层中的全连接网络得到遮蔽原子的类别预测值；11.(3)通过预训练样本集训练预训练模型，将遮蔽原子的类别预测值和遮蔽原子的真实值标签输入至第一交叉熵损失函数，优化该损失，达到损失阈值后得到确定参数的预训练深度神经网络，冻结预训练深度神经网络中的第二嵌入层，第二融合层和第二注意力层，其中，第二嵌入层，第二融合层和第二注意力层分别为对预训练模型中的第一嵌入层，第一融合层和第一注意力层进行训练后得到的；12.(4)构建训练样本集，获得每个晶体的超导体类别真实值标签，多个晶体构建训练样本，每个晶体包括第二原子序数集，第二原子位置集和晶格参数集；13.(5)构建训练模型，训练模型包括第二嵌入层，第二融合层，第二注意力层，set2set层，第三融合层和分类器层；将第二原子序数集和第二原子位置集依次输入至第二嵌入层，第二融合层和第二注意力层得到第二注意力向量，将第二注意力向量输出至set2set层得到表征向量，将表征向量和晶格参数集输出至第三融合层得到融合表征向量，将融合表征向量输出至分类器得到晶体超导体预测值；14.(6)通过训练样本集训练训练模型，将晶体超导体类别预测值和超导体类别真实值标签输出至第二交叉熵损失函数进行训练，确定模型参数得到超导体预测模型。15.基于第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离采用高斯运算得到原子坐标位置向量，包括：16.将第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离的结合作为第一欧几里得距离的集，将第一原子位置集中的每个原子位置和坐标原点的欧几里得距离的集合作为第二欧几里得距离的集，对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量。17.对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量为：[0018][0019]其中，σ为超参数，p’为第一欧几里得距离的集，p’o为第二欧几里得距离的集。[0020]由每个原子融合数据构成的第一融合向量a”为：[0021][0022]其中，a’为第一多维向量，wa为第一维度参数矩阵，用于变换原子坐标位置向量的维度与第一多维向量的维度相同，融合数据为a”i。[0023]第一注意力层用于将每个原子及其周边原子的融合数据进行注意力融合得到每个原子注意力融合数据，注意力融合的具体步骤为：[0024]第一注意力层的第一注意力参数向量分别为wq，wk和wv，设定距离阈值，获取以第i个原子为中心获取满足距离阈值范围内的邻居原子，利用第i个原子及其邻居原子的融合数据构建第二融合向量，将第二融合向量经reshape从d1维的向量变换为形状为(d2，d1/d2)的二维张量，分别与wq，wk和wv相乘得到第二注意力参数矩阵{q，k，v}，其中wq，wk和wv的形状均为(d2，d1/d2，d1/d2)，基于第二注意力参数矩阵将第i个原子及其邻居原子的融合数据进行注意力融合得到第i个原子注意力融合数据，再经reshape将融合数据从形状为(d2，d1/d2)的二维张量变为单个d1维的向量。[0025]第i个原子注意力融合数据a”’i为：[0026][0027][0028]其中，softmax(·)为激活函数，norm(·)为层归一化，kt为第二注意力参数矩阵k的转置，scoresi,j是向量scoresi的第j个分量，vj为第二注意力参数矩阵v中的第j个向量，n为中心原子及邻居原子的数量，dqi为向量qi的维度，a”i为a”的第i个向量。[0029]将第一注意力融合向量再次进行注意力融合，迭代多次得到最终注意力融合向量。[0030]第一交叉熵损失函数为：[0031][0032]其中，n为原子数量，i为遮蔽晶体中的原子索引，m为元素类别数量，t为元素类别的索引，yi,t为第i个原子为元素类别t的真实值，为第i个原子为元素类别t的预测值。[0033]将表征向量和晶格参数集输出至第三融合层得到融合表征向量b’为：[0034]b’＝b wθ*u[0035]其中，b为表征向量，wθ为第二维度参数矩阵，用于变换晶格参数u的维度与表征向量b的维度相同。[0036]第二交叉熵损失函数为：[0037][0038]其中，l为晶体个数，yl为第l个晶体为超导材料的真实值标签，为第l个晶体为超导材料的预测值。[0039]一种基于预训练深度神经网络的超导材料预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中还存储超导体预测模型，所述超导体预测模型通过基于预训练深度神经网络的超导材料预测方法构建，所述计算机处理器执行计算机程序时实现以下步骤：[0040]将晶体的原子序数，原子位置和晶格参数输入至超导体预测模型中预测该晶体是否为超导体。[0041]与现有技术相比，本发明的有益效果为：[0042](1)本发明提出了一个从结构到超导的预训练深度神经网络模型(s2snet)，其中只需要晶体结构，对晶格中原子的相互作用进行建模，以预测材料的超导性质。注意力机制被应用于晶体结构中。s2snet在大量的无标签数据上进行预训练，以学习晶格中不同原子之间的相互作用。[0043](2)本发明首先能够充分利用大量无标记数据，通过原子遮蔽的自监督学习方式预训练，来获得第二嵌入层，第二融合层和第二注意力层，然后通过上述结构构建超导材料预测模型，再通过少量真实超导材料标签和预测超导材料结果构建的损失函数进行训练，得到具有鲁棒性的，能够准确对晶体是否为超导材料进行判断的超导材料预测模型。附图说明[0044]图1为本发明提供的一种基于预训练深度神经网络的超导材料预测方法示意图；[0045]图2为实施例1提供的预训练深度神经网络框图；[0046]图3为实施例1提供的以“原子a1为中心，a2，a3为邻居”为例的注意力层流程框图；[0047]图4为实施例1提供的一种基于预训练深度神经网络的超导材料预测方法的分类器框图；[0048]图5为实施例1提供的一种基于预训练深度神经网络的超导材料预测方法的框图。具体实施方式[0049]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。[0050]本发明首先通过对大量无标记的晶体数据遮蔽部分原子，通过预测遮蔽原子的元素类型来预训练模型，将预训练模型中的部分结构进行冻结，然后加入set2set层和分类层构建新的模型，通过小样本超导数据和是否超导标签来训练得到预测晶体是否为超导材料，进而筛选出具有超导性质的材料，如图1所示。[0051]实施例1[0052]本发明提供一种基于预训练深度神经网络的超导材料预测方法，包括：[0053](1)获得多个晶体，其中超导材料的数据来源于日本国家材料科学研究所的超导材料数据库，并在materialproject中查找对应结构信息，建立超导样本数据集，每个晶体c由第二原子序数集a＝{a1,a2,…,an}、第二原子位置集p＝{p1,p2,…,pn}和晶格参数u＝{u1,u2,…,un}组成，即c＝{a,p,u}，其中，ai，pi，ui分别表示第i个原子的原子序数，实际三维位置和晶格的物理尺寸，n为晶体中原子的个数。[0054]获得无标记材料晶体数据，所述数据来源于materialproject数据库，获得晶体中每个原子的位置坐标构建第一原子位置集，以及针对每个原子的95种常用元素类别真实值标签，将晶体中15％(至少2个原子)原子的序数屏蔽，将屏蔽的原子替换为mask，以得到屏蔽晶体，并构建相应的第一原子序数集，将多个遮蔽晶体作为预训练样本集，以对神经网络进行预训练；[0055](2)构建预训练模型，如图2所示，具体步骤为：[0056](2.1)预训练模型包括第一嵌入层，第一融合层，第一注意力层和分类器层，其中，第一嵌入层用于将第一原子序数集a*嵌入到512维向量中得到第一多维向量，以512个点为中心的高斯基的扩展距离，应用于晶体中原子的位置p，其中这512个点被线性地置于0和之间，将第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离的结合作为第一欧几里得距离的集，将第一原子位置集中的每个原子位置和坐标原点的欧几里得距离的集合作为第二欧几里得距离的集，对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量向量为：[0057][0058]其中，σ为超参数，p’为第一欧几里得距离的集，p’o为第二欧几里得距离的集，即0到的512个距离，σ＝2。[0059]第一融合层用于将第一多维向量中的每个原子序数与对应原子坐标位置进行融合得到由每个原子融合数据构成的第一融合向量a”为：[0060][0061]其中，a’为第一多维向量，wa为第一维度参数矩阵，用于变换原子坐标位置向量的维度与第一多维向量的维度相同。[0062](2.2)第一注意力层用于将每个原子及其周边原子的融合数据再次融合，重复10次融合得到每个原子注意力融合数据，多个原子注意力融合数据构建了第一注意力向量，每次融合的具体步骤为：[0063]第一注意力层的第一注意力参数向量分别为wq，wk和wv，设定欧式距离阈值以融合数据为a”i的原子为中心获取满足欧式距离阈值范围内的邻居原子，邻居原子的融合数据分别为{a”i 1,a”i 2,…,a”i n-1}，利用a”i和{a”i 1,a”i 2,…,a”i n-1}构建第二融合向量，将第二融合向量经reshape从512维的向量变换为形状为(8，64)的二维张量，通过全连接层分别与矩阵wq、wk和wv相乘得到第二注意力参数矩阵{q，k，v}，q＝{qi,qi 1,qi 2,…,qi n-1}，k＝{ki,ki 1,ki 2,…,ki n-1}，v＝{vi,vi 1,vi 2,…,vi n-1}:[0064]qi＝a”i*wq[0065]ki＝a”i*wk[0066]vi＝a”i*wv[0067]其中wq，wk和wv的形状均为(8，64，64)。[0068]基于第二注意力参数矩阵通过注意力机制将原子a”i及其邻居原子{a”i 1,a”i 2,…,a”i n-1}的融合数据进行注意力融合得到初始原子注意力融合数据a”’i°，具体步骤如下：[0069][0070][0071]a”i≡a”’i°[0072]更新a”i为a”’i°后再次进行注意力融合迭代，迭代s次后得到a”’i，其中，softmax(·)为激活函数，norm(·)为层归一化，kt为第二注意力参数矩阵k的转置，scoresi,j是向量scoresi的第j个分量，vj为第二注意力参数矩阵v中的第j个向量，n为第i个原子及其邻居原子的数量，dqi为向量qi的维度，a”i为a”的第i个向量。[0073]再经reshape将融合数据a”’i从形状为(8，64)的二维张量变为单个512维的向量。[0074]如图3所示，当i＝1时，在欧几里得阈值范围内的邻居原子为两个原子，即a”2,a”3时，第二注意力参数矩阵{q,k,v}，q＝{q1,q2,q3}，k＝{k1,k2,k3}，v＝{v1,v2,v3}，得到中间注意力融合数据z”’1为：[0075][0076][0077](2.2)将第一注意力向量输出至分类器层，通过分类器层中的两层全连接网络做95个常用元素分类，得到遮蔽原子的类别预测值。[0078](3)通过预训练样本集训练预训练模型，将遮蔽原子的类别预测值和遮蔽原子的真实值标签输入至第一交叉熵损失函数利用随机梯度下降算法对模型进行优化，得到确定参数的预训练深度神经网络，预训练深度神经网络包括第一嵌入层，第一融合层，第一注意力层和分类层。冻结确定参数的预训练深度神经网络中的第一嵌入层，第一融合层和第一注意力层，分别作为第二嵌入层，第二融合层和第二注意力层；[0079]其中，第一交叉熵损失函数为：[0080][0081]其中，n为原子数量，i为遮蔽晶体中的原子索引，m为元素类别数量，t为元素类别的索引，yi,t为第i个原子为元素类别t的真实值，为第i个原子为元素类别t的预测值。[0082](4)构建训练样本集，获得每个晶体的超导体类别真实值标签，将步骤(1)中的多个晶体构建训练样本，每个晶体包括第二原子序数集a，第二原子位置集p和晶格参数集u。[0083](5)构建训练模型，如图4所示，训练模型包括第二嵌入层，第二融合层，第二注意力层，set2set层，第三融合层和分类器；将第二原子序数集a和第二原子位置集p采用步骤(2.1)的方法依次输入至第二嵌入层，第二融合层和第二注意力层得到第二注意力向量，将第二注意力向量输出至set2set层得到表征向量，将表征向量和晶格参数集输出至第三融合层得到融合表征向量b’为：[0084]b’＝b wθ*u[0085]其中，b为表征向量，wθ为第二维度参数矩阵，用于变换晶格参数u的维度与表征向量b的维度相同。[0086]将融合表征向量输出至分类器得到晶体超导体预测值，如图5所示，分类器由全连接网络构成；通过训练样本集训练训练模型，将晶体超导体类别预测值和超导体类别真实值标签输出至第二交叉熵损失函数进行训练，确定模型参数得到超导体预测模型。[0087]其中，第二交叉熵损失函数为：[0088][0089]其中，l为晶体个数，yl为第l个晶体为超导材料的真实值标签，为第l个晶体为超导材料的预测值。[0090]一种基于预训练深度神经网络的超导材料预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中还存储超导体预测模型(s2snet)，所述超导体预测模型(s2snet)通过基于预训练深度神经网络的超导材料预测方法构建，所述计算机处理器执行计算机程序时实现以下步骤：[0091]将晶体的原子序数，原子位置和晶格参数输入至超导体预测模型中预测该晶体是否为超导体。[0092](1)本发明提供的基于预训练深度神经网络算法预测超导材料的方法通过已有的大量无标记数据预训练深度神经网络，再用超导材料数据微调神经网络，样本处理量大，预测结果准确；[0093](2)本发明提供的基于预训练深度神经网络算法预测超导材料的方法从晶体材料的结构出发预测材料是否具有超导性质，充分利用晶体材料的结构信息，包括原子坐标及其序号、晶格参数。避免了人工设计特征工程，预测效率更高。现有算法几乎利用传统机器学习方法和人工设计计算特征，计算量大，耗费时间且效果不好。[0094]对比例1[0095]本对比例提供一种基于图消息传播网络算法预测超导材料的方法，所述方法采用“graphnetworksasauniversalmachinelearningframeworkformoleculesandcrystals”，chichen,etal.chemistryofmaterials,31(9):3564–3572,2019.中所记载的图消息传播网络方法。[0096]对比例2[0097]本对比例提供一种基于随机森林算法预测超导材料的方法，所述方法采用“machinelearningmodelingofsuperconductingcriticaltemperature”，valentinstanev,etal.npjcomputationalmaterials，(2018)4:29.中记载的随机森林方法。[0098]对比例3[0099]本对比例提供一种基于图卷积网络算法预测超导材料的方法，所述方法采用“crystalgraphconvolutionalneuralnetworksforanaccurateandinterpretablepredictionofmaterialproperties.”，tianxieandjeffreycgrossman.physicalreviewletters,120(14):145301,2018中所记载的晶体图卷积网络方法。[0100]性能测试：[0101]利用实施例和对比例提供的方法进行样本训练，利用准确率(acc)和曲线下面积(auc)来表征机器学习的训练学习效果，并将准确率绘制成表格，如表1所示，从表1可以看出s2snet在准确率(acc)和曲线下面积(auc)方面一直优于其他竞争对手。例如，在没有预训练的情况下，s2snet在acc上比statistic提高了约6％，在auc上比cgcnn提高了约7％，在acc/auc上比megnet提高了近11％/14％。通过预训练任务，所有这三个模型，megnet、cgcnn和s2snet都有明显的改善。由于s2snet在无监督的mlm任务上进行了预训练，它可以在没有任何标签的其他更大的数据集上进行预训练。然而，megnet和cgcnn必须在有特定标签的数据集上进行预训练，如形成能等。这也意味着s2snet可以在未来的工作中用更大的数据集进一步改进。[0102]同时，本发明利用实施例提供的方法将机器训练至acc》91％后对materialproject中所有材料进行预测，预测结果如表2所示。其中*表示该超导体已经被发现。我们给出一系列高得分的超导材料，供实验物理学家验证。从表2可以看出：本发明提供的方法能够针对不同材料进行超导概率的预测，从而能够较好地指导实验的进行并能够筛选出具有超导潜质的材料，为材料筛选和实验提供了良好的基础。[0103]综上所述，本发明提供的基于预训练深度神经网络算法预测超导材料的方法基于现有大量无标记数据进行预训练，再用稀缺的超导材料对模型进行微调。相较于传统人工设计特征工程，本发明提供的基于预训练深度神经网络算法预测超导材料的方法从晶体材料的结构出发预测材料是否具有超导性质，充分利用晶体材料的结构信息，包括原子坐标及其序号、晶格参数。避免了人工设计特征工程，预测效率更高，准确度更高；相较于已有晶体模型神经网络，更能充分利用无标记数据，准确度更高。[0104]表1超导材料准确率预测数据[0105][0106]表2不同材料进行超导概率预测[0107]当前第1页12当前第1页12
技术领域：
：，具体涉及一种基于预训练深度神经网络的超导材料预测方法及其装置。
背景技术：
：：2.超导体对可持续的日常应用至关重要，对联合国的可持续发展目标(sdgs)也很有吸引力。超导体具有零电阻，这使得电流能够没有任何损失地完美传输。有了超导电缆，偏远地区可以获得持续的电力供应，以便及时提供灌溉用水，这是执行农业的可持续性的关键。可负担的清洁能源也可以很好地得到，因为来自电力充足的地方的直流电能可以无损耗地输送到世界各地。零电阻意味着“不产生热量和不损失能量”，这是保护气候行动的关键。对于人类健康和生活幸福，超导磁体可以产生高质量、高强度的磁场，在磁共振成像、核磁共振、水净化、磁性药物输送等方面作为高场磁体得到良好的应用。3.超导对人类可持续发展目标有重大意义，超导材料的研发也作为重要的高精尖技术出现在中国发展的众多重大计划中。然而，超导的理论至今仍是一个谜。受益于材料科学领域的大量公开数据集，许多机器学习方法已经被应用于预测材料特性、生成结构等。这也为用机器学习方法对超导体进行建模提供了启示。4.专利号为cn111798940a的中国专利公开了一种基于深度神经网络算法预测新型超导材料的方法，所述方法利用深度神经网络预测超导材料的性能，基于现有材料的大数据并利用深度神经网络的机器学习方法，组合进化算法优选与超导温度有关的特征量，更迅速地优化训练误差和测试误差，提高预测准确度，能够处理大量样本数据，并较好的预测未知材料的超导性能，并为实验及材料选择提供依据。5.上述的机器学习方法主要是通过材料的测量属性来预测超导性，而这些属性是通过复杂而昂贵的特征工程获得的。在物理科学与人工智能的交叉研究中，由于分子是天然的图，人们在用图神经网络(gnn)为分子建模方面做了很多努力。然而，已经提出的用于晶体建模的方法相当少。由于不同数据集的标记不同，目前的监督学习模型只能在小的数据集上进行训练，而其他未标记的数据则没有得到充分的利用，即存在超导数据短缺的问题。6.因此亟需研发一种能够准确确定晶体是否为超导材料的预测方法及装置。技术实现要素：7.本发明提供了一种基于预训练深度神经网络的超导材料预测方法，该方法能够通过大量的数据训练获得超导材料预测模型，并利用该模型能够准确判断输入晶体是否为超导材料。8.一种基于预训练深度神经网络的超导材料预测方法，包括：9.(1)构建预训练样本集，获得晶体中每个原子的位置坐标以及元素类别真实值标签，将晶体中的部分原子序数集进行遮蔽得到遮蔽晶体，遮蔽晶体包括第一原子序数集和第一原子位置集，将多个遮蔽晶体作为预训练样本集；10.(2)构建预训练模型，预训练模型包括第一嵌入层，第一融合层，第一注意力层和分类器层，其中，第一嵌入层用于将第一原子序数集嵌入到多维向量中得到第一多维向量，基于第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离采用高斯运算得到原子坐标位置向量；第一融合层用于将第一多维向量中的每个原子序数与对应原子坐标位置进行融合得到由每个原子融合数据构成的第一融合向量；第一注意力层用于将每个原子及其周边原子的融合数据再次融合得到每个原子注意力融合数据，多个原子注意力融合数据构建了第一注意力向量，将第一注意力向量输出至分类器层，通过分类器层中的全连接网络得到遮蔽原子的类别预测值；11.(3)通过预训练样本集训练预训练模型，将遮蔽原子的类别预测值和遮蔽原子的真实值标签输入至第一交叉熵损失函数，优化该损失，达到损失阈值后得到确定参数的预训练深度神经网络，冻结预训练深度神经网络中的第二嵌入层，第二融合层和第二注意力层，其中，第二嵌入层，第二融合层和第二注意力层分别为对预训练模型中的第一嵌入层，第一融合层和第一注意力层进行训练后得到的；12.(4)构建训练样本集，获得每个晶体的超导体类别真实值标签，多个晶体构建训练样本，每个晶体包括第二原子序数集，第二原子位置集和晶格参数集；13.(5)构建训练模型，训练模型包括第二嵌入层，第二融合层，第二注意力层，set2set层，第三融合层和分类器层；将第二原子序数集和第二原子位置集依次输入至第二嵌入层，第二融合层和第二注意力层得到第二注意力向量，将第二注意力向量输出至set2set层得到表征向量，将表征向量和晶格参数集输出至第三融合层得到融合表征向量，将融合表征向量输出至分类器得到晶体超导体预测值；14.(6)通过训练样本集训练训练模型，将晶体超导体类别预测值和超导体类别真实值标签输出至第二交叉熵损失函数进行训练，确定模型参数得到超导体预测模型。15.基于第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离采用高斯运算得到原子坐标位置向量，包括：16.将第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离的结合作为第一欧几里得距离的集，将第一原子位置集中的每个原子位置和坐标原点的欧几里得距离的集合作为第二欧几里得距离的集，对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量。17.对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量为：[0018][0019]其中，σ为超参数，p’为第一欧几里得距离的集，p’o为第二欧几里得距离的集。[0020]由每个原子融合数据构成的第一融合向量a”为：[0021][0022]其中，a’为第一多维向量，wa为第一维度参数矩阵，用于变换原子坐标位置向量的维度与第一多维向量的维度相同，融合数据为a”i。[0023]第一注意力层用于将每个原子及其周边原子的融合数据进行注意力融合得到每个原子注意力融合数据，注意力融合的具体步骤为：[0024]第一注意力层的第一注意力参数向量分别为wq，wk和wv，设定距离阈值，获取以第i个原子为中心获取满足距离阈值范围内的邻居原子，利用第i个原子及其邻居原子的融合数据构建第二融合向量，将第二融合向量经reshape从d1维的向量变换为形状为(d2，d1/d2)的二维张量，分别与wq，wk和wv相乘得到第二注意力参数矩阵{q，k，v}，其中wq，wk和wv的形状均为(d2，d1/d2，d1/d2)，基于第二注意力参数矩阵将第i个原子及其邻居原子的融合数据进行注意力融合得到第i个原子注意力融合数据，再经reshape将融合数据从形状为(d2，d1/d2)的二维张量变为单个d1维的向量。[0025]第i个原子注意力融合数据a”’i为：[0026][0027][0028]其中，softmax(·)为激活函数，norm(·)为层归一化，kt为第二注意力参数矩阵k的转置，scoresi,j是向量scoresi的第j个分量，vj为第二注意力参数矩阵v中的第j个向量，n为中心原子及邻居原子的数量，dqi为向量qi的维度，a”i为a”的第i个向量。[0029]将第一注意力融合向量再次进行注意力融合，迭代多次得到最终注意力融合向量。[0030]第一交叉熵损失函数为：[0031][0032]其中，n为原子数量，i为遮蔽晶体中的原子索引，m为元素类别数量，t为元素类别的索引，yi,t为第i个原子为元素类别t的真实值，为第i个原子为元素类别t的预测值。[0033]将表征向量和晶格参数集输出至第三融合层得到融合表征向量b’为：[0034]b’＝b wθ*u[0035]其中，b为表征向量，wθ为第二维度参数矩阵，用于变换晶格参数u的维度与表征向量b的维度相同。[0036]第二交叉熵损失函数为：[0037][0038]其中，l为晶体个数，yl为第l个晶体为超导材料的真实值标签，为第l个晶体为超导材料的预测值。[0039]一种基于预训练深度神经网络的超导材料预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中还存储超导体预测模型，所述超导体预测模型通过基于预训练深度神经网络的超导材料预测方法构建，所述计算机处理器执行计算机程序时实现以下步骤：[0040]将晶体的原子序数，原子位置和晶格参数输入至超导体预测模型中预测该晶体是否为超导体。[0041]与现有技术相比，本发明的有益效果为：[0042](1)本发明提出了一个从结构到超导的预训练深度神经网络模型(s2snet)，其中只需要晶体结构，对晶格中原子的相互作用进行建模，以预测材料的超导性质。注意力机制被应用于晶体结构中。s2snet在大量的无标签数据上进行预训练，以学习晶格中不同原子之间的相互作用。[0043](2)本发明首先能够充分利用大量无标记数据，通过原子遮蔽的自监督学习方式预训练，来获得第二嵌入层，第二融合层和第二注意力层，然后通过上述结构构建超导材料预测模型，再通过少量真实超导材料标签和预测超导材料结果构建的损失函数进行训练，得到具有鲁棒性的，能够准确对晶体是否为超导材料进行判断的超导材料预测模型。附图说明[0044]图1为本发明提供的一种基于预训练深度神经网络的超导材料预测方法示意图；[0045]图2为实施例1提供的预训练深度神经网络框图；[0046]图3为实施例1提供的以“原子a1为中心，a2，a3为邻居”为例的注意力层流程框图；[0047]图4为实施例1提供的一种基于预训练深度神经网络的超导材料预测方法的分类器框图；[0048]图5为实施例1提供的一种基于预训练深度神经网络的超导材料预测方法的框图。具体实施方式[0049]为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。[0050]本发明首先通过对大量无标记的晶体数据遮蔽部分原子，通过预测遮蔽原子的元素类型来预训练模型，将预训练模型中的部分结构进行冻结，然后加入set2set层和分类层构建新的模型，通过小样本超导数据和是否超导标签来训练得到预测晶体是否为超导材料，进而筛选出具有超导性质的材料，如图1所示。[0051]实施例1[0052]本发明提供一种基于预训练深度神经网络的超导材料预测方法，包括：[0053](1)获得多个晶体，其中超导材料的数据来源于日本国家材料科学研究所的超导材料数据库，并在materialproject中查找对应结构信息，建立超导样本数据集，每个晶体c由第二原子序数集a＝{a1,a2,…,an}、第二原子位置集p＝{p1,p2,…,pn}和晶格参数u＝{u1,u2,…,un}组成，即c＝{a,p,u}，其中，ai，pi，ui分别表示第i个原子的原子序数，实际三维位置和晶格的物理尺寸，n为晶体中原子的个数。[0054]获得无标记材料晶体数据，所述数据来源于materialproject数据库，获得晶体中每个原子的位置坐标构建第一原子位置集，以及针对每个原子的95种常用元素类别真实值标签，将晶体中15％(至少2个原子)原子的序数屏蔽，将屏蔽的原子替换为mask，以得到屏蔽晶体，并构建相应的第一原子序数集，将多个遮蔽晶体作为预训练样本集，以对神经网络进行预训练；[0055](2)构建预训练模型，如图2所示，具体步骤为：[0056](2.1)预训练模型包括第一嵌入层，第一融合层，第一注意力层和分类器层，其中，第一嵌入层用于将第一原子序数集a*嵌入到512维向量中得到第一多维向量，以512个点为中心的高斯基的扩展距离，应用于晶体中原子的位置p，其中这512个点被线性地置于0和之间，将第一原子位置集中的每个原子位置和晶体中心位置的欧几里得距离的结合作为第一欧几里得距离的集，将第一原子位置集中的每个原子位置和坐标原点的欧几里得距离的集合作为第二欧几里得距离的集，对第一欧几里得距离的集和对应的第二欧几里得距离的集进行高斯运算得到遮蔽晶体中的原子坐标位置向量向量为：[0057][0058]其中，σ为超参数，p’为第一欧几里得距离的集，p’o为第二欧几里得距离的集，即0到的512个距离，σ＝2。[0059]第一融合层用于将第一多维向量中的每个原子序数与对应原子坐标位置进行融合得到由每个原子融合数据构成的第一融合向量a”为：[0060][0061]其中，a’为第一多维向量，wa为第一维度参数矩阵，用于变换原子坐标位置向量的维度与第一多维向量的维度相同。[0062](2.2)第一注意力层用于将每个原子及其周边原子的融合数据再次融合，重复10次融合得到每个原子注意力融合数据，多个原子注意力融合数据构建了第一注意力向量，每次融合的具体步骤为：[0063]第一注意力层的第一注意力参数向量分别为wq，wk和wv，设定欧式距离阈值以融合数据为a”i的原子为中心获取满足欧式距离阈值范围内的邻居原子，邻居原子的融合数据分别为{a”i 1,a”i 2,…,a”i n-1}，利用a”i和{a”i 1,a”i 2,…,a”i n-1}构建第二融合向量，将第二融合向量经reshape从512维的向量变换为形状为(8，64)的二维张量，通过全连接层分别与矩阵wq、wk和wv相乘得到第二注意力参数矩阵{q，k，v}，q＝{qi,qi 1,qi 2,…,qi n-1}，k＝{ki,ki 1,ki 2,…,ki n-1}，v＝{vi,vi 1,vi 2,…,vi n-1}:[0064]qi＝a”i*wq[0065]ki＝a”i*wk[0066]vi＝a”i*wv[0067]其中wq，wk和wv的形状均为(8，64，64)。[0068]基于第二注意力参数矩阵通过注意力机制将原子a”i及其邻居原子{a”i 1,a”i 2,…,a”i n-1}的融合数据进行注意力融合得到初始原子注意力融合数据a”’i°，具体步骤如下：[0069][0070][0071]a”i≡a”’i°[0072]更新a”i为a”’i°后再次进行注意力融合迭代，迭代s次后得到a”’i，其中，softmax(·)为激活函数，norm(·)为层归一化，kt为第二注意力参数矩阵k的转置，scoresi,j是向量scoresi的第j个分量，vj为第二注意力参数矩阵v中的第j个向量，n为第i个原子及其邻居原子的数量，dqi为向量qi的维度，a”i为a”的第i个向量。[0073]再经reshape将融合数据a”’i从形状为(8，64)的二维张量变为单个512维的向量。[0074]如图3所示，当i＝1时，在欧几里得阈值范围内的邻居原子为两个原子，即a”2,a”3时，第二注意力参数矩阵{q,k,v}，q＝{q1,q2,q3}，k＝{k1,k2,k3}，v＝{v1,v2,v3}，得到中间注意力融合数据z”’1为：[0075][0076][0077](2.2)将第一注意力向量输出至分类器层，通过分类器层中的两层全连接网络做95个常用元素分类，得到遮蔽原子的类别预测值。[0078](3)通过预训练样本集训练预训练模型，将遮蔽原子的类别预测值和遮蔽原子的真实值标签输入至第一交叉熵损失函数利用随机梯度下降算法对模型进行优化，得到确定参数的预训练深度神经网络，预训练深度神经网络包括第一嵌入层，第一融合层，第一注意力层和分类层。冻结确定参数的预训练深度神经网络中的第一嵌入层，第一融合层和第一注意力层，分别作为第二嵌入层，第二融合层和第二注意力层；[0079]其中，第一交叉熵损失函数为：[0080][0081]其中，n为原子数量，i为遮蔽晶体中的原子索引，m为元素类别数量，t为元素类别的索引，yi,t为第i个原子为元素类别t的真实值，为第i个原子为元素类别t的预测值。[0082](4)构建训练样本集，获得每个晶体的超导体类别真实值标签，将步骤(1)中的多个晶体构建训练样本，每个晶体包括第二原子序数集a，第二原子位置集p和晶格参数集u。[0083](5)构建训练模型，如图4所示，训练模型包括第二嵌入层，第二融合层，第二注意力层，set2set层，第三融合层和分类器；将第二原子序数集a和第二原子位置集p采用步骤(2.1)的方法依次输入至第二嵌入层，第二融合层和第二注意力层得到第二注意力向量，将第二注意力向量输出至set2set层得到表征向量，将表征向量和晶格参数集输出至第三融合层得到融合表征向量b’为：[0084]b’＝b wθ*u[0085]其中，b为表征向量，wθ为第二维度参数矩阵，用于变换晶格参数u的维度与表征向量b的维度相同。[0086]将融合表征向量输出至分类器得到晶体超导体预测值，如图5所示，分类器由全连接网络构成；通过训练样本集训练训练模型，将晶体超导体类别预测值和超导体类别真实值标签输出至第二交叉熵损失函数进行训练，确定模型参数得到超导体预测模型。[0087]其中，第二交叉熵损失函数为：[0088][0089]其中，l为晶体个数，yl为第l个晶体为超导材料的真实值标签，为第l个晶体为超导材料的预测值。[0090]一种基于预训练深度神经网络的超导材料预测装置，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中还存储超导体预测模型(s2snet)，所述超导体预测模型(s2snet)通过基于预训练深度神经网络的超导材料预测方法构建，所述计算机处理器执行计算机程序时实现以下步骤：[0091]将晶体的原子序数，原子位置和晶格参数输入至超导体预测模型中预测该晶体是否为超导体。[0092](1)本发明提供的基于预训练深度神经网络算法预测超导材料的方法通过已有的大量无标记数据预训练深度神经网络，再用超导材料数据微调神经网络，样本处理量大，预测结果准确；[0093](2)本发明提供的基于预训练深度神经网络算法预测超导材料的方法从晶体材料的结构出发预测材料是否具有超导性质，充分利用晶体材料的结构信息，包括原子坐标及其序号、晶格参数。避免了人工设计特征工程，预测效率更高。现有算法几乎利用传统机器学习方法和人工设计计算特征，计算量大，耗费时间且效果不好。[0094]对比例1[0095]本对比例提供一种基于图消息传播网络算法预测超导材料的方法，所述方法采用“graphnetworksasauniversalmachinelearningframeworkformoleculesandcrystals”，chichen,etal.chemistryofmaterials,31(9):3564–3572,2019.中所记载的图消息传播网络方法。[0096]对比例2[0097]本对比例提供一种基于随机森林算法预测超导材料的方法，所述方法采用“machinelearningmodelingofsuperconductingcriticaltemperature”，valentinstanev,etal.npjcomputationalmaterials，(2018)4:29.中记载的随机森林方法。[0098]对比例3[0099]本对比例提供一种基于图卷积网络算法预测超导材料的方法，所述方法采用“crystalgraphconvolutionalneuralnetworksforanaccurateandinterpretablepredictionofmaterialproperties.”，tianxieandjeffreycgrossman.physicalreviewletters,120(14):145301,2018中所记载的晶体图卷积网络方法。[0100]性能测试：[0101]利用实施例和对比例提供的方法进行样本训练，利用准确率(acc)和曲线下面积(auc)来表征机器学习的训练学习效果，并将准确率绘制成表格，如表1所示，从表1可以看出s2snet在准确率(acc)和曲线下面积(auc)方面一直优于其他竞争对手。例如，在没有预训练的情况下，s2snet在acc上比statistic提高了约6％，在auc上比cgcnn提高了约7％，在acc/auc上比megnet提高了近11％/14％。通过预训练任务，所有这三个模型，megnet、cgcnn和s2snet都有明显的改善。由于s2snet在无监督的mlm任务上进行了预训练，它可以在没有任何标签的其他更大的数据集上进行预训练。然而，megnet和cgcnn必须在有特定标签的数据集上进行预训练，如形成能等。这也意味着s2snet可以在未来的工作中用更大的数据集进一步改进。[0102]同时，本发明利用实施例提供的方法将机器训练至acc》91％后对materialproject中所有材料进行预测，预测结果如表2所示。其中*表示该超导体已经被发现。我们给出一系列高得分的超导材料，供实验物理学家验证。从表2可以看出：本发明提供的方法能够针对不同材料进行超导概率的预测，从而能够较好地指导实验的进行并能够筛选出具有超导潜质的材料，为材料筛选和实验提供了良好的基础。[0103]综上所述，本发明提供的基于预训练深度神经网络算法预测超导材料的方法基于现有大量无标记数据进行预训练，再用稀缺的超导材料对模型进行微调。相较于传统人工设计特征工程，本发明提供的基于预训练深度神经网络算法预测超导材料的方法从晶体材料的结构出发预测材料是否具有超导性质，充分利用晶体材料的结构信息，包括原子坐标及其序号、晶格参数。避免了人工设计特征工程，预测效率更高，准确度更高；相较于已有晶体模型神经网络，更能充分利用无标记数据，准确度更高。[0104]表1超导材料准确率预测数据[0105][0106]表2不同材料进行超导概率预测[0107]当前第1页12当前第1页12
再多了解一些
本文用于创业者技术爱好者查询，仅供学习研究，如用于商业用途，请联系技术所有人。
