一种清洗小分子化合物的数据预处理系统及其方法与流程

1.本发明属于医药与人工智能交叉技术领域，尤其涉及一种清洗小分子化合物的数据预处理系统及其方法。


背景技术：

2.传统的方法基于化学信息学的方法来实现化合物标准化，以获得小分子化合物的清洗整合方法。
3.但是随着大数据时代的到来，提出了高效精准、计算速度快速的要求。传统的基于化学信息学方法的算法效率较低，无法满足大数据时代的这种需求，而且各个开源算法数据标准并不统一。
4.具体而言，现在smiles化合物信息来源众多(例如chembl、pubchem 等开源数据库)，缺乏统一标准化操作，不能够很好的区分干净和不干净的数据进行查重。
5.另外，目前基于规则，有部分清洗、去重流程方法。流程中仅针对搭建数据库，没有下游(例如：机器学习、深度学习)的实际应用。在利用该方法仍然能遇到不标准或者重复的结构。
6.此外，现在smiles转用于图神经网络的数学图缺乏标准化，从个个开源框架调用的算法缺乏统一的标准。
7.基于以上，本技术提供了解决以上技术问题的技术方案。


技术实现要素：

8.本发明的第一目的在于提供一种高效、快速、精准的端到端小分子化合物清洗整合方法。
9.本发明的第二目的在于获得一种高效、快速、精准的端到端小分子化合物清洗整合系统。
10.本发明的第一方面提供一种清洗小分子化合物的数据预处理方法，所述数据预处理方法包括：
11.s1文本预处理步骤，所述s1文本预处理步骤包括：根据预定的文本处理规则，将所述小分子化合物的原始smiles文本，预处理为所述小分子化合物的标准化smiles文本；
12.s2化学图格式化步骤，所述s2化学图格式化步骤包括：根据预定的文本处理规则，将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分，获得所述小分子化合物的化学信息的数字化图结构。
13.本发明的一个优选实施方式中，还包括s3步骤，其中，所述s2的小分子化合物的化学信息的数字化图结构用于人工智能模型的构建。
14.本发明的一个优选实施方式中，
15.所述s1文本预处理步骤中将所述小分子化合物的原始smiles文本预处理为所述小分子化合物的标准化smiles文本时，所述预定的文本处理规则包括：
16.s1-1步骤：可选的结构标准化，其中将所述小分子化合物的数据处理为原始smiles文本；
17.s1-2步骤：若所述原始smiles文本包括重金属成分和有机化合物成分，则在所述原始smiles文本中去除重金属成分，保留有机化合物成分；
18.s1-3步骤：若所述原始smiles文本包括多聚体成分，则在所述原始 smiles文本中去除多聚体成分，保留最长成分；
19.s1-4步骤：若所述原始smiles文本包括电荷，则在所述原始smiles文本中加减氢原子，实现去电荷；
20.s1-5步骤：去除特殊smiles文本信息；
21.s1-6步骤：输出标准化的序列，得到所述小分子化合物的标准化smiles 文本。
22.本发明的一个优选实施方式中，所述s2化学图格式化步骤中将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分时，所述预定的文本处理规则包括：
23.s2-1步骤：将s1所述小分子化合物的所述标准化的smiles文本拆分为各个核心的文本元素，得到所述小分子化合物的文本元素；
24.s2-2步骤：对所述s2-1步骤的所述小分子化合物的文本元素的性质进行文本处理识别，识别并补全简化的化学信息，得到所述小分子化合物的化学信息图；
25.s2-3步骤：根据所述s2-2步骤的所述小分子化合物的化学信息图，建立以原子元素为节点的坐标系统，构建所述小分子化合物的化学信息图的数字化坐标系统；
26.s2-4步骤：根据所述s2-3步骤的所述小分子化合物的化学信息图的数字化坐标系统，添加节点与边的元素属性，得到所述小分子化合物的化学信息的数字化图结构。
27.本发明的一个优选实施方式中，s2-5步骤：如有需要，对所述化学信息的数字化图结构的氢原子信息进行补全。
28.在一个具体实施方式中，还包括s2-6步骤：完整地输出所述小分子化合物的化学信息的数字化图结构。
29.本发明的第二方面提供一种清洗小分子化合物的数据预处理系统，适用于如权利要求1-5任意一项所述的数据预处理方法，其特征在于，包括：
30.s1文本预处理单元，所述s1文本预处理单元设置为包括：根据预定的文本处理规则，将所述小分子化合物的原始smiles数据，预处理为所述小分子化合物的标准化smiles文本；
31.s2化学图格式化单元，所述s2化学图格式化单元设置为包括：根据预定的文本处理规则，将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分，获得所述小分子化合物的化学信息的数字化图结构。
32.本发明的一个优选实施方式中，还包括s3单元，其设置为，所述s2的小分子化合物的化学信息的数字化图结构用于人工智能模型的构建。
33.本发明的一个优选实施方式中，所述s1文本预处理单元中将所述小分子化合物的原始smiles文本预处理为所述小分子化合物的标准化smiles文本时，所述预定的文本处理规则包括：
34.s1-1单元设置为：可选的结构标准化，其中将所述小分子化合物的数据处理为原
始smiles文本；
35.s1-2单元设置为：若所述原始smiles文本包括重金属成分和有机化合物成分，则在所述原始smiles文本中去除重金属成分，保留有机化合物成分；
36.s1-3单元设置为：若所述原始smiles文本包括多聚体成分，则在所述原始smiles文本中去除多聚体成分，保留最长成分；
37.s1-4单元设置为：若所述原始smiles文本包括电荷，则在所述原始 smiles文本中加减氢原子，实现去电荷；
38.s1-5单元设置为：去除特殊smiles文本信息；
39.s1-6单元设置为：输出标准化的序列，得到所述小分子化合物的标准化 smiles文本。
40.本发明的一个优选实施方式中，所述s2化学图格式化单元中将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分时，所述预定的文本处理规则包括：
41.s2-1单元设置为：将s1所述小分子化合物的所述标准化的smiles文本拆分为各个核心的文本元素，得到所述小分子化合物的文本元素；
42.s2-2单元设置为：对所述s2-1单元的所述小分子化合物的文本元素的性质进行文本处理识别，识别并补全简化的化学信息，得到所述小分子化合物的化学信息图；
43.s2-3单元：根据所述s2-2单元的所述小分子化合物的化学信息图，建立以原子元素为节点的坐标系统，构建所述小分子化合物的化学信息图的数字化坐标系统；
44.s2-4单元：根据所述s2-3单元的所述小分子化合物的化学信息图的数字化坐标系统，添加节点与边的元素属性，得到所述小分子化合物的化学信息的数字化图结构。
45.本发明的一个优选实施方式中，s2-5单元设置为：如有需要，对所述化学信息的数字化图结构的氢原子信息进行补全。
46.在一个具体实施方式中，还包括s2-6单元：完整地输出所述小分子化合物的化学信息的数字化图结构。
47.本发明的第三方面提供一种电子设备，其包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如本发明任意一项所述的清洗小分子化合物的数据预处理方法。
48.本发明能够带来以下至少一种有益效果：
49.本发明的方法基于大数据与自然语言处理技术结合一部分化学信息学实现了一种新的方法能够实现降低计算成本，最终实现数据预处理更精准，下游使用更方便。
附图说明
50.下面将以明确易懂的方式，结合附图说明优选实施方式，对上述特性、技术特征、优点及其实现方式予以进一步说明。
51.图1是本发明中数据处理方法流程图(有两个独立但可关联的部分)；
52.图2是本发明中工作流程图；
53.图3是本发明中数据变量转换的示意图。
具体实施方式
54.以下对本发明的各个方面进行进一步详述。
55.除非另有定义或说明，本文中所使用的所有专业与科学用语与本领域技术熟练人员所熟悉的意义相同。此外任何与所记载内容相似或均等的方法及材料皆可应用于本发明方法中。
56.以下对术语进行说明。
57.除非另有明确的规定和限定，本发明中所述的“或”，包含了“和”的关系。所述“和”相当于布尔逻辑运算符“and”，所述“或”相当于布尔逻辑运算符“or”，而“and”是“or”的子集。
58.可以理解到，尽管术语“第一”、“第二”等等可以在此用来说明不同的元件，但是这些元件不应被这些术语限制。这些术语仅仅用来将一个元件与另一个元件区分开。因此，第一元件可以被称为第二元件，而不背离本发明构思的教导。
59.本发明中，术语“含有”、“包含”或“包括”表示各种成分可一起应用于本发明的混合物或组合物中。因此，术语“主要由...组成”和“由...组成”包含在术语“含有”、“包含”或“包括”中。
60.除非另有明确的规定和限定，本发明的术语“相连”、“连通”、“连接”应作广义理解，例如，可以是固定连接，也可以是通过中介媒介间相连，可以是两个元件内部的连通或者两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本技术中的具体含义。
61.例如，如果一个元件(或部件)被称为在另一个元件上、与另一个元件耦合或者与另一个元件连接，那么所述一个元件可以直接地在所述另一个元件上形成、与之耦合或者与之连接，或者在它们之间可以有一个或多个介于中间的元件。相反，如果在此使用表述“直接在......上”、“直接与......耦合”和“直接与......连接”，那么表示没有介于中间的元件。用来说明元件之间的关系的其他词语应该被类似地解释，例如“在......之间”和“直接在......之间”、“附着”和“直接附着”、“相邻”和“直接相邻”等等。
62.另外需要说明的是，下面描述中使用的词语“前”、“后”、“左”、“右”、“上”和“下”指的是附图中的方向。使用的词语“内”和“外”分别指的是朝向或远离特定部件几何中心的方向。可以理解到，在此，这些术语用来描述如在附图中所示的一个元件、层或区域相对于另一个元件、层或区域的关系。除了在附图中描述的取向之外，这些术语应该也包含装置的其他取向。
63.本发明的其它方面由于本文的公开内容，对本领域的技术人员而言是显而易见的。
64.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。
65.还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，图式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可
能更为复杂。例如，在附图中的元件的厚度可以为了清楚性起见而被夸张。
66.实施例
67.本发明中，发明人经过了广泛和深入的试验，发现本发明基于人工智能辅助药物设计的需求参考，构建了新的流程方法，进行端到端的小分子化合物 smiles序列清洗、去重、以及转数学图标准化，为下游的人工智能模型提供更精准，更高效的数据预处理方法。
68.为了达到上述目的，本发明的第一方面提供一种清洗小分子化合物的数据预处理方法，所述数据预处理方法包括：
69.s1文本预处理步骤，所述s1文本预处理步骤包括：根据预定的文本处理规则，将所述小分子化合物的原始smiles文本，预处理为所述小分子化合物的标准化smiles文本；
70.s2化学图格式化步骤，所述s2化学图格式化步骤包括：根据预定的文本处理规则，将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分，获得所述小分子化合物的化学信息的数字化图结构。
71.本发明的一个优选实施方式中，还包括s3步骤，其中，所述s2的小分子化合物的化学信息的数字化图结构用于人工智能模型的构建。
72.示例性地而非限制性的，最终展示结果为python list格式，为下游深度学习训练可保存为python pickle格式。
73.本发明的一个优选实施方式中，所述s1文本预处理步骤中将所述小分子化合物的原始smiles文本预处理为所述小分子化合物的标准化smiles文本时，所述预定的文本处理规则包括：
74.s1-1步骤：可选的结构标准化，其中将所述小分子化合物的数据处理为原始smiles文本；
75.s1-2步骤：若所述原始smiles文本包括重金属成分和有机化合物成分，则在所述原始smiles文本中去除重金属成分，保留有机化合物成分；
76.s1-3步骤：若所述原始smiles文本包括多聚体成分，则在所述原始 smiles文本中去除多聚体成分，保留最长成分；
77.s1-4步骤：若所述原始smiles文本包括电荷，则在所述原始smiles文本中加减氢原子，实现去电荷；
78.s1-5步骤：去除特殊smiles文本信息；
79.s1-6步骤：输出标准化的序列，得到所述小分子化合物的标准化smiles 文本。
80.更具体的，结合附图说明对s1步骤的各个部分说明如下。以下说明为示例性而非限制性的，因此本领域技术人员可以对以下各个步骤进行任意组合而均属于本发明的发明范围。
81.s1-1步骤：可选的结构标准化，其中将所述小分子化合物的数据处理为原始smiles文本。
82.在一个具体的实施方式中，输入所述小分子化合物的原始数据，再进行化学结构标准化处理，最后处理为原始smiles文本(通常为文本格式)。
83.具体的，在进行化学结构标准化时，利用预定的文本处理规则(s1-1部分) 进行文本整理。
84.具体的，所述预定的文本处理规则(s1-1部分)包括但不限于：
85.通过数规则将原始数据的文本修改成s1-1-1标准文本。
86.利用正则法拆分所有smiles主要成分重组smiles文本至s1-1-2标准文本。
87.重组的过程将利用文本规则进行smiles序列成分拆分再进行计算最长链。通过最长链重组smiles序列的s1-1-3标准文本。示例性而非限制性的，所述的s1-1-3标准文本例如为如图3所示的smiles序列。
88.s1-2步骤：若所述原始smiles文本包括重金属成分和有机化合物成分，则在所述原始smiles文本中去除重金属成分，保留有机化合物成分。
89.具体的，s1-2步骤用于将smiles文本中的重金属部分去除。
90.更具体的，该部分利用文本处理规则(s1-2部分)进行操作。其中，需要去除的重金属定义为不存在共价键的原子。
91.示例性地而非限制性的，部分重金属原子的smiles表示文本为：“[li]”,
ꢀ“
[ca]”,“[na ]”等原子的smiles文本元素。
[0092]
s1-3步骤：若所述原始smiles文本包括多聚体成分，则在所述原始 smiles文本中去除多聚体成分，保留最长成分；
[0093]
具体的，s1-3步骤的目的在于将smiles本文中的多聚体去除，保留最长的序列。
[0094]
更具体的，在文本中，将按照“.”分隔符就行分割。
[0095]
s1-4步骤：若所述原始smiles文本包括电荷，则在所述原始smiles文本中加减氢原子，实现去电荷；
[0096]
具体的，s1-4步骤的目的在于将smiles文本中的电荷成分归零。更具体的，可以将此过程理解为文本处理规则(s1-4部分)。
[0097]
更具体的，将共价键中的特殊成分进行修改。例如：“[o-]”修改成“o”。
[0098]
s1-5步骤：去除特殊smiles文本信息；
[0099]
该步骤的目的在于将smiles文本中的特殊标记或特殊原子去除。
[0100]
更具体的，可以将此过程理解为文本处理规则(s1-5部分)。
[0101]
示例性而非限制性地，修改的文本例如：”[1*]”,“*”,”[2h]”。
[0102]
s1-6步骤：输出标准化的序列，得到所述小分子化合物的标准化smiles 文本。
[0103]
本发明的一个优选实施方式中，所述s2化学图格式化步骤中将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分时，所述预定的文本处理规则包括：
[0104]
s2-1步骤：将s1所述小分子化合物的所述标准化的smiles文本拆分为各个核心的文本元素，得到所述小分子化合物的文本元素；
[0105]
s2-2步骤：对所述s2-1步骤的所述小分子化合物的文本元素的性质进行文本处理识别，识别并补全简化的化学信息，得到所述小分子化合物的化学信息图；
[0106]
s2-3步骤：根据所述s2-2步骤的所述小分子化合物的化学信息图，建立以原子元素为节点的坐标系统，构建所述小分子化合物的化学信息图的数字化坐标系统；
[0107]
s2-4步骤：根据所述s2-3步骤的所述小分子化合物的化学信息图的数字化坐标系统，添加节点与边的元素属性，得到所述小分子化合物的化学信息的数字化图结构。
[0108]
更具体的，结合附图对s2步骤说明如下。以下说明为示例性而非限制性的，因此本领域技术人员可以对以下各个步骤进行任意组合而均属于本发明的发明范围。
[0109]
s2-1步骤：将s1所述小分子化合物的所述标准化的smiles文本拆分为各个核心的文本元素，得到所述小分子化合物的文本元素。
[0110]
s2-1步骤的目的在于将标准化的smiles序列拆分至每一个关键的文本元素(tokenization)。
[0111]
具体的，所述文本元素包括：化学键标记、原子标记、手性标记、有机化合物环标记或其组合。
[0112]
s2-2步骤：对所述s2-1步骤的所述小分子化合物的文本元素的性质进行文本处理识别，识别并补全简化的化学信息，得到所述小分子化合物的化学信息图。
[0113]
s2-2的目的在于通过文本处理规则算法将缺失的元素补全。smiles通常隐藏部分信息，该步骤将恢复隐藏的信息到默认信息。
[0114]
示例性而非限制性地，补全
‘
—’元素作为单键化合物共价键的标记元素。
[0115]
s2-3步骤：根据所述s2-2步骤的所述小分子化合物的化学信息图，建立以原子元素为节点的坐标系统，构建所述小分子化合物的化学信息图的数字化坐标系统；
[0116]
s2-3步骤的目的在于通过拆分元素的顺序分别将节点和边进行坐标标记。
[0117]
示例性而非限制性地，节点元素为原子，边的元素为键。通过输入的标准化smiles序列顺序进行0，
…
，n的坐标标记。
[0118]
s2-4步骤：根据所述s2-3步骤的所述小分子化合物的化学信息图的数字化坐标系统，添加节点与边的元素属性，得到所述小分子化合物的化学信息的数字化图结构。
[0119]
s2-4步骤的目的在于，通过步骤s2-3的坐标系统整合节点与边的信息作为初始数学图，构建图。
[0120]
示例性而非限制性地，图的构建将通过每个节点的坐标作为一个节点list 数据结构。同时通过步骤2补全过的化合物键信息(-，＝，#，：等元素)进行左右节点的匹配创建数学图的边。
[0121]
可选的，还可以通过其他标记的元素分别给节点或者边进行特殊标记作为数学图里的属性。
[0122]
示例性而非限制性地，特殊标记包括但不限于：手性原子标记(@，@@， /，\)、原子号(通过规则查询)、单双三键(见步骤4的信息)、芳香性(通过规则识别)、是否在化合物环内(通过正则表达式进行数字识别)等属性。
[0123]
本发明的一个优选实施方式中，还包括s2-5步骤：如有需要，对所述化学信息的数字化图结构的氢原子信息进行补全。
[0124]
示例性而非限制性地，可选择给数学图加氢原子。补全方法基于原子属性的规则完成，并且补全相关属性信息。
[0125]
在一个具体实施方式中，还包括s2-6步骤：完整地输出所述小分子化合物的化学信息的数字化图结构。
[0126]
示例性而非限制性地，输出如图3所示的化学结构图。
[0127]
具体的，参见图1，示出了本发明的一个优选的具体实施方式。
[0128]
该优选的具体实施方式的构思如下：本方法分为两大部分：文本预处理、文本转数学图。
[0129]
文本预处理包括：
[0130]
1.结构标准化
[0131]
2.结构文本去重金属成分，保留有机化合物成分
[0132]
3.结构文本去多聚体，保留最长成分
[0133]
4.结构文本加减氢原子，实现去电荷
[0134]
5.去除特殊smiles文本信息
[0135]
6.输出标准化的序列
[0136]
文本转图包括：
[0137]
1.拆分smiles序列至核心元素
[0138]
2.文本处理识别文本元素性质，识别并补全简化的化学信息
[0139]
3.创造原子元素为节点的坐标系统，构建数学图
[0140]
4.添加节点与边的元素属性
[0141]
5.补全氢原子信息
[0142]
输出完整化合物图。
[0143]
更具体的，s1流程为上半部分流程，此流程输出的数据可进行保存或者转换。以下为详细说明：
[0144]
1.原始smiles数据。数据格式为文本。smiles序列为小分子化合物的文本表述方式，如图3所展示的案例。
[0145]
2.化学结构标准化，利用文本处理规则进行文本整理。通过数规则将原始文本修改成方法中的标准文本。同时，利用正则法拆分所有smiles主要成分重组smiles文本至标准文本。重组的过程将利用文本规则进行smiles序列成分拆分再进行计算最长链。通过最长链重组smiles序列文本。
[0146]
3.将smiles本文中的多聚体去除，保留最长的序列。文本将按照“.”分隔符就行分割。
[0147]
4.将smiles文本中的重金属部分去除。该部分利用文本处理规则进行操作。重金属定义为不存在共价键的原子。在实例中部分重金属原子的smiles 表示文本为：“[li]”,“[ca]”,“[na ]”等原子的smiles文本元素。
[0148]
5.将smiles文本中的电荷成分归零。该方法利用文本处理规则进行。将共价键中的特殊成分用规则修改。例如：”[o-]”修改成”o”[0149]
6.将smiles文本中的特殊标记与特殊原子去除，该方法也利用文本处理规则。修改的文本例如：”[1*]”,“*”,”[2h]”。
[0150]
7.将标准化的smiles序列输出
[0151]
图1的s2流程为下半部分流程，此流程输入为smiles序列，输出的为数学图格式化变量：
[0152]
1.拆分标准化的smiles序列至每一个关键元素(tokenization)。元素包括：化学键标记、原子标记、手性标记、有机化合物环标记
[0153]
2.通过文本处理规则算法将缺失的元素补全。smiles通常隐藏部分信息，该步骤将恢复隐藏的信息到默认信息。比如：补全
‘
—’元素作为单键化合物共价键的标记元素。
[0154]
3.通过拆分元素的顺序分别将节点和边进行坐标标记。在实例中，节点元素为原子，边的元素为键。通过输入的标准化smiles序列顺序进行0，
…
， n的坐标标记。
[0155]
4.通过步骤三的坐标系统整合节点与边的信息作为初始数学图，构建图。
[0156]
图的构建将通过每个节点的坐标作为一个节点list数据结构。同时通过步骤2补全过的化合物键信息(-，＝，#，：等元素)进行左右节点的匹配创建数学图的边。
[0157]
5.通过其他标记的元素分别给节点或者边进行特殊标记作为数学图里的属性。在实例中，特殊标记包括但不限于：手性原子标记(@，@@，/，\)、原子号(通过规则查询)、单双三键(见步骤4的信息)、芳香性(通过规则识别)、是否在化合物环内(通过正则表达式进行数字识别)等属性。
[0158]
6.(可选)补全氢原子信息。在实例中可选择给数学图加氢原子。补全方法基于原子属性的规则完成，并且补全相关属性信息。
[0159]
7.输出化学结构图，为图三的最终展示。
[0160]
本发明的一个优选实施方式中，还包括s3步骤，其中，所述s2的小分子化合物的化学信息的数字化图结构用于人工智能模型的构建。
[0161]
参见图2所示，示出了s3步骤的工作流程。s3步骤包括：
[0162]
s3-1获得原始药物数据集；
[0163]
s3-2数据预处理(smiles清洗)；
[0164]
s3-3机器学习、深度学习的工作流程；
[0165]
s3-4：人工智能模型。
[0166]
以下对s3步骤进行示例性说明：
[0167]
示例一：
[0168]
1.输入smiles序列数据集
[0169]
2.分别将每个序列进行图1所示的s1流程。根据参数决定是否标准化部分可选的步骤。
[0170]
3.通过机器资源调配安排并行计算，提高计算效率。
[0171]
4.输出清洗smiles的数据集，并存储用于其他用途。存储方法为sql类数据库或者csv、excel等表格格式。
[0172]
示例二：
[0173]
1.输入smiles序列数据集
[0174]
2.分别将每个序列进行图1所示的s1流程。
[0175]
3.通过机器资源调配安排并行计算，提高计算效率。
[0176]
4.输出清洗smiles的数据集
[0177]
5.分别将每个清洗过的smiles序列进行图1所示的s2流程。
[0178]
6.通过机器资源调配安排并行计算，提高计算效率。
[0179]
7.输出所有化合物图数据变量。整个数据集为python list格式呈现，每个数学图有图3所示的节点list变量与边list变量。
[0180]
8.如图2所示的最后2个步骤，保存数据用于机器学习、深度学习训练，保存方式为python pickle格式。
[0181]
以图3为例，在一些实例中的整个流程为：
[0182]
1.输入原始从某一个来源的smiles格式数据
[0183]
2.进行图1所示的s1流程；
[0184]
3.进行图1所示的s2流程，输出可用于建模的数学图数据变量。
[0185]
具体的，最终展示结果为python list格式，为下游深度学习训练可保存为 python pickle格式。
[0186]
综上所述，相较于原始的smiles序列文本，本方法实现全局数据集清洗、去重、以及标准化。对有冲突的及原始数据不同的样本统一标准化进行下游分析。
[0187]
相较于传统的etl数据处理方法，本方法实现了从原始数据转换成能够用于训练的数据的方法，标准化了整个从原始数据到训练数据集到数据模型训练的工作流程。
[0188]
本发明的第二方面提供一种清洗小分子化合物的数据预处理系统，适用于本发明所述的数据预处理方法，其包括：
[0189]
s1文本预处理单元，所述s1文本预处理单元设置为包括：根据预定的文本处理规则，将所述小分子化合物的原始smiles数据，预处理为所述小分子化合物的标准化smiles文本；
[0190]
s2化学图格式化单元，所述s2化学图格式化单元设置为包括：根据预定的文本处理规则，将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分，获得所述小分子化合物的化学信息的数字化图结构。
[0191]
本发明的一个优选实施方式中，还包括s3单元，其设置为，所述s2的小分子化合物的化学信息的数字化图结构用于人工智能模型的构建。
[0192]
本发明的一个优选实施方式中，所述s1文本预处理单元中将所述小分子化合物的原始smiles文本预处理为所述小分子化合物的标准化smiles文本时，所述预定的文本处理规则包括：
[0193]
s1-1单元设置为：可选的结构标准化，其中将所述小分子化合物的数据处理为原始smiles文本；
[0194]
s1-2单元设置为：若所述原始smiles文本包括重金属成分和有机化合物成分，则在所述原始smiles文本中去除重金属成分，保留有机化合物成分；
[0195]
s1-3单元设置为：若所述原始smiles文本包括多聚体成分，则在所述原始smiles文本中去除多聚体成分，保留最长成分；
[0196]
s1-4单元设置为：若所述原始smiles文本包括电荷，则在所述原始 smiles文本中加减氢原子，实现去电荷；
[0197]
s1-5单元设置为：去除特殊smiles文本信息；
[0198]
s1-6单元设置为：输出标准化的序列，得到所述小分子化合物的标准化 smiles文本。
[0199]
本发明的一个优选实施方式中，所述s2化学图格式化单元中将所述s1的所述小分子化合物的所述标准化的smiles文本的各个文本元素进行格式拆分时，所述预定的文本处理规则包括：
[0200]
s2-1单元设置为：将s1所述小分子化合物的所述标准化的smiles文本拆分为各个核心的文本元素，得到所述小分子化合物的文本元素；
[0201]
s2-2单元设置为：对所述s2-1单元的所述小分子化合物的文本元素的性质进行文本处理识别，识别并补全简化的化学信息，得到所述小分子化合物的化学信息图；
[0202]
s2-3单元：根据所述s2-2单元的所述小分子化合物的化学信息图，建立以原子元
素为节点的坐标系统，构建所述小分子化合物的化学信息图的数字化坐标系统；
[0203]
s2-4单元：根据所述s2-3单元的所述小分子化合物的化学信息图的数字化坐标系统，添加节点与边的元素属性，得到所述小分子化合物的化学信息的数字化图结构。
[0204]
本发明的一个优选实施方式中，s2-5单元设置为：如有需要，对所述化学信息的数字化图结构的氢原子信息进行补全。
[0205]
在一个具体实施方式中，还包括s2-6单元：完整地输出所述小分子化合物的化学信息的数字化图结构。
[0206]
本发明的第三方面提供一种电子设备，其包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现如本发明任意一项所述的清洗小分子化合物的数据预处理方法。
[0207]
基于本技术，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目和方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。
[0208]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
[0209]
应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0210]
在本发明提及的所有文献都在本技术中引用作为参考，就如同每一篇文献被单独引用作为参考那样。此外应理解，在阅读了本发明的上述内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。