机器学习平台中的文本处理方法、装置及设备与流程

1.本发明涉及信息处理领域，更具体地，涉及一种机器学习平台的文本数据处理方法、一种机器学习平台的文本处理装置、一种包括至少一个计算装置和至少一个存储装置的设备及一种计算机可读存储介质。


背景技术：

2.随着人工智能的发展，数据的价值不断凸显，将文本数据中的有用信息抽取出来进行利用的需求越来越常见。
3.现有技术中，其往往是利用机器学习模型抽取文本数据中的有用信息，然而，其需要的是自然语言处理(natural langunge possns，nlp)相关专业人员，缺少nlp相关经验的人员是很难完成的，同时，现有的自动机器学习工具功能过于简单片面，不能覆盖机器学习模型构建及应用的整个流程，即，无法有效地实现机器学习模型的后续生产和应用，从而导致无法将从文本数据中抽取出的有用信息进行快速应用。


技术实现要素：

4.本公开实施例的一个目的是提供一种机器学习平台中的文本数据处理的新的技术方案。
5.根据本公开的第一方面，提供了一种机器学习平台中的文本数据处理方法，其包括：
6.将训练文本数据及其对应的真实标签输入至文本处理模型训练算子中，以训练出文本处理模型；
7.将所述文本处理模型和预测文本数据输入至文本处理模型预测算子中，获得所述预测文本数据的预测标签；
8.将所述预测标签和对应于所述预测文本数据的真实标签输入至文本处理模型评估算子中，获得所述文本处理模型的评估指标值；以及，
9.根据所述评估指标值，对所述文本处理模型进行相应处理。
10.可选地，所述文本处理模型为文本分类模型，所述真实标签和预测标签为文本分类结果，所述文本处理模型训练算子为文本分类模型训练算子，所述文本处理模型预测算子为文本分类模型预测算子，所述文本处理模型评估算子为文本分类模型评估算子；
11.或者，
12.所述文本处理模型为实体抽取模型，所述真实标签和预测标签为实体信息结果，所述文本处理模型训练算子为实体抽取模型训练算子，所述文本处理模型预测算子为实体抽取模型预测算子，所述文本处理模型评估算子为实体抽取模型评估算子；
13.或者
14.所述文本处理模型为关系抽取模型，所述真实标签和预测标签为实体关系结果，所述本处理模型训练算子为关系抽取模型训练算子，所述文本处理模型预测算子为关系抽
取模型预测算子，所述文本处理模型评估算子为关系抽取模型评估算子。
15.可选地，所述方法还包括基于获取到的初始文本数据获得所述训练文本数据和所述预测文本数据的步骤，
16.所述基于获取到的初始文本数据获得所述训练文本数据和所述预测文本数据的步骤，包括：
17.将获取到的所述初始文本数据输入至文本数据拆分算子中，以将所述初始文本数据拆分为训练文本数据和预测文本数据；
18.其中，所述训练文本数据作为所述文本处理模型训练算子的输入，所述预测文本数据作为所述文本处理模型预测算子的输入。
19.可选地，获取所述历史文本数据，包括：
20.提供至少一个数据导入路径；
21.从选择的数据导入路径导入所述历史文本数据；以及，
22.保存导入的所述历史文本数据。
23.可选地，所述方法还包括：
24.响应于针对所述文本处理模型训练算子的配置操作，提供用于配置所述文本处理模型训练算子的第一配置界面；以供所述文本处理模型训练算子根据所述第一配置界面输入的第一配置信息，对所述训练文本数据及其对应的真实标签进行特征工程处理来获得训练文本样本；并按照预设的模型训练算法，基于所述训练文本样本来训练文本处理模型。
25.可选地，所述第一配置界面涉及以下至少一个配置项：文本处理模型训练算子的输入源配置项、目标值字段配置项、模型训练算法配置项、调参算法及其超参数配置项以及文本数据最大长度的配置项。
26.可选地，在所述文本处理模型为所述文本分类模型的情况下，
27.所述第一配置界面涉及的配置项还包括：应用资源的配置项和文本数据对应的文本语言类型的配置项之中的至少一项。
28.可选地，在所述文本处理模型为所述实体抽取模型的情况下，
29.所述输入源配置项中涉及文本数据白名单的选择项；
30.其中，所述文本数据白名单为定义了实体信息的列表，所述实体信息包括实体名及其对应的实体类型。
31.可选地，所述方法还包括：
32.利用所述实体抽取模型训练算子，解析所述文本数据白名单；
33.运行所述解析后的文本数据白名单，获得所述文本数据白名单中所定义的实体名及其对应的实体类型，以供所述实例抽取模型预测算子根据所定义的实体名及其对应的实体类型，对输入的所述预测文本数据进行预测获得所述预测文本数据中各个实体名的预测实体类型。
34.可选地，所述方法还包括：
35.响应于针对所述文本处理模型预测算子的触发操作，提供用于配置所述文本处理模型预测算子的第二配置界面；以供所述文本处理模型预测算子根据通过所述第二配置界面输入的第二配置信息，利用训练出的所述文本处理模型，针对所述预测文本数据提供预测标签。
36.可选地，所述第二配置界面涉及以下至少一个配置项：文本处理模型预测算子的输入源配置项、预测目标值字段配置项。
37.可选地，所述方法还包括：
38.响应于针对所述文本处理模型评估算子的触发操作，提供用于配置所述文本处理模型评估算子的第三配置界面；以使所述本处理模型评估算子根据通过所述第三配置界面输入的第三配置信息，将所述预测标签和对应于所述预测文本数据的真实标签相比较，获得所述文本处理模型的评估指标值。
39.可选地，所述第三配置界面涉及以下至少一个配置项：文本处理模型评估算子的输入源配置项、评估指标的配置项。
40.可选地，所述根据所述评估指标值，对所述文本处理模型进行相应处理，包括：
41.在所述评估指标值大于或等于评估指标阈值的情况下，将所述文本处理模型上线应用。
42.可选地，所述根据所述评估指标值，对所述文本处理模型进行相应处理，还包括：
43.在所述评估指标值小于评估指标阈值的情况下，重新基于所述文本处理模型训练算子继续训练所述文本处理模型。
44.可选地，所述重新基于所述文本处理模型训练算子继续训练所述文本处理模型，包括：
45.调整所述文本处理模型训练算子中用于模型训练的超参数，并基于调整后的所述超参数继续训练所述文本处理模型。
46.可选地，所述调整所述文本处理模型训练算子中用于模型训练的超参数，并基于调整后的所述超参数继续训练所述文本处理模型，包括：
47.重新选择所述文本处理模型训练算子中用于生成所述超参数的调参算法；
48.根据重新选择的调参算法生成新的超参数，并基于所述新的超参数继续训练所述文本处理模型。
49.可选地，所述重新基于所述文本处理模型训练算子继续训练所述文本处理模型，还包括：
50.调整所述训练文本数据的数量，并将调整后的所述训练文本数据及其对应的真实标签输入至所述文本处理模型训练算子中继续训练所述文本处理模型。
51.可选地，所述重新基于所述文本处理模型训练算子继续训练所述文本处理模型，还包括：
52.调整所述文本处理模型训练算子中用于训练模型的模型训练算法，以按照调整后的模型训练算法来继续训练所述文本处理模型。
53.根据本公开的第二方面，还提供一种机器学习平台中的文本数据处理装置，其包括：
54.模型训练模块，用于将训练文本数据及其对应的真实标签输入至文本处理模型训练算子中，以训练出文本处理模型；
55.模型预测模块，用于将所述文本处理模型和预测文本数据输入至文本处理模型预测算子中，获得所述预测文本数据的预测标签；
56.模型评估模块，用于将所述预测标签和对应于所述预测文本数据的真实标签输入
至文本处理模型评估算子中，获得所述文本处理模型的评估指标值；以及，
57.模型处理模块，用于根据所述评估指标值，对所述文本处理模型进行相应处理。
58.可选地，所述文本处理模型为文本分类模型，所述真实标签和预测标签为文本分类结果，所述文本处理模型训练算子为文本分类模型训练算子，所述文本处理模型预测算子为文本分类模型预测算子，所述文本处理模型评估算子为文本分类模型评估算子；
59.或者，
60.所述文本处理模型为实体抽取模型，所述真实标签和预测标签为实体信息结果，所述文本处理模型训练算子为实体抽取模型训练算子，所述文本处理模型预测算子为实体抽取模型预测算子，所述文本处理模型评估算子为实体抽取模型评估算子；
61.或者
62.所述文本处理模型为关系抽取模型，所述真实标签和预测标签为实体关系结果，所述本处理模型训练算子为关系抽取模型训练算子，所述文本处理模型预测算子为关系抽取模型预测算子，所述文本处理模型评估算子为关系抽取模型评估算子。
63.可选地，所述装置还包括获取模块，所述获取模块用于：
64.将获取到的所述初始文本数据输入至文本数据拆分算子中，以将所述初始文本数据拆分为训练文本数据和预测文本数据；
65.其中，所述训练文本数据作为所述文本处理模型训练算子的输入，所述预测文本数据作为所述文本处理模型预测算子的输入。
66.可选地，所述获取模块还用于：
67.提供至少一个数据导入路径；
68.从选择的数据导入路径导入所述历史文本数据；以及，
69.保存导入的所述历史文本数据。
70.可选地，所述模型训练模块还用于：
71.响应于针对所述文本处理模型训练算子的配置操作，提供用于配置所述文本处理模型训练算子的第一配置界面；以供所述文本处理模型训练算子根据所述第一配置界面输入的第一配置信息，对所述训练文本数据及其对应的真实标签进行特征工程处理来获得训练文本样本；并按照预设的模型训练算法，基于所述训练文本样本来训练文本处理模型。
72.可选地，所述第一配置界面涉及以下至少一个配置项：文本处理模型训练算子的输入源配置项、目标值字段配置项、模型训练算法配置项、调参算法及其超参数配置项以及文本数据最大长度的配置项。
73.可选地，在所述文本处理模型为所述文本分类模型的情况下，
74.所述第一配置界面涉及的配置项还包括：应用资源的配置项和文本数据对应的文本语言类型的配置项之中的至少一项。
75.可选地，在所述文本处理模型为所述实体抽取模型的情况下，
76.所述输入源配置项中涉及文本数据白名单的选择项；
77.其中，所述文本数据白名单为定义了实体信息的列表，所述实体信息包括实体名及其对应的实体类型。
78.可选地，所述模型训练模块还用于：
79.利用所述实体抽取模型训练算子，解析所述文本数据白名单；
80.运行所述解析后的文本数据白名单，获得所述文本数据白名单中所定义的实体名及其对应的实体类型，以供
81.所述实例抽取模型预测算子根据所定义的实体名及其对应的实体类型，对输入的所述预测文本数据进行预测获得所述预测文本数据的预测标签。
82.可选地，所述模型预测模块还用于：
83.响应于针对所述文本处理模型预测算子的触发操作，提供用于配置所述文本处理模型预测算子的第二配置界面；以供所述文本处理模型预测算子根据通过所述第二配置界面输入的第二配置信息，利用训练出的所述文本处理模型，针对所述预测文本数据提供预测标签。
84.可选地，所述第二配置界面涉及以下至少一个配置项：文本处理模型预测算子的输入源配置项、预测目标值字段配置项。
85.可选地，所述模型预估模块还用于：
86.响应于针对所述文本处理模型评估算子的触发操作，提供用于配置所述文本处理模型评估算子的第三配置界面；以使所述本处理模型评估算子根据通过所述第三配置界面输入的第三配置信息，将所述预测标签和对应于所述预测文本数据的真实标签相比较，获得所述文本处理模型的评估指标值。
87.可选地，所述第三配置界面涉及以下至少一个配置项：文本处理模型评估算子的输入源配置项、评估指标的配置项。
88.可选地，所述模型处理模块还用于：
89.在所述评估指标值大于或等于评估指标阈值的情况下，将所述文本处理模型上线应用。
90.可选地，所述模型处理模块还用于：
91.在所述评估指标值小于评估指标阈值的情况下，重新基于所述文本处理模型训练算子继续训练所述文本处理模型。
92.可选地，所述模型处理模块还用于：
93.调整所述文本处理模型训练算子中用于模型训练的超参数，并基于调整后的所述超参数继续训练所述文本处理模型。
94.可选地，所述模型处理模块还用于：
95.重新选择所述文本处理模型训练算子中用于生成所述超参数的调参算法；
96.根据重新选择的调参算法生成新的超参数，并基于所述新的超参数继续训练所述文本处理模型。
97.可选地，述模型处理模块还用于：
98.调整所述训练文本数据的数量，并将调整后的所述训练文本数据及其对应的真实标签输入至所述文本处理模型训练算子中继续训练所述文本处理模型。
99.可选地，所述模型处理模块还用于：
100.调整所述文本处理模型训练算子中用于训练模型的模型训练算法，以按照调整后的模型训练算法来继续训练所述文本处理模型。
101.根据本公开的第三方面，还提供一种包括至少一个计算装置和至少一个存储装置的设备，其中，所述至少一个存储装置用于存储指令，所述指令用于控制所述至少一个计算
装置执行根据以上第一方面所述的方法。
102.根据本公开的第四方面，还提供一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现如以上第一方面所述的方法。
103.根据本公开实施例的方法，其提供了相互独立的文本处理模型训练算子、文本处理模型预测算子和文本处理模型评估算子，通过文本处理模型训练算子完成训练文本数据的训练以训练出文本处理模型，通过文本处理模型预测算子和该文本处理模型完成预测文本数据的预测以获得预测结果，以及，通过文本处理模型评估算子完成预测结果的评估以获得文本处理模型的评估结果，可以直观的展现文本处理的全流程，使没有nlp经验的用户也能快速将文本处理应用起来以抽取需要的信息。
附图说明
104.通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。
105.图1是显示可用于实现本公开实施例的电子设备的硬件配置的例子的框图；
106.图2示出了本公开实施例的机器学习平台中的文本处理方法的流程图；
107.图3a至图3c示出了根据本公开实施例的机器学习平台中的文本处理方法的界面显示示意图；
108.图4示出了本公开实施例的机器学习平台中的文本处理装置的原理框图。
具体实施方式
109.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
110.以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
111.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
112.在这里示出和讨论的所有例子中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它例子可以具有不同的值。
113.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
114.下面，参照附图描述根据本发明实施例的各个实施例和例子。
115.《硬件配置》
116.本公开实施例的方法可以由至少一台电子设备实施，即，用于实施该方法的装置4000可以布置在该至少一台电子设备上。图1示出了任意电子设备的硬件结构。图1所示的电子设备可以是便携式电脑、台式计算机、工作站、服务器等，也可以是任意的具有处理器等计算装置和存储器等存储装置的其他设备，在此不做限定。
117.如图1所示，该电子设备1000可以包括处理器1100、存储器1200、接口装置1300、通信装置1400、显示装置1500、输入装置1600、扬声器1700、麦克风1800等等。其中，处理器
1100用于执行计算机程序。该计算机程序可以采用比如x86、arm、risc、mips、sse等架构的指令集编写。存储器1200例如包括rom(只读存储器)、ram(随机存取存储器)、诸如硬盘的非易失性存储器等。接口装置1300例如包括usb接口、耳机接口等。通信装置1400例如能够进行有线或无线通信，具体地可以包括wifi通信、蓝牙通信、2g/3g/4g/5g通信等。显示装置1500例如是液晶显示屏、触摸显示屏等。输入装置1600例如可以包括触摸屏、键盘、体感输入等。电子设备1000可以通过扬声器1700输出语音信息，及可以通过麦克风1800采集语音信息等。
118.图1所示的电子设备仅仅是说明性的并且决不意味着对本发明、其应用或使用的任何限制。应用于本公开的实施例中，电子设备1000的所述存储器1200用于存储指令，所述指令用于控制所述处理器1100进行操作以执行本公开实施例的机器学习平台中的文本处理方法。技术人员可以根据本发明所公开方案设计指令。指令如何控制处理器进行操作，这是本领域公知，故在此不再详细描述。
119.在一个实施例中，提供了一种包括至少一个计算装置和至少一个存储装置的设备，该至少一个存储装置用于存储指令，该指令用于控制该至少一个计算装置执行根据本公开任意实施例的方法。
120.该设备可以包括至少一台图1所示的电子设备1000，以提供至少一个例如是处理器的计算装置和至少一个例如是存储器的存储装置，在此不做限定。
121.《方法实施例》
122.在本实施例中，提供一种机器学习平台中的文本处理方法，该方法可以由如图1所示的电子设备1000实施，例如可以由电子设备1000的机器学习平台中的文本处理装置4000实施。
123.根据图2所示，本实施例的机器学习平台中的文本处理方法可以包括如下步骤s2100～s2400：
124.步骤s2100，将训练文本数据及其对应的真实标签输入至文本处理模型训练算子中，以训练出文本处理模型。
125.模型训练算子是用于对输入的文本训练数据进行数据预处理，并针对进行数据预处理后的训练文本数据进行特征工程，及根据特征工程的结果进行模型训练得到文本处理模型的工具。
126.训练文本数据是用于进行文本处理模型训练的文本数据，本步骤s2100中，可以是基于获取到的初始文本数据获得训练文本数据和以下预测文本数据，在此，本实施例还可以是提供文本数据拆分算子，以利用该文本数据拆分算子将初始文本数据拆分为训练文本数据和预测文本数据，该文本数据拆分算子可以是图3a、图3b、图3c所示画布中的“文本数据拆分算子”。例如，可以是将获取到的初始文本数据输入至文本数据拆分算子中，以将初始文本数据拆分为训练文本数据和预测文本数据，并将训练文本数据作为本步骤s2100中文本处理模型训练算子的输入，以及，将预测文本数据作为以下步骤s2200中文本处理模型预测算子的输入。基于此，本实施例中获取历史文本数据的步骤可以包括如下步骤：提供至少一个数据导入路径；从选择的数据导入路径导入历史文本数据；以及，保存导入的历史文本数据。
127.例如可以是通过以下一种或多种导入方式来导入历史文本数据，即，将本地存储
treenet(高维离散嵌入式的树网络)算法、梯度提升决策树(gradient boosting decision tree，gbdt)算法以及随机森林算法等，也可以是用于训练机器学习模型的其他机器学习算法，本实施例在此不做限定。
138.以上调参算法是用于对机器学习算法对应的参数进行优化的算法。该调参算法可以是随机搜索、网格搜索、贝叶斯优化等。
139.以上超参数可以包括模型超参数和训练超参数，该模型超参数是用于定义模型的超参数，例如但不限于是激活函数(例如恒等函数、s型函数以及截断斜波函数等)、隐含层节点数量、卷积层通道数量以及全连接层节点数量等。该训练超参数是用于定义模型训练过程的超参数，例如但不限于是学习率、批尺寸以及迭代次数等。
140.如图3a所示的画布，将“nlp_c1”节点连接“文本数据拆分算子”，以及，将“文本数据拆分算子”的左侧输出点连接“文本分类模型训练算子”，完成配置信息的配置后选择运行，便可以利用文本分类模型训练算子，对训练文本数据及其对应的真实分类结果进行特征工程处理来获得训练文本样本，并按照配置的模型训练算法，基于训练文本样本来训练文本分类模型。
141.如图3b所示的画布，将“entity_cons”节点连接“文本数据拆分算子”，以及，将“文本数据拆分算子”的左侧输出点连接“实体抽取模型训练算子”完成配置信息的配置后选择运行，便可以利用文本分类模型训练算子，对训练文本数据及其对应的真实实体信息结果进行特征工程处理来获得训练文本样本，并按照配置的模型训练算法，基于训练文本样本来训练实体抽取模型。
142.如图3c所示的画布，将“nlp_c1”节点连接“文本数据拆分算子”，以及，将“文本数据拆分算子”的左侧输出点连接“实体关系模型训练算子”，完成配置信息的配置后选择运行，便可以利用实体关系模型训练算子，对训练文本数据及其对应的真实实体关系结果进行特征工程处理来获得训练文本样本，并按照配置的模型训练算法，基于训练文本样本来训练实体关系模型。
143.步骤s2200，将文本处理模型和预测文本数据输入至文本处理模型预测算子中，获得预测文本数据的预测标签。
144.预测文本数据可以是基于获取到的初始文本数据获得，如何获得可以参照以上步骤s2100，本步骤s2200在此不做赘述。
145.文本处理模型预测算子是用于对提供的预测数据提供预测服务的工具。
146.在文本处理模型为文本分类模型的情况下，以上预测标签为预测文本分类结果，在此，文本处理模型预测算子为文本分类模型预测算子，例如图3a画布中所示的“文本分类模型预测算子”。
147.在文本处理模型为实体抽取模型的情况下，以上真实标签为真实实体信息结果，在此，文本处理模型预测算子为实体抽取模型预测算子，例如图3b画布中所示的“实体抽取模型预测算子”。
148.在文本处理模型为关系抽取模型的情况下，以上真实标签为真实实体关系结果，在此，文本处理模型预测算子为实体关系模型预测算子，例如图3c画布中所示的“实体关系模型预测算子”。
149.本实施例中，可以是将“文本数据拆分算子”的右侧输出点与和“文本处理模型预
测算子”的右侧输入端连接，以将拆分得到的预测文本数据输入至“文本处理模型预测算子”中；以及，将“文本处理模型训练算子”的输出点与“文本处理模型预测算子”的左侧输入点连接，以将获得的文本处理模型输入至“文本处理模型预测算子”中，并对“文本处理模型预测算子”进行配置，进而根据配置信息利用文本处理模型进行预测文本数据的预测，在此，本实施例中机器学习平台中的文本处理方法还可以包括：
150.响应于针对文本处理模型预测算子的触发操作，提供用于配置文本处理模型预测算子的第二配置界面；以供文本处理模型预测算子根据通过第二配置界面输入的第二配置信息，利用训练出的文本处理模型，针对预测文本数据提供预测标签。
151.例如可以是针对文本处理模型预测算子实施点击操作，电子设备1000响应于该点击操作，提供用于配置文本处理模型预测算子的配置界面。该配置界面中涉及以下至少一个配置项：文本处理模型预测算子的输入源配置项、预测目标值字段配置项。
152.如图3a所示的画布，继续将“文本数据拆分算子”的右侧输出点与“文本分类模型预测算子”的右侧输入点连接，以及，将“文本分类模型训练算子”的输出点与“文本分类模型预测算子”的右侧输入点连接，完成配置信息的配置后选择运行，便可以利用文本分类模型预测算子和训练出的文本分类模型，针对预测文本数据提供预测分类结果。
153.如图3b所示的画布，继续将“文本数据拆分算子”的右侧输出点与“实体抽取模型预测算子”的右侧输入点连接，以及，将“实体抽取模型训练算子”的输出点与“实体抽取模型预测算子”的右侧输入点连接，完成配置信息的配置后选择运行，便可以利用实体抽取模型预测算子和训练出的实体抽取模型，针对预测文本数据提供预测实体信息结果。
154.如图3c所示的画布，继续将“文本数据拆分算子”的右侧输出点与“关系抽取模型预测算子”的右侧输入点连接，以及，将“关系抽取模型训练”算子的输出点与“关系抽取模型训练算子”的右侧输入点连接，完成配置信息的配置后选择运行，便可以利用关系抽取模型预测算子和训练出的关系抽取模型，针对预测文本数据提供预测实体关系结果。
155.步骤s2300，将预测标签和对应于预测文本数据的真实标签输入至文本处理模型评估算子中，获得文本处理模型的评估指标值。
156.文本处理模型评估算子是用于对训练得到的文本处理模型进行评估的工具。
157.在文本处理模型为文本分类模型的情况下，文本处理模型评估算子为文本分类模型评估算子，例如图3a画布中所示的“文本分类模型评估算子”。
158.在文本处理模型为实体抽取模型的情况下，文本处理模型评估算子为实体抽取模型评估算子，例如图3b画布中所示的“实体抽取模型评估算子”。
159.在文本处理模型为关系抽取模型的情况下，文本处理模型评估算子为实体关系模型评估算子，例如图3c画布中所示的“实体关系模型评估算子”。
160.本实施例中，可以是将“文本处理模型预测算子”的输出点与“文本处理模型评估算子”的输入点连接，以将预测文本数据的真实标签和预测标签输入至“文本处理模型评估算子”中，并对“文本处理模型评估算子”进行配置，进而根据配置信息进行预测文本数据的预测，在此，本实施例中机器学习平台中的文本处理方法还可以包括：
161.响应于针对文本处理模型评估算子的触发操作，提供用于配置文本处理模型评估算子的第三配置界面；以使文本处理模型评估算子根据通过第三配置界面输入的第三配置信息，将预测标签和对应于预测文本数据的真实标签相比较，获得文本处理模型的评估指
标值。
162.例如可以是针对文本处理模型评估算子实施点击操作，电子设备1000响应于该点击操作，提供用于配置文本处理模型评估算子的配置界面。该配置界面中涉及以下至少一个配置项：文本处理模型评估算子的输入源配置项、评估指标的配置项。
163.以上评估指标是用于衡量文本处理模型的好坏的指标。该评估指标可以是均方误差(mean squared error，mse)、平均绝对误差(mean absolute error，mae)、平均绝对百分比误差(mean absolute percentage error，mape)、r2、auc(area under the curve)、召回率recall、准确率precision、精确率accuracy、f1、logloss之中的至少一项。
164.如图3a所示的画布，继续将“文本分类模型预测算子”的输出点与“文本分类模型评估算子”的输入点连接，完成配置信息的配置后选择运行，便可以利用文本分类模型评估算子，针对预测文本数据的真实分类结果和预测分类结果，获得文本分类模型的评估指标值。
165.如图3b所示的画布，继续将“实体抽取模型预测算子”的输出点与“实体抽取模型评估算子”的输入点连接，完成配置信息的配置后选择运行，便可以利用实体抽取模型评估算子，针对预测文本数据的真实实体信息结果和预测实体信息结果，获得实体抽取模型的评估指标值。
166.如图3c所示的画布，继续将“关系抽取模型预测算子”的输出点与“关系抽取模型评估算子”的输入点连接，完成配置信息的配置后选择运行，便可以利用关系抽取模型评估算子，针对预测文本数据的真实实体关系结果和预测实体关系结果，获得关系抽取模型的评估指标值。
167.步骤s2400，根据评估指标值，对文本处理模型进行相应处理。
168.本实施例中，在根据以上步骤s2300获得文本处理模型的评估指标值后，便可根据本步骤s2400根据评估指标值，对文本处理模型进行相应处理。
169.在一个例子中，本步骤s2400中根据评估指标值，对文本处理模型进行相应处理可以包括：在评估指标值大于或等于评估指标阈值的情况下，将文本处理模型上线应用。
170.在另一个例子中，本步骤s2400中根据评估指标值，对文本处理模型进行相应处理还可以包括：在评估指标值小于评估指标阈值的情况下，重新基于文本处理模型训练算子继续训练文本处理模型。
171.例如，重新基于文本处理模型训练算子继续训练文本处理模型可以包括：调整文本处理模型训练算子中用于模型训练的超参数，并基于调整后的超参数继续训练文本处理模型。可以是重新选择文本处理模型训练算子中用于生成超参数的调参算法；并根据重新选择的调参算法生成新的超参数，并基于新的超参数继续训练文本处理模型。
172.又例如，调整训练文本数据的数量，并将调整后的训练文本数据及其对应的真实标签输入至文本处理模型训练算子中继续训练文本处理模型。
173.又例如，重新基于文本处理模型训练算子继续训练文本处理模型还可以包括：调整文本处理模型训练算子中用于训练模型的模型训练算法，以按照调整后的模型训练算法来继续训练文本处理模型。
174.根据本公开实施例的方法，其提供了相互独立的文本处理模型训练算子、文本处理模型预测算子和文本处理模型评估算子，通过文本处理模型训练算子完成训练文本数据
的训练以训练出文本处理模型，通过文本处理模型预测算子和该文本处理模型完成预测文本数据的预测以获得预测结果，以及，通过文本处理模型评估算子完成预测结果的评估以获得文本处理模型的评估结果，可以直观的展现文本处理的全流程，使没有nlp经验的用户也能快速将文本处理应用起来以抽取需要的信息。
175.在一个实施例中，在文本处理模型为文本分类模型的情况下，第一配置界面涉及的配置项还包括：应用资源的配置项和文本数据对应的文本语言类型的配置项之中的至少一项。
176.应用资源可以包括cpu和gpu(graphics processing unit)，在此，电子设备1000中内置了cpu模型与gpu模型，根据用户的选择，会使用对应的模型进行训练。
177.文本语言类型的配置项是用于进行文本分类训练的语言的配置，该文本语言可以是中文或英文。
178.根据本实施例，由于其同时支持gpu与cpu模式，从而可以让没有gpu资源的用户也可以进行文本分类的模型训练、预测、评估、上线，完成nlp文本分类能力落地的全流程。
179.而且，其同时支持中文和英文文本的文本分类，用户在进行文本分类模型训练时，选择加入训练的是中文文本或英文文本即可，电子设备1000会自动根据所选的语言不同，为用户训练出最能满足业务需求的模型。
180.在一个实施例中，在文本处理模型为实体抽取模型的情况下，第一配置界面中输入源配置项中还涉及文本数据白名单的选择项。文本数据白名单为定义了实体信息的列表，实体信息包括实体名及其对应的实体类型，例如定义的实体名为“苹果”，对应的实体类型为“公司”。由于白名单的内容是经过一定的经验沉淀所获得的内容，在实体抽取模型训练时融入了“白名单”功能，模型应用时，可以自动根据白名单的设定，将文本中符合设定的内容抽取出来。在此，本公开机器学习平台中的文本处理方法还包括：
181.利用实体抽取模型训练算子，解析文本数据白名单；运行解析后的文本数据白名单，获得文本数据白名单中所定义的实体名及其对应的实体类型，以供实体抽取模型预测算子根据所定义的实体名及其对应的实体类型，对输入的预测文本数据进行预测获得预测文本数据中各个实体名的预测实体类型。
182.本实施例中，该文本数据白名单可以保存为xml格式或者是json格式，在此，需要先利用实体抽取模型训练算子对文本数据白名单进行解析，再运行解析后的文本数据白名单，进而获得文本数据白名单中所定义的实体名及其对应的实体类型，例如实体抽取模型训练得到的白名单中实体名“苹果”所对应的实体类型为“公司”，在后面的实体抽取模型预测中，只要文本数据中出现了“苹果”，则都会将该实体名作为“公司”类别被抽取出来。
183.《装置实施例》
184.在本实施例中，提供一种机器学习平台中的文本数据处理装置4000，如图4所示，包括模型训练模块4100、模型预测模块4200、模型评估模块4300以及模型处理模块4400。
185.该模型训练模块4100，用于将训练文本数据及其对应的真实标签输入至文本处理模型训练算子中，以训练出文本处理模型。
186.该模型预测模块4200，用于将所述文本处理模型和预测文本数据输入至文本处理模型预测算子中，获得所述预测文本数据的预测标签。
187.该模型评估模块4300，用于将所述预测标签和对应于所述预测文本数据的真实标
签输入至文本处理模型评估算子中，获得所述文本处理模型的评估指标值。
188.该模型处理模块4400，用于据所述评估指标值，对所述文本处理模型进行相应处理。
189.在一个实施例中，所述文本处理模型为文本分类模型，所述真实标签和预测标签为文本分类结果，所述文本处理模型训练算子为文本分类模型训练算子，所述文本处理模型预测算子为文本分类模型预测算子，所述文本处理模型评估算子为文本分类模型评估算子；
190.或者，
191.所述文本处理模型为实体抽取模型，所述真实标签和预测标签为实体信息结果，所述文本处理模型训练算子为实体抽取模型训练算子，所述文本处理模型预测算子为实体抽取模型预测算子，所述文本处理模型评估算子为实体抽取模型评估算子；
192.或者
193.所述文本处理模型为关系抽取模型，所述真实标签和预测标签为实体关系结果，所述本处理模型训练算子为关系抽取模型训练算子，所述文本处理模型预测算子为关系抽取模型预测算子，所述文本处理模型评估算子为关系抽取模型评估算子。
194.在一个实施例中，装置4000还包括获取模块(图中未示出)，该获取模块用于：将获取到的所述初始文本数据输入至文本数据拆分算子中，以将所述初始文本数据拆分为训练文本数据和预测文本数据；
195.其中，所述训练文本数据作为所述文本处理模型训练算子的输入，所述预测文本数据作为所述文本处理模型预测算子的输入。
196.在一个实施例中，该获取模块还用于：提供至少一个数据导入路径；从选择的数据导入路径导入所述历史文本数据；以及，保存导入的所述历史文本数据。
197.在一个实施例中，该模型训练模块4100还用于：响应于针对所述文本处理模型训练算子的配置操作，提供用于配置所述文本处理模型训练算子的第一配置界面；以供所述文本处理模型训练算子根据所述第一配置界面输入的第一配置信息，对所述训练文本数据及其对应的真实标签进行特征工程处理来获得训练文本样本；并按照预设的模型训练算法，基于所述训练文本样本来训练文本处理模型。
198.在一个实施例中，所述第一配置界面涉及以下至少一个配置项：文本处理模型训练算子的输入源配置项、目标值字段配置项、模型训练算法配置项、调参算法及其超参数配置项以及文本数据最大长度的配置项。
199.在一个实施例中，在所述文本处理模型为所述文本分类模型的情况下，
200.所述第一配置界面涉及的配置项还包括：应用资源的配置项和文本数据对应的文本语言类型的配置项之中的至少一项。
201.在一个实施例中，在所述文本处理模型为所述实体抽取模型的情况下，
202.所述输入源配置项中涉及文本数据白名单的选择项；
203.其中，所述文本数据白名单为定义了实体信息的列表，所述实体信息包括实体名及其对应的实体类型。
204.在一个实施例中，该模型训练模块4100还用于：利用所述实体抽取模型训练算子，解析所述文本数据白名单；运行所述解析后的文本数据白名单，获得所述文本数据白名单
中所定义的实体名及其对应的实体类型，以供所述实例抽取模型预测算子根据所定义的实体名及其对应的实体类型，对输入的所述预测文本数据进行预测获得所述预测文本数据中各个实体名的预测实体类型。
205.在一个实施例中，该模型预测模块4200还用于：响应于针对所述文本处理模型预测算子的触发操作，提供用于配置所述文本处理模型预测算子的第二配置界面；以供所述文本处理模型预测算子根据通过所述第二配置界面输入的第二配置信息，利用训练出的所述文本处理模型，针对所述预测文本数据提供预测标签。
206.在一个实施例中，所述第二配置界面涉及以下至少一个配置项：文本处理模型预测算子的输入源配置项、预测目标值字段配置项。
207.在一个实施例中，该模型预估模块4300还用于：响应于针对所述文本处理模型评估算子的触发操作，提供用于配置所述文本处理模型评估算子的第三配置界面；以使所述本处理模型评估算子根据通过所述第三配置界面输入的第三配置信息，将所述预测标签和对应于所述预测文本数据的真实标签相比较，获得所述文本处理模型的评估指标值。
208.在一个实施例中，所述第三配置界面涉及以下至少一个配置项：文本处理模型评估算子的输入源配置项、评估指标的配置项。
209.在一个实施例中，该模型处理模块4400还用于：在所述评估指标值大于或等于评估指标阈值的情况下，将所述文本处理模型上线应用。
210.在一个实施例中，该模型处理模块4400还用于：在所述评估指标值小于评估指标阈值的情况下，重新基于所述文本处理模型训练算子继续训练所述文本处理模型。
211.在一个实施例中，该模型处理模块4400还用于：调整所述文本处理模型训练算子中用于模型训练的超参数，并基于调整后的所述超参数继续训练所述文本处理模型。
212.在一个实施例中，该模型处理模块4400还用于：重新选择所述文本处理模型训练算子中用于生成所述超参数的调参算法；根据重新选择的调参算法生成新的超参数，并基于所述新的超参数继续训练所述文本处理模型。
213.在一个实施例中，该模型处理模块4400还用于：调整所述训练文本数据的数量，并将调整后的所述训练文本数据及其对应的真实标签输入至所述文本处理模型训练算子中继续训练所述文本处理模型。
214.在一个实施例中，该模型处理模块4400还用于：调整所述文本处理模型训练算子中用于训练模型的模型训练算法，以按照调整后的模型训练算法来继续训练所述文本处理模型。
215.《存储介质实施例》
216.本实施例提供了一种计算机可读存储介质，其中，其上存储有计算机程序，所述计算机程序在被处理器执行时实现根据上述方法实施例中任一项所述的方法。
217.本发明可以是设备、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本发明的各个方面的计算机可读程序指令。
218.计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是――但不限于――电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(ram)、只读存
储器(rom)、可擦式可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式压缩盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
219.这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
220.用于执行本发明操作的计算机程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如smalltalk、c 等，以及常规的过程式编程语言—诸如“c”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)，该电子电路可以执行计算机可读程序指令，从而实现本发明的各个方面。
221.这里参照根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本发明的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
222.这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理器，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理器执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
223.也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
224.附图中的流程图和框图显示了根据本发明的多个实施例的系统、方法和计算机程
序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。对于本领域技术人员来说公知的是，通过硬件方式实现、通过软件方式实现以及通过软件和硬件结合的方式实现都是等价的。
225.以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。本发明的范围由所附权利要求来限定。