多任务模型的训练及预测方法、装置、设备和介质与流程

1.本公开涉及人工智能领域，具体涉及深度学习和自然语言处理等技术领域，尤其涉及多任务模型的训练及预测方法、装置、设备和介质。


背景技术：

2.神经网络的模型量化是指将模型的权值、激活值等从高精度转化成低精度的操作过程，例如将浮点型float32转化成整型int8，以降低模型计算强度、参数大小和内存消耗。
3.目前，自然语言处理模型多数是基于transformer架构的，比如bert(bidirectional encoder representations from transformers，基于机器翻译的双向编码表示)、ernie(enhanced language representation with informative entities，基于知识增强语义表示)等。基于transformer结构的自然语言处理模型往往具有多任务的特点，比如根据模型最后一层网络层的输出结果的部分或全部，训练不同的任务(比如文本分类任务、打分任务、序列标注任务、排序任务等)。
4.由于训练不同任务所采用的数据集、训练集或样本集的分布不同，若基于多任务的自然语言处理模型(本公开中记为多任务模型)采用设定的量化范围scale对不同任务所对应的文本进行量化，可能导致量化效果的损失，进而降低多任务模型的预测精度。


技术实现要素：

5.本公开提供了一种多任务模型的训练及预测方法、装置、设备和介质。
6.根据本公开的一方面，提供了一种多任务模型的训练方法，包括：
7.获取多个任务对应的样本文本集，其中，每个所述样本文本集用于对多任务模型进行对应任务的适配训练；
8.获取各所述样本文本集对应的参考量化范围；
9.根据各所述样本文本集对应的参考量化范围，确定目标量化范围；
10.根据所述目标量化范围对所述多任务模型进行训练。
11.根据本公开的另一方面，提供了一种预测方法，包括：
12.获取待识别文本；
13.采用多任务模型根据目标量化范围对所述待识别文本进行量化，以得到所述待识别文本对应的量化数据，并对所述量化数据进行预测，以得到所述待识别文本对应的预测结果。
14.根据本公开的又一方面，提供了一种多任务模型的训练装置，包括：
15.第一获取模块，用于获取多个任务对应的样本文本集，其中，每个所述样本文本集用于对多任务模型进行对应任务的适配训练；
16.第二获取模块，用于获取各所述样本文本集对应的参考量化范围；
17.第一确定模块，用于根据各所述样本文本集对应的参考量化范围，确定目标量化范围；
18.训练模块，用于根据所述目标量化范围对所述多任务模型进行训练。
19.根据本公开的再一方面，提供了一种预测装置，包括：
20.获取模块，用于获取待识别文本；
21.预测模块，用于采用多任务模型根据目标量化范围对所述待识别文本进行量化，以得到所述待识别文本对应的量化数据，并对所述量化数据进行预测，以得到所述待识别文本对应的预测结果。
22.根据本公开的又一方面，提供了一种电子设备，包括：
23.至少一个处理器；以及
24.与所述至少一个处理器通信连接的存储器；其中，
25.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开上述一方面提出的多任务模型的训练方法，或者，执行本公开上述另一方面提出的预测方法。
26.根据本公开的再一方面，提供了一种计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开上述一方面提出的多任务模型的训练方法，或者，执行本公开上述另一方面提出的预测方法。
27.根据本公开的还一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现本公开上述一方面提出的多任务模型的训练方法，或者，实现本公开上述另一方面提出的预测方法。
28.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
29.附图用于更好地理解本方案，不构成对本公开的限定。其中：
30.图1为本公开实施例一所提供的多任务模型的训练方法的流程示意图；
31.图2为本公开实施例二所提供的多任务模型的训练方法的流程示意图；
32.图3为本公开实施例三所提供的多任务模型的训练方法的流程示意图；
33.图4为本公开实施例四所提供的多任务模型的训练方法的流程示意图；
34.图5为本公开实施例五所提供的多任务模型的训练方法的流程示意图；
35.图6为本公开实施例六所提供的多任务模型的训练方法的流程示意图；
36.图7为本公开实施例七所提供的预测方法的流程示意图；
37.图8为本公开实施例八所提供的预测方法的流程示意图；
38.图9为本公开实施例九所提供的多任务模型的训练装置的结构示意图；
39.图10为本公开实施例十所提供的预测装置的结构示意图；
40.图11示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
41.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同
样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
42.目前，在多任务模型的每一层网络层的量化过程中，根据抽样数据的最大值和最小值，确定多任务模型所采用的目标量化范围。并且，在量化过程结束之后，采用f1(f1值或f1分数可以看作是模型精确率和召回率的加权调和平均，其最大值是1，最小值是0)或pnr(positive negative rate，正逆序比，等于正序数/逆序数)等，作为评价量化后的多任务模型效果好坏的评价指标。
43.然而，主流的自然语言处理模型多数是基于transformer架构的，比如bert、ernie等。基于transformer结构的自然语言处理模型往往具有多任务的特点，比如根据模型最后一层网络层的输出结果的部分或全部，训练不同的任务(比如文本分类任务、打分任务、序列标注任务、排序任务等)。
44.由于训练不同任务所采用的数据集(或称为训练集或样本集)的分布不同，每一层网络层量化所选用的目标量化范围一般依赖于数据集的分布，如果将所有任务对应的数据集混合成一个单数据集往往会带来效果上的损失。
45.并且，现有的自然语言处理模型无论是量化前还是量化后一般只有单一评价指标，比如对于分类模型，一般采用f1，对于排序模型，一般采用pnr。对于量化后的多任务的自然语言处理模型(即多任务模型)而言，采用单一评价指标往往无法综合评价多任务模型的量化效果。
46.针对上述问题，本公开提出一种多任务模型的训练及预测方法、装置、设备和介质。
47.下面参考附图描述本公开实施例的多任务模型的训练及预测方法、装置、设备和介质。
48.图1为本公开实施例一所提供的多任务模型的训练方法的流程示意图。
49.本公开实施例以该多任务模型的训练方法被配置于多任务模型的训练装置中来举例说明，该多任务模型的训练装置可以应用于任一电子设备中，以使该电子设备可以执行多任务模型的训练功能。
50.其中，电子设备可以为任一具有计算能力的设备，例如可以为个人电脑、移动终端、服务器等，移动终端例如可以为手机、平板电脑、个人数字助理、穿戴式设备等具有各种操作系统、触摸屏和/或显示屏的硬件设备。
51.如图1所示，该多任务模型的训练方法可以包括以下步骤：
52.步骤101，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
53.在本公开实施例中，多个任务可以包括至少两个任务，比如可以包括文本分类任务、打分任务、序列标注任务、排序任务等任务。
54.在本公开实施例中，每个任务可以具有对应的样本文本集，其中，样本文本集用于对多任务模型进行对应任务的适配训练。
55.在本公开实施例中，对多个任务对应的样本文本集的获取方式不作限制，比如，每个任务对应的样本文本集可以从现有的训练集获取；或者，每个任务对应的样本文本集也可以在线采集，比如可以通过网络爬虫技术在线采集每个任务对应的多个样本文本，由上述多个样本文本组成样本文本集；或者，每个任务对应的样本文本集也可以线下采集，比
如，针对多个任务中的任一任务，可以对该任一任务对应的纸质文档进行图像采集，之后通过ocr(optical character recognition，光学字符识别)技术，识别图像中的各个字符，以得到该任一任务对应的样本文本，重复上述方式，可以得到该任一任务对应的多个样本文本，从而可由上述多个样本文本组成该任一任务对应的样本文本集，等等，本公开对此不作限制。
56.步骤102，获取各样本文本集对应的参考量化范围。
57.在本公开实施例中，每个样本文本集对应的参考量化范围可以为根据经验设定的，比如对于对称量化，参考量化范围的下限可以为0，上限可以根据经验值确定；或者，每个样本文本集对应的参考量化范围也可以根据对应样本文本集的分布确定，本公开对此并不做限制。
58.作为一种示例，针对每个样本文本集，可以将该样本文本集中各样本文本输入至多任务模型，根据多任务模型中各层网络层的输出，确定该样本文本集的参考量化范围。
59.步骤103，根据各样本文本集对应的参考量化范围，确定目标量化范围。
60.在本公开实施例中，可以综合各样本文本集对应的参考量化范围，来确定多任务模型所采用的目标量化范围。比如，可以通过对各样本文本集的参考量化范围进行加权求和的方式，来生成目标量化范围。
61.步骤104，根据目标量化范围对多任务模型进行训练。
62.在本公开实施例中，可以根据目标量化范围对多任务模型进行训练。
63.本公开实施例的多任务模型的训练方法，通过获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练；获取各样本文本集对应的参考量化范围；根据各样本文本集对应的参考量化范围，确定目标量化范围；根据目标量化范围对多任务模型进行训练。由此，综合多个任务对应的样本文本集的参考量化范围，来确定多任务模型所采用的目标量化范围，从而多任务模型根据该目标量化范围对文本进行量化，可以避免多任务模型采用单一样本文本集对应的量化范围，对不同任务对应的文本进行量化，而导致量化效果不佳的问题，即可以提升多任务模型的量化效果，从而可以提升模型预测结果的准确性和可靠性。
64.需要说明的是，本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均在征得用户同意的前提下进行，并且均符合相关法律法规的规定，且不违背公序良俗。
65.为了清楚说明本公开上述实施例中是如何根据目标量化范围对多任务模型进行训练的，本公开还提出一种多任务模型的训练方法。
66.图2为本公开实施例二所提供的多任务模型的训练方法的流程示意图。
67.如图2所示，该多任务模型的训练方法可以包括以下步骤：
68.步骤201，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
69.步骤202，获取各样本文本集对应的参考量化范围。
70.步骤203，根据各样本文本集对应的参考量化范围，确定目标量化范围。
71.步骤201至203的解释说明可以参见本公开任一实施例的相关描述，在此不做赘述。
72.步骤204，采用多任务模型根据目标量化范围，对各样本文本集中的至少一个样本文本进行量化，以得到至少一个样本文本对应的量化结果。
73.在本公开实施例中，可以采用多任务模型根据目标量化范围，对各样本文本集中的至少一个样本文本进行量化，以得到至少一个样本文本对应的量化结果。
74.在本公开实施例的一种可能的实现方式中，多任务模型可以包括多层网络层，每层网络层可以具有对应的目标量化范围，其中，不同网络层对应的目标量化范围可以不同，比如，以多任务模型为基于transformer架构的模型进行示例，该多任务模型可以包括12层网络层，12层网络层对应的目标量化范围可以不同。针对上述至少一个样本文本中的任一样本文本，可以采用多层网络层中的首层网络层根据该首层网络层的目标量化范围对浮点型的输入数据进行量化，以得到量化后的输入数据，其中，输入数据是根据该任一训练样本的特征向量确定的，量化后的输入数据位于目标量化范围内。并且，还可以采用首层网络层对量化后的输入数据执行与该任一样本文本对应的目标任务匹配的矩阵向量操作，得到第一运算结果，并对第一运算结果进行反量化，得到首层网络层的量化结果。
75.针对多层网络层中的非首层网络层(比如第二层网络层至最后一层网络层)，可以采用该非首层网络层根据该非首层网络层的目标量化范围对该非首层网络层的前一网络层的量化结果进行量化，并对量化后的量化结果执行上述矩阵向量操作，得到第二运算结果，并对第二运算结果进行反量化，得到该非首层网络层的量化结果。
76.也就是说，针对第二层网络层，可以采用该第二层网络层根据该第二层网络层的目标量化范围对首层网络层的量化结果进行量化，并对量化后的量化结果执行上述矩阵向量操作，得到第二运算结果，并对该第二运算结果进行反量化，得到第二层网络层的量化结果。
77.针对第三层网络层，可以采用该第三层网络层根据该第三层网络层的目标量化范围对第二层网络层的量化结果进行量化，并对量化后的量化结果执行上述矩阵向量操作，得到第二运算结果，并对该第二运算结果进行反量化，得到第三层网络层的量化结果。
78.以此类推，可以确定最后一层网络层的量化结果。
79.由此，每一层网络层均需对输入的数据执行量化、矩阵向量操作和反量化操作，得到对应网络层的量化结果，且，可以将前一层网络层的量化结果作为后一层网络层的输入，通过层层量化方式，来有效计算样本文本对应的量化结果。
80.步骤205，根据至少一个样本文本对应的量化结果对多任务模型进行训练。
81.在本公开实施例中，可以根据至少一个样本文本对应的量化结果对多任务模型进行训练。
82.需要说明的是，当多任务模型包括多层网络层时，每一层网络层均需对输入的数据进行量化、矩阵向量操作和反量化，得到对应网络层的量化结果，相应的，在对多任务模型进行训练时，可以根据每一层网络层对应的量化结果，对对应网络层的模型参数进行调整，以提升每一层网络层的量化效果。
83.本公开实施例的多任务模型的训练方法，通过采用多任务模型根据目标量化范围，对各样本文本集中的至少一个样本文本进行量化，以得到至少一个样本文本对应的量化结果；根据至少一个样本文本对应的量化结果对多任务模型进行训练。由此，通过多任务模型对样本文本进行量化，可以提升多任务模型的预测效率，并且，根据样本文本的量化结
果对多任务模型进行训练，可以提升多任务模型的量化效果。
84.为了清楚说明本公开任一实施例中，是如何根据目标量化范围对多任务模型进行训练的，本公开还提出一种多任务模型的训练方法。
85.图3为本公开实施例三所提供的多任务模型的训练方法的流程示意图。
86.如图3所示，该多任务模型的训练方法可以包括以下步骤：
87.步骤301，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
88.步骤302，获取各样本文本集对应的参考量化范围。
89.步骤303，根据各样本文本集对应的参考量化范围，确定目标量化范围。
90.步骤304，针对至少一个样本文本中的任一样本文本，采用多层网络层中的首层网络层根据首层网络层对应的目标量化范围对浮点型的输入数据进行量化，以得到首层网络层的量化结果。
91.其中，输入数据是根据任一训练样本的特征向量确定的。
92.步骤305，针对多层网络层中的非首层网络层，采用非首层网络层根据非首层网络层对应的目标量化范围对非首层网络层的前一网络层的量化结果进行量化，以得到非首层网络层的量化结果。
93.步骤301至305的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
94.步骤306，采用首层网络层对任一样本文本的特征向量执行矩阵向量操作，以得到首层网络层的输出结果。
95.可以理解的是，量化的目的为：降低多任务模型的计算强度、参数大小和内存消耗，但是量化的前提为：不应过多地降低模型的预测精度，因此，本公开中，可以计算未量化的各网络层的输出结果，从而可以根据各网络层对应的未量化的输出结果和量化结果之间的差异，对对应网络层中的模型参数进行调整。
96.即本公开中，针对多层网络中的首层网络层，可以采用首层网络层对上述任一样本文本的特征向量执行与该任一样本文本对应的目标任务匹配的矩阵向量操作，以得到首层网络层的输出结果。
97.步骤307，根据首层网络层对应的量化结果和输出结果之间的第一差异，对首层网络层中的模型参数进行调整。
98.在本公开实施例中，可以根据首层网络层对应的量化结果和输出结果之间的第一差异，对首层网络层中的模型参数进行调整。由此，可以实现对每一层网络层的模型参数进行单独调整，以提升每一层网络层的量化效果。
99.作为一种示例，可以根据第一差异，生成第一损失函数，其中，第一损失函数的取值与上述第一差异成正向关系(即呈正相关关系)，即第一差异越小，第一损失函数的取值越小，反之，第一差异越大，第一损失函数的取值越大，从而本公开中，可以根据第一损失函数的取值，对首层网络层中的模型参数进行调整，以使第一损失函数的取值最小化。
100.需要说明的是，上述仅以首层网络层的训练终止条件为第一损失函数的取值最小化进行示例，实际应用时，也可以设置其它的终止条件，比如终止条件还可以为训练次数达到设定的次数阈值、训练时长大于设定的时长阈值等等，本公开对此并不做限制。
101.在本公开实施例的一种可能的实现方式中，可以获取上述任一训练样本所属样本文本集对应的第一权重，根据第一权重和第一差异，生成第一取值，并确定各样本文本集的方差，根据各样本文本集对应的方差，生成第二取值，根据第一取值和第二取值，生成首层网络层对应的第一损失函数，以根据首层网络层对应的第一损失函数，对首层网络层中的模型参数进行调整。由此，根据损失函数对首层网络层进行训练，可以提升首层网络层的训练效果，进而提升首层网络层的量化效果。
102.作为一种示例，第一损失函数loss可以如下所示：
[0103][0104]
其中，σi表示第i个样本文本集对应的方差，σj表示第j个样本文本集对应的方差，表示样本文本k对应的网络层输出的量化结果，表示样本文本k对应的网络层输出的未量化的输出结果，αk表示样本文本k所属的样本文本集对应的权重。
[0105]
步骤308，采用非首层网络层对前一网络层的输出结果执行矩阵向量操作，以得到非首层网络层的输出结果。
[0106]
在本公开实施例中，针对多层网络层中的非首层网络层，可以采用非首层网络层对前一网络层的输出结果执行与该任一样本文本对应的目标任务匹配的矩阵向量操作，以得到非首层网络层的输出结果。
[0107]
也就是说，针对第二层网络层，可以采用该第二层网络层对首层网络层的输出结果执行上述矩阵向量操作，以得到第二层网络层的输出结果。
[0108]
针对第三层网络层，可以采用该第三层网络层对第二层网络层的输出结果执行上述矩阵向量操作，以得到第三层网络层的输出化结果。
[0109]
以此类推，可以确定最后一层网络层的输出结果。
[0110]
由此，每一层网络层无需执行量化和反量化操作，仅需对输入的数据执行矩阵向量操作，即可以得到对应网络层的输出结果，且，可以将前一层网络层的输出结果作为后一层网络层的输入，通过层层计算方式，来有效计算得到各层网络层的输出结果，从而可以根据各层网络层的输出结果，对对应网络层中的模型参数进行调整，以提升多任务模型中各层网络层的量化效果，从而提升模型的预测精度。
[0111]
步骤309，根据非首层网络层对应的量化结果和输出结果之间的第二差异，对非首层网络层中的模型参数进行调整。
[0112]
在本公开实施例中，可以根据非首层网络层对应的量化结果和输出结果之间的第二差异，对非首层网络层中的模型参数进行调整。由此，可以实现对每一层网络层的模型参数进行单独调整，以提升每一层网络层的量化效果。
[0113]
作为一种示例，可以根据第二差异，生成第二损失函数，其中，第二损失函数的取值与上述第二差异成正向关系(即呈正相关关系)，即第二差异越小，第二损失函数的取值越小，反之，第二差异越大，第二损失函数的取值越大，从而本公开中，可以根据第二损失函数的取值，对非首层网络层中的模型参数进行调整，以使第二损失函数的取值最小化。
[0114]
需要说明的是，上述仅以非首层网络层的训练终止条件为第二损失函数的取值最小化进行示例，实际应用时，也可以设置其它的终止条件，比如终止条件还可以为训练次数
达到设定的次数阈值、训练时长大于设定的时长阈值等等，本公开对此并不做限制。
[0115]
在本公开实施例的一种可能的实现方式中，可以获取上述任一训练样本所属样本文本集对应的第一权重，根据第一权重和第二差异，生成第三取值，并根据各样本文本集对应的方差，生成第二取值，根据第三取值和第二取值，生成非首层网络层对应的第二损失函数，以根据非首层网络层对应的第二损失函数，对非首层网络层中的模型参数进行调整。例如，同样可以采用公式(1)，确定第二损失函数。
[0116]
本公开实施例的多任务模型的训练方法，通过根据各网络层对应的未量化的输出结果和量化结果之间的差异，对对应网络层中的模型参数进行调整，可以提升各层网络层的量化效果，从而提升多任务模型的量化效果。
[0117]
为了清楚说明本公开任一实施例中是如何确定各样本文本集对应的参考量化范围的，本公开还提出一种多任务模型的训练方法。
[0118]
图4为本公开实施例四所提供的多任务模型的训练方法的流程示意图。
[0119]
如图4所示，该多任务模型的训练方法可以包括以下步骤：
[0120]
步骤401，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
[0121]
步骤401的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
[0122]
步骤402，针对各样本文本集中的任一样本文本集，从任一样本文本集中确定多个样本文本。
[0123]
在本公开实施例中，针对多个样本文本集中的任一样本文本集，可以从该任一样本文本集中确定多个样本文本，其中，对多个样本文本的确定方式不作限制，比如，可以从该任一样本文本集中随机选取多个样本文本，或者，可以从该任一样本文本集中按序选取多个样本文本，等等。
[0124]
步骤403，将多个样本文本逐层输入至多任务模型中的多层网络层，以得到各层网络层输出的多个样本文本对应的输出矩阵。
[0125]
在本公开实施例中，可以将多个样本文本逐层输入至多层网络层，以得到各层网络层输出的多个样本文本对应的输出矩阵。
[0126]
在本公开实施例的一种可能的实现方式中，针对上述多个样本文本中的任一文本，可以采用多层网络层中的首层网络层对该任一文本的特征向量执行与该任一文本对应的任务匹配的矩阵向量操作，以得到首层网络层输出的该任一文本对应的输出矩阵，并采用多层网络层中的非首层网络层对该非首层网络层的前一网络层的输出矩阵执行与该任一文本对应的任务匹配的矩阵向量操作，以得到该非首层网络层输出的该任一文本对应的输出矩阵。
[0127]
也就是说，可以将首层网络层输出的该任一文本的输出矩阵作为第二层网络层的输入，第二层网络可以对首层网络层的输出矩阵执行矩阵向量操作，得到第二层网络层输出的该任一文本对应的输出矩阵。
[0128]
可以将第二层网络层输出的该任一文本的输出矩阵作为第三层网络层的输入，第三层网络可以对第二层网络层的输出矩阵执行矩阵向量操作，得到第三层网络层输出的该任一文本对应的输出矩阵。
[0129]
以此类推，可以得到最后一层网络层输出的该任一文本对应的输出矩阵。
[0130]
由此，将前一层网络层的输出矩阵作为后一层网络层的输入，通过层层计算方式，来有效计算得到各层网络层的输出矩阵，从而可以根据各层网络层的输出矩阵，有效计算各层网络层的参考量化范围。
[0131]
步骤404，根据各层网络层输出的多个样本文本对应的输出矩阵，确定任一样本文本集对应的各层网络层的参考量化范围。
[0132]
在本公开实施例中，针对多层网络层中的任一网络层，可以根据该任一网络层输出的多个样本文本对应的输出矩阵，确定上述任一样本文本集对应的该任一网络层的参考量化范围。
[0133]
在本公开实施例的一种可能的实现方式中，针对多层网络层中的任一网络层，可以确定该任一网络层输出的多个样本文本对应的输出矩阵中的最大元素值，从而可根据多个样本文本对应的输出矩阵中的最大元素值，确定上述任一样本文本集对应的该任一网络层的参考量化范围。
[0134]
举例而言，假设根据样本文本集a中的100个样本文本，来确定该样本文本集a对应的各层网络层的参考量化范围进行示例，针对每一层网络层，可以确定该网络层输出的100个输出矩阵中的每个输出矩阵中的最大元素值，从而可以根据100个最大元素值，确定样本文本集a对应的该网络层的参考量化范围。
[0135]
比如，以多任务模型将浮点型数据转化为int8进行示例，可以将各最大元素值除以127，得到量化尺度scale，从而可以根据最小的量化尺度和最大的量化尺度，来生成参考量化范围。
[0136]
步骤405，根据各样本文本集对应的各层所述网络层的参考量化范围，确定各层网络层的目标量化范围。
[0137]
在本公开实施例中，可以根据多个样本文本集对应的各层网络层的参考量化范围，确定各层网络层的目标量化范围。
[0138]
作为一种示例，可以将多个样本文本集对应的同一网络层的参考量化范围进行融合，以得到上述同一网络层的目标量化范围。
[0139]
步骤406，根据各层网络层的目标量化范围对多任务模型进行训练。
[0140]
步骤405至406的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
[0141]
本公开实施例的多任务模型的训练方法，通过针对各样本文本集中的任一样本文本集，从任一样本文本集中确定多个样本文本；将多个样本文本逐层输入至多任务模型中的多层网络层，以得到各层网络层输出的多个样本文本对应的输出矩阵；根据各层网络层输出的多个样本文本对应的输出矩阵，确定任一样本文本集对应的各层网络层的参考量化范围。由此，可以根据多任务模型中的各层网络层的输出，有效确定各层网络层的参考量化范围。
[0142]
为了清楚说明本公开任一实施例中是如何确定多任务模型所采用的目标量化范围的，本公开还提出一种多任务模型的训练方法。
[0143]
图5为本公开实施例五所提供的多任务模型的训练方法的流程示意图。
[0144]
如图5所示，该多任务模型的训练方法可以包括以下步骤：
[0145]
步骤501，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务
模型进行对应任务的适配训练。
[0146]
步骤502，针对各样本文本集中的任一样本文本集，从任一样本文本集中确定多个样本文本。
[0147]
步骤503，将多个样本文本逐层输入至多任务模型中的多层网络层，以得到各层网络层输出的多个样本文本对应的输出矩阵。
[0148]
步骤504，根据各层网络层输出的多个样本文本对应的输出矩阵，确定任一样本文本集对应的各层网络层的参考量化范围。
[0149]
步骤501至504的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
[0150]
步骤505，获取各样本文本集对应的权重。
[0151]
在本公开实施例中，可以获取各样本文本集对应的权重，其中，每个样本文本集对应的权重可以根据经验值设定，或者，也可以根据设定规则计算得到，本公开对此并不做限制。
[0152]
作为一种可能的实现方式，可以确定各样本文本集所包含的样本文本的总数量，比如，标记第i个样本文本集包含的样本文本的数量为ai，则该总数量为针对各样本文本集中的任一样本文本集，确定该任一样本文本集所包含的样本文本的第一数量，从而可以根据第一数量和总数量的比值，确定任一样本文本集的权重。
[0153]
例如，标记第i个样本文本集的权重为αi，则有：
[0154][0155]
可以理解的是，某个样本文本集所包含的样本文本数量越高，该样本文本集对应的权重越大，从而模型更偏向于训练该样本文本集所对应的任务，以提升该任务的训练效果。
[0156]
步骤506，根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化上限进行加权求和，以得到同一网络层的目标量化范围的目标量化上限。
[0157]
在本公开实施例中，可以根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化上限进行加权求和，以得到上述同一网络层的目标量化范围的目标量化上限。
[0158]
例如，标记某一网络层的目标量化范围的目标量化上限为scale0，第i个样本文本集对应的该网络层的参考量化范围的参考量化上限为scale
0i
，则该网络层的目标量化范围的目标量化上限为：
[0159][0160]
举例而言，假设具有两个任务，分别为文本分类任务和排序任务，针对多任务模型中的某一网络层，假设文本分类任务对应的样本文本集对应的该网络层的参考量化范围为[a,b]，排序任务对应的样本文本集对应的该网络层的参考量化范围为[c,d]，且文本分类任务对应的权重为0.3，排序任务对应的权重为0.7，则该网络层的目标量化范围的目标量
化上限scale0为b*0.3 d*0.7。
[0161]
步骤507，根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化下限进行加权求和，以得到同一网络层的目标量化范围的目标量化下限。
[0162]
在本公开实施例中，可以根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化下限进行加权求和，以得到上述同一网络层的目标量化范围的目标量化下限。
[0163]
例如，标记某一网络层的目标量化范围的目标量化上限为scale1，第i个样本文本集对应的该网络层的参考量化范围的参考量化上限为scale
1i
，则该网络层的目标量化范围的目标量化上限为：
[0164][0165]
仍以上述例子进行示例，上述网络层的目标量化范围的目标量化上限scale1为a*0.3 c*0.7。
[0166]
从而本公开中，可以根据各层网络层对应的目标量化上限和目标量化下限，确定各层网络层的目标量化范围[scale0,scale1]。
[0167]
步骤508，根据各层网络层的目标量化范围对多任务模型进行训练。
[0168]
步骤508的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘述。
[0169]
本公开实施例的多任务模型的训练方法，通过对多个任务对应的样本文本集的参考量化范围进行加权求和的方式，来确定多任务模型所采用的目标量化范围，从而多任务模型根据该目标量化范围对文本进行量化，可以提升多任务模型的量化效果。
[0170]
在本公开实施例的一种可能的实现方式中，训练得到的多任务模型的个数可以为多个，比如，可以将每个样本文本集分为多个部分，利用每个样本文本集中的其中一个部分，训练一个多任务模型，从而可以得到多个多任务模型，或者，可以在对多任务模型进行训练的过程中，获取多个时间点所训练得到的模型，或者，可以对多个具有不同网络参数的多任务模型进行训练，以训练得到多个多任务模型，等等。在多任务模型为多个的情况下，如何从多个多任务模型中选取综合评价最优的模型是非常重要的，从而可以根据该综合评价最优的模型，对待识别文本进行预测，以提升预测结果的准确性和可靠性。
[0171]
针对上述问题，可以通过图6所示的实施例，从多个多任务模型中选取综合评价最优的目标多任务模型。
[0172]
图6为本公开实施例六所提供的多任务模型的训练方法的流程示意图。
[0173]
如图6所示，该多任务模型的训练方法可以包括以下步骤：
[0174]
步骤601，获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
[0175]
步骤602，获取各样本文本集对应的参考量化范围。
[0176]
步骤603，根据各样本文本集对应的参考量化范围，确定目标量化范围。
[0177]
步骤604，根据目标量化范围对多任务模型进行训练，其中，训练得到的多任务模型为多个。
[0178]
步骤601至604的解释说明可以参见本公开任一实施例中的相关描述，在此不做赘
述。
[0179]
步骤605，针对多个多任务模型中的任一多任务模型，确定任一多任务模型的多个评价指标。
[0180]
在本公开实施例中，多个评价指标可以包括准确率、召回率、f1值、pnr值等，本公开对此并不做限制。
[0181]
在本公开实施例中，可以针对多个多任务模型中的任一多任务模型，根据该任一多任务模型的输出，确定该多任务模型的多个评价指标。
[0182]
步骤606，针对多个评价指标中的任一评价指标，确定任一评价指标与多个评价指标中除任一评价指标之外的其余评价指标之间的互相关系数。
[0183]
在本公开实施例中，针对多个评价指标中的任一评价指标，可以确定该任一评价指标与多个评价指标中除该任一评价指标之外的其余评价指标之间的互相关系数。
[0184]
作为一种示例，假设任一多任务模型包括x1、x2、
…
、xn这n个评价指标，则某一多任务模型中的评价指标xi和xj之间的互相关系数可以通过下述公式计算得到：
[0185][0186]
其中，是指多个多任务模型中同一评价指标xi对应的均值，相应的，是指多个多任务模型中同一评价指标xj对应的均值。
[0187]
步骤607，根据任一评价指标和其余评价指标之间的互相关系数，确定任一多任务模型对应的目标评价指标。
[0188]
在本公开实施例中，可以根据上述任一评价指标和其余评价指标之间的互相关系数，确定上述任一多任务模型对应的目标评价指标。
[0189]
在本公开实施例中，可以根据任一评价指标和其余评价指标之间的互相关系数之和，确定该任一评价指标对应的目标相关系数，比如，标记评价指标xi对应的目标相关系数为则有：
[0190][0191]
本公开中，可以根据该任一评价指标对应的目标相关系数，确定该任一评价指标对应的权重；其中，权重与目标相关系数呈负相关关系，即目标相关系数越大，权重越小，反之，目标相关系数越小，权重越大。从而可以根据多个评价指标对应的权重，对多个评价指标进行加权求和，以得到上述任一多任务模型对应的目标评价指标。
[0192]
例如，标记目标评价指标为x，则有：
[0193][0194]
由此，采用互相关系数刻画多个评价指标之间的关系，并对多个评价指标进行融合或加权求和的方式，确定多任务模型的目标评价指标，可以提升用于评价模型量化效果的目标评价指标确定结果的准确性和可靠性，从而可根据可靠的目标评价指标选择出综合评价最好的量化后的目标多任务模型。
[0195]
步骤608，根据各多任务模型对应的目标评价指标，从各多任务模型中确定目标多任务模型。
[0196]
在本公开实施例中，可以根据各多任务模型对应的目标评价指标，从各多任务模型中确定目标多任务模型。
[0197]
作为一种可能的实现方式，可以将目标评价指标最大的多任务模型，作为目标多任务模型。
[0198]
作为另一种可能的实现方式，可以将目标评价指标超过设定阈值的多任务模型，作为目标多任务模型。
[0199]
本公开实施例的多任务模型的训练方法，通过根据多个评价指标来综合评价多任务模型的量化效果，从而可根据目标评价指标选择出综合评价最好的量化后的目标多任务模型，进而根据该目标多任务模型对待识别文本进行预测，可以提升预测结果的准确性和可靠性。
[0200]
综上，在进行多任务量化过程中，假设多任务对应的样本文本集服从多元高斯分布，可以将各样本数据集的量化范围进行加权求和的方式，来确定多任务模型所采用的目标量化范围，可以提升多任务模型的量化效果。
[0201]
并且，采用负相关系数刻画多个评价指标之间的关系，并对多个评价指标进行融合的方式，确定目标评价指标，从而可根据目标评价指标选择出综合评价最好的量化后的多任务模型。
[0202]
上述为多任务模型的训练方法所对应的各实施例，本公开还提出一种多任务模型的应用方法，即预测方法。
[0203]
图7为本公开实施例七所提供的预测方法的流程示意图。
[0204]
如图7所示，该预测方法可以包括以下步骤：
[0205]
步骤701，获取待识别文本。
[0206]
在本公开实施例中，待识别文本可以从现有的测试集获取，或者，待识别文本也可以在线采集，比如可以通过网络爬虫技术，在线采集待识别文本，或者，待识别文本也可以为线下采集，或者，待识别文本也可以为用户输入的文本，等等，本公开实施例对此不做限制。
[0207]
步骤702，采用多任务模型根据目标量化范围对待识别文本进行量化，以得到待识别文本对应的量化数据，并对量化数据进行预测，以得到待识别文本对应的预测结果。
[0208]
其中，多任务模型可以是采用上述图1至图6任一方法实施例训练得到的。
[0209]
在本公开实施例中，预测结果与待识别文本对应的目标任务相关，比如，在待识别文本对应的目标任务为文本分类任务时，预测结果为分类标签，在待识别文本对应的目标任务为打分任务(比如文本质量打分)时，预测结果可以为文本质量分值，等等，本公开对此不一一列举。
[0210]
在本公开实施例中，目标量化范围的解释说明可以参见本公开上述任一实施例的相关描述，在此不做赘述。
[0211]
在本公开实施例中，可以将待识别文本输入至经过训练的多任务模型中，由该多任务模型根据目标量化范围对待识别文本进行量化，以得到待识别文本对应的量化数据，并对量化数据进行预测，以得到待识别文本对应的预测结果。
[0212]
本公开实施例的预测方法，通过获取待识别文本，采用多任务模型根据目标量化范围对待识别文本进行量化，以得到待识别文本对应的量化数据，并对量化数据进行预测，以得到待识别文本对应的预测结果。由此，基于深度学习技术，对待识别文本进行预测(比如分类、打分、排序、标注等)，可以提升预测结果的准确性和可靠性。
[0213]
为了清楚说明本公开上述实施例中多任务模型是如何对待识别文本进行预测的，本公开还提出一种预测方法。
[0214]
图8为本公开实施例八所提供的预测方法的流程示意图。
[0215]
如图8所示，该预测方法可以包括以下步骤：
[0216]
步骤801，获取待识别文本。
[0217]
步骤801的解释说明可以参见上述实施例中的相关描述，在此不做赘述。
[0218]
步骤802，采用多任务模型中的多层网络层中的首层网络层根据首层网络层对应的目标量化范围对浮点型的目标数据进行量化，以得到首层网络层的量化数据；其中，目标数据是根据待识别文本的特征向量确定的。
[0219]
在本公开实施例中，多任务模型可以包括多层网络层，每层网络层可以具有对应的目标量化范围，其中，不同网络层对应的目标量化范围可以不同，比如，以多任务模型为基于transformer架构的模型进行示例，该多任务模型可以包括12层网络层，12层网络层对应的目标量化范围可以不同。针对待识别文本，可以采用多层网络层中的首层网络层根据该首层网络层的目标量化范围对浮点型的目标数据进行量化，以得到量化后的目标数据，其中，目标数据是根据待识别文本的特征向量确定的，量化后的目标数据位于目标量化范围内。并且，还可以采用首层网络层对量化后的目标数据执行与该待识别文本对应的目标任务匹配的矩阵向量操作，得到候选运算结果，并对该候选运算结果进行反量化，得到首层网络层的量化数据。
[0220]
步骤803，针对多层网络层中的非首层网络层，采用非首层网络层根据非首层网络层对应的目标量化范围对非首层网络层的前一网络层的量化数据进行量化，以得到非首层网络层的量化数据。
[0221]
在本公开实施例中，针对多层网络层中的非首层网络层(比如第二层网络层至最后一层网络层)，可以采用该非首层网络层根据该非首层网络层的目标量化范围对非首层网络层的前一网络层的量化数据进行量化，并对量化后的量化数据执行上述矩阵向量操作，得到目标运算结果，并对目标运算结果进行反量化，得到非首层网络层的量化数据。
[0222]
也就是说，针对第二层网络层，可以采用该第二层网络层根据该第二层网络层的目标量化范围对首层网络层的量化数据进行量化，并对量化后的量化数据执行上述矩阵向量操作，得到目标运算结果，并对该目标运算结果进行反量化，得到第二层网络层的量化数据。
[0223]
针对第三层网络层，可以采用该第三层网络层根据该第三层网络层的目标量化范围对第二层网络层的量化数据进行量化，并对量化后的量化数据执行上述矩阵向量操作，得到目标运算结果，并对该目标运算结果进行反量化，得到第三层网络层的量化数据。
[0224]
以此类推，可以确定最后一层网络层的量化数据。
[0225]
步骤804，采用多任务模型中的预测层对最后一层网络层的量化数据进行预测，以得到待识别文本对应的预测结果。
[0226]
在本公开实施例中，可以采用多任务模型中的预测层对最后一层网络层的量化数据进行预测(比如分类、打分、排序、标注等)，以得到待识别文本对应的预测结果。
[0227]
比如，在待识别文本对应的目标任务为文本分类任务，可以采用预测层对最后一层网络层的量化数据进行文本分类，以得到待识别文本对应的分类标签。
[0228]
再比如，在待识别文本对应的目标任务为打分任务(比如文本质量打分)时，可以采用预测层对最后一层网络层的量化数据进行质量预测，以得到文本质量分值。
[0229]
本公开实施例的预测方法，通过采用多任务模型对待识别文本进行量化，以得到量化数据，并对量化数据进行预测，可以提升模型的预测效率。
[0230]
与上述图1至图6实施例提供的多任务模型的训练方法相对应，本公开还提供一种多任务模型的训练装置，由于本公开实施例提供的多任务模型的训练装置与上述图1至图6实施例提供的多任务模型的训练方法相对应，因此在多任务模型的训练方法的实施方式也适用于本公开实施例提供的多任务模型的训练装置，在本公开实施例中不再详细描述。
[0231]
图9为本公开实施例九所提供的多任务模型的训练装置的结构示意图。
[0232]
如图9所示，该多任务模型的训练装置900可以包括：第一获取模块901、第二获取模块902、第一确定模块903以及训练模块904。
[0233]
其中，第一获取模块901，用于获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练。
[0234]
第二获取模块902，用于获取各样本文本集对应的参考量化范围。
[0235]
第一确定模块903，用于根据各样本文本集对应的参考量化范围，确定目标量化范围。
[0236]
训练模块904，用于根据目标量化范围对多任务模型进行训练。
[0237]
在本公开实施例的一种可能的实现方式中，训练模块904，可以包括：
[0238]
量化单元，用于采用多任务模型根据目标量化范围，对各样本文本集中的至少一个样本文本进行量化，以得到至少一个样本文本对应的量化结果。
[0239]
训练单元，用于根据至少一个样本文本对应的量化结果对多任务模型进行训练。
[0240]
在本公开实施例的一种可能的实现方式中，多任务模型包括多层网络层，每层所述网络层具有对应的目标量化范围；量化单元，具体用于：针对至少一个样本文本中的任一样本文本，采用多层网络层中的首层网络层根据首层网络层对应的目标量化范围对浮点型的输入数据进行量化，以得到首层网络层的量化结果；其中，输入数据是根据任一训练样本的特征向量确定的；针对多层网络层中的非首层网络层，采用非首层网络层根据该非首层网络层对应的目标量化范围对非首层网络层的前一网络层的量化结果进行量化，以得到非首层网络层的量化结果。
[0241]
在本公开实施例的一种可能的实现方式中，训练单元，具体用于：采用首层网络层对任一样本文本的特征向量执行矩阵向量操作，以得到首层网络层的输出结果；根据首层网络层对应的量化结果和输出结果之间的第一差异，对首层网络层中的模型参数进行调整。
[0242]
在本公开实施例的一种可能的实现方式中，训练单元，具体用于：获取任一训练样本所属样本文本集对应的第一权重；根据第一权重和第一差异，生成第一取值；确定各样本文本集的方差；根据各样本文本集对应的方差，生成第二取值；根据第一取值和第二取值，
生成首层网络层对应的损失函数；根据首层网络层对应的损失函数，对首层网络层中的模型参数进行调整。
[0243]
在本公开实施例的一种可能的实现方式中，训练单元，还用于：采用非首层网络层对前一网络层的输出结果执行矩阵向量操作，以得到非首层网络层的输出结果；根据非首层网络层对应的量化结果和输出结果之间的第二差异，对非首层网络层中的模型参数进行调整。
[0244]
在本公开实施例的一种可能的实现方式中，第二获取模块902，可以包括：
[0245]
第一确定单元，用于针对各样本文本集中的任一样本文本集，从任一样本文本集中确定多个样本文本。
[0246]
输入单元，用于将多个样本文本逐层输入至多任务模型中的多层网络层，以得到各层网络层输出的多个样本文本对应的输出矩阵。
[0247]
第二确定单元，用于根据各层网络层输出的多个样本文本对应的输出矩阵，确定任一样本文本集对应的各层网络层的参考量化范围。
[0248]
在本公开实施例的一种可能的实现方式中，输入单元，具体用于：针对多个样本文本中的任一文本，采用多层网络层中的首层网络层对任一文本的特征向量执行矩阵向量操作，以得到首层网络层输出的任一文本对应的输出矩阵；采用多层网络层中的非首层网络层对非首层网络层的前一网络层的输出矩阵执行矩阵向量操作，以得到非首层网络层输出的任一文本对应的输出矩阵。
[0249]
在本公开实施例的一种可能的实现方式中，第二确定单元，具体用于：针对多层网络层中的任一网络层，确定任一网络层输出的多个样本文本对应的输出矩阵中的最大元素值；根据多个样本文本对应的输出矩阵中的最大元素值，确定任一样本文本集对应的任一网络层的参考量化范围。
[0250]
在本公开实施例的一种可能的实现方式中，第一确定模块903，具体用于：获取各样本文本集对应的权重；根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化上限进行加权求和，以得到该同一网络层的目标量化范围的目标量化上限；根据各样本文本集对应的权重，对各样本文本集对应的同一网络层的参考量化范围的参考量化下限进行加权求和，以得到该同一网络层的目标量化范围的目标量化下限。
[0251]
在本公开实施例的一种可能的实现方式中，第一确定模块903，具体用于：确定各样本文本集所包含的样本文本的总数量；针对各样本文本集中的任一样本文本集，确定任一样本文本集所包含的样本文本的第一数量；根据第一数量和总数量的比值，确定任一样本文本集的权重。
[0252]
在本公开实施例的一种可能的实现方式中，训练得到的多任务模型为多个，多个多任务模型的网络参数不同；该多任务模型的训练装置800，还可以包括：
[0253]
第二确定模块，用于针对多个多任务模型中的任一多任务模型，确定任一多任务模型的多个评价指标。
[0254]
第三确定模块，用于针对多个评价指标中的任一评价指标，确定任一评价指标与多个评价指标中除任一评价指标之外的其余评价指标之间的互相关系数。
[0255]
第四确定模块，用于根据任一评价指标和其余评价指标之间的互相关系数，确定
任一多任务模型对应的目标评价指标。
[0256]
第五确定模块，用于根据各多任务模型对应的目标评价指标，从各多任务模型中确定目标多任务模型。
[0257]
在本公开实施例的一种可能的实现方式中，第四确定模块，具体用于：根据任一评价指标和其余评价指标之间的互相关系数之和，确定目标相关系数；根据目标相关系数，确定任一评价指标对应的权重；其中，权重与目标相关系数呈负相关关系；根据多个评价指标对应的权重，对多个评价指标进行加权求和，以得到任一多任务模型对应的目标评价指标。
[0258]
本公开实施例的多任务模型的训练装置，通过获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练；获取各样本文本集对应的参考量化范围；根据各样本文本集对应的参考量化范围，确定目标量化范围；根据目标量化范围对多任务模型进行训练。由此，综合多个任务对应的样本文本集的参考量化范围，来确定多任务模型所采用的目标量化范围，从而多任务模型根据该目标量化范围对文本进行量化，可以避免多任务模型采用单一样本文本集对应的量化范围，对不同任务对应的文本进行量化，而导致量化效果不佳的问题，即可以提升多任务模型的量化效果，从而可以提升模型预测结果的准确性和可靠性。
[0259]
与上述图7至图8实施例提供的预测方法相对应，本公开还提供一种预测装置，由于本公开实施例提供的预测装置与上述图7至图8实施例提供的预测方法相对应，因此在预测方法的实施方式也适用于本公开实施例提供的预测装置，在本公开实施例中不再详细描述。
[0260]
图10为本公开实施例十所提供的预测装置的结构示意图。
[0261]
如图10所示，该预测装置1000可以包括：获取模块1001和预测模块1002。
[0262]
其中，获取模块1001，用于获取待识别文本。
[0263]
预测模块1002，用于采用多任务模型根据目标量化范围对待识别文本进行量化，以得到待识别文本对应的量化数据，并对量化数据进行预测，以得到待识别文本对应的预测结果。
[0264]
在本公开实施例的一种可能的实现方式中，多任务模型包括多层网络层和预测层，预测模块1002，具体用于：采用多层网络层中的首层网络层根据首层网络层对应的目标量化范围对浮点型的目标数据进行量化，以得到首层网络层的量化数据；其中，目标数据是根据待识别文本的特征向量确定的；针对多层网络层中的非首层网络层，采用非首层网络层根据该非首层网络层对应的目标量化范围对非首层网络层的前一网络层的量化数据进行量化，以得到非首层网络层的量化数据；采用预测层对最后一层网络层的量化数据进行预测，以得到待识别文本对应的预测结果。
[0265]
本公开实施例的预测装置，通过获取待识别文本，采用多任务模型根据目标量化范围对待识别文本进行量化，以得到待识别文本对应的量化数据，并对量化数据进行预测，以得到待识别文本对应的预测结果。由此，基于深度学习技术，对待识别文本进行预测(比如分类、打分、排序、标注等)，可以提升预测结果的准确性和可靠性。
[0266]
为了实现上述实施例，本公开还提供一种电子设备，该电子设备可以包括至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开上述
任一实施例提出的多任务模型的训练方法或预测方法。
[0267]
为了实现上述实施例，本公开还提供一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开上述任一实施例提出的多任务模型的训练方法或预测方法。
[0268]
为了实现上述实施例，本公开还提供一种计算机程序产品，该计算机程序产品包括计算机程序，计算机程序在被处理器执行时实现本公开上述任一实施例提出的多任务模型的训练方法或预测方法。
[0269]
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
[0270]
图11示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
[0271]
如图11所示，电子设备1100包括计算单元1101，其可以根据存储在rom(read-only memory，只读存储器)1102中的计算机程序或者从存储单元1108加载到ram(random access memory，随机访问/存取存储器)1103中的计算机程序，来执行各种适当的动作和处理。在ram 1103中，还可存储电子设备1100操作所需的各种程序和数据。计算单元1101、rom 1102以及ram 1103通过总线1104彼此相连。i/o(input/output，输入/输出)接口1105也连接至总线1104。
[0272]
电子设备1100中的多个部件连接至i/o接口1105，包括：输入单元1106，例如键盘、鼠标等；输出单元1107，例如各种类型的显示器、扬声器等；存储单元1108，例如磁盘、光盘等；以及通信单元1109，例如网卡、调制解调器、无线通信收发机等。通信单元1109允许电子设备1100通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
[0273]
计算单元1101可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1101的一些示例包括但不限于cpu(central processing unit，中央处理单元)、gpu(graphic processing units，图形处理单元)、各种专用的ai(artificial intelligence，人工智能)计算芯片、各种运行机器学习模型算法的计算单元、dsp(digital signal processor，数字信号处理器)、以及任何适当的处理器、控制器、微控制器等。计算单元1101执行上文所描述的各个方法和处理，例如上述多任务模型的训练方法或预测方法。例如，在一些实施例中，上述多任务模型的训练方法或预测方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1108。在一些实施例中，计算机程序的部分或者全部可以经由rom1102和/或通信单元1109而被载入和/或安装到电子设备1100上。当计算机程序加载到ram 1103并由计算单元1101执行时，可以执行上文描述的多任务模型的训练方法或预测方法的一个或多个步骤。备选地，在其他实施例中，计算单元1101可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述多任务模型的训练方法或预测方法。
[0274]
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电
路系统、fpga(field programmable gate array，现场可编程门阵列)、asic(application-specific integrated circuit，专用集成电路)、assp(application specific standard product，专用标准产品)、soc(system on chip，芯片上系统的系统)、cpld(complex programmable logic device，复杂可编程逻辑设备)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
[0275]
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
[0276]
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、ram、rom、eprom(electrically programmable read-only-memory，可擦除可编程只读存储器)或快闪存储器、光纤、cd-rom(compact disc read-only memory，便捷式紧凑盘只读存储器)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
[0277]
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(cathode-ray tube，阴极射线管)或者lcd(liquid crystal display，液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
[0278]
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：lan(local area network，局域网)、wan(wide area network，广域网)、互联网和区块链网络。
[0279]
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或
云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务(virtual private server，虚拟专用服务器)中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
[0280]
其中，需要说明的是，人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术；人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。
[0281]
根据本公开实施例的技术方案，通过获取多个任务对应的样本文本集，其中，每个样本文本集用于对多任务模型进行对应任务的适配训练；获取各样本文本集对应的参考量化范围；根据各样本文本集对应的参考量化范围，确定目标量化范围；根据目标量化范围对多任务模型进行训练。由此，综合多个任务对应的样本文本集的参考量化范围，来确定多任务模型所采用的目标量化范围，从而多任务模型根据该目标量化范围对文本进行量化，可以避免多任务模型采用单一样本文本集对应的量化范围，对不同任务对应的文本进行量化，而导致量化效果不佳的问题，即可以提升多任务模型的量化效果，从而可以提升模型预测结果的准确性和可靠性。
[0282]
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提出的技术方案所期望的结果，本文在此不进行限制。
[0283]
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。