一种自然语言模型的获取方法及相关设备与流程

1.本技术涉及人工智能领域中的自然语言理解领域，尤其涉及一种自然语言模型的获取方法及相关设备。


背景技术：

2.随着人工智能的不断发展，神经网络模型在自然语言理解领域被广泛应用。自然语言理解模型的网络结构复杂，训练过程往往需要大量的训练数据支撑；针对某一具体任务而言，为了避免该任务训练数据较少而不足以训练网络模型的情况发生，同时为了加快训练速度，现有主流的自然语言理解模型都是基于预训练模型的微调模型。即基于公开的无标注数据，首先在掩码语言模型(masked language model，mlm)或者下句预测模型(next sentence prediction，nsp)等任务上预训练一个模型，然后基于具体的自然语言理解任务来设计该预训练模型的下游网络结构，接着再利于该任务的标注数据来对整个网络结构进行微调训练，最终得到关于具体任务的神经网络模型。
3.在预训练过程中，往往需要大量无标注文本数据，这些无标注文本数据通常来自于对应语言的文本数据集；因此，对于英语、中文等使用人数较多的语言，可以轻易获得大量的公开文本数据，但是对于其他使用人数较少的低资源语言，则没有足够的公开文本数据，不足以训练出一个只针对该低资源语言的预模型。为了解决上述问题，通常会使用混合语言来训练一个支持多种语言的预训练模型，然后再针对低资源语言对应的具体任务在该预训练模型下设计下游网络结构，最终得到该低资源语言下的任务模型。
4.由于混合语言的预训练模型包含多种语言的知识，所以预训练模型的参数数量巨大，而实际上最终针对某种语言的任务模型并不需要所有语言的知识，这将导致任务模型体积过大且训练速度过慢，严重影响任务模型的性能；因此，如何获得更高性能的针对特定语言的神经网络模型成为亟需解决的问题。


技术实现要素：

5.本技术实施例提供了一种自然语言模型的获取方法及相关设备，用于根据包含有多种语言知识的预训练模型来获取目标语言对应的任务模型，其中，任务模型与具体的自然语言任务相关；通过迁移学习的方法，简化了任务模型的词嵌入层参数，加速了任务模型的训练速度，提高了自然语言模型的获取效率。
6.本技术实施例的第一方面提供一种自然语言模型的获取方法，包括：
7.首先获取包含有多种语言知识的预训练模型，该预训练模型包括第一词嵌入层，第一词嵌入层的作用是利用混合语言词汇表对输入的语料进行词向量表示；然后确定多种语言中的第一语言，先将预训练模型中的混合语言词汇表替换为第一语言对应的第一词汇表，然后利用第一语言的无标注语料对替换后的预训练模型进行训练，更新第一词嵌入层的参数；然后设计任务模型，任务模型也包括词嵌入层和任务层，利用更新后的第一词嵌入层的参数来对任务模型的词嵌入层进行初始化，完成预训练任务所包含的知识到任务模型
的迁移，最后根据第一语言的第一标注语料对整个任务模型进行训练，更新任务模型每一层的参数，最终得到第一语言模型。
8.在上述方法中，语言知识从预训练模型到第一语言模型的迁移，利用预训练模型的词嵌入层参数来初始化第一语言模型的词嵌入层参数，这样，减少了任务模型的训练次数，加速了任务模型的收敛速度，同时任务模型词嵌入层的词汇表也替换为第一语言词汇表，减少了任务模型的体积，优化了任务模型的性能。
9.在一个可能的实施方式中，任务模型的第二词嵌入层中包括第一语言的第一词汇表，当预训练模型词嵌入层的词汇表替换为第一语言的第一词汇表后，就可以利用第一语言的无标注语料对预训练模型进行训练，更新第一词嵌入层的参数，然后，利用更新后的第一词嵌入层的参数来初始化任务模型的词嵌入层参数，完成语言知识的迁移。
10.在一个可选的实施方式中，任务模型还包括任务层，利用第一语言的标注语料对任务模型进行训练的过程可以为，首先向任务模型输入第一标注语料的第一文本数据，然后通过任务模型得到第一文本数据的输出标签，再根据第一文本数据的输出标签和原来的标注标签得到损失值，将该损失值反向传递，更新任务层的参数，训练过程将包括多次迭代运算，训练目的是提高输出标签和标注标签的近似度，最终根据训练结果得到第一语言的第一语言模型。
11.在一个可选的实施方式中，但预训练模型的语言知识迁移至第一语言模型中后，还可以将第一语言模型的知识迁移至目标语言模型中，若第一语言为语料较多的高资源语言，目标语言为低资源语言时，针对同一个自然语言任务，就可以利用第一语言模型对目标语言的任务模型进行初始化，这样利用少量的目标语言语料对任务模型进行微调即可得到目标语言的自然语言模型。
12.其中，先确定多种语言中的目标语言，该目标语言也存在于最初始的混合语言词汇表中，并且目标语言对应的词汇量将小于第一语言对应的词汇量，然后将第一语言模型的词嵌入层的第一词汇表替换为目标语言的第二词汇表，然后使用目标语言的语料数据对第一语言模型进行微调，得到目标语言对应的目标语言模型。
13.在一个可选的实施方式中，利用目标语言的语料对第一语言模型进行训练时，先输入目标语言的无标注语料，得到输出结果，然后根据该输出结果来对词嵌入层的参数进行更新。
14.在一个可选的实施方式中，在词嵌入层参数更新完后，再输入目标语言的标注语料，得到输出结果，然后根据该输出结果来对词嵌入层和任务层的参数进行更新。
15.在一个可选的实施方式中，目标语言可以为单个低资源语言，也可以是多个低资源语言，如果为多个低资源语言时，就需要调整两种目标语言的数量比例，其中，至少两种语言的语料数量的比值，不小于预设阈值。
16.本技术实施例的第二方面提供一种自然语言模型的训练设备，所述训练设备包括：
17.获取单元，用于获取预训练模型，所述预训练模型包括第一词嵌入层，所述第一词嵌入层包括多种语言的混合语言词汇表，所述第一词嵌入层用于根据所述混合语言词汇表对输入语料进行词向量表示；
18.确定单元，用于确定所述多种语言中的第一语言，并将所述第一词嵌入层的所述
混合语言词汇表替换为所述第一语言对应的第一词汇表；
19.训练单元，用于根据所述第一语言的无标注语料对替换后的预训练模型进行训练，更新所述第一词嵌入层的参数；
20.处理单元，用于根据更新后的预训练模型的参数调整任务模型的参数；
21.所述训练单元，还用于根据所述第一语言对应的第一标注语料对所述任务模型进行训练，并根据训练结果得到第一语言模型。
22.在一个可选的实施方式中，所述任务模型还包括第二词嵌入层，所述处理单元，具体用于根据更新后的所述第一词嵌入层的参数初始化所述第二词嵌入层的参数。
23.在一个可选的实施方式中，所述任务模型包括任务层；所述训练单元，具体用于向所述任务模型输入所述第一标注语料的第一文本数据；所述第一标注语料包括所述第一文本数据和所述第一文本数据的标注标签；通过所述任务模型得到所述第一文本数据的输出标签；根据所述第一文本数据的输出标签更新所述任务层的参数；其中，所述任务模型的训练目的为提高所述第一文本数据的输出标签和标注标签的近似度。
24.在一个可选的实施方式中，所述确定单元，还用于确定所述多种语言中的目标语言，其中，在所述混合词汇表中，所述目标语言对应的词汇量小于所述第一语言对应的词汇量；将所述第二词嵌入层的第一词汇表替换为所述目标语言对应的第二词汇表；
25.所述训练单元，还用于根据所述目标语言的语料数据对替换后的第一语言模型进行训练，并根据训练结果得到所述目标语言对应的目标语言模型。
26.在一个可选的实施方式中，所述训练单元，具体用于根据所述目标语言的无标注语料对替换后的第一语言模型进行训练；其中，训练过程为根据所述目标语言的无标注语料对应的输出结果，对所述第二词嵌入层的参数进行更新。
27.在一个可选的实施方式中，所述训练单元，具体用于根据所述目标语言的标注语料对替换后的第一语言模型进行训练；其中，训练过程为根据所述目标语言的标注语料对应的输出结果，对所述第二词嵌入层和所述任务层的参数进行更新。
28.在一个可选的实施方式中，所述目标语言包括至少两种语言；在所述目标语言的语料数据中，所述至少两种语言的语料数量的比值，不小于预设阈值。
29.本技术实施例的第三方面提供一种执行设备，包括：
30.处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时，实现如第一方面任一项所述的方法。
31.本技术实施例的第四方面提供一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行如第一方面任一项所述的方法。
32.本技术实施例的第五方面提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行如第一方面中任一项所述的方法。
33.从以上技术方案可以看出，本技术具有以下优点：
34.在本技术实施例中，完成了语言知识从预训练模型到第一语言模型的迁移，利用预训练模型的词嵌入层参数来初始化第一语言模型的词嵌入层参数，这样，减少了任务模型的训练次数，加速了任务模型的收敛速度，同时任务模型词嵌入层的词汇表也替换为第一语言词汇表，减少了任务模型的体积，优化了任务模型的性能。
附图说明
35.图1为本技术实施例提供的一种自然语言模型的场景示意图；
36.图2为本技术实施例提供的另一种自然语言模型的场景示意图；
37.图3为本技术实施例提供的一种自然语言模型的获取方法的流程示意图；
38.图4为本技术实施例提供的另一种自然语言模型的获取方法的流程示意图；
39.图5为本技术实施例提供的一种自然语言模型的训练设备的结构框架图。
具体实施方式
40.本技术实施例提供了一种自然语言模型的获取方法及相关设备，用于根据包含有多种语言知识的预训练模型来获取目标语言对应的任务模型，其中，任务模型与具体的自然语言任务相关；通过迁移学习的方法，简化了任务模型的词嵌入层参数，加速了任务模型的训练速度，提高了自然语言模型的获取效率。
41.自然语言模型的按照网络模型结构的功能可以分为词嵌入层(word embedding)、转换器层(transformers)以及下游任务层；其中，词嵌入层用于将输入的自然语言进行分词，并将词语转换为词向量，转换器层用于处理并理解输入的自然语言数据，明确自然语言中各词语之间的逻辑关系以及词语序列；而下游网络层则与具体的自然语言任务相关，不同任务对应的下游网络层的网络结构不同，下游网络层通过转换器层的逻辑关系对词向量进行运算，最终得到自然语言对应的关于具体任务的输出结果；因此可以看出，词嵌入层主要用于机器识别文字数据，对文字数据向量化，与具体的任务无关；而转换器层和下游任务层则需要理解输入的文字数据，并对文字数据进行反应，得到输出结果，因此其与具体的语言任务密切相关，可以统称为任务层。
42.由于自然语言模型的网络结构层数很深，若每一层网络结构的参数都随机初始化，则需要大量的训练数据对模型进行训练，其自然语言模型的训练过程将极其缓慢；现有的，一般采取预训练方式，来获取针对具体任务的自然语言模型；即先用一个较大的训练数据集合针对预任务对网络模型进行预先训练，得到预训练模型，可以理解的，该预训练模型已经学习到部分语言知识；然后根据预训练模型的部分网络参数来对任务模型(自然语言模型)的参数进行初始化，这样，就可以在预训练模型的基础上训练任务模型，既减少了任务模型的训练数据的数量，又可以加速任务模型的收敛速度，提高任务模型的获取效率。
43.随着转换器双向编码器表示(bidirectional encoder representations from transformers，bert)模型等自然语言模型的发布，主流的自然语言模型都已经成为基于预训练模型的微调模型，一般的，自然语言模型的训练过程分为两个部分，首先基于大量的无标注语料在mlm、nsp等任务上预训练一个语言模型；然后再针对具体的任务，设计下游任务层，对预训练模型的任务层网络结构进行替换，得到任务模型，然后获取具体任务对应的标注语料，根据标注语料训练任务模型，对原来的词嵌入层的参数进行微调，以及不断更新新任务层的参数。
44.自然语言模型需要理解多种语言，针对某种语言而已，要获取到针对该种语言关于具体任务的任务模型，就需要先利用该种语言的无标注语料先预训练一个模型，再利用该种语言的标注语料在预训练模型基础上获取该语言对应的任务模型；其中，在预训练阶段，需要大量的无标注语料，而无标注语料通常来自于该语言的公开文本；对于英语、中文
等使用人数较多的语言，可以轻易获得大量的公开文本数据，但是对于其他使用人数较少的语言，则没有足够的公开文本数据，将制约预训练模型在这些低资源语言上的表现性能。为了解决上述问题，一般的，将采用混合语言来训练预训练模型，即采用包含有多种语言无标注语料的混合语料来训练预训练模型，这样预训练模型将会包含多种语言的知识；随后再针对某一语言的某一具体任务设计下游网络层，替换预训练模型的任务层，得到任务模型，最后利用该目标语言的标注语料对整个任务模型进行训练，更新任务模型各层参数，加速任务模型收敛。
45.在上述方法中，由于预训练模型是由混合语料训练得到的，这将使得预训练模型的词嵌入层包含多种语言的知识，词嵌入层将基于一个巨大的共享词汇表对输入的混合语料进行词向量表示，该词汇表将包括混合语料的所有语言的词汇；这将导致基于预训练模型得到的任务模型的词嵌入层空间也过大，训练难度增加且训练速度变慢；而且针对目标语言的任务模型而言，词汇表中其他语言的词汇根本用不到，词汇表不能根据目标语言和实际输入语料对词汇表进行调整，导致词汇表将包括大量无用词汇，增大了任务模型的参数体积，降低了任务模型的性能。
46.基于上述问题，本技术提供了一种新的自然语言模型的训练和获取方法，利用迁移学习的方法改善预训练模型在低资源语言上的表现性能；同时根据任务不断调整词汇表，去除无用的分词词汇，加快任务模型的训练速度和收敛速度。
47.图1为本技术实施例提供的一种自然语言模型的场景示意图；如图1所示，自然语言模型的训练设备为服务器或者终端设备；其中，预训练模型的训练过程部署于服务器侧进行，同时，服务器根据训练后的预训练模型得到目标任务的任务模型；然后根据用户的需求，将该任务模型部署于服务器侧或者终端侧。
48.其中，当任务模型部署于服务器侧时，可以根据服务器侧的标注语料对任务模型进行训练，然后供语音助手等模块对其进行调用，完成具体语言任务，为服务器或者终端提供相应的服务。
49.示例性的，如图2所示，当任务模型部署于终端侧时，终端不仅可以从服务器获取训练数据，还可以根据用户输入的语言文本来对任务模型进行训练；具体来说，在初始任务模型已经成功部署以后，终端设备可以不断收集用户在日常使用中的输入语言文本，定期通过分词算法，更新模型中的词汇表，可以理解的，根据用户输入语料更新过后的词汇表将会更加贴合用户的使用习惯。在词汇表更新之后，再利用存储在终端设备的自然语言标注语料，对模型进行微调训练，不断更新任务模型的参数，从而提高模型性能。
50.图3为本技术实施例提供的一种自然语言模型的获取方法的流程示意图，如图3所示，所述方法包括：
51.301、获取预训练模型。
52.预训练模型的网络结构可以分为第一词嵌入层和第一任务层，其中，第一词嵌入层用于对输入的语料进行词向量转换，第一任务层则与预训练模型的预任务相关，根据任务对词向量进行运算，得到输入语料的输出结果；示例性的，该预训练模型可以是基于mlm或者nsp等任务预训练出的一个模型；其中，第一词嵌入层是根据词汇表来对输入语料进行词向量转换的，由于预训练模型包含多种语言的知识，因此第一词嵌入层中的词汇表是包含有多种语言的混合语言词汇表，这将导致预训练模型的词嵌入向量表示空间很大。
53.示例性的，预训练模型m包含有多种语言的知识，首先定义一个待选取语言池q和一个目标语言池s；初始化时，待选取语言池包括预训练模型所包括的所有语言，例如语言en、zh、fr、l等，目标语言池则为空，可以理解的，预训练模型的第一词嵌入层参数则是由待选取语言池q中的所有语言所组成的混合语料来训练得到的。
54.302、确定第一语言，根据预训练模型中的混合语言词汇表生成第一词汇表。
55.若需要基于上述预训练模型得到关于第一语言的自然语言模型时，由于预训练模型中包含了多种语言的知识，而实际上第一语言的自然语言模型不需要其他语言的知识，因此，就可以将预训练模型中的混合语言词汇表转换为只包含第一语言词汇的第一词汇表，示例性的，可以对混合语言词汇表进行运算，得到第一词汇表。
56.例如，确定第一语言为待选取语言池中的语言l，这样就需要将l加入至目标语言池s，并且在待选取语言池q中删除语言l，然后利用混合语言词汇表获得语言l的词汇表v。
57.303、将预训练模型中的混合语言词汇表替换为第一词汇表。
58.要通过预训练模型得到关于第一语言的自然语言模型时，就需要利用第一语言语料对预训练模型进行微调，把预训练模型中的混合语言词汇表替换为第一语言的第一词汇表后，预训练模型的词向量表示空间将会变小，这样，预训练模型能更有针对性的学习第一语言的知识，同时也会提高训练速度。
59.304、利用第一语言的无标注语料对替换后的预训练模型进行训练。
60.替换过后，就需要向预训练模型输入第一语言的无标注语料，对原来的预训练模型的参数进行微调，得到第一语言对应的微调模型，更有针对性的提高预训练模型在第一语言上的表达能力。
61.305、确定训练后的预训练模型的词嵌入层参数。
62.采用无标注语料对预训练模型进行训练，然后根据无标注语料的输出结果来调整预训练模型的词嵌入层的参数，训练过程包括多次迭代运算，最终确定第一语言下预训练模型的词嵌入层参数。
63.306、设计任务模型。
64.任务模型是针对具体的自然语言任务来设计的神经网络结构，例如意图理解或者槽位填充等，任务模型也包括第二词嵌入层和第二任务层，其中第二词嵌入层的作用仍然对输入的语料进行向量化表示，而任务层则针对具体的任务；可以理解的，任务模型的每一层所学习的知识以及特征是不相同的，而任务模型的词嵌入层和预训练模型的词嵌入层所学习到的特征近似，因此可以根据预训练模型的词嵌入层的参数来对任务模型进行初始化，这样，无需大量的语料来训练任务模型，而是在任务模型的基础之上来训练任务模型，加快任务模型的收敛。
65.307、根据训练后的预训练模型的词嵌入层参数确定任务模型的词嵌入层参数。
66.示例性的，预训练模型的词嵌入层包含了第一语言的知识，这样就可以利用训练好的预训练模型的词嵌入层参数来初始化任务模型的词嵌入层参数，使得任务模型学习到一部分第一语言的知识后，再根据第一语言语料进行训练。
67.308、利用第一语言的标注语料对任务模型进行训练，得到第一语言模型。
68.当设计完任务模型后，就需要利用第一语言的标注语料对整个训练模型进行训练，并根据任务模型的输出结果来微调任务模型词嵌入层的参数，以及更新任务模型的任
务层参数，最终完成知识的迁移，得到关于第一语言的第一语言模型。
69.其中，对任务模型进行训练的过程可以为：首先，确定第一语言的第一标注语料；可以理解的，第一标注语料包括第一语言的第一文本数据，每个第一文本数据都携带有关于具体任务的标注标签，该标签为第一文本数据的实际类别；然后，将第一文本数据输入至任务模型，得到第一文本数据的输出标签，该输出标签为任务模型对第一文本数据进行运算的运算结果，然后根据第一文本的标注标签(实际类别)和输出标签(运算结果)得出损失值，再将损失值反向传输，调整任务模型的参数，经过多次迭代，得到较优的参数，最终获取到第一语言模型。
70.示例性的，当选择第一语言为l时，需要获取关于语言l的标注语料d_t，此时，任务模型的词嵌入层包含的词汇表是语言l对应的第一词汇表v，词嵌入层的参数也是通过第一语言l对应的无标注语料得到的参数，此时，再向任务模型输入标注语料d_t，根据标注语料d_t的输出结果不断更新任务层的参数，最后获取关于语言l的第一语言模型。
71.上述实施例完成了语言知识从预训练模型到第一语言模型的迁移，利用预训练模型的词嵌入层参数来初始化第一语言模型的词嵌入层参数，这样，减少了任务模型的训练次数，加速了任务模型的收敛速度，同时任务模型词嵌入层的词汇表也替换为第一语言词汇表，减少了任务模型的体积，优化了任务模型的性能。
72.基于图3所示实施例，图4为本技术实施例提供的另一种自然语言模型的获取方法的流程示意图，如图4所示，所述方法包括：
73.401、获取第一语言模型，并确定目标语言。
74.在将预训练模型的知识迁移到第一语言模型后，第一语言模型还可以将学到的知识迁移至其他语言上。示例性的，第一语言为公开文本较多的语言时，例如英语、中文等，可以很轻易的获取到大量的训练数据，包括无标注语料和标注语料，这些训练数据可以对任务模型进行很好的训练；然而对于小语种的低资源语言来说，其公开文本很少，对应的语料将不足以支撑任务模型的训练，那么就可以针对多资源语言和低资源语言设计同样的任务模型结构，然后先将预训练模型的知识迁移至多资源语言的任务模型上，然后又将多资源语言任务模型中每一层学习的知识迁移至低资源语言任务模型中，根据低资源语言(目标语言)的语料微调任务模型即可。
75.示例性的，在上述例子中，待选取语言池q中，语言l的语料远远多于语言zh和语言fr的语料，那么在完成预训练模型的知识迁移，最终得到语言l的第一语言模型后，还可以从待选取语言池q中选择语言zh和/或fr，将其加入目标语言池s，并且该语言zh和/或fr从待选取语言池q中删除。
76.402、将第一语言模型的第二词嵌入层的第一词汇表替换为目标语言的第二词汇表。
77.当获取到高资源语言的任务模型(第一语言模型)后，首先将第一语言模型的第二词嵌入层的词汇表进行替换，第一语言模型对应的词汇表为第一词汇表，包含有第一语言的知识，要获取目标语言的任务模型，词嵌入层就需要学习到目标语言的知识；示例性的，可以将第一语言模型词嵌入层的第一词汇表换成第二语言的词汇表，然后对词嵌入层先进行训练。
78.示例性的，目标语言模型的第二词汇表也可以由预训练模型中的混合语言词汇表
生成，完成预训练模型知识的迁移，得到zh和/或fr的词汇表。
79.403、利用目标语言的无标注语料对替换后的第一语言模型进行训练，更新第二词嵌入层的参数。
80.替换之后，就利用目标语言的无标注语料对第一语言模型进行训练，根据输出的结果来调整第二词嵌入层的参数，让第二词嵌入层学习目标语言的知识，使得第一语言模型更好的表达目标语言。
81.示例性的，目标语言可以为单语种，也可以为多个低资源语言，如果目标语言为多个低资源语言，那么目标语言的无标注语料和第二词汇表均包括多种语言，这样，就可以对多个低资源语言进行重采样，确定无标注语料中各个低资源语言的数据比例，可以理解的，一个优选的方案是，各个低资源语言对应的数量相同，这样可以保证最终获得的目标语言的任务模型在每一种低资源语言上都有很好的表达。
82.404、利用目标语言的标注语料对更新后的第一语言模型进行训练，得到目标语言的自然语言模型。
83.最后利用目标语言的标注语料，对更新后的第一语言模型进行训练，微调每一层的参数，最终得到目标语言的自然语言模型。
84.图5为本技术实施例提供的一种自然语言模型的训练设备的结构框架图，如图5所示，包括：
85.获取单元501，用于获取预训练模型，所述预训练模型包括第一词嵌入层，所述第一词嵌入层包括多种语言的混合语言词汇表，所述第一词嵌入层用于根据所述混合语言词汇表对输入语料进行词向量表示；
86.确定单元502，用于确定所述多种语言中的第一语言，并将所述第一词嵌入层的所述混合语言词汇表替换为所述第一语言对应的第一词汇表；
87.训练单元503，用于根据所述第一语言的无标注语料对替换后的预训练模型进行训练，更新所述第一词嵌入层的参数；
88.处理单元504，用于根据更新后的预训练模型的参数调整任务模型的参数；
89.所述训练单元503，还用于根据所述第一语言对应的第一标注语料对所述任务模型进行训练，并根据训练结果得到第一语言模型。
90.在一个可能的实施方式中，所述任务模型还包括第二词嵌入层，所述处理单元504，具体用于根据更新后的所述第一词嵌入层的参数初始化所述第二词嵌入层的参数。
91.在一个可能的实施方式中，所述任务模型包括任务层；所述训练单元503，具体用于向所述任务模型输入所述第一标注语料的第一文本数据；所述第一标注语料包括所述第一文本数据和所述第一文本数据的标注标签；通过所述任务模型得到所述第一文本数据的输出标签；根据所述第一文本数据的输出标签更新所述任务层的参数；其中，所述任务模型的训练目的为提高所述第一文本数据的输出标签和标注标签的近似度。
92.在一个可能的实施方式中，所述确定单元502，还用于确定所述多种语言中的目标语言，其中，在所述混合词汇表中，所述目标语言对应的词汇量小于所述第一语言对应的词汇量；将所述第二词嵌入层的第一词汇表替换为所述目标语言对应的第二词汇表；
93.所述训练单元503，还用于根据所述目标语言的语料数据对替换后的第一语言模型进行训练，并根据训练结果得到所述目标语言对应的目标语言模型。
94.在一个可能的实施方式中，所述训练单元503，具体用于根据所述目标语言的无标注语料对替换后的第一语言模型进行训练；其中，训练过程为根据所述目标语言的无标注语料对应的输出结果，对所述第二词嵌入层的参数进行更新。
95.在一个可能的实施方式中，所述训练单元503，具体用于根据所述目标语言的标注语料对替换后的第一语言模型进行训练；其中，训练过程为根据所述目标语言的标注语料对应的输出结果，对所述第二词嵌入层和所述任务层的参数进行更新。
96.在一个可能的实施方式中，所述目标语言包括至少两种语言；在所述目标语言的语料数据中，所述至少两种语言的语料数量的比值，不小于预设阈值。
97.根据本技术实施例提供的方法，本技术还提供一种执行设备，其特征在于，包括处理器，所述处理器和存储器耦合，所述存储器存储有程序指令，当所述存储器存储的程序指令被所述处理器执行时实现上述图3或图4所示实施例中执行设备执行的任一项所述的方法。
98.根据本技术实施例提供的方法，本技术还提供一种计算机可读存储介质，包括程序，当其在计算机上运行时，使得计算机执行图3或图4所示实施例中任一项所述的方法。
99.根据本技术实施例提供的方法，本技术还提供一种电路系统，所述电路系统包括处理电路，所述处理电路配置为执行图3或图4所示实施例中任一项所述的方法。
100.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
101.在本技术所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
102.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
103.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
104.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。