口语理解模型的训练方法和装置与流程

1.本技术涉及人工智能领域，更具体地，涉及一种口语理解模型的训练方法和装置。


背景技术：

2.在人工智能领域中，人机对话系统中的口语理解任务至关重要。口语理解任务主要包括两个子任务，意图识别以及槽位填充，通过口语理解模型来实现。具体而言，要让机器理解用户的表达，首先要确定用户话语中表达出来的意图，然后将用户的意图转化为机器能够识别的明确的指令，以便机器按照该指令执行相应操作。因此，意图识别和槽位填充的准确性对整个对话系统的质量具有非常重要的影响。
3.随着国际化发展趋势的加快，口语理解任务需要支持多种不同的语言，这就要求口语理解模型能够基于多种不同的语言执行口语理解任务。现有技术中的口语理解模型在对目标语言进行训练时，需要收集和标注大量目标语言的语料，若目标语言是小语种，收集和标注大量该小语种的语料是比较困难的，若直接利用少量该小语种的语料进行训练，其训练效果往往不够准确。


技术实现要素：

4.本技术提供了一种口语理解模型的训练方法和装置，能够在获得基于特定小语种的口语理解模型的同时，提高该口语理解模型的准确性，从而提升该小语种的口语理解任务的性能。
5.第一方面，提供了一种口语理解模型的训练方法，具体包括：首先，根据目标小语种的无标注语料和基于多语言的预训练语言模型，确定预训练语言模型的嵌入层权重参数，该预训练语言模型采用双向编码器的架构；根据至少一个大语种的已标注语料和预训练语言模型，确定预训练语言模型的编码层权重参数；然后，采用上述嵌入层权重参数对预训练语言模型的嵌入层进行初始化，采用上述编码层权重参数对预训练语言模型的编码层进行初始化，获得目标小语种的口语理解模型。
6.应理解，在本技术实施例中，采用获取的嵌入层权重参数对多语言的预训练语言模型的嵌入层进行初始化，具体是指对该多语言的预训练语言模型的嵌入层权重参数重新赋予新的初值。同理，采用获取的编码层权重参数对基于多语言的预训练语言模型的编码层进行初始化，具体是指对该多语言的预训练语言模型的编码层权重参数重新赋予新的初值。
7.其中，小语种又可以称为稀缺语种或低资源语言语种；大语种又可以称为富语料语种或高资源语言语种；多语言的预训练模型可以是以transformer为核心的多层双向编码器结构。
8.本技术实施例的口语理解模型的训练方法，利用了至少一个大语种的已标注语料和目标小语种的无标注语料分阶段学习，从而达到跨多个语种迁移的效果，通过复用大语种的已标注语料获得相应的权重参数，在很大程度上减轻了模型训练过程中对已标注的目
标小语种的依赖。此外，采用获取的嵌入层权重参数和编码层权重参数初始化多语言的预训练语言模型，能够在获得基于目标小语种的口语理解模型的同时，提升了该目标小语种的口语理解模型的性能，提高该口语理解模型的准确性，且降低了目标小语种的口语理解模型的训练时间。
9.本技术实施例的方法可以由数据处理设备执行，也可以由数据处理设备中的芯片执行，本技术实施例对此不作限定。
10.可选地，数据处理设备可以先获取嵌入层权重参数，再获取编码层权重参数；或者，数据处理设备也可以先获取编码层权重参数，再获取嵌入层权重参数；或者，数据处理设备可以同时获取嵌入层权重参数和编码层权重参数。
11.结合第一方面，在第一方面的某些实现方式中，根据目标小语种的无标注语料和基于多语言的预训练语言模型，确定预训练语言模型的嵌入层权重参数，包括：冻结预训练语言模型的原始编码层权重参数；将无标注语料输入至预训练语言模型进行训练，获得嵌入层权重参数。
12.上述冻结预训练语言模型的原始编码层权重参数可以理解为保持原始编码层参数不变。
13.在本技术实施例中，数据处理设备在获取嵌入层权重参数时，可以先冻结预训练语言模型的编码层权重参数，即保持该层参数不变，再将目标小语种的无标注语料输入至多语言的预训练语言模型进行训练，从而获得训练后的多语言的预训练语言模型的嵌入层权重参数。该嵌入层参数可以理解为是与目标小语种相关的词嵌入向量信息。
14.结合第一方面，在第一方面的某些实现方式中，根据至少一个大语种的已标注语料和预训练语言模型，确定预训练语言模型的编码层权重参数，包括：冻结预训练语言模型的原始嵌入层权重参数；将已标注语料输入至预训练语言模型进行训练，获得编码层权重参数。
15.上述冻结预训练语言模型的原始嵌入层权重参数可以理解为保持原始嵌入层参数不变。
16.在本技术实施例中，数据处理设备在获取编码层权重参数时，可以先冻结多语言的预训练语言模型的嵌入层权重参数，即保持该层参数不变，再将技术人员收集的一个或多个大语种的已标注语料输入至预训练语言模型进行训练，该过程也可以称为微调，从而获得微调后的预训练语言模型的编码层权重参数。该编码层参数可以理解为是与大语种语料的口语理解任务相关的信息。
17.结合第一方面，在第一方面的某些实现方式中，在获得目标小语种的口语理解模型之后，上述方法还包括：根据目标小语种的有标注语料，对目标小语种的口语理解模型进行微调，获得目标小语种的新的口语理解模型。
18.上述微调可以理解为将目标小语种的有标注语料输入至目标小语种的口语理解模型进行训练，从而调整该模型的权重参数。
19.本技术的目标小语种的标注语料可以通过人工标注的方式获取。采用有标注的目标小语种对目标小语种的口语理解模型进行微调，能够在获得基于特定小语种的口语理解模型的同时，进一步提升该目标小语种的口语理解模型的准确性，从而提升该目标小语种的口语理解模型的性能。
20.第二方面，提供了一种口语理解模型的训练装置，用于执行上述第一方面中任一种可能的实现方式中的方法。具体地，该装置包括用于执行上述第一方面中任一种可能的实现方式中的方法的模块。
21.第三方面，提供了另一种口语理解模型的训练装置，包括处理器，该处理器与存储器耦合，可用于执行存储器中的指令，以实现上述第一方面中任一种可能实现方式中的方法。可选地，该装置还包括存储器。可选地，该装置还包括通信接口，处理器与通信接口耦合。
22.在一种实现方式中，该口语理解模型的训练装置为数据处理设备。当该口语理解模型的训练装置为数据处理设备时，通信接口可以是收发器，或，输入/输出接口。
23.在另一种实现方式中，该口语理解模型的训练装置为配置于服务器中的芯片。当该口语理解模型的训练装置为配置于服务器中的芯片时，通信接口可以是输入/输出接口。
24.第四方面，提供了一种处理器，包括：输入电路、输出电路和处理电路。处理电路用于通过输入电路接收信号，并通过输出电路发射信号，使得处理器执行上述第一方面中任一种可能实现方式中的方法。
25.在具体实现过程中，上述处理器可以为芯片，输入电路可以为输入管脚，输出电路可以为输出管脚，处理电路可以为晶体管、门电路、触发器和各种逻辑电路等。输入电路所接收的输入的信号可以是由例如但不限于接收器接收并输入的，输出电路所输出的信号可以是例如但不限于输出给发射器并由发射器发射的，且输入电路和输出电路可以是同一电路，该电路在不同的时刻分别用作输入电路和输出电路。本技术实施例对处理器及各种电路的具体实现方式不做限定。
26.第五方面，提供了一种处理装置，包括处理器和存储器。该处理器用于读取存储器中存储的指令，并可通过接收器接收信号，通过发射器发射信号，以执行上述第一方面中任一种可能实现方式中的方法。
27.可选地，处理器为一个或多个，存储器为一个或多个。
28.可选地，存储器可以与处理器集成在一起，或者存储器与处理器分离设置。
29.在具体实现过程中，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read only memory，rom)，其可以与处理器集成在同一块芯片上，也可以分别设置在不同的芯片上，本技术实施例对存储器的类型以及存储器与处理器的设置方式不做限定。
30.应理解，相关的数据交互过程例如发送指示信息可以为从处理器输出指示信息的过程，接收能力信息可以为处理器接收输入能力信息的过程。具体地，处理输出的数据可以输出给发射器，处理器接收的输入数据可以来自接收器。其中，发射器和接收器可以统称为收发器。
31.上述第五方面中的处理装置可以是一个芯片，该处理器可以通过硬件来实现也可以通过软件来实现，当通过硬件实现时，该处理器可以是逻辑电路、集成电路等；当通过软件来实现时，该处理器可以是一个通用处理器，通过读取存储器中存储的软件代码来实现，该存储器可以集成在处理器中，可以位于该处理器之外，独立存在。
32.第六方面，提供了一种计算机程序产品，计算机程序产品包括：计算机程序(也可以称为代码，或指令)，当计算机程序被运行时，使得计算机执行上述第一方面中任一种可
能实现方式中的方法。
33.第七方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序(也可以称为代码，或指令)当其在计算机上运行时，使得计算机执行上述第一方面中任一种可能实现方式中的方法。
附图说明
34.图1为基于多语言的预训练语言模型的结构示意图；
35.图2为本技术实施例的口语理解模型的训练方法的示意性流程图；
36.图3为本技术实施例的口语理解模型的训练装置的示意性框图；
37.图4为本技术实施例的另一口语理解模型的训练装置的示意性框图。
具体实施方式
38.下面将结合附图，对本技术中的技术方案进行描述。
39.人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
40.随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。
41.在一个可能的场景中，一种自然语言处理系统可以包括用户设备以及数据处理设备。
42.其中，用户设备可用包括用户以及手机、个人电脑或者信息处理中心等智能终端。应理解，该用户设备为自然语言数据处理的发起端，作为语言问答或者查询等请求的发起方，通常用户通过所述用户设备发起请求。
43.数据处理设备可以是云服务器、网络服务器、应用服务器以及管理服务器等具有数据处理功能的设备或服务器。该数据处理设备通过交互接口接收来自智能终端的查询语句/语音/文本等问句，再通过存储数据的存储器以及数据处理的处理器环节进行机器学习、深度学习、搜索、推理、决策等方式的语言数据处理。上述存储器可以是一个统称，包括本地存储以及存储历史数据的数据库，上述数据库可以部署在数据处理设备上，也可以在其它网络服务器上，此处不做限定。
44.在另一个可能的场景中，智能终端可以直接作为数据处理设备，直接接收来自用户的输入并直接由智能终端本身的硬件进行处理，具体过程与上一场景相似，可参考上面的描述，在此不再赘述。
45.为便于理解，首先对本技术所涉及到的相关术语进行说明。
46.1、大语种，也可以称为富语料语种或者高资源语言语种，是指一些使用人数较多而且应用范围比较广的语种。例如，“中文”、“英文”、“法语”等。
47.2、小语种，也可以称为稀缺语料语种或者低资源语言语种，是指一些使用人数较少或者适用范围较小的一些语种，例如，“蒙古语”、“越南语”、“葡萄牙语”等。
48.3、语料，即为语言材料，又称语言文本，是构成语料库的基本单元。每一个语种都有其对应的语料。
49.4、口语理解任务和口语理解模型
50.口语理解任务中主要包括两个子任务，意图识别和槽位填充。所谓意图就是用户的意愿，即用户想要做什么。意图有时也被称为“对话行为”，即用户在对话中共享的信息状态或上下文变化并不断更新的行为。意图一般以“动词 名词”命名，如查询天气、预订酒店等。而意图识别又可以称为意图分类，即根据用户话语所涉及到的领域和意图将其分类到先前定义好的意图类别中。此外，意图识别还可以根据应用场景的不同被称为文本分类(例如，“垃圾邮件”、“垃圾短信”等的识别)或者情感分析(例如，“淘宝商品评价”、“饿了么外卖评价”等)。在人机对话系统中，机器能够对用户输入的语句信息做出准确的回应，就需要机器能够确定用户所要表达的意图，即意图识别。
51.槽位填充是将用户的意图转化为机器明确的指令的过程。槽位填充又可以称为命名实体识别，其本质是一个序列标注问题，序列标注就是对给定文本中每一个字符打上标签。标签的格式可以分为bo、bio和bieo三种形式。对于数据集比较少的情况，一般使用bo，如果有大量数据可以选用bieo格式，但本技术对此不做限定。其中，“x-b”表示此元素所在的片段属于x类型并且此元素在此片段的开始(begin)；“x-i”表示此元素所在的片段属于x类型并且此元素在此片段的中间位置，又称延续(inside)；“o”表示不属于任何类型，即非语义槽(outside)。
52.下面结合表一的示例，对意图和槽位进行详细描述。在表一中，输入语句“播放告白气球”，机器确定该输入语句所要表达的意图为“播放音乐”，并确定该输入语句对应的槽位信息，即“播\o放\o告\musicname-b白\musicname-i气\musicname-i球\musicname-i”。
53.表一
[0054][0055]
口语理解模型是以多语言的预训练语言模型为基础进行训练得到的。多语言的预训练语言模型是以transformer为核心的多层双向编码器，例如，预训练语言模型(bidirectional encoder representation from transformers，bert)。
[0056]
下面结合图1，详细介绍多语言的预训练语言模型的结构。如图1所示，该模型的结构包括：输入层、嵌入(embedding)层、编码(encoder)层、意图识别和槽位填充层。
[0057]
1、输入层：用于输入一个文本，在进入嵌入层前，需要在句子开头插入[cls]标记，用作整个句子的整合特征，用于句子分类任务。此外，还需要在每个句子的末尾插入[sep]标记，用于分隔每个句子。
[0058]
2、嵌入层：用于输出与上述输入层的文本一一对应的词嵌入向量信息。该层的输入是上述输入层的输入文本的每个字对应的字向量、文本向量和位置向量，该层的输出是字向量、文本向量和位置向量求和得到的输入文本每个字对应的词向量信息，例如，图1中的e1～e5。
[0059]
3、编码层：内部架构是多层双向transformer结构，例如，可以是12层，也可以是8层，本技术对transformer编码器的层数不做限定。transformer编码器的关键部分是多头自注意力(multi-head self-attention)机制。
[0060]
编码层的输入和输出在形式上完全相同，输入是文本中各个字的原始词向量信息，输出是各个字融合了全文语义信息后的增强向量信息。
[0061]
4、意图识别和槽位填充层：用于将句子分类的[cls]信息对应的编码向量(例如，图1中的h1，h1是h2～h5求加权平均的结果)输入至一个全连接(fully connected，fc)层，预测出输入文本的意图，将剩余文本对应的编码向量(例如，图1中的h2～h5)输入至另一个fc层，预测出输入文本的槽位信息。
[0062]
在自然语言理解领域中，口语理解模型的训练旨在让机器理解用户的表达。通常，可以采用预训练语言模型(bidirectional encoder representations from transformer，bert)结合目标语言任务语料进行微调(fine-tuning)的方式预训练口语理解模型，具体训练过程为：首先，获取大量的目标语言的标注语料，然后，将该标注语料输入至上述多语言预训练模型进行训练，此过程用于调整该多语言预训练语言模型的权重参数，也可以称为微调(fine-tuning)，即可得到目标语言的口语理解模型。在获取目标语言的口语理解模型后，将目标语言的无标注语料作为输入文本输入至目标语种的口语理解模型，即可获得该输入文本对应的意图信息和槽位信息。
[0063]
在上述口语理解模型训练的过程中，对有标注的目标语言的样本数量需求较大，这对于一些小语种来说，收集和标注小语种的口语理解数据比较困难，若直接利用少量该小语种的语料进行训练，其训练效果往往不够准确。
[0064]
有鉴于此，本技术提供了一种口语理解模型的训练方法及装置，通过复用已标注的大语种语料的口语理解任务数据，很大程度上减轻了对已标注的小语种语料的依赖，提高了小语种的口语理解模型的准确性，提升了口语理解模型的性能。
[0065]
应理解，本技术实施例的口语理解模型不仅可以适用于语音输入的场景，例如，“小度”、“小爱”、“天猫精灵”等语音识别后的口语理解任务，还可以适用于文本输入的场景，例如，智能客服“阿里小蜜”等文本识别后的口语理解任务。本技术实施例对此不作限定。
[0066]
在下文示出的实施例中，各术语及英文缩略语，如权重参数、冻结、微调等，均为方便描述而给出的示例性举例，不应对本技术构成任何限定。本技术并不排除在已有或未来的协议中定义其它能够实现相同或相似功能的术语的可能。
[0067]
下面结合图2，对本技术实施例的口语理解模型的训练方法进行详细说明。本技术实施例的方法可以由数据处理设备执行，也可以由数据处理设备中的芯片执行，本技术实施例对此不作限定。
[0068]
图2为本技术实施例提供的一种口语理解模型的训练方法200的示意性流程图。如图2所示，方法200可以包括下列步骤：
[0069]
s201，根据目标小语种的无标注语料和多语言预训练语言模型，确定该预训练语言模型的嵌入层权重参数。
[0070]
s202，根据至少一个大语种的已标注语料和多语言预训练语言模型，确定该预训练语言模型的编码层权重参数。
[0071]
s203，采用上述嵌入层权重参数对该预训练语言模型的嵌入层进行初始化，采用上述编码层权重参数对该预训练语言模型的编码层进行初始化，获得目标小语种的口语理解模型。
[0072]
应理解，在本技术实施例中，采用获取的嵌入层权重参数对多语言的预训练语言模型的嵌入层进行初始化，具体是指对该多语言的预训练语言模型的嵌入层权重参数重新赋予新的初值，该初值即为s201中所确定的嵌入层权重参数。同理，采用获取的编码层权重参数对基于多语言的预训练语言模型的编码层进行初始化，具体是指对该多语言的预训练语言模型的编码层权重参数重新赋予新的初值，该初值即为s202中所确定的编码层权重参数。
[0073]
本技术实施例的口语理解模型的训练方法，利用了至少一个大语种的已标注语料和目标小语种的无标注语料分阶段学习，从而达到跨多个语种迁移的效果，通过复用大语种的已标注语料获得相应的权重参数，在很大程度上减轻了模型训练过程中对已标注的目标小语种的依赖。此外，采用获取的嵌入层权重参数和编码层权重参数初始化多语言的预训练语言模型，能够在获得基于目标小语种的口语理解模型的同时，提升了该目标小语种的口语理解模型的性能，提高该口语理解模型的准确性，且降低了目标小语种的口语理解模型的训练时间。
[0074]
应理解，本技术实施例训练的口语理解模型，是针对目标小语种的，即能够执行某一特定小语种的口语理解任务。该目标小语种可以是任一小语种。
[0075]
上述目标小语种的无标注语料可以是由技术人员通过多种途径预先收集的，本技术实施例对此不作限定。在一种可能的实现方式中，技术人员可以通过网络收集目标小语种的无标注语料，例如，维基百科(wikipedia)和新闻等；在另一种可能的实现方式中，技术人员可以通过公开的翻译模型将已有的大语种语料的无标签数据翻译成目标小语种；在又一种可能的实现方式中，技术人员可以对已有的一些无标注的目标小语种语料通过数据增强的方式获取新的目标小语种语料。
[0076]
上述至少一个大语种的已标注语料可以是一个或多个大语种的已标注语料的集合，例如，“中文”、“英文”或“法语”中的一个或多个，具体的组合方式本技术实施例不做限定。大语种的已标注语料可以通过技术人员收集来获得，具体的收集方式本技术实施例不做限定。
[0077]
此外，本技术对上述方法200中的s201和s202的执行先后顺序不做限定，例如，数据处理设备可以先获取嵌入层权重参数，再获取编码层权重参数；或者，数据处理设备也可以先获取编码层权重参数，再获取嵌入层权重参数；或者，数据处理设备可以同时获取嵌入层权重参数和编码层权重参数。
[0078]
作为一个可选的实施例，上述根据目标小语种的无标注语料和基于多语言的预训练语言模型，确定该预训练语言模型的嵌入层权重参数，包括：冻结该预训练语言模型的原始编码层权重参数；将无标注语料输入至预训练语言模型进行训练，获得嵌入层权重参数。
[0079]
在本技术实施例中，数据处理设备在获取嵌入层权重参数时，可以先冻结预训练语言模型的编码层权重参数，即保持该层参数不变，再将目标小语种的无标注语料输入至多语言的预训练语言模型进行训练，从而获得训练后的多语言的预训练语言模型的嵌入层权重参数。该嵌入层参数可以理解为是与目标小语种相关的词嵌入向量信息。
[0080]
作为一个可选的实施例，上述根据至少一个大语种的已标注语料和预训练语言模型，确定该预训练语言模型的编码层权重参数，包括：冻结该预训练语言模型的原始嵌入层权重参数；将已标注语料输入至该预训练语言模型进行训练，获得编码层权重参数。
[0081]
在本技术实施例中，数据处理设备在获取编码层权重参数时，可以先冻结多语言的预训练语言模型的嵌入层权重参数，即保持该层参数不变，再将技术人员收集的一个或多个大语种的已标注语料输入至预训练语言模型进行训练，该过程也可以称为微调，从而获得微调后的预训练语言模型的编码层权重参数。该编码层参数可以理解为是与大语种语料的口语理解任务相关的信息。
[0082]
作为一个可选的实施例，在获取目标小语种的口语理解模型(即s203)之后，本技术实施例的方法200还可以包括：
[0083]
s204，根据上述目标小语种的有标注语料，对上述目标小语种的口语理解模型进行微调，获得新的目标小语种的口语理解模型。
[0084]
本技术实施例中的目标小语种的标注语料可以通过人工标注的方式获得。采用有标注的目标小语种对目标小语种的口语理解模型进行微调，能够在获得基于特定小语种的口语理解模型的同时，进一步提升该目标小语种的口语理解模型的准确性，从而提升该目标小语种的口语理解模型的性能。
[0085]
应理解，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0086]
上文中结合图1至图2，详细描述了根据本技术实施例的口语理解模型的训练方法，下面将结合图3至图4，详细描述根据本技术实施例的口语理解模型的训练装置。
[0087]
图3示出了本技术实施例提供的口语理解模型的训练装置300，该装置300包括：确定模块310和初始化模块320。
[0088]
其中，确定模块310，用于根据目标小语种的无标注语料和多语言的预训练语言模型，确定该预训练语言模型的嵌入层权重参数，以及用于根据至少一个大语种的已标注语料和多语言预训练语言模型，确定该预训练语言模型的编码层权重参数。初始化模块320，用于将确定模块310获取的嵌入层权重参数对该预训练语言模型的嵌入层进行初始化，将确定模块320获取的编码层权重参数对该预训练语言模型的编码层进行初始化，获得目标小语种的口语理解模型。
[0089]
可选地，该确定模块310，用于冻结预训练语言模型的原始嵌入层权重参数，将无标注语料输入至该预训练语言模型进行训练，获得嵌入层权重参数。
[0090]
可选地，该确定模块310，用于冻结预训练语言模型的原始编码层权重参数，将已标注语料输入至该预训练语言模型进行训练，获得编码层权重参数。
[0091]
可选的，上述装置300还包括：调整模块330，用于根据目标小语种的有标注语料，对该目标小语种的口语理解模型进行微调，获得该目标小语种的新的口语理解模型。
[0092]
应理解，这里的装置300以功能模块的形式体现。这里的术语“模块”可以指应用特有集成电路(application specific integrated circuit，asic)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。在一个可选例子中，本领域技术人员可以理解，装置300可以具体为上述实施例中的数据处理设备，或者，上述实施例中
数据处理设备的功能可以集成在装置300中，装置300可以用于执行上述方法实施例中与数据处理设备对应的各个流程和/或步骤，为避免重复，在此不再赘述。
[0093]
上述装置300具有实现上述方法中数据处理设备执行的相应步骤的功能；上述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。例如，上述确定模块310可以为通信接口，例如收发接口。
[0094]
在本技术的实施例，图3中的装置300也可以是芯片或者芯片系统，例如：片上系统(system on chip，soc)。对应的，确定模块310可以是该芯片的收发电路，在此不做限定。
[0095]
图4示出了本技术实施例提供的另一口语理解模型的训练装置400。该装置400包括处理器410、收发器420和存储器430。其中，处理器410、收发器420和存储器430通过内部连接通路互相通信，该存储器430用于存储指令，该处理器410用于执行该存储器430存储的指令，以控制该收发器420发送信号和/或接收信号。
[0096]
应理解，装置400可以具体为上述实施例中的数据处理设备，或者，上述实施例中数据处理设备的功能可以集成在装置400中，装置400可以用于执行上述方法实施例中与数据处理设备对应的各个步骤和/或流程。可选地，该存储器440可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据。存储器的一部分还可以包括非易失性随机存取存储器。例如，存储器还可以存储设备类型的信息。该处理器420可以用于执行存储器中存储的指令，并且该处理器执行该指令时，该处理器可以执行上述方法实施例中与数据处理设备对应的各个步骤和/或流程。
[0097]
应理解，在本技术实施例中，该处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0098]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器执行存储器中的指令，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0099]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
[0100]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0101]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件
可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0102]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0103]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
[0104]
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0105]
以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。