一种神经语言模型的训练方法、系统及存储介质与流程

1.本技术涉及数据采集及模型训练技术领域，更为具体来说，本技术涉及一种神经语言模型的训练方法、系统及存储介质。


背景技术：

2.神经语言模量型用于对自然语言的识别，但随着自然语言处理技术应用的不断扩展，将面临这样一个问题：随着自然语言处理技术一个一个应用项目的进行，积累的文本数据集会越来越多。这个问题会显著降低文本数据集的利用率，甚至导致数据丢失的发生。
3.因此，在数据资源已经成为人工智能产业“石油”的今天，管理好、利用好文本数据集是非常有必要的。


技术实现要素：

4.基于上述技术问题，本发明旨在构建一种模型训练方法及系统，让旧数据集参与到新的训练任务中，以充分利用已积累的数据集，且挖掘旧数据集的价值。
5.本发明第一方面提供了一种神经语言模型的训练方法，所述方法包括：
6.获取待训练任务数据集；
7.对所述待训练任务数据集对应的预训练模型进行参数配置；
8.提取高价值辅助数据集；
9.融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；
10.保存训练好的模型，以供下游任务应用。
11.在本发明的一些实施例中，所述对所述待训练任务数据集对应的预训练模型进行参数配置，包括：
12.确定出所述待训练任务数据集对应的预训练模型所属的神经语言模型；
13.根据所属的神经语言模型的属性进行参数配置，其中，所述参数配置至少包括对神经语言模型中编码器的初始化参数配置。
14.在本发明的一些实施例中，所述提取高价值辅助数据集，包括：
15.查看预先建立的数据库所保存的数据集；
16.从所述保存的数据集中确定出与待训练任务数据集相关的辅助样本；
17.基于相关性权重从所述辅助样本中提取高价值辅助数据集。
18.在本发明的一些实施例中，所述融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练，包括：
19.融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集作为训练样本；
20.通过配置后预训练模型所属的神经语言模型对所述训练样本进行训练；
21.在训练过程中监督所述神经语言模型；
22.当训练达到预设次数时，停止训练。
23.在本发明的一些实施例中，所述在训练过程中监督所述神经语言模型，包括：
24.监督所述神经语言模型的编码器输出层输出的标签；
25.确定输出的标签是否与所述待训练任务数据集对应的任务匹配；
26.若不匹配，基于损失函数更新所述编码器。
27.在本发明的一些实施例中，所述保存训练好的模型，以供下游任务应用，包括：
28.按照预设格式保存训练好的模型，并将保存好的模型作为目标神经语言模型；
29.确定下游任务中对应的目标文本；
30.将所述目标文本输入所述目标神经语言模型中，得到与目标文本相对应的分类结果。
31.在本发明的一些实施例中，所述预设格式至少包括模型的来源、模型的名称和保存日期。
32.本发明第二方面提供了一种神经语言模型的训练系统，所述系统包括：
33.获取模块，用于获取待训练任务数据集；
34.配置模块，用于对所述待训练任务数据集对应的预训练模型进行参数配置；
35.提取模块，用于提取高价值辅助数据集；
36.训练模块，用于融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；
37.保存模块，用于保存训练好的模型，以供下游任务应用。
38.本发明第三方面提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现以下步骤：
39.获取待训练任务数据集；
40.对所述待训练任务数据集对应的预训练模型进行参数配置；
41.提取高价值辅助数据集；
42.融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；
43.保存训练好的模型，以供下游任务应用。
44.本发明第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下步骤：
45.获取待训练任务数据集；
46.对所述待训练任务数据集对应的预训练模型进行参数配置；
47.提取高价值辅助数据集；
48.融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；
49.保存训练好的模型，以供下游任务应用。
50.本技术实施例中提供的技术方案，至少具有如下技术效果或优点：
51.本技术实施例中所提供的神经语言模型的训练方法，先获取待训练任务数据集，再对所述待训练任务数据集对应的预训练模型进行参数配置，接下来提取高价值辅助数据
集，再融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练，保存训练好的模型，以供下游任务应用，能够使用已有数据集来提升当前任务模型，从而提升了已有数据集的利用价值，进而大幅度提升了数据采集和数据挖掘的效率；
52.本技术实施例中所提供的神经语言模型的训练系统可以减少模型训练对人工的依赖，操作简便，且可以处理和利用数百甚至上千个数据集，能够使用已有数据集来提升当前任务模型，从而提升了已有数据集的利用价值，进而大幅度提升了数据采集和数据挖掘的效率。
53.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
54.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
55.图1示出了本技术一示例性实施例的神经语言模型的训练方法步骤示意图；
56.图2示出了本技术一示例性实施例的训练监督过程示意图；
57.图3示出了本技术一示例性实施例的神经语言模型的训练系统结构示意图；
58.图4示出了本技术一示例性实施例所提供的一种计算机设备的结构示意图；
59.图5示出了本技术一示例性实施例所提供的一种存储介质的示意图。
具体实施方式
60.以下，将参照附图来描述本技术的实施例。但是应该理解的是，这些描述只是示例性的，而并非要限制本技术的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本技术的概念。对于本领域技术人员来说显而易见的是，本技术可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本技术发生混淆，对于本领域公知的一些技术特征未进行描述。
61.应予以注意的是，这里所使用的术语仅是为了描述具体实施例，而非意图限制根据本技术的示例性实施例。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式。此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在所述特征、整体、步骤、操作、元件和/或组件，但不排除存在或附加一个或多个其他特征、整体、步骤、操作、元件、组件和/或它们的组合。
62.现在，将参照附图更详细地描述根据本技术的示例性实施例。然而，这些示例性实施例可以多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施例。附图并非是按比例绘制的，其中为了清楚表达的目的，可能放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
63.下面结合说明书附图1-5给出几个实施例来描述根据本技术的示例性实施方式。
需要注意的是，下述应用场景仅是为了便于理解本技术的精神和原理而示出，本技术的实施方式在此方面不受任何限制。相反，本技术的实施方式可以应用于适用的任何场景。
64.就目前而言，神经语言模型(neural language model，nlm)是一类用来克服维数灾难的语言模型，它使用词的分布式表示对自然语言序列建模。不同于基于类的n-gram模型，神经语言模型在能够识别两个相似的词，并且不丧失将每个词编码为彼此不同的能力，神经语言模型共享一个词(及其上下文)和其他类似词。但随着自然语言处理技术一个一个应用项目的进行，积累的文本数据集会越来越多。这个问题会显著降低文本数据集的利用率，甚至导致数据丢失的发生。因此，在数据资源已经成为人工智能产业“石油”的今天，管理好、利用好文本数据集是非常有必要的。
65.然而，学术界提出的包括多任务学习方法、辅助学习方法、领域自适应方法等在内的方法，几乎都是基于个位数的数据集构建的，实用性不强。
66.因此，在本技术一些示例性实施例中，提供了一种神经语言模型的训练方法，如图1所示，所述方法包括：s1、获取待训练任务数据集；s2、对所述待训练任务数据集对应的预训练模型进行参数配置；s3、提取高价值辅助数据集；s4、融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；s5、保存训练好的模型，以供下游任务应用。下面对每个步骤做详细的说明。
67.第一步，获取待训练任务数据集。
68.在具体实施中，待训练任务数据集可以是终端用户发送的，例如，web客户端用户如果想执行一个预训练模型的任务，相应地，其传来预训练模型所需要的数据集，该数据集可以看做是当前任务数据集，也是上述待训练任务数据集。当然可以理解的是，这里的任务可以是初次训练，也可以是下游应用过的模型重新用一组数据集进行训练。
69.第二步，对所述待训练任务数据集对应的预训练模型进行参数配置。
70.在一种具体实现方式中，对所述待训练任务数据集对应的预训练模型进行参数配置，包括：确定出所述待训练任务数据集对应的预训练模型所属的神经语言模型；根据所属的神经语言模型的属性进行参数配置，其中，所述参数配置至少包括对神经语言模型中编码器的初始化参数配置。这里需要说明的是，如果用户没指定预训练模型的类型，可以采用随机初始化的方法赋予编码器的初始化参数配置。除此之外，主要的配置参数还包括训练时遍历训练样本的次数、编码器学习率、相关性权重学习率等等，如表1所示。
71.表1主要配置参数表
[0072][0073]
第三步，提取高价值辅助数据集。
[0074]
在一种具体实现方式中，所述提取高价值辅助数据集，包括：查看预先建立的数据库所保存的数据集；从所述保存的数据集中确定出与待训练任务数据集相关的辅助样本；基于相关性权重从所述辅助样本中提取高价值辅助数据集。具体地，用户可以基于特定领域知识判定某个数据集与目标任务相关或不相关，然后对高价值数据集列表进行调整。当然还可以根据表1中的rate_corpra，即库存数据集中参与训练的比例，再结合相关性权重，得到高价值辅助数据集，其中如果比例是浮点数，得到的数据量需要进行四舍五入。另外，对于已提取的高价值辅助数据集是根据相关性权重进行排序的，可以人工选用或用系统自动选用。
[0075]
第四步，融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练。
[0076]
在一种具体实现方式中，所述融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练，包括：融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集作为训练样本；通过配置后预训练模型所属的神经语言模型对所述训练样本进行训练；在训练过程中监督所述神经语言模型；当训练达到预设次数时，停止训练。
[0077]
在一种具体实现方式中，所述在训练过程中监督所述神经语言模型，包括：监督所述神经语言模型的编码器输出层输出的标签；确定输出的标签是否与所述待训练任务数据集对应的任务匹配；若不匹配，基于损失函数更新所述编码器。在监督的过程中，如图2所示，观察net0至netk所显示的分类结果，即对数据集中文本的识别结果即标签。参考表2的标签示意表，根据数据集中的文本给出相应的标签。具体而言，在数据文件中的每一行，是一个样本数据的json串，例如，文本分类任务测试数据中，一个样本的信息为“你好”，对应
的json串中会分别对“你”和“好”进行标记(tokens)，给出相应的标签(label)为“打招呼”，也就是说，编码器会给相应的文本以不同的表示，包括但不限于对词性标注和意图分类。
[0078]
表2标签示意表
[0079][0080][0081]
作为可变换的实施方式，所融合的第一数据集还可以分别根据高价值辅助数据集和待训练任务数据集进行训练。可以将待训练任务数据集对应的任务作为主任务，将高价值辅助数据集作为主任务拆分后对应的一个一个辅助任务所用到的辅助数据集。这样，如图2所示，net0至netk还可以看作是一个一个的辅助任务，每一个辅助任务对应一个文本的表示结果，在训练过程中根据这些结果微调用于参与训练的数据集数量，进而从部分一点点调至全量训练学习。
[0082]
第五步，保存训练好的模型，以供下游任务应用。
[0083]
在一种具体实现方式中，所述保存训练好的模型，以供下游任务应用，包括：按照预设格式保存训练好的模型，并将保存好的模型作为目标神经语言模型；确定下游任务中对应的目标文本；将所述目标文本输入所述目标神经语言模型中，得到与目标文本相对应
的分类结果。其中，所述预设格式至少包括模型的来源、模型的名称和保存日期等，具体参考表3。
[0084]
表3模型保存相信信息表
[0085][0086]
本技术实施例中所提供的神经语言模型的训练方法，先获取待训练任务数据集，再对所述待训练任务数据集对应的预训练模型进行参数配置，接下来提取高价值辅助数据集，再融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练，保存训练好的模型，以供下游任务应用，能够使用已有数据集来提升当前任务模型，从而提升了已有数据集的利用价值，进而大幅度提升了数据采集和数据挖掘的效率。
[0087]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
[0088]
在本技术一些示例性实施例中，还提供了一种神经语言模型的训练系统，如图3所示，所述系统包括：获取模块，用于获取待训练任务数据集；配置模块，用于对所述待训练任务数据集对应的预训练模型进行参数配置；提取模块，用于提取高价值辅助数据集；训练模块，用于融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；保存模块，用于保存训练好的模型，以供下游任务应用。
[0089]
优选地，再如图3所示，所述神经语言模型的训练系统还包括分布式文件系统，该文件系统用来存储训练好的模型数据，因为预训练模型数据量大，所以本系统采用了分布式文件系统加以存储，分担存储压力，分布式文件系统还用于保存下游任务模型。进一步优选地，所述神经语言模型的训练系统还包括分布式计算框架、深度学习框架和结构化数据库，分布式计算框架承担了数据与处理、统计等环节的计算任务，深度学习框架用于支持训练模块进行训练时对相关数据的加载等，结构化数据库用来存储数据集的描述信息并支持用户对预训练模型的检索和分析，以支持提取模块提取高价值辅助数据集。作为可变换的实现方式，本系统训练模块还包括微调模块，用于基于当前任务数据和所有库存数据集对模型参数进行优化，而微调模块在实现其功能时包括数据集加载与预处理，数据集加载与预处理完成后，训练模块再进行模型训练。当然可以理解的是，所有数据集实施预处理，如将文本处理成token序列、类标签转换等都有赖于本系统中分布布式计算框架的支撑，在此
不做赘述。
[0090]
在一种具体的实施方式中，该文件系统还包括前端界面和api，在获取模块获取待训练任务数据集时，可通过用户在前端界面的输入，例如用户通过所述神经语言模型的训练系统的前端界面输入了，想执行一个预训练模型的任务，并传来预训练模型所需要的数据集，该数据集可以看做是当前任务数据集，也是上述待训练任务数据集。当然可以理解的是，这里的任务可以是初次训练，也可以是下游应用过的模型重新用一组数据集进行训练。
[0091]
所述神经语言模型的训练系统可以搜集大量的模型数据，可以通过用户预先录入，例如，可根据表4所示的模型数据字段描述表进行录入。如表4所示，int表示整型，string表示字符串型，id为模型编号，等等，其它字段在简介中也相应给出，当然可选地，还可以加入模型擅长的任务类型,比如“文本生成
””
文本分类”“对话”等等的详细描述字段的信息。
[0092]
表4模型数据字段描述表
[0093][0094]
需要说明的是，对于下游应用可以参考如下网络地址https://huggingface.co/bert-base-chinese/tree/main，下游用户会使用通行的方式加载和使用我们实施例中训练好的、保存好的模型。目前产业界还没有提出一种操作简便且可以处理和利用数百甚至上千个数据集的模型训练系统，本技术所提供的神经语言模型的训练系统可以减少模型训练对人工的依赖，操作简便，且可以处理和利用数百甚至上千个数据集，使旧数据集参与到最新的训练任务中，进而大幅度提升了数据采集和数据挖掘的效率。
[0095]
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
[0096]
还需要强调的是，本技术实施例中提供的系统可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工
智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
[0097]
下面请参考图4，其示出了本技术的一些实施方式所提供的一种计算机设备的示意图。如图4所示，所述计算机设备2包括：处理器200，存储器201，总线202和通信接口203，所述处理器200、通信接口203和存储器201通过总线202连接；所述存储器201中存储有可在所述处理器200上运行的计算机程序，所述处理器200运行所述计算机程序时执行本技术前述任一实施方式所提供的神经语言模型的训练方法。
[0098]
其中，存储器201可能包含高速随机存取存储器(ram：random access memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口203(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。
[0099]
总线202可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器201用于存储程序，所述处理器200在接收到执行指令后，执行所述程序，前述本技术实施例任一实施方式揭示的所述神经语言模型的训练方法可以应用于处理器200中，或者由处理器200实现。
[0100]
处理器200可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器200中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器200可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器201，处理器200读取存储器201中的信息，结合其硬件完成上述方法的步骤。
[0101]
本技术实施方式还提供一种与前述实施方式所提供的神经语言模型的训练方法对应的计算机可读存储介质，请参考图5，图5示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的神经语言模型的训练方法。
[0102]
另外，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。
[0103]
本技术的上述实施例提供的计算机可读存储介质与本技术实施例提供的空分复用光网络中量子密钥分发信道分配方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。
[0104]
本技术实施方式还提供一种计算机程序产品，包括计算机程序，该计算机程序被
处理器执行时实现前述任意实施方式所提供的神经语言模型的训练方法的步骤，包括：获取待训练任务数据集；对所述待训练任务数据集对应的预训练模型进行参数配置；提取高价值辅助数据集；融合所述待训练任务数据集和所述高价值辅助数据集得到第一数据集，并通过配置后的预训练模型对所述第一数据集进行训练；保存训练好的模型，以供下游任务应用。
[0105]
需要说明的是：在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备有固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本技术也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本技术的内容，并且上面对特定语言所做的描述是为了披露本技术的最佳实施方式。在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本技术的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0106]
类似地，应当理解，为了精简本技术并帮助理解各个发明方面中的一个或多个，在上面对本技术的示例性实施例的描述中，本技术的各个特征有时被一起分组到单个实施例、图或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本技术要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本技术的单独实施例。
[0107]
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0108]
本技术的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本技术实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本技术还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序。实现本技术的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0109]
以上所述，仅为本技术较佳的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。