文本数据生成方法、问答模型的训练方法与流程

本说明书实施例涉及计算机，特别涉及文本数据生成方法、问答模型的训练方法。

背景技术：

1、大语言模型（large language model，llm）是近年来人工智能领域的重要突破，其在多个领域得到了广泛的应用。大语言模型在内容生成、问答、知识推理等场景获得了不错的效果。

2、大语言模型在处理长文本时存在一定的挑战。原因在于目前用于大语言模型训练的长文本样本较少、较高的计算需求等等。为了丰富大语言模型的长文本样本，目前普遍的做法为指令微调构建长文本。但是目前构建长文本样本的方式中，通常需要依赖大语言模型的能力，或人工参与，这样的处理方式导致生成一定数量的长文本样本是会有较高的成本。同时受限于大语言模型的生成能力，生成的长文本样本的多样性也不够丰富。

技术实现思路

1、有鉴于此，本说明书实施例提供了文本数据生成方法、问答模型的训练方法。本说明书一个或者多个实施例同时涉及一种文本数据生成装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序产品，以解决现有技术中存在的技术缺陷。

2、根据本说明书实施例的第一方面，提供了一种文本数据生成方法，包括：

3、接收针对初始样本文本集合的文本数据生成指令，其中，所述初始样本文本集合中包括多个初始样本文本；

4、响应于所述文本数据生成指令确定至少一个文本扩充类型，并获取所述各文本扩充类型对应的文本扩充模版，其中，文本扩充类型包括多文档检索类型、少样本学习类型、摘要类型；

5、从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，生成所述目标文本扩充模版对应的目标样本文本，其中，所述目标文本扩充模版为各文本扩充模版中的任一个，目标样本文本用于训练问答模型。

6、根据本说明书实施例的第二方面，提供了一种文本数据生成方法，应用于云侧设备，包括：

7、接收端侧设备发送的文本数据生成指令；

8、获取所述文本数据生成指令对应的初始样本文本集合，其中，所述初始样本文本集合中包括多个初始样本文本；

9、响应于所述文本数据生成指令确定至少一个文本扩充类型，并获取所述各文本扩充类型对应的文本扩充模版，其中，文本扩充类型包括多文档检索类型、少样本学习类型、摘要类型；

10、从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，生成所述目标文本扩充模版对应的目标样本文本，其中，所述目标文本扩充模版为各文本扩充模版中的任一个，目标样本文本用于训练问答模型；

11、将各目标样本文本发送至所述端侧设备。

12、根据本说明书实施例的第三方面，提供了一种问答模型的训练方法，应用于云侧设备，包括：

13、接收端侧设备发送的文本数据生成指令；

14、获取所述文本数据生成指令对应的初始样本文本集合，其中，所述初始样本文本集合中包括多个初始样本文本；

15、响应于所述文本数据生成指令确定至少一个文本扩充类型，并获取所述各文本扩充类型对应的文本扩充模版，其中，文本扩充类型包括多文档检索类型、少样本学习类型、摘要类型；

16、从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，生成所述目标文本扩充模版对应的目标样本文本，其中，所述目标文本扩充模版为各文本扩充模版中的任一个；

17、基于所述目标样本文本训练问答模型，获得所述问答模型的模型参数，并将所述模型参数发送至所述端侧设备。

18、根据本说明书实施例的第四方面，提供了一种文本数据生成系统，包括客户端和服务端；其中，

19、所述客户端，用于向所述服务端发送针对初始样本文本集合的文本数据生成指令，其中，所述初始样本文本集合中包括多个初始样本文本；

20、所述服务端，用于响应于所述文本数据生成指令确定至少一个文本扩充类型，并获取各文本扩充类型对应的文本扩充模版，其中，文本扩充类型包括多文档检索类型、少样本学习类型、摘要类型；从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，生成所述目标文本扩充模版对应的目标样本文本，其中，所述目标文本扩充模版为各文本扩充模版中的任一个，目标样本文本用于训练问答模型；向客户端发送目标样本文本。

21、根据本说明书实施例的第五方面，提供了一种计算设备，包括：

22、存储器和处理器；

23、所述存储器用于存储计算机程序/指令，所述处理器用于执行所述计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

24、根据本说明书实施例的第六方面，提供了一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

25、根据本说明书实施例的第七方面，提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述方法的步骤。

26、本说明书实施例提供的方法，以初始样本文本集合为基础，以生成训练问答模型的多文档检索能力、少样本学习能力、摘要能力的长文本指令微调数据为目的，生成目标样本文本。在生成过程中，基于不同的的能力确定不同的文本扩充类型，并获取不同文本扩充类型对应的文本扩充模版，随机将初始样本文本集合中的初始样本文本添加到文本扩充模版中，生成对应的目标样本文本。利用初始样本文本集合生成不同类型的长文本指令微调数据，即丰富了长文本指令微调数据的多样性，又无需使用大语言模型或人工的参与，节省了数据获取成本，拼接初始样本文本的方式还使得最终生成的目标样本文本的长度可控。

1.一种文本数据生成方法，包括：

2.如权利要求1所述的方法，获取所述各文本扩充类型对应的文本扩充模版，包括：

3.如权利要求2所述的方法，还包括：

4.如权利要求3所述的方法，在所述目标文本扩充类型为多文档检索类型的情况下，所述扩充语义信息用于表示增强多文档检索能力；

5.如权利要求3所述的方法，在所述目标文本扩充类型为少样本学习类型的情况下，所述扩充语义信息用于表示增强文本学习能力；

6.如权利要求3所述的方法，在所述目标文本扩充类型为摘要类型的情况下，所述扩充语义信息用于表示增强摘要能力；

7.如权利要求1所述的方法，从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，包括：

8.如权利要求7所述的方法，将参考初始样本文本添加至目标文本扩充模版，包括：

9.如权利要求8所述的方法，所述目标文本扩充模版包括样本文本字段和样本答案字段；

10.如权利要求1所述的方法，从所述初始样本文本集合中选取初始样本文本，添加至目标文本扩充模版，包括：

11.如权利要求1-10任意一项所述的方法，所述文本扩充类型还包括格式化类型、排序类型、遮蔽类型。

12.一种文本数据生成方法，应用于云侧设备，包括：

13.一种问答模型的训练方法，应用于云侧设备，包括：

14.一种文本数据生成系统，包括客户端和服务端；其中，

15.一种计算设备，包括：

16.一种计算机可读存储介质，其存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至13任意一项所述方法的步骤。

17.一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现权利要求1至13任意一项所述方法的步骤。