模型训练方法、数据处理方法、系统、电子设备、存储介质和计算机程序产品与流程

摘要: 本申请涉及大模型技术、数据处理,具体而言,涉及一种模型训练方法、数据处理方法、系统、电子设备、存储介质和计算机程序产品。背景技术:1、特定领域的问答任务处理通常...
模型训练方法、数据处理方法、系统、电子设备、存储介质和计算机程序产品与流程

本申请涉及大模型技术、数据处理,具体而言,涉及一种模型训练方法、数据处理方法、系统、电子设备、存储介质和计算机程序产品。

背景技术:

1、特定领域的问答任务处理通常需要依赖问答处理模型(特别是大模型)对该特定领域的问题理解、知识记忆、问题分析和逻辑推理等方面的性能。然而,在模型训练的过程中,特定领域训练样本的推理思维链通常需要人工标注,成本高、效率低;而部分现有技术尝试利用提示词指令驱动现有语言模型(比如第三方大模型)进行推理思维链标注,但模型标注结果的可信度较低。

2、针对上述的问题,目前尚未提出有效的解决方案。

技术实现思路

1、本申请实施例提供了一种模型训练方法、数据处理方法、系统、电子设备、存储介质和计算机程序产品,以至少解决相关技术中训练数据标注成本高、难度大导致目标知识领域的目标问答模型训练难度大、效果差的技术问题。

2、根据本申请实施例的一个方面,提供了一种模型训练方法,包括:获取目标知识领域的问答数据;基于问答数据进行推理路径决策,生成推理路径数据,其中,推理路径数据通过决策树结构表征推理步骤信息;对推理路径数据进行路径采样,构建训练数据;采用训练数据,对初始问答模型进行模型训练,得到目标问答模型,其中,目标问答模型用于对目标知识领域的目标问题进行步骤级推理生成目标答案。

3、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:获取目标知识领域的目标问题;采用目标问答模型对目标问题进行步骤级推理,得到目标答案;其中,目标问答模型按照上述任意一项的模型训练方法生成。

4、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:获取法律知识领域的法律问题;采用目标问答模型对法律问题进行步骤级推理,得到目标答案;其中,目标问答模型按照上述任意一项的模型训练方法生成。

5、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:通过第一应用程序编程接口获取数据处理请求,其中,数据处理请求中携带的请求数据包括:目标问题;通过第二应用程序编程接口返回数据处理响应,其中,数据处理响应中携带的响应数据包括:目标答案,目标答案采用目标问答模型对目标问题进行步骤级推理后得到,目标问答模型按照上述任意一项的模型训练方法生成。

6、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:获取当前输入的数据处理对话请求,其中,数据处理对话请求中携带的请求数据包括:目标问题;响应于数据处理对话请求,返回数据处理对话回复,其中,数据处理对话回复中携带的信息包括:目标答案,目标答案采用目标问答模型对目标问题进行步骤级推理后得到,目标问答模型按照上述任意一项的模型训练方法生成;在图形用户界面内展示目标答案。

7、根据本申请实施例的另一方面,提供了一种数据处理方法,包括:响应作用于操作界面上的输入指令,在操作界面上展示目标问题;响应作用于操作界面上的处理指令,在操作界面上展示目标答案;其中,目标答案采用目标问答模型对目标问题进行步骤级推理后得到,目标问答模型按照上述任意一项的模型训练方法生成。

8、根据本申请实施例的另一方面,提供了一种数据处理系统,包括:客户端,用于发送目标问题;服务器,与客户端连接,用于采用目标问答模型对目标问题进行步骤级推理,得到目标答案;客户端还用于输出目标答案;其中,目标问答模型按照上述任意一项的模型训练方法生成。

9、根据本申请实施例的另一方面,提供了一种电子设备,包括:存储器,存储有可执行程序;处理器,用于运行程序,其中,程序运行时执行上述任意一项的模型训练方法或上述任意一项的数据处理方法。

10、根据本申请实施例的另一方面,提供了一种计算机可读存储介质,计算机可读存储介质包括存储的可执行程序,其中,在可执行程序运行时控制计算机可读存储介质所在设备执行上述任意一项的模型训练方法或上述任意一项的数据处理方法。

11、根据本申请实施例的另一方面,提供了一种计算机程序产品,包括计算机程序,计算机程序在被处理器执行时实现上述任意一项的模型训练方法或上述任意一项的数据处理方法。

12、在本申请实施例中,获取目标知识领域的问答数据;基于问答数据进行推理路径决策,生成推理路径数据,其中,推理路径数据通过决策树结构表征推理步骤信息;对推理路径数据进行路径采样,构建训练数据;采用训练数据,对初始问答模型进行模型训练,得到目标问答模型,其中,目标问答模型用于对目标知识领域的目标问题进行步骤级推理生成目标答案。

13、容易注意到的是,本申请实施例针对目标知识领域中的问答数据进行步骤级推理,并构建采用决策树结构来组织的推理路径数据,基于此构建训练数据,使得训练得到的目标问答模型具备对该目标知识领域中目标问题的步骤级推理能力,上述方案能够为特定知识领域的问题模型提供较高质量的训练数据,帮助问题模型构建推理思维链,与相关技术中人工标注推理思维链的方案相比,本申请实施例成本低、训练效率高,与相关技术中驱动现有语言模型进行推理思维链标注的方案相比,本申请实施例能够保证推理路径中的推理步骤的合理性,训练数据的标注可信度较高,有助于训练得到针对目标知识领域具备更高问答处理性能的目标问答模型。由上可知,本申请实施例达到了通过步骤级推理和路径采样构建的训练样本训练得到目标问答模型的目的,从而实现了降低目标知识领域中训练数据的步骤级推理路径的标注难度和标注成本、提升目标问答模型的训练效率和模型性能的技术效果,进而解决了相关技术中训练数据标注成本高、难度大导致目标知识领域的目标问答模型训练难度大、效果差的技术问题。

14、容易注意到的是,上面的通用描述和后面的详细描述仅仅是为了对本申请进行举例和解释,并不构成对本申请的限定。

1.一种模型训练方法,其特征在于,包括:

2.根据权利要求1所述的模型训练方法,其特征在于,基于所述问答数据进行推理路径决策,生成所述推理路径数据包括:

3.根据权利要求2所述的模型训练方法,其特征在于,所述问答数据包括问题描述、选项列表和目标答案,利用所述初始问答模型对所述问答数据进行推理路径决策,生成所述推理路径数据包括:

4.根据权利要求3所述的模型训练方法,其特征在于,所述选项列表包括多个候选答案,根据所述问题描述和所述选项列表,生成所述第一节点数据包括:

5.根据权利要求3所述的模型训练方法,其特征在于,利用所述初始问答模型、所述目标答案和所述第一节点数据进行迭代推理步骤决策,生成所述第二节点数据包括:

6.根据权利要求5所述的模型训练方法,其特征在于,所述初始问答模型包括初始决策网络和初始值头,利用所述初始问答模型、所述目标答案、所述第一节点数据和所述第二节点数据进行多个步骤的迭代推理决策,扩展所述第二节点数据包括:

7.根据权利要求6所述的模型训练方法,其特征在于,利用所述初始决策网络和所述前序状态表示进行推理决策计算,得到所述目标步骤标签包括:

8.根据权利要求6所述的模型训练方法,其特征在于,利用所述初始值头、所述目标答案、所述前序状态表示、所述目标步骤标签进行推理决策评估,得到所述目标值标签包括:

9.根据权利要求8所述的模型训练方法,其特征在于,所述模型训练方法还包括以下至少之一:

10.根据权利要求1所述的模型训练方法,其特征在于,所述训练数据包括偏好样本对,对所述推理路径数据进行路径采样,构建所述训练数据包括:

11.根据权利要求10所述的模型训练方法,其特征在于,所述偏好样本对包括正例样本和负例样本,根据偏好采样规则,对所述多个候选路径样本进行采样,得到所述偏好样本对包括:

12.根据权利要求10所述的模型训练方法,其特征在于,所述偏好样本对包括多种类型的样本标签,采用所述训练数据,对所述初始问答模型进行模型训练,得到所述目标问答模型包括:

13.一种数据处理方法,其特征在于,包括:

14.一种数据处理方法,其特征在于,包括:

15.一种数据处理方法,其特征在于,包括:

16.一种数据处理方法,其特征在于,包括:

17.一种数据处理方法,其特征在于,包括:

18.一种数据处理系统,其特征在于,包括:

19.一种电子设备,其特征在于,包括:

20.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质包括存储的可执行程序,其中,在所述可执行程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至12中任意一项所述的模型训练方法或权利要求13至17中任意一项所述的数据处理方法。

21.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现权利要求1至12中任意一项所述的模型训练方法或权利要求13至17中任意一项所述的数据处理方法。