一种基于检索增强调整的法律大模型训练方法及系统与流程

摘要: 本发明涉自然语言处理与人工智能,特别涉及一种基于检索增强调整的法律大模型训练方法及系统。背景技术:1、随着大语言模型技术的快速发展,法律领域的智能化应用日益广泛...
一种基于检索增强调整的法律大模型训练方法及系统与流程

本发明涉自然语言处理与人工智能,特别涉及一种基于检索增强调整的法律大模型训练方法及系统。

背景技术:

1、随着大语言模型技术的快速发展,法律领域的智能化应用日益广泛。在法律客观题问答场景中,大语言模型需要准确回答涉及法律条文的问题,并给出可溯源的法条引用依据。

2、然而,现有技术在该场景下存在以下突出问题:

3、(1)训练与推理阶段的输入分布不一致。常规微调方法仅使用问题与答案二元组格式训练数据,而推理阶段模型实际接收的输入为:检索到的法条与问题。由于模型在训练阶段从未见过检索上下文,导致推理时无法充分利用检索结果,法条引用准确率低,幻觉现象严重。这种训练-推理分布不一致是现有技术的核心缺陷。

4、(2)现有文本切分方式难以充分保持法条的完整性。部分现有rag系统采用固定令牌长度对法律文本进行切分,切分边界与法律条文自身的层级结构缺乏对应关系。法律文本通常具有编、章、节、条、款、项等层级结构,采用固定长度进行切分时,可能将同一法条切分为多个文本片段,或者将不同法条的内容划分至同一文本片段,使得检索得到的文本片段难以完整保留法条编号、章节归属等信息。

5、(3)检索范围缺少法律分类信息的约束。部分现有rag系统在进行法条检索时未根据法律问题所属的法律部门限定检索范围,而直接在法律知识库中进行向量检索,使得候选检索结果中可能包含与待处理问题所属法律部门相关性较低的法条,进而影响后续法条重排和答案生成。

6、(4)法条引用缺少相应约束。部分现有微调方法在训练过程中未对模型生成答案中的法条引用方式进行约束,使得模型生成的法条引用在准确性和规范性方面存在不足,并可能生成错误的法条名称或法条编号,影响法律问答结果的可追溯性。

7、(5)训练数据来源较为单一。部分现有法律问答模型主要采用真实法律客观题进行训练,训练数据的题目类型和知识点分布受到已有题库的限制,使模型容易对训练数据产生过拟合,进而影响模型对未参与训练的法律问题的泛化能力。

8、因此,如何提供一种基于检索增强调整的法律大模型训练方法及系统,是目前亟待解决的问题。

技术实现思路

1、本发明实施例提供了一种基于检索增强调整的法律大模型训练方法及系统,以解决现有技术中的上述技术的问题。

2、根据本发明实施例的第一方面,提供了一种基于检索增强调整的法律大模型训练方法。

3、在一个实施例中,所述基于检索增强调整的法律大模型训练方法,包括:

4、基于预先获取的条文数据,构建文本块,并获取文本块的结构化元信息标签,利用预设的文本嵌入模型对文本块进行编码处理,得到稠密向量;基于稠密向量和结构化元信息标签,构建法律知识库;

5、利用预设的大模型,对获取的法律客观题数据进行法律分支标注处理,得到法律分类结果,基于法律分类结果构建分类标签数据集;基于获取的法律客观题数据,利用混合策略构建问答数据集;其中,所述法律客观题数据包括题干、选项和标准答案;

6、基于分类标签数据集,确定问答数据集中题干对应的法律分类结果,并结合法律分类结果,从法律知识库中获取条文数据子集,利用预设的文本嵌入模型对问答数据集进行编码处理,并对条文数据子集进行相似度检索,得到候选条文数据集合;对候选条文数据集合进行重排处理,得到检索条文;

7、对检索条文进行结构化处理,得到结构化检索条文,并将结构化检索条文与问答数据集中对应的题干、选项和标准答案进行组合处理,得到三元组训练样本;

8、利用三元组训练样本对预设的基座模型进行参数调整,并对参数调整后的基座模型进行验证集评估,根据验证集评估结果确定目标参数权重;将目标参数权重合并至预设的基座模型,得到法律问答模型。

9、根据本发明实施例的第二方面,提供了一种基于检索增强调整的法律大模型训练系统。

10、在一个实施例中,所述基于检索增强调整的法律大模型训练系统,包括:

11、法律知识库模块,用于基于预先获取的条文数据,构建文本块,并获取文本块的结构化元信息标签,利用预设的文本嵌入模型对文本块进行编码处理,得到稠密向量;基于稠密向量和结构化元信息标签,构建法律知识库;

12、数据集构建模块,用于利用预设的大模型,对获取的法律客观题数据进行法律分支标注处理,得到法律分类结果,基于法律分类结果构建分类标签数据集;基于获取的法律客观题数据,利用混合策略构建问答数据集;其中,所述法律客观题数据包括题干、选项和标准答案;

13、检索模块,用于基于分类标签数据集,确定问答数据集中题干对应的法律分类结果,并结合法律分类结果,从法律知识库中获取条文数据子集,利用预设的文本嵌入模型对问答数据集进行编码处理,并对条文数据子集进行相似度检索,得到候选条文数据集合;对候选条文数据集合进行重排处理,得到检索条文;

14、训练样本构建模块,用于对检索条文进行结构化处理,并并将结构化检索条文与问答数据集与问答数据集中的题干、选项和标准答案进行组合处理,得到三元组训练样本;

15、训练模块,用于利用三元组训练样本对预设的基座模型进行参数调整,并对参数调整后的基座模型进行验证集评估,根据验证集评估结果确定目标参数权重;将目标参数权重合并至预设的基座模型,得到法律问答模型。

16、本发明实施例提供的技术方案可以包括以下有益效果:

17、1、本发明将检索得到的条文数据进行结构化处理,并与对应的题干、选项和标准答案组合构建三元组训练样本,使基座模型在训练阶段即可学习检索上下文与法律问题之间的关联关系,从而减小训练阶段与推理阶段的输入差异;同时,通过条文数据引用约束指令对训练样本进行构建,有利于提高模型生成答案时条文数据引用的准确性、规范性和可追溯性。

18、2、本发明基于条文数据构建文本块,并结合结构化元信息标签和稠密向量构建法律知识库,有利于保持条文数据内容及其法律结构信息的完整性;进一步利用法律分类结果筛选对应法律分支的条文数据子集,并在该条文数据子集中进行相似度检索和重排处理,从而缩小条文数据检索范围,降低与待处理问题相关性较低的条文数据对检索结果的干扰。

19、3、本发明采用法律客观题与模拟题相结合的混合策略构建问答数据集,通过扩充训练数据的题目类型和法律知识点,有利于降低模型对既有法律客观题的过拟合,提高法律问答模型对未参与训练的法律问题的泛化能力。

20、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

1.一种基于检索增强调整的法律大模型训练方法,其特征在于,包括:

2.根据权利要求1所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述基于预先获取的条文数据,构建文本块,并获取文本块的结构化元信息标签,利用预设的文本嵌入模型对文本块进行编码处理,得到稠密向量;基于稠密向量和结构化元信息标签,构建法律知识库包括:

3.根据权利要求1所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述利用预设的大模型,对获取的法律客观题数据进行法律分支标注处理,得到法律分类结果,基于法律分类结果构建分类标签数据集包括:

4.根据权利要求1所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述基于获取的法律客观题数据,利用混合策略,构建问答数据集包括:

5.根据权利要求4所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述基于分类标签数据集,确定问答数据集中题干对应的法律分类结果,并结合法律分类结果,从法律知识库中获取条文数据子集,利用预设的文本嵌入模型对问答数据集进行编码处理,并对条文数据子集进行相似度检索,得到候选条文数据集合包括:

6.根据权利要求5所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述对候选条文数据集合进行重排处理,得到检索条文包括:

7.根据权利要求1所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述对检索条文进行结构化处理,得到结构化检索条文,并将结构化检索条文与问答数据集中对应的题干、选项和标准答案进行组合处理,得到三元组训练样本包括:

8.根据权利要求1所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述利用三元组训练样本对预设的基座模型进行参数调整,并对参数调整后的基座模型进行验证集评估,根据验证集评估结果确定目标参数权重包括:

9.根据权利要求8所述的基于检索增强调整的法律大模型训练方法,其特征在于,所述将目标参数权重合并至预设的基座模型,得到法律问答模型包括:

10.一种基于检索增强调整的法律大模型训练系统,其特征在于,包括: