一种领域知识增强的大模型微调方法、系统、装置以及存储介质

本发明属于人工智能，具体涉及一种领域知识增强的大模型微调方法、系统、装置以及存储介质。

背景技术：

1、近年来，大语言模型在自然语言理解、文本生成、代码生成和复杂推理等任务中取得了显著进展，已经广泛应用于智能问答、文本摘要、辅助写作、知识检索和业务决策等场景。然而，当通用大语言模型被直接应用于金融、法律、医疗、工程等知识密集型垂直领域时，仍然存在专业知识覆盖不足、术语理解不稳定、推理链条不完整、事实幻觉以及回答风格不符合领域规范等问题。

2、现有领域知识增强方法主要包括两类：一类是检索增强生成方法，该方法在推理阶段从外部知识库中检索相关文档片段，并将其拼接至模型上下文中，引导模型生成回答；另一类是微调方法，该方法通过领域数据训练模型，使模型在参数空间中内化专业知识和领域任务模式。检索增强生成方法具有知识更新灵活、结果可溯源等优点，但其效果依赖检索质量、文档切分策略和上下文整合能力。当检索结果存在噪声、召回不完整或上下文过长时，模型仍可能无法准确利用外部信息。微调方法在高频、稳定、低延迟应用场景中具有优势，但其核心瓶颈在于高质量领域训练数据稀缺。

3、垂直领域中的知识通常存在于pdf文档、word报告、html网页、行业手册、法律条文、金融公告、业务规则文档和技术规范等非结构化或半结构化文档中。这些文档格式复杂、术语密集、逻辑链条长，并且经常包含多级标题、表格、列表、页眉页脚、脚注说明和跨页内容。如果直接采用固定长度切分方式处理领域文档，容易造成实体截断、段落割裂和专业逻辑破坏，进而影响后续合成指令数据的事实完整性。

4、此外，现有自动化指令数据生成方法通常基于单个文本片段生成问答样本，容易集中于事实抽取和概念解释等浅层任务，难以覆盖垂直领域中常见的对比分析、条件判断、因果推理和综合决策等复杂任务。同时，自动生成的合成数据不可避免地包含格式错误、重复样本、事实依据不足、答案质量低和推理不完整等问题。如果直接将这些低质量样本用于模型微调，可能导致错误知识注入、幻觉增强或通用能力下降。

5、因此，亟需一种能够从异构领域文档中自动构建语义完整知识单元，并生成高复杂度、高可靠性合成指令数据，再通过参数高效方式完成领域模型适配的方法。

技术实现思路

1、本发明的目的是解决针对现有领域大模型微调中存在的领域文档切分破坏语义完整性、自动生成指令数据复杂度不足、合成数据质量不可控以及全量微调成本高的问题，提出一种领域知识增强的大模型微调方法。具体包括：

2、步骤1：对原始领域文档集合进行解析处理，得到解析后的文档；对解析后的文档进行清洗处理，得到规范化领域文本；

3、接收待适配领域的原始领域文档集合，原始领域包括法律领域、金融领域、医疗领域、工程领域等垂类领域；

4、所述原始领域文档集合包括pdf文档、word文档、html文档、行业手册、法律条文、金融公告、业务报告或结构化文本数据；

5、进一步的，所述步骤1对原始领域文档集合进行解析与清洗，得到规范化领域文本的过程包括异构文档解析、格式规范化、结构保留和噪声过滤。

6、异构文档解析，由解析模块进行处理，格式规范化、结构保留和噪声过滤由清洗模块进行处理；

7、所述异构文档解析具体过程为：

8、对于pdf文档，解析模块提取pdf文档中正文文本、标题信息、页码范围和表格内容。对于可直接提取文本的数字化pdf，解析与清洗模块根据文本块位置、字体大小、标题编号和段落结构识别正文与标题。对于表格内容，解析与清洗模块将表格转换为markdown表格或键值对形式。得到解析后的pdf文档；

9、对于word文档，解析模块读取段落、标题、表格、列表编号和样式信息，并保留标题层级和列表层级。得到解析后的word文档；

10、对于html文档，解析模块解析dom树，提取正文段落、标题标签、列表标签和表格标签，并过滤导航栏、广告、脚本和页脚等无关内容。得到解析后的html文档；

11、在解析原始领域文档集合后，清洗模块依次执行如下清洗操作：

12、第一清洗处理：格式规范化处理，用于合并解析后的文档中多余空白符、修复句内异常换行、统一中英文标点格式并删除无效控制字符；得到第一清洗处理后的文档；

13、第二清洗处理：结构保留，用于保留第一清洗处理后的文档中章节标题、多级编号、列表层级、表格字段和图表说明；得到第二清洗处理后的文档；

14、第三清洗处理：噪声过滤，用于删除第二清洗处理后的文档中页眉页脚、孤立页码、目录残片、版权声明、乱码片段和装饰性符号。得到规范化领域文本；

15、经过该步骤后，原始异构领域文档被转换为规范化领域文本，为后续动态语义切分提供基础；

16、步骤2：对所述规范化领域文本进行动态语义切分，得到n个结构化知识块；n为正整数；

17、步骤3：基于n个结构化知识块，生成候选合成指令数据集；

18、步骤4：对候选合成指令数据集进行多阶段质量控制，得到高质量领域指令数据集；

19、步骤5：基于所述高质量领域指令数据集，对基座大语言模型进行参数高效微调，得到领域知识增强的大语言模型。

20、所述基座大语言模型为qwen系列、deepseek系列、llama系列、mistral系列或gpt系列模型中的一种；

21、所述待适配领域可以为金融、法律、医疗、工程或其他知识密集型垂直领域；

22、所述步骤2中对所述规范化领域文本进行动态语义切分，得到n个结构化知识块，具体过程为：

23、步骤2.1：将规范化领域文本划分为i个基本文本单元；i为正整数；

24、所述基本文本单元可以为句子、段落或由多个短句组成的最小语义单元。

25、步骤2.2：利用文本嵌入模型将每个基本文本单元转换为语义向量，并计算相邻基本文本单元之间的语义相似度。具体过程为：

26、对于第i个基本文本单元，使用嵌入模型得到语义向量：

27、

28、对于相邻基本文本单元和，计算语义相似度：

29、

30、其中，cos(·)表示余弦相似度。

31、步骤2.3：基于相邻基本文本单元之间的语义相似度，确定结构化知识块的切分边界；具体过程为：

32、当相邻基本文本单元之间的语义相似度低于预设阈值，或者出现局部语义相似度低谷，并且当前文本长度满足预设长度约束时，确定该位置为切分边界；

33、根据语义相似度确定候选切分边界。当低于预设阈值，或为局部低谷，并且当前文本块长度大于最小长度阈值时，系统将第i个基本文本单元和第i+1个基本文本单元之间的位置确定为候选切分边界。

34、同时，嵌入模块结合以下四条规则修正候选切分边界：

35、当前位置为标题切换位置时，提高其作为切分边界的优先级；

36、当前位置位于表格内部或列表内部时，降低其作为切分边界的优先级；

37、当前文本块长度超过最大长度阈值时，在最近的候选切分边界处强制切分；

38、当切分后文本块长度低于最小长度阈值时，将其与相邻文本块合并。

39、步骤2.4：基于结构化知识块的切分边界，将规范化领域文本切分为n个结构化知识块；

40、进一步的，所述结构化知识块至少包括：知识块唯一编号、来源文档编号、所属标题路径、清洗后的正文内容、来源页码范围、内容类型和附加结构信息。

41、所述内容类型包括正文、表格、列表或图表说明。

42、由此得到的结构化知识块能够尽可能保持主题一致性和专业逻辑完整性。最终，系统输出结构化知识块。每个结构化知识块包括chunk_id、doc_id、title_path、content、page_range、element_type和metadata字段。通过该动态语义切分方式，能够在控制文本块长度的同时尽可能保持领域知识单元的完整性。

43、所述步骤3中基于n个结构化知识块，生成候选合成指令数据集，具体过程为：

44、步骤3.1：基于n个结构化知识块和教师大模型进行指令生成，得到基础指令样本集；

45、步骤3.2：基于基础指令样本集和教师大模型进行指令演化，得到演化指令样本集；

46、步骤3.3：基于所述结构化知识块之间的语义相关性和教师大模型，构造跨知识块联合推理样本集；

47、步骤3.4：将所述基础指令样本、演化指令样本和跨知识块联合推理样本作为候选合成指令数据集。

48、所述教师大模型可以为qwen系列、deepseek系列、gpt系列或其他具备指令生成能力的大语言模型中的一种；

49、所述步骤4中对候选合成指令数据集进行多阶段质量控制，得到高质量领域指令数据集；具体过程为：

50、步骤4.1：基于第一过滤规则对候选合成指令数据集进行第一次过滤，得到第一次过滤后的候选合成指令数据集；

51、第一过滤规则为启发式规则过滤。系统检查每条候选合成指令是否包含完整字段，问题和答案长度是否处于合理范围，答案是否为空，是否包含明显模板残留、乱码、无意义重复或与知识块无关的内容。对于不满足规则的样本，系统直接剔除；

52、步骤4.2：基于第二过滤规则对第一次过滤后的候选合成指令数据集进行第二次过滤，得到第二次过滤后的候选合成指令数据集；

53、第二过滤规则为重复样本过滤。系统分别计算样本之间的文本重合度和语义相似度。文本重合度可以采用n-gram重合率、jaccard相似度或编辑距离；语义相似度可以通过嵌入模型计算。当两个样本的文本重合度或语义相似度高于预设阈值时，系统判定其为重复样本，并保留质量分数更高或任务类型更复杂的样本；

54、步骤4.3：基于第三过滤规则对第二次过滤后的候选合成指令数据集进行第三次过滤，得到高质量领域指令数据集；

55、第三过滤规则为大模型评委评分。系统将候选样本及其来源知识块输入评委大模型，由评委大模型从事实准确性、问答相关性、认知复杂度和答案完整性四个维度进行评分。综合质量分数表示为：

56、

57、其中，表示事实准确性分数，表示问答相关性分数，表示认知复杂度分数，表示答案完整性分数，α、β、γ、δ为对应权重。当样本综合质量分数低于预设综合阈值，或任一单项分数低于预设单项阈值时，系统剔除该样本。经过多阶段过滤后，得到高质量领域指令数据集；

58、所述评委大模型可以为qwen系列、deepseek系列、gpt系列或其他具备指令生成能力的大语言模型中的一种；

59、所述步骤5中基于所述高质量领域指令数据集，对基座大语言模型进行参数高效微调，得到领域知识增强的大语言模型，具体过程为：

60、基于所述高质量领域指令数据集，采用qlora参数高效微调方式对基座大语言模型进行领域适配，得到领域知识增强的大语言模型。具体而言，采用qlora参数高效微调方法对基座大语言模型进行领域适配。具体过程为：

61、步骤5.1：对基座大语言模型进行4-bit量化，以降低模型显存占用。

62、步骤5.2：冻结基座大语言模型的原始参数，并在基座大语言模型中注意力层和/或前馈网络层中中插入低秩适配矩阵。对于原始权重矩阵w，低秩适配后的权重表示为：

63、

64、其中：

65、

66、a和b为可训练低秩矩阵，且低秩矩阵的秩小于原始权重矩阵的维度。

67、在训练过程中，训练模块仅更新低秩适配矩阵参数，而不更新基座大语言模型的原始参数。训练目标采用自回归语言建模损失：

68、

69、其中，表示第t个目标token，x表示输入文本，表示模型在给定输入和前文token条件下预测目标token的概率，表示损失掩码，n表示参与训练的token数量。所述损失掩码用于屏蔽提示词部分，仅对答案部分或需要学习的目标输出部分计算损失。训练完成后，系统得到领域知识增强的大语言模型或可加载到基座大语言模型上的领域适配器。

70、一种领域知识增强的大模型微调系统，其特征在于，包括：

71、解析模块，用于对原始领域文档集合进行解析处理，得到解析后的文档；

72、清洗模块，用于对解析后的文档进行清洗处理，得到规范化领域文本；

73、嵌入模块，用于对所述规范化领域文本进行动态语义切分，得到n个结构化知识块；

74、教师大模型模块，用于根据嵌入模块生成的n个结构化知识块，构建候选合成指令数据集；

75、多阶段数据质量控制模块，用于对候选合成指令数据集进行多阶段过滤，获得高质量领域指令数据集；

76、训练模块，用于根据高质量领域指令数据集对基座大语言模型进行参数高效微调，得到领域知识增强的大语言模型。

77、一种医疗信息分析方法，包括：

78、确定待分析的医疗信息；

79、将所述医疗信息输入至目标大模型中，生成医疗反馈信息；

80、所述目标大模型为采用领域知识增强的大模型微调方式进行微调后的大模型。

81、一种工程信息分析方法，包括：

82、确定待分析的工程信息；

83、将所述工程信息输入至目标大模型中，生成工程反馈信息；

84、所述目标大模型为采用领域知识增强的大模型微调方式进行微调后的大模型。

85、一种金融信息分析方法，包括：

86、确定待分析的金融信息；

87、将所述金融信息输入至目标大模型中，生成金融反馈信息；

88、所述目标大模型为采用领域知识增强的大模型微调方式进行微调后的大模型。

89、以金融领域为例，系统首先接收金融政策文件、信贷审批规则、企业财务报告、金融公告和风险控制手册等文档。系统对上述文档进行解析、清洗和动态语义切分，得到多个结构化知识块。随后，系统基于这些知识块生成基础问答样本、演化问答样本和跨知识块联合推理样本。例如，系统可生成根据企业现金流、行业风险和授信政策判断贷款申请是否应批准的综合分析样本。

90、经过多阶段质量控制后，系统得到高质量金融领域指令数据集。最后，系统基于该数据集对qwen、deepseek或llama等基座模型进行qlora微调，使模型能够更准确地理解金融术语、业务规则和风险判断逻辑。

91、一种法务信息分析方法，包括：

92、确定待分析的法务信息；

93、将所述法务信息输入至目标大模型中，生成法务反馈信息；

94、所述目标大模型为采用领域知识增强的大模型微调方式进行微调后的大模型。

95、以法律领域为例，系统可接收法律条文、司法解释、案例事实和裁判文书等文档，并生成法律适用、责任判断、条款解释和案例对比类指令样本。经过微调后，模型能够更好地完成法律问答、条文解释和案情分析任务。

96、一种计算机存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行所述的一种领域知识增强的大模型微调方法。

97、一种基于领域知识增强的大模型微调设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现一种领域知识增强的大模型微调方法。

98、本发明的有益效果为：

99、第一，本技术通过基于嵌入模型的动态语义切分方式替代传统固定长度切分方式，能够根据句间或段间语义连续性自适应确定切分边界，从而避免专业实体被截断、业务规则被割裂和逻辑链条不完整的问题。

100、第二，本技术通过基础指令生成、指令演化和跨知识块联合推理相结合的混合指令生成方式，不仅能够生成事实抽取和概念解释类样本，还能够生成对比分析、条件判断、因果推理和综合决策类样本，提高合成指令数据的认知复杂度和任务覆盖面。

101、第三，本技术通过启发式规则过滤、重复样本过滤和大模型评委评分组成的多阶段质量控制流水线，能够逐步剔除格式错误、重复、事实依据不足和逻辑不完整的低质量样本，提高最终训练数据的可靠性、多样性和可用性。

102、第四，本技术采用参数高效微调方式对基座大语言模型进行领域适配，在有限算力条件下降低显存占用和训练成本，使领域知识注入过程更适合实际工程部署。

103、第五，本技术将领域文档处理、合成指令生成、数据质量控制和参数高效微调整合为统一流程，能够为金融、法律、医疗、工程等知识密集型领域提供低成本、高效率、可迁移的大语言模型专业化适配方案。