一种面向审计垂直领域的模型分层蒸馏与增强方法及系统与流程

本发明涉及审计领域模型蒸馏，尤其涉及一种面向审计垂直领域的模型分层蒸馏与增强方法及系统。

背景技术：

1、法税审计业务覆盖税务风险核查、法律合规审查、财务审计判断等多个场景，业务开展过程中需要对海量业务单据、电子文书、财务凭证进行多分层环节推理判断，对推理结果的准确性、合规性以及推理链路的可解释性均有较高要求。当前大语言模型在法税审计领域的推理精度已经接近专业从业人员水平，但大语言模型参数量较高，运行所需算力资源远超税务外勤业务终端、企业财务审计终端等边缘端设备的承载上限，无法直接在一线业务场景部署应用。轻量级小语言模型虽然参数量较低，可适配端侧设备运行，但直接训练得到的小模型推理精度较差，推理链路的合规性无法满足法税审计的专业要求，难以直接投入实际业务使用。

2、当前主流的小模型性能提升方案主要分为两类，第一类为常规知识蒸馏方案，该方案通过将参数量较大的教师模型输出的软标签作为监督信号训练参数量较小的学生模型，在不增加学生模型参数量的前提下提升学生模型的推理精度，该方案已在通用自然语言处理场景得到广泛应用，可有效降低小模型训练对标注数据的依赖。但该方案仅对学生模型的最终输出结果进行约束，未覆盖模型推理的中间环节，在法税审计这类需要全链路推理合规的场景中，容易出现学生模型最终输出结果正确但中间推理逻辑错误、证据引用不符合专业要求的问题，无法满足业务合规性要求。第二类为垂直领域小模型微调方案，该方案直接采用垂直领域的标注数据对轻量级模型进行有监督微调，训练得到的小模型可适配垂直领域的基础推理需求，但该方案需要大量标注成本极高的专业领域标注数据，且小模型难以学习到复杂的多分层环节推理逻辑，推理结果的专业度与大模型存在明显差距。

3、现有知识蒸馏方案在适配法税审计等专业垂直领域时，未考虑不同推理环节的重要性差异，无法针对各推理环节的专业要求分配对应的约束权重，训练得到的小模型容易出现核心推理环节精度不足、非核心环节约束冗余的问题，同时现有方案未对学生模型的证据引用环节进行单独约束，导致学生模型输出结果的可解释性较差，无法满足法税审计业务对推理链路可追溯、可校验的要求，限制了轻量级模型在法税审计一线业务场景的落地应用。

技术实现思路

1、本发明提出的一种面向审计垂直领域的模型分层蒸馏与增强方法及系统，以解决上述现有技术中提到的问题，技术方案如下：

2、第一方面，本技术实施例提供了一种面向审计垂直领域的模型分层蒸馏与增强方法，包括：

3、获取法税审计领域的预训练大语言模型作为教师模型，获取参数量低于预设阈值的轻量级小语言模型作为待训练的学生模型；

4、构造分层标注的法税审计训练样本集，样本集的每一条样本均对应标注事实识别、规则匹配、要件判断、风险归因、处置建议五个层级的标注结果；

5、调用教师模型对训练样本集中的所有样本进行全链路推理，输出各样本对应五个层级的软标签结果，同时调用预训练的专家评分器对教师模型各层级输出结果、样本对应分层硬标签结果进行质量评分，得到五个层级各自对应的权重系数；

6、将学生模型的推理链路对应拆分为五个层级的推理分支，各推理分支分别接收对应层级的样本输入特征并输出对应层级的推理结果；

7、采用混合约束策略对学生模型进行迭代训练，混合约束同时覆盖学生模型各层级中间推理表示、证据引用结果、最终输出结果三类对象与教师模型对应输出结果、样本分层硬标签结果的偏差约束；

8、使用预先标注的法税审计验证集对训练完成的学生模型进行端侧适配性验证，输出符合端侧部署要求的增强后学生模型。

9、进一步的，训练过程中总蒸馏损失的计算采用分层专家评分加权的分层蒸馏损失函数完成，函数表达式为：；其中表示学生模型训练的总蒸馏损失，表示第i个推理层级对应的专家评分得到的权重系数，表示中间推理表示损失的预设权重系数，表示第i个推理层级学生模型中间推理表示与教师模型对应输出的均方误差损失，表示证据引用损失的预设权重系数，表示第i个推理层级学生模型输出的证据引用条目与教师模型对应输出、样本分层硬标签引用条目的交叉熵损失，表示最终输出损失的预设权重系数，表示第i个推理层级学生模型输出结果与样本分层硬标签、教师模型各层级软标签的kl散度损失。

10、进一步的，预训练的专家评分器的构造过程为：预先采集由法税审计领域资深专家标注的分层推理质量评分数据集，数据集覆盖税务风险核查、法律合规审查、财务审计判断三类核心场景，包含不同推理层级的输出样本对应的准确性、合规性、相关性三类评分结果，采用轻量级文本评估模型对评分数据集进行有监督训练，训练完成后的专家评分器对任意输入的分层推理输出结果自动输出0到1区间的层级权重系数，层级权重系数数值大小与对应分层推理输出结果的质量正相关。

11、进一步的，构造分层标注的法税审计训练样本集的过程具体为：采集税务风险核查、法律合规审查、财务审计判断三类场景下的原始业务单据、电子文书、财务凭证、外勤业务核查记录数据作为分层标注原始样本输入，对每个样本输入依次标注事实识别层级的实体与事件提取结果、规则匹配层级的适配法条与政策条目结果、要件判断层级的合规性判定结果、风险归因层级的风险点定位与成因分析结果、处置建议层级的整改与应对方案结果。

12、进一步的，学生模型的五个层级推理分支采用共享底层特征提取层、分层独立上层任务头的架构进行搭建，底层特征提取层采用轻量化的transformer编码器完成，编码器的注意力头数、隐藏层维度均根据目标端侧设备的算力阈值进行预设，各分层独立任务头分别针对对应层级的任务类型设置适配的输出层结构，事实识别层级任务头设置为序列标注输出结构，规则匹配层级任务头设置为多标签分类输出结构，要件判断层级任务头设置为二分类输出结构，风险归因层级任务头设置为可控文本生成输出结构，处置建议层级任务头设置为可控文本生成输出结构。

13、进一步的，混合约束策略执行过程中，针对中间推理表示的约束具体为将学生模型各分层推理分支的最后一层隐藏层输出与教师模型对应分层推理环节的隐藏层输出进行特征对齐，针对证据引用结果的约束具体为将学生模型各分层输出中引用的政策、法条、凭证索引条目与样本分层硬标签对应的引用条目、教师模型输出的分层引用条目进行一致性校验，针对最终输出结果的约束具体为将学生模型各分层的结构化输出内容与样本分层硬标签、教师模型输出的分层软标签进行精度对齐。

14、进一步的，端侧适配性验证过程具体为将训练完成的学生模型部署至算力受限的目标边缘端设备，边缘端设备包括税务外勤业务终端、企业财务审计终端、法务合规核查终端，使用预先标注完成的法税审计分层验证集测试学生模型的单样本推理时延、运行内存占用、分层推理准确率三类核心指标，三类指标均达到预设阈值时判定学生模型验证通过。

15、第二方面，本技术实施例提供了一种面向审计垂直领域的模型分层蒸馏与增强系统，包括：

16、样本预处理模块，用于采集法税审计领域的原始业务数据，对原始数据进行清洗、脱敏、标准化处理后，按照五个推理层级的标注要求构造分层标注训练样本集与分层验证样本集；

17、教师模型适配模块，用于加载预训练的法税审计领域大语言模型作为教师模型，对训练样本集中的所有样本进行全分层链路推理，输出各样本对应五个层级的分层软标签结果并存储至训练数据库；

18、专家评分模块，用于加载预训练的专家评分器，对教师模型各层级输出结果、样本对应分层硬标签结果进行质量评分，得到五个层级各自对应的层级权重系数并同步传输至学生模型训练模块；

19、学生模型训练模块，用于搭建分层推理分支架构的轻量级学生模型，基于混合约束策略与蒸馏损失函数对学生模型进行迭代训练，在训练过程中实时监测损失下降趋势；

20、端侧验证模块，用于将初始训练完成的学生模型部署至目标边缘端侧设备，调用分层验证样本集对学生模型进行分层适配性验证，对未通过验证的模型进行结构优化后重新训练。

21、第三方面，本技术实施例提供了一种电子设备，包括处理器和存储器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的方法。

22、第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。

23、与现有的技术相比，本发明的有益效果是：

24、本发明通过将模型推理链路拆分为事实识别、规则匹配、要件判断、风险归因、处置建议五个层级，对学生模型的中间推理表示、证据引用结果、最终输出结果三类维度同时实施混合约束，解决了现有知识蒸馏方案仅约束最终输出导致的中间推理逻辑偏差、证据引用不合规的问题，使得学生模型的全链路推理过程均符合法税审计的专业要求，推理链路可追溯、可校验，有效满足法税审计业务对模型输出可解释性、合规性、可核验性的核心业务要求。

25、本发明通过引入预训练的专家评分器对五层推理层级的重要性进行量化评分，根据评分结果为不同层级分配对应的层级权重系数，解决了现有方案未考虑不同推理环节重要性差异导致的核心环节精度不足、非核心环节约束冗余的问题，可根据法税审计业务的实际需求调整各层级的约束强度，显著提升轻量化学生模型的垂直场景推理专业性，同时降低模型迭代训练的算力开销。

26、本发明通过采用共享底层特征提取层、分层独立上层任务头的学生模型架构，结合端侧适配性验证环节，解决了大模型无法在低算力边缘端设备部署的问题，训练得到的学生模型参数量较低，可适配税务外勤业务终端、企业财务审计终端、法务合规核查终端等多类边缘端设备运行，无需依赖云端算力支持即可完成全链路法税审计推理，降低了模型落地应用的算力门槛。

27、本发明适配税务风险核查、法律合规审查、财务审计判断等多类法税审计业务场景，无需针对不同场景进行大幅度架构调整即可完成模型训练与端侧部署，有效降低法税审计垂直领域轻量化模型的研发成本与迭代成本，提升轻量级模型在法税审计一线业务场景的可用性，为法税审计业务的数字化、端侧化落地提供技术支撑。