基于强化学习的批改模型训练方法及相关装置与流程

本技术涉及人工智能与机器学习，尤其涉及一种基于强化学习的批改模型训练方法及相关装置。

背景技术：

1、在学生作答自动批改等复杂推理任务的批改模型训练中，强化学习后训练是提升批改模型对齐能力与推理精度的关键环节。现有的批改模型强化学习训练方案通常依赖序列级稀疏奖励来驱动策略更新，或者引入自蒸馏机制提供token级信用分配以增强细粒度学习能力。

2、然而，现有技术在实际应用中仍存在显著缺陷。一方面，教师模型的辅助信息通常按题目或任务静态配置，未能随学生模型（即待训练批改模型）在当前训练轮次中暴露的错误模式动态调整，导致在轻微错误场景下可能注入过强的规范约束形成噪声，或在严重错误场景下约束不足。另一方面，现有的信用分配机制多在训练全程固定使用单一策略，无法根据当前批次的整体表现与样本个体的正误状态在利用路径和探索路径之间自适应切换；例如固定使用对比策略易导致后期采样多样性枯竭，而固定使用反转探索策略则可能在初期因正确率低而放大错误信号。此外，多机制组合训练时缺乏统一的稳定化保障机制，容易出现错误权重放大、全组失败和路由突变等训练震荡风险。

3、因此，急需一种能够根据待训练批改模型实时状态动态调整教师信号强度并自适应切换信用分配策略的批改模型训练方法，以解决现有技术中教师信号静态固化与探索利用失衡导致的训练效率低及稳定性差的问题。

技术实现思路

1、鉴于现有技术存在的教师辅助信号静态固化以及信用分配策略无法自适应切换导致训练稳定性差的问题，本技术提供了一种基于强化学习的批改模型训练方法及相关装置，以实现教师辅助信息约束强度的动态匹配与信用分配策略的自适应路由，从而提升批改模型训练的收敛效率与稳定性的目的。具体方案如下：

2、本技术第一方面提供一种基于强化学习的批改模型训练方法，包括：

3、获取待训练批改模型在当前训练批次中针对多个训练样本生成的多个输出样本；

4、识别所述输出样本的错误模式，并基于所述错误模式从多个预设约束强度级别中动态选择目标级别，将所述目标级别对应的目标辅助信息注入教师模型的输入端；

5、基于所述当前训练批次的批次整体评估指标以及各个所述输出样本的个体评估状态，为各个所述输出样本分配对应的信用权重计算策略，所述信用权重计算策略包括第一信用分配策略、第二信用分配策略和基础信用分配策略；

6、基于分配到的所述信用权重计算策略计算各个所述输出样本中各序列元素的信用权重，并在所述待训练批改模型的参数更新过程中施加稳定化约束。

7、在一种可能的实现中，所述识别所述输出样本的错误模式，并基于所述错误模式从多个预设约束强度级别中动态选择目标级别，包括：

8、基于预设规则匹配分数与历史错误模式相似度分数的融合，确定所述输出样本的主导错误类型；

9、基于所述主导错误类型，从所述多个预设约束强度级别中选择对应的所述目标级别。

10、在一种可能的实现中，所述多个预设约束强度级别包括逐级叠加的四个信息层级，分别为：包含基础评分细则的第一层级、在所述第一层级基础上追加解题路径骨架的第二层级、在所述第二层级基础上追加错误类型判别规范的第三层级以及在所述第三层级基础上追加完整参考答案的第四层级；

11、所述将所述目标级别对应的目标辅助信息注入教师模型的输入端，包括：

12、提取选中的所述目标级别及低于所述目标级别的信息层级所包含的信息节，将所述信息节与所述训练样本的输入条件、参考标准以及所述待训练批改模型的输出内容按预设的固定模板进行拼接，生成增强提示输入，并将所述增强提示输入提供至所述教师模型，其中，未启用的信息层级对应的信息节为空字符串，且拼接后的总序列长度受限于预设的最大长度阈值。

13、在一种可能的实现中，所述基于所述当前训练批次的批次整体评估指标以及各个所述输出样本的个体评估状态，为各个所述输出样本分配对应的信用权重计算策略，包括：

14、当所述批次整体评估指标高于或等于预设阈值，且所述输出样本的个体评估状态为正确时，为所述输出样本分配所述第一信用分配策略；

15、当所述批次整体评估指标低于所述预设阈值，且所述输出样本的个体评估状态为正确时，为所述输出样本分配所述第二信用分配策略；

16、当所述输出样本的个体评估状态为错误时，为所述输出样本分配所述基础信用分配策略。

17、在一种可能的实现中，所述基于分配到的所述信用权重计算策略计算各个所述输出样本中各序列元素的信用权重，包括：

18、对于分配到所述第一信用分配策略的输出样本，将所述待训练批改模型生成当前序列元素的条件概率除以所述正教师模型生成所述当前序列元素的条件概率，得到第一信用权重；

19、对于分配到所述第二信用分配策略的输出样本，计算正教师模型生成所述当前序列元素的条件概率的对数与负教师模型生成所述当前序列元素的条件概率的对数之差，作为概率对比增量，并将所述概率对比增量的指数函数值作为第二信用权重；

20、对计算得到的所述第一信用权重和所述第二信用权重应用预设的对称裁剪系数进行极值限制，得到最终的所述信用权重；

21、对于分配到所述基础信用分配策略的输出样本，将各序列元素的所述信用权重设定为1。

22、在一种可能的实现中，所述正教师模型与所述负教师模型的概率获取方式包括：

23、将注入所述目标辅助信息后的输入数据输入至所述教师模型，获取所述正教师模型在各序列元素位置的条件概率；

24、从所述当前训练批次中个体评估状态为错误的输出样本中直接复用序列数据，按对应序列计算条件概率，作为所述负教师模型在各序列元素位置的条件概率；

25、在读取所述正教师模型和所述负教师模型的条件概率时，执行梯度隔离操作，以阻断所述条件概率的梯度反传；

26、其中，在计算所述概率对比增量前，对所述条件概率进行预设下界裁剪以防止对数计算异常；当所述当前训练批次中不存在个体评估状态为错误的输出样本导致所述负教师模型不可用时，退化为仅基于所述正教师模型与所述待训练批改模型的概率比值计算权重。

27、在一种可能的实现中，所述在所述待训练批改模型的参数更新过程中施加稳定化约束，包括：

28、通过奖励门控机制，屏蔽个体评估状态为错误的输出样本上的自蒸馏权重放大，强制其回退至所述基础信用分配策略；

29、当所述当前训练批次的批次整体评估指标为零时，触发全组失败保护机制，强制所述当前训练批次中的所有输出样本回退至所述基础信用分配策略，并提升下一训练批次的所述目标辅助信息的约束强度。

30、在一种可能的实现中，所述施加稳定化约束还包括路由平滑与训练健康异常回退：

31、当相邻训练步的全局探索模式与利用模式发生切换时，对个体评估状态为正确的输出样本的信用权重应用指数移动平均算法进行平滑处理，平滑窗口覆盖预设数量的历史训练步，且个体评估状态为错误的输出样本始终采用基础权重，不参与所述平滑处理；

32、在训练过程中实时记录响应长度均值、策略熵绝对值与损失曲线斜率，当任一监测指标偏离历史均值超过预设的标准差倍数阈值时，触发权重保护回退机制，强制所述待训练批改模型在后续训练步中统一回退至所述基础信用分配策略，并暂停双引擎路由机制，直至所述监测指标恢复至正常统计范围内。

33、在一种可能的实现中，所述获取待训练批改模型在当前训练批次中针对多个训练样本生成的多个输出样本，包括：

34、在采样阶段，为每个所述训练样本配置预设的采样温度、截断概率以及最大序列长度；

35、基于配置后的采样参数，控制所述待训练批改模型对每个所述训练样本生成多路并行的输出序列，作为所述多个输出样本；

36、其中，每路所述输出序列包含数据单元级别的分类标签、错误说明以及评估信息，所述个体评估状态基于所述输出序列的最终评估结论与参考标准的一致性确定；所述批次整体评估指标基于所述训练样本对应的所有并行的输出序列中个体评估状态为正确的序列数量占总序列数量的比例计算得到，且所述多路并行的输出序列的数量由预设的采样路径数参数控制。

37、在一种可能的实现中，所述方法还包括构建目标损失函数以进行所述参数更新：

38、基于分配到的所述信用权重计算策略得到的各序列元素的信用权重，结合优势函数估计值，计算加权策略损失；

39、计算所述待训练批改模型与参考模型在输出概率分布上的kl散度约束；

40、将所述加权策略损失与所述kl散度约束进行加权求和，得到所述目标损失函数，并基于所述目标损失函数的梯度对所述待训练批改模型进行参数更新；

41、其中，所述kl散度约束的权重系数随训练步数的增加从预设初始值线性衰减至零，衰减过程在预设的衰减步数内完成，所述参考模型为所述待训练批改模型在训练初始化时的参数快照，在整个训练过程中保持参数冻结，且所述参数更新采用预设的固定学习率进行优化。

42、本技术第二方面提供一种基于强化学习的批改模型训练装置，包括：

43、获取单元，用于获取待训练批改模型在当前训练批次中针对多个训练样本生成的多个输出样本；

44、识别处理单元，用于识别所述输出样本的错误模式，并基于所述错误模式从多个预设约束强度级别中动态选择目标级别，将所述目标级别对应的目标辅助信息注入教师模型的输入端；

45、信用权重计算策略分配单元，用于基于所述当前训练批次的批次整体评估指标以及各个所述输出样本的个体评估状态，为各个所述输出样本分配对应的信用权重计算策略，所述信用权重计算策略包括第一信用分配策略、第二信用分配策略和基础信用分配策略；

46、信用权重计算单元，用于基于分配到的所述信用权重计算策略计算各个所述输出样本中各序列元素的信用权重，并在所述待训练批改模型的参数更新过程中施加稳定化约束。

47、本技术第三方面提供一种计算机程序产品，包括计算机可读指令，当所述计算机可读指令在电子设备上运行时，使得所述电子设备实现上述第一方面或第一方面任一实现方式的基于强化学习的批改模型训练方法。

48、本技术第四方面提供一种电子设备，包括至少一个处理器和与所述处理器连接的存储器，其中：

49、所述存储器用于存储计算机程序；

50、所述处理器用于执行所述计算机程序，以使所述电子设备能够实现上述第一方面或第一方面任一实现方式的基于强化学习的批改模型训练方法。

51、本技术第五方面提供一种计算机可读存储介质，所述存储介质承载有一个或多个计算机程序，当所述一个或多个计算机程序被电子设备执行时，能够使所述电子设备实现上述第一方面或第一方面任一实现方式的基于强化学习的批改模型训练方法。

52、借由上述技术方案，本技术提供的基于强化学习的批改模型训练方法及相关装置，通过识别输出样本的错误模式并从多个预设约束强度级别中动态选择目标级别注入教师模型，实现了教师辅助信号强度与待训练批改模型当前错误状态的精准匹配。相较于现有技术中静态固定的教师特权信息，该机制能够根据待训练批改模型实时的犯错类型针对性调整约束强度，避免了在轻微错误场景下注入过强规范信息形成的噪声干扰，同时也防止了在严重错误场景下约束不足导致的指导失效，从而提升了教师信号的有效性与信噪比。

53、进一步地，本技术基于当前训练批次的批次整体评估指标以及各个输出样本的个体评估状态，自适应地为各个输出样本分配第一信用分配策略、第二信用分配策略或基础信用分配策略，并在参数更新过程中施加稳定化约束。该机制打破了单一信用分配策略在全程训练中的局限性，使得模型能够根据当前的训练阶段、批次正确率及样本正误状态，在第一信用分配策略对应的路径与第二信用分配策略对应的路径之间进行动态平滑切换。配合稳定化约束，有效解决了多机制组合训练中可能出现的错误权重放大、全组失败及策略切换突变等稳定性风险，保障了训练过程的平稳收敛，显著提升了批改模型在复杂推理任务中的细粒度学习能力与训练效率。