一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法及装置与流程

本申请涉及人工智能领域，尤其涉及一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法及装置。

背景技术：

1、在仇恨言论检测、网络暴力识别等不良文本内容安全治理场景中，大语言模型（教师模型）具备优异的推理能力，但参数量巨大（数十亿至数百亿），无法直接部署到资源受限的移动端app、边缘网关或嵌入式审核终端。若直接在低资源场景下使用轻量模型，则面临以下困境：推理链断裂——小模型难以掌握“关键词提取→原因分析→分类判定”的多步推理逻辑，输出格式混乱，业务系统无法直接解析；边界样本鲁棒性差——对于隐喻、反讽、方言变体等仇恨言论边界样本，小模型易产生过度推断或漏检；算力与能耗约束——长文本推理消耗大量token，导致设备发热、耗电、响应迟缓；训练不稳定——传统强化学习微调（如ppo）依赖critic网络，显存占用高、收敛难，无法低成本环境下完成模型迭代。

技术实现思路

1、本申请提供了一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法及装置，以解决传统强化学习微调（如ppo）依赖critic网络，显存占用高、收敛难，无法低成本环境下完成模型迭代的问题。

2、第一方面，本申请提供了一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法，包括：

3、针对不良文本检测任务构建包含多阶段推理逻辑的链式标注模板，基于教师模型生成带有推理预算约束的结构化训练数据集，采用参数高效微调范式对学生模型进行有监督训练，以使学生模型具备符合预设条件的推理路径与输出范式；调用组间相对策略优化算法，基于预定义的多维度奖励函数对学生模型进行策略优化，所述多维度奖励函数至少包括：输出格式合规性奖励、分类结果准确性奖励及推理长度合理性奖励；将优化后的学生模型进行轻量化压缩并部署至资源受限的端侧设备。

4、在一可能的实施方式中，从输入文本中抽取具备判别价值的关键词；基于所述关键词、所述输入文本的原文内容及预设分类标准，生成是否存在不良倾向的归因分析；从预设的标签集合中选取与归因分析匹配度最高的类别标签；将关键词-归因分析-类别标签作为不良文本检测任务的多阶段推理逻辑的链式标注模板。

5、在一可能的实施方式中，确定教师模型各推理子阶段的最大推理步骤上限；采用层级化标签对单步推理的内容进行封装，通过起始标识符与结束标识符标记每一推理子阶段的独立输出单元；采用结构化数据格式封装所述教师模型的输出结果，将所述输出结果作为带有推理预算约束的结构化训练数据集，所述输出结果携带有关键词、归因分析及类别字段，其中，所述结构化训练数据集中的基础推理链的总token量小于等于第一阈值，扩展推理链的总token量小于等于第二阈值，所述第二阈值大于第一阈值。

6、在一可能的实施方式中，在学生模型的注意力层中，将查询向量权重矩阵与值向量权重矩阵分别注入低秩适配模块，其中，所述低秩适配模块由降维矩阵与升维矩阵级联构成；在训练过程中，冻结所述学生模型中的原始权重矩阵，仅对所述低秩适配模块的参数进行梯度更新；采用交叉熵损失函数对学生模型进行有监督训练，完成对所述学生模型的冷启动训练。

7、在一可能的实施方式中，对于同一输入文本，由当前策略采样生成g个候选输出序列，其中，g为大于等于2的整数；通过多维度奖励函数对g个候选输出序列分别计算奖励分值；基于奖励分值的均值与标准差对奖励结果进行标准化处理，得到各候选输出序列的相对优势估计值；采用带剪切机制对策略更新幅度进行约束，并在目标函数中引入kl散度正则项，以限制当前策略与参考策略之间的分布偏移，对学生模型进行策略优化。

8、在一可能的实施方式中，针对所述输出格式合规性奖励，对每个所述候选输出序列分别验证否符合预设的结构化格式，以及是否包含全部完整的必要字段，得到每个所述候选输出序列的合规性奖励得分；针对所述分类结果准确性奖励，确定每个所述候选输出序列中的输出关键词与标准关键词的重合度，以及确定每个所述候选输出序列中的输出类别与标准类别的匹配度，基于所述重合度和所述匹配度得到每个所述候选输出序列的准确性奖励得分；针对所述推理长度合理性奖励，确定每个所述候选输出序列中输出序列长度与目标长度区间的偏差，根据所述偏差得到每个所述候选输出序列的合理性奖励得分。

9、在一可能的实施方式中，通过轻量级复杂度评估模型对输入文本进行预处理以确定动态推理预算，并基于端侧设备采集的用户反馈数据执行本地化增量更新。

10、第二方面，本申请提供了一种基于冷启动和强化学习的文本检测模型低资源蒸馏装置，包括：

11、蒸馏模块，用于针对不良文本检测任务构建包含多阶段推理逻辑的链式标注模板，基于教师模型生成带有推理预算约束的结构化训练数据集，采用参数高效微调范式对学生模型进行有监督训练，以使学生模型具备符合预设条件的推理路径与输出范式；

12、优化模块，用于调用组间相对策略优化算法，基于预定义的多维度奖励函数对学生模型进行策略优化，所述多维度奖励函数至少包括：输出格式合规性奖励、分类结果准确性奖励及推理长度合理性奖励；

13、部署模块，用于将优化后的学生模型进行轻量化压缩并部署至资源受限的端侧设备。

14、第三方面，本申请提供了一种计算机设备，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的基于冷启动和强化学习的文本检测模型低资源蒸馏程序，以实现上述第一方面中任一项所述的基于冷启动和强化学习的文本检测模型低资源蒸馏方法。

15、第四方面，本申请提供了一种存储介质，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述第四方面中任一项所述的基于冷启动和强化学习的文本检测模型低资源蒸馏方法。

16、本申请提供了一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法，通过针对不良文本检测任务构建包含多阶段推理逻辑的链式标注模板，基于教师模型生成带有推理预算约束的结构化训练数据集，采用参数高效微调范式对学生模型进行有监督训练，以使学生模型具备符合预设条件的推理路径与输出范式；调用组间相对策略优化算法，基于预定义的多维度奖励函数对学生模型进行策略优化；将优化后的学生模型进行轻量化压缩并部署至资源受限的端侧设备，通过链式标注模板与参数高效微调确保学生模型推理路径稳定，结合组间相对策略优化算法与多维度奖励函数提升输出质量与效率，实现低资源环境下的高效部署，有效解决低资源环境下文本检测模型的推理链断裂问题，确保输出格式规范，提升分类准确性和推理效率，同时降低计算资源消耗。

1.一种基于冷启动和强化学习的文本检测模型低资源蒸馏方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述针对不良文本检测任务构建包含多阶段推理逻辑的链式标注模板，包括：

3.根据权利要求1所述的方法，其特征在于，所述基于教师模型生成带有推理预算约束的结构化训练数据集，包括：

4.根据权利要求1所述的方法，其特征在于，所述采用参数高效微调范式对学生模型进行有监督训练，包括：

5.根据权利要求1所述的方法，其特征在于，所述调用组间相对策略优化算法，基于预定义的多维度奖励函数对学生模型进行策略优化，包括：

6.根据权利要求5所述的方法，其特征在于，所述通过多维度奖励函数对g个候选输出序列分别计算奖励分值，包括：

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

8.一种基于冷启动和强化学习的文本检测模型低资源蒸馏装置，其特征在于，所述装置包括：

9.一种计算机设备，其特征在于，包括：处理器和存储器，所述处理器用于执行所述存储器中存储的基于冷启动和强化学习的文本检测模型低资源蒸馏程序，以实现权利要求1—7中任一项所述的基于冷启动和强化学习的文本检测模型低资源蒸馏方法。

10.一种存储介质，其特征在于，所述存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1—7中任一项所述的基于冷启动和强化学习的文本检测模型低资源蒸馏方法。