一种策略自演化的工业垂域大模型自优化学习方法及系统与流程

本发明涉及工业人工智能，具体为一种策略自演化的工业垂域大模型自优化学习方法及系统。

背景技术：

1、随着工业领域大模型应用规模持续扩大，工业垂域大模型常采用监督微调或强化学习完成领域适配。在此过程中，任务执行策略（包括选取哪些传感器、提取哪些特征、按什么顺序推理等）由工程师一次性静态预设，无法随实时工况变化而自动调整，当工况切换时，模型仍沿用旧策略，导致输出质量难以保证，策略本身也独立于模型参数之外，无法与模型能力协同改进。

2、在上述情形下，即便模型参数可通过持续微调不断更新，执行策略仍停留在人工设定的初始状态而无法从反馈中学习；与此同时，工业现场反馈信号从模型输出到回收往往延迟数小时甚至数天，反馈数据在与已经历多轮更新的当前模型状态失配的情况下被等权使用，会使过时反馈与模型近期学到的有效模式相冲突，干扰当前的模型更新过程。

3、此外，工业现场的反馈信号可能因传感器故障、通信中断、工艺规则被违反或人工标注偏差而失真，若不经校验直接用于模型训练，会使模型学习到错误的关联规律；同时，模型在线更新后若缺乏持续的质量监控与退化保护机制，一旦新版本导致能力退化便难以及时发现和恢复，严重影响工业场景下在线自优化的安全性和可靠性。

技术实现思路

1、鉴于上述存在的问题，提出了本发明。

2、因此，本发明解决的技术问题是：现有的工业垂域大模型任务执行方法存在策略依赖人工静态预设无法随工况动态演化，策略优化与模型参数更新相互割裂、协同效率低，以及如何利用工业现场延迟、稀疏且可能失真的反馈信号，使模型在线自优化的问题。

3、为解决上述技术问题，本发明提供如下技术方案：一种策略自演化的工业垂域大模型自优化学习方法，包括获取当前工况描述，将所述工况描述输入至工业垂域大模型，生成与当前工况相匹配的执行策略；基于执行策略执行工业任务，生成执行结果，获取执行结果对应的反馈结果，将执行策略与反馈结果对应记录，形成策略与结果映射表；按照策略模板统计各策略模板的历史表现，并根据历史表现对策略模板进行分类，根据分类结果和反馈结果驱动执行策略演化。

4、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：执行策略经解析后映射为机器可执行的参数组；将数据采集范围映射为数据采集接口的调用参数，将特征提取方式映射为信号处理函数的选择，将推理步骤编排映射为任务执行顺序，将判断阈值映射为数值比较条件，使执行策略由文本描述直接转化为可执行的参数序列。

5、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：形成策略与结果映射表，按照工艺子领域对执行策略进行分类存储，并按照工艺子领域分类统计各策略模板的历史表现，使各策略模板的历史表现统计与工艺子领域的工况特性相对应。

6、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：根据历史表现对策略模板进行分类包括，统计各策略模板获得正确反馈的次数与使用总次数，计算各策略模板的正确率；将正确率达到第一阈值的策略模板标记为优质策略；将正确率小于等于第二阈值的策略模板标记为待优化策略；将正确率处于第一阈值与第二阈值之间的策略模板标记为继续积累反馈的候选策略；各策略模板依据统计结果被区分至不同演化阶段。

7、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：执行策略演化包括，按照工艺子领域统计错误率，当错误率超过触发阈值时，将工艺子领域对应的待优化策略及对应的错误结果作为训练数据，对工业垂域大模型进行微调；当策略模板获得正确反馈的次数达到设定次数时，将该策略模板标记为稳定策略，并将稳定策略作为同类任务后续执行的直接复用策略。

8、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：对工业垂域大模型进行微调包括，构造策略训练样本和结果训练样本，策略训练样本以当前工况描述及上一步使用的执行策略为输入，以修正后的执行策略为目标输出；结果训练样本以当前工况描述及修正后的执行策略为输入，以正确的执行结果为目标输出；将策略训练样本与结果训练样本在同一批次中联合训练，以策略训练样本的损失与结果训练样本的损失的加权和作为总损失。

9、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：在联合训练中，根据反馈结果的延迟时间确定各训练样本的时效权重；延迟时间处于采纳阈值以内的反馈结果对应的训练样本全权参与训练；延迟时间超过丢弃阈值的反馈结果对应的训练样本不参与训练；延迟时间处于采纳阈值与丢弃阈值之间的反馈结果对应的训练样本按衰减权重参与训练，衰减权重随延迟时间的增大而减小。

10、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：在反馈结果参与训练前，对反馈结果执行物理约束校验、工艺规则校验和相似工况一致性校验；物理约束校验包括校验反馈结果涉及的传感器数据是否处于物理量程范围内、数据变化率是否处于物理合理范围内以及关键传感器组合是否自洽；工艺规则校验包括校验模型输出是否处于工艺标准规定的操作范围内、反馈结果是否与工艺知识库中的既有规则相矛盾以及质检判定结果与过程量趋势是否一致；相似工况一致性校验包括：从历史反馈数据库中检索相似工况下的历史反馈记录，统计与当前反馈标注结论一致的历史反馈数量并计算一致性比例，当一致性比例低于最低一致性阈值时，将当前反馈标记为存疑反馈；当反馈结论为连续数值型时，计算当前反馈结论在相似工况历史反馈结果集中的百分位排名，当百分位排名处于极端位置区间时，将当前反馈标记为存疑反馈；仅通过物理约束校验、工艺规则校验和相似工况一致性校验的反馈结果参与训练。

11、作为本发明所述的策略自演化的工业垂域大模型自优化学习方法的一种优选方案，其中：工业垂域大模型更新后，持续监控模型的质量指标；当质量指标中的任一项恶化超过告警阈值并持续达到确认时间时，将工业垂域大模型回滚至最近质量最优的历史版本；当更新后的版本持续稳定运行达到达标时间时，将版本固化为新基线，后续增量更新基于新基线进行。

12、本发明的另外一个目的是提供一种策略自演化的工业垂域大模型自优化学习系统，其能通过按照策略模板统计各策略模板的历史表现，并根据历史表现对策略模板进行分类，根据分类结果和反馈结果驱动执行策略演化，解决了目前的工业垂域大模型任务执行方法含有策略生成与执行相互割裂、无法根据历史表现自适应调整的问题。

13、作为本发明所述的策略自演化的工业垂域大模型自优化学习系统的一种优选方案，其中：包括策略生成模块，策略演化模块，模型微调模块，校验管理模块；策略生成模块用于获取工况描述，并生成结构化文本形式的执行策略，执行策略包含数据采集范围、特征提取方式、推理步骤编排和判断阈值；策略演化模块用于接收执行策略及对应的反馈结果，形成策略与结果映射表，统计各策略模板的历史表现并对策略模板进行分类，根据分类结果更新执行策略；模型微调模块用于基于修正后的执行策略与正确的执行结果构造训练样本，并更新工业垂域大模型的参数；校验管理模块用于对反馈结果执行有效性校验，并监控工业垂域大模型更新后的质量指标，在质量恶化时回滚至历史稳定版本。

14、本发明的有益效果：

15、本发明提供的策略自演化的工业垂域大模型自优化学习方法通过执行策略自生成与演化机制，将任务执行策略从人工静态配置转变为模型自动生成且根据反馈持续演化的动态对象。模型在每次执行工业任务时自动生成面向当前工况的执行策略，并根据反馈标记驱动策略自优化与固化，解决了现有方法中策略与工况脱节、策略优化与模型参数优化割裂的问题；通过策略—执行两阶段联合微调方法，利用执行策略作为中间层上下文，将仅优化结论生成效果扩展为策略+结果的联合优化。不仅能够优化策略输出能力，还能够优化基于上一步的策略改进能力，同时通过反馈时效加权机制解决了工业反馈延迟导致的过时反馈干扰问题；通过三层递进的反馈有效性校验机制，在反馈用于模型更新前进行物理约束检查、工艺规则检查和相似工况一致性校验，过滤传感器故障、非模型因素干扰和人工主观偏差导致的不可信反馈。同时通过质量监控与自动回滚机制，确保在线更新导致能力退化时可自动恢复至历史稳定版本，保障了工业场景下在线自优化的安全性与可靠性。