一种大模型驱动的智能博弈策略训练系统的制作方法

本技术涉及人工智能及智能博弈，具体而言，涉及一种大模型驱动的智能博弈策略训练系统。

背景技术：

1、智能博弈是人工智能领域中的核心研究方向之一，涵盖棋牌博弈、博弈对抗、兵棋推演等复杂决策场景。在这些场景中，智能体需要在不完全信息、动态变化、对手对抗的条件下进行实时策略选择与资源分配，对策略的鲁棒性、适应性以及可解释性提出了极高要求。

2、传统的智能博弈策略训练主要依赖深度强化学习方法。深度强化学习通过神经网络权重存储策略，利用梯度下降算法在大量环境交互数据的基础上优化网络参数。然而，这一技术路线存在以下根本性缺陷：

3、第一，灾难性遗忘问题。神经网络在执行新任务训练时，梯度迭代更新会直接覆盖旧有网络权重，导致已习得的策略能力不可逆地丧失。虽然现有技术提出了弹性权重固化、渐进式神经网络等方法缓解此问题，但这些方法本质上仍然是“参数覆盖与补救”的思路，无法从根本上解决持续学习场景下的能力保持问题；第二，决策黑箱与不可解释性。深度强化学习的决策逻辑隐藏在高度非线性的网络参数空间中，行动选择的依据无法追溯和解读。在安全攸关的博弈场景中，缺乏可解释性意味着决策者无法理解策略的推理过程，无法评估决策的合理性，也无法在策略失效时进行有效的介入与修正；第三，样本效率极低。深度强化学习需要海量环境交互样本来驱动参数收敛，单个任务的训练可能耗费数百万乃至数千万时间步的交互数据，训练周期长、算力成本高。在博弈策略需要频繁根据装备参数变化、环境条件变化进行调优的场景中，这种低样本效率直接制约了系统的实战化部署能力。

技术实现思路

1、为解决上述背景技术中存在的问题，本技术采用以下技术方案。

2、本技术提供一种大模型驱动的智能博弈策略训练系统，包括存储有可执行程序的存储器以及处理器，所述处理器执行所述程序时实现或配置有基座大模型、博弈仿真推演环境、反馈诊断分析模块、回归测试验证模块以及智能博弈策略生成模块。基座大模型用于根据输入的博弈场景状态信息生成或修改可读、可执行的策略代码文件。博弈仿真推演环境用于加载并执行所述策略代码文件，以模拟博弈对抗过程并生成包含策略执行结果的运行日志。反馈诊断分析模块用于解析所述运行日志，基于预定义的策略失效模式库提取日志中的失效事件，并将所述失效事件映射至所述策略代码文件中的具体代码行号范围，生成结构化代码修正指令，所述修正指令至少包含待修正的代码位置信息及失效类型标签。回归测试验证模块用于在所述策略代码文件被修改后，调用预存的历史验证用例集对修改后的策略代码进行回放验证，并在验证通过后放行当前修改版本。所述基座大模型响应于所述结构化代码修正指令，根据所述失效类型标签调用对应的代码修正逻辑，并基于所述代码位置信息仅对所述策略代码文件中对应行号范围的代码区段执行修改，且修改后的策略代码重新输入所述博弈仿真推演环境进行验证，以实现策略的闭环迭代。所述系统以可读、可执行的策略代码承载博弈策略，并基于博弈仿真推演环境对策略代码进行闭环迭代验证。

3、作为本技术优选方案，所述反馈诊断分析模块中预定义的策略失效模式库包含若干失效模式模板条目，每个模板条目包括失效类型标签字段、日志特征字段、代码定位映射规则字段和推荐修正策略字段。失效类型标签字段用于标识失效所属的决策逻辑类别；日志特征字段用于定义该失效在运行日志中对应的数据模式或事件序列特征；代码定位映射规则字段用于描述如何根据日志中的数据标识符定位至策略代码文件中的对应函数或代码行；推荐修正策略字段用于给出针对该失效类型的代码修改方向。

4、作为本技术优选方案，所述系统还包括对抗状态理解器，用于从所述博弈场景状态信息中提取多维状态特征向量，并根据所述多维状态特征向量与历史状态特征分布之间的统计距离计算场景陌生度指标。所述系统根据所述场景陌生度指标与预设的第一阈值及第二阈值的比较结果，在至少包含全自主执行等级、人工审批执行等级以及分析冻结等级的三个控制等级之间进行切换。

5、作为本技术优选方案，所述多维状态特征向量包括目标运动特征、目标分布特征以及目标属性特征；所述统计距离基于马氏距离或kl散度计算；所述第一阈值及第二阈值通过对历史对抗状态参考分布进行离线统计标定、按预设分位区间确定。

6、作为本技术优选方案，所述系统还包括多分支推演引擎和可逆性评估器。所述多分支推演引擎用于对候选决策动作展开包含多个推演分支的前向推演树，并计算各分支的发生概率及预期收益。所述可逆性评估器用于对所述推演树中的各节点进行回退可达性评估，将各节点标注为不同的可逆性等级。所述系统根据各分支的所述可逆性等级及发生概率计算风险评分，并将所述风险评分作为策略选择的约束条件。

7、作为本技术优选方案，所述可逆性等级至少包括：安全可回退级，表示存在不消耗不可再生资源的已知回退路径；资源消耗可回退级，表示存在回退路径但需消耗不可再生资源；以及不可撤销级，表示不存在返回至安全状态的物理可行路径。

8、作为本技术优选方案，所述基座大模型包含多个分别对应不同决策子领域的专用处理单元以及路由单元。所述路由单元根据所述失效类型标签将所述结构化代码修正指令分配至对应的专用处理单元，由所述专用处理单元对所述策略代码文件中对应行号范围的代码区段进行修正。

9、作为本技术优选方案，所述回归测试验证模块包括历史用例沉淀单元、固定种子回放单元、黄金案例库比对单元以及能力退化拦截单元。历史用例沉淀单元用于将验证有效的策略行为序列固化为回归测试用例并存入用例库；固定种子回放单元用于在固定的随机数种子条件下回放历史博弈场景，对比策略代码修改前后的行为差异；黄金案例库比对单元用于维护一组经人工验证的标准博弈案例，在每次策略代码迭代后自动执行所述标准博弈案例并与预期结果进行比对；能力退化拦截单元用于在检测到策略性能指标低于预设的退化容忍阈值时，阻止当前修改版本通过验证。

10、作为本技术优选方案，所述闭环迭代至少支持以下两种触发模式：第一种模式为持续优化模式，由所述博弈仿真推演环境的累积运行数据触发，以策略胜率的统计指标驱动代码的渐进式优化；第二种模式为快速响应模式，由外部输入的装备参数变更信号或规则约束变更信号触发，以变更前后的策略行为一致性验证为约束条件驱动代码的定向修正。

11、作为本技术优选方案，在所述人工审批执行等级下，所述基座大模型在生成策略代码时附加预授权请求，所述预授权请求包含触发条件、预设动作及有效期。所述系统在接收到外部批准指令后，于所述有效期内监测到所述触发条件发生时自动执行所述预设动作。

12、与现有技术相比，本技术具有以下有益效果：

13、第一，策略逻辑可读、可审计。博弈策略以明文源代码文件形式承载，决策依据、条件分支逻辑和资源分配规则可显式追溯，决策输出附带完整的推演树结构、可逆性标注及不可逆告警。操作人员无需面对神经网络黑盒参数即可完整理解策略的推理过程与风险约束，满足了安全攸关博弈场景下策略可验证、可审计的刚性需求。

14、第二，持续学习中的能力固化与抗遗忘。通过回归测试验证模块和历史用例库的沉淀机制，每次策略迭代均需通过已有能力集的回放验证方能部署。旧有策略能力以回归测试用例、黄金案例及版本链三种形式持久保留，新任务的策略更新不会覆盖已有能力。系统从根本上消除了传统梯度下降训练中旧知识被新知识覆盖导致的灾难性遗忘问题。

15、第三，样本效率与响应速度的显著提升。策略代码采用结构化规则承载，单次有效修正即可带来策略性能的跃升，无需依赖海量交互样本进行参数缓慢收敛。当外部装备参数、环境条件或战术规则变更时，系统可定向定位至代码中受影响的判定条件、参数阈值或资源分配逻辑进行精准修改，整个适配过程仅需少量仿真交互即可完成验证。训练周期和算力成本较深度强化学习方法显著降低。

16、第四，决策风险的前置管控与安全边界保障。通过多分支推演与三级可逆性评估，系统在策略执行前即可量化各决策路径的风险量级和不可逆后果。不可逆点检测器在策略推进至不可逆后果前主动触发暂停等待信号，确保关键决策始终处于人工干预窗口之内。结合基于场景陌生度的三级控制等级动态切换机制，系统能够在场景超出已知分布时主动让渡决策权至操作人员，实现了高效自主执行与安全人工介入的有机统一。