面向决策算法的动态评估方法与流程
本申请涉及算法评估,特别是涉及一种面向决策算法的动态评估方法。
背景技术:
1、算法评估既是算法设计的基石,也是其实际部署的关键环节。在算法谱系中,决策算法通过融合与问题相关的信息生成动作序列,并与不断演化的环境进行交互,其输出会受到环境状态、对手行为和任务进程的影响。在高风险、强对抗应用场景中,决策算法的鲁棒性、有效性缺陷可能导致严重后果。因此,在部署之前知悉决策算法在复杂环境中的适应能力,是决策算法应用中不可缺少的环节。
2、传统技术中,对决策算法的评估依赖于静态测试。其典型做法是:在给定的标准测试数据或预设场景中运行决策算法,并基于预先设定的单项目指标作为评估依据,通过扩大测试集规模和多样化测试项来近似更广泛的任务覆盖范围,以提高评估结果的可信度。为弥补静态测试的不足,现有技术中还发展出若干动态测试方法,例如通过构造边界案例或策略性反制响应评估算法鲁棒性,在运行过程持续采集反馈以评估算法适应能力的在线评估等。其中,以兵棋推演为代表的仿真环境,因其能够提供贴近实际的对抗过程,已被用于决策算法训练与测试。
3、然而,上述方式被应用于高动态、强对抗和高风险环境下的决策算法评估时,决策算法的行为稳定性、情境依赖能力差距及人机对齐缺陷难以被有效度量,因而难以形成以效度为中心的系统性评估。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够解决上述问题的面向决策算法的动态评估方法,以解决上述技术问题。
2、本申请提供了一种面向决策算法的动态评估方法。所述方法包括:
3、获取通过知识约束校验的目标对抗场景;目标对抗场景在空间维度包括多个场景实例,每一场景实例中包括场景数据;
4、基于从候选算法集合中提取的目标决策算法,对各场景数据进行处理,得到场景决策结果信息;
5、基于目标对抗场景的任务导向的自适应评估协议,确定针对目标决策算法对应的多个评估指标;
6、对通过场景约束校验的场景决策结果信息进行实体解析,得到兵棋推演平台的执行单元中的多个实体属性信息;多个实体属性信息包括实体状态属性、实体执行属性、实体位置属性、实体任务属性、实体影响属性和实体挂载属性;
7、基于兵棋推演平台的智能体、各评估指标以及各实体属性信息,对目标决策算法进行动态评估,得到目标决策算法的评估结果,评估结果包括目标决策算法的有效性。
8、上述面向决策算法的动态评估方法,获取通过知识约束校验的目标对抗场景;目标对抗场景在空间维度包括多个场景实例,每一场景实例中包括场景数据,其一,通过知识约束校验,过滤不符合逻辑和物理规则的无效场景,使得评估不是建立在随机或者错误的假设上;其二,多个场景实例能够检验算法在不同地形、人员和装备下的适应能力,避免评估结论以偏概全。
9、基于从候选算法集合中提取的目标决策算法,对各场景数据进行处理,得到场景决策结果信息,将抽象的算法代码转化为具体的决策结果信息,为后续评估提供了可量化、可追溯的原始素材,而非算法内部的混沌参数,保证了评估的可操作性。
10、基于目标对抗场景任务导向的自适应评估协议,确定目标决策算法对应的多个评估指标,确保了评估体系根据模拟场态势变化自适应增删指标,为后续动态评估提供了评估指标基础。
11、对通过场景约束校验的场景决策结果信息进行实体解析,得到兵棋推演平台的执行单元中的多个实体属性信息;多个实体属性信息包括实体状态属性、实体执行属性、实体位置属性、实体任务属性、实体影响属性和实体挂载属性,将宏观模拟场决策拆解到每一执行单元的多个核心实体属性上,使得评估结果细化到各个核心实体属性上,进而提升了对决策算法的评估有效性、可靠性和人机对齐度。
12、基于兵棋推演平台的智能体、各评估指标以及各实体属性信息,对目标决策算法进行动态评估,得到目标决策算法的评估结果,评估结果包括目标决策算法的有效性、可靠性和人机对齐度。依托兵棋推演平台智能体进行动态评估,意味着评估并未离线算分或者静态评估,各评估指标以及各实体属性信息,对目标决策算法进行动态评估,由于指标为自适应生成,而且评估对象包含了各实体属性信息,所得到的评估结果可信度较高,解释性较强,以及更加贴近实际,保证了评估结果的有效性、可靠性和人机对齐度。
1.一种面向决策算法的动态评估方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述目标对抗场景在时间维度上包括多个对抗阶段;
3.根据权利要求1所述的方法,其特征在于,所述基于从候选算法集合中提取的目标决策算法,对各所述场景数据进行处理,得到场景决策结果信息,包括:
4.根据权利要求1所述的方法,其特征在于,所述获取通过知识约束校验的目标对抗场景,包括:
5.根据权利要求4所述的方法,其特征在于,所述领域知识包括两个节点级知识以及两个节点级知识之间的边级知识;所述节点级知识用于描述单个对象的属性、状态、能力或装备配置;所述边级知识用于描述各所述节点级知识之间的交互关系或约束;
6.根据权利要求1所述的方法,其特征在于,所述基于所述兵棋推演平台的智能体、各所述评估指标以及各所述实体属性信息,对所述目标决策算法进行动态评估,得到所述目标决策算法的评估结果,包括:
7.根据权利要求1所述的方法,其特征在于,所述方法还包括:
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
9.根据权利要求1所述的方法,其特征在于,所述方法还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com