一种面向智能系统能力演进的增量评估方法

摘要: 本发明属于智能系统评测领域,具体涉及一种面向智能系统能力演进的增量评估方法。背景技术:1、随着人工智能技术的快速发展,越来越多的智能系统以黑盒形式提供服务。黑盒...
一种面向智能系统能力演进的增量评估方法

本发明属于智能系统评测领域,具体涉及一种面向智能系统能力演进的增量评估方法。

背景技术:

1、随着人工智能技术的快速发展,越来越多的智能系统以黑盒形式提供服务。黑盒系统是指内部状态、逻辑结构和实现细节对外部不可知的系统。对于该类系统,智能能力的评测主要采用试验方法,通过构建覆盖多维试验因子的采样空间,对系统进行广泛测试,从输出响应中提取性能指标,以此评估其能力水平。随着系统版本的持续迭代,科学、全面、可量化地评估新版本智能系统相对于旧版本智能系统在智能能力上的成长变化,已成为亟需解决的关键问题。

2、在传统的基于矩阵式的测评场景自动生成系统中,从不同类型的场景构成要素中提取对测评结果产生影响的要素作为试验因子,选取所需试验因子构建试验因子体系并设置各试验因子的水平取值,然后从组合形成的样本空间中抽样生成试验样本;当试验因子数大于或等于6时,改进的拉丁超立方试验设计方法优化抽样效率,解决了单一版本黑盒系统测试场景的自动生成问题。

3、但是,上述方法侧重单一版本的测试场景生成与评估,缺乏版本间能力变化的系统性评估框架,且依赖在试验因子空间中均匀采样的测试样本进行统计分析,但高维因子空间中样本点呈指数级稀疏,基于稀疏样本的聚类结果无法可靠表征能力变化区域的真实边界,导致区域识别不可靠,从而存在对智能系统的能力成长水平进行评估的可靠性低的技术问题。

技术实现思路

1、为了解决现有技术中存在的上述问题,本发明提供了一种面向智能系统能力演进的增量评估方法。本发明要解决的技术问题通过以下技术方案实现:

2、第一方面,本发明提供了一种面向智能系统能力演进的增量评估方法,该方法包括:确定智能系统的试验因子空间,并在试验因子空间中生成初始采样点集;试验因子空间由影响智能系统能力的多维试验因子共同构成;将初始采样点集分别输入第一版本智能系统和第二版本智能系统,得到第一版本智能系统对应的第一输出响应和第二版本智能系统对应的第二输出响应;第二版本智能系统为对第一版本智能系统进行版本更新得到的增量智能系统;基于能力评价指标函数,确定第一输出响应对应的第一指标值与第二输出响应对应的第二指标值;基于初始采样点集,构建从试验因子空间到第一指标值与第二指标值之间的指标差值的响应面代理模型,其中,响应面代理模型用于表征试验因子空间中的试验因子对应的指标差值函数;利用响应面代理模型,在试验因子空间中进行搜索,确定能力增长区域、能力持平区域和能力衰减区域;基于与能力增长区域、能力持平区域和能力衰减区域对应的分布特征参数,确定智能系统的综合能力成长指数,其中,综合能力成长指数用于对智能系统的能力成长水平进行评估。

3、在本发明的一个实施例中,利用响应面代理模型,在试验因子空间中进行搜索,确定能力增长区域、能力持平区域和能力衰减区域,包括:利用响应面代理模型,在试验因子空间中进行全局搜索,分别确定能力增长区域、能力持平区域和能力衰减区域的位置;其中,能力增长区域用于表示指标差值函数大于预设差异阈值,能力持平区域用于表示指标差值函数的绝对值小于或等于预设差异阈值,能力衰减区域用于表示指标差值函数小于负的预设差异阈值;利用响应面代理模型,分别对能力增长区域、能力持平区域和能力衰减区域进行局部加密搜索,确定能力增长区域、能力持平区域与能力衰减区域之间的分界线。

4、在本发明的一个实施例中,该方法还包括:基于全局搜索和局部加密搜索过程中生成的扩展采样点集,更新响应面代理模型;利用更新后的响应面代理模型,迭代执行全局搜索和局部加密搜索过程,直至满足迭代停止条件,其中,迭代停止条件至少包括以下之一:连续目标迭代轮次搜索未发现显著区域;迭代轮数达到预设最大迭代轮数。

5、在本发明的一个实施例中,基于全局搜索和局部加密搜索过程中生成的扩展采样点集,更新响应面代理模型,包括:将扩展采样点集分别输入第一版本智能系统和第二版本智能系统,重新确定指标差值;基于重新确定的指标差值,更新响应面代理模型。

6、在本发明的一个实施例中,确定智能系统的试验因子空间,包括:确定智能系统对应的

m个试验因子,其中,

m为大于1的正整数;将

m个试验因子对应的取值域,确定为试验因子空间。

7、在本发明的一个实施例中,分布特征参数至少包括区域规模参数、区域边界复杂度参数、区域内部结构参数和试验因子影响度参数。

8、在本发明的一个实施例中,基于与能力增长区域、能力持平区域和能力衰减区域对应的分布特征参数,确定智能系统的综合能力成长指数,包括:基于分布特征参数,确定区域边界复杂度惩罚项;基于区域边界复杂度惩罚项,确定综合能力成长指数。

9、第二方面,本发明提供了一种面向智能系统能力演进的增量评估系统,该系统包括:第一确定模块,用于确定智能系统的试验因子空间,并在试验因子空间中生成初始采样点集;试验因子空间由影响智能系统能力的多维试验因子共同构成;输入模块,用于将初始采样点集分别输入第一版本智能系统和第二版本智能系统,得到第一版本智能系统对应的第一输出响应和第二版本智能系统对应的第二输出响应;第二版本智能系统为对第一版本智能系统进行版本更新得到的增量智能系统;第二确定模块,用于基于能力评价指标函数,确定第一输出响应对应的第一指标值与第二输出响应对应的第二指标值;构建模块,用于基于初始采样点集,构建从试验因子空间到第一指标值与第二指标值之间的指标差值的响应面代理模型,其中,响应面代理模型用于表征试验因子空间中的试验因子对应的指标差值函数;搜索模块,用于利用响应面代理模型,在试验因子空间中进行搜索,确定能力增长区域、能力持平区域和能力衰减区域;第三确定模块,用于基于与能力增长区域、能力持平区域和能力衰减区域对应的分布特征参数,确定智能系统的综合能力成长指数,其中,综合能力成长指数用于对智能系统的能力成长水平进行评估。

10、第三方面,本发明提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口、存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的计算机程序时,实现上述面向智能系统能力演进的增量评估方法的步骤。

11、第四方面,本发明提供了一种计算机可读存储介质,计算机可读存储介质内存储有计算机程序,计算机程序被处理器执行时实现上述面向智能系统能力演进的增量评估方法的步骤。

12、与现有技术相比,本发明的有益效果:在试验因子空间中通过反演搜索主动发现第一版本智能系统相对于第二版本智能系统的能力增长区域、能力持平区域和能力衰减区域,同步覆盖正反两方面变化;同时,不预先在全局用大量样本点铺满试验因子空间,而是将寻找能力变化区域本身作为搜索目标,通过全局搜索定位可能存在能力显著变化的区域,再通过邻域搜索精确定位区域边界,实现对各区域的高效识别,最后基于区域分布特征设计综合能力成长指数,将多维空间分布特征映射为可量化、可比较的综合评估指标,从而实现了提升对智能系统的能力成长水平进行评估的可靠性的技术效果。

13、以下将结合附图及实施例对本发明做进一步详细说明。