一种神经网络控制策略的安全测试方法及装置与流程
本发明涉及智能控制安全检测,尤其涉及一种神经网络控制策略的安全测试方法及装置。
背景技术:
1、随着深度学习与强化学习技术发展,神经网络控制策略广泛嵌入信息物理系统(cyber-physical systems,cps)与自主系统,承担机器人操作、自主导航、工业过程调节等闭环控制任务,输出动作直接改变受控对象运行状态。
2、针对神经网络控制策略的安全评估,现有技术主要采用两类技术路径:一类通过快速梯度符号法(fast gradient sign method,fgsm)、投影梯度下降法(projectedgradient descent,pgd)等对抗攻击方法搜索失效样本;另一类通过形式化方法对指定区域完成安全性质证明。
3、然而,现有技术存在以下缺陷:单一对抗测试无法区分未检出攻击与本质安全,易生成虚假安全判定,导致安全评估结论可信度不足。
技术实现思路
1、本发明提供了一种神经网络控制策略的安全测试方法及装置,解决了现有单一对抗测试易产生虚假安全判定的技术问题。
2、第一方面,本发明提供的一种神经网络控制策略的安全测试方法,包括:
3、获取目标控制系统的待测神经网络控制策略及多个运行工况点;
4、基于各所述运行工况点和预设观测信道约束参数,执行扰动空间建模处理,构建各所述运行工况点对应的可行扰动区域;
5、基于所述待测神经网络控制策略,在所述可行扰动区域内对对应运行工况点执行攻击测试,生成各所述运行工况点的攻击测试结果;
6、基于所述待测神经网络控制策略,结合预设控制风险指标,对各所述运行工况点的攻击测试结果执行安全验证处理,生成所述待测神经网络控制策略的安全测试结果。
7、在一些实施例中,所述基于各所述运行工况点和预设观测信道约束参数,执行扰动空间建模处理,构建各所述运行工况点对应的可行扰动区域,包括:
8、提取各运行工况点的闭环观测向量;
9、以所述闭环观测向量为扰动中心,对所述闭环观测向量进行全域扰动向量叠加处理,生成各所述运行工况点的初始扰动空间;
10、基于预设观测信道约束参数,筛选所述初始扰动空间内满足预设扰动合规性约束条件的合规扰动;
11、归并全部所述合规扰动的扰动观测向量,构建各所述运行工况点的可行扰动区域。
12、在一些实施例中,所述基于所述待测神经网络控制策略,在所述可行扰动区域内对对应运行工况点执行攻击测试,生成各所述运行工况点的攻击测试结果,包括:
13、提取运行工况点对应的闭环观测向量,并输入所述待测神经网络控制策略执行网络前向推理,输出所述运行工况点的基准动作打分;
14、按照预设多层级对抗攻击规则,在所述运行工况点对应的可行扰动区域内生成多层级扰动;
15、对所述闭环观测向量施加所述多层级扰动,生成多个扰动观测;
16、结合所述基准动作打分、各所述扰动观测和所述待测神经网络控制策略,执行对抗推理与裕度解析处理,生成目标经验决策裕度及各所述扰动观测的对抗攻击执行结果;
17、按照预设动作安全校验策略,结合所述基准动作打分,对全部所述对抗攻击执行结果进行安全性合规校验处理,确定各所述运行工况点的攻击判定标识;
18、整合所述基准动作打分、所述目标经验决策裕度以及所述运行工况点的对抗攻击执行结果与攻击判定标识,生成各所述运行工况点对应的攻击测试结果。
19、在一些实施例中,所述按照预设动作安全校验策略,结合所述基准动作打分,对全部所述对抗攻击执行结果进行安全性合规校验处理,确定各所述运行工况点的攻击判定标识,包括:
20、提取各所述对抗攻击执行结果中各预设候选控制动作的动作打分;
21、比对各所述预设候选控制动作的动作打分与所述基准动作打分;
22、若任一所述预设候选控制动作的动作打分等于或大于所述基准动作打分,则将对应运行工况点的攻击判定标识确定为攻击有效;
23、若全部所述预设候选控制动作的动作打分均小于所述基准动作打分,则将对应运行工况点的攻击判定标识确定为攻击无效。
24、在一些实施例中,所述结合所述基准动作打分、各所述扰动观测和所述待测神经网络控制策略,执行对抗推理与裕度解析处理,生成目标经验决策裕度及各所述扰动观测的对抗攻击执行结果,包括:
25、依次将各所述扰动观测输入至所述待测神经网络控制策略执行网络前向推理,输出各所述扰动观测下各预设候选控制动作的动作打分;
26、将所述动作打分最高的预设候选控制动作作为对应扰动观测的对抗攻击输出动作;
27、计算所述基准动作打分与所述对抗攻击输出动作的动作打分之间的差值,确定各所述扰动观测的单点决策裕度;
28、遍历全部所述单点决策裕度,选取数值最小的单点决策裕度作为目标经验决策裕度;
29、整合所述扰动观测下全部所述预设候选控制动作的动作打分以及所述对抗攻击输出动作,生成各所述扰动观测的对抗攻击执行结果。
30、在一些实施例中,所述基于所述待测神经网络控制策略,结合预设控制风险指标,对各所述运行工况点的攻击测试结果执行安全验证处理,生成所述待测神经网络控制策略的安全测试结果,包括:
31、从各所述运行工况点的攻击测试结果中提取攻击判定标识,并将所述攻击判定标识为攻击无效的运行工况点作为待验证工况点,将各非待验证工况点的认证状态标记为反例;
32、提取各所述待验证工况点中匹配预设控制风险指标的控制风险指标参数;
33、按照预设指标量化规则,对所述控制风险指标参数执行归一化运算,求解各所述待验证工况点的控制危害分值;
34、融合各所述待验证工况点的攻击测试结果和所述控制危害分值,生成各所述待验证工况点的安全验证优先级;
35、按照所述安全验证优先级,对全部所述待验证工况点进行降序排列,生成排序结果;
36、基于所述排序结果和所述待测神经网络控制策略,对各所述待验证工况点执行形式化区间认证,生成各所述待验证工况点的认证状态;
37、整合全部非待验证工况点的攻击测试结果与认证状态,以及全部所述待验证工况点的攻击测试结果和认证状态,生成所述待测神经网络控制策略的安全测试结果。
38、在一些实施例中,所述融合各所述待验证工况点的攻击测试结果和所述控制危害分值,生成各所述待验证工况点的安全验证优先级,包括:
39、提取各所述待验证工况点的攻击测试结果中的攻击判定标识和目标经验决策裕度;
40、按照预设映射关系,匹配所述攻击判定标识对应的标识映射分值;
41、将所述控制危害分值、所述目标经验决策裕度以及所述标识映射分值,输入至优先级计算模型,执行加权融合,输出各所述待验证工况点的安全验证优先级。
42、在一些实施例中,所述基于所述排序结果和所述待测神经网络控制策略,对各所述待验证工况点执行形式化区间认证,生成各所述待验证工况点的认证状态,包括:
43、将所述排序结果中的首个待验证工况点作为当前验证工况点;
44、获取所述当前验证工况点对应的可行扰动区域并作为当前扰动区域;
45、提取所述当前扰动区域的扰动观测取值范围;
46、将所述扰动观测取值范围作为网络输入层约束,对所述待测神经网络控制策略执行区间传播处理,输出各预设候选控制动作在所述当前扰动区域内的动作打分区间;
47、从所述当前验证工况点的攻击测试结果中提取基准动作并作为当前基准动作;
48、从全部所述预设候选控制动作中确定与所述当前基准动作匹配的目标控制动作;
49、若所述目标控制动作的动作打分区间下界大于其余的全部预设候选控制动作的动作打分区间上界,则将所述当前验证工况点的认证状态标记为已证明;
50、若其余的任一所述预设候选控制动作的动作打分区间上界大于或等于所述目标控制动作的动作打分区间下界,则将所述当前验证工况点的认证状态标记为未决;
51、若所述当前验证工况点不处于所述排序结果中的末尾位置,则将所述排序结果中的下一待验证工况点作为新的当前验证工况点;
52、跳转执行所述获取所述当前验证工况点对应的可行扰动区域并作为当前扰动区域的步骤,直至所述当前验证工况点处于所述排序结果中的末尾位置。
53、在一些实施例中,还包括:
54、获取各所述运行工况点的工况类型;
55、按照所述工况类型,对全部所述运行工况点进行分组,生成多个运行工况分组;
56、基于各所述运行工况分组内的各运行工况点的认证状态,执行预设安全统计指标的计算,生成各所述运行工况分组的分组统计数据;
57、提取各所述非待验证工况点中匹配预设控制风险指标的控制风险指标参数;
58、按照预设指标量化规则,对所述控制风险指标参数执行归一化运算,求解各所述非待验证工况点的控制危害分值;
59、对全部非待验证工况点的控制危害分值执行加权求和计算,生成后果加权反例产额;
60、整合所述后果加权反例产额、所述安全测试结果以及各所述运行工况分组的分组统计数据,生成所述待测神经网络控制策略的安全测试报告。
61、第二方面,本发明提供的一种神经网络控制策略的安全测试装置,包括:
62、参数获取模块,用于获取目标控制系统的待测神经网络控制策略及多个运行工况点;
63、扰动构建模块,用于基于各所述运行工况点和预设观测信道约束参数,执行扰动空间建模处理,构建各所述运行工况点对应的可行扰动区域;
64、对抗测试模块,用于基于所述待测神经网络控制策略,在所述可行扰动区域内对对应运行工况点执行攻击测试,生成各所述运行工况点的攻击测试结果;
65、安全验证模块,用于基于所述待测神经网络控制策略,结合预设控制风险指标,对各所述运行工况点的攻击测试结果执行安全验证处理,生成所述待测神经网络控制策略的安全测试结果。
66、从以上技术方案可以看出,本发明具有以下优点:本发明提供的一种神经网络控制策略的安全测试方法及装置,其通过获取目标控制系统的待测神经网络控制策略及多个运行工况点,精准锁定测试对象与核心测试点位,明确神经网络控制策略的测试范围与运行场景;基于各运行工况点和预设观测信道约束参数,构建各运行工况点对应的可行扰动区域,在可行扰动区域内对对应运行工况点执行攻击测试,生成攻击测试结果,通过多层级对抗攻击充分挖掘工况扰动下的策略失效风险,精准检出存在安全隐患的工况点,快速定位真实攻击失效样本,为后续区分安全与未检出攻击场景提供前置判定依据;通过结合预设控制风险指标,对攻击测试结果执行安全验证处理,生成安全测试结果,基于风险指标联动攻击测试与形式化安全验证逻辑,突破传统单一对抗测试的局限性,规避虚假安全判定问题,大幅提升测试结果的可信度。本发明融合可行扰动区域建模、对抗攻击测试与风险导向安全验证的一体化测试逻辑,显著提升了神经网络控制策略安全测试的准确性与可靠性,为闭环控制系统的安全稳定运行提供精准、有效的测试依据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com