一种基于字典序策略优化的双约束入侵响应方法
本发明属于工业控制系统安全与入侵响应,涉及工业控制系统中的自动化防御决策、安全强化学习、约束策略优化和工业过程安全控制技术,特别涉及一种基于字典序策略优化的工业控制系统双约束入侵响应方法及系统。
背景技术:
1、工业控制系统广泛应用于石油化工厂的连续生产过程、电力系统的监控与数据采集、水处理设施的自动化控制以及轨道交通信号控制等关键基础设施领域。随着信息技术与操作技术的深度融合,传统依赖物理隔离形成的工控系统安全边界逐渐被打破,工控系统面临更复杂的网络攻击威胁。攻击者可利用系统漏洞、恶意软件、拒绝服务攻击等手段,对工业设施实施网络攻击,造成生产中断、设备损坏甚至人员伤亡等严重后果。为应对上述威胁,入侵响应系统被开发为与入侵检测系统配合使用的主动防御框架。入侵检测系统用于发现攻击或异常行为,入侵响应系统用于在告警产生后自动选择并执行防御动作,从而降低攻击继续渗透或扩散的风险。
2、现有入侵响应方法中,强化学习方法能够把响应过程建模为序列决策问题,通过试错学习获得防御动作序列,在提升网络层防御效果方面具有优势。但是,现有方法多以网络安全收益最大化为主要目标,往往忽略响应动作本身对工业过程控制逻辑的影响。例如,在工业化工过程或生产线控制过程中,某些响应动作虽然能够缓解网络攻击,却可能造成压力、温度、流量或液位等过程变量暂时超过安全阈值,从而引发过程异常甚至物理损坏。另一方面,在实际攻防场景中,不同防御动作之间可能存在功能重叠或互相干扰。例如,限速类动作可能改变异常流量的外观,从而影响后续基于异常流量触发的阻断类动作;针对相同漏洞或相同攻击阶段的多个响应动作连续执行时,也可能产生冗余、冲突或处置失效。现有入侵响应模型通常将防御动作作为相互独立的决策单元,缺少对相邻时间步响应动作一致性的建模。
3、此外,现有安全强化学习方法通常将多个约束以同质化、标量化方式统一处理,难以区分工业过程安全控制约束和响应动作冲突约束之间的严格程度差异。工业过程安全约束通常属于硬约束,一旦被违反可能造成不可接受的物理风险;动作冲突约束则通常属于软约束,可在一定容忍范围内进行灵活权衡。若将二者置于同一优化层进行统一惩罚,容易产生过度保守策略,或者在优化过程中出现硬安全约束违反。
4、因此,现有技术在保障工业控制系统物理过程安全和防御动作一致性方面存在不足,亟需一种能够显式协调双重风险约束的入侵响应技术,使响应策略在保证物理过程安全的前提下兼顾防御效果和动作一致性。
技术实现思路
1、本发明要解决的技术问题是提供一种基于字典序策略优化的工业控制系统双约束入侵响应方法,用于解决现有入侵响应方法只关注网络防御收益、缺少对工业过程控制逻辑和防御动作冲突的联合建模,以及现有约束强化学习方法难以区分硬安全约束和软冲突约束的问题。
2、本发明解决上述技术问题的技术方案如下:基于字典序策略优化的工业控制系统双约束入侵响应方法,包括五个模块,分别是约束建模模块、状态获取模块、字典序策略优化模块、响应决策模块和经验存储与更新模块。约束建模模块用于构建安全控制约束和动作冲突约束;状态获取模块用于获取工业控制系统状态、告警信息和历史响应动作等交互数据;字典序策略优化模块对所述双约束入侵响应模型进行分层优化;响应决策模块基于所述字典序策略优化的输出执行防御动作;经验存储与更新模块存储交互数据并实现策略和安全评估网络的持续学习。各个模块及实施步骤如下:
3、1)约束建模模块:将入侵响应决策过程建模为包含安全控制约束和动作冲突约束的约束马尔可夫决策过程。
4、步骤1,将工业控制系统中的入侵响应决策建模为约束马尔可夫决策过程,定义用于评估防御动作有效性的奖励函数,以及安全控制约束和动作冲突约束,所述安全控制约束用于防止响应策略违反物理过程安全边界,动作冲突约束用于防止响应动作之间针对相同漏洞产生的重叠、冗余或相互干扰,执行步骤2。
5、步骤2,形式化安全控制约束,利用预定义的安全边界阈值确定响应策略对物理过程安全的符合程度;依据工业过程关键指标的理想值和临界阈值计算候选防御动作的安全分数,所述关键指标包括温度、压力、流量或液位指标中的至少一种;将安全分数超过预设阈值的候选动作判定为违反安全控制逻辑,执行步骤3。
6、步骤3,形式化动作冲突约束,构建漏洞级指标,综合计算防御动作之间重叠漏洞的数量和严重程度; 依据当前响应动作对应的漏洞集合、上一时刻响应动作对应的漏洞集合以及漏洞严重度评分计算动作冲突约束值,并将所述动作冲突约束值与预设的冲突阈值进行比较,执行步骤4。
7、2)状态获取模块。
8、步骤4,构建防御动作集合a,所述防御动作集合a中的每一防御动作均对应一个或多个被处置漏洞、控制变量或响应功能,包括访问管理、应用隔离、漏洞利用防护、多因子认证、网络流量过滤、网络分段、通信真实性校验、控制值重配置、人工停机和不执行动作中的至少一种,执行步骤5。
9、步骤5,收集历史工业控制系统运行数据和响应交互数据作为训练样本,所述历史交互数据包括状态-动作对及其对应的响应结果,包括奖励值、安全控制约束值和动作冲突约束值;使用均方误差损失函数训练安全评估网络,使其学习预测给定状态-动作对的安全得分,执行步骤6。
10、3)字典序策略优化模块:对所述约束马尔可夫决策过程进行分层优化。
11、步骤6,在字典序策略优化的严格层中,由当前策略生成候选动作空间,调用所述安全评估网络预测各候选动作的安全分数,并过滤不满足安全控制约束的候选动作,从而构造安全可行子空间,执行步骤7。
12、步骤7,松弛层优化,在所述安全可行子空间内执行冲突正则化的防御奖励优化;在满足动作冲突约束和策略信赖域约束的条件下,最大化防御奖励并最小化冲突成本,得到最优响应动作,执行步骤8。
13、4)响应决策模块:基于所述字典序策略优化的输出执行防御动作。
14、步骤8,执行所述最优响应动作,将所述最优响应动作转化为实际控制指令并下发执行以应对网络攻击,执行步骤9。
15、5)经验存储与更新模块:存储交互数据并实现策略和安全评估网络的持续学习。
16、步骤9,获取动作执行后的奖励、安全控制约束值、动作冲突约束值和下一时刻系统状态,将交互元组存储至经验回放缓冲区,执行步骤10。
17、步骤10,更新安全评估网络和策略网络,基于所述回放缓冲区中的采样数据更新所述安全评估网络和策略网络参数,实现持续学习与优化。
18、本发明的有益效果是:
19、一、本发明提出了一个针对工业控制系统的双约束入侵响应模型。该模型将安全控制逻辑与防御动作一致性整合至响应决策过程之中。使入侵响应策略不再仅从网络防御收益出发,从而降低响应动作破坏控制过程安全的风险。
20、二、本发明提出了一种字典序策略优化方法,将严格层的安全可行子空间构造和松弛层的冲突正则化奖励优化分开处理,以在所构建的双重约束条件下优化响应策略。这种层次化架构从根本上打破了标准安全强化学习中统一的标量化策略优化机制,能够在保证物理过程安全的同时保持响应策略的防御能力和灵活性。
21、三、本发明通过在田纳西-伊斯曼过程基准测试中,证明了所提方法的有效性。针对多阶段网络攻击的评估结果表明,我们的方法相较于当前入侵响应模型,将防御成功率提升了30.3%,同时降低了安全控制违反与动作冲突成本,充分证明了其在提升工业控制系统安全响应方面的实际应用价值。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com