电力系统控制动作的生成方法及装置、介质、终端与流程

本技术涉及人工智能以及电力领域，特别是涉及一种电力系统控制动作的生成方法及装置、介质、终端。

背景技术：

1、随着人工智能技术在电力系统调度、运行控制及安全防御领域的广泛应用，基于智能体的自动化决策方法逐渐成为提升电网运行效率与安全性的重要技术方向。在电力系统运行过程中，智能体需要根据系统状态信息实时生成控制动作。因此，在构建智能体的过程中，对其进行鲁棒性评估是至关重要的环节。

2、现有技术中，绝大多数鲁棒性评估方法依赖单一类型的运行指标进行分析。

3、然而，由于仅依赖单一类型运行指标对智能体进行鲁棒性评估，难以全面反映智能体所生成的控制动作在复杂扰动条件下的整体稳定性，也无法有效评估智能体在极端运行场景下的脆弱程度，导致无法保证智能体的鲁棒性是否真正满足需求，进而导致生成的控制动作难以应对电网的快速变化的运行状态。

技术实现思路

1、有鉴于此，本技术提供一种电力系统控制动作的生成方法及装置、介质、终端，主要目的在于现有鲁棒性评估方法难以全面反映智能体所生成的控制动作在复杂扰动条件下的整体稳定性，也无法有效评估智能体在极端运行场景下的脆弱程度，导致无法保证智能体的鲁棒性是否真正满足需求，进而导致生成的控制动作难以应对电网的快速变化的运行状态的问题。

2、依据本技术一个方面，提供了一种电力系统控制动作的生成方法，包括：

3、在目标电网运行过程中，实时监测扰动事件，并在监测到扰动事件时获取所述目标电网的当前时刻电网状态时序数据；

4、基于已完成模型训练的控制动作生成智能体，根据所述当前时刻电网状态时序数据，生成当前时刻控制动作序列，其中，所述控制动作生成智能体是基于对抗网络构建，并以控制动作生成智能体的综合鲁棒性评分作为学习奖励进行模型训练得到的，所述综合鲁棒性评分用于评估控制动作生成智能体在扰动后不同运行阶段下的稳定性和安全性；

5、根据所述当前时刻控制动作序列对所述目标电网进行控制，以应对所述扰动事件。

6、优选的，所述基于已完成模型训练的控制动作生成智能体，根据所述当前时刻电网状态时序数据，生成当前时刻控制动作序列之前，所述方法还包括：

7、构建与所述目标电网相匹配的电力系统对抗仿真环境，并在所述电力系统对抗仿真环境中构建扰动生成智能体以及控制动作生成智能体；

8、在所述电力系统对抗仿真环境中控制所述扰动生成智能体生成仿真扰动事件，并获取所述仿真扰动事件发生后的当前仿真时刻电网状态时序数据，基于所述控制动作生成智能体，根据所述当前仿真时刻电网状态时序数据生成当前仿真时刻控制动作序列；

9、基于预设运行阶段划分规则，将所述当前仿真时刻电网状态时序数据划分为当前仿真时刻暂态运行阶段时序数据以及当前仿真时刻稳态运行阶段时序数据；

10、针对暂态运行阶段，从所述当前仿真时刻暂态运行阶段时序数据中获取预设暂态稳定性关键特征所对应的采样值，基于所述预设暂态稳定性关键特征所对应的采样值计算暂态系统偏差指标值，以及从所述当前仿真时刻暂态运行阶段时序数据中获取预设暂态响应特征所对应的采样值，基于所述预设暂态响应特征所对应的采样值计算暂态脆弱性流形特征指标值，以及根据所述仿真扰动事件的扰动强度计算暂态鲁棒性融合权重，并基于所述暂态鲁棒性融合权重对所述暂态系统偏差指标值以及所述暂态脆弱性流形特征指标值进行加权融合，得到暂态鲁棒性评分；

11、针对稳态运行阶段，从所述当前仿真时刻稳态运行阶段时序数据中获取预设稳态稳定性关键特征所对应的采样值，基于所述预设稳态稳定性关键特征所对应的采样值计算稳态系统偏差指标值，以及从所述当前仿真时刻稳态运行阶段时序数据中获取预设稳态响应特征所对应的采样值，基于所述预设稳态响应特征所对应的采样值计算稳态脆弱性流形特征指标值，以及根据所述仿真扰动事件的扰动强度计算稳态鲁棒性融合权重，并基于所述稳态鲁棒性融合权重对所述稳态系统偏差指标值以及所述稳态脆弱性流形特征指标值进行加权融合，得到稳态鲁棒性评分；

12、基于预设综合鲁棒性融合权重，对所述暂态鲁棒性评分以及所述稳态鲁棒性评分进行加权融合，得到当前仿真时刻综合鲁棒性评分；

13、将所述当前仿真时刻综合鲁棒性评分作为学习奖励，对所述控制动作生成智能体的策略参数进行更新；

14、重复进行仿真扰动事件生成、综合鲁棒性评分计算以及策略参数更新，直至控制动作生成智能体的综合鲁棒性评分满足预设收敛条件，得到已完成模型训练的控制动作生成智能体，以基于所述已完成模型训练的控制动作生成智能体生成控制动作序列。

15、优选的，所述将所述当前仿真时刻综合鲁棒性评分作为学习奖励，对所述控制动作生成智能体的策略参数进行更新之前，所述方法还包括：

16、获取所述预设暂态响应特征所对应的采样值以及所述预设稳态响应特征所对应的采样值，组合得到响应特征采样值集合；

17、针对所述响应特征采样值集合中的每个响应特征采样值，对当前响应特征采样值施加微小扰动，除所述当前响应特征采样值外的其他响应特征采样值保持不变，得到扰动后的响应特征采样值集合，以及基于所述扰动后的响应特征采样值集合，计算扰动后的综合鲁棒性评分，并计算所述扰动后的综合鲁棒性评分与所述当前仿真时刻综合鲁棒性评分之间的差值，作为所述当前响应特征采样值所对应的当前响应特征的鲁棒性评分贡献度；

18、将各个响应特征按照鲁棒性评分贡献度降序排列，得到响应特征序列，并从所述响应特征序列的首位起，按序选取预设数量的响应特征，生成关键物理变量集合，以基于所述关键物理变量集合以及所述当前仿真时刻综合鲁棒性评分生成学习奖励值。

19、优选的，所述预设暂态稳定性关键特征为系统频率特征，所述基于所述预设暂态稳定性关键特征所对应的采样值计算暂态系统偏差指标值，包括：

20、将系统频率特征所对应的采样值按照升序排列，得到系统频率特征采样值序列；

21、按照预设区间划分规则，将所述系统频率特征采样值序列划分为连续的多个频率区间；

22、针对每个频率区间，统计当前频率区间内采样值的数量，并计算所述数量占所述系统频率特征所对应的采样值的数量的比值，得到所述当前频率区间所对应的区间采样点出现概率；

23、根据各个频率区间的区间采样点出现概率计算暂态系统偏差信息熵值；

24、基于理论最大暂态系统偏差信息熵值，对所述暂态系统偏差信息熵值进行暂态系统偏差信息熵归一化处理，得到暂态系统偏差指标值。

25、优选的，所述预设暂态响应特征包括系统频率特征、功角动态特征以及电压暂态响应特征，所述基于所述预设暂态响应特征所对应的采样值计算暂态脆弱性流形特征指标值，包括：

26、基于所述系统频率特征所对应的采样值、所述功角动态特征所对应的采样值以及所述电压暂态响应特征所对应的采样值，构建暂态高维采样值矩阵；

27、对所述暂态高维采样值矩阵中的每个采样值进行暂态特征维度归一化处理，得到完成暂态特征维度归一化处理的暂态高维采样值矩阵；

28、针对每个完成暂态特征维度归一化处理的暂态高维采样值，基于流形学习算法将当前完成暂态特征维度归一化处理的暂态高维采样值降维至低维空间，得到所述当前完成暂态特征维度归一化处理的暂态高维采样值所对应的低维空间坐标；

29、获取预设常态簇中心坐标，分别计算各个完成暂态特征维度归一化处理的暂态高维采样值的低维空间坐标与所述预设常态簇中心坐标之间的暂态偏离距离，并计算全部所述暂态偏离距离的均值，得到暂态流形偏离指标值；

30、基于最大暂态偏离距离，对所述暂态流形偏离指标值进行暂态流形偏离指标归一化处理，得到暂态脆弱性流形特征指标值。

31、优选的，所述预设稳态稳定性关键特征为节点电压幅值特征，所述基于所述预设稳态稳定性关键特征所对应的采样值计算稳态系统偏差指标值，包括：

32、将节点电压幅值特征所对应的采样值按照升序排列，得到节点电压幅值特征采样值序列；

33、按照预设区间划分规则，将所述节点电压幅值特征采样值序列划分为连续的多个节点电压幅值区间；

34、针对每个节点电压幅值区间，统计当前节点电压幅值区间内采样值的数量，并计算所述数量占所述节点电压幅值特征所对应的采样值的数量的比值，得到所述当前节点电压幅值区间所对应的区间采样点出现概率；

35、根据各个节点电压幅值区间的区间采样点出现概率计算稳态系统偏差信息熵值；

36、基于理论最大稳态系统偏差信息熵值，对所述稳态系统偏差信息熵值进行稳态系统偏差信息熵归一化处理，得到稳态系统偏差指标值。

37、优选的，所述预设稳态响应特征包括节点电压幅值特征、线路有功潮流特征以及机组有功出力特征，所述基于所述预设稳态响应特征所对应的采样值计算稳态脆弱性流形特征指标值，包括：

38、基于所述节点电压幅值特征所对应的采样值、所述线路有功潮流特征所对应的采样值以及所述机组有功出力特征所对应的采样值，构建稳态高维采样值矩阵；

39、对所述稳态高维采样值矩阵中的每个采样值进行稳态特征维度归一化处理，得到完成稳态特征维度归一化处理的稳态高维采样值矩阵；

40、针对每个完成稳态特征维度归一化处理的稳态高维采样值，基于流形学习算法将当前完成稳态特征维度归一化处理的稳态高维采样值降维至低维空间，得到所述当前完成稳态特征维度归一化处理的稳态高维采样值所对应的低维空间坐标；

41、获取预设常态簇中心坐标，分别计算各个完成稳态特征维度归一化处理的稳态高维采样值的低维空间坐标与所述预设常态簇中心坐标之间的稳态偏离距离，并计算全部所述稳态偏离距离的均值，得到稳态流形偏离指标值；

42、基于最大稳态偏离距离，对所述稳态流形偏离指标值进行稳态流形偏离指标归一化处理，得到稳态脆弱性流形特征指标值。

43、依据本技术另一个方面，提供了一种电力系统控制动作的生成装置，包括：

44、扰动事件监测模块，用于在目标电网运行过程中，实时监测扰动事件，并在监测到扰动事件时获取所述目标电网的当前时刻电网状态时序数据；

45、控制动作序列生成模块，用于基于已完成模型训练的控制动作生成智能体，根据所述当前时刻电网状态时序数据，生成当前时刻控制动作序列，其中，所述控制动作生成智能体是基于对抗网络构建，并以控制动作生成智能体的综合鲁棒性评分作为学习奖励进行模型训练得到的，所述综合鲁棒性评分用于评估控制动作生成智能体在扰动后不同运行阶段下的稳定性和安全性；

46、控制动作序列执行模块，用于根据所述当前时刻控制动作序列对所述目标电网进行控制，以应对所述扰动事件。

47、优选的，所述控制动作序列生成模块之前，所述装置还包括控制动作生成智能体训练模块，包括：

48、智能体构建单元，用于构建与所述目标电网相匹配的电力系统对抗仿真环境，并在所述电力系统对抗仿真环境中构建扰动生成智能体以及控制动作生成智能体；

49、对抗仿真单元，用于在所述电力系统对抗仿真环境中控制所述扰动生成智能体生成仿真扰动事件，并获取所述仿真扰动事件发生后的当前仿真时刻电网状态时序数据，基于所述控制动作生成智能体，根据所述当前仿真时刻电网状态时序数据生成当前仿真时刻控制动作序列；

50、运行阶段划分单元，用于基于预设运行阶段划分规则，将所述当前仿真时刻电网状态时序数据划分为当前仿真时刻暂态运行阶段时序数据以及当前仿真时刻稳态运行阶段时序数据；

51、暂态鲁棒性评分计算单元，用于针对暂态运行阶段，从所述当前仿真时刻暂态运行阶段时序数据中获取预设暂态稳定性关键特征所对应的采样值，基于所述预设暂态稳定性关键特征所对应的采样值计算暂态系统偏差指标值，以及从所述当前仿真时刻暂态运行阶段时序数据中获取预设暂态响应特征所对应的采样值，基于所述预设暂态响应特征所对应的采样值计算暂态脆弱性流形特征指标值，以及根据所述仿真扰动事件的扰动强度计算暂态鲁棒性融合权重，并基于所述暂态鲁棒性融合权重对所述暂态系统偏差指标值以及所述暂态脆弱性流形特征指标值进行加权融合，得到暂态鲁棒性评分；

52、稳态鲁棒性评分计算单元，用于针对稳态运行阶段，从所述当前仿真时刻稳态运行阶段时序数据中获取预设稳态稳定性关键特征所对应的采样值，基于所述预设稳态稳定性关键特征所对应的采样值计算稳态系统偏差指标值，以及从所述当前仿真时刻稳态运行阶段时序数据中获取预设稳态响应特征所对应的采样值，基于所述预设稳态响应特征所对应的采样值计算稳态脆弱性流形特征指标值，以及根据所述仿真扰动事件的扰动强度计算稳态鲁棒性融合权重，并基于所述稳态鲁棒性融合权重对所述稳态系统偏差指标值以及所述稳态脆弱性流形特征指标值进行加权融合，得到稳态鲁棒性评分；

53、综合鲁棒性评分计算单元，用于基于预设综合鲁棒性融合权重，对所述暂态鲁棒性评分以及所述稳态鲁棒性评分进行加权融合，得到当前仿真时刻综合鲁棒性评分；

54、智能体策略参数更新单元，用于将所述当前仿真时刻综合鲁棒性评分作为学习奖励，对所述控制动作生成智能体的策略参数进行更新；

55、循环训练单元，用于重复进行仿真扰动事件生成、综合鲁棒性评分计算以及策略参数更新，直至控制动作生成智能体的综合鲁棒性评分满足预设收敛条件，得到已完成模型训练的控制动作生成智能体，以基于所述已完成模型训练的控制动作生成智能体生成控制动作序列。

56、优选的，所述智能体策略参数更新单元之前，所述控制动作生成智能体训练模块还包括归因分析单元，用于：

57、获取所述预设暂态响应特征所对应的采样值以及所述预设稳态响应特征所对应的采样值，组合得到响应特征采样值集合；

58、针对所述响应特征采样值集合中的每个响应特征采样值，对当前响应特征采样值施加微小扰动，除所述当前响应特征采样值外的其他响应特征采样值保持不变，得到扰动后的响应特征采样值集合，以及基于所述扰动后的响应特征采样值集合，计算扰动后的综合鲁棒性评分，并计算所述扰动后的综合鲁棒性评分与所述当前仿真时刻综合鲁棒性评分之间的差值，作为所述当前响应特征采样值所对应的当前响应特征的鲁棒性评分贡献度；

59、将各个响应特征按照鲁棒性评分贡献度降序排列，得到响应特征序列，并从所述响应特征序列的首位起，按序选取预设数量的响应特征，生成关键物理变量集合，以基于所述关键物理变量集合以及所述当前仿真时刻综合鲁棒性评分生成学习奖励值。

60、优选的，所述预设暂态稳定性关键特征为系统频率特征，所述暂态鲁棒性评分计算单元，用于：

61、将系统频率特征所对应的采样值按照升序排列，得到系统频率特征采样值序列；

62、按照预设区间划分规则，将所述系统频率特征采样值序列划分为连续的多个频率区间；

63、针对每个频率区间，统计当前频率区间内采样值的数量，并计算所述数量占所述系统频率特征所对应的采样值的数量的比值，得到所述当前频率区间所对应的区间采样点出现概率；

64、根据各个频率区间的区间采样点出现概率计算暂态系统偏差信息熵值；

65、基于理论最大暂态系统偏差信息熵值，对所述暂态系统偏差信息熵值进行暂态系统偏差信息熵归一化处理，得到暂态系统偏差指标值。

66、优选的，所述预设暂态响应特征包括系统频率特征、功角动态特征以及电压暂态响应特征，所述暂态鲁棒性评分计算单元，还用于：

67、基于所述系统频率特征所对应的采样值、所述功角动态特征所对应的采样值以及所述电压暂态响应特征所对应的采样值，构建暂态高维采样值矩阵；

68、对所述暂态高维采样值矩阵中的每个采样值进行暂态特征维度归一化处理，得到完成暂态特征维度归一化处理的暂态高维采样值矩阵；

69、针对每个完成暂态特征维度归一化处理的暂态高维采样值，基于流形学习算法将当前完成暂态特征维度归一化处理的暂态高维采样值降维至低维空间，得到所述当前完成暂态特征维度归一化处理的暂态高维采样值所对应的低维空间坐标；

70、获取预设常态簇中心坐标，分别计算各个完成暂态特征维度归一化处理的暂态高维采样值的低维空间坐标与所述预设常态簇中心坐标之间的暂态偏离距离，并计算全部所述暂态偏离距离的均值，得到暂态流形偏离指标值；

71、基于最大暂态偏离距离，对所述暂态流形偏离指标值进行暂态流形偏离指标归一化处理，得到暂态脆弱性流形特征指标值。

72、优选的，所述预设稳态稳定性关键特征为节点电压幅值特征，所述稳态鲁棒性评分计算单元，用于：

73、将节点电压幅值特征所对应的采样值按照升序排列，得到节点电压幅值特征采样值序列；

74、按照预设区间划分规则，将所述节点电压幅值特征采样值序列划分为连续的多个节点电压幅值区间；

75、针对每个节点电压幅值区间，统计当前节点电压幅值区间内采样值的数量，并计算所述数量占所述节点电压幅值特征所对应的采样值的数量的比值，得到所述当前节点电压幅值区间所对应的区间采样点出现概率；

76、根据各个节点电压幅值区间的区间采样点出现概率计算稳态系统偏差信息熵值；

77、基于理论最大稳态系统偏差信息熵值，对所述稳态系统偏差信息熵值进行稳态系统偏差信息熵归一化处理，得到稳态系统偏差指标值。

78、优选的，所述预设稳态响应特征包括节点电压幅值特征、线路有功潮流特征以及机组有功出力特征，所述稳态鲁棒性评分计算单元，还用于：

79、基于所述节点电压幅值特征所对应的采样值、所述线路有功潮流特征所对应的采样值以及所述机组有功出力特征所对应的采样值，构建稳态高维采样值矩阵；

80、对所述稳态高维采样值矩阵中的每个采样值进行稳态特征维度归一化处理，得到完成稳态特征维度归一化处理的稳态高维采样值矩阵；

81、针对每个完成稳态特征维度归一化处理的稳态高维采样值，基于流形学习算法将当前完成稳态特征维度归一化处理的稳态高维采样值降维至低维空间，得到所述当前完成稳态特征维度归一化处理的稳态高维采样值所对应的低维空间坐标；

82、获取预设常态簇中心坐标，分别计算各个完成稳态特征维度归一化处理的稳态高维采样值的低维空间坐标与所述预设常态簇中心坐标之间的稳态偏离距离，并计算全部所述稳态偏离距离的均值，得到稳态流形偏离指标值；

83、基于最大稳态偏离距离，对所述稳态流形偏离指标值进行稳态流形偏离指标归一化处理，得到稳态脆弱性流形特征指标值。

84、根据本技术的又一方面，提供了一种存储介质，所述存储介质中存储有至少一条可执行指令，所述可执行指令使处理器执行如上述电力系统控制动作的生成方法对应的操作。

85、根据本技术的再一方面，提供了一种终端，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；

86、所述存储器用于存放至少一条可执行指令，所述可执行指令使所述处理器执行上述电力系统控制动作的生成方法对应的操作。

87、借由上述技术方案，本技术实施例提供的技术方案至少具有下列优点：

88、本技术提供了一种电力系统控制动作的生成方法及装置、介质、终端，首先在目标电网运行过程中，实时监测扰动事件，并在监测到扰动事件时获取所述目标电网的当前时刻电网状态时序数据；其次，基于已完成模型训练的控制动作生成智能体，根据所述当前时刻电网状态时序数据，生成当前时刻控制动作序列，其中，所述控制动作生成智能体是基于对抗网络构建，并以控制动作生成智能体的综合鲁棒性评分作为学习奖励进行模型训练得到的，所述综合鲁棒性评分用于评估控制动作生成智能体在扰动后不同运行阶段下的稳定性和安全性；最后，根据所述当前时刻控制动作序列对所述目标电网进行控制，以应对所述扰动事件。与现有技术相比，本技术实施例通过基于对抗网络构建控制动作生成智能体，并以综合鲁棒性评分作为强化学习奖励进行模型训练，使得控制动作生成智能体在训练过程中能够主动学习应对复杂对抗扰动场景；并且，综合鲁棒性评分综合评估了控制动作生成智能体在扰动后不同运行阶段的稳定性和安全性，避免了仅依赖单一类型运行指标所导致的片面性，能够全面反映控制动作在复杂扰动条件下的整体稳定性；同时，由于综合评分机制能够量化控制动作生成智能体在极端运行场景下的脆弱程度，并通过奖励信号引导智能体优化策略参数，从而有效提升了控制动作生成智能体对电网快速变化运行状态的适应能力，保证了生成的控制动作在各类扰动事件下的鲁棒性和可靠性。

89、上述说明仅是本技术技术方案的概述，为了能够更清楚了解本技术的技术手段，而可依照说明书的内容予以实施，并且为了让本技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本技术的具体实施方式。