用于监测控制器的决策逻辑的性能的方法和监控系统与流程

1.本发明涉及用于监测工业自动化控制系统(iacs)，特别是配电系统、电力传输或发电系统的控制器的决策逻辑的性能的方法、设备和系统。更具体地，本发明涉及一种允许在控制器现场运行期间评估决策逻辑的技术。


背景技术：

2.现代工业自动化控制系统(iacs)，例如发电系统或输电系统、电网或变电站以及现代工业系统包括大量部件。此类系统的例如保护继电器等的保护设备的决策逻辑决定在何种情况下采取各种动作中的哪一种。
3.例如，在电力行业的实时运行中，通过测量系统(电压、电流)、数字继电器和断路器保护输配电系统装备(包括变压器、架空线、地下电缆、串联/并联元件等)。部署在数字继电器中的控制逻辑利用测量的信号，确定是否存在应该清除的严重故障以避免损坏系统装备并最终向断路器发送断开信号。快速确定和清除故障对于整个系统的可靠性和安全性而言至关重要。
4.每个继电器的决策逻辑(即，保护逻辑)以及多个继电器之间的协调方案都在预期的电网场景下经过设计和测试。通常，这由人类专家工程师完成。在设计阶段，工程师对故障和其他干扰(例如电网中的切换事件)进行模拟，以评估和改进保护控制逻辑的性能。性能度量通常由给定电网的通行实践设置。一旦部署，保护逻辑将保持不变，直到观察到其性能错误为止。
5.由于转换器接口发电普及并取代了传统的发电机，为电力供应在时间和空间上引入了更多随机性，加上电动交通的激增为需求引入了更多随机性，因此保护系统的设计越来越复杂。此外，由于缺乏由转换器接口发电机提供的短路电流容量和短路电流的不同性质(例如延迟过零、失真信号等)以及由于发电的空间模式变化而产生的多向电流，因此希望保护系统调整以适应不断变化的环境。
6.因此，保护逻辑的开发成为一项日益复杂的任务。此外，由于电网基础设施以及发电/需求模式的变化，需要更频繁地重新评估保护系统的适用性，因此需要越来越频繁地执行此任务。
7.保护逻辑设计的传统做法是针对每个特定的设计案例，专家工程师在多个保护功能(例如过流、方向、距离、差动保护)或它们的组合中进行选择并确定与所选功能(多个所选功能)相关联的设置(即，功能参数)。越来越复杂的输电和/或配电系统的运行接近其极限是一项需要组合不同功能的结果的任务。可以同时部署在现场的多个控制器的交互使得该任务更加艰巨。
8.为了在建立决策逻辑的具有高度复杂性的任务的过程中协助专家工程师，可以使用基于计算机的技术。
9.不仅是生成，而且在现场运行期间对决策逻辑的监测也是一项复杂任务。这尤其适用于决策逻辑不(仅)由专家工程师生成，而且决策逻辑的生成是以计算机实施方式完
成，例如基于机器学习(ml)技术完成的情况。例如，当使用ml生成决策逻辑时，人类专家在控制器的现场运行期间评估决策逻辑的性能可能变得具有挑战性。
10.典型的ml系统在学习各种功能的能力方面非常强大，但它们在人类工程师面前经常表现为黑匣子。这可能存在各种缺点。例如，对于人类工程师来说，通常无法理解通过训练决策ml模型获得的决策逻辑如何将输入信号映射到各种可行的控制动作。当可能需要修改决策逻辑以响应电力系统拓扑的变化或电力系统的其他更新时，这给人类工程师带来了具有挑战性的任务。


技术实现要素：

11.需要提供用于监测由工业自动化控制系统iacs，特别是配电系统、电力传输系统或发电系统的控制器执行的决策逻辑的性能的改进技术。特别需要一种改进技术，使得允许在控制器的现场运行期间自动监测和评估决策逻辑。需要一种改进技术，即使例如当已经使用机器学习(ml)技术创建决策逻辑而未明确了解决策逻辑的内部运行时，使得允许自动监测和评估决策逻辑。
12.根据本发明的实施例，提供了实施监控系统的方法和系统，该监控系统在控制器的现场运行期间以持续方式自主评估决策逻辑(例如，控制逻辑)是否按照质量标准执行。
13.监控系统可运行以确定是否需要更新决策逻辑。
14.监控系统可以运行，以在变化环境中自主评估决策逻辑的性能和/或适用性。
15.监控系统生成的输出可以通过人机界面(hmi)输出和/或可以反馈到自动生成针对iacs的控制器的决策逻辑的系统中。
16.用于执行决策逻辑评估的监控系统可以是控制系统的组成部分，或者该监控系统可以驻留在外部系统中，例如作为云服务的一部分。
17.监控系统可以监测控制器动作以及环境，可以运行以评估控制器关于(一组)性能度量的性能，可以运行以确定环境中的变化并评估决策逻辑是否符合它最初设计的目标。监控系统可以自动通知操作员需要重新设计或更新决策逻辑，从而可选地提供关于需要更新的根本原因的见解和指导，和/或可以自动触发对决策逻辑的计算机实施的设计过程的修改。
18.根据实施例，一种在控制器的现场运行期间监测工业自动化控制系统(iacs)的控制器，特别是电力系统的控制器的决策逻辑的性能的方法。该方法可以包括接收在控制器的现场运行期间收集的运行数据。该方法可以包括使用在控制器的现场运行之前产生的运行前数据和/或性能评估逻辑来执行运行数据的分析以评估决策逻辑的性能，该性能评估逻辑在控制器的现场运行之前和/或使用在创建决策逻辑的计算机实施过程中生成的数据生成。该方法可以包括基于分析结果生成分析输出。
19.该方法可以由监控系统自动执行。
20.运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
21.执行分析可以包括根据至少一个度量根据决定输出计算一个或多个关键性能指标(kpi)。
22.至少一个度量可以取决于用户输入。
23.该方法还可以包括在用户界面接收指定至少一个度量的用户输入。
24.运行数据还可以包括影响控制器运行的电力系统数据。
25.电力系统数据可以包括以下中的至少一个、几个或全部：在控制器可以连接到的总线上的数据、来自与控制器可以连接到的总线不同的总线上的数据、来自全系统范围测量结果的数据、来自能源管理系统(ems)的数据、来自配电管理系统(dms)的数据。
26.可以使用运行前数据来执行分析。
27.该方法还可以包括在控制器的现场运行期间从数据库检索运行前数据。
28.运行前数据可以包括以下至少一种、几种或全部：用于在生成决策逻辑时执行模拟的模型；生成决策逻辑时模拟的场景、测试用例和/或事件；在生成决策逻辑时执行的模拟中决策逻辑的性能。
29.执行分析可以包括评估用于在生成决策逻辑时执行模拟的模型的准确性。
30.在生成决策逻辑时评估用于执行模拟的模型的准确性可以包括在控制器现场运行期间的模型验证、校准和/或确定和/或将控制器现场运行期间观察到的信号与根据在生成决策逻辑时用于执行模拟的模型预期的信号进行比较。
31.替代地或附加地，执行分析可以包括评估在生成决策逻辑时模拟的场景、测试用例和/或事件。
32.评估在生成决策逻辑时模拟的场景、测试用例和/或事件可以包括将控制器的现场运行期间观察到的运行点与由在生成决策逻辑时模拟的场景、测试用例和/或事件产生的运行点进行比较。
33.替代地或附加地，执行分析可以包括将控制器在现场运行期间采取的控制动作与在生成决策逻辑时模拟的控制动作进行比较。
34.比较现场运行期间控制器采取的控制动作和生成决策逻辑时模拟的控制动作可以包括：创建数据集，该数据集包括系统运行条件和在控制器现场运行期间控制器采取的控制动作；和将该数据集与运行前数据进行比较，所述运行前数据包括系统运行条件和生成决策逻辑时模拟的由此发生的控制动作。
35.替代地或附加地，执行分析可以包括将控制器在现场运行期间所采取的决定输出的至少一个、多个或所有kpi的值与存储在运行前数据中的至少一个、多个或所有kpi的值进行比较。
36.在控制器的现场运行期间，监控系统可以从数据库中检索关于以下中的一个或下列：在生成决策逻辑时用于执行模拟的模型、在生成决策逻辑时模拟的场景、测试用例和/或事件、在生成决策逻辑时模拟的控制动作、kpi的信息。
37.不仅可以针对现场运行中使用的决策逻辑检索和处理，还可以针对在决策逻辑创建过程中考虑的一种或几种替代决策逻辑检索和处理关于以下中的一个或下列：在生成决策逻辑时用于执行模拟的模型、在生成决策逻辑时模拟的场景、测试用例和/或事件、在生成决策逻辑时模拟的控制动作、kpi的信息。
38.现场运行中使用的决策逻辑以及决策逻辑创建过程中考虑的一种或几种替代决策逻辑可以是决策逻辑ml模型，特别是人工神经网络(ann)。可以区分现场运行中使用的决策逻辑和决策逻辑创建过程中考虑的一个或几个替代决策逻辑两者的决策逻辑ml模型拓扑(例如，在层数上)和/或参数(例如ann的正向函数链的权重)。
39.替代地或附加地，监控系统可以使用性能评估逻辑来执行分析。
40.性能评估逻辑可用于执行分析，而无需在控制器的现场运行期间访问包括关于生成决策逻辑的信息的数据库。
41.性能评估逻辑可以在控制器的现场运行期间自主运行。
42.性能评估逻辑可以执行分类任务。
43.性能评估逻辑可以接收运行数据作为输入并且可以生成具有多个离散值的分析输出。
44.多个离散值可以包括指示是否认为决策逻辑根据基于性能度量的标准操作。
45.多个离散值可以包括至少一个值，该值指示决策逻辑被认为根据基于性能度量的标准运行，但是逐渐接近不可接受的运行机制。
46.性能评估逻辑可以接收可以包括电压、电流、相量和/或正交测量的输入。
47.替代地或附加地，性能评估逻辑可以接收可以包括电力系统拓扑的输入。
48.替代地或附加地，性能评估逻辑可以接收可以包括天气信息的输入。
49.替代地或附加地，性能评估逻辑可以接收可以包括电价的输入。
50.性能评估逻辑可以生成可以是指示决策逻辑的适用性的标志的输出。
51.替代地或附加地，性能评估逻辑可以生成输出，该输出可以包括指示何时可能需要修正或以其他方式重新访问决策逻辑的预测时间信息。
52.替代地或附加地，性能评估逻辑可以生成输出，该输出可以包括关于决策逻辑的性能不佳的可能根本原因的信息。
53.替代地或附加地，性能评估逻辑可以生成输出，该输出可以包括关于根本原因解决方案的信息，所述根本原因解决方案可以指示如何能够改进决策逻辑。
54.关于性能不佳的可能根本原因的信息和/或关于根本原因解决方案的信息可以包括场景参数，特别是场景签名(即，作为输入到决策逻辑的输入的参数或参数组合)。
55.性能评估逻辑可以是性能评估ml模型。
56.性能评估逻辑可以是人工神经网络。
57.可以使用在生成决策逻辑期间生成的数据来训练实施性能评估逻辑的性能评估ml模型。
58.可以在控制器的现场运行之前和已经生成决策逻辑之后训练实施性能评估逻辑的性能评估ml模型。
59.该方法可以包括用第二场景集合训练机器学习模型。
60.第二场景集合可以包括可能在控制器的运行规范之外的场景。
61.第二场景集合可以不同于用于训练决策逻辑的第一场景集合。
62.该方法可以进一步包括用挑战决策逻辑的另外的场景生成ml模型生成第二场景集合的至少一个子集。
63.可以使用场景创建逻辑来生成第一场景集合和/或第二场景集合。
64.第一场景集合和/或第二场景集合可以由另外的机器学习模型生成。第一场景集合和/或第二场景集合可以使用生成对抗网络生成。
65.该方法还可以包括监测或预测分析结果的时间相关演变和基于该时间相关演变生成分析输出。
66.预测时间相关演变可以包括预测未来运行点和预测决策逻辑针对预测的未来运
行点的决定输出。
67.如果时间相关演变表明未来控制器性能不满足基于性能度量的标准，则可以自动生成警报、警告或其他分析输出。
68.可以使用监控系统来预测决策逻辑的性能的时间相关的未来演变。
69.为了允许性能评估逻辑执行预测，该方法可以包括使用场景批次训练性能评估逻辑，每个批次代表一个时间序列。
70.该方法可以包括场景批次的计算机实施生成，其中演变由一个或多个潜在变量驱动。
71.潜在变量(多个潜在变量)可以与以确定方式定义场景的实际变量相关联。
72.潜在变量(多个潜在变量)可以与以随机方式定义场景的实际变量相关联。
73.为了允许性能评估逻辑执行预测，监控系统可以替代地或附加地执行至少一个预测器，其中将预测器的输出作为输入供应给性能评估逻辑。
74.监控系统可以执行性能评估逻辑的多个预测器和多个实例，多个预测器中的每一个生成性能评估逻辑的输入。
75.预测器(多个预测器)可以接收运行数据作为输入并且可以基于例如历史数据生成对未来运行点的预测。
76.当部署多个预测器时，多个预测器可以为多个不同的时间点和/或多个不同的环境条件生成预测。
77.预测器(多个预测器)可以是循环神经网络。
78.该方法还可以包括控制人机界面hmi以输出分析输出，其中分析输出包括关于控制器在现场运行期间的过去、当前和/或预测的未来性能的信息。
79.一种运营电力系统的电力系统资产的方法可以包括在控制器的现场运行期间由控制器的至少一个集成电路执行决策逻辑，其包括生成和输出决定输出以控制电力系统资产。
80.该方法可以进一步包括由控制器的至少一个集成电路或由至少一个、若干或所有其他的集成电路执行前述权利要求中任一项所述的用于监测在控制器的现场运行期间控制器的决策逻辑的方法。
81.该方法还可以包括经由人机界面hmi输出分析输出，和/或基于分析输出自动执行控制动作。
82.控制动作可以触发决策逻辑的重新生成或更新。
83.该方法还可以包括针对现场运行期间决策逻辑的不良性能执行根本原因确定和/或提供用于改进现场运行期间的决策逻辑的指示。
84.该方法还可以包括执行根本原因解决方案。根本原因解决方案可以包括确定需要修改实际运行场景的哪个场景参数(哪些场景参数)以使得决策逻辑满足基于性能度量的标准。
85.根本原因解决方案可以包括由监控系统确定导致决策逻辑的性能满足基于性能度量的标准的场景参数空间中的偏移。
86.确定场景参数空间中的偏移可以包括执行受约束的优化。
87.受约束的优化可以使用作为偏移标准的目标函数。
88.受约束的优化可以使用性能评估逻辑来确定是否满足约束。
89.执行分析可以包括由监控系统确定由于电力系统的外生因素(例如空间和/或时间需求概况和/或天气条件)而导致不足的决策逻辑的性能。
90.替代地或附加地，执行分析可以包括由监控系统确定由于电力系统基础设施的变化(例如新的传输和/或配电线路、新的发电或存储容量、新控制器的安装，可能是由切换引起的正在运行中的拓扑变化)而导致不足的决策逻辑性能。
91.替代地或附加地，执行分析可以包括由监控系统确定由于电力系统的另一个控制器执行的另一个决策逻辑的改变而导致不足的决策逻辑性能。
92.替代地或附加地，执行分析可以包括由监控系统确定由于性能度量的改变而导致不足的决策逻辑性能。
93.决策逻辑可以通过处理控制器输入来生成决定输出，该控制器输入包括本地可用的测量、远程捕获的测量、全系统范围观察结果中的一个、几个或全部。
94.控制器可以是分布式能源(der)的控制器。
95.控制器可以是本地控制器。
96.本地控制器可以从由以下各项组成的组中选择：保护继电器、发电机的控制系统(例如调速器和励磁机/自动电压调节器)、高压直流(hvdc)设备的控制系统、柔性交流输电系统(facts)设备的控制系统、开关电容器和/或电抗器的决定逻辑、低频卸载继电器和欠压卸载继电器。
97.控制器可以是中央控制器。
98.中央控制器可以选自由以下组成的组：ems/dms，例如用于二次频率控制的决策逻辑、用于发电再调度的决策逻辑、用于需求灵活性的使用的决策逻辑、用于重合闸操作的决策逻辑、通过无功功率再调度进行二次电压控制的决策逻辑、协调整个电网的动作的决策逻辑(例如在系统保护方案或补救行动方案的情况下，所述系统保护方案或所述补救措施方案通常在干扰之后激活)。
99.控制器可以控制可控参数，该可控参数可以选自由以下各项组成的组：一个或多个发电机和/或能量存储系统的有功(p)和无功(q)功率注入；直流链路或背靠背直流的p/q注入；facts设备(如svc或statcom)的q注入；功率流控制设备；一个或多个电容器组、电抗器和oltc的分接位置；要求；电子交通平台的p/q注入；开关和/或重合器的状态。
100.用于在控制器现场运行期间工业自动化控制系统iacs的控制器，特别是电力系统的控制器的决策逻辑的监控系统包括至少一个集成电路，该集成电路用于接收在现场运行期间收集的运行数据。至少一个集成电路可以运行，以执行运行数据的分析以使用在控制器现场运行之前产生的运行前数据和/或性能评估逻辑评估决策逻辑的性能，在控制器的现场运行之前生成和/或使用在创建决策逻辑的计算机实施过程中生成的数据生成该性能评估逻辑。至少一个集成电路可以运行以基于分析结果产生分析输出。
101.监控系统可以运行，使得运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
102.监控系统可以运行，使得执行分析可以包括根据至少一个度量从决定输出计算一个或多个关键性能指标(kpi)。
103.监控系统可以运行，使得至少一个度量可以取决于用户输入。
104.监控系统可以运行，用于在用户界面处接收指定至少一个度量的用户输入。
105.监控系统可以运行，使得运行数据可以进一步包括影响控制器运行的电力系统数据。
106.监控系统可以运行，使得电力系统数据可以包括以下中的至少一个、几个或全部：在控制器可以连接到的总线上的数据，来自与控制器连接到的总线不同的总线上的数据、来自系统范围测量结果的数据、来自能源管理系统(ems)的数据、来自配电管理系统(dms)的数据。
107.监控系统可以运行，使得可以使用运行前数据进行分析。
108.监控系统可以运行，用于在控制器的现场运行期间从数据库检索运行前数据。
109.监控系统可以运行，使得运行前数据可以包括以下中的至少一个、几个或全部：在生成决策逻辑时用于执行模拟的模型；生成决策逻辑时模拟的场景、测试用例和/或事件；在生成决策逻辑时执行的模拟中的决策逻辑的性能。
110.监控系统可以运行，使得执行分析可以包括在生成决策逻辑时评估用于执行模拟的模型的准确性。
111.监控系统可以运行，使得在生成决策逻辑时评估用于执行模拟的模型的准确性可以包括控制器现场运行期间的模型验证、校准和/或确定和/或比较在控制器现场运行期间观察到的信号与在生成决策逻辑时根据用于执行模拟的模型预期的信号。
112.替代地或附加地，监控系统可以运行，使得执行分析可以包括评估在生成决策逻辑时模拟的场景、测试用例和/或事件。
113.监控系统可以运行，使得评估在生成决策逻辑时模拟的场景、测试用例和/或事件可以包括将控制器现场运行期间观察到的运行点与由在产生决策逻辑时模拟的场景、测试用例和事件产生的运行点进行比较。
114.替代地或附加地，监控系统可以运行，使得执行分析可以包括将控制器在现场运行期间采取的控制动作与在生成决策逻辑时模拟的控制动作进行比较。
115.监控系统可以运行，使得比较控制器在现场运行期间采取的控制动作和在生成决策逻辑时模拟的控制动作可以包括：创建数据集，该数据集包括系统运行条件和控制器在现场运行期间采取的控制动作；和比较数据集与运行前数据，该运行前数据包括生成决策逻辑时模拟的系统运行条件和由此而实施的控制动作。
116.替代地或附加地，监控系统可以运行，使得执行分析可以包括比较控制器在现场运行期间采取的决定输出的一个、几个或所有kpi和存储在运行前数据中的至少一个、几个或所有kpi的值。
117.监控系统可以运行，以在控制器的现场运行期间接收关于以下一个或下列当生成决策逻辑时用于执行模拟的模型中的一个或多个、在生成决策逻辑时模拟的场景、测试用例和/或事件、当生成决策逻辑时模拟的控制动作、来自数据库的kpi的信息。
118.监控系统可以运行，以接收和处理关于以下一个或下列当生成决策逻辑时用于执行模拟的模型、当生成决策逻辑时模拟的场景、测试用例和/或事件、当生成决策逻辑时模拟的控制动作、不仅用于现场运行时使用的决策逻辑还用于在决策逻辑创建过程中考虑的一个或多个若干个替代决策逻辑的kpi的信息。
119.现场运行中使用的决策逻辑以及决策逻辑创建过程中考虑的一种或几种替代决
策逻辑可以是决策逻辑ml模型，特别是人工神经网络(ann)。可以区分现场运行中使用的决策逻辑和决策逻辑创建过程中考虑的一个或几个替代决策逻辑两者的决策逻辑ml模型拓扑(例如，在层数上)和/或在参数中(例如ann正向函数的链权重)。
120.替代地或附加地，监控系统可以运行以使用性能评估逻辑来执行分析。
121.性能评估逻辑可以运行以执行分析，而同时又无需在控制器的现场运行期间访问包括关于生成决策逻辑的信息的数据库。
122.性能评估逻辑可以在控制器的现场运行期间自主运行。
123.性能评估逻辑可以执行分类任务。
124.性能评估逻辑可以接收运行数据作为输入并且可以生成具有多个离散值的分析输出。
125.性能评估逻辑可以运行，使得多个离散值可以包括指示认为决策逻辑是否根据基于性能度量的标准来运行的值。
126.性能评估逻辑可以运行，使得多个离散值可以包括至少一个值，该值指示决策逻辑被认为根据基于性能度量的标准运行，但是逐渐接近不可接受的操作机制。
127.性能评估逻辑可以运行以接收可以包括电压、电流、相量和/或正交测量结果的输入。
128.替代地或附加地，性能评估逻辑可以运行，以接收可包括电力系统拓扑的输入。
129.替代地或附加地，性能评估逻辑可以运行，以接收可以包括天气信息的输入。
130.替代地或附加地，性能评估逻辑可以运行，以接收可以包括电价的输入。
131.性能评估逻辑可以运行，以生成输出，该输出可以是指示决策逻辑的适用性的标志。
132.替代地或附加地，性能评估逻辑可以运行以生成输出，该输出可以包括指示何时可能需要修正或以其他方式重新访问决策逻辑的预测时间信息。
133.替代地或附加地，性能评估逻辑可以运行以生成输出，该输出可以包括关于决策逻辑的不良性能的可能根本原因的信息。
134.替代地或附加地，性能评估逻辑可以运行以生成可以包括关于根本原因解决方案的信息的输出。有关根本原因解决方案的信息可以指示如何改进决策逻辑。
135.性能评估逻辑可以运行，使得关于根本原因解决方案的信息可以包括场景参数，特别是场景签名。
136.性能评估逻辑可以是性能评估ml模型。
137.性能评估逻辑可以是人工神经网络。
138.可以使用在生成决策逻辑期间生成的数据来训练实施性能评估逻辑的性能评估ml模型。
139.可以在控制器的现场运行之前和已经生成决策逻辑之后训练实施性能评估逻辑的性能评估ml模型。
140.可以使用第二场景集合训练实施性能评估逻辑的性能评估ml模型。
141.第二场景集合可以包括可能在控制器的运行规范之外的场景。
142.第二场景集合可以不同于训练决策逻辑的第一场景集合。
143.监控系统可以运行，用于监测或预测分析结果的时间相关演变并基于该时间相关
演变生成分析输出。
144.监控系统可以运行，使得预测时间相关演变可以包括预测未来运行点和预测用于预测的未来运行点的决策逻辑的决定输出。
145.监控系统可以运行，使得如果时间相关演变指示不满足基于性能度量的标准的未来控制器性能，便可以自动生成警报、警告或其他分析输出。
146.监控系统可以运行，使得可以使用监控系统来执行预测决策逻辑的性能的时间相关未来演变。
147.性能评估逻辑可以使用场景批次进行训练，每个批次代表一个时间序列。
148.场景批次可能会发生演变，其中演变由一个或多个潜在变量驱动。
149.潜在变量(多个潜在变量)可以与以确定方式定义场景的实际变量相关联。
150.潜在变量(多个潜在变量)可以与以随机方式定义场景的实际变量相关联。
151.监控系统可替代地或附加地运行，以执行至少一个预测器，其中预测器的输出作为输入供应给性能评估逻辑。
152.监控系统可以运行以执行性能评估逻辑的多个预测器和多个实例，该多个预测器中的每一个生成针对性能评估逻辑的输入。
153.预测器(多个预测器)可以运行以接收运行数据作为输入并且可以基于例如历史数据生成对未来运行点的预测。
154.当部署多个预测器时，多个预测器可以运行以生成针对多个不同时间点和/或针对多个不同环境条件的预测。
155.预测器(多个预测器)可以是循环神经网络。
156.监控系统可以运行以控制人机界面hmi输出分析输出，其中分析输出包括关于控制器在现场运行期间的过去、当前和/或预测的未来性能的信息。
157.监控系统可以运行，用于生成用于操作电力系统的电力系统资产的命令。
158.监控系统可以包括控制器，该控制器运行以在控制器的现场运行期间执行决策逻辑，其包括生成和输出决定输出以控制电力系统资产。
159.监控系统可以运行以基于分析输出经由人机界面hmi输出分析输出和/或基于分析输出自动执行控制动作。
160.监控系统可以运行，用于对现场运行期间决策逻辑的不良性能执行根本原因确定和/或提供用于改进现场运行期间的决策逻辑的指示。
161.监控系统可以运行，用于执行根本原因解决方案。监控系统可以运行，使得根本原因解决方案可以包括确定需要修改实际运行场景中的哪个场景参数以使得决策逻辑满足基于性能度量的标准。
162.监控系统可以运行，使得监控系统可以运行，以确定使得决策逻辑的性能满足基于性能度量的标准的场景参数空间中的偏移，以执行根本原因解决方案。
163.监控系统可以运行，使得确定场景参数空间中的偏移可以包括执行受约束的优化。
164.监控系统可以运行，使得受约束的优化可以使用作为偏移标准的目标函数。
165.监控系统可以运行，使得受约束的优化可以使用性能评估逻辑来确定是否满足约束。
166.监控系统可以运行，使得执行分析可以包括由监控系统确定由于电力系统的外生因素，例如空间和/或时间需求概况和/或天气条件而导致的决策逻辑性能不足。
167.替代地或附加地，监控系统可以运行，使得执行分析可以包括由监控系统确定由于电力系统基础设施的变化，例如新的传输和/或配电线路、新发电或存储容量、新控制器的安装、运行期间可能由开关引起的拓扑变化而导致的决策逻辑性能不足。
168.替代地或附加地，监控系统可以运行，使得执行分析可以包括由监控系统确定由于由电力系统的另一个控制器执行的另一个决策逻辑的改变而造成决策逻辑性能不足。
169.替代地或附加地，监控系统可以运行，使得执行分析可以包括由监控系统确定由于性能度量的改变而导致决策逻辑性能不足。
170.根据本发明的另一方面，提供了一种在工业自动化控制系统iacs的控制器，特别是电力系统的控制器在控制器现场运行期间监测决策逻辑的性能的方法，该方法由监控系统的至少一个集成电路执行并且包括：
171.接收在控制器现场运行期间收集的运行数据；
172.执行运行数据的分析以评估决策逻辑的性能，其中该分析包括确定导致决策逻辑的性能退化的未来系统运行条件的预测分析；和
173.至少基于预测分析的结果生成分析输出。
174.运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
175.预测分析可以包括预测未来运行点和预测用于预测的未来运行点的决策逻辑的决定输出。
176.预测分析可以由性能评估逻辑执行。
177.可以在控制器的现场运行之前生成和/或可以使用在创建决策逻辑的计算机实施过程中生成的数据生成性能评估逻辑。
178.为了允许性能评估逻辑执行预测，该方法可以包括使用场景批次训练性能评估逻辑，每个批次代表一个时间序列。
179.该方法可以包括场景批次的计算机实施生成，其中演变由一个或多个潜在变量驱动。
180.潜在变量(多个潜在变量)可以与以确定方式定义场景的实际变量相关联。
181.潜在变量(多个潜在变量)可以与以随机方式定义场景的实际变量相关联。
182.为了允许性能评估逻辑执行预测，监控系统可以替代地或附加地执行至少一个预测器，其中将预测器的输出作为输入供应给性能评估逻辑。
183.监控系统可以执行性能评估逻辑的多个预测器和多个实例，该多个预测器中的每一个生成性能评估逻辑的输入。
184.预测器(多个预测器)可以接收运行数据作为输入并且可以基于例如历史数据生成对未来运行点的预测。
185.当部署多个预测器时，多个预测器可以为多个不同的时间点和/或多个不同的环境条件生成预测。
186.预测器(多个预测器)可以是循环神经网络。
187.该方法还可以包括控制人机界面hmi以输出分析输出，其中分析输出包括关于控制器在现场运行期间的过去、当前和/或预测的未来性能的信息。
188.如果时间相关演变表明未来控制器性能不满足基于性能度量的标准，则可以自动生成警报、警告或其他分析输出。
189.根据本发明的另一方面，提供了一种在控制器的现场运行期间用于工业自动化控制系统iacs的控制器，特别是电力系统的控制器的决策逻辑的监控系统，该监控系统包括至少一个集成电路，所述集成电路可以运行，以：
190.接收在控制器现场运行期间收集的运行数据；
191.执行运行数据的分析以评估决策逻辑的性能，其中该分析包括确定导致决策逻辑性能下降的未来系统运行条件的预测分析；和
192.至少基于预测分析的结果生成分析输出。
193.监控系统可以运行，使得运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
194.监控系统可以运行，使得预测分析可以包括预测未来运行点和预测用于预测的未来运行点的决策逻辑的决定输出。
195.监控系统可以运行，使得预测分析可以由性能评估逻辑执行。
196.监控系统可以运行，使得在控制器的现场运行之前生成和/或使用在创建决策逻辑的计算机实施过程中生成的数据生成性能评估逻辑。
197.性能评估逻辑可以使用场景批次进行训练，每个批次代表一个时间序列。
198.场景批次的演变可以由一个或多个潜在变量驱动。
199.潜在变量(多个潜在变量)可以与以确定方式定义场景的实际变量相关联。
200.潜在变量(多个潜在变量)可以与以随机方式定义场景的实际变量相关联。
201.监控系统可替代地或附加地运行，以执行至少一个预测器，其中预测器的输出作为输入提供给性能评估逻辑。
202.监控系统可以运行，以执行性能评估逻辑的多个预测器和多个实例，该多个预测器中的每一个生成性能评估逻辑的输入。
203.监控系统可以运行，使得预测器(多个预测器)可以接收运行数据作为输入并且可以基于例如历史数据生成对未来运行点的预测。
204.监控系统可以运行，使得多个预测器可以生成针对多个不同时间点和/或针对多个不同环境条件的预测。
205.预测器(多个预测器)可以是循环神经网络。
206.监控系统可以运行，用于控制人机界面(hmi)以输出分析输出，其中分析输出包括关于控制器在现场运行期间的过去、当前和/或预测的未来性能的信息。
207.监控系统可以运行，使得如果时间相关演变指示不满足基于性能度量的标准的未来控制器性能，则可以自动生成警报、警告或其他分析输出。
208.根据本发明的另一方面，提供了一种在控制器的现场运行期间监测工业自动化控制系统iacs的控制器，特别是电力系统的控制器的决策逻辑的性能的方法，该方法由监控系统的至少一个集成电路执行并且该方法包括：
209.接收在控制器现场运行期间收集的运行数据；
210.对运行数据进行分析以评估决策逻辑的性能，其包括确定决策逻辑性能不佳的可能根本原因和/或执行根本原因解决方案，用于在现场运行期间改进决策逻辑；和
211.根据分析结果生成分析输出。
212.运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
213.分析输出可以包括关于决策逻辑性能不佳的可能根本原因的信息。
214.分析输出可以包括关于根本原因解决方案的信息。
215.监控系统可以执行性能评估逻辑。
216.在现场运行期间确定决策逻辑性能不佳的根本原因和/或在现场运行期间生成根本原因解决方案的指示可以包括确定实际运行场景的哪个或哪些场景参数需要被修改以使决策逻辑满足基于性能度量的标准。
217.在现场运行期间确定决策逻辑性能不佳的根本原因和/或在现场运行期间生成根本原因解决方案的指示可以包括由监控系统确定场景参数空间中的偏移，使得决策逻辑的性能满足基于性能度量的标准。
218.确定场景参数空间中的偏移可以包括执行受约束的优化。
219.受约束的优化可以使用作为偏移标准的目标函数。
220.受约束的优化可以使用性能评估逻辑来确定是否满足约束。
221.根据本发明的另一方面，提供了一种在控制器的现场运行期间用于工业自动化控制系统iacs的控制器，特别是电力系统的控制器的决策逻辑的监控系统，该监控系统包括至少一个集成电路，所述集成电路可运行，用于：
222.接收在控制器现场运行期间收集的运行数据；
223.对运行数据进行分析以评估决策逻辑的性能，其包括确定决策逻辑性能不佳的可能根本原因和/或执行根本原因解决方案以在现场运行期间改进决策逻辑；和
224.根据分析结果生成分析输出。
225.监控系统可以运行，使得运行数据可以包括关于在控制器的现场运行期间决策逻辑的决定输出的信息。
226.监控系统可以运行，使得分析输出可以包括关于决策逻辑性能不佳的可能根本原因的信息。
227.监控系统可以运行，使得分析输出可以包括关于如何能够改进决策逻辑的信息。
228.监控系统可以运行，以执行性能评估逻辑。
229.监控系统可以运行，使得在现场运行期间确定决策逻辑性能不佳的根本原因和/或执行根本原因解决方案，用于在现场运行期间改进决策逻辑可以包括确定实际运行场景的哪个或哪些场景参数需要修改，以使决策逻辑满足基于性能度量的标准。
230.监控系统可以运行，使得在现场运行期间确定决策逻辑性能不佳的根本原因和/或生成用于在现场运行期间改进决策逻辑的指示可以包括由监控系统确定场景参数空间的偏移，使得决策逻辑的性能满足基于性能度量的标准。
231.监控系统可以运行，使得确定场景参数空间中的偏移包括执行受约束的优化。
232.监控系统可以运行，使得受约束的优化可以使用作为偏移标准的目标函数。
233.监控系统可以运行，使得受约束的优化可以使用性能评估逻辑来确定是否满足约束。
234.工业自动化控制系统，iacs，特别是电力系统包括：控制器，该控制器运行执行决策逻辑以决定必须采取哪些控制动作；以及根据实施例的监控系统，用于在其运行期间监
控决策逻辑。
235.决策逻辑可以运行以通过处理控制器输入来生成决定输出，该控制器输入包括本地可用的测量结果、远程捕获的测量结果、系统范围的观察结果中的一个、几个或全部。
236.控制器可以是分布式能源(der)的控制器。
237.控制器可以是本地控制器。
238.本地控制器可以从由以下各项组成的组中选择：保护继电器、发电机的控制系统(例如调速器和励磁机/自动电压调节器)、高压直流(hvdc)设备的控制系统、柔性交流输电系统(facts)设备的控制系统、开关电容器和/或电抗器的决定逻辑、低频卸载继电器和欠压卸载继电器。
239.控制器可以是中央控制器。
240.中央控制器可以选自由以下组成的组：ems/dms，例如用于二次频率控制的决策逻辑、用于发电再调度的决策逻辑、用于利用需求灵活性的决策逻辑、为重合闸操作的决策逻辑，通过无功功率再调度进行二次电压控制的决策逻辑，协调整个电网的动作的决策逻辑，例如通常在干扰之后激活系统保护方案或补救措施方案的情况下。
241.控制器可以控制可控参数，其可以从由以下各项组成的组中选择：一个或多个发电机和/或能量存储系统的有功(p)和无功(q)功率注入；直流链路或背靠背直流的p/q注入；facts设备(如svc或statcom)的q注入；功率流控制设备；一个或多个电容器组、电抗器和oltc的分接位置；要求；电子交通平台的p/q注入；开关和/或重合器的状态。
242.通过根据实施例的方法、设备和系统获得各种效果和优点。
243.根据本发明的方法、设备和系统允许在控制器的现场运行期间监测由工业自动化控制系统iacs的控制器执行的决策逻辑。可以在控制器的现场运行期间自动监测和评估决策逻辑。即使当未明确了解决策逻辑的内部运行，例如当已经使用机器学习(ml)技术创建决策逻辑时，也可以使用这些方法、设备和系统。
244.根据本发明的方法、设备和系统使得能够在运行时以自主持续方式(即，不中断运行)评估各种电网设备和运行级别中的控制器的决策逻辑的有效性。
245.根据本发明的方法、设备和系统使决策逻辑能够与变化的电网环境保持协调，使得不损害其效率/有效性。为此，方法、设备和系统可以自动确定决策逻辑不足。通常，发生这种情况是因为控制器不再在在决策逻辑35的生成过程中预期的环境中运行。
246.根据本发明的方法、设备和系统适用于单个本地或中央控制器的控制问题以及协调的控制逻辑的评估，该协调的控制逻辑考虑了各种电力系统部件的各种决策块之间的相互作用。
附图说明
247.将参考在附图中示出的优选示例性实施例更详细地解释本发明的主题，其中：
248.图1是包括监控系统的系统的示意图。
249.图2是根据实施例的包括监控系统的系统的示意图。
250.图3是系统的示意图，其中监控系统与控制器分开提供。
251.图4是系统的示意图，其中监控系统被集成到控制器中。
252.图5是方法的流程图。
253.图6是方法的流程图。
254.图7是信号流程图。
255.图8是方法的流程图。
256.图9是系统的框图。
257.图10是说明监控系统的运行的图。
258.图11是监控系统的框图。
259.图12是方法的流程图。
260.图13是说明性能评估逻辑的训练的信号流程图。
261.图14是示出训练场景空间的示意图。
262.图15是说明用于训练决策逻辑或用于训练性能评估逻辑的场景生成的图。
263.图16a是说明用于训练决策逻辑的场景生成的图。
264.图16b是说明用于训练性能评估逻辑的场景生成的图。
265.图17是方法的流程图。
266.图18是性能评估逻辑的机器学习模型实施图。
267.图19是方法的流程图。
268.图20是说明监控系统的运行的图。
269.图21是说明监控系统的运行的图。
270.图22是说明监控系统的运行的图。
271.图23是方法的流程图。
272.图24是方法的流程图。
273.图25是场景参数空间的示意图。
274.图26是说明监控系统的运行的图。
275.图27是说明监控系统的运行的图。
具体实施方式
276.将参考附图描述本发明的示例性实施例，其中相同或相似的附图标记表示相同或相似的元件。虽然将在发电系统、电力传输系统或配电系统的上下文中描述一些实施例，但下文详细描述的方法和设备可用于多种系统中。
277.除非另有特别说明，否则实施例的特征可以彼此组合。
278.根据本发明的实施例，监控系统被部署监测和评估诸如电力系统的工业自动化控制系统(iacs)的控制器的决策逻辑的性能。
279.虽然所公开的技术适用于工业或电力系统中的各种控制器，但在本技术中是在传输和配电电网以及智能站点或智能城市的运行的上下文中对其进行描述，但不限于此。
280.如本文所用，术语“决策逻辑”广泛地涵盖由控制器执行的逻辑。决策逻辑可以是产生作为决策逻辑的执行结果的控制输出(例如控制命令)的控制逻辑，但不限于此。电力系统(例如发电或输电系统)中的保护功能是这种决策逻辑的示例，但不限于此。为了说明，本文公开的技术可用于生成数字保护继电器的决策逻辑，但不限于此。
281.如下文将详细解释的那样，在决策逻辑的现场运行期间执行的性能评估中，监控系统可以使用在生成控制器的决策逻辑的计算机实施过程中生成或以其他方式使用的信
息。
282.监控系统使得能够评估各种工业设备(例如电力系统设备)和/或各种运行级别的控制器的决策逻辑的有效性。性能评估可以由监控系统自主执行。监控系统可以在控制器的现场运行期间连续执行性能评估，即不需要中断电力系统或工业系统运行。
283.图1和图2是根据实施例的包括监控系统的系统的示意图。
284.该系统包括一个或多个控制器31、32、33，该一个或多个控制器统称为控制器。控制器31、32、33可以分别运行以响应来自传感器、合并单元、智能电子设备(ied)或提供与iacs、发电系统、输电系统或配电系统的运行有关的数据的其他设备的信号执行诸如保护功能的功能。为了说明，控制器31、32、33中的一个或多个可以是数字保护继电器，其确定断路器(cb)是否跳闸以及跳闸是立即跳闸还是延迟跳闸。
285.由控制器31、32、33中的一个或多个执行的决策逻辑可以是计算机生成的。控制器31、32、33中的一个或多个执行的决策逻辑可以分别是经过训练的机器学习(ml)模型。决策逻辑35可以由决策逻辑生成器自动生成并且可以部署到控制器31以在控制器31的现场使用期间执行。
286.如本文所用，术语“决策逻辑”尤其可以指当由电力系统(或另一iacs)的控制器31、32、33执行时，使控制器确定响应一个或多个数据源(传感器、合并单元等)提供的信号采取哪个控制动作。
287.决策逻辑专门为该决策逻辑部署在其中的控制器和由该控制器执行的功能(多个功能)设计。如果控制器执行多个不同的功能，则可以在该控制器中部署多个不同的决定逻辑。
288.通常，第一控制器31可以具有部署在其中的第一决策逻辑。第一监控系统可以监测第一决策逻辑。
289.第二控制器32可以具有部署在其中的第二决策逻辑，第二决策逻辑可以与第一决策逻辑不同地运行。例如，第二决策逻辑的决策逻辑输入和/或决策逻辑输出可以与第一决策逻辑的决策逻辑输入和/或决策逻辑输出不同。替代地或附加地，即使当第一决策逻辑和第二决策逻辑接收相同的决策逻辑输入和/或生成同类型的决策逻辑输出信号，第二决策逻辑的决定边界可以不同于第一决策逻辑的决定边界。替代地或附加地，第二决策逻辑的架构(例如，用于作为第二决策逻辑运行的人工神经网络(ann)的层数、节点和/或链路的权重)可以不同于第一决策逻辑的架构。
290.第三控制器33可以具有部署在其中的第三决策逻辑，第三决策逻辑可以与第一决策逻辑和第二决策逻辑不同地运行。例如，第三决策逻辑的决策逻辑输入和/或决策逻辑输出可以与第一决策逻辑和第二决策逻辑的决策逻辑输入和/或决策逻辑输出不同。替代地或附加地，即使第一、第二和第三决策逻辑接收相同的决策逻辑输入和/或产生相同类型的决策逻辑输出信号，第三决策逻辑的决定边界可以与第一决策逻辑和第二决策逻辑的决定边界不同。替代地或附加地，第三决策逻辑的架构(例如，用作第三决策逻辑的人工神经网络(ann)的层数、节点和/或链路的权重)可以不同于第一决策逻辑和第二决策逻辑的架构。
291.为了确保适当的反应，可以在电力系统的所有分级级别部署各种控制器31、32、33。一些控制器可以是本地的，即它们在物理上靠近电力系统部件放置。其他控制器可以是中央控制器，即决策逻辑在(有时是区域)控制中心、变电站或云端计算。这里公开的技术
(其中如在此更充分地描述的那样部署监控系统)适用于本地控制器和中央控制器两者。
292.其中部署了决策逻辑35的控制器31可以包括至少一个集成电路。至少一个集成电路可以包括处理器、微处理器、控制器、微控制器、现场可编程门阵列(fpga)、专用集成电路(asic)或其任意组合，用于执行决策逻辑35.
293.其中部署了决策逻辑35的控制器具有输入接口36。决策逻辑35的输入可以在输入接口35处接收和/或从输入接口35处接收的输入数据和/或输入信号中导出。
294.其中部署决策逻辑35的控制器具有输出接口37。决策逻辑35的输出或基于其产生的输出命令可通过输出接口37输出。输出接口37可以运行以触发对相关一级或次级电力系统部件的控制动作。输出接口37可以与中央控制系统或中央控制中心运行地耦合。为了说明，输出接口37可以与变电站控制中心或区域或国家控制中心运行地耦合以向其提供与控制器31相关的运行数据。
295.控制器31、32、33可以包括其中部署了决策逻辑35的一个或多个本地控制器。由根据本发明的监控系统监测的本地控制器可以选自包括以下各项的组：保护继电器、发电机的控制系统(例如调速器和励磁机/自动电压调节器)、高压直流(hvdc)设备(多个高压直流(hvdc))的控制系统、直流(hvdc)设备(多个直流(hvdc)设备)、柔性交流输电系统(facts)设备(多个柔性交流输电系统(facts)设备)的控制系统、开关电容器和/或电抗器的决定逻辑、欠频卸载继电器和欠压卸载继电器，但不限于此。
296.控制器31、32、33可以包括一个或多个中央控制器，其中部署了决策逻辑35。由监控系统监测的中央控制器可以选自以下项构成的组：能源管理系统(ems)/配电管理系统(dms)，例如用于二次频率控制的决策逻辑、用于发电再调度的决策逻辑、需求灵活性的使用的决策逻辑、重合闸操作的决策逻辑、通过无功功率再调度进行二次电压控制的决策逻辑、跨电网协调动作的决策逻辑，例如在通常需要在干扰后激活的系统保护方案或补救措施方案的情况中，但不限于此。
297.可控量可以选自以下项构成的组：所有发电机和能量存储系统的有功(p)和无功(q)功率注入；直流链路或背靠背直流的p/q注入；facts设备(如静止var补偿器(svc)或静止同步补偿器(statcom))的q注入；功率流控制设备；一个或多个电容器组、电抗器和oltc的分接位置；要求；电子交通平台的p/q注入；开关和/或重合器的状态，但不限于此。
298.储能设备、电动车辆和各种分布式能源(der)等部件可以以本地和/或集中方式进行控制(例如，der的聚合使用或电动车辆车队的控制，提供各种电网可控性服务)。本文所描述的技术适用于ders和/或能量存储设备的监测控制器，但不限于此。
299.决策逻辑35可以是以下任意一种，但不限于此：(i)facts或hvdc设备或发电机的控制系统中的逻辑；(ii)继电器中的保护逻辑；(iii)用于切换电容器/电抗器或用于卸载的决策逻辑；(iv)scada/ems/dms级别的决策逻辑，例如用于频率/电压控制、重合闸操作、发电再调度或需求灵活性的使用；(v)站点(建筑物、工厂、微电网等)的ems/bms的决策逻辑；(vi)与电源(如pv或储能等)连接的转换器的控制逻辑。
300.决策逻辑35响应于输入采用决定。输入是通过依赖系统可观察量获得的。根据情况，可观察性可以是本地的(例如连接灵活交流电传输系统(facts)设备的总线上的电压和电流)、区域性或系统范围的(例如来自一组网络总线的同步相量测量值)。除了电气测量之外，决策逻辑作为输入接收的可观察量可以包括设备状态(例如开关状态或各种控制设置
点)，或更一般地包括动态网络拓扑。由决策逻辑作为输入接收的可观察量可以包括来自电力系统外部的输入，例如观测或预测的天气、电价、日期、时间、交通状况等。控制器31、32，33可以配备多于一个设置组，使得控制器关于观察到的环境条件的变化在这些设置之间自动切换。
301.通常，本地控制器根据本地可用的测量结果作出决定，而中央控制器根据系统范围的可观察性作出决定，并控制整个电力系统中的执行器。然而，在某些情况下，本地控制器基于来自系统中远程位置(多个远程位置)的输入信号进行操作，或者基于本地测量结果启动系统范围的控制动作。第一种情况的示例是基于远程测量结果(位于它们提供最佳可观察性的位置)的用于机电振荡阻尼(位于其具有最有效影响的位置)的facts控制器的致动。第二种情况的示例是通过发电再调度缓解线路/变压器拥塞。这里公开的决策逻辑的监测操作的技术适用于所有这些情况。
302.控制器31、32，33的决策逻辑35在新控制器将被调试时开发。在设计阶段，可以对电网中的各种条件(例如故障、切换事件、负载变化等)进行模拟，以评估和改进控制逻辑的性能。当以计算机实施方式，例如通过训练机器学习(ml)模型生成决策逻辑35时，监测决策逻辑的技术适合于应用。
303.一旦运行，控制器31、32、33的性能就会恶化。这可能有多种原因。例如，当设计控制器的环境发生显着变化时，性能可能会下降。当存在电力系统拓扑变化、新电力系统部件和/或新电网规范等时，可能出现这种情况。控制器31、32、33与其设计所针对的条件相比可能面临不同的条件；导致响应事件作出低效或不相关的决定或致动。此外，了解和协调网络中不同位置的控制器31、32、33的互操作性(例如，传统发电机和转换器接口部件)并非易事。
304.监控系统20可以在控制器的现场运行期间监测控制器31、32、33的决策逻辑35。可以根据一个或多个关键性能指标或另一性能度量来确定的决策逻辑35的恶化可以被监控系统20检测到。监控系统20还可以配备有预测系统运行条件的未来变化和/或确定电力系统或工业系统中导致决策逻辑20运行不佳的变化的机构，如将在本文中更充分解释的那样。
305.可以针对不同的决策逻辑(例如，控制器31、32、33中的决策逻辑)部署不同的监控系统。每个监控系统均可以与部署在系统的控制器31、32、33中的决策逻辑中的不同的一个相关联。每个监控系统都可以专门建立以便在现场运行期间监测其相关决策逻辑的性能，和/或执行根本原因确定和/或现场运行期间性能不佳的根本原因解决方案。
306.用于不同决策逻辑的不同监控系统(尤其是部署在其中的不同性能评估逻辑)可以接收在现场运行期间在线捕获的不同输入(这里也称为场景签名)，可以根据监控系统相关的决策逻辑不同地处理输入和/或可以根据与监控系统相关的决策逻辑产生不同的输出。
307.由监控系统20监测的决策逻辑35可以是在其部署用于现场使用之前以计算机实施方式生成的决策逻辑。在生成决策逻辑35的过程中生成或以其他方式使用的数据可以存储在一个或多个数据存储设备40中。当创建决策逻辑35时，即在决策逻辑35的现场运行之前，生成或以其他方式使用该数据。因此，为了简洁，在生成决策逻辑35的过程中生成或以其他方式使用的数据在本文中也将被称为“运行前数据”。
308.如本文将更充分地解释的那样，监控系统20可以利用“运行前数据”来监测决策逻辑35的性能。这可以以各种方式来完成。监控系统20可以在控制器31的现场运行期间检索运行前数据并且可以使用运行前数据与在控制器31的现场运行期间收集的运行数据相结合来评估决策逻辑35的性能，如图1所示。
309.替代地或附加地，如图2所示，监控系统20可以执行性能评估逻辑27以评估决策逻辑35的性能。性能评估逻辑27可以是使用数据存储设备(多个数据存储设备)40中的运行前数据产生的逻辑，但是该逻辑可以自主地执行性能评估，而无需在控制器31的现场运行期间访问数据存储设备(多个数据存储设备)40中的运行前数据。
310.监控系统20可以接收一个或多个性能度量以测量决策逻辑35的性能。性能度量可以定义一组关键性能指标(kpi)。该性能度量或一组性能度量可以用于评估过程。
311.监控系统20可以可选地接收电力系统拓扑、电力系统部件和/或电力系统的与受监控控制器相关的部分中的各种一级和/或次级设备的模型。可以经由用户界面(ui)28接收与电力网络相关的该信息，该信息可以特别地包括拓扑信息。替代地或附加地，监控系统20或网络拓扑分析系统可以处理构造描述(例如变电站构造描述(scd)文件)，以确定电力系统拓扑、确定电力系统部件和/或电力系统中与受监控控制器相关的部分中的各种一级和/或次级设备。
312.监控系统20可以收集和存储与其监控的控制器31相关的电力系统数据。此类数据的示例包括：(i)本地数据，例如控制器所在总线上或来自相邻总线的电压和电流信号，(iii)来自系统范围的测量结果的数据以及(iv)来自ems/dms，例如下一个时间步长的机组组合结果、需求和发电量预测。
313.监控系统20可以基于收集的数据执行模型确定/校准。可以使用与控制器31紧邻范围内的其他控制器32，33的通信框架，使得多个监控系统20可以交换模型以及数据。
314.监控系统20通过模拟或数据驱动的方法并使用关键性能指标(kpi)来执行分析以评估决策逻辑。此处更全面地描述了该分析的实施。
315.如果控制器31的决策逻辑35没有足够好地执行，如根据性能度量确定的那样，则监控系统20可以采取适当的动作。这可能涉及向人类专家发出信号。如果控制器31的决策逻辑35的性能不满足可选地基于性能度量的预定义的标准，则监控系统20可运行以产生警报、警告或其他输出以经由人机界面(hmi)输出。
316.替代地或附加地，监控系统20可以运行以采取控制动作。例如，如果控制器31的决策逻辑35的性能不满足可以可选地基于性能度量的预定义标准，则监控系统20可以安排停机时间、触发维护人员部署、触发预防控制动作或采取其他动作。
317.控制动作可以包括基于在控制器31的现场运行期间观察到的行为触发决策逻辑35的重新设计和新部署。监控系统20可以运行以与决策逻辑生成器系统交互，使得以自主方式生成用于部署的决策逻辑。
318.监控系统20可以运行以确定和可选地输出关于可能的根本原因的信息或关于决策逻辑35的性能恶化的原因的解释的信息，如下文更详细地解释的那样。
319.监控系统20可以是人工智能(ai)监控系统﹣
320.为了评估决策逻辑31的运行，监控系统20可以使用以下项目：
321.﹣在由监控系统20监控的控制器31的决策逻辑35的创建阶段期间生成的数据。可
以以各种方式使用该数据。为了说明，能够在监控系统20的运行期间和控制器31的现场运行期间连续地，即在持续的基础上访问数据。替代地或附加地，监控系统20可以执行基于在决策逻辑创建期间生成的数据产生的性能评估逻辑，而同时又不必访问在监控系统20和控制器31的现场运行期间的创建阶段期间生成的数据。
322.﹣在部署控制器后通过现场测量收集的数据(即在线、运行数据)。该数据可以包括在输入接口36处由执行决策逻辑35的控制器31接收的输入。该数据可以包括在输出接口37处由执行决策逻辑35的控制器31输出的控制器输出。
323.监控系统20可以在控制器31的现场运行中运行，从而利用在生成决策逻辑35的阶段期间生成的信息以在现场运行期间评估控制器的性能。这可以实时进行。
324.监控系统20可以持续地评估在现场运行期间观察到的运行条件是否是控制器的生成阶段中的场景的一部分并且可以基于此来采取控制动作。
325.监控系统20可以作为生成决策逻辑35和评估决策逻辑的性能评估逻辑的组合生成过程的一部分，在控制器31的现场运行之前生成，如参照图2将在下文中详细解释的。
326.监控系统20不仅可以推断性能的质量，而且在观察到的性能恶化的情况下还可以推断性能恶化的潜在原因。
327.监控系统20可以由计算设备或分布式计算系统来实施。监控系统20包括至少一个集成电路21。至少一个集成电路21可以包括处理器、微处理器、控制器、微控制器、现场可编程门阵列(fpga)、专用集成电路(asic)或其任何组合。
328.监控系统20可以具有用户界面(ui)28。用户界面28可以包括光学输出设备。监控系统20可用于通过用户界面28接收关于性能度量的信息。关于性能度量的信息可以指定一个或多个kpi。关于性能度量的信息可以指定几个kpi和kpi的相对权重，该kpi和kpi的相对权重用于定量确定决策逻辑35的性能。
329.监控系统20可以基于对决策逻辑35的性能的分析来生成输出。输出可以包括以下一项或多项：
330.﹣关于在控制器31的现场运行期间确定的决策逻辑35的一个或多个kpi的信息，
331.﹣警报、警告或由此衍生的其他信息，以及
332.﹣触发动作的控制命令或其他控制信号，例如决策逻辑35的自动重新生成或更新。
333.监控系统20可以具有至少一个接口26，用于在控制器31的现场运行期间接收数据，其中决策逻辑35部署在所述控制器31中。通过至少一个接口26接收的数据可以包括：
334.﹣关于决策逻辑35处理的输入的信息；可以由监控系统20通过推机构或拉机构从其上部署有决策逻辑35的控制器31和/或从其他系统设备接收该信息；
335.﹣可选的，关于决策逻辑35采用的决定的信息；可以由监控系统20通过推机构或拉机构从其上部署有决策逻辑35的控制器31和/或从其他系统设备接收该信息。
336.应当注意，可以在不必要求了解知道决策逻辑35采用的决定的情况下执行对决策逻辑35的评估。为了说明，监控系统20可以比较在控制器31的现场运行期间决策逻辑35所遇到的运行场景与被训练的那些场景。替代地或附加地，监控系统20可以将在控制器31的现场运行期间决策逻辑35遇到的电网拓扑与决策逻辑35针对其训练的电网拓扑进行比较。替代地或附加地，监控系统20可以将控制器31在现场运行期间与之交互的次级或一级设备的规格与训练决策逻辑35时使用的规格进行比较。这允许在不使用决策逻辑35输出的决定
或控制器31基于决定输出的控制命令的情况下确定可能的恶化。
337.监控系统20还可检索和使用关于在控制器31的现场运行期间由决策逻辑35采用的决定的信息，并可使用该信息进行性能评估。
338.控制器31、32、33可以经由通信网络19向监控系统20提供运行数据。运行数据用于执行性能评估并且可选地用于存储在数据存储设备中。运行数据可以包括关于在控制器31的现场运行期间由决策逻辑35遇到的场景的信息。运行数据可以包括关于由部署有决策逻辑35的控制器31以外的控制器32，33接收和/或产生的输入的信息。关于由控制器32，33接收的输入和/或由控制器32，33产生的输出的这种信息允许监控系统20得出关于电力系统拓扑、决策逻辑35在控制器31的现场运行期间遇到的场景的结论，和/或与在其中部署决策逻辑35的控制器31之外的控制器32，33相关联的一级和次级设备的功能。
339.监控系统20可以利用在生成决策逻辑35的计算机实施过程中使用的数据(在此称为“运行前数据”)，以为了在运行期间分析决策逻辑35的性能。
340.决策逻辑35可以在包括一个或多个机器学习(ml)模型的过程中生成。受监控的ml可用于训练决策逻辑ml模型。决策逻辑ml模型可以包括人工神经网络(ann)或多个ann。
341.如本文所用，“训练ml模型”是指为ml模型的参数确定参数值的过程。例如，训练ml模型可以包括确定ann的权重。
342.生成决策逻辑35的过程可以涉及从多个不同的候选决策逻辑ml模型中进行选择。不同的决策逻辑ml模型在ml建立中可能不同(例如，具有不同隐藏层数的ann等)。生成决策逻辑35的过程可以涉及根据它们在面对一组测试场景时的性能从多个训练过的候选决策逻辑ml模型中选择训练过的决策逻辑ml模型。
343.在生成决策逻辑35的过程中评估的决策逻辑ml模型41的信息可以存储在数据存储设备40中。在控制器31的现场运行期间分析决策逻辑35时，监控系统20可以根据关于决策逻辑ml模型41的信息运行。这可以通过检索关于决策逻辑ml模型41的信息同时监控系统20监测控制器的现场运行中的决策逻辑35和/或在建立监控系统20的性能评估逻辑时使用关于决策逻辑ml模型41的信息20来完成。
344.生成决策逻辑35的过程可以涉及使决策逻辑ml模型面对多个测试场景并确定它们的性能。多个测试场景可以包括在生成决策逻辑35的过程期间对候选决策逻辑ml模型的定义输入。可以根据控制器31的规范(例如，基于电力系统拓扑结构，基于控制器31必须能够执行的功能，并且基于控制器31在现场运行中与之交互的电力系统的其他控制器32，33)设置测试场景。关于模拟的电力系统参数(例如可以针对三相模拟的电压、电流、相量或阻抗测量)，测试场景可能彼此不同。替代地或附加地，关于动态电力系统拓扑的变化(例如由断路器(cb)跳闸或重合闸引起的变化)，测试场景可以彼此不同。替代地或附加地，测试场景在电力需求和/或发电曲线方面可能彼此不同(例如，这可能取决于不同的模拟天气条件)。替代地或附加地，关于模拟的事件，例如der发电机单元的故障、传输或配电线路的故障或其他可能的事件，测试场景可以彼此不同。
345.测试场景可以包括可以基于历史数据和/或可以由人类专家定义的一组外生测试场景。
346.测试场景可以是计算机生成的场景。例如，当在生成决策逻辑35的过程中使用生成对抗网络(gan)技术生成决策逻辑35和场景生成ann时，由鉴别器ann生成的测试场景可
以包括在存储在数据存储设备40中的测试场景42中。
347.在生成决策逻辑35的过程中评估的关于场景42的信息可以存储在数据存储设备(多个数据存储设备)40中。监控系统20可以在控制器31的现场运行期间分析决策逻辑35时根据关于场景42的信息运行。这可以通过在监控系统20在控制器的现场运行中监测决策逻辑35的同时检索关于场景42的信息和/或通过使用关于在建立监控系统20的性能评估逻辑时的场景的信息来完成。
348.生成决策逻辑35的过程可以涉及监测由候选决策逻辑ml模型采用的决定。候选决策逻辑ml模型采用的决定可以是控制动作。可以针对各种候选决策逻辑ml模型中的分别与候选决策逻辑ml模型所面临的场景相关联的每一个记录决定。
349.为了说明，用于生成决策逻辑35的候选决策逻辑ml模型可以是分类器，其响应于一组输入，输出一组预定义的可能输出中的一个。不同的输出可以对应不同的控制动作。
350.关于候选决策逻辑ml模型在生成决策逻辑35的过程中作出的决定43的信息可以存储在数据存储设备40中。监控系统20可以根据在控制器31的现场运行期间分析决策逻辑35时的决定43的信息运行。这可以通过检索关于决定43的信息与此同时监控系统20在控制器现场运行中监测决策逻辑35和/或通过使用在建立监控系统20的性能评估逻辑时关于决定43的信息来完成。
351.生成决策逻辑35的过程可以涉及确定候选决策逻辑ml模型(多个候选决策逻辑ml模型)的性能。这可以涉及计算一个或多个kpi。一个或多个kpi可以量化性能。在开始生成决策逻辑35之前，可以通过人工输入选择或以其他方式指定一个或多个kpi。在生成决策逻辑35的过程中使用的一个或多个kpi可以但不必与在控制器31的现场运行期间监控系统20确定的一个或几个kpi相同。
352.例如，用于生成决策逻辑35的候选ml模型可以是分类器，其响应于一组输入输出预定义的一组可能输出中的一个可能输出。不同输出可以对应不同的控制动作。kpi可以将在生成决策逻辑35的过程中由候选ml模型采取的控制动作与历史标记数据或从其导出的决定边界进行比较。
353.关于候选ml模型在生成决策逻辑35的过程中采用的决定的kpi 44的信息可以存储在数据存储设备(多个数据存储设备)40中。监控系统20可以根据控制器31的现场运行期间分析决策逻辑35的kpi 44的信息运行。这可以通过检索关于kpi 44的信息同时监控系统20在控制器的现场运行中监测决策逻辑35和/或通过在建立监控系统20的性能评估逻辑时使用关于kpi 44的信息来完成。
354.不管在控制器31的现场运行期间监控系统20是否访问数据存储设备40，监控系统20都可以以各种方式实现。
355.监控系统20可以在现场的设备/致动器的计算基础设施(例如statcom)上、在中央/区域控制中心或变电站的计算机或服务器上、或在基于云的计算机或服务器基础设施上执行，如图3和图4所示。
356.图3是示出与配电或发电系统的部件结合使用的监控系统20和控制器31、32的示意图，在该监控系统20和该控制器中部署了决策逻辑。为了说明，变电站的隔间可包括开关qb1、qb2、qc1、aq1、qb9和qc9，用于电流感测的变压器bc1，bc2和用于电压感测的变压器ba1。传感器设备被部署以生成原始信号，该原始信号可以可选地经由合并单元或可以可选
地执行预处理的其他单元提供给控制器31和32。
357.如图3所示，监控系统20可以与控制器31、32分开提供并且可以通信地耦合到控制器31、32。例如，监控系统20可以部署在中央/区域控制中心或变电站的计算机或服务器上，或者部署在基于云的计算机或服务器基础设施上。
358.监控系统20可以执行不同的性能评估逻辑和/或可以访问数据存储设备(多个数据存储设备)40中的不同数据元素，这取决于监控系统是评估第一控制器31的第一决策逻辑的性能还是评估第二控制器32的第二决策逻辑的性能。可以为不同的第一控制器31和第二控制器32和/或不同的决策逻辑定义不同的性能度量。
359.图4是示出与配电或发电系统的部件结合使用的控制器31、32的示意图，在该控制器中部署了决策逻辑。为了说明，变电站的隔间可包括开关qb1、qb2、qc1、aq1、qb9和qc9、用于电流感测的变压器bc1，bc2和用于电压感测的变压器ba1。传感器设备被部署以生成原始信号，该原始信号可以可选地经由合并单元或可以可选地执行预处理的其他单元提供给控制器31和32。
360.如图4所示，控制器31、32均包括专用监控系统20。
361.第一监控系统20可以部署在第一控制器31上。第一监控系统20可以评估第一控制器31在其现场运行期间的决策逻辑的性能。
362.第二监控系统20'可以部署在第二控制器32上。第二监控系统20'可以评估第二控制器32在其现场运行期间的决策逻辑的性能。
363.第一监控系统20和第二监控系统20'可以彼此不同并且可以根据它们部署在其中的控制器31、32执行的功能来定制。
364.虽然图3和图4中仅示出了两个控制器31、32，但本文公开的技术适用于任何数量n个控制器和/或任何数量m个由此执行的决策逻辑。
365.如图4所示，监控系统20可以在现场的设备/致动器的计算基础设施(例如statcom)上实现。
366.图5是方法50的流程图。方法50可以由图1至4中任一个的监控系统20自动执行。
367.在步骤51，收集运行数据。运行数据可以是或可以包括影响决策逻辑35的输入的工业或电力系统的数据。运行数据可以可选地包括关于决策逻辑35的输出的信息，所述信息分别与影响决策逻辑35的输入的工业或电力系统的数据相关。运行数据可以包括工业或电力系统的数据，其定义工业或电力系统的部件的拓扑和/或能力(例如，以构造描述的形式)。
368.在步骤52，执行分析以评估决策逻辑35的性能。这可以包括评估决策逻辑35是否面临与用于训练决策逻辑的场景显着不同的场景(例如，根据应用于不同输入向量的标准来确定)。步骤52可以包括确定在控制器31的现场运行期间确定的决策逻辑35的kpi是否与在生成决策逻辑35的过程中确定的kpi匹配。步骤53可以包括确定生成决策逻辑35时使用的模型(例如拓扑模型或负载流模型)与电力系统的构造和行为相匹配。
369.步骤52的分析可以包括确定关于决策逻辑35为何运行不佳的可能根本原因和/或性能的预测分析，如本文更充分地描述的那样。
370.在步骤53，监控系统20可以自动采取动作。这可以根据步骤52的分析是否表明决策逻辑当前或将来不再适合执行其被设计用于的功能而有选择地完成。
371.步骤53的动作可以采取各种形式：如果控制器31的决策逻辑35的性能不满足预定义标准，则动作可以包括产生警报、警告或其他输出，用于通过人机界面(hmi)输出，该标准可以可选地基于接收的性能度量。
372.替代地或附加地，步骤53的动作可以包括控制动作。控制动作可以选自安排停机时间、触发维护人员部署、触发预防控制动作或如果控制器31的决策逻辑35的性能不满足预先设定的标准则采取其他动作构成的组，所述标准可以可选地基于接收的性能度量。
373.替代地或附加地，步骤53的动作可以包括基于在控制器31的现场运行期间观察到的行为触发决策逻辑35的重新设计和新部署。监控系统20可以运行以与决策逻辑生成器系统交互，所述决策逻辑生成器系统以自主方式生成用于部署的决策逻辑。
374.图6是方法60的流程图。方法60可以由图1至4中任一个的监控系统20自动执行。
375.在步骤61，可以控制ui 27以允许用户指定性能度量。这可以包括控制ui 27以允许输入度量以测量决策逻辑35的性能。该度量可以定义一个kpi或一组kpi。当使用多个kpi时，接收到的输入可以包括定义kpi的相对重要性的加权因子。例如，可以将性能定量计算为kpi的加权总和，
376.p＝σ
i＝1,
…
,n
wi×
kpiiꢀꢀꢀꢀꢀꢀ
(1)
377.其中kpi是不同的关键性能指标，wi是相关的权重。kpi可以是度量。例如，当kpi旨在量化决策逻辑35遇到的场景与针对其训练决策逻辑35的场景之间的接近程度时，kpi可以定义为
[0378][0379]
其中表示对应于当前现场运行条件的决策逻辑的输入向量，并且表示对应于生成决策逻辑35时使用的测试场景的输入，其中j是测试场景的标签。
[0380]
性能kpis的其他示例可以包括最小化电力成本、增加电网电力传输限制、确保稳定性、最大化安全性和可靠性的保护目标、将电压和电流保持在限制内、最大化经济效益，但不限于此。
[0381]
在步骤62，监控系统20可以可选地检索关于电力系统或工业系统的信息。为了说明，监控系统20可以接收与受监控控制器31相关的电网部分中的电网拓扑、电网部件和/或各种参与者的第一主要或统计模型。替代地或附加地，监控系统20可以接收并分析构造描述(如scd文件)，以确定电力系统或工业系统的相关信息。
[0382]
在步骤63，监控系统20可以持续收集与其监控的控制器31相关的电力系统或工业系统数据。此类数据的示例有：(i)本地数据，例如控制器所在的总线上或来自相邻总线的电压和电流信号；(iii)来自系统范围测量结果的数据；以及(iv)来自ems/dms，例如下一个时间步长的机组组合结果、需求和发电量预测。在步骤63，可以存储收集的数据。这可以在监控系统20本地完成或远离监控系统20，例如在基于云的计算基础设施中的数据存储系统中完成。
[0383]
在步骤64，监控系统20可以可选地基于在步骤63收集的数据执行模型确定和/或校准。监控系统20可以可选地与控制器32、33(或它们相关联的监控系统)，而不是控制器31通信，在所述控制器中部署受监控的决策逻辑35用于模型确定和/或校准。
[0384]
在步骤65，监控系统20可以执行分析以评估决策逻辑。监控系统20可以在分析中
执行模拟和/或可以使用数据驱动的方法。监控系统可以根据kpi定量确定性能。本文将更详细地描述分析步骤的实施方式。
[0385]
在步骤66，监控系统20可以控制hmi和/或可以基于分析结果采取另一动作。例如，如果控制器31中的决策逻辑35运行得不够好，则监控系统20可以为人类专家生成输出以警告他这种情况。监控系统20还可以提供根本原因解决方案，即，就决策逻辑的性能为何恶化提出原因或解释。替代地或附加地，监控系统20可以通过激活决策逻辑生成器以重新生成决策逻辑35来启动自主重新设计过程。
[0386]
图7是说明与逻辑生成和/或修改设备73交互的监控系统20的框图。监控系统20可以是图1至图4中任一个的监控系统20。
[0387]
决策逻辑35在现场运行期间产生决定71。决定71可以包括或者是控制动作。
[0388]
在现场运行期间采用的决定71触发系统响应72。系统响应72可以包括由除决策逻辑35之外的其他决策逻辑(多个决策逻辑)采用的决定(多个决定)。其他决策逻辑(决策逻辑)可以包括与决策逻辑35部署在相同的控制器31中的一个或多个其他决策逻辑和/或部署在除了控制器31之外的控制器32、33中的一个或多个其他决策逻辑。系统响应72可以包括可观察量，例如电流、电压、相量、阻抗、同步相量或其他可观察量。系统响应72可以包括动态系统拓扑的改变(例如，当决定71是断开连接或重新连接命令时)。
[0389]
监控系统20可以接收决定71和系统响应72。监控系统20可以评估决策逻辑20的性能。可以评估性能度量以评估性能，可选地使用一个或多个kpi。
[0390]
如果监控系统20确定的性能不满足性能标准(举例来说，如果根据性能度量计算的性能不满足性能阈值标准)，则监控系统20可以触发逻辑修改和/或生成单元73修改决策逻辑35和/或生成修改的决策逻辑35。修改的决策逻辑35可以在不需要更换控制器31的情况下部署到控制器31。
[0391]
图8是方法80的流程图。方法80可以由图1至4中任一个的监控系统20自动执行。
[0392]
在步骤51，收集运行数据。运行数据可以是或可以包括影响决策逻辑35的输入的工业或电力系统的数据。运行数据可以可选地包括关于决策逻辑35的输出的信息，该信息分别与影响决策逻辑的输入的工业或电力系统的数据有关。运行数据可以包括工业或电力系统的数据，其定义工业或电力系统的部件的拓扑和/或能力(例如，以构造描述的形式)。
[0393]
在步骤52，执行分析以评估决策逻辑35的性能。这可以包括评估决策逻辑35是否面临与用于训练决策逻辑的场景显着不同的场景(例如，根据应用于不同输入向量的标准来确定)。步骤52可以包括确定控制器31在现场运行期间确定的决策逻辑35的kpi是否与在生成决策逻辑35的过程中确定的kpi匹配。步骤53可以包括确定在生成决策逻辑35时使用的模型(例如拓扑模型或负载流模型)与电力系统的构造和行为是否相匹配。
[0394]
步骤52的分析可以包括确定决策逻辑35为何运行不佳的可能根本原因和/或性能的预测分析，如本文更充分地描述的那样。
[0395]
在步骤81，如果由监控系统20确定的性能不满足性能标准(举例来说，如果根据性能度量计算的性能不满足性能阈值标准)，则监控系统20可以触发逻辑修改决策逻辑35和/或可以触发修改的决策逻辑35的生成和部署。修改的决策逻辑35可以部署到控制器31，而同时又不需要更换控制器31。
[0396]
在图7中的方框73或在图8中的步骤81处的修改的决策逻辑的生成和部署可以由
自主运行的决策逻辑生成器来执行。
[0397]
图9是说明监控系统20与决策逻辑发生器的交互的框图。
[0398]
决策逻辑生成器使用候选决策逻辑的集合82。集合82可以是一组不同的决策逻辑ml模型。为了说明，集合82可以包括支持向量机、具有不同隐藏层数的人工神经网络或其他决策逻辑ml模型。
[0399]
提供模拟引擎83以响应于各种场景84和/或使用不同模型85来模拟集合82中的若干候选决策逻辑的行为。
[0400]
场景84可以分别代表电力系统或工业系统中的不同运行条件。
[0401]
响应于决策逻辑35采用的决定，模型85可以表示控制器31、其他控制器32、33和/或电力系统或工业系统中的其他一级或次级设备的行为。各种处理技术可用于模拟候选决策逻辑采用的决定对系统量的影响。为了说明，模型85可以包括功率流模拟、时域和/或频域中系统响应的数值模拟、瞬态计算、最佳功率流计算、特征值分析或其他处理技术。
[0402]
基于候选决策逻辑82在模拟引擎83模拟的场景下的表现，选择候选决策逻辑82之一进行部署86。
[0403]
虽然图9中未示出，但模拟引擎83和评估引擎86可以执行优化例程以训练候选决定逻辑。这可能涉及使用标记数据或梯度下降技术的监控学习，但不限于此。
[0404]
在优化例程中，通过模拟一组测试场景来评估决策逻辑的性能。各种系统部件的模型85(包括控制器31本身，以及在相同电网环境中运行的其他控制器32、33)被利用。通过将一组kpi应用于模拟结果来量化候选决策逻辑的性能。可以重复该过程直到达到收敛。性能kpi的示例可包括最小化电力成本、增加电网电力传输限制、确保稳定性、最大化安全性和可靠性的保护目标、将电压和电流保持在限制内、最大化经济效益，但不限于此。
[0405]
部署的决策逻辑35的性能在决策逻辑35的现场运行期间由监控系统20监控。监控系统20执行的分析结果可以反馈给决策逻辑生成器。
[0406]
为了说明，监控系统20可以确定在现场运行期间决策逻辑35面临的场景是否与在决策逻辑35的生成期间使用的场景84中的至少一个足够相似。如果在现场运行期间确定场景与之前使用的任何一种场景84都不相似，则可以将关于该场景的信息(例如，在现场运行期间遇到的用于决策逻辑35的输入向量)反馈给决策逻辑生成器。
[0407]
替代地或附加地，监控系统20可以确定用于在生成决策逻辑35时模拟系统响应的模型85是否有效地反映了在决策逻辑35的现场运行期间观察到的实际系统响应行为。可能会反馈关于不匹配的信息，以改进模型85。
[0408]
图10是说明可以由图1至图4中的任一个的监控系统20产生的输出的图，附加地或替代地使决策逻辑35被修改。
[0409]
监控系统20可在控制器31的现场运行期间对决策逻辑35进行分析以产生并输出指标91。指标91可指示决策逻辑35是否具有满足性能标准的性能(为了说明，根据性能度量计算的性能是否满足阈值比较)。指标91可以从一组离散的值中选择。指标91可以是二进制，其指示性能是否被认为足够或不足。指标91可以从一组三个或三个以上的离散值中选择，其指示性能是否安全、需要注意还是不足。可以针对根据性能度量计算的性能执行多个阈值比较，以为了确定要输出多个离散值中的哪一个。指标91也可以取自连续范围的值。值的连续范围可以表示预定义间隔内的“健康”或“退化”指数，例如从0到1，并且可以根据性
能度量来计算。
[0410]
替代地或附加地，监控系统20可以在控制器31的现场运行期间执行决策逻辑35的分析以生成和输出预测时间92，预测时间92指示何时可能需要重新访问决策逻辑。预测时间92可以基于由监控系统20观察到的性能的时间演变来计算。替代地或附加地，可以使用一个或多个预测器，这可以通过循环神经网络来实现，如在本文更详细地解释的那样。
[0411]
替代地或附加地，监控系统20可以在控制器31的现场运行期间执行决策逻辑35的分析以生成和输出确定决策逻辑运行不佳的可能根本原因的信息93。信息93可以由监控系统20通过将性能评估与受约束的优化相结合来确定不符合基于性能度量的标准的最可能根本原因，如在此更详细地解释的那样。
[0412]
导致决策逻辑性能下降的运行条件，无论它是当前存在的(如指标91所示)还是预测未来时间点(如预测时间92所示)可能具有多种原因。
[0413]
例如，决策逻辑的性能可能因以下任一非详尽原因而被视为不足：
[0414]
﹣电力系统或工业系统基础设施的外生因素，例如需求(空间分布和/或时间变化轮廓)、天气条件和/或其他外部因素；
[0415]
﹣驻留在电力系统或工业系统的基础设施中的因素；示例包括：新的输电和/或配电线路、新发电和/或存储容量、新的决策设备(例如facts)、由于开关操作引起的拓扑变化；
[0416]
﹣设备(例如facts、继电器、电池等)的修改决策逻辑，而不是执行受监控决策逻辑35的控制器31；
[0417]
﹣性能指标的变化(例如，新的电网规范或新的电力市场规则)。
[0418]
下面描述允许监控系统20在控制器31的现场运行期间并且可选地实时评估决策逻辑35的性能的不同技术。
[0419]
监控系统20用于比较在线数据和离线使用的数据以生成决策逻辑
[0420]
监控系统20可以运行以将在控制器31的现场运行期间捕获的数据(即，在线捕获的数据)与在生成决策逻辑35时使用的数据(特别是生成的数据)进行比较。示例性构造将参照图1、10和11进行描述。
[0421]
在生成决策逻辑35的过程中创建或以其他方式使用的信息可以存储在存储设备40中，如图1所示。监控系统20在控制器31的现场运行期间与存储设备40连接。
[0422]
因此，来自生成决策逻辑35的过程的以下数据集可用于监控系统20：
[0423]
﹣用于执行各种模拟的所有模型41
[0424]
﹣模拟的所有场景、测试用例(例如电网环境、拓扑)和/或事件42；
[0425]
﹣控制器在所有模拟用例中的性能44。
[0426]
这些数据不仅可用于部署的决策逻辑35，而且可用于在生成决策逻辑35的过程中测试的决策逻辑的候选版本。
[0427]
这些数据可以在控制器31的现场运行期间由监控系统20使用。监控系统20可以运行以将控制器31的现场运行期间观察到的数据与来自生成决策逻辑35的过程中的数据进行比较。监控系统20可以运行，以评估在生成决策逻辑35的过程中是否考虑了观察到的现实，和/或控制器31在生成决策逻辑35过程中是否如预期的那样工作。如上所述，由于电力或工业系统外部的因素，和/或由于电力或工业系统和/或由于电力或工业系统中可能固有
的因素，存在决策逻辑可以具有与其预期行为不同的行为的各种原因。决策逻辑的不合适行为可能是由于在生成决策逻辑35的过程中作出的错误假设和/或简化，或者是由于在控制器的生命周期内发生的环境变化。
[0428]
使用在控制器31的现场运行期间捕获的运行数据和存储在存储设备(多个存储设备)40中的运行前数据，监控系统20可以运行以观察和评估以下内容：
[0429]
a)模型：监控系统20可以运行以评估在生成决策逻辑35的过程中使用的模型的准确性。监控系统20可以运行以执行实时模型验证、校准或确定。监控系统20可以运行以将观察到的信号与根据在生成决策逻辑35的过程中使用的模型所预期的信号进行比较。监控系统20可以运行以确定真实世界行为和在生成决策逻辑35的过程中使用的模型之间的差异。这种差异，如果被认为是显著的，则可以表明可能需要修改决策逻辑35。
[0430]
b)场景：监控系统20可以运行以评估在生成决策逻辑35的过程中使用的场景的覆盖范围。监控系统20可以运行将观察到的运行点与在生成决策逻辑35的过程中的离线模拟中使用的运行点进行比较。比较可以通过统计指标来执行，例如异常检测(检测观察到的运行条件相对于模拟运行条件的“异常”)和/或密度估计方法(例如k-最近邻、高斯过程、主成分分析、隐马尔可夫模型、神经网络如自动编码器，但不限于此)。
[0431]
c)控制动作：监控系统20可以运行以评估给定运行条件下在运行期间观察到的和在生成决策逻辑35的过程中模拟的控制动作的一致性。监控系统20可以在控制器31的现场运行期间运行以创建数据集，其中每个样本由系统运行条件和控制器动作构成。监控系统20可以运行以检查该在线数据集与在生成决策逻辑35的过程中创建的数据集之间的控制动作与类似运行条件的相似性。不一致表明决策逻辑35需要重新访问。替代地或附加地，监控系统20可以运行以检查在现场运行期间对于各种类似的观察到的运行条件由决策逻辑35作出的决定的一致性。
[0432]
d)kpi(s)：监控系统20可以运行以评估实时观察到的和在生成决策逻辑35的过程中模拟得到的给定运行条件和控制动作的性能度量的值的一致性。不一致表明需要重新访问决策逻辑35。
[0433]
通过执行(a)和(b)，与在生成决策逻辑35的过程中作出的假设相比，监控系统20可以运行以提高其对环境的理解。通过执行(c)和(d)，监控系统20可以根据其规范和/或kpi评估控制器31的决策逻辑35在现实世界环境中执行的能力。因此，并非所有这些功能都需要由监控系统20来执行，尽管这些功能中的所有或几个可以组合。
[0434]
图11是根据实施例的监控系统20的框图。
[0435]
监控系统20的一个或多个ic可用于执行模型模块101，该模型模块用于验证、校准和/或确定执行决策逻辑35的控制器31的模型、用于其他控制器32，33的模型，和/或用于系统中的其他一级或次级设备。
[0436]
替代地或附加地，监控系统20的一个或多个ic可以运行以执行场景模块102，该场景模块可以运行以评估在现场运行期间遇到的场景(例如，运行点)是否与在生成决策逻辑35时使用的所有场景显着不同。
[0437]
替代地或附加地，监控系统20的一个或多个ic可以运行以执行决定评估模块103，该决定评估模块运行以评估决策逻辑35在控制器的现场运行期间采用的决定是否与生成决策逻辑35时预期的决定相一致。
[0438]
替代地或附加地，监控系统20的一个或多个ic可以运行以执行kpi模块104，该kpi模块可以运行以评估在控制器的现场运行期间由决策逻辑35获得的kpi是否与生成决策逻辑35时预期的kpi一致。
[0439]
监控系统20可以运行以执行性能评估逻辑
[0440]
替代地或附加地访问在生成用于在线性能评估的决策逻辑时使用的数据，监控系统20可以执行性能评估逻辑27，如图2所示。
[0441]
可以使用数据存储设备(多个数据存储设备)40中的数据离线训练性能评估逻辑27。在控制器31的现场运行期间，资源评估逻辑27可能不需要监控系统20访问存储设备(多个存储设备)40中的数据，如图2所示。
[0442]
性能评估逻辑可以是评估决策逻辑35的运行的稳健性评估器。
[0443]
在控制器31的现场运行期间，性能评估逻辑27可以运行以监测控制器31的电力系统或工业系统环境。性能评估逻辑27可以运行以持续评估观察到的环境是否需要修改决策逻辑35。修改的需要可能是即刻的，这对应于决策逻辑35不再适合其运行的电网环境的情况，或者不是立即而是随后进行的，这对应于最终会使决策逻辑35不合适的持续的趋势(环境的逐渐变化)的确定。
[0444]
性能评估逻辑27对环境的监测是特定于应用程序的。相关环境取决于决策逻辑的输入，并且可能但不必限于地理环境。为了说明，本地控制器基于本地可用的测量结果作出决定并且中央控制器基于系统范围的可观察性作出决定，并控制整个电力系统中的执行器。然而，在某些情况下，本地控制器基于来自系统中远程位置(多个远程位置)的输入信号进行操作，或者基于本地测量启动系统范围的控制动作。第一种情况的一个示例是基于远程测量(位于它们提供最佳可观察性的位置)的用于机电振荡阻尼的facts控制器(位于其具有最有效影响的位置)的致动。第二种情况的一个示例是通过发电再调度拥塞缓解线路和/或变压器。性能评估逻辑27所考虑的相关环境取决于哪些量影响正被监控的决策制定逻辑35的运行。
[0445]
性能评估逻辑27可以是性能评估机器学习(ml)模型，例如人工神经网络(ann)。性能评估逻辑27可以执行分类任务。为此，性能评估逻辑27的输出可以是指示控制器适用性的离散值(例如，对应于红色、橙色、绿色的不同标志)，或者它可以是概率值，该概率值指示性能评估逻辑27的对需要重新访问被监测的控制器31的决策逻辑35的可信度有多大。
[0446]
除了评估控制器31的决策逻辑35对当前观察环境的适用性之外，性能评估逻辑27能够可选地确定在不久的将来预期性能下降的趋势(例如，将需要在某个预测时间内重新访问预测控制器，例如，在未来1年内)。
[0447]
替代地或附加地，性能评估逻辑27可以被训练以使得它提供对应该如何改进/修改决策制定逻辑35的见解。
[0448]
性能评估逻辑27使用存储设备(多个存储设备)40中的数据进行训练，该数据在生成决策逻辑35的计算机实施过程中使用。这是在性能评估逻辑27的现场运行之前完成的。
[0449]
图12是方法110的流程图。
[0450]
在步骤111，生成决策逻辑35。这可以使用机器学习在计算机实施过程中完成。在生成决策逻辑35的过程中使用的数据作为“运行前数据”存储在数据存储设备(多个数据存储设备)40中。
[0451]
在步骤112，生成决策逻辑35的过程中使用的数据用于生成性能评估逻辑27。生成决策逻辑35的过程中使用的数据，特别是在该过程中获得的决策逻辑35可用于生成用于训练性能评估ml模型的训练数据，该性能评估ml模型随后被部署为性能评估逻辑27。
[0452]
在步骤113，训练将被部署为性能评估逻辑27的性能评估ml模型。用于训练性能评估逻辑27的训练数据可以包括在生成决策逻辑35的过程中使用的测试场景。用于训练性能评估逻辑27的训练数据可以包括附加的测试场景，其可以基于历史数据、专家输入和/或可以通过计算生成。
[0453]
在步骤114，性能评估逻辑27被部署到监控系统20。在现场运行期间，性能评估逻辑27监测决策逻辑35。
[0454]
将更详细地描述用于训练可以在现场运行期间监测决策逻辑35的性能的性能评估逻辑27的技术。还将描述这样的技术，该技术允许对性能评估逻辑27进行训练，使得它可用于在需要时提供有关如何改进决策逻辑35的指导和/或预测导致决策逻辑35运行不佳的未来运行条件。
[0455]
性能评估逻辑27的训练可以使用用于决策逻辑ml模型的常规训练技术。这些技术是技术人员已知的，但需要适当的训练数据。为了使这种ml可靠并因此有价值，训练数据集应足够丰富，即它应包含ml模型在现场运行期间可能遇到的所有情况的足够代表性样本。
[0456]
如将参考图13至图18详细解释的那样，用于训练将被部署为性能评估逻辑27的性能评估ml模型的训练数据集可以通过离线模拟生成。此处，术语“模拟”应作一般意义上的解释，其包括以下任何一种或任何组合：(i)时域和/或频域中的数值模拟(例如功率流、短路计算、电磁瞬变)，(ii)优化问题的解决方案(例如最佳功率流、机组组合)或(iii)允许创建可以挑战决策逻辑的场景的其他计算。
[0457]
用于训练将被部署为性能评估逻辑27的性能评估ml模型的训练数据可以包括在生成决策逻辑时使用的第一训练数据集和包括未包括在第一训练数据集的场景的附加训练数据集。
[0458]
图13是说明生成用于训练ml模型的训练数据的示意图，该ml模型将部署为性能评估逻辑27。
[0459]
决定逻辑生成器120可用于使用第一训练数据集生成决策逻辑35。决定逻辑生成器120可以包括第一场景生成器121，其可以生成第一训练数据集的至少一部分。第一训练数据集可以包括附加训练数据，例如历史场景和/或人类专家指定的场景。
[0460]
第一训练数据集包括第一测试场景集合，该第一测试场景集合可以存储在第一历史数据库122中。
[0461]
仅用于说明，第一场景生成器121可以是挑战被训练成为决策逻辑35的ml模型的另一个ml模型。第一场景生成器121和被训练创建决策逻辑35的另一个ml模型可以是两个相互对抗的ml模型。第一场景生成器121和被训练创建决策逻辑35的另一个ml模型可以是gan的生成器和鉴别器网络。
[0462]
决定逻辑生成器120执行的过程的结果是决策逻辑35。
[0463]
挑战场景生成模块125负责生成用于训练将被部署为性能评估逻辑27的ml模型的附加训练数据。挑战场景生成模块125可以包括第二场景生成器126。第二场景生成器126可以是挑战决策逻辑35的ml模型(例如，ann)。注意，决策逻辑35不再被修改，这是因为第二场
景生成器126生成使决策逻辑35运行不佳的场景。如下文将解释的那样，可以使用各种技术来确保第二场景生成器126可以生成使决策逻辑35运行不佳的场景。
[0464]
为了说明，第二场景生成器126可以以这样的方式被具体设置，使得它生成在决策逻辑35的规范之外的场景，以为了允许性能评估逻辑27在被训练时评估决策逻辑35在其规范之外的情况下的性能。
[0465]
第二场景生成器126可以生成包括决策逻辑35的规范之外的场景的附加训练数据。该附加训练数据可以存储在历史数据库127中。附加训练数据中包括的大多数场景可以在决策逻辑35的规范之外。
[0466]
用于生成决策逻辑35的第一训练数据可以与存储在历史数据库127中的附加训练数据结合，从而生成更大的第二训练数据集128。
[0467]
该第二训练数据集128包括在生成决策逻辑时使用的第一训练数据集和包括未包含在第一训练数据集中的场景的附加训练数据集。该第二训练数据集128用于训练129性能评估逻辑。
[0468]
决定逻辑生成器120、挑战场景生成模块125和性能评估逻辑训练129可由计算机、服务器或分布式计算基础设施中的一个或多个ic来执行。
[0469]
第一和第二训练数据集中的数据分别为标记数据，其中，标记基于决定逻辑生成器120和挑战场景生成模块125执行的性能评估。
[0470]
因此，为了训练性能良好的性能评估逻辑27，自主决定逻辑生成器120由子系统125补充，该子系统可以运行以生成附加的数据，这些数据对于生成决策逻辑35本身不是必需的，但它们用于训练性能评估逻辑27。
[0471]
因此，如参考图14至18更详细地解释，从两个来源获得所需的第二训练数据集128：
[0472]
a.由在其现场运行之前挑战决策逻辑35的第二场景生成器126创建并且关于决策逻辑性能被评估的场景。
[0473]
b.由第一场景生成器121在生成决策逻辑35的过程中创建的场景。
[0474]
如下详述，项目(a)中提及的数据确保第二训练数据集128包含使决策逻辑35运行不佳的场景，而项目(b)中提及的数据确保第二训练数据集128包含与决策逻辑35的适当性能相对应的场景。
[0475]
挑战场景生成
[0476]
决策逻辑35可以由对抗逻辑生成，其中第一场景生成器121是挑战正在训练的决策逻辑的对手。第一场景生成器121可以将在决策逻辑的训练期间评估决策逻辑35的性能的场景提供给模拟系统。第一场景生成器121的作用是挑战可以由控制逻辑生成器子系统自主创建的决策逻辑35。从而，生成决策逻辑35的过程被驱动到运行良好的决策逻辑35。
[0477]
成功的第一场景生成器121生成两类场景：a)涵盖决策逻辑35预期定期面对的场景(例如对应于正常电力系统运行的场景)，以及b)很少发生但具有挑战性的场景，决策逻辑35针对该场景应该稳健。部署的决策逻辑35需要针对两种场景类型都运行良好。
[0478]
基于使用对抗逻辑自动生成决策逻辑35的这种过程，可以在决策逻辑35的现场运行之前以计算机实施方式生成性能评估逻辑27。
[0479]
为了创建提供性能评估逻辑27所需的数据，使用称为挑战场景生成系统125的第
二场景生成子系统。该挑战场景生成系统125的目标是确定挑战决策逻辑35的性能的场景。由成功挑战决策逻辑35的第二场景生成器126生成的场景与其他数据一起使用，以在其现场运行之前训练性能评估逻辑27。
[0480]
第二场景生成器126和第一场景生成器121之间的区别在于第一场景生成器121可以运行以仅生成合法场景、所设计的决策逻辑35应以适当的方式针对其运行的场景，这是因为预期决策逻辑35在运行中面对这样的场景。第一场景生成器121可以运行以仅生成在其中使用控制器31的系统的规范内的场景。
[0481]
第二场景生成器126的输出包括合法场景空间之外的场景，即在设计性能良好的决策逻辑35时不需要考虑的场景。第二场景生成器126可以运行以生成(至少也)不在其中使用控制器31的系统的规范内的场景。
[0482]
第二场景生成器126的作用是确定潜在的未来场景，如果实体化，该潜在的未来场景将导致决策逻辑35运行不佳。
[0483]
这种潜在的未来场景可能由系统拓扑的变化、系统硬件的变化和/或电力系统或工业系统的一级或次级设备的功能性变化引起。
[0484]
例如，如果设计的决策逻辑35是statcom的控制器，则第二场景生成器126可以创建对应于在statcom的电气附近中存在的另一个基于电力电子的设备(例如svc的另一个statcom)，而同时又没有实际(或计划)安装这样的设备的场景。这样的场景甚至不是由第一场景生成器121创建，这是因为它们不是statcom控制器规范的一部分。
[0485]
图14示意性地说明了场景空间。第一场景集合131用于训练决策逻辑35。第一场景集合131可以由第一场景生成器121生成或者可以包括第一场景生成器121生成的场景。第一场景集合131在部署决策逻辑35时可以完全由部署决策逻辑35的系统的规范内的场景组成。
[0486]
第二场景集合132被专门设置以成功挑战决策逻辑35。第二场景集合132可以由第二场景生成器126生成或者可以包括由第二场景生成器126生成的场景。在部署决策逻辑35时，第二场景集合132可以包括或可以完全由部署决策逻辑35的系统的规范之外的场景组成。
[0487]
集合131和132可以合并以形成合并集合，该合并集合随后用于训练性能评估逻辑27。
[0488]
图15图示了可以在实施例中使用的场景生成系统的构造。当进行将参考图16a和16b描述的一些调整时，图15的一般构造可用于生成第一场景集合131和第二场景集合132。
[0489]
训练场景生成模块140可以包括外生场景141的存储库。外生场景141可以包括历史场景，可以基于历史场景，或者可以包括由人类专家指定的场景。
[0490]
训练场景生成模块140可以包括生成新场景的场景生成器142。场景生成器142可以是对抗ml模型，其在决策逻辑35的训练期间(在生成决策逻辑的过程中)或在决策逻辑35的训练已经完成之后(生成用于训练性能评估逻辑27的附加场景)挑战决策逻辑35。
[0491]
场景生成器142可以是在其运行期间更新的ml模型，目的在于改进场景生成器142挑战决策逻辑的功能。
[0492]
训练场景生成模块140可以包括挑战场景143的存储库。挑战场景143可以包括被确定为对决策逻辑35具有挑战性的场景。
[0493]
场景可以从三个源141，142，143中选择并且可以被馈送到模拟系统。可以维护批次144的活动场景。
[0494]
最初，将从外生场景141中选择场景。
[0495]
在训练决策逻辑(和场景生成器142，它是改进决策逻辑的逻辑的对抗逻辑)的过程中，选择场景生成器142创建的更多场景以为了挑战目前正在训练的决策逻辑35。
[0496]
在设计过程中，可以记录触发决策逻辑35更新的挑战场景143。可以间歇性地选择要重新访问的那些场景，以确保随着决策逻辑35的发展，它仍然能够处理先前确定的挑战场景。
[0497]
从场景数据库中选择重新访问143可以以各种方式进行。为了说明，可以训练场景生成模块140以了解哪些场景最有可能影响决策逻辑35。
[0498]
场景生成器121，126，142的作用是挑战主动决策逻辑35，即确定将使决策逻辑35运行不佳的场景。场景生成器121，126，142的输出是分配给定义场景的所有参数的值，例如需求和发电水平/模式、突发事件、故障、拓扑等。这样的一组参数可以被称为场景向量。
[0499]
可以采用ml模型(例如ann)来生成场景向量，如图18所示。该模型可以称为场景生成ml模型。它的输出(即场景向量)可以连续不断，使得其生成有用的挑战场景。这可以以各种方式完成。
[0500]
场景生成ml模型可以作为从至少包含当前决策逻辑35的描述的输入到场景向量的(可能是随机的)函数映射工作。在生成决策逻辑的过程中学习场景生成ml模型，使得生成的场景将是挑战场景，其中决策逻辑35可预测地显示出低性能。作为自主设计过程一部分利用先前模拟的场景和决策逻辑的对应性能训练场景生成模型，由其架构和参数值(如节点间链接的权重或激活函数的其他参数)描述所述场景生成模型。训练过程的一个目的是收敛到场景生成ml模型，该场景生成ml模型可以为给定的决策逻辑35创建挑战场景。预计定义场景生成ml模型的参数值在迭代过程开始时变化更快。
[0501]
替代地，可以不断更新场景生成ml模型(例如，ann权重从一次迭代到下一次迭代不断变化)。这种方法并不旨在收敛到一组参数。参数将不断变化，使得在每次迭代中，场景生成ml模型都会创建有用的挑战场景。
[0502]
预选的、相对较小的输入向量可用于场景生成ml模型。该输入向量可以是静态的(即常数)或随机变化的(在统计分布内)。例如，如果场景生成ml模型是ann，则该输入向量通过ann内部操作和隐藏层转换为ann输出层处的场景向量的方式将随着ann权重的更新而变化。
[0503]
场景生成ml模型的架构(以及输入向量，如果需要)可以由人类工程师提供，也可以在设计过程中自动确定。
[0504]
图16a示出了可以在生成决策逻辑35的过程中使用的训练场景生成模块140a，并且图16b示出了可以在生成附加场景的过程中使用的训练场景生成模块140b，该附加场景用于训练性能评估逻辑27。场景生成模块140a，140b可以具有与上述相同的一般构造，并且可以包括外生场景141a，141b的存储库、自动生成的新场景142a，142b的ml模型和要重新访问的场景143a，143b的存储库(这是可选的)。
[0505]
为了允许训练场景生成模块140b生成在决策逻辑的规范之外的场景(与创建位于规范内的场景的场景生成模块140a相反)，可以使用以下：
[0506]
第二外生场景集合141b可以由工程师选择，使得它包含系统规范之外的潜在的未来场景。潜在的未来场景可以基于系统拓扑的未来可能变化(例如安装新的输配电线路、新变压器等)、设备能力的未来可能变化(例如可能更新到现有断路器、保护继电器等)，或其他可能的未来变化。
[0507]
替代地或附加地，当训练作为第二场景生成器142b的ml模型时，可以将惩罚分配给由“合法”场景向量组成的第二场景生成器142b的输出。以此方式，随着第二场景生成器142b在迭代期间变得越来越好训练，它将逐渐产生仅对应于潜在未来场景的场景向量。
[0508]
第二场景生成器142b可以用作图13的系统中的第二场景生成器126。
[0509]
图17是方法150的流程图。方法150可以用于生成超出第一训练场景集合131并且可以用于训练性能评估逻辑的第二训练场景集合132。方法150在性能评估逻辑27的现场运行之前执行。可以在决策逻辑35的现场运行之前执行方法150。
[0510]
在步骤151，可以训练第二场景生成器142b以挑战决策逻辑35。在训练第二场景生成器142b的过程中，第二场景生成器142b被训练以鼓励不在决策逻辑的系统规范内的场景的生成。
[0511]
为了说明，第二场景生成器142b可以是ml模型(例如ann)。可以迭代地执行以下步骤：
[0512]
﹣由第二场景生成器142b生成用于挑战决策逻辑35的场景；
[0513]
﹣将生成的场景提供给模拟决策逻辑35的决定和电力系统或工业系统响应场景的响应的模拟系统；
[0514]
﹣考虑决策逻辑35解决场景的好坏以及场景是否在系统规范内来评估第二场景生成器142b；和
[0515]
﹣基于评估结果修改形成第二场景生成器142b的ml模型。
[0516]
评估步骤可以根据一个或多个kpi评估决策逻辑35的性能。总体评估结果可以是根据一个或多个kpi确定的决策逻辑35的性能与如果发现场景在系统规范内则选择性施加的惩罚的组合。
[0517]
修改ml模型可以包括修改激活函数的参数，但不限于此。
[0518]
图18是ml模型160的示意图，其可以被实施为ann并且可以被训练为第二场景生成器126，142b。ml模型160可以包括多个层中的节点161，其中激活函数被迭代地修改以提高ml模型160的性能。响应于输入162，ml模型160生成输出163。如上所述，ml模型160以这样的方式训练，使得它也产生不在决策逻辑35的规范内的场景，如在电力系统或工业系统中使用的那样。该输入162可以是静态的(即，恒定的)或随机变化的(在统计分布内)。输出163可以是定义运行场景所需的所有参数值的集合。
[0519]
训练性能评估逻辑
[0520]
返回到图13和14，决定逻辑生成系统120包括第一场景生成器121，其在自主的计算机实施过程期间与另一个子系统竞争以生成决策逻辑35。该对抗逻辑同时改进了生成决策逻辑35的逻辑和第一场景生成器121(例如，其可以充当gan的创建者和鉴别器)。由此确保了性能良好且稳健的决策逻辑35的自主的计算机驱动的生成。作为自主设计过程的一部分，第一场景生成器121本身被训练。
[0521]
生成决策逻辑35的过程收敛到的设计过程的最终决策逻辑35被部署到控制器31。
[0522]
当决策逻辑35设计过程已经收敛到待部署的最终决策逻辑35时，可以开始第二场景生成器126的训练以及因此为性能评估逻辑27生成附加训练数据。
[0523]
训练第二场景生成器126以迭代地发展成能够确定对最终决策逻辑35越来越具有挑战性的新的潜在未来场景。第二场景生成器126可用于生成数据，需要这些数据通过以迭代方式与最终决策逻辑35竞争提供电力或工业系统的当前系统规范之外的越来越具有挑战性的场景。
[0524]
这最终导致性能良好的第二场景生成器126，所述第二场景生成器能够生成使最终决策逻辑35运行不佳的场景。
[0525]
如图18所示，挑战场景生成器的架构(例如ann的拓扑结构)及其相关参数(例如ann节点之间的权重)可能会在数据生成过程中不断更新，即由第二场景生成器126本身驱动。
[0526]
可以自动评估第二场景生成器126的性能。当最终决策逻辑35根据合适的度量(多个合适的度量)运行不佳时，潜在的未来场景被认为是良好的。此外，如上所述，当输出场景正如在电力系统或工业系统中使用处于决策逻辑35的规范内时，第二场景生成器126的性能被评估为欠佳。
[0527]
这样，第二场景生成器126逐渐学习确定挑战潜在的未来场景。
[0528]
训练或学习第二场景生成器126是迭代过程。在每一代中，ann权重都可以更新。这可以通过利用ann的某些输出标准相对于ann权重的梯度来执行。梯度用于(随机)梯度下降，应用于训练数据的批次。例如，在监控学习设置中，输出标准是输出误差，即ann在模拟中作为输出给出的输出与理想情况下应该输出的输出之间的差异，以下称为“正确的ann输出”(例如“基本事实”)。这个“正确的ann输出”用作受监控的学习信号。
[0529]
可能无法提供有受监控的学习信号。在不存在ann输出错误的情况下，可以使用基于性能度量值来指导ann训练(即更新其权重值)的方法。可以使用各种参数搜索方法，包括试错搜索方法，例如进化和遗传算法、爬山、模拟退火和其他启发式方法，和/或基于模型的搜索技术
[0530]
在ann训练的情况下，更新的参数可以对应于ann权重。
[0531]
ann训练过程的输入是“学习率”，它对应于最后一个训练样本对ann权重更新的影响。学习率越高，ann权重根据最新(一组)样本计算的梯度被修改的越多。
[0532]
在训练第二场景生成器126期间可以动态修改学习率，使得ann通过使用大学习率更快地远离运行不佳的解决方案，或者ann训练花费更多的迭代以通过使用小学习率进一步改进看似运行良好的解决方案。
[0533]
此外，通过在训练第二场景生成器126时固定决策逻辑35，可以有效地确定可以挑战当前有效控制逻辑的场景。
[0534]
可以自动监测主动ann性能的演变，其中第二场景生成器126的ann性能是挑战决策逻辑35的性能。可以自动决定何时选择具有不同拓扑的ann。例如，当ann性能不再显着提高时，或者如果主动ann架构似乎无法达到理想的性能水平，则可以停止其中更新具有给定架构的ann的训练周期，并且可以自主选择不同的ann架构(例如，从一组预定义的候选ann架构中选择)。
[0535]
在训练周期结束时，训练有素的ann可选择存储在历史数据库中，并通过使用一组
新的超参数值来选择新的架构。
[0536]
该过程根据终止标准(例如收敛到足够好的性能度量、达到的最大训练周期数等)而终止，并且从历史数据库中选择最佳架构以用作第二场景生成器126。
[0537]
训练第二场景生成器126的过程不修改已完成部署的决策逻辑35。
[0538]
在生成决策逻辑35的过程中生成标记数据的第一数据集122，131。这些数据包含部署的决策逻辑35对其运行良好的场景131。应当从存储库122中使用只有对应于最终决策逻辑35的案例。
[0539]
第二数据集127，132包括标记数据，其中每个样本由由决策逻辑35的对应性能标记的模拟潜在未来场景构成。通常，该数据集包含对应于决策逻辑35针对其运行良好的场景和其表现得令人无法接受或糟糕得令人震惊的其他场景。
[0540]
这两个数据集合并为一个。合并的数据集用于训练性能评估逻辑27。该训练的结果是ml模型，该ml模型接收原始或处理过的系统可观测值作为输入并提供估计的控制器性能作为输出。此ml模型称为性能评估ml模型。
[0541]
为了训练这样的性能评估ml模型，训练数据集需要采用适当的格式。例如，如果选择性能作为二元分类处理，那么所有样本都应该用两个标志来标记，如果对应的性能度量高于某个值(判断为“可接受的好”)，则说“1”，否则则说“0”。
[0542]
在定义场景向量的所有属性中，只有一个子集可以用作性能评估ml模型的输入属性，即在随后的现场使用中由性能评估逻辑27能够观察的那些属性。这些属性在本文中也称为“场景签名”。与给定的决策逻辑35相关，场景签名对应于可实现的最佳电网系统可观察性。性能评估逻辑27训练的副产品是训练收敛到的对应的性能评估ann(或其他性能评估ml模型)是从场景签名中提取有关控制器性能的最大可能信息的模型。
[0543]
例如，虽然对于决策逻辑评估，最相关的场景属性可能是新安装的电力电子接口设备的确切控制决定，但可以训练性能评估逻辑27仅基于本地测量的电压和电流来评估决策逻辑35，这是因为在运行时性能评估逻辑27可能无法获得前一属性。然而，这些属性能够并且应该是在数据生成阶段期间由第二场景生成器126搜索的场景空间的一部分。
[0544]
随着标记数据可用于训练性能评估逻辑27，可以使用受监控的机器学习技术。与上文已经解释的类似，训练性能评估逻辑27可以是一个迭代过程，其包括：
[0545]
﹣选择性能评估ann架构(其可能由超参数定义)；
[0546]
﹣调整所选性能评估ann架构的参数，以改进所选性能评估ann，用于对决策逻辑性能进行分类的任务；
[0547]
﹣如果通过继续训练性能评估ann架构无法进一步改进，则存储性能评估ann架构、导致性能评估ann在分类决策逻辑性能的任务中具有最佳性能的参数以及历史记录中正确分类的相关比率，选择另一个性能评估ann架构(例如，通过修改可能影响层数和/或节点数的超参数)，和为新的性能评估ann架构重复前面的步骤；
[0548]
﹣如果满足终止标准，则部署性能最佳的性能评估ann作为性能评估逻辑27。
[0549]
性能考核逻辑27的现场运行：
[0550]
一旦性能评估逻辑27被训练并定义了所需的可观察量(即，场景签名)，监控系统20就可以使用性能评估逻辑27基于现场运行期间捕获的场景签名分析部署决策逻辑35的性能。
[0551]
每当性能评估逻辑27估计系统拓扑和/或运行条件已经改变，使得决策逻辑不满足期望的性能标准时，就可以生成输出。输出可以包括警报、警告或其他用于通过hmi输出的输出。替代地或附加地，输出可以自动触发控制动作，例如激活保护功能、安排停机时间、触发人员部署和/或启动对决策逻辑35的修改。
[0552]
检测性能恶化趋势
[0553]
监控系统20可用于检测性能恶化的趋势。监控系统20可以运行以提供预后信息。为了说明，监控系统20可以运行，以确定和输出预计决策逻辑35需要修正的预测时间。即，除了作为标记当前观察到的性能的分类器运行之外，性能评估逻辑27可以运行，以确定朝向决策逻辑35被认为运行不佳的状况的趋势。例如，“趋势”可能是一个地区中转换器接口分布式能源的渗透率不断提高。可以使用各种技术允许监控系统20检测这种趋势。
[0554]
训练性能评估逻辑以确定趋势
[0555]
当使用性能评估逻辑27时，它可以被训练以确定朝向决策逻辑35运行不佳的场景的趋势。如上所述，可以通过训练性能评估ml模型来生成性能评估逻辑27。
[0556]
为了允许检测趋势，第二场景生成器126可以运行以创建场景批次，其中每个批次由代表趋势的潜在变量的演变驱动。每一批这样的场景将是一个时间序列，该时间序列对应于模拟的随着时间推移的趋势的逐步演变。
[0557]
这种潜在变量可以在开始生成性能评估逻辑27的自主过程之前由人类工程师明确定义。每个趋势可以由场景向量中的变量表示，该变量由第二场景生成器126修改以生成新场景。潜在变量(多个潜在变量)可以与以确定性或随机方式定义场景的实际变量相关联。例如，如果潜在变量是一个地区的总电力需求，那么增加它的值可能对应于相应地增加每个消费者的需求状况。
[0558]
通过训练性能评估ml模型，在生成性能评估逻辑27的过程中，使用由潜在变量演化驱动的批次场景，可以训练性能评估逻辑27使其含蓄地确定趋势的演变，这可能会导致未来控制器性能不佳。
[0559]
性能评估逻辑27可以生成预测输出(例如，警报、警告或其他输出)，该预测输出指示其中决策逻辑35可能运行不佳的预期未来状况。
[0560]
图19是方法180的流程图。方法180可以在性能评估逻辑27的现场运行之前并且可选地在决策逻辑35的现场运行之前使用，以为了生成性能评估逻辑27，使得它就可以检测决策逻辑35趋向运行不佳的情况的趋势。
[0561]
在步骤181，场景批次自动生成为时间序列，其中，批次内的演变由变量的演变驱动。该变量可以是定义场景的参数之一。不仅可以生成一个，而且可以生成多个这样的批次。
[0562]
在步骤182，使用包括场景批次的训练数据来训练性能评估逻辑。
[0563]
图20是说明性能评估逻辑27的运行的框图。性能评估逻辑27接收定义控制器31现场运行期间的场景的参数作为输入。
[0564]
性能评估逻辑27作为分类器操作，从而产生指示决策逻辑35对于当前电力系统拓扑和运行条件的适用性的输出101。
[0565]
性能评估逻辑27作为预测逻辑运行，从而生成预测输出102，该预测输出指示电力系统或工业系统预计将朝着决策逻辑35运行不佳的状况发展。
[0566]
性能评估逻辑27可以可选地运行以输出信息103，该信息指示决策逻辑35性能不佳的可能根本原因，如将参考图24至27所解释的那样。
[0567]
使用预测器(多个预测器)
[0568]
为了允许检测到性能恶化的趋势，监控系统20可以使用性能评估逻辑27与至少一个预测器，即执行被监测系统的演变的预测的模型相结合。可以利用循环神经网络，以为了创建基于数据的预测器。该预测可以作为输入提供给性能评估逻辑27，其然后将在预测的未来系统条件下评估决策逻辑的性能。根据预测器的预测(例如未来电力需求或分布式可再生能源的未来渗透)，性能评估逻辑27被训练，使其能够接收和处理作为输入的预测量。
[0569]
图21是监控系统20的框图。监控系统20包括一个或多个执行预测器201和性能评估逻辑27的ic(多个ic)。监控系统20接收场景签名作为输入200。
[0570]
场景签名中的至少一个被馈送到预测器201，该预测器计算预测的未来系统参数(例如，未来电力需求或分布式可再生能源的未来渗透)。性能评估逻辑27处理所预测的未来系统参数，该所预测的未来系统参数通常与输入200中的其他场景签名结合，以确定决策逻辑35在未来时间点(多个未来时间点)是否具有可接受的性能，预测器201计算的预测(多个预测)与该可接受的性能有关。
[0571]
图22示出了一种监控系统，该监控系统包括一个或多个执行几个预测器201﹣209的ic和性能评估逻辑27a﹣n的几个实例。
[0572]
不同的预测器201﹣209可用于预测各个未来时间点的系统参数(例如，未来电力需求或分布式可再生能源的未来渗透)(例如，第一预测器201可以提供对未来第一时间点的预测，第二预测器202可以提供对不同于第一未来时间点的第二未来时间点的预测)。替代地或者或附加地，可以反复使用相同的预测器，直到它到达特定的未来时间点，如图21所示。
[0573]
对于这些预测中的任何一个，预测器(多个预测器)将生成预测场景签名，并在给定当前趋势(多种给定当前趋势)的情况下分析决策逻辑的预测性能。
[0574]
无论使用哪种技术来预测确定导致决策逻辑35运行不佳的可能的未来系统条件，所获得的估计都可以致使对人类专家发出关于决策逻辑35在未来的潜在性能的预警(例如，鉴于当前趋势，控制逻辑性能将在2年后变得令人担忧)。当执行新预测时，可以定期更新此类早期警告。
[0575]
图23是方法210的流程图，其可以在现场运行期间由监控系统20自动执行。
[0576]
在步骤211，可以确定电力系统或工业系统中的预测变化，这可能导致决策逻辑35运行不佳。这可以使用上述技术中的任何一种来完成，例如，通过使用场景的时间序列演变和/或通过使用向性能评估逻辑27提供输入(多个输入)的一个或多个预测器来训练性能评估逻辑27。
[0577]
在步骤212，可产生预警、警报或其他输出。预警、警报或其他输出可通过hmi输出。替代地或附加地，监控系统20可以自动触发决定逻辑生成器120生成修改的决策逻辑35。
[0578]
提供有关根本原因的见解
[0579]
监控系统20可以运行以提供可能是什么根本原因(或原因)造成被监测的控制器31的适用性的任何观察到的恶化的见解。
[0580]
确定所观察到的性能恶化的潜在根本原因对应于确定可能对导致决策逻辑35运
行欠佳的系统状况负责的场景签名输入(即，由监控系统20作为输入接收的系统可观察量之一)。这可能是一个单一的场景签名，也可能是多个场景签名的组合。
[0581]
回想一下，术语“场景签名”指的是在现场运行期间由监控系统20接收和处理的电力系统或工业系统的参数。
[0582]
监控系统20可以运行以确定其输入之一，该输入需要被修改以使得决策逻辑35满足基于性能度量的标准(例如，具有根据超过阈值的性能度量确定的性能)。监控系统20可以运行以确定其输入之一，需要对所述输入进行最小修改以使决策逻辑35满足基于性能度量的标准。监控系统20可以运行以输出关于所确定的系统参数(多个系统参数)的信息，这导致决策逻辑35运行不佳。
[0583]
图24是方法220的流程图。方法220可以在现场运行期间由监控系统20自动执行。
[0584]
在步骤221，检测电力系统或工业系统的系统状态，这导致决策逻辑35不满足基于性能度量的标准(例如，具有根据超过阈值的性能度量确定的性能)。
[0585]
在步骤222，将必须改变以使决策逻辑35满足基于性能度量的标准(例如，具有根据超过阈值的性能度量确定的性能)的一个或多个系统参数是由监控系统自动确定。输出关于必须改变哪些系统参数(多个系统参数)以确保符合基于性能度量的标准的信息。
[0586]
图25示意性地说明了由多个系统参数sp1、
…
、spn、
…
spm跨越的状态空间。参数sp1、
…
、spn、
…
spm是可以由性能评估逻辑27或更一般地由监控系统20接收和处理的可观察量。
[0587]
参数空间被细分为可接受的场景空间231和不可接受的场景空间232。导致运行良好的决策逻辑35的场景签名233的所有组合被布置在可接受的场景空间231中。导致运行不佳的决策逻辑35的场景签名234的所有组合被安排在不可接受的场景空间232中。
[0588]
这些空间231，232取决于所使用的性能度量和阈值，决策逻辑35的计算性能与该阈值进行比较。
[0589]
当确定出不可接受的场景空间232中的场景签名235时，可以自动触发用于确定决策逻辑35性能不佳的潜在根本原因的程序。替代地，只有当计算出的性能低于第一阈值但仍高于第二阈值时，才可以选择性地触发该程序。
[0590]
监控系统20可以运行以确定对当前场景签名235的最小修改236，这将导致位于可接受的场景空间231内的修改的场景签名。即，监控系统20可以运行以确定场景签名的最小修改，该最小修改将使这样的场景签名有资格被分类在可接受的场景空间内。
[0591]
这可以以各种方式完成。为了说明，监控系统20可以运行以解决受约束的优化问题以确定对当前场景签名235的最小修改236，该最小修改导致决策制定逻辑的可接受的性能。当部署性能评估逻辑27时，它可以用于评估在受约束的优化例程中探索的场景签名中的偏移(多个偏移)236的影响。
[0592]
监控系统20可以使用根据作为将被最小化的目标函数的当前场景签名(sp1,sp2,
…
)和假设的修改的场景签名之间的标准确定的距离，
[0593][0594]
监控系统20可以在约束下最小化目标函数(3)
[0595][0596]
使得在修改的场景签名处确定的性能的值满足基于性能度量的标准，即，修改的场景签名位于可接受的场景空间231内。
[0597]
图26是监控系统20的示意框图，其将性能评估逻辑与受约束的优化引擎240相结合。受约束的优化引擎240在参数空间中搜索尽可能接近在控制器31的现场运行期间当前观察到的实际系统状态的修改点，同时导致由性能评估逻辑27确定的决策逻辑35的性能被认为是可接受的。
[0598]
监控系统20产生输出241，该输出可以指示将必须改变哪个或哪些系统参数以确保决策逻辑35具有由性能评估逻辑27确定的被认为是可接受的性能。输出241可以是经由hmi提供给人类专家的输出。替代地或附加地，可以自动采取或建议与由监控系统20确定的系统参数的偏移相对应的控制动作。
[0599]
场景签名中数量之间的一些差异将为零，这意味着没有影响，场景签名中数量之间的一些差异很小，这意味着影响最小，而场景签名中数量之间的一些差异很大，这意味着影响很大。这可以提供关于环境中的哪些变化正在影响监控系统20评估的控制器的适用性/性能的见解。
[0600]
受约束的优化引擎240可以使用各种技术。本质上，求解受约束的优化是参数搜索问题。受约束的优化引擎240可以使用试错搜索，该试错搜索在不需要任何分析信息(例如梯度)来指导参数空间的搜索的情况下是可用的。已建立的试错搜索方法包括进化和遗传算法、爬山、模拟退火和其他启发式算法。
[0601]
受约束的优化引擎240可以执行基于模型的搜索，该基于模型的搜索估计参数选择的预期性能，从而绕过模拟(一批)场景以为了计算性能度量的需要。在本案例中，该模型可以从多个场景批次的模拟中确定，这些场景在生成性能评估逻辑27时使用。
[0602]
解决关于为什么电力系统的当前系统状态或工业系统问题导致决策逻辑35运行不佳的根本原因的确定的另一种方式可以使用敏感性分析。为了说明，监控系统20可以利用性能评估逻辑27的输出对其输入的敏感性。这是一种条件敏感性，即给定观察结果(表示控制器的表示不适合)。以这种方式，监控系统20可以向人类专家报告性能评估逻辑27的实际确定的输出对其最敏感的场景签名。
[0603]
图27是监控系统20的示意框图，其将性能评估逻辑27与敏感性分析引擎250组合。敏感性分析引擎250响应对输入中包含的各种参数的修改可以确定性能评估逻辑27的输出对其输入的敏感性。监控系统20的输出251可以指示性能评估逻辑27的实际确定的输出对其最敏感的场景签名。
[0604]
根据本发明的方法、设备和系统允许在现场运行期间自动监测决策逻辑。即使当决策逻辑是训练有素的ml模型时，所公开的技术仍然有效，该训练有素的ml模型对技术专家表现为黑匣子。
[0605]
该方法、设备和系统可用于同时监测部署在工业系统，例如发电、输电或配电系统中的单独决策逻辑。在这种情况下，可以为现场的任何决策逻辑生成和部署专用的性能评估逻辑。
[0606]
根据本发明的方法、设备和系统能够确定会导致决策逻辑不按照基于性能度量的
质量标准执行的场景。
[0607]
如本文所用，“场景”通常包括决策逻辑面临的一组运行条件和事件，例如发电、需求和天气模式、故障(即短路)、计划停电、拓扑构造、添加新部件、需求演变、存储和可再生能源发电。
[0608]
决策逻辑可以是控制逻辑(例如，保护逻辑，例如距离保护逻辑)，但不限于此。
[0609]
根据本发明的方法、设备和系统可用于评估以下任一逻辑是否能够根据期望的性能标准运行，但不限于此：
[0610]
﹣保护系统，以及sips(系统完整性保护方案)，
[0611]
﹣本地facts/hvdc控制器，
[0612]
﹣协调控制整个电网的许多设备(例如facts、hvdc、发电机有源需求、存储)，
[0613]
﹣控制der(直接或通过聚合器或配电系统运营商)，
[0614]
﹣电网中的分布式控制，
[0615]
﹣允许在各种超前时间范围内放宽电网运行限制的控制逻辑(控制逻辑可以包括扰动前和扰动后的控制动作)
[0616]
﹣用于安排资产维护/更换的逻辑，
[0617]
﹣电力系统恢复逻辑，
[0618]
﹣提出电力系统升级和扩展的逻辑。
[0619]
虽然已经在电力系统的上下文中描述了实施例，但是方法和计算机系统不限于生成和/或使用发电、配电或输电系统的保护继电器的决策逻辑。相反，所公开的方法和计算机系统可用于生成iacs的一个控制器或多个控制器的决策逻辑。
[0620]
虽然已经在附图和前面的描述中详细描述了本发明，但是这样的描述被认为是说明性的或示例性的而不是限制性的。通过研究附图、公开内容和所附权利要求，本领域技术人员和实践要求保护的发明可以理解和实现对所公开的实施例的变化。在权利要求中，“包括”一词不排除其他元件或步骤，不定冠词“a”或“an”不排除复数。在不同的权利要求中陈述某些元件或步骤的事实并不表示这些元件或步骤的组合不能用于除了实际从属权利要求之外的有利，具体的权利要求，而是任何其他有意义的权利要求组合应被视为公开。