用于监测机器学习模型的方法和装置与流程

1.本发明涉及监测或控制工业过程的领域，特别是借助于人工神经网络ann。本发明还涉及一种装置、计算机程序产品、计算机可读存储介质、以及用途。


背景技术：

2.机器学习模型(例如人工神经网络(ann))可以被用于工业过程，例如用于执行监测和/或控制任务。然而，至少一些机器学习模型可能会随着时间的推移而退化，因为产生相关数据的过程可能会随着使用时间的推移而改变。在至少一些应用中，退化是难以测量的。


技术实现要素：

3.因此，本发明的目的是提供一种至少部分地改进这种情况的方法。该目的由独立权利要求的主题实现。其他实施例从从属专利权利要求和以下描述中显而易见。
4.一个方面涉及一种用于确定第一控制模型的质量度量以监测或控制工业过程的方法，其中第一控制模型是人工神经网络ann，包括第一输入、第一输入层、多个第一隐藏层、第一输出层、以及第一输出。该方法包括以下步骤：
5.借助于第一输入数据集作为第一输入来训练第一控制模型，产生经训练的第一控制模型。
6.将经训练的第一控制模型复制到第二控制模型，其中第二控制模型包括第二输入、第二输入层、多个第二隐藏层、第二输出层、以及第二输出，该第二输出被配置为输出第一控制模型的质量度量，其中，在复制之后，第二输入层与第一输入层相同，多个第二隐藏层与多个第一隐藏层相同，并且第一输出层被第二输出层替代。
7.冻结多个第二隐藏层的至少部分。
8.借助于第一输入数据集作为第二输入来训练第二控制模型，产生经训练的第二控制模型。
9.借助于第二输入数据集作为第二输入来运行经训练的第二控制模型，其中第二输出输出第一控制模型的质量度量。
10.第一控制模型可以被称为“初级模型”。工业过程可以是生产、制造和/或改变任何商品的任何过程，例如化学、机械和/或电气性质的。第一控制模型可以被用于直接或间接地控制工业过程，和/或用于监测工业过程，例如通过递送关于过程和/或其行为的信息。第一控制模型可以是或包括人工神经网络，可能与标准计算机和/或其他计算部件组合，简称为“ann”。第一控制模型的层中的每层可以包括神经元集合，这些神经元由加权边缘连接。由第一输出层产生的值可以经由第一输出被输出到工业过程和/或显示器、警报设备等。被输出到工业过程的值可能有助于控制和/或引导工业过程。
11.在第一控制模型的生产性使用之前，第一控制模型借助于第一输入数据集作为第一输入来训练或被应用于第一输入。第一输入数据集可以包括一个或多个(多个)已知监测
或控制情况的历史数据，即，输入和输出(例如期望的动作或反应)都是已知的。(多个)情况可以包括运行良好或非常好的情况和/或运行不佳的情况。训练意味着第一控制模型被训练改变，特别是它的多个第一隐藏层、它的神经元和/或它的加权边缘的权重可以被改变。训练第一控制模型可以包括当监测或控制输出在期望范围内时考虑成本函数和/或奖励。这可以包括工业过程在不久的将来(例如在一秒、一分钟、一小时、一天等)会如何表现的某种预测。预测时间范围可能取决于类型和/或工业过程的其他细节。
12.训练第一控制模型产生经训练的第一控制模型，然后，它准备好执行它的(多个)功能。注意，经训练的第一控制模型的生产性使用可能会改变第一控制模型，从而随着时间的推移使第一控制模型退化。
13.就在(初始)训练之后，借助于第一输入数据集，经训练的第一控制模型被复制到第二控制模型。第二控制模型可以被称为“代理模型”。第二个控制模型此后被“冻结”，即，至少一些第二隐藏层被保持不变。然后，第二控制(例如第二输入层和多个第二隐藏层)模型与经训练的第一控制模型非常类似或相同，除了它的第二输出层之外。第二输出层可以被训练以输出第一控制模型的质量度量，即，用于评估第一控制模型的当前质量。第二控制模型的成本函数和/或奖励可以包括质量相关值，从而改变第二输出层。这些质量相关值可能会考虑工业过程的直接反应，但也(附加地或作为替代方案)考虑在不久的将来(例如如上面定义的)对工业过程的预测。该预测可能包括工业过程的长期影响或反应、一些延迟时间(死区时间)和/或其他影响或反应。换言之，第二输出被配置为输出第一控制模型的质量度量。因此，在复制之后，第一输出层被第二输出层替代。然后，经训练的第二控制模型可以是固定的或“冻结的”。这种“冻结”可以包括固定不同层的神经元之间的权重，使得训练过程无法调整冻结层的固定权重。这种“冻结”可能包括不固定所有隐藏层，而是保持一些层解冻。
14.在第一控制模型的生产性使用期间，第一控制模型借助于第二输入数据集来进一步训练。这种训练可以包括进行和/或使用预测。第二输入数据集可以是来自工业过程的“实时数据”。并行地，经训练的第二控制模型(即，未训练并因此保持不变)借助于第二输入数据集作为第二输入来运行。由于经训练的第二控制模型的第二输出被配置为输出第一控制模型的质量度量，所以第一控制模型的任何退化(即，它的质量和/或性能)都可以通过这种方式进行测量。一旦可用，退化度量可以以各种方式使用，例如用于警告服务人员，用于改进工业过程和/或其控制，和/或用于运行定制应用。
15.在各种实施例中，最后一个步骤(特别是借助于第二输入数据集运行经训练的第二控制模型)被周期性地和/或应要求重复。“周期性地”的周期可能取决于要被监测或控制的工业过程。针对一些工业过程，重复可以每月、每周、每天、每小时、每分钟、每秒和/或不太频繁或更频繁地被执行。附加地或作为替代方案，用户和/或机器可以请求重复所述最后一个步骤。重复可以有利地有助于工业过程的高质量监督，和/或及时地这样做。
16.在各种实施例中，该方法还包括以下步骤：
17.将质量度量与预定义度量进行比较；以及
18.如果质量度量在预定义度量，则执行预定义动作。
19.预定义度量可以是度量范围和/或可以包括用于与一系列质量度量进行比较的一系列预定义度量。在预定义度量外可能意味着低于甚或高于预定义度量。预定义动作可以
是一个动作或多个和/或一系列动作。当质量度量在预定义度量内时，另一预定义动作可以被执行，例如发送消息、在期刊中键入记录、另一动作或根本没有动作。
20.在各种实施例中，预定义动作包括以下至少一项：输出警报和/或重新训练第一控制模型。输出警报可以包括向用户和/或机器和/或期刊发送任何种类的消息。重新训练第一控制模型可以产生校正后的经训练的第一控制模型，这可以改进和/或以其他方式改变工业过程和/或其质量。
21.重新训练第一控制模型包括以下步骤：
22.解冻经训练的第二控制模型的隐藏层；
23.借助于第三输入数据集作为第二输入来训练第二控制模型，其中第三输入数据集是选自多个第二输入数据集的历史数据集，其中第二输出输出质量度量；
24.冻结第二控制模型的隐藏层；
25.将质量度量与预定义度量进行比较；以及
26.如果质量度量在预定义度量内，借助于第三输入数据集作为第一输入来训练第一控制模型，产生校正后的经训练的第一控制模型。
27.解冻经训练的第二控制模型的隐藏层使第二控制模型准备好进行训练，即，进行改变。训练通过使用第三输入数据集作为第二输入来执行。第三输入数据集是历史数据的集合或子集，它可能已经被用作第一输入和/或第二输入的输入数据。历史数据可以包括多个和/或一系列第二输入数据集(或至少一个第二输入数据集)。历史数据可以通过存储来自工业过程的一系列实时数据来生成。第三输入数据集可以以任意方式来选择，或通过使用标准来选择，诸如：工业过程的最佳性能、最高稳定性和/或其他标准。第三输入数据集的长度(例如从历史数据中提取的时间窗口)可能与被用于初始训练的第一输入数据集的长度类似。
28.如所描述地那样被选择的第三输入数据集然后被应用于第二输入。因此，第二输出输出质量度量，并且第二控制模型由该第三输入数据集训练(和改变)。然后，经训练的第二控制模型的隐藏层被冻结。
29.此后，质量度量与预定义的度量进行比较。如果质量度量在预定义度量内，则经训练的第二控制模型保持冻结，并且第一控制模型借助于第三输入数据集作为第一输入。这种重新训练产生校正后的经训练的第一控制模型。有利地，校正后的经训练的第一控制模型利用第三输入数据集，已知这对工业过程是有益的，因为该数据集已经导致改进的过程。因此，第一控制模型不仅可以避免退化，而且可以被持续改进。
30.在各种实施例中，该方法还包括以下步骤：如果质量度量在预定义度量外，则重复解冻、训练、冻结和比较的步骤。这可以有利地有助于第一控制模型的定向改进，并且因此有助于工业过程的改进。
31.在各种实施例中，训练和/或重新训练第一控制模型和/或第二控制模型包括进行预测和/或使用预测。这可能是可能的，因为历史数据可能用于训练和/或重新训练，使得工业过程的反应是已知的，至少在不久的将来是这样。进行预测和/或使用预测可以有利地有助于监测或控制工业过程的进一步改进，或进一步改进工业过程本身，特别是因为过程的关键、长期和/或意外反应可能是由此考虑的。
32.一个方面涉及一种包括指令的计算机程序产品，在程序由计算机和/或人工神经
网络ann执行时，该指令使计算机和/或ann执行上面和/或下面描述的方法。
33.一个方面涉及一种计算机可读存储介质，上述计算机程序或计算机程序产品被存储在该计算机可读存储介质上。
34.一个方面涉及第一控制模型和/或第二控制模型，被配置用于执行上面和/或下面描述的方法。
35.一个方面涉及第一控制模型用于监测和/或控制工业过程的用途。
附图说明
36.本发明的主题将在下文中参照在所附附图中图示的优选示例性实施例更详细地解释，其中：
37.图1a示意性地示出了根据实施例的第一控制模型；
38.图1b示意性地示出了根据实施例的第二控制模型；
39.图2a示意性地示出了根据实施例的第一控制模型的简化图；
40.图2b示意性地示出了根据实施例的第二控制模型的简化图；
41.图3示出了根据实施例的数据流；
42.图4示出了根据实施例的另一数据流；
43.图5示出了根据实施例的另一数据流。
44.附图中使用的附图标记及其含义在附图标记列表中以概要形式列出。原则上，相同的部分在附图中被提供有相同的附图标记。
具体实施方式
45.图1a示意性地示出了根据实施例的第一控制模型10。第一控制模型也可以被称为“初级模型”。第一控制模型10具有一个或多个输入11和一个或多个输出19。输入11可以来自用户规范、控制规范和/或从工业过程50反馈回来的信号。输出19可以控制或监测工业过程50。为了监测或控制工业过程50，其他部件(未示出)可能有帮助和/或必要，例如网络、显示器、数据库、期刊和/或其他部件。
46.图1b示意性地示出了根据实施例的第二控制模型20。第二控制模型可以被称为“代理模型”。第二控制模型20可以与第一控制模型10并行运行(参见图1a)，和/或可以通过将定义的数据集馈送到其(多个)输入21来运行。输出29可以被配置为提供质量度量qm和/或其他数据。质量度量qm可以是第一控制模型10和/或工业过程50的质量或性能的指标。
47.图2a示意性地示出了根据实施例的第一控制模型10的简化图。第一控制模型10包括输入层12、隐藏层14和输出层18。隐藏层14的每层包括神经元集合(被描绘为节点集合)，这些神经元由加权边缘连接。在许多控制模型中，隐藏层的数量可以自由配置(可能在预定义范围内)，并且加权边缘的权重可以通过训练过程改变，这至少会影响权重。此外，第一控制模型10具有输入11和输出19。
48.图2b示意性地示出了根据实施例的第二控制模型20的简化图。第二控制模型20包括输入层22、隐藏层24和输出层28。此外，第二控制模型20具有输入21和至少一个输出29。
49.使用两个控制模型10、20不仅允许监测和/或控制工业过程，而且还可以得到工业过程和/或其控制模型的质量的度量。为此，第一控制模型10和第二控制模型20都被训练。
图2a和2b图示了第一控制模型或初级模型10与第二控制模型或代理模型20之间的关系。两个模型在输入、架构(例如隐藏层和节点以及连接的数量)以及输入层和第一隐藏层之间以及隐藏层之间的权重方面是相同。通过这种方式，两个模型10、20的性能被紧密连接。如果在初级模型中学习的特征和关系对新数据不再有效并且随后性能会退化，那么代理模型也会发生同样的情况。
50.图3示出了根据实施例的数据流300，包括用于初级模型10和代理模型20的训练过程。首先，初级模型10被训练。然后初级模型10被复制，并且输出层28被替代。输出层28可以以数据本身可以被用于标记的方式选择(自学习或自监督学习)。作为示例，压缩重构任务(例如自编码器(autoencoder))或数据回归任务(例如预测未来值)可以被植入。然后，除了最后一层28外，所有层22、24都被冻结，即，训练过程不再被允许在输入层22与隐藏层24之间以及隐藏层24之间改变权重。然后，代理模型20针对新任务重新训练。最后，代理模型20在训练数据和验证集上的性能被测量。性能度量取决于自监督学习任务，例如自编码器的重构误差、回归的均方误差。
51.图3的数据流300示出了第一控制模型10和第二控制模型20的初始训练序列的该过程的一些细节。在步骤302中，第一数据集31被提供。在步骤304中，第一控制模型10借助于第一输入数据集31作为第一输入11来训练。这在步骤306中产生经训练的第一控制模型或经训练的初级模型10t。在步骤308中，经训练的第一控制模型10t被复制到第二控制模型20。因此，第二输入层22与第一输入层12相同，并且多个第二隐藏层24与多个第一隐藏层14相同。在步骤310中，第一控制模型10的复制输出层18被第二控制模型20中的输出层28替代。输出层28的值被输出到第二输出29，该第二输出29被配置为输出第一控制模型10的质量度量qm或关键性能指标(kpi)。qm或kpi可以包括考虑工业过程50的行为的一些预测，例如在不久的将来。在步骤312中，第二控制模型20的隐藏层24被冻结。在步骤314中，第二控制模型20用第一数据集31训练。这在步骤316中产生经训练的第二控制模型或代理模型20t。在步骤318中，第一控制模型10的质量度量29由经训练的第二控制模型20t提供，并且它可以被用于其他步骤。
52.图4示出了根据实施例的数据流400，包括代理模型20在其生产性使用期间的应用，例如用于工业过程50。初级模型10和代理模型20都被馈送有来自工业过程和/或数据库的相同实时数据32。初级模型10可以被用于产生对监测或控制任务的预测，例如这可以导致在人机界面上显示或触发动作。借助于代理模型20，跨越定义的时间窗口或预测数量的性能或质量被计算。如果性能在预定义阈值外(例如低于预定义阈值)，则用户或管理员可以被通知和/或重新训练可以被触发。
53.图4的数据流400示出了将第二数据集(例如来自工业过程50的实时数据)应用于控制模型10、20的该过程的一些细节。在步骤402中，第二数据集32被提供。第二数据集32可以包括来自工业过程50的实时数据。在步骤404中，第二数据集32被应用于第一控制模型10，这可以导致对第一控制模型10的进一步训练，并且改变第一控制模型10。在步骤406中，第一控制模型10的第一输出19被提供给工业过程50，例如用于控制它。在步骤408中，第一控制模型10的第一输出19被提供给数据库、显示器和/或另一人机界面(hmi)。步骤406和408可以被并行运行，或者步骤中的一个步骤(例如406)可以被优先化。
54.在步骤410中，(未改变的)经训练的第二控制模型20t被运行，并且质量度量qm在
输出29处被输出。在步骤412中，质量度量qm与预定义的度量或测量范围进行比较，并且检查质量度量qm是否在预定义度量外(例如低于预定义度量)。如果质量度量qm在预定义度量内，则在步骤414中，预定义动作被执行；这可能包括什么都不做，或发送消息。如果在步骤416中质量度量qm在预定义度量外(例如低于预定义度量)，则预定义动作被执行。预定义动作可以包括数据流500的动作(参见图5)。
55.图5示出了根据实施例的数据流500，它包括示出代理模型20如何被配置以在历史数据上找到适合重新训练的时间窗口。这基于以下见解，即，由于改变了底层数据，并非所有历史数据都可能对重新训练模型10和20有益。基于这个想法，不同的时间窗口(或第三数据集33)从整个历史数据集采样，并且被用作自学习代理模型20的训练数据。由于数据本身被用于标记，因此模型10和20的性能可以被测量，例如基于具有最近数据的测试数据集，这可能表示工业过程50的当前行为。当重新经训练的代理模型20的性能示出足够好的质量度量qm时，初级模型10在该时间窗口的相同的第三数据集33上重新训练。由于两个模型的高度相似性以及所选择的历史数据能够训练能够捕获一些最近行为的代理模型20的事实，初级模型10很可能在该数据集33上也表现良好。
56.图5的数据流500示出了重新训练第一控制模型10的该过程的一些细节。在步骤502中，第三数据集33(历史数据子集)被提供。在步骤504中，第二控制模型20的隐藏层24被解冻。在步骤506中，第三数据集33被应用于第二控制模型20，导致第二控制模型20的重新训练。在步骤508中，质量度量qm被输出。在步骤510中，隐藏层24被冻结。在步骤512中，质量度量qm与预定义度量(或度量范围)进行比较，并且质量度量qm是否在预定义度量内的一些检查被进行。如果质量度量qm不在预定义度量内，则步骤504至510被重复，在许多情况下通过选择不同的历史数据子集作为第三数据集33。
57.如果质量度量qm在预定义度量内，则在步骤514中，第一控制模型10通过将所选择的第三数据集33作为输入11来重新训练。在步骤516中，该重新训练导致校正或更新后的训练第一控制模型或经校正的初级模型10t2。
58.附图标记列表
59.10
ꢀꢀꢀꢀꢀ
第一控制模型(初级模型)
60.10t
ꢀꢀꢀꢀ
经训练的第一控制模型
61.10t2
ꢀꢀꢀ
校正或更新后的训练第一控制模型
62.11
ꢀꢀꢀꢀꢀ
第一控制模型的输入
63.12
ꢀꢀꢀꢀꢀ
第一控制模型的输入层
64.14
ꢀꢀꢀꢀꢀ
第一控制模型的隐藏层
65.18
ꢀꢀꢀꢀꢀ
第一控制模型的输出层
66.19
ꢀꢀꢀꢀꢀ
第一控制模型的输出
67.20
ꢀꢀꢀꢀꢀ
第二控制模型(代理模型)
68.20t
ꢀꢀꢀꢀ
经训练的第二控制模型
69.11
ꢀꢀꢀꢀꢀ
第二控制模型的输入
70.22
ꢀꢀꢀꢀꢀ
第二控制模型的输入层
71.24
ꢀꢀꢀꢀꢀ
第二控制模型的隐藏层
72.28
ꢀꢀꢀꢀꢀ
第二控制模型的输出层
73.29
ꢀꢀꢀꢀꢀ
第二控制模型的输出(kpi)
74.31
ꢀꢀꢀꢀꢀ
第一数据集
75.32
ꢀꢀꢀꢀꢀ
第二数据集(来自工业过程的实时数据)
76.33
ꢀꢀꢀꢀꢀ
第三数据集(历史数据)
77.300
ꢀꢀ
数据流
78.302
–
318
ꢀꢀꢀ
数据流300的步骤
79.400
ꢀꢀ
数据流
80.402
–
416
ꢀꢀꢀ
数据流400的步骤
81.500
ꢀꢀ
数据流
82.502
–
516
ꢀꢀꢀ
数据流500的步骤