一种用于构建针对工业传感器数据的深度隐特征提取器的方法与流程

如今，带标签的数据是使得基于机器学习的人工智能（AI）解决方案能够解决新的且具有挑战性的自动化任务的重要的（即使不是最重要的）要素之一。带标签的数据描述了已经通过领域知识而特别地标注的数据集，其中考虑了特定的问题设置，使得可以通过示例来优化机器学习模型的参数。

例如，在图像分类问题中，一种方法应当自动检测相机所记录的图像中是否存在人员。在利用来自机器学习领域的方法来解决该问题方面的当前现有技术需要构建带标签的数据集，该带标签的数据集包含图像以及指示每个图像中是否存在人员的对应标签。在给定该带标签的数据集的情况下，机器学习算法可以通过重复地查看来自该带标签的数据集的示例来学习将输入像素映射到分类的函数。尽管构建这种数据集听起来非常直截了当，但是即使不是不可行，它也可能是难以置信的劳动和成本密集的，这是由于取决于目标问题的复杂性，需要数千到数百万个这些带标签的数据实例。

在工业领域中，即使不是不可行，给足够量的数据加标签也是困难的。其原因在于：与其中基本上任何人都可以给数据加标签的常见领域（例如，确定图像是否示出了猫或狗）相比，在工业领域中，只有非常少量的高度专业化的领域专家能够给数据加标签（例如，标注燃气涡轮机的状况）。不幸的是，来自AI领域的最先进且最有前途的方法（尤其是深度学习）需要大量带标签的数据来学习输入与要解决的目标任务之间的复杂关系。

基本上存在两种方法来解决该问题。第一种方法是投入大量资金来训练高度专业化的数据加标签者（labeller）的劳动力，他们为每个单个目标问题——针对该问题，要寻求基于机器学习的AI解决方案——构建所需的带标签的数据集。显然，这种方法不是非常有吸引力，这是因为它是非常劳动密集且昂贵的，并且还需要访问大的（外部）数据池，这在许多情况下是不可行的。第二种方法依赖于基于所建立的信号处理方法（如快速傅立叶变换（FFT）、小波、移动统计等等）的经典领域特定的特征工程。如果这些特征显著地便于学习任务，那么所需的带标签的数据的量也将减少。应用这种方法可以被视为手动特征提取，其中输入传感器信号被表示（嵌入）在新的可解释空间中。然而，这种特征工程通常是不可能的，这是由于合适的信号处理方法并不始终存在/适用。

因此，需要一种方式来减少在其中非均匀和多维数据（例如，不同的传感器数据）作为输入的工业领域中针对AI解决方案来训练神经网络所必需的带标签的数据的量。

因此，本发明提供了根据独立权利要求1的一种用于构建隐特征提取器的方法和根据另外的独立权利要求的一种用于构建隐特征提取器的系统、以及一种神经网络。对本发明的进一步完善是从属权利要求的主题。

根据本发明的第一方面，一种用于构建隐特征提取器的方法包括以下步骤：

提供非均匀训练数据，非均匀训练数据包括针对众多Ti个任务中的每个单个任务T的kT个训练示例，

基于众多Ti个任务来优化隐特征提取器的神经网络（NN）的参数θ。

此外，迭代地执行以下步骤，直到参数θ已经收敛为止：

从众多Ti个任务中随机选择单个任务T以用于优化参数θ，

在nj个迭代内利用非均匀训练数据的相应kT个训练示例对当前随机选择的任务T进行采样，以用于基于当前随机选择的任务T来优化参数θ。

在nj个迭代的每个迭代n中，执行以下步骤：

利用隐特征提取器从相应训练示例kT的当前训练示例k的训练信号中提取隐特征，

利用当前随机选择的任务T的相应任务模块从所提取的隐特征中导出针对当前随机选择的任务T的输出信号oi。

根据本发明的第二方面，一种用于构建被布置和配置成用于执行如上描述的方法的隐特征提取器的系统包括：隐特征提取器和任务模块。隐特征提取器用于提取隐特征。隐特征提取器针对众多Ti个任务中的每个任务T而被共享。众多Ti个任务中的每个单个任务T的任务模块位于隐特征提取器的下游，并且用于导出针对相应任务T的输出信号oi。

根据本发明的第三方面，一种神经网络（NN）、优选地是深度NN并且特别地是（深度）工业NN包括：隐特征提取器、在多个输入信号被提供给该神经网络的情况下的组合器模块、以及特定任务模块。隐特征提取器由如上描述的方法和/或利用如上描述的系统来构建。组合器模块位于隐特征提取器的下游。特定任务模块分别地位于隐特征提取器和组合器模块（如果存在的话）的下游。

为了减少带标签的训练数据的量，不是从头开始学习特定目标任务，而是将隐特征提取器的模型参数θ预初始化到合理的起点。这可以被看作是预先向（深度）（工业）NN（=模型）配备一些量的先验领域知识，这极大地降低了解决目标任务所需的带标签的示例的量。如上所提及，在工业领域中，带标签的数据是实现基于机器学习的AI解决方案的主要瓶颈。具有包括从通用工业传感器数据（诸如，温度、扭矩、电流和电压简档（profile））中自动提取隐特征的通用隐特征提取器的预训练模型（预训练的（深度）NN）确实减少了针对特定任务来训练工业神经元网络所需的带标签的训练数据的量。

在下文中，首先描述了对于学习针对工业传感器数据的隐特征提取器感兴趣的各种（深度）（工业）神经网络架构概念。

在最简单的场景中，去往（深度）NN/模型的输入由单个信号组成。例如，去往该模型的输入由固定长度的单个序列组成，该单个序列比如以500hz[赫兹]频率测量的铣床中的主轴的1s[秒]扭矩测量结果，该500hz[赫兹]频率导致了每个输入500个值。在给定数据的上下文的情况下，必须对数据进行适当的归一化，以使得这些值不会太大或太低。通常，可以利用min-max归一化、或者使数据居中（centre）并且缩放到单位方差、或仅按某个其他常数（例如，完整数据内观察到的标准偏差）对值进行缩放。归一化信号将被馈送到随后的（深度）NN中。（深度）NN消耗归一化输入信号，并且产生针对特定目标任务而优化的输出。例如，针对异常检测场景，该模型可能输出该输入信号包含异常的概率，或者输出可能已经生成了该输入信号的各种活动的活动识别任务类别概率。一般而言，（深度）NN架构可以被细分成两个模块（它们被端到端地优化，而不是稍后独立地优化），即，（通用）隐特征提取器（（深度）“sub-NN（子神经网络）”）和特定任务模块（（深度）“sub-NN”）。隐特征提取器消耗归一化传感器信号数据，并且输出该输入信号的隐特征/嵌入。隐特征提取器表示将（一个或多个）输入传感器信号编码到隐特征空间中的函数，其中每个特征表示从输入数据中提取的对于下游特定任务模块有用的有意义信息。这里，隐特征提取由（深度）NN来执行，该（深度）NN由在彼此之上堆叠的多个1D卷积神经网络层组成。利用更深的架构，该模型可以提取局部检测到的隐特征，并且以分层的方式在更深的层中进一步将它们组合。（深度）NN架构可能进一步包含一些其他组件，如批归一化层或跳过连接，以稳定对组件的训练。特定任务模块消耗由隐特征提取器产生的隐特征，并且产生对于指定目标任务所需的输出。特定任务模块是（深度）神经网络，它对隐特征进行组合，并且产生对于特定目标问题有意义的值（例如，异常概率、类别概率或任何其他值）。

在更复杂的场景中，去往（深度）（工业）NN/模型的输入由多个输入信号组成。去往该方法的每一个输入信号由固定长度的单个序列组成，该单个序列例如以500hz频率测量的铣床中的主轴的1s扭矩测量结果和主轴的x、y、z坐标，该500hz频率导致了每个输入信号500个值。如上所提及，需要对输入数据进行归一化。与单输入场景形成对照，每一种类型的输入信号在它们没有被相关传感器测量到的情况下必须被单独地归一化。例如，需要以不同于坐标测量结果的方式对扭矩测量结果进行归一化。所得到的归一化信号将被馈送到（深度）（工业）NN中。（深度）NN消耗归一化输入信号，并且产生针对特定目标任务（例如，异常检测场景或活动识别任务）而优化的输出。一般而言，（深度）NN架构可以被细分成三个模块（它们被端到端地优化，而不是稍后独立地优化）。隐特征提取器（（深度）“sub-NN”）单独地消耗归一化传感器信号中的每一个，并且输出针对每一个输入信号的隐特征/嵌入。隐特征提取器表示将每个单个输入传感器信号编码到隐特征空间中的函数，其中每个特征表示从输入数据中提取的对于下游模块有用的有意义信息。如之前所描述，隐特征提取由（深度）NN来执行，该（深度）NN由在彼此之上堆叠的多个1D卷积神经网络层组成。利用更深的架构，该模型可以提取局部检测到的隐特征，并且以分层的方式在更深的层中进一步将它们组合。该深度神经网络架构可能进一步包含一些组件，如批归一化层或跳过连接，以稳定对（深度）NN的训练。组合器模块以合理的方式来组合由隐特征提取器针对每个输入信号所产生的隐特征。在最简单的情况下，它们被简单地级联、相加或相乘。在更复杂的场景中，组合器也是（深度）“sub-NN”，它学习从每个输入信号中提取的各种隐特征的有意义的组合。组合器模块的输出被馈送到特定任务模块中。特定任务模块消耗由组合器模块产生的经组合的隐特征，并且产生对于特定目标任务所需的输出。特定任务模型是（深度）“sub-NN”，它对隐特征进行组合，并且产生对于目标问题有意义的值（例如，异常概率、类别概率或任何其他值）。因此，（深度）（工业）NN是隐特征提取器和组合器模块（如果存在的话）的（深度）“sub-NN”和特定任务模块的（深度）“sub-NN”的组合。

通用隐特征提取器是在多任务训练设置中构建或预训练的。为了在通用水平上训练隐特征提取器，在预训练中对多个不同的任务Ti进行优化，同时在所有不同的任务Ti之间共享隐特征提取器。组合器模块以及当然的任务模块不被共享。这意味着，在通用隐特征提取器的预训练期间，所有任务Ti优化通用隐特征提取器的相同（深度）NN，该通用隐特征提取器负责从各种非均匀输入工业传感器信号中提取有用特征。

基于非均匀训练数据，（通用）隐特征提取器被构建、或者更确切地说被预训练。针对用于构建/预训练隐特征提取器的Ti个不同任务中的每一个，非均匀训练数据包括预定义数量的kT个训练示例。Ti个任务可以包括具有多个输入信号的若干个任务、以及仅具有一个输入信号的一些任务。不同的任务可能涵盖工业领域中的不同问题，例如，错误/故障检测、状态检测或预测、安全性问题等。例如，具有多个输入信号的任务可以是基于具有不同维数（dimension）的不同传感器信号来检测燃气涡轮机的操作中的异常（其概率），这些传感器信号包括转速、扭矩、当前负载、驱动轴的振动、涡轮机叶片的应力（stress）状态等。仅具有一个单个传感器输入信号的示例性任务可以是基于电源处的电流简档来检测有故障的电气组件。任务（潜在的问题和所使用的输入信号）越不同，所得到的隐特征提取器将越通用。

针对用于训练（通用）隐特征提取器的不同任务中的每一个，必须提供对应的带标签的训练数据。由于不同的任务，因此所提供的训练数据是不均匀的（不同数量的输入信号以及不同的值和维数）。用于构建/预训练（通用）隐特征提取器的非均匀训练数据包括针对不同任务中的每一个的预定义数量的训练示例。

（通用）隐特征提取器基于其（深度）NN。（深度）NN包括内部参数θ。在隐特征提取器的（深度）NN的预训练期间，对参数θ进行优化。

该优化是通过首先从众多Ti个不同任务中随机选择一个单个任务T来完成的。对任务的选择是随机的，并且基于所有任务的相等概率p(T)，使得在优化参数θ的过程期间，任务Ti中的每一个被选择的频率几乎相等。

随后，在nj个迭代内基于非均匀训练数据的对应kT个训练示例对随机选择的任务T进行采样。迭代数量nj是预定义的。采样装置将当前训练示例的当前训练信号馈送到隐特征提取器，并且基于由隐特征提取器生成的隐特征，借助于当前随机选择的任务T的相应任务模块来导出当前输出oi。基于当前任务T的所生成的输出oi，然后调整参数θ，使得下一个输出oi将尽可能接近地逼近当前训练示例的给定结果。换句话说，隐特征提取器基于当前参数θ从当前训练示例k的（一个或多个）训练信号中提取（隐）特征。然后，由当前任务T的相应任务模块处理所提取的隐特征，并且生成输出oi。将输出oi与当前训练示例的给定结果进行比较。基于当前生成的输出oi与结果之间的差异，调整参数θ，使得下一个输出oi将更接近地逼近下一个训练示例的给定结果。可以利用基于随机梯度下降的优化器来调整参数θ。在nj个迭代的每个迭代中，利用所有k个训练示例对当前随机选择的任务T进行采样。

在已经在nj个迭代内对一个随机选择的任务T进行了采样之后，随机选择该众多任务Ti中的下一个任务T，并且随后在nj个迭代内对该下一个任务T进行采样。继续对任务进行随机选择和随后的采样，直到（通用）隐特征提取器的参数θ收敛为止。收敛意味着在nj个迭代中已经对一个任务T进行了采样之后，参数并没有以多于预定义阈值而改变。

在优化隐特征提取器的参数θ期间，Ti个任务中的每一个的参数也被优化。然而，这些参数不是隐特征提取器的一部分，并且因此可以被忽略。

针对具有多于一个输入信号的任务，在（通用）隐特征提取器已经从针对当前随机选择的任务T的当前训练示例k中提取了（隐）特征之后，相应任务T的组合器模块（如上所描述）可以在所提取的特征被提供给当前任务T的相应任务模块之前对所提取的特征进行组合（例如，通过将它们级联或以有意义的方式）。

下面用伪代码概述了示例性预训练算法：

1. 对数据进行预处理（归一化）

2. 随机初始化参数θ

3. While θ不收敛

4. 对Ti中的随机任务T进行采样（~p(T)）

5. For nj个迭代：

6. 针对任务T对kT个训练示例进行采样

7. 使用任务T的任务模块（模型）来评估和更新参数θ（利用基于随机梯度下降的优化器）

8. End for

9. End while

利用所描述的预训练方案，构建了通用或公共特征提取器，该特征提取器产生了对于所有下游任务有价值的有用的隐特征或信号嵌入。因此，隐特征提取器具有通用性质，并且对于在预训练期间未使用的其他任务也是有价值的。要注意的是，任务Ti是不相关的，这意味着第一个任务可能是根据在移动时附着到人类身体的传感器（智能手表/健身跟踪器）所产生的传感器信号对活动进行分类，而下一个任务由关于日常燃气涡轮机传感器数据的异常分类问题、或基于加工传感器数据的铣床中的工具断裂检测器（tool break detector）所组成。在预训练期间，隐特征提取器被嵌入在各种架构（Ti个不同的任务）中，这些架构试图独立地解决不同的任务集合，但是它们必须使用和适配相同的隐特征提取器。这样，隐特征提取器必须产生有意义且通用的隐特征，这些隐特征对于所有Ti个任务都是有益的。因此，隐特征提取器被直接优化以服务于期望的通用目的。

根据本发明的（深度）（工业）NN（如上所描述）包括如上所描述的那样被预训练的（通用）隐特征提取器（（深度）“sub-NN”）。所述NN进一步包括：工业NN被意图用于的特定任务的（模型的）特定任务模块（（深度）“sub-NN”）、以及在多于一个输入信号被NN处理的情况下的在隐特征提取器与特定任务模块之间的组合器模块。在NN可以被利用之前，必须针对特定任务对NN进行训练。由于预训练的（通用）隐特征提取器，因此需要显著更少的训练示例被提供用于工业NN的训练。在NN的训练期间，隐特征提取器（（深度）“sub-NN”）的参数θ不再改变。然而，为了进一步精细调整整个NN，可以进一步调整隐特征提取器（（深度）“sub-NN”）的参数θ。

有权访问针对工业传感器数据的通用隐特征提取器是一项非常强大的资产。在给定这种特征提取器的情况下，可以将它集成到工业NN的架构中作为特征提取组件。针对新的（工业）任务，开发者只需训练特定任务模块或者分别训练组合器模块和任务模块，这些模块具有比隐特征提取器显著更低的复杂性。当然，如果需要，开发者具有进一步调整隐特征提取器的自由。出于此原因，只需要相对少量的带标签的训练数据来优化针对特定（工业）任务的完整（深度）（工业）NN/模型。可以实现带标签的训练数据的所需的量中多达1000倍的减少。此外，这种预训练的（深度）（工业）NN/机器学习模型使得更大的开发者池能够在更短的时间段内快速转移到新的和复杂的工业问题，而不需要构建并维护大的带标签的数据集或建立基础设施以在这些数据集上训练和评估大的且复杂的模型。由于特征提取是自动执行的，因此它大大减少了针对特定于领域的特征工程的需要。此外，用于训练的时间也将显著减少，从而通过同时减少劳动力成本和时间两者而导致更快的开发迭代和更大的成功机会。因此，上面描述的（通用）隐特征提取器具有如下潜力：即，显著地增加基于非均匀输入信号（如工业传感器数据）的基于AI的解决方案开发的速度和规模，连同劳动力和成本方面的降低。

根据对本发明的完善，非均匀训练数据是来自不同传感器的传感器数据。

传感器数据包括基于不同物理变量的信号，这些物理变量如温度、湿度、压力、张力、应变、力、加速度、速度、距离、电压、电流、流量等。这些信号具有不同的维数和值范围。因此，所得到的训练数据非常不均匀。

因此，所得到的（通用）隐特征提取器针对各种各样的工业应用或问题提供了有意义的隐特征。

根据对本发明的完善，Ti在2至1000之间，并且优选地在2至100之间，和/或其中nj在1至10000之间，和/或其中每个kT等于32、64和128中的一个。

通过利用大约Ti=100个不同的任务进行预训练，可以生成鲁棒的通用隐特征提取器，其中在大约nj=10000个迭代中利用kT∈[32, 64, 128]个对应训练示例来对每个随机选择的任务T进行采样。

根据对本发明的完善，该方法进一步包括以下步骤：

在优化步骤之前对非均匀训练数据进行归一化。

根据对本发明的完善，（深度）（工业）神经网络进一步包括在隐特征提取器上游的归一化器模块。

在非均匀训练数据的（一个或多个）训练信号要么在（深度）（隐）NN中要么在隐特征提取器的预训练期间被提供给隐特征提取器之前，由归一化器模块对（一个或多个）信号进行归一化。归一化可以通过min-max归一化来完成，或者通过使数据居中并且缩放到单位方差、或仅按某个其他常数（例如，完整数据内观察到的标准偏差）对值进行缩放来完成。因此，隐特征提取器被提供有全部在相同范围内的值。

根据对本发明的完善，针对每个任务T的kT个训练示例包括来自一个或多个传感器的一个或多个训练信号。

通过利用包括针对Ti个任务的训练示例——其中一些训练示例具有一个训练信号并且其中若干个训练示例具有多于一个训练信号——的非均匀训练数据来预训练隐特征提取器，可以确保所得到的隐特征提取器的通用性。这里，Ti个任务中的一些任务相应地消耗来自一个传感器的一个输入信号，并且Ti个任务中的若干个任务消耗来自多个传感器的多个输入信号。

根据对本发明的进一步完善，在其中针对当前随机选择的任务T的kT个训练示例包括多个训练信号的nj个迭代的每个迭代n中，在提取步骤中，针对该多个训练信号中的每个训练信号来提取特征，并且其中，在其中针对当前随机选择的任务T的kT个训练示例包括多个训练信号的nj个迭代的每个迭代n中，附加地执行以下步骤：

在导出步骤之前，利用当前随机选择的任务T的相应组合器模块将该多个训练信号中的每个训练信号的所提取的隐特征组合成经组合的提取特征。

根据对本发明的进一步完善，该系统进一步包括组合器模块，组合器模块在隐特征提取器下游并且在针对每个任务T——其中相应kT个训练示例包括多个训练信号——的相应任务模块上游，组合器模块用于组合该多个训练信号中的每个训练信号的所提取的隐特征。

针对具有多于一个输入信号的每个任务T，由隐特征提取器从对应的多个训练信号中提取的隐特征必须在它们被提供给相应任务模块之前由组合器模块来组合，以便产生有意义的输出oi。

根据对本发明的完善，隐特征提取器包括10至30个之间的层，并且隐特征提取器的每一层包括10至1000个之间的神经元。

根据对本发明的完善，每个任务模块包括1至2个之间的层，并且任务模块的每一层包括10至1000个之间的神经元。

根据对本发明的进一步完善，每个组合器模块包括1至2个之间的层，并且组合器模块的每一层包括10至1000个之间的神经元。

根据对本发明的完善，（深度）（工业）NN的隐特征提取器包括10至30个之间的层，该层包括10至1000个之间的神经元，并且替代地或附加地，该NN的特定任务模块包括1至2个之间的层，该层包括10至1000个之间的神经元，并且替代地或附加地，组合器模块包括1至2个之间的层，该层包括10至1000个之间的神经元。

由于特定任务模块和组合器模块的“sub-NN”的与预训练的隐特征提取器（其不必再被训练）相比分别降低的复杂性，因此带标签的训练数据的量以及训练（深度）（工业）NN所需的时间可以显著减少。

随后通过附图中所示的示例性实施例来进一步详细解释本发明及其技术领域。示例性实施例仅有助于更好地理解本发明，并且在任何情况下都不应被解释为限制本发明的范围。特别地，有可能提取在附图中描述的本主题的方面，并且将其与本描述或附图的其他组成部分和发现进行组合，如果没有明确以不同方式描述的话。相同的参考符号指代相同的对象，使得可以补充地使用来自其他附图的解释。

图1示意性地示出了用于构建隐特征提取器的方法的流程图。

图2示意性地示出了用于构建隐特征提取器的系统。

图3-4示意性地示出了包括隐特征提取器的深度工业网络的两个实施例。

在图1中，示意性地描绘了用于构建隐特征提取器的方法的流程图。在提供1的第一步骤中，提供非均匀训练数据。非均匀训练数据包括针对众多Ti=100个任务中的每个单个任务T的kT∈[32, 64, 128]个训练示例。这些任务包括工业应用或问题，如导出燃气涡轮机操作中的异常的概率。每个训练示例包括一个或多个传感器信号（例如，转速、温度、当前负载等），并且被加标签有针对相应任务T的结果（例如，异常的概率）。在归一化2的可选第二步骤中，对非均匀训练数据进行归一化。通过min-max归一化、或者通过使数据居中并且缩放至单位方差、或通过仅按某个其他常数（例如，完整数据内观察到的标准偏差）对值进行缩放来归一化非均匀训练数据。在优化3的第三迭代步骤中，基于众多Ti个任务来优化隐特征提取器的神经网络（NN）的参数θ。此外，迭代地执行随机选择4的第四步骤和采样5的第五步骤，直到参数θ已经收敛（）为止。在随机选择4的第四步骤中，从众多Ti个任务中随机选择单个任务T以用于优化参数θ。对任务T的选择基于所有任务的相等概率p(T)，使得在优化参数θ的过程期间，任务Ti中的每一个被选择的频率几乎相等。在采样5的第五步骤中，在nj个迭代内对当前随机选择的任务T进行采样。由此，利用非均匀训练数据的相应kT个训练示例对当前随机选择的任务T进行采样。由此，基于当前随机选择的任务T来优化参数θ。在nj个迭代的每个迭代n中，执行提取6的第六步骤、组合7的可选第七步骤以及导出8的第八步骤。在提取6的第六步骤中，利用隐特征提取器从相应训练示例kT的当前训练示例k的训练信号中提取隐特征。在组合7的可选第七步骤中，利用当前随机选择的任务T的相应组合器模块将该多个训练信号中的每个训练信号的所提取的隐特征组合成经组合的提取特征。组合器模块是（深度）“sub-NN”，它学习从每个训练信号中提取的各种隐特征的有意义的组合。在导出8的第八步骤中，利用当前随机选择的任务T的相应任务模块从（经组合的）所提取的特征中导出针对当前随机选择的任务T的输出信号oi。基于输出oi，调整参数θ，使得下一个输出更接近地逼近下一个训练示例的相应结果。

在图2中，示意性地描绘了用于构建隐特征提取器的系统10。系统10被布置和配置成用于执行图1的方法。系统10包括众多（深度）NN，一个NN用于Ti=100个任务中的每一个（T=1...100）。任务T的NN共享一个隐特征提取器11（“sub-NN”），隐特征提取器11具有30个层，每一层具有1000个神经元。任务Ti的每个NN包括在隐特征提取器11下游的针对其任务T的相应任务模块12.i（“sub-NN”），每个任务模块12.i具有2个层，每一层具有100个神经元。此外，Ti个任务的每个NN可以包括在隐特征提取器11与相应任务模块12.i之间的可选组合器模块13.i（“sub-NN”），每个组合器模块具有2个层，每一层具有100个神经元。此外，该系统可以包括在隐特征提取器11上游的用于Ti个任务的NN的可选归一化器模块14.i。

针对每一个任务Ti的训练信号或者更确切地说是输入信号si.mi可选地在对应的归一化器模块14.i中被归一化。隐特征提取器11从（归一化）输入信号si.mi（sni.mi）中提取隐特征lf。隐特征提取器11针对众多Ti个任务中的每个任务T而被共享。可选组合器模块13.i将消耗多于一个（归一化）输入信号si.mi（sni.mi）的任务T（这里示例性地是任务T=1以及任务T=Ti=100）的所提取的隐特征lf组合成经组合的隐特征。在隐特征提取器11下游的任务模块12.i从对应（经组合的）隐特征中导出针对相应任务T的对应输出信号oi。基于输出oi，调整并且迭代地优化参数θ。

在图3和4中，示意性地描绘了深度工业NN的两个示例性实施例。

在图3中，示意性地描绘了用于仅消耗一个输入信号的任务的深度工业NN 20。NN 20包括：归一化器模块14；在归一化器模块14下游的隐特征提取器11，其具有30个层，每一层具有100个神经元；以及在隐特征提取器11下游的特定任务模块22，其具有两个层，每一层具有100个神经元。

已经利用图1的方法和/或图2的系统对隐特征提取器11进行了预训练。因此，隐特征提取器11能够输出各种不同输入信号si的隐特征lf。这里，一个输入信号s（例如，电源的电流简档）被提供给归一化器模块14。归一化器模块14将输入信号s转换成归一化输入信号sn。隐特征提取器11从归一化输入信号sn中提取隐特征lf。特定任务模块从隐特征lf中导出输出o（例如，存在有故障的电气组件）。

由于隐特征提取器11是预训练的并且比特定任务模块22（2个层，每一层具有100个神经元）复杂得多（30个层，每一层具有1000个神经元），因此用于特定任务（例如，基于电源的电流简档来导出是否存在有故障的电气组件）的NN 20的训练与不具有预训练的特征提取器的常规NN相比要快得多并且需要显著更少的带标签的训练数据。

在图4中，示意性地描绘了用于消耗多于一个输入信号的任务的深度工业NN 30。在下文中，仅描述与图3的NN 20的差异。NN 30包括：在隐特征提取器11下游的特定任务模块32，其具有两个层，每一层具有100个神经元；附加地，在隐特征提取器11与特定任务模块32之间的组合器模块33，其具有两个层，每一层具有100个神经元。

这里，多于一个输入信号s.1...s.mi（mi>1）（例如，涡轮机叶片的转速、张力状态以及燃气涡轮机的当前负载）被提供给归一化器模块14。归一化器模块14将输入信号s.1...s.mi转换成归一化输入信号sn.1...sn.mi。隐特征提取器11从归一化输入信号sn.1...sn.mi中提取隐特征lf。组合器模块33将隐特征lf组合成经组合的隐特征。特定任务模块32从由组合器模块33提供的经组合的隐特征中导出输出o（例如，异常操作状态的概率）。

由于隐特征提取器11是预训练的并且比特定任务模块32和组合器模块33（2个层，每一层具有100个神经元）复杂得多（30个层，每一层具有1000个神经元），因此用于特定任务（例如，导出燃气涡轮机中是否存在异常操作状态）的NN 30的训练与不具有预训练的特征提取器的常规NN相比要快得多并且需要显著更少的带标签的训练数据。

尽管本文中已经图示并描述了特定实施例，但是本领域普通技术人员将领会，存在各种替代和/或等同实现方式。应当理解的是，一个或多个示例性实施例仅仅是示例，并且不意图以任何方式限制范围、适用性或配置。而是，前述概述和详细描述将向本领域技术人员提供用于实现至少一个示例性实施例的方便的路线图，应当理解的是，在不脱离所附权利要求及其合法等同物中阐述的范围的情况下，可以在示例性实施例中描述的元件的功能和布置方面做出各种改变。一般而言，本申请意图覆盖本文中讨论的特定实施例的任何改编或变型。

在前述详细描述中，出于简化本公开的目的，在一个或多个示例中将各种特征分组在一起。要理解的是，以上描述意图是说明性的，而不是限制性的。所意图的是，覆盖可能被包含在本发明范围内的所有替代物、修改和等同物。对于本领域技术人员来说，在阅读上述说明书后，许多其他示例将是明显的。

前述说明书中使用的特定术语用于提供对本发明的全面理解。然而，根据本文中提供的说明书，对于本领域技术人员来说将明显的是，不需要具体细节以便实践本发明。因此，出于说明和描述的目的，呈现了本发明的特定实施例的前述描述。它们并非意图穷举或将本发明限于所公开的精确形式；显然，鉴于上述教导，许多修改和变型是可能的。选择并描述实施例是为了最好地解释本发明的原理及其实际应用，从而使得本领域其他技术人员能够最好地利用本发明和具有各种修改的各种实施例，如适合于所预期的特定用途那样。遍及本说明书，术语“包括”和“在其中”分别用作相应术语“包含”和“其中”的简单英语等同物。此外，术语“第一”、“第二”和“第三”等仅用作标签，并且不意图对它们的对象强加数值要求或建立它们的对象的重要性的某种排序。在本描述和权利要求的上下文中，连词“或”应被理解为包括（“和/或”）而不是排他性的（“要么……要么”）。