人工学习单元的递归耦合

1.本发明涉及一种递归耦合人工智能单元的方法。


背景技术：

2.人工智能现在在无数应用领域发挥着越来越重要的作用。这最初被理解为智能行为和机器学习的任何自动化。然而，此类系统通常是为特殊任务而设计和训练的。这种形式的人工智能(ai)通常被称为“弱ai”，并且其本质上是基于计算和算法的应用来模拟固定域中的智能行为。示例包括能够识别某些模式的系统，诸如车辆中的安全系统，或者可以学习和实施某些规则的系统，诸如国际象棋。同时，这些系统在其他领域基本上是无用的，必须针对其他应用进行完全重新训练，或甚至使用完全不同的方法进行训练。
3.对于此类人工智能单元的实际实施，除其他外，还使用了神经网络。原则上，这些网络在抽象层面上复制了生物神经元的功能。有几个人工神经元或节点相互连接，并且它们可以接收、处理和传输信号到其他节点。例如，对于每个节点，定义了函数、权重和阈值，以确定信号是否被传递到节点以及在多大程度上被传递到节点。
4.通常，这些节点是按层考虑的，使得每个神经网络至少有一个输出层。在此之前，其他层可作为所谓的隐藏层存在，从而形成多层网络。这些输入值或特征也可以视为层。不同层的节点之间的连接称为边缘，这些边缘通常被分配固定的处理方向。根据网络拓扑，可以指定层的哪个节点链接到下一层的哪个节点。在这种情况下，可以连接所有节点，但是，例如，由于学习的权重值为0，因此无法经由特定节点进一步处理信号。
5.神经网络中信号的处理可以用各种函数来描述。下面，针对单个神经元或神经网络的节点描述该原理。从到达节点的几个不同输入值中，网络输入由传播函数(也称输入函数)形成。通常该传播函数包括简单的加权和，其中每个输入值都给定一个相关的权重。然而，原则上，其他传播函数也是可能的。在这种情况下，该权重wi可以指定为该网络的权重矩阵。
6.可以依赖于阈值的激活函数f
akt
被应用于以这种方式形成的节点的该网络输入。该函数表示该网络输入与神经元的活动水平之间的关系。各种激活函数是已知的，例如，简单的二进制阈值函数，该函数的输出因此低于该阈值为零，而在阈值以上为恒等式；sigmoid函数；或具有给定斜率的分段线性函数。这些函数在神经网络的设计中被指定。激活函数f
akt
的结果形成了激活状态。任选地，可以指定额外的输出函数f
out
或输出函数，将其应用于该激活函数的输出并确定该节点的最终输出值。然而，通常激活函数的结果在这里只是直接作为输出值传递，即该标识用作输出函数。根据使用的命名法，激活函数和输出函数也可以组合为传递函数f
trans
。
7.每个节点的输出值然后被传递到神经网络的下一层，作为该层对应节点的输入值，在该层重复相应的步骤，以使用该节点的对应函数和权重进行处理。根据网络的拓扑结构，也可能存在到前一层或返回到输出层的反向边缘，从而形成循环网络。
8.相比之下，该网络可以改变用于对每个输入值进行加权的权重wi，以调整该整个
网络的输出值和操作，这被认为是神经网络的“学习”。
9.为此，通常使用网络中的误差反向传播，即将输出值与预期值进行比较，并使用该比较来适应输入值，以实现误差最小化的目的。然后可以使用误差反馈来相应地调整网络的各种参数，诸如步长大小(学习率)或这些节点输入值的权重。同样，这些输入值也可以重新评估。
10.然后可以在训练模式下训练这些网络。所使用的学习策略对于神经网络的可能应用也是决定性的。特别是，区分了以下变体：
11.在监督学习中，给定输入模式或训练数据集，并将该网络的输出与预期值进行比较。
12.无监督学习将相关性或规则的发现留给系统，从而只指定要学习的这些模式。中间变体是部分监督学习，其中也可以使用没有预定义分类的数据集。
13.在强化学习或q-learning中，创建了可以接受对行为的奖励和惩罚的代理，并基于此尝试最大化所接受的奖励，从而调整其行为。
14.神经网络的一个重要应用是将输入数据或输入分类为某些分类或类别，即识别相关性和分配。这些类别可以基于已知数据进行训练并且至少是部分预定义的，或者它们可以由网络独立开发或学习。
15.此类神经网络的基本操作和进一步的具体细节是本领域已知的，例如来自r.schwaiger,j.steinwender的:neuronale netze programmieren mit python,rheinwerk computing,bonn 2019。
16.一个普遍适用的ai系统如果不是只针对一项特殊任务进行训练，就会导致高维空间，因此需要成倍增加的训练和测试数据集。因此，实时响应很快变得不可能。因此，通常试图降低此类系统的维度和复杂性。正在采取不同的方法。例如，可以通过链接数据集、降低自由度和/或将已知知识输入系统来降低复杂性。作为另一种方法，可以至少部分地分离相关数据或相互依赖的数据集，例如通过诸如主成分分析的方法。通过对特征应用过滤方法，可以消除在训练网络时不突出或负面突出的数据，例如，通过应用诸如卡方检验或其他统计检验。最后，该训练数据本身的选择可以作为ai网络中的优化问题来完成。这涉及以此类方式组合该训练数据，即它可以尽可能快地训练新网络。
17.更高级的方法包括所谓的“卷积神经网络”，该方法在多层全连接网络的至少一层中应用卷积，而不是简单的矩阵变换。为此，例如，所谓的“深梦(deep-dream)”方法是已知的，尤其是在图像识别领域，其中权重在训练网络中保持最优，但是取而代之的是，输入值(例如，输入图像)根据输出值被修改为反馈回路。因此，例如，系统认为它可以识别的内容逐渐变弱或被插入。这个名字指的是在这个过程中创造了梦幻般的图像。通过这种方式，可以追踪神经网络的内部过程及其方向。
18.显而易见，这些方法对人类智能仍然表现出很大的差异。尽管数据库、文本文件、图像和音频文件原则上可以与事实、语言、语音逻辑、声音、图像和事件序列在大脑中的存储和处理方式相比较，但例如人类智能的显著差异在于，它将所有该数据与感觉和无意识的“软”分类情况联系起来。


技术实现要素：

19.根据本发明，提出了一种具有独立专利权利要求特征的用于递归耦合至少两个人工智能单元的方法。有利的实施方案是从属权利要求和以下描述的主题。
20.特别地，根据一个实施方案，在至少两个人工智能单元的系统中提出了一种方法，该方法包括将输入值输入到至少第一人工智能单元和第二人工智能单元，由此获得第一人工智能单元的第一输出值。基于第一人工智能单元的输出值，形成一个或多个调制函数，然后将该调制函数应用于第二人工智能单元的一个或多个参数。在这点上，一个或多个参数是以某种方式影响第二人工智能单元中输入值的处理和输出值的获得的参数。此外，获得第二人工智能单元的输出值。例如，这些输出值可以表示第二单元的调制输出值。通过这种方式，将两个人工智能单元耦合在一起，而不使用输入或输出值的直接反馈。相反，这些单元中的一者用于通过调制某些函数相关的参数来影响第二单元的函数，从而导致与传统学习单元相比导致不同结果或输出值的新耦合。此外，通过处理两个耦合单元的输入值，可以在比传统系统更短的时间内或通过更深入的分析来获得结果，从而可以提高整体效率。特别是，实现了对手头问题的快速分类和对快速变化的考虑。
21.在示例性实施方案中，人工智能单元中的至少一者可包括具有多个节点的神经网络，特别是应用调制函数的学习单元之一。在这种情况下，一个或多个参数可以是以下中的至少一者：神经网络的节点的加权、节点的激活函数、节点的输出函数、节点的传播函数。这些是神经网络的基本组成部分，用于确定如何在网络中处理数据。取而代之为这些节点定义新的权重或函数，可以使用调制函数来叠加调制网络的现有自学习和/或预定义的函数，这取决于第一人工智能单元的结果。在这种情况下，调制函数的这种应用尤其可以在网络的训练阶段之外进行，因此在输入值的处理中实现两个或更多个网络的主动耦合。
22.根据示例性实施方案，可以为每个人工智能单元分配分类存储器，其中每个人工智能单元将输入值分类为存储在该分类存储器中的一个或多个类别中，其中每个类别被构造成一个或多个从属级别，并且其中，第一人工智能单元的第一分类存储器中的类别和/或级别的数量小于第二人工智能单元的第二分类存储器中的类别和/或级别的数量。通过以这种方式使两个耦合的人工智能单元的分类存储器不对称，可以对具有不同目标的输入值进行并行或时间依赖性的交替评估，例如对输入值的快速分类和对输入值的深入、较慢分析的组合。
23.另选地或除了分类存储器的不对称设计之外，还可以设计第一人工智能和第二人工智能单元的复杂性，使得例如第一人工智能单元的复杂程度明显低于第二人工智能单元。就这一点而言，对于神经网络的情况，例如，第一神经网络可以具有比第二神经网络的基本较少的节点和/或层和/或边缘。
24.在一个可能的实施方案中，至少一个调制函数的应用可以引起第二人工智能单元的参数的时间依赖性的叠加，其中，至少一个调制函数可以包括以下特征之一：周期函数、阶跃函数、幅度短暂增加的函数、阻尼振荡函数、作为多个周期函数叠加的拍频函数、连续增加的函数、连续减少的函数。此类函数的组合或时间序列也是可以想到的。以此方式，学习单元的相关参数可以以时间依赖性的方式叠加，使得例如这些输出值由于调制而“跳”到搜索空间中，这在没有叠加的情况下将无法达到。
25.可选地，第二人工智能单元可以包括具有多个节点的第二神经网络，其中，应用至
少一个调制函数使得至少一部分节点去激活。这种类型的去激活也可以被认为是基于第一人工智能单元的输出值的“丢弃”，并且还可以在分类中提供新探索的搜索区域以及减少的计算开销，从而加速该方法的执行。
26.在示例性实施方案中，该方法还可以包括确定系统中当前占主导地位的人工智能单元，并且从当前占主导地位的单元的输出值形成系统的整体输出值。以这种方式，系统中的两个或多个网络可以有意义地耦合和同步。
27.就这一点而言，例如，可以至少在第二人工智能单元的一个或多个输出值可用之前将第一人工智能单元确定为主导单元。以这种方式，可以确保系统始终是决策安全的，即系统的反应始终是可能的(在第一人工智能单元的第一次运行之后)，甚至在系统的所有现有人工智能单元对输入值进行完全分类之前。
28.在这种情况下，还可以通过系统的人工智能单元中的至少一者进一步应用当前输入值与先前输入值的比较，其中，如果该比较导致高于预定输入阈值的偏差，则第一人工智能单元被设置为主导单元。以此方式，可以确保显著改变的输入值(例如通过传感器检测到新情况)立即对这些输入值的新评估做出反应。
29.附加地或另选地，还可以将第一人工智能单元的当前输出值与第一人工智能单元的先前输出值进行比较，其中，如果该比较导致高于预定输出阈值的偏差，则第一人工智能单元确定为主导单元。通过评估这些输出值的偏差，例如在与之前的运行相比存在偏差类别的情况下，因此也可以间接检测这些输入值的变化，这些变化具有一定的重要性，从而使新的分类有意义。
30.在某些实施方案中，该系统还可以包括存储与一个或多个人工智能单元相关联的一个或多个预定时间段的定时器，该定时器被布置为每次针对这些人工智能单元之一测量与该单元相关联的预定时间段的流逝。此类元素形成了同步系统的不同单元的可能性，例如，以及控制何时预期或进一步处理某个单元的输出值的可能性。因此，定时器可用于定义整个系统的可调整等待时间段，在该等待时间段内，决策应该可用作系统的总体输出值。该时间可以是，例如，几ms，例如30ms或50ms，并且该时间可能尤其取决于人工智能单元和存在的计算单元(处理器或其他数据处理装置)的现有拓扑结构。
31.从而，例如，一旦人工智能单元被确定为主导单元，就可以开始测量为该人工智能单元分配的预定时间段。以这种方式，可以确保单元在预定时间内开发出解，或者可选地，甚至中止该数据处理。
32.在一个可能的实施方案中，如果为第一人工智能单元预定的定时器中的第一时间段已经消逝，则可以将第二人工智能单元设置为主导单元。这确保了在由其他的人工智能单元分析输入值之前，基于第一人工单元的反应已经是可能的，而随后由第二单元更详细地分析该数据。
33.在任何实施方案中，输入值可以包括例如以下中的一者或多者：由一个或多个传感器检测的测量值、由用户界面检测的数据、从存储器检索的数据、经由通信接口接收的数据、由计算单元输出的数据。因此，输入值可以是例如由照相机捕获的图像数据、音频数据、位置数据、诸如速度的物理测量值、距离测量值、电阻值，以及通常由合适的传感器捕获的任何值。类似地，用户可以经由键盘或屏幕输入或选择数据，并且可选地可以与诸如传感器数据的其他数据相关联。
34.根据说明书和附图，本发明的其他优点和实施方案将是显而易见的。
35.应当理解，在不脱离本发明的范围的情况下，上述特征以及下面将要解释的那些特征不仅可以在每种情况下指示的组合中使用，而且可以以其他组合使用或者单独使用。
36.参考附图中所示的示例性实施方案示意性地示出了本发明，并且下面参考附图进行描述。
附图说明
37.图1示出了耦合在一起的两个人工智能单元的组合；
38.图2示意性地示出了各种示例性调制函数；
39.图3示出了根据一个实施方案的在两个耦合的神经网络中的丢弃法(dropout method)的应用；
40.图4示出了带有附加定时器的如图1所示的系统；
41.图5示意性地表示了具有相关分类存储器的如图1所示的系统；以及
42.图6示出了具有三个耦合的人工智能单元的替代系统。
具体实施方式
43.图1示出了具有两个链接的人工智能单元110、人工智能单元120的示例性实施方案，这将在下面更详细地描述。在以下说明中，这些人工智能单元被示例性地设计为神经网络。
44.因此，这里以第一神经网络110的形式提供了第一人工智能单元，该第一人工智能单元基本上可以用于对输入信号xi进行分类，并且使用该分类的结果影响第二人工智能单元120(这里是第二神经网络)。优选地，第一神经网络的结果不用作第二神经网络的输入值，而是用于影响该网络的现有权重、步长和函数。特别地，该第二神经网络的这些参数可能受到影响，使得这些参数没有被完全重新定义，而是基于第一神经网络110的输出信号来调制或叠加第二网络120的原始参数。这意味着这两个神经网络以其它方式优选地独立运行，例如训练它们的基本值本身，但可能会通过叠加来耦合。就这一点而言，这两个神经网络在设计上可能彼此基本相似，但例如具有显著不同的复杂性级别，诸如存在的层和分类的数量。此外，每个神经网络都具有其自己的存储器。
45.在一个可能的实施方案中，第一神经网络110可以用作分类网络，用于对输入值进行粗略和快速的分类，然后同时，基于该分类结果，通过调制第二网络的参数来相应地影响该第二网络。为此，第一神经网络可以是具有相对较少级别的网络，该网络具有存储器(具有较少类别k1、k2，...kn)，这些类别优选地被高度抽象以实现粗略的分类。例如，第一神经网络可以限制为10个类别、50个类别、100个类别或500个类别，这些数字当然仅被理解为粗略的示例。就这一点而言，第一神经网络的训练尤其可以独立于进一步耦合的神经网络而单独地执行。然而，附加地或另选地，还可以使用与一个或多个耦合的神经网络处于耦合状态的训练阶段。
46.因此，第一神经网络旨在在较短时间段内提供可用的输出，该输出可用于有意义地影响第二神经网络。可以从第一神经网络110的输出值output1生成权重和函数，该权重和函数可以叠加在第二神经网络120的自生成权重和函数上。这意味着第二神经网络最初
独立运行，并不完全采用第一网络的输出值或从其中获得的参数。此外，第二神经网络120最初可以以通常的方式独立地训练，从而具有自生成的权重。
47.在这种情况下，第二神经网络可以设计为比第一神经网络复杂得多，尤其是可以具有更多的级别和/或记忆类别。与第一网络相比，第二神经网络的复杂性增加的程度可以根据应用而不同地确定。在此，第二神经网络的输入值或输入数据优选与第一神经网络的输入值相同，使得现在可以用相同的数据进行更复杂的分析。然而另选地，第一神经网络的输出值也可以至少部分地用作第二网络的输入值。特别地，例如，在第二网络的复杂性显著不同的情况下，可以提供第二网络，其中也用作第一网络的输入值的原始输入值被提供给该第二网络作为输入值，并且此外，第一网络的输出值被用作第二网络的输入值。
48.图2示出了示例性的不同调制函数f
mod
，第二神经网络的一个或多个参数可以与该调制函数叠加。原则上，该叠加或调制可以以任何方式进行。例如，当调制函数f
mod_w
被应用于节点的权重w
i2
时，可以提供第二网络120的权重矩阵被用作调制函数的自变量，或者可以为权重w
i2
中的每一者提供一维(即使不同的)函数。当调制函数f
mod_f
_应用于第二神经网络的描述性函数之一，即应用于网络120的传递函数f
trans2
、激活函数f
akt2
、传播函数或输出函数f
out2
时，这可以通过组合这两个函数来完成，并且调制函数f
mod_f
也可以仅应用于相关描述性函数的一部分或全部(例如，应用于第二神经网络120的所有激活函数f
akt2
)。调制可以同等地应用于网络的所有节点，或者另选地可以仅应用于节点的一部分，或者可以针对每个节点进行不同地调制。类似地，例如，可以针对网络的每一层单独地或以其他方式交错地应用调制。
49.特别地，调制函数f
mod
也可以是时间依赖性的函数，使得以时间依赖性的方式改变第二神经网络的权重w
i2
或函数。然而，用于调制第二神经网络的静态调制函数也是可以想到的。在这种情况下，该调制被应用于第二网络120的参数，这些参数已经最初为该第二网络定义(诸如传播函数或激活函数)，或者在训练阶段独立获得的参数，诸如自适应自生成权重。
50.图2中示出了八种不同的时间依赖性的调制函数作为示例。实施例a)示出了一个简单的二元阶跃函数，其中在指定时间内指定值零，然后指定大于零的值。在此，第二值原则上可以是1，但也可以具有不同的值，使得原始参数另外受到因子的影响。以这种方式，例如，以时间依赖性的方式打开和关闭加权，或以时间依赖性的方式放大该加权。实施例b)示出了相反的情况，其中预定了具有小于零的第二值的阶跃函数。同样，作为实施例a)和实施例b)的变体的替代，可以设想阶跃函数，其包括两个不等于0的不同值，使得以相应的时间依赖性方式升高或降低该级别。
51.实施例c)示出了一个周期性调制函数，该函数也可以应用于第二网络的任何参数，并以此方式将以时间依赖性的方式周期性地放大或衰减某些元素。例如，对于不同的节点和/或不同的层，也可以分别为此类函数选择不同的幅度和/或周期。在这一点上可以使用任何周期函数，诸如正弦函数或甚至非连续函数。根据这些函数与第二网络的自生成函数的级联类型，只能选择正函数值或负函数值。
52.实施例d)示出了电平的缓慢连续瞬时增加和减少。另一方面，实施例e)描述了具有其它情况下低函数值的简短的、近似矩形的高电平，该低函数值可以可选地为零。类似地，实施例f)示出了不规则分布和非常短的峰值或尖峰，因此导致电平在非常短的时间内
增加。在此，这些峰值具有不同的幅度并且可以具有正值和负值(相对于基本值)。对于来自实施例e)和实施例f)的变体，可以存在峰值或扩大的规则的、周期性的和时间上完全不规则的(例如随机确定的)分布。在这种情况下，例如，短暂的电平增加可位于第二神经网络的决策周期内，而较长的显著电平变化可以扩展到多个决策周期。
53.图2中的实施例g)进一步示出了阻尼振荡，该阻尼振荡也可以任意设计为具有不同的阻尼和振幅。最后，实施例h)示出了围绕基本值的不同振荡的时间序列，其中特别是振荡的周期长度不同，而幅度保持相同。这种不同振荡的组合也可以设计为附加叠加，即拍频。
54.一般来说，任何调制函数都是可以想到的，图2中所示的函数只能理解为示例。特别地，所示的示例性函数的任何组合都是可能的。还应当理解，根据调制函数的所需效果，所有示例中所示的基线可以在0或其他基本值处运行。对于调制函数与相应的调制函数的纯级联，可以使用基值为0和函数值的相应增加量来确保相应的节点仅以时间依赖性的方式对该处理做出贡献，并且在其他时间关闭。另一方面，在基本值为1的情况下，可以实现例如，对于图2的a)中的示例，应用于权重的调制函数首先将调制网络的自生成权重再现为基本值，然后从阶跃较高值开始，相应地增加了权重。因此，此类函数还用于调制诸如激活函数的函数。
55.如上所述，可以基于第一人工智能单元的输出值来形成调制函数，即，在本示例中，基于第一神经网络。这些输出值与由此形成的调制函数之间的关系可以是任意的。例如，可以至少部分地在耦合网络的联合训练阶段中生成该相关性。在其他实施方案中，可以预定如何设计调制函数和第一网络的输出值之间的依赖性。可选地，还可以决定，对于某些输出值，不首先进行第二网络的调制。
56.另选地或除了向第二神经网络的权重和函数应用于施加调制函数之外，还可以应用耦合的丢弃法，该方法在图3中示出。这通常是神经网络训练过程，其中仅在每个训练周期中使用隐藏层和输入层中存在的神经元的一部分，并且不使用其余部分(“丢弃”)。为此，现有技术通常基于网络的反馈误差来设置丢弃率，这确定了总网络中有多大一部分由被关闭的神经元组成。类似地，代替神经元，可以关闭神经元之间的一些边缘或连接。
57.在示例性实施方案中，神经元和/或边缘的此类部分断开现在也可以在第二神经网络中使用，其中，根据第一神经网络的输出值，现在不再基于该网络本身的误差反馈来使用丢弃参数，而是如在时间依赖性调制中使用这些丢弃参数。就这一点而言，例如，第二神经网络的丢弃率可以基于第一神经网络310的输出值output1来确定，该输出值然后被应用于第二网络。该图再次示出了如图1中的两个耦合网络310、耦合网络320，但是现在第二网络320的神经元或节点326、节点328示意性地表示为圆。这里，未示出连接边缘，所示神经元的布置并不旨在与其实际拓扑具有任何特别的关系。通过丢弃率，现有可用神经元的一部分现在被去激活并且因此未使用。第二网络的活动神经元326在图中以阴影示出，而未填充的神经元旨在表示丢弃神经元328。
58.一般而言，在此描述的耦合丢弃也可以理解为调制函数f
mod
，通过使用0或1作为权重的调制函数或者例如每个节点的输出函数。这可以基于第一网络的输出值来确定哪个神经元326、神经元328被关闭，或者可以仅指定速率并且可以使用随机函数来确定哪个神经元被关闭。就这一点而言，也可以再次基于第一网络310的输出值output1来确定丢弃率。就
这一点而言，丢弃调制函数也可以可选地导致时间依赖性的关闭，这将对应于例如如图2所示，丢弃函数与调制函数的级联。类似地，也可以采用在先前训练中已经证明的模式关闭序列，使得例如采用循环模式变化以用于第二神经网络320中的关闭。
59.一般来说，该丢弃可以保证神经网络的工作速度提高。该丢弃还可以防止相邻神经元在行为上变得过于接近。如上所述的耦合丢弃既可以用于其中两个网络耦合的联合训练阶段，也可以用于已经训练好的网络。
60.为了确保耦合的神经网络以有意义的方式相互补充，可以确定在任何给定时间哪个神经网络主导整个系统。其输出值确定整个系统输出的网络可以被指定为主导网络或主导地位。在下文中，假设在任何时候，一组两个或多个耦合网络中恰好只有一个网络处于主导地位，因此主导网络的输出等于整个系统的输出。然而，原则上也可以想到其他实施方案，使得例如规定规则，所述规则描述在多于一个主导网络的情况下将主导网络的输出值处理成最终总输出值。
61.在示例性实施方案中，可以为此目的实现定时器或定时元素，其为一个或多个耦合的神经网络定义时间规范。在这种情况下，该时间规范优选地被理解为最大值或时间上限，在该最大值或时间上限之后必须存在相应网络的输出值，使得输出也可以更早地存在。最迟在为特定网络指定的时间到期后，然后评估该网络的输出值。该定时器因此可以基于固定时间规范来控制和/或改变耦合网络之间的主导地位。
62.这种类型的示例性实施方案如图4所示。这里，两个神经网络410、神经网络420的形成和耦合可以对应于图1中已经描述的示例。定时器440现在确保最迟在预定时间之后评估第一神经网络410的输出，该预定时间由预定时间参数值定义。所需时间可以例如从输入值xi被馈送到相应网络的时间开始测量。网络的预定时间参数的选择由此可以具体地根据网络的复杂性来执行，使得可以在预定时间内实际上预期可用的结果。在诸如先前描述的示例中，其中第一神经网络410优选地由具有少量隐藏层和少量分类的网络形成，因此也可以为该第一网络选择相应较短的时间。类似地，在为网络选择时间参数时可以考虑其他考虑因素，诸如可用硬件，该硬件对网络的计算时间和/或耦合网络所考虑的应用领域具有决定性影响。此外，预定时序参数可以是可变的并且可以例如根据来自耦合神经网络中的至少一者的结果而被修改或重新定义。应当理解，这样的时间规范应当至少包括作为遍历相应网络410、网络420一次的最小时间所需的时间段。例如，在图4中，为第一网络指定了30ms的时间跨度，使得在进程运行期间，该网络在从进程开始的0ms到30ms的时间内占主导地位。然而，当然也可以为该时间跨度选择合适的其他值。
63.在由第一网络410的时间参数指定的时间段(此处为30ms)期间，该第一神经网络将以通常方式处理输入值xi。在预定时间过去之后，第一神经网络410的输出output1可用于生成用于叠加或调制第二神经网络自身的权重和函数的函数。此外，第一神经网络的输出值也可以被独立处理，作为替代或者除了被用于影响第二网络420之外，并且例如该输出值被用作整个系统的快速输出。
64.一旦调制函数f
mod_f
、f
mod_w
已经被应用到第二神经网络420，定时器440就可以开始新的定时测量，现在应用为第二神经网络420预定的第二定时参数。
65.就这一点而言，第二神经网络420也可以可选地独立地利用输入值xi，甚至在通过所获得的调制函数f
mod_f
、f
mod_w
进行调制之前，使得例如也可以将该输入值提供给第二神经
网络420，甚至在第二预定时间段开始之前，并且可以在那里被相应地进行处理。在第一时间段过去之后，然后通过应用相应的调制函数f
mod_f
、f
mod_w
来叠加第二神经网络的参数值和函数。就这一点而言，可以针对第二神经网络420的不同部分形成一个或多个调制函数，例如针对第二神经网络的权重、输出函数、传播函数和/或激活函数。在第二神经网络420被形成为显著比第一神经网络410更复杂的情况下，例如通过具有显著更多的层和节点和/或通过具有更高数量的存储器类别，第二神经网络将需要相对更高的计算工作量，因此也需要更多的时间，使得在这种情况下，可以选择相应更长的第二时间段。
66.就这一点而言，可选地，即使在基于当前时间跨度将另一个网络确定为整个系统中的主导网络时，网络410、网络420中的每一者也可以继续连续地处理和评估这些输入值。特别地，在所示的两个耦合网络的示例中，即使在第二网络占主导地位时，第一网络也可以连续评估输入值，因此在第二时间段过去并且该第二网络已经找到解之后，整个系统的输出值可以对应于该第二网络的输出值。以此方式，诸如本文描述的第一网络410的快速分类网络，其始终评估可用的输入值，也可以执行短期干预，直到所找到的输出值进入总输出的程度。下面将更详细地描述此类实施方案。
67.因此通过定时器中的预定时间段进行此类时间控制，整个系统可以提早做出决定，并且例如已经能够行动而无需已经必须完成第二神经网络的最终评估和详细分析。例如，自动驾驶系统中的情况可以被认为是由具有至少两个耦合网络的系统评估的。通过第一单元或第一神经网络，可以实现对“危险”的提早分类，这还不涉及对危险性质的任何进一步评估，但已经可以导致立即的反应，例如减慢车辆的速度以及传感器系统的制动和激活。同时，基于该分类，即在第一网络的输出值调制的影响下，第二神经网络对情况进行更深入的分析，从而导致基于第二网络的输出值的整个系统的进一步反应或变化。
68.也可以不为耦合网络中的每一者指定时间限制，而仅为网络中的一个网络指定时间限制(或者，如果耦合多于两个网络，也仅针对耦合网络的子集)。例如，在上面的示例中，定时器可以应用于第一快速分类神经网络，而第二网络没有固定的时间限制，反之亦然。此类实施方案还可以与用于确定当前主导网络的其他方法相结合，这将在下面更详细地描述。
69.在具有插入的定时器的所有实施方案中，前提条件可以是，当前具有活动定时器的神经网络的输出值被用作整个系统的输出。由于网络达到给定输入值的第一解所需的时间存在一定的延迟时间，在该延迟时间内(第一网络或第二网络的)先前输出值仍可用作总输出值。
70.如果定时器只为一些耦合网络定义，例如定时器只对第一网络是激活的，例如，可以定义整个系统的输出通常总是对应于第二网络的输出，并且如果定时器对第一网络是激活的，即预定义的时间段主动运行并且尚未到期，则仅由第一网络的输出代替。
71.在具有多于两个网络的系统中，网络之间的合理同步还可以通过校准预定时间跨度和更改定时器来实现，特别是如果具有不同任务的几个网络同时达到一个结果，这继而会对一个或多个其他网络产生影响。类似地，通过调整预定的时间段和序列，也可以在几个单独的整体系统之间实现同步，每个系统包括几个耦合的网络。在这种情况下，系统可以例如通过时间校准来同步，然后根据各自的定时器规范独立但同步地运行。
72.另选地或除了基于定时器改变整个系统中各自的主导神经网络之外，每个神经网
络本身也可以做出以合作方式移交主导地位的决定。这可能意味着，例如，整个系统的第一神经网络处理输入值并得到某个第一解或某个输出值。
73.与借助定时器改变重心一样，这里可以指定总网络的输出值在每种情况下对应于当前主导网络的输出值。
74.为此，例如可以评估输入值的变化。只要输入值保持基本不变，耦合网络之间的主导地位分布也可以保持基本不变，和/或可以仅基于定时器来确定。然而，如果输入值突然改变，则可以建立预定的主导地位，该主导地位优先于耦合网络的其他主导行为。例如，对于突然改变的输入值，可以确定在任何情况下，主导地位最初都将恢复到第一神经网络。这也为该第一神经网络重新启动了可选的定时器，并且该过程如前所述执行。例如，如果传感器值检测到新的环境，或者如果先前评估的过程已经完成并且现在要触发新的过程，则这些输入值可能发生显著变化。
75.可以以显著性阈值的形式指定阈值，该阈值可用于确定输入值的变化是否应被视为显著并导致主导地位的变化。还可以为不同的输入值或每个输入值预定单个显著性阈值，或者可以提供一般值，例如以百分比偏差的形式，作为评估输入值变化的基础。同样，代替固定的显著性阈值，还可以有可根据情况及时或自适应地改变的阈值，或者它们可以为函数、矩阵或模式，在此基础上可以评估改变的显著性。
76.另选地或除此之外，耦合网络之间主导地位的改变可以取决于为每个网络找到的输出值。例如，根据实施方案，第一神经网络可以评估输入值和/或其变化。在这种情况下，对于第一神经网络可用于分类的类别，可以在每种情况下预定显著性阈值，使得如果第一神经网络发现输入数据所找到的类别有显著变化，则主导地位立即转移到第一神经网络，使得快速重新评估情况，并在必要时做出反应。以这种方式，还可以防止以下情况，尽管由第一快速分类网络检测到的输入情况发生了显著变化，但该分析持续了不必要的较长时间，而没有由第二神经网络深入考虑该变化。
77.在所有上述示例中，整个系统的输出值可以以任何方式进一步使用，例如作为执行器的直接或间接控制信号，作为存储以备将来使用的数据，或作为传递给输出单元的信号。在所有情况下，输出值最初也可以由附加函数和评估进一步处理和/或与其他的数据和值组合。
78.图5再次示出了如图1中的简单实施方案，其中具有两个单向耦合的网络510、网络520，由此现在示意性地示出了每个网络的分类存储器512、分类存储器522。使用的分类类型ki在这里最初是次要的，其将在下面更详细地描述。特别地，第一网络512和第二网络522的两个分类存储器的维度和结构可以显著不同，使得形成具有不同速度和焦点或重心的两个神经网络。因此，例如，如已经简要描述的，可以实现快速、粗略分类的网络和较慢但更详细的分析网络的交互，以形成耦合的整体系统。
79.在本示例中，第一神经网络510由相对较少的分类k1、k2、...、kn形成，该第一神经网络也可以例如仅遵循扁平层次结构，使得仅在一个维度上执行分类。优选地，这样的第一网络510也可以由相对简单的拓扑结构形成，即具有不太多的n个神经元和隐藏层。然而，原则上，网络拓扑可以基本上独立于这些分类。
80.然后第二神经网络520可以具有明显更大和/或更复杂的分类系统。例如，如图5所示，该存储器522或底层分类也可以在多个级别524中分级结构化。第二网络520的类别k1、
k2、...、km的总数m可能非常大，特别是明显大于第一神经网络510所使用的类别数量n。例如，类别数量m、类别数量n可能相差一个或多个数量级。因此，实现了整个系统中各个网络的非对称分布。
81.然后可以使用第一神经网络510的快速分类来对输入值进行快速分类。为此目的可以优选地使用抽象摘要类别。在一个示例中，感测到情况的分类(例如，基于诸如图像和音频数据的传感器数据)然后可以最初由第一神经网络510作为“大型的、可能危险的动物”来执行，而无需为此目的执行任何进一步的分析。这意味着，例如，在第一网络中，不是根据动物物种(狼、狗)或作为危险的捕食者进行进一步的分类，而是仅根据尽可能广泛的一般特征进行分类，例如大小、牙齿检测、攻击姿势和其他特征。本质上对应于输出“危险”的该数据，然后可以可选地已被传递到适当的外部系统以进行初步和快速响应，例如用于用户的警告系统或自动化系统的特定执行器。此外，第一神经网络510的输出output 1用于为第二神经网络520生成所描述的调制函数。
82.该相同的输入值xi，例如所述传感器值也被提供给第二神经网络520。在这种情况下，根据实施例，这些输入值可以立即输入，即与第一网络基本同时输入，或延迟输入，在这种情况下，它们在应用调制函数之前或仅在应用这些调制函数时输入，即当第一网络的结果可用时输入。优选地，为了避免延迟，它们不应稍后提供给第二神经网络，特别是在时间关键过程的情况下。然后，第二神经网络还计算解，并且该第二网络的原始自生成权重及其基函数(诸如指定的激活函数和输出函数)可以各自基于由第一网络的输出值形成的调制函数叠加。这允许第二网络的迭代工作省略大量可能的变体，在第一网络快速检测到危急情况(例如，危险情况)的情况下没有时间处理这些变体。虽然第二神经网络的分析速度较慢，但如上所述，已经可以在第一神经网络的基础上执行可能的反应。这对应于生物系统中的第一本能反应。与第一网络相比，第二网络的分级和显著更大的存储器允许对输入值进行精确分析，在该示例中提到了类别“狗”的详细分类、相应的品种、指示危险或无害情况的行为特征等。如有必要，在第二神经网络已经获得结果之后，然后可以覆盖整个系统的先前反应，例如通过再次降低第一分类“危险”的等级。
83.总的来说，对于这种具有非对称分类的耦合整体系统，可以设想，例如，快速分类第一网络510的类别kn主要执行抽象分类，例如新的/已知的情况、危险的/不危险的事件、有趣的/不有趣的特征、需要/不需要的决策等，而无需深入。就这一点而言，该第一分类不一定对应于由第二单元520最终找到的最终结果。然而，由至少一个快速分析单元和一个深度分析单元进行的两阶段分类因此允许人工智能整体系统的类似情绪或本能的反应。例如，如果通过图像识别而识别出的对象可能是蛇，则“最坏情况”可能优选地是第一分类的结果，而不管该分类是否可能正确。人类智能中存在的进化知识和本能反应的情况可以被具有预编程知识的快速第一分类所取代，因此适当的默认反应(保持距离、启动运动、激活增加的注意力)也可以由整个系统及其执行器来执行。然后，基于该第一分类的第二学习单元的附加调制可以类似于与情绪相关叠加来理解，即，例如，对应于自动启动与被理解为无害的情况不同的有意识情况分析的恐惧反应。由调制函数执行的第二神经网络的参数的叠加可以由此导致必要的转换到其他分类空间中，否则默认情况下不会到达或者不会立即到达。
84.因此，此类系统可用于各种应用领域，例如在发生关键决策情况的所有应用中。例
如驾驶系统、针对不同类型危险的救援或警告系统、外科手术系统以及通常复杂和非线性的任务。
85.在迄今为止描述的实施方案中，只有两个人工智能单元耦合在一起。然而，这个想法原则上也适用于两个以上的单元，使得例如可以以适当的方式耦合三个或更多的人工智能单元，由此可以确定哪些单元可以调制特定的一个或多个其他单元的参数。图6示出了一个示例，其中可以提供三个神经网络610、神经网络620、神经网络630(和/或其他人工智能单元)，其中第一网络610的输出值产生用于第二网络620的权重和/或函数的调制函数，并且其中该第二网络的输出值又产生用于第三网络630的权重和/或函数的调制函数。以这种方式就可以形成任意长的人工智能单元链，它们通过叠加以耦合的方式相互影响。
86.类似于具有两个神经网络的较早示例，在一个实施方案中，所有耦合网络都可以接收相同的输入值，并且处理只能通过相应网络的调制来耦合。然而，同样地，可以想到在实施方案中例如在如图1中的两个神经网络之后提供第三神经网络，该第三神经网络其接收第一网络和/或第二网络的输出值作为输入值。可选地，该第三神经网络的函数和/或权重也可以通过调制函数进行调制，这些调制函数例如由第一网络的输出值形成。这些调制函数可以与为第二网络形成的调制函数相同或不同。可选地，例如，第三网络的输出值可用于形成附加的调制函数，然后该调制函数被递归地应用于第一网络和/或第二网络。
87.应当理解，相应耦合的学习单元的各种进一步组合是可能的，其中至少两个连接的单元通过形成用于这些单元的描述性参数的调制函数而具有耦合，特别是对于用于网络的权重和/或函数的神经网络的情况。随着耦合单元数量的增加，可以想到调制和耦合的更复杂的变化。
88.如开头已经提到的，本文描述的实施方案被描述为关于神经网络的示例，但原则上也可以转移到其他形式的机器学习。在这种情况下，考虑了所有变体，其中通过基于输出值的叠加或调制，通过第一人工智能单元可以影响至少第二人工智能单元。通过使用来自前述示例的调制函数的叠加来修改神经网络的权重和函数，可以由控制或描述此类学习单元的操作的任何合适参数的相应调制来代替。在每个示例中，术语“学习单元”可以由神经网络的特殊情况代替，相反，示例性实施方案的所描述的神经网络也可以各自以人工智能单元的形式以通用方式实现，即使在各自示例中没有明确说明。
89.除了神经网络，示例还包括进化算法、支持向量机(svm)、决策树和特殊形式，诸如随机森林或遗传算法。
90.类似地，可以将神经网络和其他人工智能单元结合起来。特别地，例如，可以用任何其他人工智能单元替换前面示例中的第一神经网络，该第一神经网络被示为快速分类单元。在这种情况下，还可以有选择地选择一种特别适合快速、粗略分类特征的方法。然而，此类第一学习单元的输出值然后可以以与针对两个神经网络所描述的相同的方式被应用，以形成用于第二人工智能单元的调制函数，该第二人工智能单元尤其也可以是神经网络。
91.应当理解，上述示例可以以任何方式组合。例如，在所描述的任何实施方案中，还可以有如结合图4所描述的定时器。类似地，在所有示例中，学习单元可以包括分类存储器，如结合图5作为示例所描述的。所有这些变体同样适用于几个人工智能单元的耦合。