基于认知轨迹的神经网络验证的制作方法

1.实施例一般地涉及生成认知空间以及基于认知空间中的轨迹来验证/确证神经网络。更具体地，实施例涉及将神经网络的推理过程映射到认知空间中以识别推理过程的有效性。


背景技术：

2.神经网络(也被称为人工神经网络)可以是进行学习以执行任务而无需针对与任务有关的特定动作进行编程的计算系统。由于神经网络可以在训练过程中自主实现修改，所以基于神经网络的系统进行根据给定输入生成输出的过程可能是人类无法解释的。因此，变得难以调试、测试、解释和评估某些特性，诸如抵抗对手攻击的弹性、准确性和效率。例如，随着神经网络的学习，神经网络可以独立地适配(例如，修改内部权重和过程)。如此，由于独立的自适配，神经网络用于生成输出的过程对于开发人员可能是不透明的。


技术实现要素：

3.根据本公开的一方面，提供了一种计算设备。该计算设备包括：网络控制器，该网络控制器用于与一个或多个电子设备通信，一个或多个电子设备用于实现神经网络；图形处理器；中央处理单元；以及存储器，存储器包括指令集，指令集在由图形处理器或中央处理单元中的一个或多个执行时，使得计算设备：识别认知空间，该认知空间将作为神经网络的激活(activation)的经压缩表示；将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点；并且生成穿过认知空间的第一认知轨迹，其中第一认知轨迹从认知初始点到认知目的地点遍历认知空间。
4.根据本公开的另一方面，提供了一种半导体装置。该半导体装置包括：一个或多个衬底；以及耦合到一个或多个衬底的逻辑，其中逻辑被实现在可配置逻辑或固定功能逻辑硬件中的一个或多个中，耦合到一个或多个衬底的逻辑用于：识别认知空间，该认知空间将作为神经网络的激活的经压缩表示；将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点；并且生成穿过认知空间的第一认知轨迹，其中第一认知轨迹从认知初始点到认知目的地点遍历认知空间。
5.根据本公开的另一方面，提供了一种计算机可读存储介质。该计算机可读存储介质包括指令集，指令集在由计算设备执行时使得计算设备：识别认知空间，该认知空间将作为神经网络的激活的经压缩表示；将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点；并且生成穿过认知空间的第一认知轨迹，其中第一认知轨迹从认知初始点到认知目的地点遍历认知空间。
6.根据本公开的另一方面，提供了一种方法。该方法包括：识别认知空间，认知空间将作为神经网络的激活的经压缩表示；将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点；并且生成穿过认知空间的第一认知轨迹，其中第一认知轨迹从认知初始点到认知目的地点遍历认知空间。
附图说明
7.通过阅读以下说明书和所附权利要求并参考以下附图，实施例的各种优点对于本领域技术人员将变得清晰可见，在附图中：
8.图1是根据实施例的神经网络和评估系统的示例的框图；
9.图2是根据实施例的生成认知空间并识别神经网络的弹性的方法的示例的流程图；
10.图3a至图3b是根据实施例的训练认知空间编码器和解码器的示例的训练过程；
11.图4是根据实施例的生成认知路径的示例的过程；
12.图5是根据实施例的生成通过认知空间的轨迹的方法的示例的流程图；
13.图6是根据实施例的确定弹性分数的方法的示例的流程图；
14.图7是根据实施例的计算系统的示例的框图；
15.图8是示出根据实施例的半导体装置的示例的图示；
16.图9是根据实施例的处理器的示例的框图；和
17.图10是根据实施例的基于多处理器的计算系统的示例的框图。
具体实施方式
18.现在转向图1，示出了计算架构100，在其中认知空间编码器104、轨迹生成器106、解码器110和评估器112可以将神经网络102的神经空间(例如，以人工智能和/或机器学习来实现)映射到潜在空间(例如，认知空间)，确定通过潜在空间的轨迹(例如，认知过程)，并将轨迹映射到输入空间，以评估轨迹的有效性。例如，认知空间编码器104、轨迹生成器106、解码器110和评估器112可以是神经网络评估系统，该神经网络评估系统学习关于神经网络102如何将输入转换成输出的压缩表示。可以基于神经网络102的激活和训练过程期间的训练集来训练认知空间编码器104和解码器110，以识别输入空间(例如，诸如图像、标签之类的人类可解释的空间)中的与认知过程相对应的点。
19.这样做时，神经网络评估系统可能能够以人类可读的格式(例如，输入数据空间中的图像、标签或面部特征)解释神经网络102的认知过程，以确定神经网络102是否有效地操作。可以基于神经网络102是否在有效、弹性且安全地操作，来重新训练神经网络102。因此，计算架构100可以实现一些功能(例如，将神经功能和轨迹分解成人类可理解的格式)，这些功能即使不是不可能手工实现，也是很难实现。此外，计算架构100可以识别通过认知空间的轨迹，以完全明白和理解神经网络102的推理过程。此外，神经网络102可以至少被增强到如下程度：可以利用特定重点重新训练神经网络102以加强已识别的低效或不足之处。
20.更详细地，在神经网络102中，将输入x0，x
t
转换为输出y0，y
t
的所有层的激活可以被认为是神经网络102的推理过程的表示。神经网络102可以通过其权重和偏差θ被参数化为f
θ
(x)，其中x是神经网络102的输入，f是神经网络102。认知空间编码器104可以学习表示神经网络102认知过程的潜在空间，并使用所学习的潜在空间(也被称为认知空间)评估神经网络102如何使两个不同的输入x0和x
t
相关。认知空间编码器104可以从神经网络102接收激活a0，a
t
，并将激活a0，a
t
转换成低维轨迹图106a(其可以是潜在空间和/或认知空间)。例如，认知空间编码器104可以将激活a0，a
t
从第一维度修改为比第一维度小的第二维度，以匹配轨迹图106a的压缩维度。例如，激活可以被表示为具有三个维度(例如，(x，y，z))，认知空
间编码器104的函数可以将三个维度投影到两个维度(例如，(x，y))，其中x和y可以基于z值被从原始值进行修改)。因此，在轨迹图106a的创建中，认知空间编码器104可以包括将第一维度(例如，(x，y，z)空间)中的任何点映射到第二维度(例如，2d(x，y)空间)的函数。
21.神经激活a0，a
t
可以是神经网络102的(也可以被称为f
θ
)，其取决于应用作为神经网络102中每一层的所有输出的拼接或其子集。激活a0，a
t
和/或修改后的神经激活c0，c
t
的第一维度和第二维度可以均包括输入、参数和/或输出。认知空间编码器104可以输出以相对于激活a0，a
t
的维度更低的维度被映射到轨迹图106a的修改后的激活(例如，能量)c0，c
t
。在一些实施例中，修改后的激活c0，c
t
可以携带关于激活a0，a
t
的信息，但是不能在轨迹图106a的空间中如此解释。
22.例如，轨迹图106a可以对应于神经网络102的神经空间。轨迹图106a可以具有比神经空间低的维度空间。因此，认知空间编码器104将分析的神经网络激活(例如，)形式的输入数据(例如，激活a0,a
t
)压缩到轨迹图106a的更低的维度空间c∈rm(例如，m远小于n)中以生成c0，c
t
。轨迹图106a中体现的压缩表示可以促进路径/轨迹规划方法从一个点导航到另一点。
23.认知空间编码器104可以输出激活c0，c
t
。激活c0，c
t
可以是激活a0，a
t
的经压缩版本，其被映射到轨迹图106a(例如，神经空间的压缩表示)。在一些实施例中，激活a0，a
t
可以是神经分析的起点和终点(例如，初始点和输出点)，并且x0，x
t
可以分别被认为是输入空间(例如，人类可解释的数据集)的初始数据点(例如，面部图像)和目的地数据点(例如，与图像相关联的用户)。在一些实施例中，可以将a0和a
t
之间的中间激活(例如，a1，a2，a3等)提供给认知空间编码器104，其对应于激活a0和a
t
之间的神经网络102的激活。认知空间编码器104可以类似地将其他激活映射到轨迹图106a。
24.轨迹生成器106可以产生遍历轨迹图106a(例如，认知空间)的轨迹。例如，轨迹生成器106可以生成从初始点(例如，与c0相对应并且基于激活a0的起点)到终点(例如，与c
t
相对应并且基于激活a
t
的目标点)的轨迹108(例如，路径)。轨迹图106a中的轨迹108可以不被生成为在一条直线上，而是可以沿着将初始点c0连接到终点同时避开障碍物的路径。
25.在一些实施例中，障碍物包括轨迹图106a或认知空间的未观察到的或不确定的区域。轨迹图106a的未观察到的或不确定的区域可以是在训练认知空间编码器104和解码器110的训练集的样本(例如，在欠采样情况下)中未被正确表示或未被充分表示的部分。因此，轨迹生成器106可以生成轨迹，该轨迹遍历轨迹图106a的被高度采样的(例如，在训练数据集中被高度表示的)区域。通过构造且通过学习，在高度“游历(travel)”的区域中轨迹图106a可以有意地更准确。因此，输出样本或离散点c
0-cn(下面进一步解释)可以是高质量的，并且出于准确性而直接与神经网络102的行为有关。
26.例如，轨迹生成器106可以接收初始点c0(例如，激活能量)和终点c
t
(例如，激活能量)。初始点c0和终点c
t
可以被映射到轨迹图106a。然后，轨迹生成器106可以基于路径规划算法和基于轨迹图106a中的点的密度(例如，激活)的估计的生存函数，在初始点c0和终点c
t
之间生成可能路径。如上所述，在一些实施例中，认知空间编码器104还可以将中间点(例如，c2、c5等)映射到轨迹图106a。例如，非参数密度估计可以估计轨迹图106a中的压缩激活的分布。在轨迹生成期间，可以优选高密度区域，同时可以避开低密度区域。然后，轨迹生成器106可以生成通过所有中间点并连接初始点c0和终点c
t
的最可能路径。最可能路径将被存
储为轨迹108。
27.在轨迹图106a中描述的从初始点c0导航到终点c
t
(例如，目标)的轨迹108可以提供对神经网络102的推理过程的有效性的可解释的洞察力。为了生成此洞察力，轨迹采样器106b可以采样轨迹108。例如，轨迹采样器106可以沿着轨迹108采样离散点c
0:t
。例如，轨迹采样器106b可以采样沿着轨迹108的与输入空间(例如，图像、面部特征、人类可解释的数据标签)中的点的序列相对应的一组离散点。这些点可以由解码器110解码，并且可以由评估器112评估，从而可以评估轨迹108的连贯性。轨迹108可以表示神经网络102的“思维过程”，因此经解码的点表示人类可解释形式的“思维过程”。
28.轨迹采样器106b可以基于曲率过程(例如，增加具有高曲率的区域中的样本)通过诸如线性过程、对数过程、指数过程的各种过程来对轨迹108进行采样。作为示例，可以使用线性采样，其中在曲线空间中的n个等距点处对轨迹108进行采样。在一些实施例中，轨迹采样器106b可以接收沿着轨迹108的每个点，但是将离散点c
0-cn的子集提供给解码器110以进行解码。
29.解码器110可以将离散点c
0-cn解码到输入空间(例如，与输入x0和x
t
相同的空间)。例如，解码器110可以首先将点c
0-cn从认知空间解码到神经网络102的神经空间中(例如，作为具有高维度的一系列激活能量)。经解码的点可以是神经网络102的激活。可以通过运行另一过程，比如基于能量的可解释解码器，来将此经解码的激活转换回输入空间。在一些实施例中，解码器110可以包括认知空间解码器，以将离散点c
0-cn解码到输入空间中。
30.在一些实施例中，解码器110可以包括基于能量的生成模型(ebm)。emb可以在训练期间与认知空间编码器104并行地训练，以建立能量水平和输入空间中的输入的关联。ebm可以学习将输入点编码成低能量标量值，反之亦然(例如，处理期间的能量水平可以与训练期间的能量水平相似)。从输入空间到能量水平的该映射可以用于根据神经空间中的能量水平在输入空间中生成点。例如，ebm可以将经解码的点的能量水平关联到输入空间中。通过在输入空间中找到具有低能量值的值，可以将ebm用作生成模型。因此，轨迹108可以被解码到输入空间中。
31.为了将激活解码为输入点，可以对输入空间中的随机点进行采样。该点可被前馈通过进行了学习的ebm，并计算关于输入值的梯度。通过对不同的输入值执行迭代的梯度步长，随机输入点可以收敛到低能量点，该低能量点是类似于训练集中的样本的点。这样做，ebm可以将轨迹图106a中的点(例如，潜在认知空间)解码到输入空间中。可以针对轨迹108中的每个采样点重复上述过程。
32.在一些实施例中，除了ebm之外或替代地，可以训练统计回归系统(例如，神经网络、用人工智能和/或机器学习实现的神经网络)以在给定输入的认知空间表示的情况下重建输入。在一些实施例中，除了上述之外或替代地，可以采用生成对抗网络(gan)生成器。在这种实施例中，非参数密度估计器将被用作认知空间的分布，其可以由gan生成器采样以生成新样本。
33.解码器110可以将映射到输入空间中的经解码样本x
0:t
提供给评估器112。评估器112确定轨迹108的合理性的度量。例如，如果经解码样本x
0:t
的数量不高于阈值，则轨迹108可以被认为是过长或低效的。在一些实施例中，如果经解码样本x
0:t
彼此不同，则轨迹108可以被视为是不合逻辑的。例如，如果要进行面部辨识，经解码样本x
0:t
中的第一个对应于带
有胡须和眼镜的面部，而经解码样本x
0:t
中的第二个对应于没有胡须和眼镜的面部，则轨迹108可被视为是不合逻辑的，并且神经网络102可以被认为容易出错或容易受到攻击。
34.另一个示例可以包括基于不同的输入和/或起点和目的地点生成多个轨迹。例如，评估器112可以分析同一脸部的不同视图(例如，具有胡须、围巾、眼镜、帽子、不同的照明条件等)之间的认知轨迹，以检测漏洞并通过控制训练神经网络102来校正验证期间的漏洞。因此，在一些实施例中，神经网络102可以实现面部辨识(例如，如果根据面部辨识识别出授权用户，则解锁计算特征)。如果神经网络102不满足安全性要求，则本文描述的神经网络评估系统可以评估神经网络102的安全性并重新训练神经网络102。
35.评估器112可以进一步基于各种参数来控制到神经网络102的输入(例如，x0，x
t
)，并测试神经网络102中的弱点或不足。例如，评估器112可以提供来自训练数据集的两个随机输入。作为另一个示例，评估器112可以在轨迹图106a中生成两个随机点。取决于轨迹图106a(例如，认知空间)的稀疏性，这两个随机点可能是在障碍物中，因此无法在随机点之间生成轨迹。评估器112的随机选择可以提供关于神经网络102如何遍历轨迹图106a的非密集填充部分的洞察力。
36.在一些实施例中，评估器112可以基于输入空间中的用户输入来选择两个点。然后，评估器112可以基于用户输入向神经网络102提供输入。
37.评估器112可以进一步生成对抗输入，以量化神经网络102的鲁棒性。例如，初始点或终点可以包括已知的对抗示例。到神经网络102的对抗-已知、已知-对抗或对抗-对抗输入的不同组合可以提供关于在相应区域(例如，通过消除对抗性输入来增强安全性的区域)中如何形成轨迹图106a的不同洞察力。在对抗区域中评估神经网络102可以提供对神经网络102如何处理不同类型的对抗攻击的洞察力，并有助于弹性评估和增强。
38.例如，评估器112可以测试对抗性输入是否在轨迹图106a内。如果对抗性输入被放置在低密度区域中(基于非参数估计的密度函数)。评估器112可以提供如下指示：基于轨迹图106a的对抗区域中的样本进行训练对于保护网络的响应而言是必要的。
39.例如，评估器112可以测试沿着样本与对抗性修改的对应物(例如，被添加了对抗性噪声的样本本身)之间的轨迹的所有样本是否位于高密度区域中。如果是，则故障可能不是由于沿诸如轨迹之类的数据路径缺少样本而导致的。相反，评估器112可以得出如下结论：神经网络102和/或神经网络102的训练过程对于对抗攻击本质上是脆弱的。
40.在一些实施例中，评估器112可以将沿着轨迹路径108的与输入空间相对应的点的序列评估为图像。在图像的示例中，可以返回图像的序列。该序列可以在一定范围内(例如，0-1范围，其也可以被称为验证分数)被评级(rank)以保持连贯性。例如，从汽车图像到飞机的序列(即，经过汽车-卡车-公共汽车-飞机行进)可以被评定为0.9。如果该轨迹是汽车-马-半人马座-飞马座-飞机，则该轨迹可以被评定为0.2，因为推理并不完全符合逻辑。最后，如果序列是汽车-人-汉堡-猫-飞机，则该轨迹连贯性分数可以取值为0，其是完全不符合逻辑的。
41.评估器112可以在神经网络102上重复多次评估过程，以获得可能与逻辑和对抗攻击弹性有关的聚合连贯性分数。在一些实施例中，评估器112可以针对不同的初始和终点生成方法(例如，对抗性、随机性等)生成若干分数(例如，验证分数)。
42.在一些实施例中，评估器112可以评估神经网络102若干次。连贯轨迹与不连贯轨
迹的比率可以产生神经网络102的连贯性的指标(如上述评级)。
43.在一些实施例中，评估器112可以采取可执行的措施(例如，重新训练)来进行网络校正以减少不期望结果。按照先前提供的示例，用户可以使用汽车和飞机的图像查询神经网络102。如果返回的轨迹是汽车-马车-马-半人马座-飞马座-飞机，则这可能提供如下指示：缺少沿着更期望的轨迹108的样本，如汽车-卡车-公共汽车-飞机。评估器112可以随后将这些较少被观察的类别中的更多样本添加到神经网络102的训练集中，并且进行迭代直到评估器112得到结果为止。
44.因此，一些实施例可以生成认知轨迹以评估神经网络102的推理过程。此外，一些实施例可以基于轨迹来验证神经网络102。一些实施例可以进一步将机器可读空间转换成人类可解释的空间。一些实施例可以应用于诸如工业机器人、自主车辆、服务机器人、监视系统之类的自主系统中的“使命关键任务”。可以通过上述验证过程来部署这种系统的可靠部署。
45.图2示出了生成认知空间并识别神经网络的弹性的方法320。方法320通常可以被实现在神经网络评估架构中，比如，例如已经讨论过的认知空间编码器104、轨迹生成器106、解码器110和评估器112(图1)。在实施例中，方法320在一个或多个模块中作为存储在诸如随机存取存储器(ram)、只读存储器(rom)、可编程rom(prom)、固件、闪存等机器或计算机可读存储介质中的逻辑指令集实现；在诸如可编程逻辑阵列(pla)、现场可编程门阵列(fpga)、复杂可编程逻辑器件(cpld)等可配置逻辑装置中实现；在使用诸如专用集成电路(asic)、互补金属氧化物半导体(cmos)或晶体管-晶体管逻辑(ttl)技术等电路技术的固定功能逻辑硬件中实现；或者在其任意组合中实现。
46.例如，可以以一种或多种编程语言的任意组合来编写用于执行方法320中所示的操作的计算机程序代码，该一种或多种编程语言包括面向对象的编程语言，例如，java、smalltalk、c ，以及常规过程编程语言，例如，“c”编程语言或类似的编程语言。另外，逻辑指令可以包括汇编程序指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、状态设置数据、集成电路的配置数据、个性化硬件(例如，主处理器、中央处理器/cpu、微控制器等)固有的电子电路和/或其他结构组件的状态信息。
47.所示的处理块322识别认知空间，该认知空间将作为神经网络的激活的压缩表示。例如，神经网络与第一数量的维度相关联，而认知空间与第二数量的维度相关联，其中第二数量的维度小于第一数量的维度。例如，神经网络的激活可以对应于第一数量的维度，而认知空间可以对应于第二数量的维度。
48.所示的处理块324将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点。所示的处理块326生成通过认知空间的第一认知轨迹，其中第一认知轨迹从认知初始点到认知目的地点遍历认知空间。
49.在一些实施例中，方法320可以进一步包括对第一认知轨迹进行采样以识别认知空间中的一个或多个中间点，以及将一个或多个中间点解码到输入空间中以在输入空间中生成输入点。多个激活中的至少一个与输入空间的初始数据点相关联，并且多个激活中的至少一个与输入空间的目的地数据点相关联。认知初始点对应于初始数据点，认知目的地点对应于目的地数据点。
50.在一些实施例中，方法320包括基于与第一认知轨迹相关联的有效性分数是否满
足阈值(例如，确定推理是否有效)来确定是否重新训练神经网络。例如，方法320可以识别通过认知空间的多个轨迹(包括第一认知轨迹)，并且基于多个轨迹中的连贯轨迹与多个轨迹中的非连贯轨迹的比率来生成有效性分数。
51.因此，方法320可以生成认知空间并生成穿过认知空间的认知轨迹。方法320可以基于认知轨迹来生成验证分数(例如，弹性分数)，以识别是否重新训练神经网络以增强神经网络的功能。例如，可以利用特定重点重新训练神经网络以加强神经网络的表现欠佳的部分和/或处理。因此，该技术可以提供安全性增强和弹性增强的神经网络。此外，方法320可以实现新的和增强的神经网络分析，以通过认知轨迹图和轨迹来识别神经网络的认知过程(否则其对于大多数系统和/或开发者而言可能是不透明和未知的)。
52.图3a和3b示出了训练认知空间编码器306的两阶段(two-pass)训练过程300、320。另外，可以在过程300中训练认知空间解码器310。
53.过程300示出了基于神经网络304的激活的预处理。可以训练认知空间编码器g
eψ
(α)306来学习神经网络304的神经激活α
(fθ)
(x)的低维度表示。
54.例如，可以基于引起神经网络304中的激活的数据集302(例如，输入空间中的输入数据)来训练认知空间编码器306。例如，神经网络304可以分析来自数据集302的输入x0，x
t
以生成神经网络304的激活。认知空间编码器306可以将激活的神经网络304的空间(例如，α
(f_θ)
(x)∈r^n)的维数减小为较低维度空间c∈r^m(例如，m可显著地小于n)。
55.可以利用激活来训练认知空间编码器306，这些激活是通过神经网络304执行数据集302的前向传递的结果。值得注意的是，取决于应用，可以选择性地使用不同的降维技术。例如，可以采用主成分分析(pca)、随机森林(random forests)和不同类型的自动编码器(例如，卷积、多层、正则化等)。在一些实施例中，可以以满足一个或多个约束(例如，量度属性)的方式来选择维度。例如，一个或多个约束可以基于距离。例如，输入空间中接近的两个点可能类似地需要在编码空间中接近(例如，在输入空间和编码空间中的两个点之间的距离相似)。
56.过程300可以基于激活同时(例如，并行地)训练认知空间解码器310。认知空间解码器310可以被训练以将输入点解码为低能量标量值。从输入空间到能量水平的映射可以用于生成输入空间中的具有低能量的点，并且与所示出的在训练期间向认知空间解码器310的输入值相似。
57.图3b示出了建立一组观察点c
1-c
10
的过程320。例如，一旦认知空间编码器306学习了从激活到低维度空间的映射，则关于数据集302的第二阶段(pass)320就可以在认知空间308中建立一组观察点c
1-c
10
。由数据集302诱导的网络激活的低维度表示可以一起用作认知空间308中的一组观察点c
1-c
10
。该组观察点c
1-c
10
可以对应于认知空间308中的锚点，该锚点可以被解码为相应的现实世界标识(例如，图像、面部辨识等)。这些观察点c
1-c
10
可以引导轨迹生成通过认知空间308的已在数据集302中观察到的区域，并且避免遍历认知空间308的不确定或未探索的区域。例如，可以使用非参数密度估计技术来估计认知空间308中的经压缩激活的分布。在轨迹生成期间，可以优选高密度区域，同时可以避开低密度区域。
58.一旦认知空间编码器306被训练，认知空间编码器306就可以将神经网络304的激活映射到认知空间308中。认知空间编码器306可以用激活来填充认知空间308。
59.图4示出了认知路径生成过程340，其生成从初始点c0到目的地点cn遍历认知空间
342的轨迹348。认知空间342中的轨迹348可以不是直线，而是可以沿着将初始点c0连接到目的地点cn同时避开障碍物(例如，看不见、不确定或未观察到的区域)的路径。
60.如上所述，可以使用非参数密度估计技术来估计认知空间中压缩激活的分布。轨迹生成器344可以在轨迹生成期间优选高密度区域，同时可以避开低密度区域。例如，轨迹生成器344可以使用估计的密度(例如，其尾部)的生存函数作为认知空间342中的每个点包含障碍物的可能性。轨迹生成器344可以实现路径规划算法(例如，rrt、prm、a*)以追踪从初始点c0到目的地点cn的路径，同时避开可能在训练数据中未表示的空间的区域。
61.因此，轨迹348是从初始点c0到目标点cn的连续路径。轨迹生成器344生成遍历认知空间342的在认知空间编码器350的训练期间被高度采样的区域的轨迹。通过构造和学习，认知空间342将在这些区域中更加精确。因此，样本将是高质量的，并且可与神经网络的行为直接相关。
62.图5示出了生成通过认知空间的轨迹的方法400。可以用已经讨论过的评估系统(图1)、方法320(图2)、认知空间编码器350和轨迹生成器344(图4)来轻易地实现方法400。更具体地，方法400可以在一个或多个模块中作为存储在诸如ram、rom、prom、固件、闪存之类的机器或计算机可读存储介质中的逻辑指令集实现；在诸如pla、fpga、cpld之类的可配置逻辑中实现；在使用诸如asic、cmos、ttl技术之类的电路技术的固定功能逻辑硬件中实现；或者在其任意组合中实现。
63.所示的处理块402(例如，基于来自神经网络的激活)识别认知空间中的起点和目的地点。所示的处理块404识别与当前位置相邻的观察到的区域。当前位置目前对应于起点。所示的处理块406选择最高概率区域作为轨迹中的下一位置。最高概率区域可以是最有可能通往目的地点的区域。例如，可以基于是否有从该位置通向目的地点的路径(例如，该位置不是“死胡同(dead end)”)来选择位置，并避开没有通向目的地点的可用路径的位置。如上所述，在确定下一位置时还可以考虑样本的密度。
64.在一些实施例中，处理块406可以基于路径规划分析的类型来修改操作。一些路径规划分析可以迭代地执行，但不会“随时”执行(这意味着在算法完成其处理后立即生成输出)。如果存在这种路径，则一些规划算法(例如，a*搜索算法)可以找到最优(例如，最短)路径。在一些实施例中，可以使用概率路线图(prm)方法来替代地在更高维度的空间中更有效地执行。
65.所示的处理块408将当前位置更新为下一位置，并且将轨迹更新为包括该下一位置。所示的处理块410识别是否到达目的地点。例如，如果当前位置与目标位置相同，则可能已经到达目的地位置，并且所示的处理块412输出轨迹。否则，可以执行所示的处理块404。
66.图6示出了确定神经网络的弹性分数(例如，验证分数)并基于弹性分数进行重新训练的方法440。可以用已经讨论过的评估系统(图1)、方法320(图2)、两阶段训练过程300、320(图3a-图3b)、认知空间编码器350和轨迹生成器344(图4)、方法400(图5)来轻易地实现方法440。更具体地，方法440可以在一个或多个模块中作为存储在诸如ram、rom、prom、固件、闪存之类的机器或计算机可读存储介质中的逻辑指令集实现；在诸如pla、fpga、cpld之类的可配置逻辑中实现；在使用诸如asic、cmos、ttl技术之类的电路技术的固定功能逻辑硬件中实现；或者在其任意组合中实现。
67.所示的处理块444生成通过与神经网络相关联的认知空间的轨迹。所示的处理块
446识别轨迹的特性。例如，特性可以包括识别轨迹是否包括相似或不相似的中间点(例如，图像是否彼此相似)。一些实施例可以包括识别是否正确识别了用于面部辨识的对抗输入以及中间点是否指示神经网络正确地处理了对抗输入。
68.所示的处理块448基于这些特性来确定弹性分数。所示的处理块450确定弹性分数是否指示需要重新训练(例如，如果弹性分数低于阈值，则需要重新训练)。如果否，则方法440可以结束。否则，所示的处理块452基于弹性分数重新训练神经网络。
69.在一些实施例中，特性可以指示神经网络的特定部分和/或处理表现欠佳(例如，对抗输入未被正确地识别并且“愚弄”系统，神经网络的未观察到的部分导致不良的轨迹并应通过重新训练以包括更多来自未观察到的部分的样本进行补救)。在这种实施例中，重新训练可以重点针对神经网络的表现欠佳的部分来执行。例如，可以将来自未观察到的部分的样本提供给神经网络，以减轻对抗性攻击。
70.现在转向图7，示出了弹性增强的计算系统158(例如，计算设备)。计算系统158通常可以是具有如下功能的电子设备/平台的一部分：计算功能(例如，个人数字助理/pda、笔记本计算机、平板计算机、可转换平板电脑、服务器)；通信功能(例如，智能电话)；成像功能(例如，相机、便携式摄像机)；媒体播放功能(例如，智能电视/tv)；可穿戴功能(例如，手表、眼镜、头饰、鞋类、珠宝)；车辆功能(例如，汽车、卡车、摩托车)等；或其任何组合。在所示的示例中，系统158包括主处理器160(例如，具有一个或多个处理器核心的cpu)，该主处理器160具有耦合到系统存储器164的集成存储器控制器(imc)162。主处理器160还包括加速器a
1-a3(但是可以提供任何数量的加速器)以实现神经网络。在一些实施例中，系统158可以进一步与还实现神经网络的其他电子设备通信。例如，系统158可以通过与其他电子设备交换权重、偏差和数据来与其他电子设备同步。
71.所示的系统158还包括图形处理器168(例如，图形处理单元/gpu)和输入输出(io)模块166，它们与处理器160(例如，作为微控制器)一起半导体晶片170上被实现为片上系统(soc)，其中io模块166可以与例如显示器172(例如，触摸屏、液晶显示器/lcd、发光二极管/led显示器)、网络控制器174(例如，有线的和/或无线的)、以及大容量存储装置176(例如，hdd、光盘、ssd、闪存或其他nvm)通信。所示的soc170包括具有逻辑指令的rom 178，逻辑指令在由加速器a
1-a3、主处理器160或图形处理器168执行时，使得计算系统158实现和/或执行已经讨论的评估系统100(图1)、方法300(图2)、两阶段训练过程300、320(图3a-图3b)、认知空间编码器350和轨迹生成器344(图4)、方法400(图5)、和/或方法440(图6)的一个或多个方面。
72.在一些实施例中，系统158还可以包括专用于人工智能(ai)和/或神经网络(nn)处理的处理器(未示出)和/或ai加速器148。例如，系统soc 170可以包括视觉处理单元(vpu，未示出)和/或其他ai/nn特定的处理器(例如，ai加速器148)等。在一些实施例中，本文所述实施例的任何方面可以在专用于ai和/或nn处理的处理器和/或加速器中实现，例如，ai加速器148、图形处理器168和/或主处理器160。
73.因此，所示的系统158可以识别作为神经网络的激活的经压缩表示的认知空间，将神经网络的多个激活映射到认知空间中的认知初始点和认知目的地点并生成穿过认知空间的第一认知轨迹，其中第一认知轨迹将认知初始点映射到认知目的地点。系统158可以基于第一认知轨迹来生成验证分数(例如，弹性分数)，以识别是否重新训练神经网络，以及是
否利用特定重点来重新训练神经网络以加强神经网络的表现欠佳的部分和/或处理程。因此，系统158可以提供安全性增强和弹性增强的神经网络。此外，系统158可以实现新的和增强的神经网络分析，以通过认知轨迹图和轨迹来识别神经网络的“思维过程”。在一些实施例中，可以在显示器172上呈现验证分数，因此用户可以查看验证分数。在一些实施例中，系统150可以基于由系统150进行的分析来使电子设备也进行重新训练。例如，系统150可以通过网络控制器174向电子设备发送消息以指示电子设备进行重新训练。
74.图8示出了半导体封装装置180。所示的装置180包括一个或多个衬底184(例如，硅、蓝宝石、砷化镓)和耦合至(一个或多个)衬底184的逻辑182(例如，晶体管阵列和其他集成电路/ic组件)。在一个示例中，逻辑182至少部分地实现在可配置逻辑或固定功能逻辑硬件中。逻辑182可以实现和/或执行已经讨论的评估系统100(图1)、方法300(图2)、两阶段训练过程300、320(图3a-图3b)、认知空间编码器350和轨迹生成器344(图4)、方法400(图5)、和/或方法440(图6)的一个或多个方面。在一个示例中，逻辑182包括被定位(例如，嵌入)在(一个或多个)衬底184内的晶体管沟道区域。因此，逻辑182和(一个或多个)衬底184之间的接口可以不是突变结。逻辑182也可以被认为包括在(一个或多个)衬底184的初始晶圆上生长的外延层。
75.在一些实施例中，逻辑182可以进一步包括专用于ai和/或nn处理的处理器(未示出)和/或加速器(未示出)。例如，逻辑182可以包括vpu和/或其他ai/nn特定的处理器等。在一些实施例中，可以在专用于ai和/或nn处理的处理器和/或加速器中实现本文描述的实施例的任何方面。
76.图9示出了根据一个实施例的处理器核心200。处理器核心200可以是用于任何类型的处理器(例如，微处理器、嵌入式处理器、数字信号处理器(dsp)、网络处理器、或其他执行代码的设备)的核心。尽管在图9中仅示出了一个处理器核心200，但是处理元件可以替代地包括不止一个图9中所示的处理器核200。处理器核心200可以是单线程核心，或者对于至少一个实施例，处理器核心200可以是多线程的，因为它可以包括每核心不止一个硬件线程上下文(或“逻辑处理器”)。
77.图9还示出了耦合至处理器核心200的存储器270。存储器270可以是本领域技术人员已知或以其他方式可获得的各种各样的存储器中的任何一个(包括存储器层级的各种层)。存储器270可以包括要由处理器核心200执行的一个或多个代码213指令，其中代码213可以实现和/或执行已经讨论的评估系统100(图1)、方法300(图2)、两阶段训练过程300、320(图3a-图3b)、认知空间编码器350和轨迹生成器344(图4)、方法400(图5)、和/或方法440(图6)的一个或多个方面。处理器核心200遵循由代码213指示的指令的程序序列。每个指令可以进入前端部分210，并且由一个或多个解码器220处理。解码器220可以生成微操作作为其输出，例如，具有预定义格式的固定带宽微操作，或者可以生成其他指令、微指令或反映原始代码指令的控制信号。所示的前端部分210还包括寄存器重命名逻辑225和调度逻辑230，它们通常分配资源并将与转换指令相对应的操作排队以供执行。
78.处理器核心200被示为包括具有一组执行单元255-1至255-n的执行逻辑250。一些实施例可以包括专用于特定功能或功能集的多个执行单元。其他实施例可以仅包括一个执行单元或能够执行具体功能的一个执行单元。所示的执行逻辑250执行由代码指令指定的操作。
79.在完成由代码指令指定的操作的执行之后，后端逻辑260退出代码213的指令。在一个实施例中，处理器核心200允许无序执行，但是要求按顺序退出指令。退出逻辑265可以采用本领域技术人员已知的各种形式(例如，重新排序缓冲器等)。以这种方式，至少依据由解码器生成的输出、寄存器重命名逻辑225所利用的硬件寄存器和表、以及通过执行逻辑250修改的任何寄存器(未示出)，处理器核心200在代码213的执行期间被转换。
80.尽管在图9中未示出，但是处理元件可以在具有处理器核心200的芯片上包括其他元件。例如，处理元件可以包括与处理器核心200一起的存储器控制逻辑。处理元件可以包括i/o控制逻辑和/或可以包括与存储器控制逻辑集成在一起的i/o控制逻辑。处理元件还可以包括一个或多个缓存。
81.现在参考图10，示出了根据实施例的计算系统1000的实施例的框图。图10所示的是包括第一处理元件1070和第二处理元件1080的多处理器系统1000。虽然示出了两个处理元件1070和1080，但是应当理解，系统1000的实施例也可以仅包括一个这种处理元件。
82.系统1000被示为点对点互连系统，其中第一处理元件1070和第二处理元件1080经由点对点互连1050耦合。应当理解，图10中所示的互连中的任何一个或全部可以被实现为多点分支总线而不是点对点互连。
83.如图10所示，每个处理元件1070和1080可以是多核处理器，包括第一处理器核心和第二处理器核心(即，处理器核心1074a和1074b以及处理器核心1084a和1084b)。这种核心1074a、1074b、1084a、1084b可以被配置为以与上面结合图9所讨论的方式相似的方式来执行指令代码。
84.每个处理元件1070、1080可以包括至少一个共享缓存1896a、1896b。共享缓存1896a、1896b可以存储由处理器的一个或多个组件(例如，核心1074a、1074b和1084a、1084b)分别利用的数据(例如，指令)。例如，共享缓存1896a、1896b可以本地缓存存储在存储器1032、1034中的数据，以供处理器的组件更快地访问。在一个或多个实施例中，共享缓存1896a、1896b可以包括一个或多个中间级缓存，例如，第2级(l2)、第3级(l3)、第4级(l4)、或其他级缓存、最后一级缓存(llc)、和/或其组合。
85.尽管仅示出了两个处理元件1070、1080，但是应当理解，实施例的范围不限于此。在其他实施例中，在给定处理器中可以存在一个或多个附加处理元件。可替代地，处理元件1070、1080中的一个或多个可以是除处理器之外的元件，例如，加速器或现场可编程门阵列。例如，(一个或多个)附加处理元件可以包括与第一处理器1070相同的(一个或多个)附加处理器、与第一处理器1070异构或不对称的(一个或多个)附加处理器、加速器(例如，图形加速器或数字信号处理(dsp)单元)、现场可编程门阵列或任何其他处理元件。在包括架构、微架构、热、功耗特性等的一系列品质指标方面，处理元件1070、1080之间可以有各种差异。这些差异可以有效地将其自身表现为处理元件1070、1080之间的不对称性和异质性。对于至少一个实施例，各种处理元件1070、1080可以驻留在相同的晶片封装中。
86.第一处理元件1070可以进一步包括存储器控制器逻辑(mc)1072以及点对点(p-p)接口1076和1078。类似地，第二处理元件1080可以包括mc 1082以及p-p接口1086和1088。如图10所示，mc 1072和1082将处理器耦合到相应的存储器，即存储器1032和存储器1034，它们可以是本地附着到相应处理器的主存储器的部分。尽管mc 1072和1082被示为集成到处理元件1070、1080中，但是对于替代实施例，mc逻辑可以是处理元件1070、1080外部的分立
逻辑，而不是集成在其中。
87.第一处理元件1070和第二处理元件1080可以分别经由p-p互连1076、1086耦合到i/o子系统1090。如图10所示，i/o子系统1090包括p-p接口1094和1098。此外，i/o子系统1090包括用于将i/o子系统1090与高性能图形引擎1038耦合的接口1092。在一个实施例中，可以使用总线1049来将图形引擎1038耦合到i/o子系统1090。替代地，点对点互连可以耦合这些组件。
88.继而，i/o子系统1090可以经由接口1096耦合到第一总线1016。在一个实施例中，第一总线1016可以是外围组件互连(pci)总线、或者诸如快速pci(pci express)总线之类的总线、或另一第三代i/o互连总线，但是实施例的范围不限于此。
89.如图10所示，各种i/o设备1014(例如，生物特征识别扫描器、扬声器、相机、传感器)可以耦合到第一总线1016以及总线桥1018，该总线桥1018可以将第一总线1016耦合到第二总线1020。在一个实施例中，第二总线1020可以是低引脚数(lpc)总线。在一个实施例中，各种设备可以耦合到第二总线1020(包括例如键盘/鼠标1012)、(一个或多个)通信设备1026和数据存储单元1019，例如，盘驱动器或其他大容量存储设备，其可以包括代码1030。所示的代码1030可以实现和/或执行已经讨论的评估系统100(图1)、方法300(图2)、两阶段训练过程300、320(图3a-图3b)、认知空间编码器350和轨迹生成器344(图4)、方法400(图5)、和/或方法440(图6)的一个或多个方面。此外，音频i/o1024可以耦合到第二总线1020，并且电池1010可以向计算系统1000供电。
90.注意，可以想到其他实施例。例如，代替图10的点对点架构，系统可以实现多点分支总线或另一这种通信拓扑结构。另外，可以替代地使用比图10中所示的更多或更少的集成芯片来对图10的元件进行分区。
91.附加注释和示例：
92.示例1包括一种计算设备，该计算设备包括：网络控制器，所述网络控制器用于与一个或多个电子设备通信，该一个或多个电子设备用于实现神经网络；图形处理器；中央处理单元；以及存储器，所述存储器包括指令集，所述指令集在由所述图形处理器或所述中央处理单元中的一个或多个执行时，使得所述计算设备：识别认知空间，所述认知空间将作为所述神经网络的激活的经压缩表示；将所述神经网络的多个激活映射到所述认知空间中的认知初始点和认知目的地点；并且生成穿过所述认知空间的第一认知轨迹，其中所述第一认知轨迹从所述认知初始点到所述认知目的地点遍历所述认知空间。
93.示例2包括示例1的计算设备，其中，所述指令在被执行时使得所述计算设备：基于与所述第一认知轨迹相关联的有效性分数是否满足阈值，来确定是否重新训练所述神经网络。
94.示例3包括示例1的计算设备，其中，所述指令在被执行时使得所述计算设备：对所述第一认知轨迹进行采样，以识别所述认知空间中的一个或多个中间点；并且将所述一个或多个中间点解码到输入空间中，以在所述输入空间中生成输入点。
95.示例4包括示例3的计算设备，其中，所述多个激活中的至少一个激活与来自所述输入空间的初始数据点相关联；所述多个激活中的至少一个激活与来自所述输入空间的目的地数据点相关联；并且所述认知初始点与所述初始数据点相对应，所述认知目的地点与所述目的地数据点相对应。
96.示例5包括示例1的计算设备，其中，所述指令在被执行时使得所述计算设备：识别穿过所述认知空间的多个轨迹；以及基于所述多个轨迹中的连贯轨迹与所述多个轨迹中的非连贯轨迹的比率，生成有效性分数。
97.示例6包括示例1的计算设备，其中，所述神经网络与第一数量的维度相关联，并且所述认知空间与第二数量的维度相关联，其中所述第二数量的维度小于所述第一数量的维度。
98.示例7包括一种半导体装置，该半导体装置包括：一个或多个衬底；以及耦合到所述一个或多个衬底的逻辑，其中所述逻辑被实现在可配置逻辑或固定功能逻辑硬件中的一个或多个中，耦合到所述一个或多个衬底的所述逻辑用于：识别认知空间，所述认知空间是神经网络的激活的经压缩表示；将所述神经网络的多个激活映射到所述认知空间中的认知初始点和认知目的地点；并且生成穿过所述认知空间的第一认知轨迹，其中所述第一认知轨迹从所述认知初始点到所述认知目的地点遍历所述认知空间。
99.示例8包括示例7的装置，其中，耦合到所述一个或多个衬底的所述逻辑用于：基于与所述第一认知轨迹相关联的有效性分数是否满足阈值，来确定是否重新训练所述神经网络。
100.示例9包括示例7的装置，其中，耦合到所述一个或多个衬底的所述逻辑用于：对所述第一认知轨迹进行采样，以识别所述认知空间中的一个或多个中间点；并且将所述一个或多个中间点解码到输入空间中，以在所述输入空间中生成输入点。
101.示例10包括示例9的装置，其中，所述多个激活中的至少一个激活与来自所述输入空间的初始数据点相关联；所述多个激活中的至少一个激活与来自所述输入空间的目的地数据点相关联；并且所述认知初始点与所述初始数据点相对应，所述认知目的地点与所述目的地数据点相对应。
102.示例11包括示例7的装置，其中，所述逻辑用于：识别穿过所述认知空间的多个轨迹；以及基于所述多个轨迹中的连贯轨迹与所述多个轨迹中的非连贯轨迹的比率，生成有效性分数。
103.示例12包括示例7的装置，其中，所述神经网络与第一数量的维度相关联，并且所述认知空间与第二数量的维度相关联，其中所述第二数量的维度小于所述第一数量的维度。
104.示例13包括示例7的装置，其中，耦合到所述一个或多个衬底的所述逻辑包括位于所述一个或多个衬底内的晶体管沟道区域。
105.示例14包括至少一种计算机可读存储介质，所述至少一种计算机可读存储介质包括指令集，所述指令集在由计算设备执行时使得所述计算设备：识别认知空间，所述认知空间是神经网络的激活的经压缩表示；将所述神经网络的多个激活映射到所述认知空间中的认知初始点和认知目的地点；并且生成穿过所述认知空间的第一认知轨迹，其中所述第一认知轨迹从所述认知初始点到所述认知目的地点遍历所述认知空间。
106.示例15包括示例14的至少一种计算机可读存储介质，其中，所述指令在被执行时使得所述计算设备：基于与所述第一认知轨迹相关联的有效性分数是否满足阈值，来确定是否重新训练所述神经网络。
107.示例16包括示例14的至少一种计算机可读存储介质，其中，所述指令在被执行时
使得所述计算设备：对所述第一认知轨迹进行采样，以识别所述认知空间中的一个或多个中间点；并且将所述一个或多个中间点解码到输入空间中，以在所述输入空间中生成输入点。
108.示例17包括示例16的至少一种计算机可读存储介质，其中，所述多个激活中的至少一个激活与来自所述输入空间的初始数据点相关联；所述多个激活中的至少一个激活与来自所述输入空间的目的地数据点相关联；并且所述认知初始点与所述初始数据点相对应，所述认知目的地点与所述目的地数据点相对应。
109.示例18包括示例14的至少一种计算机可读存储介质，其中，所述指令在被执行时使得所述计算设备：识别穿过所述认知空间的多个轨迹；以及基于所述多个轨迹中的连贯轨迹与所述多个轨迹中的非连贯轨迹的比率，生成有效性分数。
110.示例19包括示例14的至少一种计算机可读存储介质，其中，所述神经网络与第一数量的维度相关联，并且所述认知空间与第二数量的维度相关联，其中所述第二数量的维度小于所述第一数量的维度。
111.示例20包括一种方法，该方法包括：识别认知空间，所述认知空间是神经网络的激活的经压缩表示；将所述神经网络的多个激活映射到所述认知空间中的认知初始点和认知目的地点；并且生成穿过所述认知空间的第一认知轨迹，其中所述第一认知轨迹从所述认知初始点到所述认知目的地点遍历所述认知空间。
112.示例21包括示例20的方法，还包括：基于与所述第一认知轨迹相关联的有效性分数是否满足阈值，来确定是否重新训练所述神经网络。
113.示例22包括示例20的方法，还包括：对所述第一认知轨迹进行采样，以识别所述认知空间中的一个或多个中间点；并且将所述一个或多个中间点解码到输入空间中，以在所述输入空间中生成输入点。
114.示例23包括示例22的方法，其中，所述多个激活中的至少一个激活与来自所述输入空间的初始数据点相关联；所述多个激活中的至少一个激活与来自所述输入空间的目的地数据点相关联；并且所述认知初始点与所述初始数据点相对应，所述认知目的地点与所述目的地数据点相对应。
115.示例24包括示例20的方法，还包括：识别穿过所述认知空间的多个轨迹；以及基于所述多个轨迹中的连贯轨迹与所述多个轨迹中的非连贯轨迹的比率，生成有效性分数。
116.示例25包括示例20的方法，其中，所述神经网络与第一数量的维度相关联，并且所述认知空间与第二数量的维度相关联，其中所述第二数量的维度小于所述第一数量的维度。
117.示例26包括一种半导体装置，该半导体装置包括：用于识别认知空间的部件，所述认知空间是神经网络的激活的经压缩表示；用于将所述神经网络的多个激活映射到所述认知空间中的认知初始点和认知目的地点的部件；以及用于生成穿过所述认知空间的第一认知轨迹的部件，其中所述第一认知轨迹从所述认知初始点到所述认知目的地点遍历所述认知空间。
118.示例27包括示例26的装置，还包括：用于基于与所述第一认知轨迹相关联的有效性分数是否满足阈值来确定是否重新训练所述神经网络的部件。
119.示例28包括示例26的装置，还包括：用于对所述第一认知轨迹进行采样以识别所
述认知空间中的一个或多个中间点的部件；以及用于将所述一个或多个中间点解码到输入空间中以在所述输入空间中生成输入点的部件。
120.示例29包括示例28的装置，其中，所述多个激活中的至少一个激活与来自所述输入空间的初始数据点相关联；所述多个激活中的至少一个激活与来自所述输入空间的目的地数据点相关联；并且所述认知初始点与所述初始数据点相对应，所述认知目的地点与所述目的地数据点相对应。
121.示例30包括示例26的装置，还包括：用于识别穿过所述认知空间的多个轨迹的部件；以及用于基于所述多个轨迹中的连贯轨迹与所述多个轨迹中的非连贯轨迹的比率生成有效性分数的部件。
122.示例31包括示例26-30中任一项的装置，其中，所述神经网络与第一数量的维度相关联，并且所述认知空间与第二数量的维度相关联，其中所述第二数量的维度小于所述第一数量的维度。
123.因此，本文描述的技术可以生成认知空间并生成穿过认知空间的认知轨迹。该系统可以基于认知轨迹生成验证分数(例如，弹性分数)，以识别是否重新训练神经网络来增强神经网络的功能。例如，可以利用特定重点重新训练神经网络以加强神经网络的表现欠佳的部分和/或处理。因此，该技术可以提供安全性增强和弹性增强的神经网络。此外，该技术可以实现新的和增强的神经网络分析，以通过认知轨迹图和轨迹来识别神经网络的认知过程(否则其对于大多数系统和/或开发者而言可能是不透明和未知的)。
124.实施例适用于与所有类型的半导体集成电路(“ic”)芯片一起使用。这些ic芯片的示例包括但不限于处理器、控制器、芯片组组件、可编程逻辑阵列(pla)、存储器芯片、网络芯片、片上系统(soc)、ssd/nand控制器asic等。另外，在一些附图中，信号导线用线表示。一些可以是不同的，以指示更多的组成信号路径，具有数字标记以指示组成信号路径的数量，和/或在一个或多个端部具有箭头以指示主要信息流方向。然而，这不应以限制性方式来解释。而是，这些增加的细节可以与一个或多个示例性实施例结合使用，以促进更容易地理解电路。任何表示的信号线，无论是否具有附加信息，实际上可以包括可以在多个方向上行进的一个或多个信号，并且可以利用任何适当类型的信号方案来实现，例如，利用差分对实现的数字或模拟线、光纤线和/或单端线。
125.可能已经给出示例尺寸/模型/值/范围，但是实施例不限于此。随着制造技术(例如，光刻)的日趋成熟，期望可以制造更小尺寸的器件。另外，为了简化图示和讨论，并从而不使实施例的某些方面模糊，在图中可能会或可能不会显示与ic芯片和其他组件的众所周知的电源/接地连接。此外，可以以框图形式示出布置，以避免使实施例模糊，并且还鉴于以下事实：关于实现此种框图布置的实现方式的细节高度依赖于要在其内实现该实施例的计算系统；即，此类细节应该完全在本领域技术人员的能力范围内。在阐述特定细节(例如，电路)以便描述示例实施例的情况下，对于本领域技术人员应当显而易见的是，可以在没有这些特定细节的情况下或使用这些特定细节的变体来实践实施例。因此，该描述应被认为是说明性的而不是限制性的。
126.术语“耦合”在本文中可以用来指所讨论的组件之间的任何类型的关系，直接的或间接的，并且可以应用于电、机械、流体、光学、电磁、机电或其他连接。另外，术语“第一”、“第二”等在本文中仅用于促进讨论，并且不具有特定的时间或先后意义，除非另外指明。
127.如在本技术和权利要求书中使用的，由术语“中的一个或多个”连接的项目的列表可以指所列出术语的任何组合。例如，短语“a、b或c中的一个或多个”可以指a；b；c；a和b；a和c；b和c；或a、b和c。
128.根据前面的描述，本领域技术人员将意识到，可以以各种形式来实现实施例的广泛技术。因此，尽管已经结合实施例的具体示例描述了实施例，但是实施例的真实范围不应受到如此限制，因为在研究附图、说明书和所附权利要求书之后，其他修改对本领域技术人员将变得清晰可见。