用于使神经网络的操作可视化的技术的制作方法

技术特征：
1.一种用于分析神经网络已被如何训练的计算机实现的方法，所述方法包括：使所述神经网络基于多个训练数据样本来执行推理操作以生成多个激活数据部分，其中每个训练数据样本对应于不同的激活数据部分；基于与每个训练数据样本相对应的所述激活数据部分，为所述训练数据样本生成位置值；以及生成图形用户界面，所述图形用户界面基于为位于所述图形用户界面内的每个训练数据样本生成的所述位置值来显示所述训练数据样本。2.如权利要求1所述的计算机实现的方法，其中为每个训练数据样本生成所述位置值包括：基于所述多个激活数据部分来执行降维操作。3.如权利要求1所述的计算机实现的方法，其中给定的激活数据部分包括n维向量，其中n是大于二的正整数，并且其中所述图形用户界面包括所述多个激活数据部分的二维投影。4.如权利要求1所述的计算机实现的方法，其中生成所述图形用户界面包括：基于所述多个激活数据部分来生成t分布式随机邻域嵌入(t-sne)图。5.如权利要求1所述的计算机实现的方法，其中生成所述图形用户界面包括：基于为每个训练数据样本生成的所述位置值来对所述训练数据样本进行排名，以产生多个经排名的训练数据样本；以及在网格内定位每个经排名的训练数据样本。6.如权利要求1所述的计算机实现的方法，其还包括：基于与每个训练数据样本相对应的所述激活数据部分中所包括的至少一个激活水平，为所述训练数据样本生成置信度值；经由所述图形用户界面接收对第一置信度准则的选择；确定具有满足所述第一置信度准则的置信度值的训练数据样本子集；以及更新所述图形用户界面以移除所有未被包括在所述训练数据样本子集中的训练数据样本。7.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识具有大于与所述置信度准则相对应的置信度阈值的置信度值的至少一个训练数据样本。8.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识具有小于与所述置信度准则相对应的置信度阈值的置信度值的至少一个训练数据样本。9.如权利要求6所述的计算机实现的方法，其中确定所述训练数据样本子集包括：标识与当执行所述推理操作时指示所述神经网络的不正确输出的激活数据部分相对应的至少一个训练数据样本。10.如权利要求1所述的计算机实现的方法，其还包括：通过确定第一激活水平与第二激活水平之间的差值来为每个训练数据样本生成置信度值，所述第一激活水平包括在与所述训练数据样本相对应的所述激活数据部分中，所述第二激活水平包括在与所述训练数据样本相对应的所述激活数据部分中；以及基于为每个训练数据样本生成的所述置信度值来更新所述图形用户界面以显示所述训练数据样本。11.一种存储程序指令的非暂时性计算机可读介质，所述程序指令在由处理器执行时
使所述处理器通过执行以下步骤来分析神经网络已被如何训练：使所述神经网络基于多个训练数据样本来执行推理操作以生成多个激活数据部分，其中每个训练数据样本对应于不同的激活数据部分；以及生成图形用户界面，所述图形用户界面基于位置值来显示位于所述图形用户界面内的每个训练数据样本，所述位置值是基于与每个训练数据样本相对应的所述激活数据部分为所述训练数据样本生成的。12.如权利要求11所述的非暂时性计算机可读介质，其中为每个训练数据样本生成所述位置值包括：基于所述多个激活数据部分来执行降维操作。13.如权利要求11所述的非暂时性计算机可读介质，其中给定的激活数据部分包括n维向量，其中n是大于二的正整数，并且其中所述图形用户界面包括所述多个激活数据部分的二维投影。14.如权利要求11所述的非暂时性计算机可读介质，其中生成所述图形用户界面的步骤包括：基于所述多个激活数据部分来生成t分布式随机邻域嵌入(t-sne)图。15.如权利要求11所述的非暂时性计算机可读介质，其中生成所述图形用户界面的步骤包括：基于为每个训练数据样本生成的所述位置值来对所述训练数据样本进行排名，以产生多个经排名的训练数据样本；以及在网格内定位每个经排名的训练数据样本。16.如权利要求11所述的非暂时性计算机可读介质，其还包括以下步骤：基于与每个训练数据样本相对应的所述激活数据部分中所包括的至少一个激活水平，为所述训练数据样本生成置信度值；经由所述图形用户界面接收对第一置信度准则的选择；确定具有满足所述第一置信度准则的置信度值的训练数据样本子集；以及更新所述图形用户界面以移除所有未被包括在所述训练数据样本子集中的训练数据样本。17.如权利要求11所述的非暂时性计算机可读介质，其还包括以下步骤：基于第一激活水平与多个其他激活水平之间的比较来为每个训练数据样本生成置信度值，所述第一激活水平包括在与所述训练数据样本相对应的所述激活数据部分中，所述多个其他激活水平包括在与所述训练数据样本相对应的所述激活数据部分中；以及基于为每个训练数据样本生成的所述置信度值来更新所述图形用户界面以显示所述训练数据样本。18.如权利要求11所述的非暂时性计算机可读介质，其还包括以下步骤：经由所述图形用户界面接收逻辑表达式；基于与每个训练数据样本相对应的所述激活数据部分来评估所述逻辑表达式，以为所述训练数据样本生成表达式值；以及基于为所述训练数据样本生成的所述表达式值来更新所述图形用户界面，以显示训练数据的每个样本。19.如权利要求18所述的非暂时性计算机可读介质，其中更新所述图形用户界面以显示所述训练数据的每个样本的步骤包括：
基于为每个训练数据样本生成的所述表达式值来对所述样本进行排名，以产生多个经排名的训练数据样本；以及显示所述多个经排名的训练数据样本。20.一种系统，其包括：存储器，所述存储器存储软件应用程序；以及处理器，所述处理器在执行所述软件应用程序时被配置为执行以下步骤：使神经网络基于多个训练数据样本来执行推理操作以生成多个激活数据部分，其中每个训练数据样本对应于不同的激活数据部分，基于与每个训练数据样本相对应的所述激活数据部分，为所述训练数据样本生成位置值，以及生成图形用户界面，所述图形用户界面基于为位于所述图形用户界面内的每个训练数据样本生成的所述位置值来显示所述训练数据样本。

技术总结
如所描述，一种人工智能(AI)设计应用程序向用户展示用于生成、分析、评估和描述神经网络的各种工具。所述AI设计应用程序包括网络生成器，所述网络生成器基于用户与网络体系结构的图形描绘的交互来生成和/或更新定义神经网络的程序代码。所述AI设计应用程序还包括网络分析器，所述网络分析器响应于测试输入而在层水平、神经元水平和权重水平处分析神经网络的行为。所述AI设计应用程序还包括网络评估器，所述网络评估器跨训练数据样本的范围执行对神经网络的综合评估。最后，所述AI设计应用程序包括网络描述器，所述网络描述器用自然语言表述神经网络的行为，并且根据规则集约束所述行为。行为。行为。


技术研发人员：维沙尔
受保护的技术使用者：维亚奈系统公司
技术研发日：2020.07.07
技术公布日：2022/4/12