深度神经网络可视化的制作方法

技术特征：
1.一种提供特征的表示的方法，所述特征由深度神经网络标识为与结果相关，所述方法包括：为所述深度神经网络提供训练库，所述训练库包括：与所述结果相关联的多个样本；训练所述深度神经网络以识别与所述结果相关联的所述多个样本中的特征；通过在输入库中的多个样本中的每个样本中标识触发所述深度神经网络识别所述特征的一个或多个元素，从所述输入库创建特征识别库；使用所述特征识别库来合成样本的具有触发所述深度神经网络识别所述特征的特性的合成的多个一个或多个元素；以及使用所述合成的多个一个或多个元素来提供由所述深度神经网络在与所述结果相关联的所述多个样本中标识的所述特征的表示。2.根据权利要求1的方法，其中所述特征的所述表示包括：合成示例的连续库，所述合成示例具有触发所述深度神经网络识别所述特征的特性。3.根据权利要求1或权利要求2所述的方法，其中在所述输入库中的所述多个样本中的每个样本中标识触发所述深度神经网络识别所述特征的一个或多个元素包括：使用基于梯度的方法来在所述多个样本中的每个样本中标识触发对所述特征的识别的一个或多个元素。4.根据权利要求3所述的方法，其中所述基于梯度的方法包括以下一项或多项：grad-cam、cam、解卷积或引导反向传播。5.根据权利要求3或权利要求4所述的方法，其中所述特征识别库中的条目包括以下项的组合：所述输入库中的所述样本的一个或多个元素，和从所述基于梯度的方法获得的关于所述输入库中的所述样本的所述一个或多个元素在触发所述深度神经网络识别所述特征中的相对重要性的指示。6.根据前述权利要求中任一项所述的方法，其中合成样本的具有触发所述深度神经网络识别所述特征的特性的多个一个或多个元素包括：使用由所述特征识别库引导的生成式建模方法。7.根据权利要求6所述的方法，其中所述生成式建模方法包括以下一项或多项：生成式对抗网络或变分自编码器。8.根据前述权利要求中任一项所述的方法，其中所述方法包括：选择要被表示的与结果相关的特征。9.根据前述权利要求中任一项所述的方法，还包括：使用所述深度神经网络来识别与所述结果相关联的所述多个样本中的备选特征；通过在所述输入库中的所述多个样本中的每个样本中标识触发所述深度神经网络识别所述备选特征的一个或多个元素，从所述输入库创建备选特征识别库；使用所述备选特征识别库来合成样本的具有触发所述深度神经网络识别所述备选特征的特性的多个一个或多个元素；以及使用所合成的多个一个或多个元素来提供由所述深度神经网络在与所述结果相关联的所述多个样本中标识的所述备选特征的表示。10.根据权利要求9的方法，其中由所述深度神经网络识别的所述备选特征被选择，以
使得所述多个样本中的每个样本中触发所述深度神经网络识别所述特征和所述备选特征的所述一个或多个元素之间的差异被最大化。11.根据前述权利要求中任一项所述的方法，其中所述样本包括图像、声音或信号轨迹。12.一种计算机程序产品，可操作用于当在计算机上被执行时，执行根据权利要求1至11中任一项所述的方法。13.一种提供特征的表示的装置，所述特征由深度神经网络标识为与结果相关，所述装置包括：利用训练库被训练的深度神经网络，所述训练库包括与所述结果相关联的多个样本，并且所述深度神经网络通过所述训练被配置为识别与所述结果相关联的所述多个样本中的特征；库创建逻辑，所述库创建逻辑被配置为：通过在形成输入库的多个样本中的每个样本中标识触发所述深度神经网络识别所述特征的一个或多个元素，从所述输入库创建特征识别库；合成逻辑，所述合成逻辑被配置为：使用所述特征识别库来合成样本的具有触发所述深度神经网络识别所述特征的特性的合成的多个一个或多个元素；以及特征可视化逻辑，所述特征可视化逻辑被配置为：使用所述合成的多个一个或多个元素来提供由所述深度神经网络在与所述结果相关联的所述多个样本中标识的所述特征的表示。

技术总结
各方面和实施例涉及一种提供由深度神经网络标识为与结果相关的特征的表示的方法、计算机程序产品和配置为执行该方法的装置。该方法包括：为深度神经网络提供训练库，训练库包括与结果相关联的多个样本；训练深度神经网络以识别与结果相关联的多个样本中的特征；通过在输入库中的多个样本中的每个样本中标识触发深度神经网络识别特征的一个或多个元素，从输入库创建特征识别库；使用特征识别库来合成样本的具有触发深度神经网络识别特征的特性的合成的多个一个或多个元素；和使用合成的多个一个或多个元素来提供由深度神经网络在与结果相关联的多个样本中标识的特征的表示。因此，代替可视化样本中触发与结果相关联的特征的一个或多个元素的单个实例，可以可视化包括会触发与结果相关联的特征的元素的一系列样本，从而实现对于特定特征有关的深度神经网络操作的更全面理解。操作的更全面理解。操作的更全面理解。


技术研发人员：B
受保护的技术使用者：皇家飞利浦有限公司
技术研发日：2020.05.25
技术公布日：2022/1/10