一种基于模型动态行为的可解释性方法及相关装置与流程

技术特征：
1.一种基于模型动态行为的可解释性方法，其特征在于，包括：获取图像数据中目标像素点的非对称动态边界，所述图像数据为目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。2.根据权利要求1所述的方法，其特征在于，所述目标神经网络模型包括卷积层和/或全连接层。3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；所述根据所述图像数据中多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，包括：从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。5.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。6.根据权利要求1-5所述的任意一项方法，其特征在于，所述方法还包括：根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。7.一种基于模型动态行为的可解释性装置，其特征在于，包括：第一获取单元，用于获取图像数据中目标像素点的非对称动态边界，所述图像数据为
目标神经网络模型的输入数据，所述目标像素点为所述图像数据中多个像素点中的任意一个，所述非对称动态边界包括左动态边界和右动态边界，所述左动态边界为所述目标像素点的像素点值的下边界，所述右动态边界为所述目标像素点的像素点值的上边界，且所述目标像素点的像素点值在所述左动态边界和所述右动态边界之间变化时，所述图像数据在所述目标神经网络模型中的分类结果不变；差量单元，用于对所述目标像素点的所述左动态边界和所述右动态边界进行差量操作，获得所述目标像素点的左右动态边界之差；像素点单元，用于根据所述多个像素点分别对应的左右动态边界之差，获得所述图像数据的目标像素点集合，所述目标像素点集合包括所述多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。8.根据权利要求7所述的装置，其特征在于，所述目标神经网络模型包括卷积层和/或全连接层。9.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：归一化单元，用于将所述目标像素点的左右动态边界之差进行归一化处理，获得所述目标像素点的差量动态边界值；所述像素点单元，具体用于：从所述多个像素点分别对应的差量动态边界值中，确定差量动态边界值超过第二阈值的像素点为所述图像数据的所述目标像素点集合。10.根据权利要求9所述的装置，其特征在于，所述装置还包括：第一特征图单元，用于根据所述多个像素点分别对应的差量动态边界值和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第一像素点对应的视觉感知亮度大于第二像素点对应的视觉感知亮度，其中，所述第一像素点的差量动态边界值大于所述第二像素点的差量动态边界值。11.根据权利要求7或8所述的装置，其特征在于，所述装置还包括：第二特征图单元，用于根据所述多个像素点分别对应的左右动态边界之差和所述图像数据，获得所述图像数据对应的目标特征图，所述目标特征图中多个像素点中第三像素点对应的视觉感知亮度大于第四像素点对应的视觉感知亮度，其中，所述第三像素点的左右动态边界之差大于所述第四像素点的左右动态边界之差。12.根据权利要求7-11所述的任意一项装置，其特征在于，所述装置还包括：第二获取单元，用于根据所述多个像素点分别对应的左右动态边界之差，获取所述目标像素点集合的动态边界范围；鲁棒性单元，用于根据所述动态边界范围，获得所述目标神经网络模型的鲁棒性边界范围，所述鲁棒性边界范围在所述动态边界范围之内，且用于确定输入所述目标神经网络模型后的分类结果。13.一种芯片系统，其特征在于，所述芯片系统包括至少一个处理器，存储器和接口电路，所述存储器、所述接口电路和所述至少一个处理器通过线路互联，所述至少一个存储器中存储有指令；所述指令被所述处理器执行时，权利要求1-6中任意一项所述的方法得以实现。14.一种计算机存储介质，其特征在于，所述计算机存储介质存储有计算机程序，该计
算机程序被处理器执行时实现上述权利要求1-6任意一项所述的方法。15.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述计算机程序被计算机执行时，使得所述计算机执行如权利要求1-6中任意一项所述的方法。

技术总结
本申请实施例提供一种基于模型动态行为的可解释性方法及相关装置，应用于人工智能领域，其中，一种基于模型动态行为的可解释性方法，包括：获取图像数据中目标像素点的非对称动态边界，非对称动态边界包括左动态边界和右动态边界；对目标像素点的左动态边界和右动态边界进行差量操作，获得目标像素点的左右动态边界之差；根据多个像素点分别对应的左右动态边界之差，获得图像数据的目标像素点集合，目标像素点集合包括多个像素点中一个或多个左右动态边界之差超过第一阈值的像素点。实施本申请实施例，忠实于原模型的情况下，精确解释该神经网络模型。该神经网络模型。该神经网络模型。


技术研发人员：纪守领 李长江 时杰 方成方
受保护的技术使用者：华为技术有限公司
技术研发日：2020.07.15
技术公布日：2022/1/17