用于图像误分类的安全监测器的制作方法

技术特征：
1.一种系统，其包括：推理加速器引擎；以及安全监测器，所述安全监测器被配置来：将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；至少部分地基于真实图像数据中的出现概率和/或先前图像中的检测频率确定生成哪些已知良好对象图像数据；生成所述已知良好对象图像数据并将所述已知良好对象图像数据传输到所述推理加速器引擎；并且基于由对所述已知良好对象图像数据进行分类的所述推理加速引擎产生的结果的分析生成置信指示符，其中所述置信指示符表示所述真实图像数据被所述推理加速引擎正确地分类的概率；其中所述系统被配置来响应于所述置信指示符不满足阈值而执行一个或多个校正动作。2.如权利要求1所述的系统，其中所述安全监测器进一步被配置来：当在第一模式下操作时，仅将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；响应于检测到第一条件而进入第二模式；并且响应于进入所述第二模式而生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎。3.如权利要求2所述的系统，其中所述第一条件包括从所述安全关键应用程序接收进入所述第二模式的信号，并且其中第一校正动作是终止所述安全关键应用程序。4.如权利要求1所述的系统，其中所述安全监测器进一步被配置来：通过将所述已知良好对象图像数据与输入图像组合来生成所修改图像，其中所述已知良好对象图像数据包括一个或多个给定对象；并且将所修改图像传输到所述推理加速器引擎。5.如权利要求4所述的系统，其中所述安全监测器进一步被配置来：分析先前图像的检测到的输出以跟踪所述先前图像中各种对象的检测频率；确定是否任何对象具有大于第一阈值的出现概率和先前图像中的大于第二阈值的检测频率两者；并且响应于确定一个或多个第一对象具有大于所述第一阈值的出现概率和先前图像中的大于所述第二阈值的检测频率两者而将所述一个或多个第一对象添加到下一个图像。6.如权利要求4所述的系统，其中所述安全监测器进一步被配置来：在测试向量数据中检测至少一个已知良好对象；将所述至少一个已知良好对象添加到所述输入图像的原始边界之外的额外空间；并且从所述输入图像和所述额外空间创建所修改图像。7.如权利要求1所述的系统，其中所述安全监视器被配置来从所述安全关键应用程序接收测试数据，所述测试数据指示所述推理加速器引擎应如何对所述已知良好对象图像数据进行分类。8.一种方法，其包括：
由安全监测器将来自安全关键应用程序的真实图像数据传输到推理加速器引擎；由所述安全监测器至少部分地基于真实图像数据中的出现概率和/或先前图像中的检测频率确定生成哪些已知良好对象图像数据；由所述安全监测器生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎；由所述安全监测器基于由对所述已知良好对象图像数据进行分类的所述推理加速引擎产生的结果的分析生成置信指示符，其中所述置信指示符表示所述真实图像数据被所述推理加速引擎正确地分类的概率；以及响应于所述置信指示符不满足阈值而由所述安全关键应用程序执行一个或多个校正动作。9.如权利要求8所述的方法，其还包括所述安全监测器：当在第一模式下操作时，仅将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；响应于检测到第一条件而进入第二模式；并且响应于进入所述第二模式而生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎。10.如权利要求9所述的方法，其中所述第一条件包括从所述安全关键应用程序接收进入所述第二模式的信号，并且其中第一校正动作是终止所述安全关键应用程序。11.如权利要求8所述的方法，其还包括：由所述安全监测器通过将所述已知良好对象图像数据与输入图像组合来生成所修改图像，其中所述已知良好对象图像数据包括一个或多个给定对象；以及将所修改图像传输到所述推理加速器引擎。12.如权利要求11所述的方法，其还包括：由所述安全监测器分析先前图像的检测到的输出以跟踪所述先前图像中各种对象的检测频率；由所述安全监测器确定是否任何对象具有大于第一阈值的出现概率和先前图像中的大于第二阈值的检测频率两者；以及由所述安全监测器响应于确定一个或多个第一对象具有大于所述第一阈值的出现概率和先前图像中的大于所述第二阈值的检测频率两者而将所述一个或多个第一对象添加到下一个图像。13.如权利要求11所述的方法，其还包括：由所述安全监测器在测试向量数据中检测至少一个已知良好对象；由所述安全监测器将所述至少一个已知良好对象添加到所述输入图像的原始边界之外的额外空间；以及由所述安全监测器从所述输入图像和所述额外空间创建所修改图像。14.如权利要求8所述的方法，其还包括：由所述安全监测器从所述安全关键应用程序接收测试数据，所述测试数据指示所述推理加速器引擎应如何对所述已知良好对象图像数据进行分类。15.一种装置，其包括：
存储器，所述存储器存储程序指令；以及至少一个处理器，所述至少一个处理器耦接到所述存储器，其中所述程序指令能够由所述至少一个处理器执行以：将来自安全关键应用程序的真实图像数据传输到推理加速器引擎；至少部分地基于真实图像数据中的出现概率和/或先前图像中的检测频率确定生成哪些已知良好对象图像数据；生成所述已知良好对象图像数据并将所述已知良好对象图像数据传输到所述推理加速器引擎；基于由对所述已知良好对象图像数据进行分类的所述推理加速引擎产生的结果的分析生成置信指示符，其中所述置信指示符表示所述真实图像数据被所述推理加速引擎正确地分类的概率；并且响应于所述置信指示符不满足阈值而执行一个或多个校正动作。16.如权利要求15所述的装置，其中所述程序指令进一步能够由所述至少一个处理器执行以：当在第一模式下操作时，仅将来自安全关键应用程序的真实图像数据传输到所述推理加速器引擎；响应于检测到第一条件而进入第二模式；并且响应于进入所述第二模式而生成所述已知良好对象图像数据并且将所述已知良好对象图像数据传输到所述推理加速器引擎。17.如权利要求16所述的装置，其中所述第一条件包括从所述安全关键应用程序接收进入所述第二模式的信号，并且其中第一校正动作是终止所述安全关键应用程序。18.如权利要求15所述的装置，其中所述程序指令进一步能够由所述至少一个处理器执行以：通过将所述已知良好对象图像数据与输入图像组合来生成所修改图像，其中所述已知良好对象图像数据包括一个或多个给定对象；并且将所修改图像传输到所述推理加速器引擎。19.如权利要求18所述的装置，其中所述程序指令进一步能够由所述至少一个处理器执行以：分析先前图像的检测到的输出以跟踪所述先前图像中各种对象的检测频率；确定是否任何对象具有大于第一阈值的出现概率和先前图像中的大于第二阈值的检测频率两者；并且响应于确定一个或多个第一对象具有大于所述第一阈值的出现概率和先前图像中的大于所述第二阈值的检测频率两者而将所述一个或多个第一对象添加到下一个图像。20.如权利要求18所述的装置，其中所述程序指令进一步能够由所述至少一个处理器执行以：在测试向量数据中检测至少一个已知良好对象；将所述至少一个已知良好对象添加到所述输入图像的原始边界之外的额外空间；并且从所述输入图像和所述额外空间创建所修改图像。

技术总结
公开了用于实现安全关键推理应用程序的安全监测框架的系统、装置和方法。系统包括安全关键推理应用程序、安全监测器和推理加速器引擎。安全监测器从安全关键推理应用程序接收输入图像、测试数据和神经网络规范。安全监测器通过在输入图像之外添加附加对象来生成所修改图像。安全监测器将所修改图像和神经网络规范提供给推理加速器引擎，所述推理加速器引擎处理所修改图像并向安全监测器提供输出。安全监测器通过将针对附加对象的输出与已知良好结果进行比较来确定对原始输入图像进行错误处理的概率。安全监测器补充了推理加速器引擎的总体故障覆盖范围，并涵盖了仅可在网络级别处观察到的故障。别处观察到的故障。别处观察到的故障。


技术研发人员：邝东全 本杰明
受保护的技术使用者：ATI科技无限责任公司
技术研发日：2020.05.11
技术公布日：2022/2/7