针对用于对象检测的非最大抑制(NMS)的攻击的防御的制作方法

摘要: 本公开整体涉及对象检测。例如,本公开的各方面涉及针对用于对象检测的非最大抑制(nms)的攻击(例如,时延攻击)的防御。背景技术:1、许多设备和系统允许通过生成场...
针对用于对象检测的非最大抑制(NMS)的攻击的防御的制作方法

本公开整体涉及对象检测。例如,本公开的各方面涉及针对用于对象检测的非最大抑制(nms)的攻击(例如,时延攻击)的防御。

背景技术:

1、许多设备和系统允许通过生成场景的图像(或帧)和/或视频数据(包括多个帧)来捕获场景。例如,相机或包括相机的设备可捕获场景的帧序列(例如,场景的视频)。在一些情况下,帧序列可被处理以用于执行一个或多个功能、可被输出以用于显示、可被输出以用于由其他设备处理和/或消耗,以及其他用途。

2、对象检测可用于标识对象(例如,从数字图像或从视频剪辑的视频帧)。在一些情况下,可执行对象跟踪以随时间推移(例如,在多个帧上)跟踪对象。对象检测和/或跟踪可用于不同的领域,包括运输、视频分析、安全系统、机器人、航空等。在一些领域中,跟踪对象(例如,交通工具)可确定环境中的其他对象(例如,目标对象)的定位,使得跟踪对象可准确地在该环境中导航。

技术实现思路

1、以下呈现与本文所公开的一个或多个方面相关的简化 技术实现要素: 。因此,以下发明内容既不应被认为是与所有构想的方面相关的详尽纵览,也不应被认为标识与所有构想的方面相关的关键性或决定性元素或描绘与任何特定方面相关联的范围。因此,以下发明内容的唯一目的是在以下呈现的详细描述之前以简化形式呈现与涉及本文所公开的机制的一个或多个方面相关的某些概念。

2、公开了用于对象检测的系统和技术(例如,应用针对用于对象检测的非最大抑制的时延攻击的防御)。根据至少一个示例,提供了一种用于对象检测的装置。该装置包括存储器和处理器,该处理器耦合到该存储器并且被配置为:将变换应用于场景的图像以生成变换图像;使用对象检测模型来确定针对该变换图像的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过使用非最大抑制模型移除该多个候选边界区域中的至少一个候选边界区域来确定针对该变换图像的候选边界区域的子集;基于候选边界区域的该子集来生成针对该对象的输出边界框;以及输出该输出边界框。

3、在另一例示性示例中,提供了一种用于对象检测的方法。该方法包括:将变换应用于场景的图像以生成变换图像;使用对象检测模型来确定针对该变换图像的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过使用非最大抑制模型移除该多个候选边界区域中的至少一个候选边界区域来确定针对该变换图像的候选边界区域的子集;基于候选边界区域的该子集来生成针对该对象的输出边界框;以及输出该输出边界框。

4、在另一例示性示例中,提供了一种非暂态计算机可读介质,该非暂态计算机可读介质具有存储在其上的指令,这些指令在由处理器执行时使该处理器:将变换应用于场景的图像以生成变换图像;使用对象检测模型来确定针对该变换图像的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过使用非最大抑制模型移除该多个候选边界区域中的至少一个候选边界区域来确定针对该变换图像的候选边界区域的子集;基于候选边界区域的该子集来生成针对该对象的输出边界框;以及输出该输出边界框。

5、在另一例示性示例中,提供了一种用于对象检测的装置。该装置包括:用于将变换应用于场景的图像以生成变换图像的部件;用于使用对象检测模型来确定针对该变换图像的多个候选边界区域的部件,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;用于通过使用非最大抑制模型移除该多个候选边界区域中的至少一个候选边界区域来确定针对该变换图像的候选边界区域的子集的部件;用于基于候选边界区域的该子集来生成针对该对象的输出边界框的部件;和用于输出该输出边界框的部件。

6、在另一例示性示例中,提供了一种用于对象检测的装置。该装置包括存储器和处理器,该处理器耦合到该存储器并且被配置为:使用对象检测模型来确定场景的图像内的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过基于对该图像的图像处理操作的输出减小该多个候选边界区域的数量来生成候选边界区域的子集;通过使用非最大抑制模型移除候选边界区域的该子集中的至少一个候选边界区域来生成针对该对象的输出边界框;以及输出包括该输出边界框的对象检测输出。

7、在另一例示性示例中,提供了一种用于对象检测的方法。该方法包括:使用对象检测模型来确定场景的图像内的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过基于对该图像的图像处理操作的输出减小该多个候选边界区域的数量来生成候选边界区域的子集;通过使用非最大抑制模型移除候选边界区域的该子集中的至少一个候选边界区域来生成针对该对象的输出边界框;以及输出包括该输出边界框的对象检测输出。

8、在另一例示性示例中,提供了一种非暂态计算机可读介质,该非暂态计算机可读介质具有存储在其上的指令,这些指令在由处理器执行时使该处理器:使用对象检测模型来确定场景的图像内的多个候选边界区域,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;通过基于对该图像的图像处理操作的输出减小该多个候选边界区域的数量来生成候选边界区域的子集;通过使用非最大抑制模型移除候选边界区域的该子集中的至少一个候选边界区域来生成针对该对象的输出边界框;以及输出包括该输出边界框的对象检测输出。

9、在另一例示性示例中,提供了一种用于对象检测的装置。该装置包括:用于使用对象检测模型来确定场景的图像内的多个候选边界区域的部件,其中该多个候选边界区域中的每个候选边界区域与该场景中的对象相关联;用于通过基于对该图像的图像处理操作的输出减小该多个候选边界区域的数量来生成候选边界区域的子集的部件;用于通过使用非最大抑制模型移除候选边界区域的该子集中的至少一个候选边界区域来生成针对该对象的输出边界框的部件;和用于输出包括该输出边界框的对象检测输出的部件。

10、各方面一般包括如基本上参照附图和说明书描述并且如附图和说明书所例示的方法、装置、系统、计算机程序产品、非暂态计算机可读介质、用户设备、用户装备、无线通信设备、和/或处理系统。

11、在一些方面,本文所描述的装置中的每个装置是移动设备、智能或连接设备、相机系统和/或扩展现实(xr)设备(例如,虚拟现实(vr)设备、增强现实(ar)设备或混合现实(mr)设备),或者可以是这些设备的一部分或者可包括这些设备。在一些示例中,每个装置可包括交通工具、移动设备(例如,移动电话或所谓的“智能电话”或其他移动设备)、可穿戴设备、个人计算机、膝上型计算机、平板计算机、服务器计算机、机器人设备或系统、航空系统或其他设备,或者是这些设备的一部分。在一些方面,每个装置可包括用于捕获一个或多个图像的一个图像传感器(例如,一个相机)或多个图像传感器(例如,多个相机)。在一些方面,每个装置可包括用于显示一个或多个图像、通知和/或其他可显示数据的一个或多个显示器。在一些方面,每个装置可包括一个或多个扬声器、一个或多个发光设备和/或一个或多个麦克风。在一些方面,每个装置可包括一个或多个传感器。在一些情况下,该一个或多个传感器可用于确定该装置的位置、该装置的状态(例如,跟踪状态、操作状态、温度、湿度水平和/或另一状态)和/或用于其他目的。

12、一些方面包括一种具有处理器的设备,该处理器被配置为执行以上概述的方法中的任何方法的一个或多个操作。进一步的各方面包括用于在设备中使用的处理设备,利用处理器可执行指令来配置该处理设备以执行以上概述的方法中的任何方法的操作。进一步的各方面包括一种非暂态处理器可读存储介质,该非暂态处理器可读存储介质在其上存储有处理器可执行指令,该处理器可执行指令被配置为使设备的处理器执行以上概述的方法中的任何方法的操作。进一步的各方面包括一种设备,该设备具有用于执行以上概述的各方法中的任何方法的各功能的部件。

13、上文已经相当广泛地概述了根据本公开的示例的特征和技术优点,以便可更好地理解下面的详细描述。下文将描述附加特征和优点。所公开的概念和具体示例可容易地被利用作为用于修改或设计用于实现本公开的相同目的的其他结构的基础。此类等效构造不脱离所附权利要求书的范围。当结合附图考虑时,根据以下描述将更好地理解本文中所公开的概念的特性(其组织和操作方法两者)以及相关联的优点。提供附图中的每个附图是出于例示和描述的目的,而不是作为权利要求的限制的定义。前述内容以及其他特征和方面将在参照以下说明书、权利要求书和所附附图时变得更明显。

14、该发明内容不旨在标识所要求保护的主题的关键或必要特征,其也不旨在孤立地用于确定所要求保护的主题的范围。本主题应当参考本专利的整个说明书的合适部分、任何或所有附图以及每项权利要求来理解。

15、在参考下面的说明书、权利要求书和附图时,上述以及其他特征和实施例将变得更加显而易见。