用于自主和半自主系统及应用的利用时间信息的对象检测的制作方法

背景技术：

1、使用图像数据确定各种对象属性(诸如在一段时间内变化的时间属性)对于机器的许多自主和/或半自主操作非常重要。例如，对于在车辆附近行进的自主机器而言，基于车辆的灯光信号(light signal)的状态确定车辆是否正在转弯、倒车和/或刹车非常重要。然而，在某些情况下，确定此类对象属性可能很困难，诸如当单个图像中的视觉特性模糊不清(例如，灯光信号在状态之间切换)和/或对象的至少一部分被遮挡(例如，灯光信号在图像中被遮挡)时。此外，由于相似类型的对象可能包括不同的配置(诸如，不同型号的车辆包括形状和/或位置不同的灯光信号)，因此确定所有不同配置的属性会增加挑战。

2、因此，已经开发出多种利用图像数据确定对象属性的技术。例如，计算机视觉技术可以处理图像数据以识别灯光位置，然后应用启发式方法确定灯光状态。然而，这些技术往往仅在受限环境中工作，由于采用手动调整的启发式方法，这在天气和/或光照条件存在多种多样变化时提供较差性能。因此，基于深度学习的技术利用深度学习算法(诸如，基于循环神经网络(rnn)的算法)来识别灯光位置，提取空间特征，然后通过rnn整合时间信息。然而，在某些情况下，使用rnn的隐藏状态来分析时间信息可能很困难。此外，基于rnn在训练与部署之间的处理时间的差异，也可能会发生一些问题。例如，可以使用固定的时间序列来训练rnn，并且在部署后，rnn可持续跟踪灯光信号，直到灯光信号不再被图像描绘为止。

技术实现思路

1、本公开的实施例涉及使用时间信息来检测用于自主和/或半自主系统和应用的对象属性。公开的系统和方法使用一个或更多个神经网络(诸如一个或更多个卷积神经网络(cnn))来基于时间信息确定与对象相关联的属性。例如，神经网络可以使用一个或更多个第一层(诸如cnn特征提取器)来确定与表示对象的图像相关联的空间特征，然后这些空间特征被存储在存储器中。然后，神经网络可以使用一个或更多个第二层(诸如一个或更多个cnn分类器)来处理空间特征，并确定对象的分类和/或与对象相关联的一个或更多个属性。例如，如果对象包括带有灯光信号的车辆，则神经网络可以确定灯光信号的一个或更多个状态。如本文更详细描述的，在一些示例中，神经网络可以基于一个或更多个事件的发生来确定属性，诸如存储器存储了阈值量的空间特征。

2、与常规系统相比，本公开的系统和方法在一些实施例中使用具有优化的卷积层的时间cnn来确定对象属性，而不是使用rnn。这可以提高确定对象属性的性能(诸如通过避免循环隐藏状态)，同时还改进了训练过程。例如，训练时间cnn可以绕过各种rnn训练问题，例如梯度消失。此外，与常规系统相比，本公开的系统和方法在一些实施例中同时地而不是顺序地聚合时间信息(例如空间特征)，以用于执行确定对象属性的分析。这可以通过在每次对象属性被确定时分析来自多个时间步长(例如每个时间步长)的贡献来进一步提高神经网络的性能。此外，本公开的系统和方法在一些实施例中可以使用纯cnn架构，纯cnn架构与常规系统的rnn架构相比，简化了部署。

1.一种方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求1所述的方法，还包括：

4.根据权利要求1所述的方法，还包括：

5.根据权利要求1所述的方法，还包括：至少基于个体空间特征实例的数量达到容量，从所述存储器中移除一个或更多个个体空间特征实例。

6.根据权利要求1所述的方法，还包括：

7.根据权利要求1所述的方法，其中所述一个或更多个状态包括或指示以下中的至少一项：

8.一种系统，包括：

9.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：

10.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：

11.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：

12.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：至少基于所述一个或更多个空间特征被存储在所述存储器中，从所述存储器中移除一个或更多个第二空间特征，所述一个或更多个第二空间特征与一个或更多个第二图像相关联。

13.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：

14.根据权利要求8所述的系统，其中所述一个或更多个处理器还用于：

15.根据权利要求8所述的系统，其中与所述一个或更多个灯光信号相关联的所述一个或更多个状态至少包括以下中的一项或更多项：

16.根据权利要求8所述的系统，其中：

17.根据权利要求9所述的系统，其中所述系统被包括在以下中的至少一项中：

18.一个或更多个处理器，包括处理电路，所述处理电路用于：

19.根据权利要求18所述的一个或更多个处理器，其中所述处理电路还用于：

20.根据权利要求18所述的一个或更多个处理器，其中所述一个或更多个处理器位于以下中的至少一项中：