包含立体相机组件的对象追踪系统及使用方法与流程

1.本公开总体上涉及改进的传感器系统，并且更具体地涉及用传感器系统追踪移动对象。更加具体地，本公开提供了用于对象追踪的方法和改进的立体相机组件。


背景技术：

2.随着时间的推移，可以在一系列图像中追踪对象的移动。可以采用图像分析技术在一系列图像中检测对象的运动。
3.此外，也可以使用图像来追踪对象通过空间的移动。例如，可以执行对象的立体追踪以识别对象在三维空间中的位置。然而，当前的立体技术可能非常昂贵或无法在大区域中追踪对象。
4.因此，希望有一种方法和设备至少考虑到上面讨论的一些问题以及其他可能的问题。例如，希望有一种方法和设备能够增加用于以期望水平的精度追踪对象的区域，而不会极大地增加成本。


技术实现要素：

5.本公开的一个示例提供一种对象追踪系统的立体相机组件。该立体相机组件包括安装在安装结构上的广角镜头相机和安装在安装结构上的长焦镜头相机，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围/覆盖(encompassed)。
6.本公开的另一示例提供一种方法。该方法包括由计算机系统接收广角图像和长焦图像，其中该广角图像由立体相机组件的广角镜头相机提供并且该长焦图像由立体相机组件的长焦镜头相机提供。该长焦镜头相机被安装在安装结构上，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围。由该计算机系统对广角图像和长焦图像执行变换以将长焦图像映射到广角图像。
7.本公开的又一示例提供一种对象追踪系统。该对象追踪系统包括：广角镜头相机，其被安装在安装结构上；长焦镜头相机，其被安装在安装结构上，以使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围；计算机系统；以及移动系统。该计算机系统被配置为从广角镜头相机接收广角图像，从长焦镜头相机接收长焦图像，确定对象是否可识别地存在于广角图像中，确定对象是否可识别地存在于长焦图像中，并且响应于确定对象可识别地存在于长焦图像或广角图像中的仅一个中，生成命令以移动安装结构。该移动系统被配置为响应于接收到来自计算机系统的命令而移动安装结构。
8.这些特征和功能可以在本公开的各个实施例中独立实现，或者可以在其他实施例中进行组合，其中可以参考以下描述和附图看到进一步的细节。
附图说明
9.在所附权利要求中阐述了说明性实施例的被认为是新颖特征的特性。然而，当结合附图阅读时，通过参考本公开的说明性实施例的以下详细描述，将最好地理解说明性实
施例以及优选的使用模式、进一步的目的和特征，其中：
10.图1是根据说明性实施例的立体成像系统的图示；
11.图2是根据说明性实施例的由广角镜头相机和长焦镜头相机产生的立体图像的图示；
12.图3是根据说明性实施例的立体成像系统和在追踪环境中的对象的示意图；
13.图4是根据示例性实施例的立体成像系统和在追踪环境中的对象的图示；
14.图5是根据说明性实施例的立体成像系统和在追踪环境中的对象的图示；
15.图6是根据说明性实施例的基于广角图像和长焦图像的动作的流程图的图示；
16.图7是根据说明性实施例的追踪环境的示意图；
17.图8是根据说明性实施例的用于对象追踪的过程的流程图的图示；
18.图9是根据说明性实施例的用于追踪对象的过程的流程图的图示；
19.图10是根据说明性实施例的用于预测对象的后续三维方位的过程的流程图的图示；
20.图11是根据说明性实施例的用于预测对象的后续三维方位的过程的流程图的图示；
21.图12是根据说明性实施例的追踪环境的框图的图示；
22.图13是根据说明性实施例的飞行器及其部件的框图的图示；
23.图14是根据说明性实施例的用于对象追踪器的追踪状态机的框图的图示；
24.图15是根据说明性实施例的追踪环境的框图的图示；以及
25.图16是根据说明性实施例的数据处理系统的框图的图示。
具体实施方式
26.说明性实施例认识并考虑到一种或多种不同的因素。例如，说明性实施例认识并考虑到诸如微型航空交通工具之类的平台可以承载立体成像系统。可以分析从该成像系统生成的图像以追踪对象(例如另一微型航空交通工具)的移动。
27.说明性实施例认识并考虑到可以追踪对象的一种方式是通过使用包括人工神经网络的人工智能系统。说明性实施例还认识并考虑到可以在掩蔽图像内使用图像掩蔽和强度均匀化来执行对象追踪。当使用掩蔽和强度均匀化时，对象的三维方位是使用后续掩蔽图像中的一组公共像素确定的。如本文所用，“一组”在用于指代项目时是指一个或多个项目。例如，“一组像素”是一个或多个像素。
28.说明性示例认识并考虑到立体视觉使用两个相机。在立体成像中，在两个图像中识别对象以确定在三维空间中的深度和位置。通常，立体视觉系统中的两个相机使用相同类型的相机。
29.说明性示例认识并考虑到当对象离立体成像系统太远时，可能无法在两个图像中识别出足够的数据来定位对象。在这些示例中，对象可能存在于图像中但无法识别，因此对象不是可识别地存在的。说明性示例认识并考虑到当对象离立体成像系统太远时，两个图像中可能不存在足够的数据来执行三角测量。
30.说明性示例认识并考虑到为了增加与能够识别对象的立体视觉系统的距离，可以使用更高分辨率的相机。说明性示例认识并考虑到使用具有更多像素数量的更高分辨率相
机更昂贵。说明性示例还认识并考虑到分析具有较高像素计数的图像需要额外的计算机处理资源。更高放大倍率的相机可能具有更小的视野。说明性示例认识并考虑到，如果对象离开视野，则重新获取该对象的视图可能会非常困难。
31.说明性示例认识并考虑到，提供可以在比常规立体成像系统可以追踪对象的区域更大的区域中追踪对象的立体成像系统将是合乎期望的。说明性示例认识并考虑到可能希望提供不会不合期望地增加对象追踪系统的成本的立体成像系统。说明性示例认识并考虑到可能希望提供不会不合期望地增加对象追踪系统所利用的处理资源的立体成像系统。
32.说明性示例提供了对象追踪系统的立体框架组件。该立体相机组件包括安装在安装结构上的广角镜头相机和安装在安装结构上的长焦镜头相机，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围。使用两种不同类型的镜头允许在比传统立体成像系统可以识别对象的区域更大的区域中进行对象识别。广角镜头相机扩大了视野的水平宽度，而长焦镜头相机提供了比广角镜头相机从更远距离识别对象的能力。
33.两种不同类型的镜头的使用提供了立体相机组件相对于对象的移动以实现对象追踪。在一些说明性示例中，移动立体相机组件可以包括使用摇摄、倾斜或变焦来移动相机组件。在一些说明性示例中，移动立体相机组件包括移动立体相机组件安装于其上的平台。通过移动立体相机组件，立体相机组件的视野被改变。在一些说明性示例中，立体相机组件的视野发生变化以追踪对象。
34.现在参考附图，并且具体参考图1，其描绘了根据说明性实施例的立体成像系统的图示。立体成像系统100是图1的立体成像系统100的物理实施方式的简化图示。立体成像系统100是可被用于生成图2的立体图像200的立体成像系统的示例。在一些说明性示例中，立体成像系统100是图3-图5的立体成像系统306的示例。在一些说明性示例中，立体成像系统100是图7的立体成像系统有效载荷706的示例。立体成像系统100是可用于执行图6的流程图600或图8-图11中任一个所示的任何过程的立体成像系统的示例。立体成像系统100是图12和图15的立体成像系统1210的物理实施方式。
35.立体成像系统100包括安装在安装结构103上的广角镜头相机102和安装在安装结构103上的长焦镜头相机104。广角镜头相机102包括广角镜头和传感器。长焦镜头相机104包括长焦镜头和传感器。长焦镜头相机104被安装在安装结构103上，使得长焦镜头相机104的视野被广角镜头相机102的视野至少部分地包围。在一些说明性示例中，长焦镜头相机104被安装在安装结构103上，使得长焦镜头相机104的视野被广角镜头相机102的视野完全包围。
36.安装特性包括用于将广角镜头相机102和长焦镜头相机104中的每一个安装在安装结构103上的相应高度、广角镜头相机102与长焦镜头相机104之间的设定距离，以及广角镜头相机102和长焦镜头相机104中的每一个的安装角度。每个安装特性影响广角镜头相机102的视野和长焦镜头相机104的视野的相对方位。
37.如图所示，广角镜头相机102和长焦镜头相机104分开一设定距离106。设定距离106被确定为合乎期望地提供立体信息。在一些说明性示例中，增加的设定距离106可以增加立体信息。设定距离106被用于执行图像分析以将长焦图像映射到广角图像。
38.安装结构103采用任何期望的形式。如图所示，安装结构103采用框架108的形式。在一些说明性示例中，安装结构103被配置为连接到交通工具。在其他未描绘的示例中，安
装结构103是平台的部件。
39.如图所示，广角镜头相机102和长焦镜头相机104被安装在不同高度处。在该说明性示例中，广角镜头相机102和长焦镜头相机104被安装成具有高度差110。但是，在其他说明性示例中，广角镜头相机102和长焦镜头相机104可以被安装在相同的高度处。差110可以被用于执行图像分析以将长焦图像映射到广角图像。
40.如图所示，广角镜头相机102和长焦镜头相机104相对于框架108以相同角度安装。在该说明性示例中，广角镜头相机102和长焦镜头相机104被安装成使得广角镜头相机102和长焦镜头相机104在图1中面向纸面外。在该说明性示例中，广角镜头相机102和长焦镜头相机104两者垂直于安装结构103安装在安装结构103上。广角镜头相机102和长焦镜头相机104的相对角度被用于图像分析以将长焦图像映射到广角图像。
41.广角镜头相机102和长焦镜头相机104的相对方位(包括广角镜头相机102和长焦镜头相机104中的每一个的设定距离106、高度差110以及角度)被用于进行由广角镜头相机102和长焦镜头相机104捕获的图像的图像分析。例如，广角镜头相机102和长焦镜头相机104的相对方位被用于对广角图像和长焦图像执行变换以将长焦图像映射到广角图像。该变换是用于将从广角镜头相机102和长焦镜头相机104拍摄的图像重叠的图像处理逻辑。
42.立体成像系统100提供用于对象追踪的立体图像。另外，由立体成像系统100生成的立体图像可以被用于重新定位立体成像系统100以提供对象追踪。立体成像系统100相比于常规立体成像系统增大了能够被监控以用于对象追踪的区域，而不会极大地增加对象追踪系统的成本。立体成像系统100相比于常规立体成像系统增大了能够被监控以用于对象追踪的区域，而不会极大地增加由对象追踪系统使用的处理资源。
43.现在转向图2，其描绘了根据说明性实施例的由广角镜头相机和长焦镜头相机产生的立体图像的图示。立体图像200被描绘为说明广角镜头相机的视野和长焦镜头相机的视野的相对方位。立体图像200包括广角图像202和长焦图像204。广角图像202由广角镜头相机(例如，图1的广角镜头相机102、图3-图5的广角镜头相机308或图12的广角镜头相机1222)捕获。长焦图像204由长焦镜头相机(例如，图1的长焦镜头相机104、图3-图5的长焦镜头相机310或图12的长焦镜头相机1224)捕获。
44.如在图2中可以看出，长焦图像204的视野被广角图像202的视野完全包围。在其他非说明性示例中，长焦图像的视野可以仅部分地被广角图像202的视野包围。
45.在捕获长焦图像204时，长焦图像204的视野对应于长焦镜头相机的视野。在捕获广角图像202时，广角图像202的视野对应于广角镜头相机的视野。长焦图像204和广角图像202基本上被同时捕获。长焦图像204的视野在广角图像202的视野内的定位受到长焦镜头相机和广角镜头相机的定位的影响。改变广角镜头相机与长焦镜头相机之间的高度、角度或设定距离中的任何一个将改变视野的相对位置。因为长焦图像204和广角图像202由两种不同类型的镜头捕获，所以不能实现像素的一对一相关性。为了将长焦图像204映射到广角图像202，对广角图像202和/或长焦图像204执行变换。该变换是用于将广角图像202和长焦图像204重叠的图像处理逻辑。
46.现在转向图3，其描绘了根据说明性实施例的追踪环境中的立体成像系统和对象的图示。追踪环境300是图12的追踪环境1200的示例绘图。对象302和平台304存在于追踪环境300中。立体相机组件307的立体成像系统306连接到平台304。立体相机组件307包括广角
镜头相机308和长焦镜头相机310。
47.广角镜头相机308包括广角镜头和图像传感器。长焦镜头相机310包括长焦镜头和图像传感器。
48.广角镜头相机308被安装在安装结构312上。长焦镜头相机310被安装在安装结构312上。长焦镜头相机310被安装在安装结构312上以使得长焦镜头相机310的视野313被广角镜头相机308的视野315至少部分地包围。在一些说明性示例中，长焦镜头相机310以某一设定距离即距离314远离广角镜头相机308安装在安装结构312上，使得长焦镜头相机310的视野被广角镜头相机308的视野完全包围。在一些说明性示例中，安装结构312被配置为连接到平台304。在一些说明性示例中，安装结构312是平台304的部件。
49.平台304可以采用多种不同的形式。例如，平台304可以是飞行器、飞机、旋翼飞机、无人航空交通工具、微型航空交通工具、轮船、火车、火箭、航天器、静止平台、移动平台、水上平台、空间平台、建筑物或其他适当类型的平台中的一种。
50.在视图301中，对象302与立体相机组件307相隔一定距离316。在该说明性示例中，对于从广角镜头相机308识别广角图像中的对象302来说，距离316太大了。虽然对象302可能存在于广角图像中，但它在广角图像中是不可识别的。例如，对象302在广角图像中的表像(representation)可能具有太少的像素而不能被识别。
51.当存在足够的像素以确定相同的对象即对象302存在于广角图像和长焦图像两者中时，对象302是在图像中可识别的。在一些说明性示例中，在不具有足够像素以将对象302与类似类型的对象区分开的情况下，对象302可以是可识别的。在一些说明性示例中，基于在广角图像和长焦图像两者中的位置和在两个图像中的像素，对象302在这对图像中可以是可识别为同一飞行器。在这些说明性示例中的一些示例中，尽管在两个图像中是可识别的，对象302与同一主体类型的其他飞行器是不可区分的。在一些说明性示例中，当存在足够的像素以识别对象类型的某些视觉特性或特征，对象302可以是使用广角镜头相机308或长焦镜头相机310或两者可识别的。诸如颜色、形状、尺寸等视觉特性或特征可被用于识别对象的类型。
52.距离316使得对象302存在于长焦图像中并且是从长焦镜头相机310可识别的。当对象302存在于图像中并且可识别时，对象302可识别地存在于图像中。
53.在一些说明性示例中，期望平台304保持与对象302相距最小距离。当最小距离合乎期望时，最小距离是依赖于情景的(situation dependent)。例如，可能期望平台304保持与对象302相距最小距离以防止碰撞。可以为了实现任何期望的目标或基于任何指导(例如，用户偏好、制造商规范或其他指导)而设置该最小距离。在这些说明性示例中的一些示例中，当对象302可识别地存在于长焦图像中而非广角图像中时，平台304被确定为至少与对象302相距最小距离。在这些说明性示例中的一些示例中，当对象302可识别地存在于长焦图像中而非广角图像中时，不采取进一步的动作。
54.在一些说明性示例中，当对象302可识别地存在于长焦图像中而非广角图像中时，可能期望将立体相机组件307移动得更靠近对象302。可能期望将立体相机组件307移动得更靠近对象302以便于对象追踪、维持与对象302相距设定的最大距离，或出于其他期望的理由。例如，当期望获得对象302的立体信息时,立体相机组件307可取地沿方向318朝向对象302移动。当期望该对象的对象追踪但是对象302仅是从长焦镜头相机310可识别地存在
于长焦图像中时，立体相机组件307可以可取地沿方向318朝向对象302移动。
55.在该说明性示例中，立体相机组件307可取地沿方向318朝向对象302移动。在一些说明性示例中，使用立体相机组件307的移动系统来移动立体相机组件307，使得独立于平台304移动立体相机组件307。在一些说明性示例中，平台304的移动系统被用于使立体相机组件307在方向318上随平台304一起移动。在一些说明性示例中，平台304是交通工具，并且通过交通工具的移动系统在方向318上移动立体相机组件307。当对象302可识别地存在于长焦图像中但是没有可识别地存在于广角图像中时，对象302在长焦图像中的位置被用于确定方向318。
56.现在转向图4，其描绘了根据说明性实施例的在追踪环境中的立体成像系统和对象的图示。视图400是其中对象302在方位402处的视图。当对象302在方位402处时，对象302在广角镜头相机308的视野315内并且是从广角镜头相机308可识别地存在于广角图像中。在方位402处的对象302不在长焦镜头相机310的视野313内并且不是从长焦镜头相机310可识别地存在于长焦图像中。
57.当对象302可识别地存在于广角图像中而不是长焦图像中时，朝向对象302旋转立体相机组件307。该旋转可以是围绕任何期望的轴线。例如，立体相机组件307的旋转可以是围绕俯仰轴线、滚转轴线或偏航轴线中的至少一个。在视图400中，通过在方向404上移动立体相机组件307来朝向对象302旋转立体相机组件307。
58.在一些说明性示例中，通过使用立体相机组件307的移动系统移动立体相机组件307来朝向对象302旋转立体相机组件307。当使用立体相机组件307的移动系统移动立体相机组件307时，独立于平台304移动立体相机组件307。在一些说明性示例中，平台304的移动系统被用于使立体相机组件307在方向404上随平台304一起移动。在一些说明性示例中，平台304是交通工具，并且通过交通工具的移动系统在方向404上移动立体相机组件307。当对象302可识别地存在于广角图像中而非长焦图像中，对象302在广角图像中的位置被用于确定方向404。
59.现在转向图5，其描绘了根据说明性实施例的在追踪环境中的立体成像系统和对象的图示。视图500是其中对象302在方位502处的视图。
60.当对象302在方位502处时，对象302在长焦镜头相机310的视野313内并且可识别地存在于由长焦镜头相机310捕获的长焦图像中。当对象302在方位502处时，对象302也在广角镜头相机308的视野315内并且可识别地存在于由广角镜头相机308捕获的广角图像中。当对象302可识别地存在于长焦图像和广角图像两者中时，可以从长焦图像和广角图像确定用于计算对象302的三维坐标的立体信息。当对象302可识别地存在于长焦图像和广角图像两者中时，例如当对象在方位502处时，可以利用来自立体相机组件307的长焦图像和广角图像执行对象追踪。
61.可以利用任何期望的方法来执行对象302的对象追踪。在一些说明性示例中，利用图9的过程900来执行对象302的对象追踪。在一些说明性示例中，利用图11的过程1100来执行对象302的对象追踪。在一些说明性示例中，利用图12的对象追踪系统1204来执行对象302的对象追踪。在一些说明性示例中，利用图15的对象追踪系统1204来执行对象302的对象追踪。在一些说明性示例中，利用图14的追踪状态机1400来执行对象302的对象追踪。
62.现在转向图6，其描绘了根据说明性实施例的基于广角图像和长焦图像的动作的
流程图的图示。流程图600可以由图12的立体相机组件1203实施。流程图600可以利用图2的立体图像200。流程图600可以使用图3-图5的立体相机组件307来实施并且可以利用来自图3-图5的立体成像系统306的立体图像。可以使用图7的立体成像系统有效载荷706在追踪环境700中实施流程图600。可以在包括图12和图15的计算机系统1206中的对象追踪器1208的对象追踪系统1204中实施流程图600。流程图600的一些部分可以在图16的数据处理系统1600中实施。
63.在操作602中接收广角图像。该广角图像由立体相机组件的计算机系统接收。在操作604中，做出关于对象是否可识别地存在于广角图像中的判断。该判断由计算机系统做出。对象可能存在于图像中，但是尺寸可能不够大而不能被识别。当对象可识别地存在时，该对象在图像中是存在的并且是可识别的。
64.在操作606中接收长焦图像。该长焦图像由计算机系统接收。在操作608中，做出关于对象是否可识别地存在于长焦图像中的判断。对象在广角图像或长焦图像中的一个或多个中的可识别存在指示对象相对于创建广角图像和长焦图像的立体相机组件的方位。
65.当在操作604中确定对象可识别地存在时，在操作608中确定同一对象是否可识别地存在于长焦图像中。当在操作604中确定对象可识别地存在于广角图像中并且在操作608中确定其可识别地存在于长焦图像中时，在操作610中为对象确定立体信息。该立体信息包括用于确定对象的三维方位的信息。当操作604和操作608导致在广角图像和长焦图像两者中识别同一对象时，执行操作610。
66.对象的立体信息可以用于确定对象的三维方位。当对象在操作604中被确定为可识别地存在于广角图像中并且在操作608中被确定为可识别地存在于长焦图像中时，可以利用广角图像和长焦图像来执行对象追踪。
67.当对象在操作604中被确定为可识别地存在于广角图像中并且在操作608中被确定为没有可识别地存在于长焦图像中时，对象是在长焦镜头相机的视野之外。当对象在操作604中被确定为可识别地存在于广角图像中并且在操作608中被确定为没有可识别地存在于长焦图像中时，在操作612中朝向对象旋转立体相机组件。该旋转可以是围绕任何期望的轴线。例如，立体相机组件的旋转可以是围绕俯仰轴线、滚转轴线或偏航轴线中的至少一个。
68.在一些说明性示例中，立体相机组件被安装在平台上，并且立体相机组件具有独立于平台枢转立体相机组件的移动系统。在一些说明性示例中，立体相机组件被安装在平台上，并且通过使用平台的移动系统移动该平台来旋转立体相机组件。
69.如果在操作604中对象没有可识别地存在于广角图像中，则在操作608中确定对象是否可识别地存在于长焦图像中。如果对象在操作608中被确定为可识别地存在于长焦图像中但是在操作604中没有被确定为可识别地存在于广角图像中，则在操作614中朝向对象移动立体相机组件。当对象被确定为可识别地存在于长焦图像中而非广角图像中时，立体相机组件离对象太远而不能确定其三维坐标方位。当对象被确定为可识别地存在于长焦图像中而非广角图像中时，对象在长焦图像中的位置被用于朝向对象引导立体相机组件。在操作614中移动立体相机组件可以以任何期望的方式来执行。在一些说明性示例中，立体相机组件被安装在平台上，并且立体相机组件具有独立于平台移动立体相机组件的移动系统。在一些说明性示例中，立体相机组件被安装在平台上，并且通过使用平台的移动系统移
动该平台来移动立体相机组件。
70.如果对象没有可识别地存在于广角图像或长焦图像的任一个中，则在操作616中继续监控。通过分析后续广角图像和长焦图像在操作616中继续监控。
71.在完成操作610、操作612、操作614或操作616中的任一个之后，流程图600返回到开始。流程图600被重复执行以定位立体相机组件并执行对象追踪。在一些说明性示例中，通过重复执行流程图600，立体相机组件相对于对象被重新定位以使得能够执行对象追踪。在一些说明性示例中，通过重复执行流程图600，执行对象追踪。通过在操作610中接收后续广角图像和长焦图像并且对后续图像执行图像分析来执行对象追踪。
72.现在转向图7，其描绘了根据说明性实施例的追踪环境的示意图。追踪环境700是图12的追踪环境1200的物理实施方式。在一些说明性示例中，追踪环境700是图3-图5的追踪环境300的另一示图。在该说明性示例中，追踪环境700是在其中航空交通工具702追踪移动对象704的环境。在追踪环境700的另一实施方式中，附加于移动对象704或替代移动对象704的其他类型的对象可以被追踪，并且附加于航空交通工具702或替代航空交通工具702的其他平台可被用于执行追踪。
73.如该说明性的非限制示例所描述，航空交通工具702承载立体成像系统有效载荷706。在该说明性示例中，立体成像系统有效载荷706包括广角镜头相机和长焦镜头相机。立体成像系统有效载荷706可以生成立体图形图像。
74.在说明性示例中，对象追踪器708位于航空交通工具702中的数据处理系统中并且利用由立体成像系统有效载荷706生成的数据来追踪移动对象704。
75.如图所示，立体成像系统有效载荷706中的立体相机系统生成图像对。一个图像对是一对图像，例如两个立体图像。图像对中的每个图像通过在立体相机系统中彼此偏移并可能具有相对旋转的两个相机中的一个来创建。
76.在该说明性示例中，立体相机系统包括两种不同的相机。在该说明性示例中，立体成像系统包括广角镜头相机和长焦镜头相机。立体成像系统生成在立体成像系统有效载荷706中的立体相机系统的视野712内的立体图像。立体相机系统的视野712包括广角镜头相机的视野和长焦镜头相机的视野。在一些说明性示例中，广角镜头相机的视野包围长焦镜头相机的视野，并且立体相机系统的视野712是广角镜头相机的视野。
77.在一些说明性示例中，立体成像系统有效载荷706还包括光源/会聚光。在一些说明性示例中，光的类型可以选自任何光谱带，包括可见光、红外光和紫外光。该照明是能够由立体相机系统检测到并且不需要是对人眼可见的波长或波长范围。在该说明性示例中，视野712是能够在任何给定时刻被捕获到图像中的追踪环境700的范围。
78.在该说明性示例中，对象追踪器708检测立体图像内的移动对象704并且为这两个立体图像中的移动对象704确定边界框。
79.基于该边界框，对象追踪器708也确定感兴趣区域并基于感兴趣区域向立体图像施加掩模以形成掩蔽图像。对象追踪器708识别掩蔽图像之间的一个或多个。这些公共像素被用于确定移动对象704的三维方位。
80.此外，对象追踪器708可以利用移动对象704的三维方位和移动对象704的先前三维方位来预测移动对象704的后续三维方位。移动对象704的路径也可以由对象追踪器708来确定。
81.当接收到包含后续的多对图像的后续图像对时，可以在不需要对立体图像执行对象检测并创建边界框的情况下确定感兴趣区域。借助于后续图像对，对象追踪器708可以基于先前感兴趣区域和移动对象704的预测的后续三维方位来确定新的感兴趣区域。因此，对于后续图像对可以省略执行检测并生成边界框所需的时间和处理资源。
82.如果在后续图像对的感兴趣区域中不能为移动对象704识别公共像素，则可以执行通过在后续图像对中生成边界框来检测移动对象704的过程。也可以执行通过在后续图像对中生成边界框来进行检测以证实所识别的公共像素确实属于移动对象704。
83.借助于追踪移动对象704的能力，可以执行多个不同的动作。例如，通过锁定移动对象704的方位和后续三维方位，对象追踪器708可以操作立体成像系统有效载荷706继续将光源引导到移动对象704处以照亮移动对象704。
84.作为另一示例，航空交通工具702和移动对象704可以是成群的航空交通工具的一部分，这些航空交通工具进行协调机动飞行，例如呈现为紧密队形并能够改变队形形状以用于艺术显示或灯光秀。借助于确定方位和追踪移动的能力，可以通过航空交通工具702和移动对象704的协调飞行来实现更紧密且更精确的队形。另外，可以使用这一信息以及其他动作来告知碰撞规避。例如，可以由航空交通工具702中的飞行控制系统使用移动对象704的所确定方位来改变航空交通工具702的飞行路径。
85.图7中的追踪环境700的图示被提供作为在其中能够根据说明性实施例执行追踪的一种实施方式的示例。该图示并不意味着限制可实施其他示例的方式。例如，可能在航空交通工具702和移动对象704之外还存在一个或多个航空交通工具。这些附加的航空交通工具可以由航空交通工具702追踪。可替代地，其他航空交通工具也可以在成群飞行以执行协调机动时追踪移动对象704。
86.现在转向图8，其描绘了根据说明性实施例的用于对象追踪的过程的流程图的图示。图8的过程800可以在硬件、软件或两者中实现。当以软件实现时，该过程可以采用程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行。例如，过程800可以在包括图12和图15的计算机系统1206中的对象追踪器1208的对象追踪系统1204中实现。过程800的一些部分可以在图16的数据处理系统1600中实现。过程800可以利用图1的立体成像系统100来实现。可以在图8的过程800期间拍摄图2的立体图像200。过程800可以利用图3-图5的立体相机组件307来实现。过程800可以在追踪环境700中利用图7的立体成像系统有效载荷706来实现。
87.过程800利用立体相机组件的广角镜头相机拍摄广角图像并且利用立体相机组件的长焦镜头相机拍摄长焦图像，其中长焦镜头相机被安装在安装结构上，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围(操作802)。在一些说明性示例中，在操作802中，这些图像被同时或基本上同时拍摄。在一些说明性示例中，长焦镜头相机被安装在安装结构上，使得长焦镜头相机的视野被广角镜头相机的视野完全包围。
88.计算机系统接收广角图像和长焦图像(操作804)。计算机系统对广角图像和长焦图像执行变换以将长焦图像映射到广角图像(操作806)。该映射考虑到镜头的定位和不同的视野。在一些说明性示例中，该映射还可以考虑到两种不同焦距的镜头之间的光学失真的差异。在一个示例中，在操作806之后，过程800可以终止。
89.在过程800的一些说明性示例中，计算机系统识别长焦图像或广角图像中的一个
中的对象(操作808)。在过程800的一些说明性示例中，计算机系统确定该对象是否可识别地存在于长焦图像或广角图像中的另一个中(操作810)。
90.在一些说明性示例中，识别长焦图像或广角图像中的一个中的对象包括识别长焦图像中的对象。在这些说明性示例中的一些示例中，过程800响应于确定对象没有可识别地存在于广角图像中而朝向对象移动立体相机组件(操作812)。
91.在一些说明性示例中，识别长焦图像或广角图像中的一个中的对象包括识别广角图像中的对象。在这些说明性示例中的一些示例中，过程800响应于确定对象没有可识别地存在于长焦图像中而朝向对象旋转立体相机组件(操作814)。该旋转可以是围绕任何期望的轴线。例如，立体相机组件的旋转可以是围绕俯仰轴线、滚转轴线或偏航轴线中的至少一个。
92.在一些说明性示例中，识别长焦图像或广角图像中的一个中的对象包括识别长焦图像中的对象，其中该对象被确定为可识别地存在于广角图像中。在这些说明性示例中的一些示例中，过程800响应于确定对象可识别地存在于广角图像中而利用长焦图像和广角图像两者确定对象的三维位置(操作816)。
93.当在操作816中利用长焦图像和广角图像两者确定对象的三维位置之后，可以利用后续图像来追踪该对象。例如，可以在操作816之后执行操作818至操作822以利用图像的后续对来追踪该对象。
94.在一些说明性示例中，过程800利用立体相机组件的广角镜头相机拍摄第二广角图像并且利用立体相机组件的长焦镜头相机拍摄第二长焦图像(操作818)。在一些说明性示例中，过程800由计算机系统接收第二广角图像和第二长焦图像(操作820)。在一些说明性示例中，过程800使用第二长焦图像、第二广角图像以及利用长焦图像和广角图像确定的对象的三维位置来追踪对象(操作822)。
95.接下来转向图9，其描绘了根据说明性实施例的用于追踪对象的过程的流程图的图示。图9的过程可以在硬件、软件或两者中实现。当以软件实现时，该过程可以采用程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行。例如，该过程可以在图12和图15的计算机系统1206中的对象追踪器1208中实现。
96.该过程开始于接收对象的图像对(操作901)。在操作901中，图像对包括由立体成像系统生成的两个立体图像。该过程确定用于立体图像中的对象的边界框(操作902)。
97.该过程基于用于立体图像中的对象的边界框来确定立体图像中的感兴趣区域(操作904)。该过程基于感兴趣区域向立体图像施加掩模(操作906)。在操作906中，掩模掩蔽掉立体图像在感兴趣区域之外的部分以形成掩蔽图像。
98.该过程在掩蔽图像上执行强度均匀化以检测掩蔽图像中具有最大强度的一组像素(操作908)。操作908中的掩蔽图像中的该组像素是掩蔽图像中的一组公共像素，其中该组公共像素被假定为在掩蔽图像两者中具有相同位置。该过程利用该组公共像素来确定对象的三维方位(操作910)。该过程随后终止。
99.在一些说明性示例中，可以在过程900中执行附加操作。在一些说明性示例中，可以在过程900期间执行过程800的一些操作。例如，可以在操作901与操作902之间执行操作806、操作808和操作810。作为另一示例，操作901可以是操作804或操作820。作为又一个示
例，可以在执行操作901之前执行操作812或操作814。
100.接下来转向图10，其描绘了根据说明性实施例的用于预测对象的后续三维方位的过程的流程图的图示。图10的过程在硬件、软件或两者中实现。当以软件实现时，该过程可以采用程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行。例如，该过程可以在图12的计算机系统1206中的对象追踪器1208中实现。
101.该过程开始于确定对象的三维方位(操作1001)。在该说明性示例中，可以利用图9的流程图中的操作来确定对象的三维方位。
102.该过程利用对象的三维方位和对象的一组先前三维方位t来预测对象的后续三维方位和轨迹(操作1002)。该过程随后终止。
103.现在参照图11，其描绘了根据说明性实施例的用于预测对象的后续三维方位的过程的流程图的图示。图11的过程可以在硬件、软件或两者中实现。当以软件实现时，该过程可以采用程序代码的形式，该程序代码由位于一个或多个计算机系统中的一个或多个硬件设备中的一个或多个处理器单元运行。例如，该过程可以在图12的计算机系统1206中的对象追踪器1208中实现。
104.该过程可以在接收到后续图像对时使用并且可以在图9的操作910完成之后开始。图11中的图示过程省略了对象检测和边界框生成，导致提高对象的三维方位可被确定的速度或减少用于确定对象的三维方位的处理器资源的使用中的至少一个。
105.该过程开始于接收后续图像对(操作1101)。在操作1101中，后续图像对包括由立体成像系统生成的后续立体图像。该过程基于先前感兴趣区域和后续立体图像中的对象的预测后续三维方位来确定后续立体图像中的感兴趣区域(操作1102)。
106.该过程基于感兴趣区域向后续立体图像施加掩模(操作1104)。操作1104中的掩模掩蔽掉后续立体图像在感兴趣区域之外的部分以形成后续掩蔽图像。
107.该过程在后续掩蔽图像上执行强度均匀化以检测后续掩蔽图像中具有最大强度的一组像素(操作1106)。操作1106中的后续掩蔽图像中的该组像素是后续掩蔽图像中的一组公共像素，该组公共像素被假定为具有相同位置。该过程利用在后续掩蔽图像中识别的一组公共像素来确定对象的三维方位(操作1108)。该过程随后终止。
108.在一些说明性示例中，可以在过程900中执行附加操作。在一些说明性示例中，可以在过程900期间执行过程800的一些操作。例如，可以在操作901与操作902之间执行操作806、操作808和操作810。
109.在一些说明性示例中，在操作822期间执行过程900的操作902至操作910。过程900利用强度均匀化执行对象追踪。
110.在一些说明性示例中，以其他期望的方式执行过程800中的对象追踪。在一些说明性示例中，通过图像辨识或其他期望的过程来完成过程800中的对象追踪。
111.所描绘的不同示例中的流程图和框图示出了说明性示例中的装置和方法的一些可能实施方式的架构、功能和操作。就此而言，流程图或框图中的每个块可以表示模块、区段、功能或者操作或步骤的一部分中的至少一个。例如，一个或多个块可以实现为程序代码、硬件或程序代码与硬件的组合。当以硬件实现时，该硬件可以例如采用集成电路的形式，这些集成电路被制造或配置为执行流程图或框图中的一个或多个操作。当实现为程序
代码和硬件的组合时，该实施方式可以采用固件的形式。流程图或框图中的每个块可以使用专用硬件系统来实现，这些专用硬件系统执行专用硬件和由专用硬件运行的程序代码的不同操作或组合。
112.在说明性示例的一些替代实施方式中，在框中标注的一个或多个功能可以不按图中标注的顺序发生。例如，在一些情况下，连续显示的两个块可以基本上同时执行，或者这些块有时可以以相反的顺序执行，这取决于所涉及的功能。此外，除了在流程图或框图中示出的块之外，可以添加其他块。某些块可能是可选的。例如，操作808至操作822可以是可选的。
113.现在转向图12，其描绘了根据说明性实施例的追踪环境的框图的图示。追踪环境1200是可以在其中追踪对象1202的环境。对象1202和立体相机组件1203存在于追踪环境1200中。
114.对象1202是能够由对象追踪系统1204追踪的物理真实世界对象。对象1202可以采用多种不同形式。例如，对象1202可以是移动对象、静止对象、航空交通工具、飞行器、飞机、旋翼飞机、无人航空交通工具、微型航空交通工具、火箭、航天器、地面交通工具、无人地面交通工具、火车、水面船舶、公共汽车、半挂卡车、高迁移率多用途有轮交通工具和其他类型的对象中的一种。
115.在该说明性示例中，对象追踪系统1204包括计算机系统1206、对象追踪器1208和立体成像系统1210。对象追踪器1208位于计算机系统1206中。
116.如图所示，对象追踪系统1204连接到平台1212。平台1212可以采用多种不同的形式。例如，平台1212可以是飞行器、飞机、旋翼飞机、无人航空交通工具、微型航空交通工具、轮船、火车、火箭、航天器、卫星、静止平台、移动平台、水上平台、空间平台、建筑物或其他适当类型的平台中的一种。
117.当一个部件被“连接到”另一部件时，该连接是物理相关联。例如，第一部件可以通过被固定到第二部件、粘合到第二部件、安装到第二部件、焊接到第二部件、紧固到第二部件或以某种其他合适的方式连接到第二部件中的至少一种而被视为物理连接到第二部件。第一部件也可以利用第三部件连接到第二部件。第一部件也可以通过形成为第二部件的一部分、形成为第二部件的延伸部或两者而被视为物理连接到第二部件。
118.在该说明性示例中，对象追踪器1208可以被实现为软件、硬件、固件或其组合。当使用软件时，由对象追踪器1208执行的操作可以被实现为程序代码，该程序代码被配置为在诸如处理器单元的硬件上允许。当使用固件时，由对象追踪器1208执行的操作可以被实现为程序代码和数据，并且被存储在持久性存储器中以在处理器单元上运行。当采用硬件时，该硬件可以包括进行操作以执行对象追踪器1208中的操作的电路。
119.在说明性示例中，硬件可以采用选自以下各项中的至少一种的形式：电路将执行的系统(circuit will do system)、集成电路、专用集成电路(asic)、可编程逻辑器件或配置为执行若干操作的某种其他合适类型的硬件。对于可编程逻辑器件，该器件可以被配置为执行若干操作。该器件可以稍后被重新配置或者可以被永久配置为执行若干操作。可编程逻辑器件包括例如可编程逻辑阵列、可编程阵列逻辑、现场可编程逻辑阵列、现场可编程门阵列和其他合适的硬件设备。此外，这些过程可以在有机成分与无机成分结合的情况下实施，并且可以完全由有机物(不包括人类)组成。例如，这些过程可以被实现为有机半导体
中的电路。
120.计算机系统1206是物理硬件系统并且包括一个或多个数据处理系统。当多于一个数据处理系统存在于计算机系统1206中时，这些数据处理系统利用通信媒介彼此进行通信。该通信媒介可以是网络。数据处理系统可以选自计算机、服务器计算机、平板计算机或某种其他合适的数据处理系统中的至少一种。
121.如本文所用，短语“其中至少一个”在与项目列表一起使用时意味着可以使用所列项目中的一个或多个的不同组合，并且可能仅需要列表中的每个项目中的一个。换言之，“其中至少一个”意味着可以使用列表中的项目和项目数量的任意组合，但并非需要列表中的所有项目。该项目可以是特定的对象、事物或类别。
122.例如但非限制性地，“项目a、项目b或项目c中的至少一个”可以包括项目a、项目a和项目b，或者项目b。该示例还可以包括项目a、项目b和项目c，或者项目b和项目c。当然，可以存在这些项目的任何组合。在一些说明性示例中，“其中至少一个”可以是例如但不限于：两个项目a；一个项目b；以及十个项目c；四个项目b和7个项目c；或其他合适的组合。
123.如本文所用，“若干”在用于指代项目时意味着一个或多个项目。
124.在该说明性示例中，立体成像系统1210是与对象追踪器1208进行通信的硬件系统。立体成像系统1210包括两个相机。两个相机彼此偏移并且生成立体图像1214。立体图像1214也可以被称为图像对1216。
125.立体图像1214包括广角图像1218和长焦图像1220。立体图像1214由立体成像系统1210中的两个相机生成。广角图像1218由立体成像系统1210的广角镜头相机1222捕获。长焦图像1220由立体成像系统1210的长焦镜头相机1224捕获，
126.广角镜头相机1222被安装在安装结构1226上。长焦镜头相机1224被安装在安装结构1226上。长焦镜头相机1224被安装在安装结构1226上，以使得长焦镜头相机1224的视野1232被广角镜头相机1222的视野1230至少部分地包围。在一些说明性示例中，长焦镜头相机1224被安装在安装结构1226上与广角镜头相机相距设定距离1228，以使得长焦镜头相机1224的视野1232被广角镜头相机1222的视野1230完全包围。
127.广角镜头相机1222包括广角镜头1231和图像传感器。长焦镜头相机1224包括长焦镜头1233和图像传感器。广角镜头相机1222的视野1230受到广角镜头1231的影响。将广角镜头1231与具有不同规格的镜头交换将改变视野1230。视野1232受到长焦镜头1233的影响。将长焦镜头1233与具有不同规格的镜头交换将改变视野1232。
128.广角镜头相机1222以高度1234和角度1236安装在安装结构1226上。长焦镜头相机1224以高度1238和角度1240安装在安装结构1226上。高度1234、角度1236、高度1238和角度1240中的每一个被选择为使得长焦镜头相机1224的视野1232被广角镜头相机1222的视野1230至少部分地包围。在一些说明性示例中，高度1234、角度1236、高度1238和角度1240中的每一个被选择为使得长焦镜头相机1224的视野1232被广角镜头相机1222的视野1230完全包围。
129.在一些说明性示例中，广角镜头相机1222和长焦镜头相机1224被安装在安装结构1226的相同高度处。在这些说明性示例中，高度1234和高度1238是基本相同的。在一些说明性示例中，通过将广角镜头相机1222和长焦镜头相机1224安装在安装结构1226的相同高度处，用于图像分析的处理资源被减少。
130.在一些说明性示例中，广角镜头相机1222和长焦镜头相机1224相对于安装结构1226被安装在相同角度处。在这些说明性示例中，角度1236和角度1240是基本相同的。在一些说明性示例中，通过将广角镜头相机1222和长焦镜头相机1224相对于安装结构1226安装在相同角度处，用于图像分析的处理资源被减少。
131.本文所用的术语“大约”、“约”和“基本上”表示接近于所述量但仍执行期望的功能或实现期望的结果的量。例如，术语“大约”、“约”和“基本上”可以指小于10％、小于5％、小于1％、小于0.1％以及小于0.01％的所述量的量。
132.在一些说明性示例中，安装结构1226被配置为连接到平台1212。在这些说明性示例中，安装结构1226与平台1212分离但是可以连接到平台1212。在这些说明性示例的一些示例中，安装结构1226是立体成像系统1210的部件。在一些说明性示例中，立体成像系统1210被安装在平台1212上。在其他说明性示例中，安装结构1226是平台1212的部件。在这些说明性示例中，安装结构1226可以独立于立体成像系统1210的存在而存在于平台1212中。
133.广角镜头相机1222和长焦镜头相机1224是两种不同类型的镜头。例如，广角镜头相机1222可以具有球形畸变。在没有进一步分析的情况下不能做出直接的像素到像素关联。对广角图像1218和长焦图像1220执行变换1242以将长焦图像1220映射到广角图像1218。
134.如图所示，对象追踪器1208被配置为在追踪对象1202时执行若干不同的操作。例如，对象追踪系统1204被配置为在追踪环境1200内重新定位立体成像系统1210以追踪对象1202。在一些说明性示例中，响应于对象1202仅可识别地存在于图像对1216中的一个图像内，对象追踪系统1204在追踪环境1200内重新定位立体成像系统1210。
135.当对象1202可识别地存在于一个图像中时，该对象在图像被拍摄时存在于拍摄图像的镜头的视野中。当对象1202可识别地存在于广角图像1218中时，对象1202在广角图像1218被拍摄时处于广角镜头相机1222的视野1230中。当对象1202可识别地存在于长焦图像1220中时，对象1202在长焦图像1220被拍摄时处于长焦镜头相机1224的视野1232中。
136.当对象1202不仅存在而且足够大以在图像内被识别时，对象1202可识别地存在于该图像内。当对象1202可识别地存在于广角图像1218中而非长焦图像1220中时，对象1202被定位在长焦镜头相机1224的视野1232之外。当对象1202可识别地存在于广角图像1218中而非长焦图像1220中时，对象1202位于长焦镜头相机1224的视野1232的上方、下方或侧面中的一者。在一个说明性示例中，当对象1202可识别地存在于广角图像1218中而非长焦图像1220中时，使立体相机组件1203朝向对象1202旋转。通过朝向对象1202旋转1244，对象1202合乎期望地位于广角镜头相机1222的视野1230和长焦镜头相机1224的视野1232两者内。
137.该旋转可以是围绕任何期望的轴线。例如，立体相机组件1203的旋转可以是围绕俯仰轴线、滚转轴线或偏航轴线中的至少一个。
138.在一些说明性示例中，响应于对象1202可识别地存在于广角图像1218中而非长焦图像1220中，计算机系统1206发送用于立体相机组件1203的旋转1244的命令。在一些说明性示例中，通过使用立体相机组件1203的移动系统1246移动立体相机组件1203来使立体相机组件1203朝向对象1202旋转。当使用立体相机组件1203的移动系统1246移动立体相机组件1203时，立体相机组件1203独立于平台1212移动。在一些说明性示例中，平台1212的移动
系统1248被用于使立体相机组件1203与平台1212一起移动。在一些说明性示例中，平台1212是交通工具，并且通过使用移动系统1248控制交通工具来移动立体相机组件1203。
139.在一些说明性示例中，响应于对象1202可识别地存在于长焦图像1220中而非广角图像1218中，计算机系统1206发送用于立体相机组件1203的移动1250的命令。在一个说明性示例中，当对象1202可识别地存在于长焦图像1220中而非广角图像1218中时，朝向对象1202移动立体相机组件1203。当对象1202可识别地存在于长焦图像1220中而非广角图像1218中时，通过朝向对象1202移动1250立体相机组件1203来减少立体成像系统1210与对象1202之间的距离1252。通过减少立体成像系统1210与对象1202之间的距离1252，最终可以执行对象1202的对象追踪。当对象1202可识别地存在于长焦图像1220和广角图像1218两者中，可以由对象追踪器1208执行对象追踪。
140.对象追踪器1208使用立体图像1214来确定对象1202的三维方位1254。在说明性示例中，三维方位1254可以是对象1202在三维空间中的位置并且可以包括对象1202的取向。三维方位1254可以使用三维坐标系的三维坐标来描述。三维坐标系可以是例如笛卡尔坐标系、球坐标系或能够描述三维空间中的位置的某种其他合适类型的坐标系。
141.此外，三维方位1254也可以包括对象1202的取向。换言之，该方位还可以包括对象1202所指向的方向。
142.由对象追踪器1208确定的三维方位1254在初始时可以是相机坐标系中的方位。在相机坐标系中，三维方位1254是对象1202相对于平台1212或对象追踪系统1204的位置。可以通过对在立体图像1214中识别的对象1202执行三角测量来确定三维方位1254。在该说明性示例中，可以使用广角镜头相机1222和长焦镜头相机1224在立体成像系统1210中的方位和变换1242来执行该三角测量。在某一说明性示例中，三维方位1254被维持在相机坐标系的方位。
143.对象追踪器1208可以将对象1202的方位从相机坐标系转换到全球坐标系1256以获得对象1202的三维方位1254。在其他说明性示例中，该转换可以是转换到其他坐标系而非全球坐标系1256。另一坐标系可以是惯性局部坐标系，其中平台1212的重心为该坐标系的原点。
144.在说明性示例中，坐标系是用于参考系的坐标系。例如，相机坐标系利用立体成像系统1210为参考系来描述对象的方位。
145.对象追踪器1208可以继续从立体成像系统1210接收图像对。后续图像对包括由立体成像系统1210生成的后续立体图像。
146.在一些说明性示例中，计算机系统1206执行图像辨识1258以识别对象1202的结构类型。可以对广角图像1218、长焦图像1220或二者的组合执行图像辨识1258。在一些说明性示例中，通过执行图像辨识1258，计算机系统1206可以确定对象1202是否是将要监控的结构类型。例如，通过执行图像辨识1258，可以确定对象1202不应被监控。在一些说明性示例中，如果确定对象1202不应被监控，则响应于对象1202在视野1230或视野1232之外而不使立体相机组件1203相对于对象1202移动。在一些说明性示例中，如果确定对象1202不应被监控，则仍然可以使用关于对象1202的位置的数据来避免平台1212与对象1202的碰撞。
147.在一些说明性示例中，通过执行图像辨识1258，计算机系统1206可以确定对象1202是否是被追踪或监控的具体对象。在一些说明性示例中，通过执行图像辨识1258，计算
机系统1206可以在对象1202与可能存在于立体图像1214中的其他对象之间进行区分。
148.在一些说明性示例中，对象追踪系统1204包括广角镜头相机1222、长焦镜头相机1224、计算机系统1206和移动系统。广角镜头相机1222被安装在安装结构1226上。长焦镜头相机1224被安装在安装结构1226上，使得长焦镜头相机1224的视野1232被广角镜头相机1222的视野1230至少部分地包围。
149.计算机系统1206被配置为从广角镜头相机1222接收广角图像1218，从长焦镜头相机1224接收长焦图像1220，确定对象1202是否可识别地存在于广角图像1218内，确定对象1202是否可识别地存在于长焦图像1220内，以及响应于确定对象1202可识别地存在于长焦图像1220或广角图像1218的仅一个中而生成命令以移动安装结构1226。移动系统被配置为响应于接收到来自计算机系统1206的命令而移动安装结构1226。移动系统可以采用移动系统1246或移动系统1248的形式。这些命令被配置为朝向对象操控广角镜头相机1222和长焦镜头相机1224。
150.在一个说明性示例中，存在一种或多种技术方案，其克服了以期望的准确度水平和更大的观察面积追踪对象的技术问题。因此，一种或多种技术方案可以提供增大可使用立体图像追踪对象的面积的技术效果。此外，一个或多个说明性示例提供了可以移动立体相机组件以允许能够进行追踪的技术方案。此外，一个或多个说明性示例提供了可以以提供对象的实时追踪的速率执行三角测量的技术方案。
151.图12和图15中的追踪环境1200的图示并不意味着暗示对可实现说明性实施例的方式的物理或架构限制。可以使用附加于或替代图示部件的其他部件。一些部件可能是不必需的。而且，这些块被展示以图示说明一些功能部件。当在说明性实施例中实现时，这些块中的一个或多个可以被组合、划分或者组合并划分成不同的块。
152.例如，在一些说明性示例中，对象追踪系统1204的一个或多个部件可以不连接到平台1212。在一个说明性示例中，对象追踪器1208可以与平台1212位于不同的位置。在该实施方式中，具有对象追踪器1208的计算机系统1206可以通过无线连接从立体成像系统1210接收图像对。在其他说明性示例中，对象追踪器1208可以被分配在不同的位置处。
153.在另一个示例中，附加于或替换预测对象1202的轨迹1532(参见图15)，对象追踪器1208可以做出其他预测。例如，对象追踪器1208可以预测关于对象1202的未来速度、加速度或其他信息。
154.此外，当所有对象追踪系统1204都被连接到平台1212时，计算机系统1206是平台1212中的一个或多个数据处理系统。例如，当平台1212是商用飞机时，计算机系统1206可以是飞行器中的计算机网络中的一个或多个数据处理系统。当平台1212是微型航空交通工具时，计算机系统1206可以是微型航空交通工具中的处理器或控制器。在其他说明性示例中，对象追踪系统1204可以被分配在平台1212与其他位置之间。例如，当平台1212是微型航空交通工具时，立体成像系统1210可以被连接到平台1212。对象追踪器1208可以在使用无线通信与微型航空交通工具进行通信的远程位置处。
155.在另一个说明性实例中，立体成像系统1210可以是诸如图7的立体成像系统有效载荷706的有效载荷的一部分。
156.现在参照图13，其描绘了根据说明性实施例的飞行器及其部件的框图的图示。在该说明性示例中，飞行器1301是图12的平台1212的一种实施方式的示例。飞行器1301可以
是例如图7的航空交通工具702。
157.在该说明性示例中，飞行器1301包括机身框架1303、电子设备1300、移动系统1305和操纵机构1304。机身框架1303是用于飞行器1301的机械结构。机身框架1303可以包括例如机身、底架、机翼、起落架和其他物理结构。在该说明性示例中，机身框架1303承载电子设备1300、移动系统1305和操纵机构1304。
158.如图所示，电子设备1300包括有效载荷1302、电源1336、通信系统1338和飞行控制系统1306。在该描绘的示例中，有效载荷1302包括承载诸如图12的立体成像系统1210的部件的框架或壳体。
159.虽然图13中示出了部件的特定布置，但是在其他说明性示例中部件的布置可以变化。例如，有效载荷1302可以位于从飞行器1301上可移除的一个或多个壳体内。可替代地，有效载荷1302中的部件可以被集成到飞行器1301中，而不是被放置在附接到飞行器1301的壳体中或者放置在飞行器1301中。
160.此外，有效载荷1302、飞行控制系统1306或通信系统1338中的至少一个可以共享部件，例如存储器、传感器、处理器或控制器。另外，有效载荷1302可以可移除地耦接到飞行器1301，或者在该模块中的部件可以以任何期望的方式集成到飞行器1301的机身框架1303中。因此，各种部件的布置可以由设计者或操作者根据需要进行配置，并且因此不应被局限于本文描述和示出的特定示例。
161.在该说明性示例中，用于有效载荷1302的模块化壳体可以由塑料、金属、木材、碳纤维、复合材料、陶瓷或适用于特定交通工具或交通工具类型的任何材料构造成。该模块化壳体可以是可拆卸的或可弹出的，或者它可以永久地耦接到交通工具。该模块化壳体可以以本领域技术人员所知的任何方式附接到飞行器1301。该模块化壳体可以包括用于诸如图12的立体成像系统1210之类的设备的开口。在一些说明性示例中，图12的计算机系统1206还可以位于有效载荷1302中或者可以位于飞行控制系统1306中或者有效载荷1302内的某种其他合适的部件中。
162.虽然该示例将这些部件示出为位于有效载荷1302的壳体中，但该图示旨在说明可以实现这些部件的一种方式。该图示并不意味着限制可以实现其他说明性示例的方式。例如，在其他说明性示例中，这些部件可以分布在其他位置或者集成为飞行器1301的一部分。
163.在该说明性示例中，操纵机构1304可以被配置为在飞行路径上操纵飞行器1301以到达目标。操纵机构1304可以被自主操作或者在人工控制下操作。在该说明性示例中，操纵机构1304对来自飞行控制系统1306中的控制器1318的信号做出响应，其可以采用反馈或其他控制系统沿着飞行路径引导飞行器1301。
164.如图所示，通信系统1338是物理设备并且可以是例如无线收发器和天线。通信系统1338可以与远程计算机系统交换信息。通信系统1338可以将由有效载荷1302生成的信息发送到远程位置以便处理或存储。例如，通信系统1338可以发送图像或其他数据到地面位置或其他飞行器。
165.在该说明性示例中，飞行控制系统1306可以基于从导航系统的部件接收的信号确定飞行器1301到达期望位置的一个或多个飞行路径。飞行控制系统1306可以计算、生成并向操纵机构1304发送导航命令(例如数据信号)以沿着飞行路径引导飞行器1301。
166.在该说明性示例中，飞行控制系统1306包括操纵系统1308、地图系统1310、全球定
位系统(gps)接收器1312、处理器1314、陀螺仪1316、控制器1318、加速度计1320和存储器1330。飞行控制系统1306还可以包括上面描述的作为电子设备1300的一部分的部件以及其他传感器1332。例如，其他传感器1332还可以包括其他飞行仪器、传感器、处理电路系统、通信电路系统、包括相机的光学系统以及对无人航空系统或其他自主或手动驾驶的飞行器的操作来说有必要或有利的其他传感器。
167.如图所示，地图系统1310可以是提供关于区域内的自然或人造特征的定位信息的基于地图的飞行控制系统的一部分。地图系统1310可以与飞行控制系统1306中的其他部件进行通信以支持飞行器1301的导航。虽然该功能可以包括提供用于路径计算的地图信息，但是该功能也可以包括独立的导航能力。
168.例如，地图系统1310可以提供存储包含一个或多个对象的运行环境的地图的基于地图的导航系统。该基于地图的导航系统可以耦接到相机并且配置为通过比较所存储对象与可视环境来确定交通工具的方位，其可以在缺少全球定位系统数据或其他定位信息的情况下提供方位数据。
169.在该示例中，全球定位系统(gps)接收器1312是物理系统并且可以是配置为确定飞行器1301的方位的全球定位系统的一部分。全球定位系统(gps)接收器1312可以包括任何当前使用的全球定位系统硬件，包括常规的基于卫星的系统以及使用信标、方位信号和/或其他定位信息源的其他系统。
170.如图所示，陀螺仪1316是被配置为检测飞行器1301的旋转的物理设备。陀螺仪1316可以与飞行控制系统1306中的其他部件进行通信以控制飞行器1301的操作并沿着飞行路径对飞行器1301进行导航。陀螺仪1316可以生成识别飞行器1301的取向的信息。
171.在说明性示例中，加速度计1320是被配置为检测飞行器1301的线性运动的物理设备。加速度计1320可以包括当前使用的加速度计并且可以与飞行控制系统1306中的其他部件进行通信以控制飞行器1301的操作并且沿着飞行路径对飞行器1301进行导航。
172.在该说明性示例中，处理器1314是物理设备并且可以与控制器1318、飞行控制系统1306中的其他部件、操纵机构1304、有效载荷1302和可能存在于飞行器1301中的其他各种其他部件、系统和子系统进行通信。处理器1314可以是数据处理系统中(例如，飞行器1301中)的内部处理器，以支持诸如导航功能或图像处理功能之类的各种功能。处理器1314可以被配置为控制飞行器1301、飞行控制系统1306或有效载荷1302中的至少一个的操作。
173.如图所示，处理器1314可以执行处理和计算功能以支持导航、生成图像或追踪对象中的至少一个。在该说明性示例中，对象追踪器1208可以在处理器1314中运行。处理器1314可以包括进行协作以执行本文描述的步骤的若干不同的处理器，例如，飞行器1301中的内部处理器控制飞行器1301的操作，而分配给有效载荷1302的另一处理器控制以下至少一个：追踪对象或用激光束照亮对象。
174.在一个说明性示例中，处理器1314可以被配置为接收来自成像系统的对象的图像对以及由从有效载荷1302中的激光投射系统发射的激光束照亮的有效载荷1302。处理器1314也可以被配置为确定立体图像中的对象的边界框以及基于立体图像中的对象的边界框确定立体图像中的感兴趣区域。处理器1314可以被配置为基于感兴趣区域向立体图像施加掩模并且在掩蔽图像上执行强度均匀化以检测掩蔽图像中具有最大强度的一组像素。掩蔽图像中的该组像素是掩蔽图像中的一组公共像素，其中该组公共像素被假定为在掩蔽图
像两者中具有相同位置。处理器1314可以被配置为利用一组公共像素来确定对象的三维方位。
175.如图所示，处理器1314可以被配置为使用对象的三维方位和对象的一组先前三维方位来预测对象的后续方位。该后续方位可以被用于引导激光束继续照亮被追踪的对象。
176.控制器1318可以进行操作以控制飞行器1301中的部件，例如，飞行控制系统1306、有效载荷1302、移动系统1305或操纵机构1304。控制器1318与处理器1314、飞行器1301、飞行控制系统1306、有效载荷1302、操纵机构1304以及本文描述的设备和系统的其他各种部件进行通信。控制器1318也可以控制有效载荷1302的操作。这种控制可以附加于或替代关于处理器1314所描述的控制。
177.如图所示，控制器1318可以包括用于控制本文描述的飞行器1301和飞行控制系统1306中的各种部件的任何硬件、软件或其某种组合，包括但不限于微处理器、微控制器、专用集成电路、可编程门阵列和任何其他数字和/或模拟部件以及其组合，连同用于传递控制信号、驱动信号、电力信号、传感器信号和其他合适类型的信号的输入和输出。
178.因此，电子设备1300中的飞行控制系统1306中的处理器1314、控制器1318和其他部件也可以提供信息并控制有效载荷1302的操作。例如，这些部件可以控制有效载荷1302以生成图像并引导激光束的发射。
179.在该说明性示例中，存储器1330是物理设备并且可以包括存储用于飞行控制系统1306的数据记录的本地存储器或远程存储装置，该数据包括但不限于由有效载荷1302生成的图像、取向、速度、飞行路径、操纵规范、全球定位系统坐标、传感器读数以及其他合适的信息。在该示例中，存储在存储器1330中的信息可以由处理器1314或控制器1318中的至少一个访问。
180.图13中的飞行器1301的图示并不意味着暗示对可实现说明性实施例的方式的物理或架构限制。可以使用附加于或替代图示部件的其他部件。一些部件可能是不必需的。而且，这些块被展示以图示说明一些功能部件。当在说明性实施例中实现时，这些块中的一个或多个可以被组合、划分或者组合并划分成不同的块。
181.接下来转向图14，其描绘了根据说明性实施例的用于对象追踪器的追踪状态机的框图的图示。在该说明性示例中，追踪状态机1400是能够在图12的对象追踪器1208中实现的状态机的示例。追踪状态机1400包括搜索状态1402、锁定状态1404和方位识别状态1406。
182.搜索状态1402可以在接收到图像对1410时开始。在该示例中，图像对1410是一对立体图像，例如图12的立体图像1214。图像对1410包括广角图像和长焦图像。在搜索状态1402中，追踪状态机1400对图像对1410执行学习模型检测(操作1412)。在操作1412中分析图像对1410以检测对象的存在。在该描绘的示例中，可以使用诸如图15的人工智能系统1546中的机器学习模型之类的机器学习模型来执行该检测。在说明性示例中，机器学习模型可以采用低速率检测算法，例如深度神经网络。
183.机器学习模型可以被训练以检测一组对象类别。例如，对象类别可以是无人机、微型航空交通工具、鸟类、商用飞机或某种其他合适类型的对象。机器学习模型对图像对1410中的每个图像执行前向传递，以产生可能在每个图像中的一个或多个感兴趣对象的边界框检测。
184.当单个对象可识别地存在于图像对1410的两个图像中时，检测的结果可以是生成
一个包围在图像对1410的两个图像中检测到的对象的边界框。因此，为图像对1410中的每个图像生成边界框。在操作1412中，可以在搜索状态1402中为每个图像生成多个边界框。当单个对象可识别地存在于图像对1410的两个图像中时，检测的结果可以是生成一个包围在图像对1410的两个图像中检测到的对象的边界框。
185.追踪状态机1400过滤边界框(操作1414)。该过滤可以基于对象类别或基于对象在边界框中存在的期望置信度。置信度的阈值可以取决于对象的特定类别。例如，无人机的类别可能具有一个置信度，而鸟类的类别可能具有另一个置信度。结合两者的类别可能需要单独对这些类别中的每一个具有更高的置信度。该过滤也可以基于边界框的大小。
186.一旦执行了过滤，就确定是否获取到对象(操作1416)。在一些说明性示例中，对象是要跟踪的对象。如果过滤之后至少一个边界框保留在图像对1410中，则获取对象。
187.当获取到对象时，追踪状态机1400切换到锁定状态1404。否则，追踪状态机1400保持在搜索状态1402，并且等待另一个图像对进行处理以继续寻找对象。
188.在锁定状态1404中，追踪状态机1400确定感兴趣区域(操作1418)。当追踪状态机1400从搜索状态1402切换到锁定状态1404时，基于为图像对1410确定的边界框确定感兴趣区域。随后，当接收到新的图像对时，追踪状态机1400从方位识别状态1406切换回到锁定状态1404。当追踪状态机1400从方位识别状态1406切换回到锁定状态1404时，可以在追踪状态机1400从方位识别状态1406切换回到锁定状态1404时使用先前感兴趣区域来确定感兴趣区域。
189.在这两种情况下，都可以考虑附加因素。例如，可以考虑诸如图15的运动输入1506之类的运动输入。
190.追踪状态机1400使用感兴趣区域生成掩蔽图像(操作1420)。在操作1420中，为图像对1410中的每个图像生成掩蔽图像。图像对1410中在感兴趣区域之外的部分像素可以变成黑色像素，使得当执行强度均匀化时这些像素不能对强度做出贡献。
191.对于掩蔽图像，追踪状态机1400在掩蔽图像上执行强度均匀化(操作1422)。在操作1422中，追踪状态机1400确定在每个掩蔽图像中具有最大加权平均强度的像素。返回像素的位置以使得在两个掩蔽图像中的每一个中都存在两个位置。这两个像素位置代表掩蔽图像之间的公共像素。这两个像素是针对掩蔽图像中的感兴趣区域中的对象上的同一位置的公共像素。
192.这种高速率检测算法的使用可以以毫秒量级执行。随着成像系统的每秒帧数的增加，对象将保留在感兴趣区域中的概率会增加。
193.做出关于公共像素是否存在于使用强度均匀化处理过的掩蔽图像之间的判断(操作1424)。
194.当掩蔽图像之间存在公共像素时，追踪状态机1400切换到方位识别状态1406。可以通过多种方式来确定对掩蔽图像中是否存在公共像素的判断。例如，最小强度的阈值可以用于在强度值低于阈值时将公共像素分类为未找到。
195.当存在公共像素时，对象被视为将被获取。否则，对象丢失并且不再被获取，其中追踪状态机1400返回到搜索状态1402。
196.在方位识别状态1406中，追踪状态机1400使用公共像素执行三角测量(操作1426)。在操作1426中，使用在掩蔽图像中检测的公共像素来执行三角测量。给定图像中的
像素位置(u,v)，可以创建对象在相机坐标系(x,y,z)中的三维方位。相机坐标系的方位可以被转换到北东地(ned)坐标系，其中交通工具位于该ned坐标系的原点处。可以使用已知技术将对象位置转换到全球坐标系。
197.追踪状态机1400预测对象的后续位置(操作1428)。在该说明性示例中，可以通过多种方式来形成设定位置。例如，可以使用卡尔曼滤波器来预测对象的后续位置、未来速度、轨迹或某种其他特性中的至少一个。在说明性示例中，运动方程可以用于通过前向预测来解释系统延迟。在其他说明性示例中，可以使用附加于或代替卡尔曼滤波器的其他技术。这些技术可以包括粒子滤波器、二维内插、线性内插或某种其他合适的技术中的至少一种。
198.预测对象的后续位置以及其他信息可以允许扩展检测并增加该过程的吞吐量。换句话说，当不需要返回搜索状态1402时，可以提高追踪对象的处理速度。
199.当没有在感兴趣区域中找到对象中的预测结果时，该过程可以切换回到搜索状态1402。
200.追踪状态机1400利用对象的三维方位执行动作(操作1430)。例如，追踪状态机1400可以控制镜子引导激光束照亮对象。该镜子可以被控制以继续将激光束对准对象。
201.在说明性示例中，当接收到新的图像对时，追踪状态机1400切换回到锁定状态1404。在这种情况下，在操作1418中确定的感兴趣区域使用先前为先前图像对确定的感兴趣区域。
202.因此，追踪状态机1400可以更快地处理图像对而无需返回到搜索状态1402来检测图像中的对象并生成边界框。
203.在说明性示例中，虽然将状态示出为被顺序执行，但该图示并不意味着限制可实现或操作追踪状态机1400的方式。例如，在其他说明性示例中，位置识别状态1406可以与搜索状态1402和锁定状态1404并行运行。
204.现在参照图15，其描绘了根据说明性实施例的追踪环境的框图的图示。在追踪环境1200的视图1500中，图7的追踪环境700是追踪环境1200的一种实施方式。在一些说明性示例中，图15中的追踪环境1200提供了关于由计算机系统1206中的对象追踪器1208执行的操作的附加细节。
205.如图所示，对象追踪器1208被配置为在跟踪对象1202时执行多个不同的操作。对象追踪器1208为立体图像1214中的对象1202确定边界框1502。
206.如图所示，对象追踪器1208基于用于立体图像1214中的对象1202的边界框1502来确定立体图像1214中的感兴趣区域1504。在说明性示例中，还通过使用运动输入1506来确定感兴趣区域1504。运动输入1506可以采用多种不同的形式。例如，运动输入1506可以是平台1212的运动、对象1202的预测运动、用于平台1212的全球定位系统数据、用于平台1212的高度数据、平台1212的运动特征和其他合适的信息中的至少一种。运动特性可以包括对平台1212的运动的限制。例如，当平台1212是飞行器时，飞行器的坡度半径、转弯角度或其他移动特性可以是运动输入。
207.感兴趣区域1504是立体图像1214的一部分。在该说明性示例中，感兴趣区域1504是立体图像1214中对进一步分析感兴趣的部分。
208.在该说明性示例中，感兴趣区域1504可以被选择为包括边界框1502、位于边界框1502中、与边界框1502的一部分重叠，或者被选择为与边界框1502具有某种其他关系。当感
兴趣区域1504包括边界框1502时，感兴趣区域1504可以具有与边界框1502相同的大小和方位。
209.如图所示，对象追踪器1208基于感兴趣区域1504向立体图像1214施加掩模1508。在该说明性示例中，掩模1508掩蔽掉立体图像1214在感兴趣区域1504之外的部分以形成掩蔽图像1510。换句话说，掩模1508可以充当过滤器以仅使感兴趣区域1504内的像素通过。其他部分可以全是黑色、白色或某种其他合适的均匀颜色。
210.在说明性示例中，对象追踪器1208可以在掩蔽图像1510上执行强度均匀化1512以检测在掩蔽图像1510中具有最大强度1516的一组像素1514。强度均匀化1512可以采取多种不同的形式。例如，强度均匀化1512可以选自加权强度均匀化、最大像素值、滑动窗口平均值或其他强度均匀化技术中的至少一种。例如，可以执行强度均匀化1512以找到加权平均强度而不是最大强度。例如，可以为两个图像识别加权平均强度。
211.在其他说明性示例中，强度均匀化1512可以以提高检测精度的方式来执行，而不是寻找最大强度像素。具有足以实时地处理图像的速率的过程。
212.在说明性示例中，可以在不同类型的图像上执行强度均匀化1512。例如，可以在灰度图像或彩色图像中的至少一个上执行强度均匀化1512。
213.在一些说明性示例中，在由立体成像系统1210生成图像对1216时，当诸如激光束等定向光源照亮对象1202时，可以执行强度均匀化1512。使用定向光源来照亮对象1202可以增加最大像素值集合位于对象1202上的可能性。
214.掩蔽图像1510中的一组像素1514是掩蔽图像1510中的一组公共像素1518，其中该组公共像素1518被假定为在掩蔽图像1510两者中具有相同位置1520。该组公共像素1518是掩蔽图像1510之间的一个或多个公共像素。在说明性示例中，相同位置1520是对象1202上的相同位置。例如，相同位置1520可以是代表对象1202上的特征的像素。该特征可以是例如轮子、整流罩、螺栓或存在于掩蔽图像1510中的对象1202的某种其他合适的特征。对象追踪器1208使用该组公共像素1518来确定对象1202的三维方位1522。在一些说明性示例中，三维方位1522与图12的三维方位1254相同。
215.在说明性示例中，三维方位1522可以是对象1202在三维空间中的位置并且可以包括对象1202的取向。三维方位1522可以使用三维坐标系的三维坐标来描述。该三维坐标系可以是例如笛卡尔坐标系、球坐标系或能够描述三维空间中的位置的某种其他合适类型的坐标系。
216.此外，三维方位1522还可以包括对象1202的取向。换言之，该方位还可以包括对象1202所指向的方向。
217.由对象追踪器1208确定的三维方位1522在初始时可以是相机坐标系1524中的方位。三维方位1522可以通过对掩蔽图像1510中的一组公共像素1518执行三角测量来确定。在该说明性示例中，可以使用立体成像系统1210中的两个相机的方位和该组公共像素1518来执行三角测量。
218.对象追踪器1208可以将对象1202的方位从相机坐标系1524转换到全球坐标系1256以获得对象1202的三维方位1522。在其他说明性示例中，可以是转换到其他坐标系而不是全球坐标系1256。另一坐标系可以是惯性局部坐标系，其中平台1212的重心为该坐标系的原点。
219.在说明性示例中，坐标系是用于参考系的坐标系。例如，相机坐标系1524利用立体成像系统1210为参考系来描述对象的方位。
220.借助三维方位1522，对象追踪器1208还可以利用对象1202的三维方位1522和对象1202的一组先前三维方位1530来预测对象1202的后续三维方位1528。此外，对象追踪器1208可以利用对象1202的三维方位1522和对象1202的一组先前三维方位1530来预测对象1202的后续三维方位1528和轨迹1532。在说明性示例中，轨迹1532是用于对象1202的移动的路径。该路径是对象1202通过空间时所遵循的作为时间的函数的路径。
221.对象1202的后续三维方位1528可以用多种不同的方式来预测。例如，可以通过使用卡尔曼滤波器、粒子滤波器、二维内插、线性内插或用于预测对象的后续三维方位的某种其他合适的已知过程中的至少一种来执行该预测。
222.在该说明性示例中，对象追踪器1208可以随着预测对象1202的后续三维方位1528而执行一组动作1534。例如，对象追踪器1208可以利用对象1202的预测的后续三维方位1542来引导光源照亮对象1202。该组动作1534还可以包括对象跟随、避免碰撞、与对象1202协调移动、对象拦截、对象捕获、其他对象参与或其他合适动作中的至少一个。
223.对象追踪器1208可以继续从立体成像系统1210接收图像对。例如，对象追踪器1208可以接收后续图像对1536。在该示例中，后续图像对1536包括由立体成像系统1210生成的后续立体图像1538。
224.如图所示，对象追踪器1208可以基于先前感兴趣区域1540和对象1202在后续立体图像1538中的预测的后续三维方位1542来确定后续立体图像1538中的感兴趣区域1504。
225.对象追踪器1208可以基于感兴趣区域1504向后续立体图像1538施加掩模1508。如图所示，掩模1508遮蔽掉后续立体图像1538在感兴趣区域1504之外的部分以形成后续掩蔽图像1544。
226.在该说明性示例中，对象追踪器1208可以在后续掩蔽图像1544上执行强度均匀化1512以检测在后续掩蔽图像1544中具有最大强度1516的一组像素1514。后续掩蔽图像1544中的该组像素1514是后续掩蔽图像1544中被假定为具有相同位置1520的一组公共像素1518。对象追踪器1208可以利用在后续掩蔽图像1544中识别的该组公共像素1518来确定对象1202的三维方位1522。因此，随着从立体成像系统1210接收到附加图像对，对象追踪器1208可以继续检测对象1202的当前方位。
227.在该说明性示例中，对象追踪器1208可以使用人工智能系统1546来执行一个或多个操作。如图所示，人工智能系统1546是具有智能行为并且能够基于人类大脑的功能的系统。人工智能系统包括人工神经网络、深度神经网络、认知系统、贝叶斯网络、模糊逻辑、专家系统、自然语言系统或某种其他合适的系统中的至少一种。机器学习被用于训练人工智能系统。机器学习涉及向过程输入数据并允许过程调整和改进人工智能系统的功能。
228.人工智能系统1546可以包括使用一种或多种架构(例如，深度神经网络或其他合适的架构)实现的机器学习模型。机器学习模型是一种无需明确编程即可学习的人工智能模型。
229.机器学习模型可以基于输入到机器学习模型中的数据进行学习。机器学习模型可以使用各种类型的机器学习算法进行学习。机器学习算法包括有监督学习、无监督学习、特征学习、稀疏字典学习、异常检测、关联规则或其他类型的学习算法中的至少一种。机器学
习模型的示例包括人工神经网络、决策树、支持向量机、贝叶斯网络、遗传算法和其他类型的模型。这些机器学习模型可以使用数据进行训练并处理附加数据以提供期望的输出。机器学习模型可以使用代表性的收集数据集进行预先训练，也可以使用新输入数据以在线方式进行训练。
230.在一个说明性示例中，存在一种或多种技术方案，其克服了以期望的准确度水平追踪对象并且尽可能快地实时追踪对象的技术问题。因此，一种或多种技术方案可以提供提高可使用立体图像追踪对象的速度的技术效果。此外，在一个或多个说明性示例中，存在减少来自三角测量的误报(false positive)的技术方案。此外，一个或多个说明性示例提供了可以以提供对象的实时追踪的速率执行三角测量的技术方案。
231.计算机系统1206可以被配置为使用软件、硬件、固件或其组合来执行在不同说明性示例中描述的步骤、操作或动作中的至少一个。因此，计算机系统1206作为专用计算机系统进行操作，其中计算机系统1206中的对象追踪器1208使得能够以在检测图像中的对象时减少使用计算机资源并生成边界框的方式使用立体图像追踪对象。特别地，相比于不具有对象追踪器1208的当前可用的通用计算机系统，计算机系统1206中的对象追踪器1208将计算机系统1206转变成专用计算机系统。
232.现在转向图16，其描绘了根据说明性实施例的数据处理系统的框图的图示。数据处理系统1600可以用于实现图12的计算机系统1206。数据处理系统1600可以用于执行流程图600、过程800、过程900、过程1000和过程1100中的至少一个。在该说明性示例中，数据处理系统1600包括通信框架1602，该通信框架1602在处理器单元1604、存储器1606、持久性存储装置1608、通信单元1610、输入/输出(i/o)单元1612和显示器1614之间提供通信。在该示例中，通信框架1602采用总线系统的形式。
233.处理器单元1604用于执行可加载到存储器1606中的软件的指令。处理器单元1604包括一个或多个处理器。例如，处理器单元1604可以选自多核处理器、中央处理单元(cpu)、图形处理单元(gpu)、物理处理单元(ppu)、数字信号处理器(dsp)、网络处理器或某种其他合适类型的处理器中的至少一个。此外，处理器单元1604可以使用一个或多个异构处理器系统来实现，其中主处理器与次处理器存在于单个芯片上。作为另一说明性示例，处理器单元1604可以是在单个芯片上含有多个相同类型的处理器的对称多处理器系统。
234.存储器1606和持久性存储装置1608是存储设备1616的示例。存储设备是能够存储信息的任何一块硬件，例如但不限于数据、功能形式的程序代码或其他合适的信息中的至少一种，其可以是临时的、永久的，或者是临时和永久的。在这些说明性示例中，存储设备1616也可以被称为计算机可读存储设备。在这些示例中，存储器1606可以是例如随机存取存储器或任何其他合适的易失性或非易失性存储设备。取决于特定的实施方式，持久性存储装置1608可以采用各种形式。
235.例如，持久性存储装置1608可以包含一个或多个部件或设备。例如，持久性存储装置1608可以是硬盘驱动器、固态驱动器(ssd)、闪存、可重写光盘、可重写磁带或以上各项的某种组合。由持久性存储装置1608使用的媒介也可以是可移除的。例如，可移除的硬盘驱动器可被用于持久性存储装置1608。
236.在这些说明性示例中，通信单元1610提供与其他数据处理系统或设备的通信。在这些说明性示例中，通信单元1610是网络接口卡。
237.输入/输出单元1612允许通过可连接到数据处理系统1600的其他设备输入和输出数据。例如，输入/输出单元1612可以通过键盘、鼠标或某种其他合适的输入设备中的至少一个提供用于用户输入的连接件。此外，输入/输出单元1612可以将输出发送到打印机。显示器1614提供了一种向用户显示信息的机制。
238.用于操作系统、应用程序或程序中的至少一个的指令可以位于存储设备1616中，存储设备1616通过通信框架1602与处理器单元1604通信。不同实施例的过程可以由使用计算机实现的指令的处理器单元1604执行，这些指令可以位于存储器(例如，存储器1606)中。
239.这些指令被称为可由处理器单元1604中的处理器读取和执行的程序代码、计算机可用程序代码或计算机可读程序代码。不同实施例中的程序代码可以体现在不同的物理或计算机可读存储介质，例如存储器1606或持久性存储装置1608。
240.程序代码1618以功能形式位于计算机可读介质1620上，该程序代码1618是选择性可移除的，并且可以被加载或转移到数据处理系统1600上以便由处理器单元1604执行。在这些说明性示例中，程序代码1618和计算机可读介质1620形成计算机程序产品1622。在说明性示例中，计算机可读介质1620是计算机可读存储介质1624。
241.在这些说明性示例中，计算机可读存储介质1624是用于存储程序代码1618的物理或有形存储设备，而不是传播或传输程序代码1618的介质。如本文所用，计算机可读存储介质1624不应被解释为本身是瞬态信号，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质传播的电磁波(例如，传过光纤线缆的光脉冲)，或通过电线传输的电信号，如本文所用，不应将其解释为瞬态信号本身，例如无线电波或其他自由传播的电磁波，通过波导或其他传输介质传播的电磁波(例如，传过光纤线缆的光脉冲)，或通过电线传输的电信号。
242.可替代地，可以使用计算机可读信号介质将程序代码1618转移到数据处理系统1600。计算机可读信号介质可以是例如含有程序代码1618的传播数据信号。例如，计算机可读信号介质可以是电磁信号、光信号或任何其他合适类型的信号中的至少一种。这些信号可以经由连接件(例如，无线连接件、光纤线缆、同轴电缆、电线或任何其他合适类型的连接件)来传输。
243.此外，如本文所用，“计算机可读介质1620”可以是单数或复数。例如，程序代码1618可以位于呈现为单个存储设备或系统形式的计算机可读介质1620中。在另一示例中，程序代码1618可以位于分布在多个数据处理系统中的计算机可读介质1620中。换句话说，程序代码1618中的一些指令可以位于一个数据处理系统中，而程序代码1618中的其他指令可以位于一个数据处理系统中。例如，程序代码1618的一部分可以位于服务器计算机中的计算机可读介质1620中，而程序代码1618的另一部分可以位于处于一组客户端中的计算机可读介质1620中。
244.为数据处理系统1600图示的不同部件并不意味着向能够实现不同实施例的方式提供架构限制。在一些说明性示例中，部件中的一个或多个可以被合并到另一部件中或者以其他方式形成为另一部件的一部分。例如，在一些说明性示例中，存储器1606或其一些部分可以被合并到处理器单元1604中。不同的说明性实施例可以在包含附加于或替代为数据处理系统1600图示的那些部件的部件的数据处理系统中实现。图16中示出的其他部件可以不同于示出的说明性示例。可以利用能够运行程序代码1618的任何硬件设备或系统来实现
不同的实施例。
245.已经出于说明和描述的目的呈现了不同说明性实施例的描述，并且不旨在穷举或限于所公开形式的实施例。不同的说明性示例描述了执行动作或操作的部件。在说明性实施例中，部件可以被配置为执行所描述的动作或操作。例如，部件可以具有针对结构的配置或设计，该结构为部件提供执行在说明性示例中描述为由部件执行的动作或操作的能力。此外，就本文使用术语“包括”、“包含”、“具有”、“含有”及其变体而言，此类术语旨在以类似于术语“包含”的方式作为开放式过渡词而不排除任何附加或其他元素。
246.因此，说明性示例中的一个或多个提供一种用于追踪对象的方法、装置、系统和计算机程序产品。在一个说明性示例中，一种立体相机组件包括具有两种不同镜头的相机，即具有广角镜头的广角镜头相机和具有长焦镜头的长焦镜头相机。该立体相机组件还包括图像处理逻辑以重叠从具有两种类型的镜头的两个相机拍摄的图像来检测对象。通过立体相机组件的计算机系统在广角图像和长焦图像的变换期间执行该图像处理逻辑。使用两种不同类型的镜头增大了监控的区域。使用两种不同类型的镜头提供了操纵立体相机组件以将立体相机组件放置就位以执行对象追踪的能力。
247.在一个说明性示例中，一种方法追踪对象。图像对包括由立体成像系统生成的立体图像。为立体图像中的对象确定边界框。基于用于立体图像中的对象的边界框来确定立体图像中的感兴趣区域。基于感兴趣区域向立体图像施加掩模。该掩模掩蔽掉立体图像在感兴趣区域之外的部分以形成掩蔽图像。在掩蔽图像上执行强度均匀化以检测掩蔽图像中具有最大强度的一组像素。掩蔽图像中的这一组像素是掩蔽图像中的一组公共像素，其中这一组公共像素被假定为在掩蔽图像两者中具有相同位置。利用这一组公共像素来确定该对象的三维方位。
248.一个说明性示例提供了一种改进的追踪对象的能力。例如，该说明性示例使得能够进行对象的实时追踪。该说明性示例中的追踪能力可以用于执行各种动作，包括但不限于检测和避免其他对象。例如，可以在商用飞机上使用一个说明性示例，以避免与和该商用飞机在同一空域内的其他对象发生碰撞。在另一说明性示例中，对象的追踪可以用于跟踪或执行对象的监视。在又一说明性示例中，可以使用追踪来协调无人航空交通工具的机群的飞行。
249.此外，本公开包括根据以下条款的实施例：
250.条款1：一种立体相机组件，其包括：
251.安装在安装结构上的广角镜头相机；以及
252.安装在安装结构上的长焦镜头相机，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围。
253.条款2：根据条款1所述的立体相机组件，还包括：
254.所述安装结构，其中该安装结构被配置为连接到交通工具。
255.条款3：根据条款1或条款2所述的立体相机组件，其中广角镜头相机和长焦镜头相机被安装在安装结构的相同高度处。
256.条款4:根据条款1-3中任一项所述的立体相机组件，其中广角镜头相机和长焦镜头相机相对于安装结构以相同角度安装。
257.条款5：根据条款1-4中任一项所述的立体相机组件，还包括：
258.计算机系统，其被配置为从广角镜头相机接收广角图像，从长焦镜头相机接收长焦图像，确定对象是否可识别地存在于广角图像中，确定对象是否可识别地存在于长焦图像中，并且响应于确定对象可识别地存在于长焦图像或广角图像中的仅一个中，向移动系统发送命令，其中这些命令被配置为朝向对象操控广角镜头相机和长焦镜头相机。
259.条款6：根据条款1-4中任一项所述的立体相机组件，还包括：
260.计算机系统，其被配置为从广角镜头相机接收广角图像，从长焦镜头相机接收长焦图像，并且对广角图像和长焦图像执行变换以将长焦图像映射到广角图像。
261.条款7：根据条款6所述的立体相机组件，其中计算机系统还被配置为识别长焦图像或广角图像中的一个中的对象，并且确定该对象是否可识别地存在于长焦图像或广角图像中的另一个中。
262.条款8：根据条款7所述的立体相机组件，其中计算机系统还被配置为响应于确定该对象没有可识别地存在于长焦图像或广角图像中的另一个中，相对于该对象移动广角镜头相机和长焦镜头相机。
263.条款9：根据条款7或条款8所述的立体相机组件，其中计算机系统还被配置为响应于确定该对象可识别地存在于长焦图像和广角图像两者中，利用长焦图像和广角图像确定该对象的三维位置。
264.条款10：一种操作对象追踪系统的方法，包括：
265.由计算机系统接收广角图像和长焦图像，其中广角图像由立体相机组件的广角镜头相机提供并且长焦图像由立体相机组件的长焦镜头相机提供，其中长焦镜头相机被安装在安装结构上，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围；以及
266.由计算机系统对广角图像和长焦图像执行变换以将长焦图像映射到广角图像。
267.条款11：根据条款10所述的方法，还包括：
268.识别长焦图像或广角图像中的一个中的对象；以及
269.确定该对象是否可识别地存在于长焦图像或广角图像中的另一个中。
270.条款12：根据条款11所述的方法，其中识别长焦图像或广角图像中的一个中的对象包括识别长焦图像中的对象，该方法还包括：
271.响应于确定该对象没有可识别地存在于广角图像中，朝向该对象移动广角镜头相机和长焦镜头相机。
272.条款13：根据条款11或条款12所述的方法，其中识别长焦图像或广角图像中的一个中的对象包括识别广角图像中的对象，该方法还包括：
273.响应于确定该对象没有可识别地存在于长焦图像中，朝向该对象旋转立体相机组件。
274.条款14：根据条款11-13中任一项所述的方法，其中识别长焦图像或广角图像中的一个中的对象包括识别长焦图像中的对象，其中该对象被确定为可识别地存在于广角图像中，该方法还包括：
275.响应于确定该对象可识别地存在于广角图像中，利用长焦图像和广角图像两者来确定该对象的三维位置。
276.条款15：根据条款10-14中任一项所述的方法，还包括：
277.利用立体相机组件的广角镜头相机拍摄第二广角图像并利用立体相机组件的长
焦镜头相机拍摄第二长焦图像；
278.由计算机系统接收第二广角图像和第二长焦图像；以及
279.使用第二长焦图像、第二广角图像以及利用长焦图像和广角图像确定的对象的三维位置来追踪该对象。
280.条款16：根据条款15所述的方法，其中长焦图像和广角图像是图像对，该方法还包括：
281.基于为该图像对中的对象确定的边界框，确定该图像对中的感兴趣区域；
282.基于感兴趣区域向该图像对施加掩模，其中该掩模掩蔽掉该图像对在感兴趣区域之外的部分以形成掩蔽图像；
283.在掩蔽图像上执行强度均匀化以检测掩蔽图像中具有最大强度的一组像素，其中掩蔽图像中的这一组像素是掩蔽图像中的一组公共像素，其中这一组公共像素被假定为在掩蔽图像两者中具有相同位置；以及
284.利用这一组公共像素来确定该对象的三维方位。
285.条款17：根据条款16所述的方法，还包括：
286.为该图像对中的该对象确定边界框。
287.条款18：根据条款16所述的方法，还包括：
288.利用该对象的三维方位和该对象的一组先前三维方位来预测该对象的后续三维方位。
289.条款19：根据条款18所述的方法，其中利用该对象的三维方位和该对象的一组先前三维方位来预测该对象的后续三维方位包括：
290.利用该对象的三维方位和该对象的这一组先前三维方位来预测该对象的后续三维方位和轨迹。
291.条款20：根据条款18所述的方法，其中该图像对是第一图像对，并且该方法还包括：
292.接收后续图像对；
293.基于先前感兴趣区域和该对象在后续图像对中的预测的后续三维方位来确定后续图像对中的感兴趣区域；
294.基于感兴趣区域向后续图像对施加掩模，其中该掩模掩蔽掉后续图像对在感兴趣区域之外的部分以形成后续掩蔽图像；
295.在后续掩蔽图像上执行强度均匀化以检测后续掩蔽图像中具有最大强度的一组像素，其中后续掩蔽图像中的这一组像素是后续掩蔽图像中被假定为具有相同位置的一组公共像素；以及
296.利用在后续掩蔽图像中识别的这一组公共像素来确定该对象的三维方位。
297.条款21：根据条款18所述的方法，还包括：
298.用激光束照亮该对象以使得在该图像对中由激光束照亮该对象；以及
299.利用该对象的预测的后续三维方位来引导激光束以继续用激光束照亮该对象。
300.条款22：根据条款16所述的方法，其中利用一组公共像素确定该对象的三维方位包括：
301.利用对掩蔽图像中的这一组公共像素执行的三角测量来确定该对象在相机坐标
系中的方位；以及
302.将该对象的方位从相机坐标系变换到全球坐标系以获得该对象的三维方位。
303.条款23：根据条款16所述的方法，其中基于用于该图像对中的该对象的边界框确定该图像对中的感兴趣区域包括：
304.识别运动输入；以及
305.基于用于该图像对中的该对象的边界框和运动输入确定该图像对中的感兴趣区域。
306.条款24：根据条款16所述的方法，其中强度均匀化选自加权强度均匀化、最大像素值或滑动窗口平均值中的至少一种。
307.条款25：根据条款16所述的方法，其中感兴趣区域被选择为包括边界框，位于边界框之中，或者覆盖边界框的一部分。
308.条款26：根据条款16所述的方法，其中该对象的三维方位包括该对象在三维空间中的位置和该对象的取向。
309.条款27：一种对象追踪系统，其包括：
310.广角镜头相机，其安装在安装结构上；
311.长焦镜头相机，其安装在安装结构上，使得长焦镜头相机的视野被广角镜头相机的视野至少部分地包围；
312.计算机系统，其被配置为从广角镜头相机接收广角图像，从长焦镜头相机接收长焦图像，确定对象是否可识别地存在于广角图像中，确定对象是否可识别地存在于长焦图像中，并且响应于确定对象可识别地存在于长焦图像或广角图像中的仅一个中，生成命令以移动安装结构；以及
313.移动系统，其被配置为响应于接收到来自计算机系统的命令而移动安装结构。
314.条款28：根据条款27所述的对象追踪系统，还包括：
315.交通工具，其中安装结构被安装到交通工具上，并且其中移动系统是交通工具的移动系统。
316.条款29：根据条款27或条款28所述的对象追踪系统，其中计算机系统还被配置为响应于确定该对象可识别地存在于长焦图像和广角图像两者中，利用长焦图像和广角图像来确定该对象的三维位置。
317.条款30：根据条款27-29中任一项所述的对象追踪系统，其中移动安装结构的命令是响应于确定该对象可识别地存在于广角图像中但非可识别地存在于长焦图像中而朝向该对象旋转安装结构的命令。
318.条款31：根据条款27-30中任一项所述的对象追踪系统，其中广角镜头相机和长焦镜头相机两者都被垂直于安装结构安装在安装结构上。
319.已经出于说明和描述的目的呈现了不同的说明性实施例的描述，并且不旨在穷举或限于公开形式的实施例。许多修改和变化对于本领域普通技术人员来说将是显而易见的。此外，与其他说明性实施例相比，不同的说明性实施例可以提供不同的特征。选择和描述所选择的一个或多个实施例是为了最好地解释实施例的原理、实际应用，并使本领域的其他普通技术人员能够理解具有各种修改的各种实施例的公开内容适合于可预期的特定用途。