用于移动设备的摄像机系统、用于定位一个摄像机的方法、以及用于定位多个摄像机的方法与流程

1.本公开的实施方式涉及一种用于移动设备的摄像机系统、用于定位摄像机系统的一个摄像机的方法、以及用于定位摄像机系统的多个摄像机的方法。


背景技术：

2.在汽车行业中，基于视觉的驾驶员辅助系统(adas)出现在诸如停车辅助、侧方警报、以及碰撞检测的各种应用中。例如，对于停车辅助环绕视图，能够使用四个摄像机来提供车辆环境的360度视图。对于碰撞和侧方检测，能够使用被配置为对环境中的对象的距离和速度进行估计的立体摄像机。
3.对于驾驶自主权，能够使得车辆对其自身的行驶路径进行估计并且在行驶的同时对其三维(3d)环境进行识别。因此，应用可能需要提供适当的空间准确度。因此，例如，需要对摄像机进行校准和刚性安装，以使得可以根据摄像机的相对位置和方位对3d环境进行估计。在立体视图的情况下，可以在工厂或车间完成预校准。
4.由于刚性安装的摄像机可能因摄像机的扭转、振动、或相对运动而出现校准问题，因此将摄像机之间的距离限制为最大距离。由此，由于电动机振动和底盘扭转可能影响摄像机的距离和方位，将摄像机刚性地安装至车辆的底盘可能不适合于自主驾驶应用。
5.因此，可能存在对确定摄像机的姿势的改进概念的需求。


技术实现要素：

6.所附的独立权利要求和从属权利要求能够满足这种需求。
7.根据第一方面，本公开涉及一种用于移动设备的摄像机系统。摄像机系统包括自由地安装至移动设备的至少一个摄像机。此外，摄像机系统包括被配置为提供摄像机的运动数据的至少一个运动测量单元和被配置为根据运动数据确定摄像机的姿势的数据处理电路。
8.例如，移动设备是车辆(例如，汽车、卡车、公共汽车、船只、飞机、摩托车、自行车、或无人驾驶飞行器)或手持式设备。
9.可以使用阻尼板或(摄像机)稳定器使摄像机自由地安装至移动设备，以至少部分地减少、补偿、或吸收移动设备所产生的扭转和/或振动。
10.例如，稳定器包括枢转支撑件(例如，万向节)，枢转支撑件允许摄像机围绕至少一个轴旋转，以使摄像机处于浮动位置安装至移动设备。
11.阻尼板可以至少部分由弹性材料制成，以使摄像机自由地(弹性地)安装至移动设备。
12.由此，摄像机可以被视为松动地耦接或自由地或浮动地安装至移动设备。
13.摄像机可以是视频/电影摄像机。
14.例如，运动数据指示摄像机的加速度和/或角速度。例如，可以通过包括运动测量
单元的陀螺仪，对角速度和/或加速度进行测量。
15.因为摄像机自由地安装至移动设备，所以摄像机可以改变其姿势。可姿势可以被理解为环境内相对于移动设备的相对位置和/或相对方位。
16.例如，当移动设备移动时，摄像机可能受角速度的影响。例如，数据处理单元能够根据角速度与摄像机的姿势之间的关系确定摄像机的姿势。
17.这能够实现摄像机系统相对于摄像机的姿势的所谓自动校准，从而使得摄像机系统的预校准或重新校准(例如，工厂或车间)过时。
18.根据第二方面，本公开涉及一种用于对移动设备的摄像机系统中的摄像机进行定位的方法。该方法包括：使用至少一个运动测量单元提供摄像机的运动数据，摄像机自由地安装至移动设备。该方法进一步包括：根据运动数据确定摄像机的姿势。
19.例如，能够使用上面提及的摄像机系统执行方法。
20.根据第三方面，本公开涉及一种摄像机系统，包括：第一摄像机；和第一运动测量单元，被配置为提供第一摄像机的第一运动数据。进一步地，摄像机系统包括：至少一个第二摄像机；和第二运动测量单元，被配置为提供第二摄像机的第二运动数据。而且，摄像机系统包括：数据处理电路，被配置为根据第一运动数据与第二运动数据之间的关联性确定第一摄像机与第二摄像机朝向彼此的相对姿势。
21.第一摄像机和第二摄像机可以是视频/电影摄像机。
22.例如，第一运动数据和第二运动数据分别指示第一摄像机和第二摄像机的加速度和/或角速度。例如，第一运动测量单元和第二运动测量单元各自包括陀螺仪，陀螺仪用于测量分别作用在第一摄像机和第二摄像机上的角速度或加速度。
23.由于第一摄像机和第二摄像机的不同姿势，第一运动数据和第二运动数据彼此可以不同。进一步地，例如，第一运动数据和第二运动数据可以通过这样的方式而相关联，即，第一运动数据与第二运动数据之间的显著差异指示彼此截然不同的相对姿势。
24.例如，这能够实现摄像机系统的自动校准，以使摄像机系统适应于第一摄像机和第二摄像机朝向彼此的相对变化姿势。例如，相对姿势由于作用在第一摄像机和/或第二摄像机上的振动而快速地改变。可替代地和/或此外，相对姿势可能由于随着周围环境温度变化的线性热膨胀而改变。
25.自动校准可以结合自主驾驶车辆确保应用所需的摄像机系统的适当空间准确性。
26.根据第四方面，本公开涉及一种用于对移动设备的摄像机系统中的多个摄像机进行定位的方法。方法包括：使用第一运动测量单元提供摄像机系统中的第一摄像机的第一运动数据。方法进一步包括：使用第二运动测量单元提供摄像机系统中的至少一个第二摄像机的第二运动数据。而且，方法包括：通过第一运动数据与第二运动数据的比较而确定第一摄像机和第二摄像机朝向彼此的相对姿势。
27.例如，可以使用包括第一摄像机和第二摄像机的上述所述摄像机系统执行该方法。
28.根据第五方面，本公开涉及一种包括指令的计算机程序，当由至少一个处理器执行时，指令致使处理器执行上述所述方法中的一种方法。
29.根据第六方面，本公开涉及一种包括上述所述摄像机系统中的一种摄像机系统的移动设备。
30.移动设备可以是车辆或手持式设备。具体地，移动设备可以是自主驾驶车辆。
31.根据第七方面，本公开涉及一种分布式摄像机系统，包括：第一摄像机，被配置为提供环境的第一图像序列；第一运动测量单元，被配置为提供第一摄像机的第一运动数据；以及第一数据处理电路。第一数据处理电路被配置为：根据第一运动数据与第一图像序列之间的关联性确定目标在环境内的位置，将目标的位置登记到环境的数字映射中。进一步地，第一数据处理电路被配置为提供环境的数字映射。
32.分布式摄像机系统进一步包括：至少一个第二摄像机，被配置为提供环境的第二图像序列；第二运动测量单元，被配置为提供第二摄像机的第二运动数据；以及第二数据处理电路。第二数据处理电路被配置为根据第一运动数据与第二运动数据之间的关联性确定第一摄像机和第二摄像机朝向彼此的相对姿势。第二数据处理电路被进一步配置为：接收环境的数字映射；并且基于数字映射以及第一摄像机和第二摄像机朝向彼此的相对姿势而检测第二图像序列中的至少一个图像内的目标。
33.分布式摄像机系统可以被理解为具有多个摄像机系统的装置，多个摄像机系统各自包括摄像机、运动测量单元、以及数据处理电路。
34.在一些实施方式中，第一摄像机、第一运动测量单元、以及第一数据处理电路可以安装至第一移动设备，以及第二摄像机、第二运动测量单元和第二数据处理电路可以安装至第二移动设备。
35.在一些应用中，希望利用多个摄像机对目标进行跟踪。由此，其能够用于对第二图像序列内的目标进行识别。
36.由此，可以在第一数据处理电路和第二数据处理电路内共享数字映射。由此，第二数据处理电路能够通过参考数字映射以及第一摄像机和第二摄像机的相对姿势，而估计目标在第二图像序列中的一个或多个图像内的位置。
37.从本公开获得益处的本领域技术人员应当认识到，在第一摄像机与第二摄像机具有不同和/或相反的视野的一些应用中，这可以用于跟踪目的。
附图说明
38.在下面仅通过示例并且参考所附附图，对装置和/或方法的一些示例进行描述，其中，
39.图1示出了用于移动设备的摄像机系统的示意性示例；
40.图2示出了使用摄像机系统对目标进行跟踪；
41.图3示出了移动设备的运动路径和用于表征移动设备的环境的三维映射；
42.图4示出了使用三维映射来表征环境；
43.图5示出了包括第一摄像机和第二摄像机的摄像机系统的示意性示例；
44.图6示出了包括安装至移动设备的第一摄像机和第二摄像机的摄像机系统的示意性示例；
45.图7示出了示意性地示出用于对摄像机进行定位的方法的流程图；并且
46.图8示出了示意性地示出用于对多个摄像机进行定位的方法的流程图。
具体实施方式
47.现参考示出一些示例的所附附图对各个示例进行更完整地描述。在图中，出于清晰之目的，可以夸大线、层、和/或区域的厚度。
48.相应地，尽管进一步的示例能够做出各种更改和可替代的形式，然而，在附图中示出了其一些具体的示例并且随后进行了详细描述。然而，该详细描述并不使进一步的示例局限于所描述的具体形式。进一步的示例可以覆盖落在本公开的范围内的全部更改、等同物、以及替代物。相同或类似的编号指贯穿图的描述的类似或相似元件，当提供相同或相似功能的元件彼此进行比较时，可以通过相同或变形的形式实现类似或相似的元件。
49.应当理解的是，当元件被称为“连接”或“耦接”至另一元件时，元件可以直接连接或经由一个或多个中间元件耦接。如果两个元件a和b使用“或”进行组合，则如果未另外明确或默示地限定，这应被理解为公开了全部可能的组合，即，仅a、仅b、以及a和b。关于相同组合的可替代词语为“a和b中的至少一项”或“a和/或b”。经必要修改，同样适用于两个以上元件的组合。
50.用于描述具体示例之目的的此处使用的术语并不旨在限制进一步的示例。无论何时使用诸如“一”、“一个”、以及“该”的单数形式并且既未明确、亦未默示地限定为仅强制使用单一元件，进一步的示例还可以使用多个元件来实现相同的功能。同样，当随后将功能描述为使用多个元件实现时，进一步示例可以使用单一元件或处理实体实现相同的功能。应当理解的是，当使用时，术语“包括"、”包括(comprising)”、、“包含"和/或“具有”指定存在所陈述的特征、整体、步骤、操作、过程、动作、元件、和/或部件，但不排除存在或添加一个或多个其他特征、整体、步骤、操作、过程、动作、元件、部件、和/或其任意组合。
51.除非另有限定，否则，此处使用的全部术语(包括技术和科技术语)其具有示例所属技术领域的常见含义。
52.出于自主驾驶之目的，能够利用一个或多个摄像机来表征车辆的环境。由此，能够将摄像机系统预校准成摄像机的姿势。因为摄像机能够安装至车辆，摄像机可能受扭转和/或振动的影响，从而导致出现校准问题，并且在一些情况下，导致环境的该特征不适合于自主驾驶目的。
53.因此，可能存在对用于确定摄像机的姿势的改进概念的需求。
54.图1示出了摄像机系统100的示意性示例。摄像机系统100包括摄像机120和被配置为提供摄像机120的运动数据的运动测量单元110。进一步地，摄像机系统100包括被配置为根据运动数据确定摄像机120的姿势的数据处理电路130。
55.摄像机120自由地安装至移动设备140。从图1中能够看到，通过用于浮动安装件的稳定安装件102，摄像机120能够自由地安装至移动设备140。
56.稳定安装件102能够至少部分地吸收来自移动设备140的振动。例如，稳定安装件102包括摄像机稳定器(例如，万向节)和/或弹性安装件，诸如阻尼板。
57.运动测量单元110能够包括被刚性地安装至摄像机120的惯性测量单元(imu)。从本公开获得益处的本领域技术人员应当认识到，imu能够使用一个或多个加速计、陀螺仪、和/或磁力计的组合，提供一部分运动数据。由此，来自imu的运动数据可以指示摄像机120的加速度和/或角速度。
58.可替代地或此外，运动测量单元110能够包括全球定位系统(gps)传感器，全球定
位系统(gps)传感器安装在移动设备140处并且被配置为提供至少一部分运动数据。gps传感器能够提供地理位置、移动设备140的速度、或贡献运动数据的地理位置的路线。
59.运动测量单元110可以包括imu和gps传感器，以获得比imu和gps传感器中的每一者更高的操作可靠性。
60.运动测量单元110耦接至数据处理电路130，以传送运动数据。
61.由于摄像机120的姿势与运动数据之间的关系，数据处理电路130能够确定摄像机120的姿势。
62.例如，摄像机120能够以一定的角速度从预定义位置移位。摄像机120距该预定义位置的位移，可以取决于角速度的方位和绝对值。例如，对数据处理电路130进行校准，以从运动数据中所包括的角速度确定摄像机120的位移和姿势。
63.这能够基于位于移动设备140上的摄像机120的姿势，实现摄像机系统100的自动校准，以使用摄像机系统100恢复环境特征的空间准确性。
64.在汽车应用的情况下，移动设备140能够是车辆。具体地，移动设备140能够是基于环境特征使用摄像机系统100而运转的自主驾驶车辆。
65.例如，自主驾驶车辆可以基于环境特征在公路上移动、采取机动规避、或输出警报。
66.为了提高自动校准的准确性，数据处理电路130能够进一步涉及用于确定摄像机120的姿势的视觉数据。为此，摄像机120可以是记录环境的图像序列的视频/电影摄像机。
67.为了表征其在环境内的姿势，摄像机120能够将环境的图像序列提供给处理电路130。例如，如下面更为详细地阐述的，这能够使得数据处理电路130从图像序列与运动数据之间的关联性确定姿势。
68.对于图像序列的传输，摄像机120与数据处理电路130耦接。
69.例如，从图2中能够看到，摄像机120提供环境的后续图像序列。为了简化问题，对摄像机120的定位的后续描述指图像序列的第一图像210、第二图像220、以及第三图像230。通常，图像序列能够包括更多的图像并且下面所描述的概念还能够应用于更多的图像。
70.图像210、220、以及230中的每个图像包括环境的对象250。在不限制一般性的情况下，并且为了简化问题，通过参考对象250描述摄像机120的定位，其中，在其他的使用情况中，摄像机120的定位可能涉及多个对象。
71.摄像机120的定位的基本理念在于，数据处理电路130通过将图像序列中的第一图像210与第二图像220进行比较而确定摄像机120的视角变化。
72.如下面更为详细地阐述的，摄像机120朝向对象250的(绝对)姿势能够从运动数据与对象250的视角变化之间的关联性推导。
73.例如，数据处理电路130确定第一图像210内的第一斑块240-1。从图2中能够看到，第一斑块240-1能够与包括截然不同的目标252的框对应，诸如，对象250的轮廓的一部分(例如，拐角或边缘)。
74.第一斑块240-1可以覆盖第一图像210的“独特的”所谓“光差”。例如，如果图像210、220、以及230是单色的，则光差指示第一斑块240-1中所包括的像素的灰度值(灰度分布)的特征分布。可替代地，光差可以被理解为色彩或对比度的分布。
75.随后，数据处理电路130可以通过将第一斑块240-1与第二图像220进行比较而确
定指示第二图像220内的目标252的第二斑块240-2。
76.例如，第一斑块240-1和第二斑块240-2通过其在第一图像210和第二图像220内的轮廓和中心位置而指定。
77.数据处理电路130可以将第二斑块240-2布置在第二图像220内，以使得第二斑块240-2包括第一斑块240-1的光差(预定容差内)。这可以确保第二斑块240-2与相同的目标252有关。
78.由于视角的变化，第二斑块240-2可能相对于第一斑块240-1发生移位。第一斑块240-1与第二斑块240-2之间的移位可能意味着限定后续斑块240-1与240-2之间的转换的所谓“仿射对应”。这些可以视为是斑块240-1与240-2的旋转、移位、扭曲、和/或错切。
79.例如，从图2中能够看到，第二斑块240-2对应于不规则四边形/平行四边形。
80.数据处理电路130能够根据第一斑块240-1与第二斑块240-2之间的仿射对应，推导摄像机120的视角变化。例如，数据处理电路130基于单应原理，推导例如指示角度的视角变化。
81.从本公开获得益处的本领域技术人员应当认识到，视角变化能够使得根据视觉里程计的原理，估计摄像机120朝向目标252的视觉测量姿势。
82.例如，视觉测量姿势指朝向目标252的摄像机120相对于其他目标的相对位置或相对方位。
83.为了获得摄像机120朝向目标252的(绝对)姿势(例如，指示坐标或长度测量值)，数据处理电路130能够提供从摄像机120的视觉测量姿势推导摄像机120的姿势的绝对值的比例尺。
84.为此，数据处理电路130可以使视觉数据与运动数据相关联。
85.在摄像机系统100的一些实施方式中，数据处理电路130使用卡尔曼滤波器确定摄像机120的姿势，其中，卡尔曼滤波器的控制矢量通过运动数据指定并且所测量的状态通过从视觉数据推导的相对姿势而限定。
86.运动数据与视觉数据之间的关系可以提供卡尔曼滤波器的观察模型。利用该观察模型，摄像机120的相对姿势可以被缩放，以获得摄像机120的姿势作为例如指示坐标和/或角度的绝对值。
87.由此，视觉数据与运动数据可能影响对摄像机120的姿势的确定。其影响取决于分别指示运动数据和视觉数据的准确性的加权因子，以使得摄像机系统100适应于不同的情形(例如，黑暗环境)。
88.用于确定摄像机120的姿势的上述所述概念还可以被称为“仿射流跟踪”。
89.仿射(affine)流跟踪可能需要运动数据与图像序列是时间同步的。
90.在一些实施方式中，数据处理电路可以被配置为通过将第一斑块240-1与第三图像230进行比较，而确定指示位于第二图像220之后的第三图像230内的目标252的第三斑块240-3。与第二斑块240-2类似，数据处理电路130可以通过参考第一斑块240-1而确定第三斑块240-3。
91.这可以防止第三斑块240-3以及后续的斑块由于误差传播而“漂离”目标252，并且可以通过参考图像序列中的后续图像而提供使后续斑块与目标252匹配的子像素准确性，以获得后续斑块的时间跟踪与空间映射。
92.随后，数据处理电路130可以根据第一斑块240-1与第三斑块240-3之间的位移/仿射对应确定视角的变化，以确定摄像机120的姿势。
93.因为第三斑块240-3可以被视为映射到用于确定摄像机120的姿势的第一斑块240-1中，所以可以将该概念称为“仿射流映射”。
94.此外，数据处理电路130可以根据视角变化与运动数据之间的关联性确定目标的位置。
95.为此，摄像机120的姿势可以被视为坐标系的原点。因此，数据处理电路130可以根据摄像机120朝向目标252的姿势确定目标252在坐标系内的位置。
96.例如，目标252在坐标系内的位置指示三维坐标。
97.在摄像机系统100的一些实施方式中，数据处理电路130被进一步配置为通过跟踪目标252的位置而确定目标252的速度。
98.为此，例如，如上所述，数据处理电路130连续地确定目标252的位置，以从位置的时间变化推导其运动。默示地，数据处理电路130可以从运动确定速度。
99.进一步地，摄像机系统100可以通过跟踪目标252的位置而确定目标252在环境内是静止还是移动。
100.例如，类似地，摄像机系统100可以跟踪目标252的周围的其他目标的位置，以确定目标252是否相对于其他目标而移动。
101.如果其他目标的位置并不随着时间而改变，则这些目标可以被识别为在环境内并不移动的静止目标。
102.如果目标252相对于一个或多个静止目标而移动，则其可以被识别为移动目标。
103.可替代地，数据处理电路130可以将若干目标的速度进行比较，以区分静止目标与移动目标。
104.如图3示出的，例如，数据处理电路130可以通过将斑块240-1、240-2、以及240-3中的一个或多个斑块映射到目标252在数字图300内的位置，而将目标252的位置登记到环境的(三维)数字图300中。
105.由此，在摄像机120沿着运动路径310的运动过程中，多个目标可以连续地登记到数字图300中。
106.斑块240-1、240-2、以及240-3进一步通过表面法线242表征。因此，数据处理电路130可以就其方位表征环境的表面。
107.从图4中能够看到，数字图300能够使得数据处理电路130基于摄像机120的姿势以及数字图300而确定指示第四图像440内的目标252的第四斑块240-4。
108.在摄像机系统100的一些实施方式中，数据处理电路130被配置为将目标252的位置与摄像机120的姿势进行比较，以预测第四图像440内的目标252的位置。因此，数据处理电路130可以使第四斑块240-4与所预测的位置对准。
109.此外，数据处理电路130可以被配置为确定第四斑块240-4是否与一个或多个之前/已登记的斑块240-1、240-2、以及240-3匹配，并且可选地，确定与之前的斑块240-1、240-2、以及240-3的偏差。
110.例如，该偏差能够实现摄像机120的姿势的(自动)重新校准。
111.在一些情况下，斑块240-5不能被映射到目标和/或已登记到数字图300中的适当
斑块。因此，该目标或斑块可以结合环境的特征被忽略和/或可以从数字图300中丢弃。
112.在摄像机120的运动过程中，数据处理电路130还能够对“新的”目标进行连续检测，以使“新的斑块”240-6与这些目标相关联。
113.数字图300可以与支持环境特征的视觉里程计的补充摄像机进一步共享。通常，补充摄像机的视野与摄像机120的视野不同。
114.共享数字图300能够使得补充摄像机通过参考数字图300以及补充摄像机的姿势将另一斑块与目标252相关联，以提供摄像机120与补充摄像机之间的自动校准。
115.例如，这可能是使用多个不同方位的摄像机的驾驶员辅助系统所需的。
116.如上所述，在一些应用中，可能需要使用多个摄像机。
117.在具有多个摄像机的摄像机系统中，例如，结合汽车应用，摄像机可能经历彼此的相对运动或振动。因此，多个摄像机的相对位置可能发生变化，从而导致出现校准问题。这些校准问题可能导致环境的表征不充分。
118.因此，需要使用多个摄像机来表征环境的改进概念，以克服由于摄像机朝向彼此的相对位置的变化而出现的这些校准问题。
119.图5示出了包括第一摄像机120-1以及被配置为提供第一摄像机120-1的第一运动数据的第一运动测量单元110-1的摄像机系统200。进一步地，摄像机系统200包括至少一个第二摄像机120-2以及被配置为提供第二摄像机120-2的第二运动数据的第二运动测量单元110-2。此外，摄像机系统200包括数据处理电路230，数据处理电路230被配置为根据第一运动数据与第二运动数据之间的关联性确定第一摄像机120-1与第二摄像机120-2朝向彼此的相对姿势。
120.为此，第一运动测量单元110-1与第二运动测量单元110-2耦接至数据处理电路230。
121.在一些实施方式中，数据处理电路230可以包括各自安装至第一摄像机120-1和第二摄像机120-2的第一处理电路和第二处理电路(未示出)。如果第一摄像机120-1和第二摄像机120-2被安装至分立的移动设备，则可能需要这种操作。
122.在一些实施方式中，数据处理电路230可以对应于结合摄像机系统100所描述的数据处理电路130。
123.第一摄像机120-1与第二摄像机120-2的相对位置可能与摄像机120-1和摄像机120-2的相对运动有关。事实上，相对位置可以从指示相对运动的第一运动数据和第二运动数据推导。
124.例如，第一运动数据和/或第二运动数据指示作用在摄像机120-1和摄像机120-2上的角速度和/或加速度。
125.例如，数据处理电路230根据第一运动数据与第二运动数据之间的差确定摄像机120-1与摄像机120-2的相对位置。
126.如此，数据处理电路230能够参考摄像机120-1和摄像机120-2的相对位置实现摄像机系统200的自动校准，以恢复摄像机系统200的空间准确性。
127.在摄像机系统200的一些其他的实施方式中，第一摄像机120-1被配置为提供环境的第一图像序列并且第二摄像机120-2被配置为提供环境的第二图像序列。结合这些实施方式，数据处理电路230可以被进一步配置为根据第一运动数据、第二运动数据、第一图像
序列、以及第二图像序列之间的关联性确定第一摄像机120-1与第二摄像机120-2朝向彼此的相对姿势。
128.为此，第一运动数据和第二运动数据以及第一图像序列和第二图像序列可以是时间同步的。
129.为了将第一图像序列和第二图像序列传送至数据处理电路230，摄像机120-1与摄像机120-2中的每个摄像机可以与数据处理电路230耦接。
130.数据处理电路230可以将视觉里程计的概念应用于结合上述所述摄像机系统100的实施方式而描述的第一图像序列和第二图像序列。
131.例如，数据处理电路230利用卡尔曼滤波器来确定摄像机120-1与摄像机120-2的相对姿势。
132.卡尔曼滤波器的观察模型可以从第一图像序列与第二图像序列之间的仿射对应和第一运动数据与第二运动数据之间的差的关联性推导。
133.卡尔曼滤波器的控制矢量可以通过第一运动数据和第二运动数据而指定，其中，摄像机120-1与摄像机120-2的相对姿势的测量状态可以指示仿射对应。
134.这能够使得卡尔曼滤波器通过参考第一运动数据和第二运动数据以及第一图像序列和第二图像序列而连续确定第一摄像机120-1与第二摄像机120-2的相对姿势。
135.如此，与(仅)使用用于确定摄像机120-1与摄像机120-2的相对位置的运动数据的上述所述摄像机系统200的实施方式相比较，摄像机系统200可以而提高相对位置的准确性。
136.从图6中能够看到，第一摄像机与第二摄像机自由地安装(以浮动位置安装)至移动设备140。为此，摄像机120-1与摄像机120-2中的每个摄像机可以使用稳定安装件102而耦接至移动设备140。
137.如此，来自移动设备的扰乱(例如，振动和/或扭转)被衰减，以提高第一摄像机120-1和/或第二摄像机120-2的空间准确性。
138.在一些实施方式中，第一摄像机120-1安装至第一移动设备(未示出)并且第二摄像机120-2安装至第二移动设备(未示出)。
139.例如，第一移动设备与第二移动设备中的每个移动设备是无人驾驶飞行器(uav)。因为uav可以相对于彼此而移动，所以摄像机120-1与摄像机120-2的相对姿势可以改变。
140.通过用于确定第一摄像机120-1与第二摄像机120-2的相对姿势的上述所述概念，摄像机系统200能够实现摄像机系统200相对于相对位置的(连续)自动校准。
141.在摄像机系统200的一些实施方式中，数据处理电路230被进一步配置为根据第一图像序列与第一运动数据之间的关联性请确定目标在环境内的位置。进一步地，数据处理电路230可以被配置为：将目标的位置登记到环境的数字图中；并且使用数字图、第一摄像机120-1与第二摄像机120-2的运动数据与相对姿势，检测第二图像序列内的目标。
142.例如，如一些驾驶辅助系统的情况，如果第一摄像机120-1与第二摄像机120-2安装至不同的移动设备或具有相反的视野，则可能需要这种操作。
143.例如，数据处理电路230使用第一图像序列和第一运动数据确定目标的位置，并且可以将目标的位置登记到结合摄像机系统100所描述的三维图300中。
144.通过参考第一摄像机120-1与第二摄像机120-2的相对姿势、运动数据、以及数字
图，数据处理电路230能够确定目标是否在第二摄像机120-2的视野内。进一步地，这能够使得数据处理电路230利用与从第二图像序列所推导的目标位置的偏差，预测第二图像序列中的图像内目标的位置。
145.从本公开获得益处的本领域技术人员应当认识到，该偏差可以用于第一摄像机120-1和第二摄像机120-2的自动校准，以使得自动校准致使偏差下降。
146.图7示意性地示出了用于对移动设备的摄像机系统中的一个摄像机进行定位的方法700。该方法包括：使用至少一个运动测量单元提供710摄像机的运动数据，其中，摄像机自由地安装至移动设备。进一步地，该方法包括：根据运动数据确定720摄像机的姿势。
147.例如，可以通过摄像机系统100执行方法700。为此，数据处理电路130可以通过运行适当的计算机程序而执行方法700的至少一部分。
148.图8示意性地示出了用于对移动设备的摄像机系统中的多个摄像机进行定位的方法800。方法800包括：使用第一运动测量单元提供810摄像机系统中的第一摄像机的第一运动数据。方法800进一步包括：使用第二运动测量单元提供820摄像机系统中的至少一个第二摄像机的第二运动数据。而且，方法800通过将第一运动数据和第二运动数据进行比较而提供对第一摄像机和第二摄像机朝向彼此的相对姿势的确定830。
149.例如，摄像机系统200可以执行方法800。为此，数据处理电路230可以通过运行适当的计算机程序而执行方法800的至少一部分。
150.下列示例涉及进一步的实施方式：
151.(1)一种用于移动设备的摄像机系统，包括：
152.至少一个摄像机，其中，摄像机自由地安装至移动设备；
153.至少一个运动测量单元，被配置为提供摄像机的运动数据；以及
154.数据处理电路，被配置为根据运动数据确定摄像机的姿势。
155.(2)根据(1)的摄像机系统，
156.其中，摄像机被配置为提供环境的图像序列；并且
157.其中，数据处理电路被进一步配置为根据图像序列与运动数据之间的关联性确定环境内的摄像机的姿势。
158.(3)根据(2)的摄像机系统，其中，数据处理电路被进一步配置为：
159.通过将图像序列中的第一图像与图像序列中位于第一图像之后的第二图像进行比较而确定摄像机的视角变化；并且
160.根据运动数据与视角变化之间的关联性确定环境内的摄像机的姿势。
161.(4)根据(3)的摄像机系统，其中，数据处理电路被进一步配置为：
162.确定第一图像内的第一斑块，其中，第一斑块指示环境内的目标；
163.通过将第一斑块与第二图像进行比较而确定指示第二图像内的目标的第二斑块；并且
164.根据第一斑块与第二斑块之间的位移确定视角变化。
165.(5)根据(4)的摄像机系统，其中，数据处理电路被进一步配置为：
166.通过将第一斑块与第三图像进行比较而确定指示位于第二图像之后的第三图像内的目标的第三斑块；并且
167.根据第一斑块与第三斑块之间的位移确定视角变化。
168.(6)根据(4)或(5)的摄像机系统，其中，数据处理电路被进一步配置为根据视角变化与运动数据之间的关联性确定目标的位置。
169.(7)根据(6)的摄像机系统，其中，数据处理电路被进一步配置为通过跟踪目标的位置而确定环境内的目标是静止还是移动。
170.(8)根据(6)的摄像机系统，其中，数据处理电路被进一步配置为通过跟踪目标的位置而确定目标的速度。
171.(9)根据(6)的摄像机系统，其中，数据处理电路被进一步配置为：
172.将目标的位置登记到环境的数字图中；并且
173.基于摄像机的姿势和数字图确定指示第四图像内的目标的第四斑块。
174.(10)根据(1)至(9)中任一项的摄像机系统，其中，运动测量单元包括惯性测量单元imu，惯性测量单元imu被刚性地安装至摄像机并且被配置为提供至少一部分运动数据。
175.(11)根据(1)至(10)中任一项的摄像机系统，其中，运动测量单元包括全球定位系统gps传感器，全球定位系统gps传感器安装在移动设备处并且被配置为提供至少一部分运动数据。
176.(12)根据(1)至(11)中任一项的摄像机系统，其中，摄像机通过摄像机稳定器自由地安装至移动设备。
177.(13)根据(1)至(12)中任一项的摄像机系统，其中，摄像机通过弹性安装件自由地安装至移动设备。
178.(14)一种摄像机系统，包括：
179.第一摄像机；
180.第一运动测量单元，被配置为提供第一摄像机的第一运动数据；
181.至少一个第二摄像机；
182.第二运动测量单元，被配置为提供第二摄像机的第二运动数据；以及
183.数据处理电路，被配置为根据第一运动数据与第二运动数据之间的关联性确定第一摄像机与第二摄像机朝向彼此的相对姿势。
184.(15)根据(14)的摄像机系统，
185.其中，第一摄像机被配置为提供环境的第一图像序列；
186.其中，第二摄像机被配置为提供环境的第二图像序列；并且
187.其中，数据处理电路被进一步配置为根据第一运动数据、第二运动数据、第一图像序列、以及第二图像序列之间的关联性确定第一摄像机与第二摄像机朝向彼此的相对姿势。
188.(16)根据(14)或(15)的摄像机系统，其中，第一摄像机与第二摄像机中的至少一个摄像机自由地安装至移动设备。
189.(17)根据(14)至(16)中任一项的摄像机系统，其中，数据处理电路被进一步配置为：
190.根据第一图像序列与第一运动数据之间的关联性确定目标在环境内的位置；
191.将目标的位置登记到环境的数字图中；并且
192.使用数字图、第一摄像机与第二摄像机的运动数据与相对姿势，检测第二图像序列内的目标。
193.(18)根据(14)的摄像机系统，其中，第一摄像机安装至第一移动设备并且第二摄像机安装至第二移动设备。
194.(19)一种用于对移动设备的摄像机系统中的一个摄像机进行定位的方法，包括：
195.使用至少一个运动测量单元提供摄像机的运动数据，其中，摄像机自由地安装至移动设备；并且
196.根据运动数据确定摄像机的姿势。
197.(20)一种用于对移动设备的摄像机系统中的多个摄像机进行定位的方法，包括：
198.使用第一运动测量单元提供摄像机系统中的第一摄像机的第一运动数据；
199.使用第二运动测量单元提供摄像机系统中的至少一个第二摄像机的第二运动数据；并且
200.通过第一运动数据与第二运动数据的比较而确定第一摄像机与第二摄像机朝向彼此的相对姿势。
201.(21)一种分布式摄像机系统，包括：
202.第一摄像机，被配置为提供环境的第一图像序列；
203.第一运动测量单元，被配置为提供第一摄像机的第一运动数据；
204.第一数据处理电路，被配置为：
205.根据第一运动数据与第一图像序列之间的关联性确定目标在环境内的位置；
206.将目标的位置登记到环境的数字图中；并且
207.提供环境的数字图；
208.至少一个第二摄像机，被配置为提供环境的第二图像序列；
209.第二运动测量单元，被配置为提供第二摄像机的第二运动数据；以及
210.第二数据处理电路，被配置为：
211.根据第一运动数据与第二运动数据之间的关联性确定第一摄像机与第二摄像机朝向彼此的相对姿势；
212.接收环境的数字图；并且
213.基于数字图以及第一摄像机与第二摄像机朝向彼此的相对姿势，利用第二图像序列中的至少一个图像，检测目标。
214.(22)一种包括(1)的摄像机系统的车辆。
215.与一个或多个之前的详细示例及附图一起提及和描述的方面和特征也可以与一个或多个其他示例进行组合，以取代其他示例的类似特征或将特征额外地引入至其他示例。
216.当在计算机或处理器上运行计算机程序时，示例可以进一步是或关于具有用于执行上述一种或多种方法的程序代码的计算机程序。可以由已编程的计算机或处理器执行上述所述各种方法的步骤、操作、或过程。示例还可以覆盖诸如数字数据存储介质(即，机器、处理器或计算机可读)的程序存储设备，并且编码指令的机器可执行、处理器可执行、或计算机可执行的程序。该指令执行或致使执行上述所述方法中的一些或全部动作。例如，程序存储设备可以包括或可以是数字存储器、诸如磁盘和磁带的磁性存储介质、硬驱动、或光学可读数字数据存储介质。进一步示例还可以覆盖被编程为执行上述所述方法或(场)可编程逻辑阵列((f)pla)或(场)可编程门阵列((f)pga)、被编程为执行上述所述方法的动作的计
算机、处理器、或控制单元。
217.描述与附图仅示出了本公开的原理。进一步地，此处所阐述的全部示例原则上仅旨在明确地用于示出之目的，以帮助读者理解本公开的原理和发明人为促进本技术领域而提出的概念。此处对本公开的原理、方面、以及示例进行阐述的全部陈述以及其具体示例旨在涵盖其等同物。
218.表示为“用于”执行特定功能的“装置”的功能块可以指被配置为执行特定功能的电路。因此，“用于...的装置”可以实现为“被配置为用于...或适合于...的装置”，诸如被配置为用于或适合于相应任务的设备或电路。
219.可以以诸如“信号供应商”、“信号处理单元”、“处理器”、“控制器”等的专用硬件以及能够执行与适当软件相关联的软件的硬件的形式，实现附图中所示的各个元件的功能，包括标记有“装置”、“用于提供信号的装置”、“用于生成信号的装置”等的任意功能块。当由处理器提供时，可以由单一的专用处理器、单一的共享处理器、或多个独立的处理器提供该功能，一些或全部功能可以共享。然而，迄今，术语“处理器”或”控制器”并不局限于能够专门执行软件的硬件，而是可以包括数字信号处理器(dsp)硬件、网络处理器、专用集成电路(asic)、场可编程门阵列(fpga)、用于存储软件的只读存储器(rom)、随机访问存储器(ram)、以及非易失性储存器。还可以包括其他常规和/或自定义的硬件。
220.例如，框图可以示出实现本公开的原理的高级电路图。同样，流图、流程图、状态转换图、伪代码等可以表示例如计算机可读介质中大致表示并且由此由计算机或处理器执行的各个过程、操作、或步骤，无论是否明确示出了该计算机或处理器。可以通过具有用于执行这些方法中的每个相应动作的装置的设备实现本说明书或权利要求中所公开的方法。
221.应当理解的是，除非另有明确或默示的陈述，例如，出于技术原因，否则，本说明书或权利要求中所公开的多个动作、过程、操作、步骤、或功能的公开不应被视为在指定的顺序内。因此，除非该动作或功能出于技术原因而不可互换，否则，多个动作或功能的公开不将这些局限于具体的顺序。进一步地，在一些示例中，单一动作、功能、过程、操作、或步骤分别可以包括或可以分解成多个子动作、子功能、子过程、子操作、或子步骤。除非明确排除，否则，该子动作可以包括在该单一动作的公开内或构成该单一动作的公开的一部分。
222.进一步地，如果每个权利要求可以使其自身代表单独的示例，则由此将所附权利要求整合到细节描述中。尽管每个权利要求可以使其自身代表单独的示例，然而，应注意，尽管权利要求中的从属权利要求可以指与一个或多个其他权利要求的具体组合，然而，其他示例还可以包括从属权利要求与每个其他从属或独立权利要求的主题的组合。除非陈述了并不旨在进行指定的组合，否则，此处明确提出进行该组合。进一步地，即使该权利要求并不直接从属于该独立权利要求，其也旨在将权利要求的特征包括至任意其他独立权利要求。