用于生成环境的数字地图的系统、方法和计算机程序与流程

1.本公开的实施方式涉及一种用于生成环境的数字地图的系统。具体地，实施方式涉及使用飞行器生成数字地图的概念。


背景技术：

2.数字地图在商业和科学领域尤其发挥着重要作用。例如，数字地图可以用于导航目的。
3.已建立的概念提供静止数字地图。在一些应用中，可能需要时间相关的表示和/或对环境的未来状态的预测。例如，时间相关的表示或预测还可反映环境的(未来)结构变化，例如建筑物的结构变化或景观的变化。进一步，它们可允许时间相关的导航。
4.文件us20190220989a1描述了一种用于车辆的引导系统。该引导系统提供静止对象和动态对象之间的区分。然而，这个概念没有提供对环境的未来状态的预测。
5.文件us20130090787a1公开了一种将无线电高度计、嵌入式gps/ins和地图数据库用于飞机导航的三维地图系统。这个概念尤其可以用于避免飞行器与地面碰撞。但这个概念没有提供生成时间相关的数字地图的概念。
6.所以，可能需要针对数字地图的改进概念。
7.该需求可由所附的独立和从属权利要求的主题来满足。


技术实现要素：

8.根据第一方面，本公开涉及一种用于生成环境的数字地图的系统。该系统包括至少一个传感器，该至少一个传感器被配置为记录环境内对象的传感器数据和位置以及记录传感器数据的时间戳。进一步地，该系统包括数据处理电路，该数据处理电路被配置为基于传感器数据确定对象的时间相关的存在概率分布。存在概率分布指示对象在时间戳之前、之后和/或之时处于其位置的概率。该数据处理电路进一步被配置为将对象的存在概率分布登记在对象的环境的数字地图中。
9.环境例如表示区域或空间。环境的示例包括公共区域、景观或交通区域。
10.因此，对象可以是建筑物、自然结构(例如，树)、车辆(例如，汽车、卡车或摩托车)或人。
11.传感器例如包括相机、(基于飞行时间的)三维(3d)成像系统(例如，立体相机、超声系统、激光雷达系统或雷达系统)或能够检测对象是否在所感测的环境内的占用传感器(occupancy)。该传感器可以是固定安装的或者可以是可移动的。对于可移动的情况，传感器可以安装到移动装置，诸如无人飞行器(uav)，也称为“无人机”。
12.因此，传感器数据可以包括表示对象的(3d)图像数据或三维点云。传感器可以包括用于生成指示记录传感器数据的时间的时间戳的时钟。
13.在一些实施方式中，该系统可以包括多个传感器和/或上述传感器的组合。这可以使得系统能够在多个位置处监视环境。进一步，这可以提高传感器数据的可靠性。
14.数据处理电路可以是处理器、计算机、微控制器、现场可编程阵列、图形处理单元(gpu)、中央处理单元(cpu)或任何可编程硬件。
15.如果传感器安装至移动装置，则数据处理电路可以远离移动装置和传感器安装或者可以固定安装。在固定安装的情况下，数据处理电路优选地通过无线连接来传输传感器数据，以便不像用于传输传感器数据的有线连接那样限制移动装置的运动自由度。
16.数据处理电路例如能够使用对象识别来将对象与感测到的背景区分开，如稍后更详细描述的。
17.时间相关的概率分布可理解为对象在环境内处于其(感测)位置处的概率的时间历程。具体地，该概率分布包括在检测到对象之前、之时和之后在环境中的另一个位置感测到对象的概率。
18.概率分布例如可以在时间戳(检测时间)处具有最大值，并且可以从那时起随着时间和空间成比例地或指数地减小，并且可以取决于指示对象是静止对象还是移动对象以及对象在环境内保持多长时间的对象的特性。
19.以这种方式，数据处理电路可以生成环境的时间相关的数字地图。这也可以被称为“动态地图”。在一些实施方式中，数字地图可以根据一个或多个感测到的对象的概率分布来丢弃对它们的记录，例如，如果概率分布在一段时间之后下降到低于预定义阈值的话。由此，数字地图可以提供(当时)环境的时间相关的表示。
附图说明
20.以下将仅通过举例并参照附图来描述装置和/或方法的一些示例，在附图中
21.图1示出了用于生成环境的数字地图的系统；
22.图2示出了对象在环境中的时间相关的存在概率分布；
23.图3示出了环境观察的多个场景；
24.图4示出了示意性地示出用于生成环境的数字地图的方法的流程图；
25.图5a示出了记录环境；并且
26.图5b示出了确定存在概率分布。
具体实施方式
27.现在将参考附图更全面地描述各个实施方式，在附图中示出了一些示例。在附图中，为了清楚起见，可以放大线、层和/或区域的厚度。
28.因此，尽管其他示例能够具有各种修改和替代形式，但其中的一些特定示例在附图中示出并且随后将详细描述。然而，此详细描述不将其他示例限于所描述的特定形式。其他示例可涵盖落在本公开的范围内的所有修改、等效物和替代物。在整个附图的描述中，相同或相似的数字指代相同或相似的元件，当相互比较时，这些元件可以相同地实现或以修改形式实现，同时提供相同或相似的功能。
29.应当理解，当元件被称为“连接”或“耦接”至另一个元件时，元件可经由一个或多个中间元件直接连接或耦接。如果使用“或”组合两个元件a和b，则应理解为公开所有可能的组合，即只有a、只有b以及a和b，如果没有明确地或隐含地另外限定。相同组合的替代措辞是“a和b中的至少一个”或“a和/或b”。加以必要的变更，这同样适用于两个以上元件的组
合。
30.本文中所使用的用于描述特定示例的术语不旨在限制其他示例。每当使用诸如“一个(a)”、“一种(an)”和“该(the)”的单数形式并且仅使用单个元件既不明确地也不隐含地被定义为强制性的时，其他示例还可以使用多个元件来实现相同的功能。同样地，当功能随后被描述为使用多个元件来实现时，其他示例可以使用单个元件或处理实体来实现相同的功能。应进一步理解，术语“包括(comprises)”、“包括(comprising)”、“包括(includes)”和/或“包括(including)”在使用时指定所述特征、整体、步骤、操作、过程、动作、元件和/或部件的存在，但不排除一个或多个其他特征、整体、步骤、操作、过程、动作、元件、部件和/或其任何组的存在或添加。
31.除非另有限定，否则所有术语(包括技术术语和科学术语)在本文中以示例所属领域的普通含义使用。
32.在一些应用中，可能需要环境的动态/时间相关的数字地图。例如，时间相关的数字地图还可反映环境的结构变化，例如建筑物的结构变化或景观的变化。因此，时间相关的数字地图例如用于表示连续变化的区域。
33.本公开涉及用于生成这种时间相关的数字地图的概念。
34.图1示出了用于生成环境的时间相关的数字地图142的系统100。
35.系统100包括传感器110，该传感器用于记录对象130的传感器数据和位置以及记录传感器数据的时间戳。
36.系统100例如还包括用于记录指示传感器110记录传感器数据的时间的时间戳的时钟(未示出)。
37.传感器110例如包括相机。相机110例如是rgb/颜色敏感相机、摄像机、红外(ir)相机或其组合。因此，传感器数据尤其可以包括图像数据。
38.在替代实施方式中，传感器110可包括激光雷达系统、雷达系统、超声波传感器、飞行时间相机、占用传感器或其组合。
39.在不同的天气条件下，传感器110的前述实施例中的每个可具有比其他实施例更高或更低的分辨率。由此，多个不同传感器的组合可以提高传感器数据的可靠性。
40.在图1的示例中，所感测的环境对应于相机110的视场并且包括对象130。
41.数据处理电路120可确定时间相关的存在概率分布122，其指示对象130在时间戳之前、之后和/或之时位于感测位置的概率。
42.图2示出了存在概率分布122的生成的示例。
43.数据处理电路120可以使用对象识别来基于图像数据检测和表征对象130。
44.数据处理电路120可以基于相机10的地理位置和对象130相对于相机110的相对位置来确定对象130的位置。为此，数据处理电路120例如根据图像数据确定相对位置，并且根据来自安装在相机110上的全球定位系统(gps)的位置数据确定相机110的地理位置。
45.第一示图190-1将对象130的检测112示出为随时间和空间绘制的概率峰。检测112例如被映射到时间戳的时间和对象在第一示图190-1中的位置。
46.第二示图190-2示出了存在概率分布122的示例。
47.为了生成存在概率分布122，数据处理电路120可以将位置和时间戳输入到多维函数中，并且具体地是时间和空间相关的函数中。在图2的示例中，多维函数例如是所谓的“高
斯核函数”。可替代地，存在概率分布122可以对应于替代的(多维的)所谓的“内核函数”。
48.因此，存在概率分布122描述对象130在任何时间点处于环境内任何位置的概率。
49.从第二示图190-2中可以看出，所得到的存在概率分布122例如在时间戳的时间和对象的位置具有最大值。
50.对象识别可进一步提供对象130的分类，以根据对象130的分类来调整存在概率分布/高斯核函数122的参数。这些参数例如指定了高斯核函数的斜率和/或半峰全宽。
51.对象识别例如可将对象130分类为静止对象或移动/活动对象。静止对象的存在概率分布122的参数可以不同于移动对象的存在概率分布122的参数，使得静止对象的存在概率分布122例如比移动对象的存在概率分布122下降得更慢。
52.此外，数据处理电路120可将对象130的存在概率分布122登记在环境的数字地图142中。数字地图142例如是在二维或三维空间中表示环境的空间地图。因此，数据处理电路120可以根据数字地图142中的对象的位置登记存在概率分布122。
53.前述系统100因此可提供用于环境的时间相关的表示的时间相关的数字地图。例如，这允许在系统100的一些应用中进行时间相关的导航。
54.系统100还可以多次检测对象130。
55.对于(第一)检测112，相机110可以记录对象的第一传感器数据/第一图像数据和第一位置以及在第一时间点记录第一传感器数据/第一图像数据的第一时间戳，并且对于第二检测112’，相机110可以记录对象的第二传感器数据/第二图像数据和第二位置以及在第二时间点记录第二传感器数据/第二图像数据的第二时间戳。对于第二检测112’，数据处理电路120可以应用对象识别验证第一检测的对象和第二检测的对象是否相同。
56.第三示图190-3示出了随时间和空间绘制的第一检测112和第二检测112’。
57.在第三示图190-3中可以看出，利用第二检测112’确定的对象的第二位置可以不同于第一检测112的第一位置。这可能是由于对象130的运动造成的。
58.第四示图190-4示出了由第一检测112和第二检测112’产生的更新的存在概率分布122’。
59.这个概念可以类似地应用于使用另外的传感器数据集/图像数据集和相应的时间戳的对象130的另外的检测。
60.更新的存在概率分布122’例如是存在概率分布122和取决于第二检测112’的第二时间戳和对象的第二位置的另一高斯核函数的组合。因此，数据处理电路120可以用更新的存在概率分布122’更新数字地图142。存在概率分布122的更新因此使得能够调整对象的时间和空间相关的存在概率分布，以获得环境的更可靠和更精确的表示。
61.如图1中可见，数字地图142例如存储在连接至数据处理电路120的(物理)数据存储器140上。数据存储器140可以是硬盘驱动器、光盘等。
62.相机110可以是移动的。这允许将所感测的环境扩展到相机110的视场之外。例如，相机110可以集成到移动装置(例如，车辆、手持式装置或可佩戴装置)中。
63.图3示出了使用系统100观察环境的多个场景。
64.在所示场景中，相机110安装至无人飞行器(uav)200。这可以使相机110能够从鸟瞰图中扫描多个位置处的环境。以此方式，相机110可以检测位于多个位置处的多个对象130。
65.在所示场景中，对象130对应于一个或多个树130-1(场景“1”)、对应于桥130-2(场景“2”)、对应于建筑物130-3(场景“3”)和/或对应于拖车130-4(场景“4”)，每对象位于多个位置中的一个。
66.相机110例如将所述对象130的传感器数据(例如，图像数据)传送至数据处理电路120，在这种情况下，该数据处理电路是统一线程管理(utm)服务器。
67.例如，如参考图1和图2所描述的，服务器120生成和更新数字地图142。
68.由于多次检测，系统100可以验证树130-1、桥130-2和建筑物130-3作为静止对象的分类以及拖车130-4作为活动或移动对象的分类。
69.为了避免模糊错误，服务器120还可以被配置为在随后的检测中通过它们各自的图像数据识别对象130。由此，服务器120例如可以检测对象130中的一个是否已被另一对象替换。
70.服务器120还可以被配置为根据图像数据以及每次检测确定对象130的结构。该结构例如指示对象130的轮廓和/或外观。
71.以这种方式，如果对象130的结构在多次检测之间发生变化，则服务器120可以将对象分类为可变/变化对象。树130-1例如可以经历季节性变化。所以，服务器120例如将树130-1分类为可变/变化对象。
72.此外，服务器120可以使用对象识别通过对象的结构将对象130分类为“空心”或“实心/完整”。例如，数据处理电路130可以将桥130-2分类为空心对象并且将建筑物130-3分类为实心对象。例如，这允许对环境的更详细的表示。
73.前述概念可进一步应用于使用多个uav 200来勘测环境并记录传感器数据的应用。例如，那些uav 200可以同时在多个位置勘测环境，这可以加速记录传感器数据。这进一步使得能够使用不同的uav 200在不同时间点检测对象130。
74.图4示出了示意性地示出用于生成环境的数字地图的方法400的流程图。方法400包括记录410对象在环境内的传感器数据和位置以及记录传感器数据的时间戳。此外，方法400包括基于传感器数据确定420对象的时间相关的存在概率分布，其中，存在概率分布指示对象在时间戳之前、之后和/或之时处于该位置的概率。此外，方法400将对象的存在概率分布登记430在对象的环境的数字地图中。
75.使用所提出的系统100，方法400可以允许生成环境的时间相关的数字地图142。因此，时间相关的数字地图可以实现环境的时间相关的表示和/或时间相关的导航。
76.参考图1、图2、图3和图4，结合系统100描述方法400的实施方式的更多方面和特征。
77.图5a和图5b更详细地示出了记录410传感器数据和确定420存在概率分布122。图5a和图5b特别涉及使用图3的uav200的方法400的应用。
78.如从图5a可见，方法400还可包括将来自服务器120的预定飞行轨迹传送402到uav 200。为此，服务器120例如建立到uav 200的无线连接。
79.方法400可进一步包括检查404来自相机110的传感器数据的可用性和当前准确度，传感器数据的可用性和当前准确性例如根据周围天气条件而变化。
80.如果来自相机110的传感器数据的准确度足够，则相机110沿着飞行轨迹勘测环境并且将传感器数据发送至服务器120。
81.如果来自相机110的传感器数据的准确度不够，uav 200可以检查其他传感器(诸如激光雷达、雷达和/或超声传感器)是否可用404以及来自其他传感器的传感器数据的准确度是否足够。如果来自其他传感器的传感器数据足够，uav 200可将那些传感器数据发送到服务器120。
82.以这种方式，uav 200例如也能够在“恶劣天气条件”(例如，有雾或有雨)下以足够的准确度勘测环境，尤其是在相机110不能提供具有足够准确度的传感器数据的情况下。
83.如上所述，方法400包括使用所选择的传感器记录410沿着飞行轨迹的环境的传感器数据。另外，方法400可以包括检查传感器数据的准确度并且将传感器数据传送到服务器120。
84.或者，如果没有可用的传感器110能提供预定的足够准确度，方法400可以将uav 200取回405到其基础/住宅。
85.如图5b所示，方法400将传感器数据传送406到服务器120并且使传感器数据与环境的数字地图同步408。为了传送406传感器数据，传感器例如重新建立到服务器120的无线连接。
86.随后，服务器120可继续基于对象130的先前分类确定430感测到的对象130的存在概率分布122，如上文结合系统100所述。
87.如上所述，服务器120例如将感测到的对象130分类为“变化的”、“不动的空心的”和/或“不动的实心的/完整的”，以根据它们的分类确定它们的存在概率分布122。
88.因此，存在概率分布122可以例如以附加(高斯)核函数的形式登记在环境的数字地图142中。
89.通过向数字地图添加核函数，数字地图也随时间而变得动态且可靠。由于使用各种不同的传感器，系统100还可以勘测“恶劣”天气条件(例如，降雨、大雾、降雪)下的环境，在恶劣天气条件下的可见度低于例如“良好”的天气条件(例如，阳光)下的可见度。
90.其他实施方式涉及：
91.(1)一种用于生成环境的数字地图的系统，包括：
92.至少一个传感器，被配置为
93.记录对象的传感器数据和位置以及记录传感器数据的时间戳；以及
94.数据处理电路，被配置为：
95.基于传感器数据确定对象的时间相关的存在概率分布，其中，存在概率分布指示对象在时间戳之前、之后和/或之时处于其位置的概率；以及
96.将对象的存在概率分布登记在对象的环境的数字地图中。
97.(2)根据(1)的系统，其中，存在概率分布包括取决于时间戳和对象的位置的时间相关的高斯核函数。
98.(3)根据(1)至(2)中任一项的系统，
99.其中，所述传感器被配置为：
100.记录对象的第一传感器数据和第一位置以及在第一时间点记录第一传感器数据的第一时间戳；
101.记录对象的第二传感器数据和第二位置以及在第二时间点记录第二传感器数据的第二时间戳；并且
102.其中，所述数据处理电路被配置为：
103.基于第一传感器数据和第二传感器数据确定对象的时间相关的存在概率分布，其中，时间相关的存在概率表示对象在第一时间点之前、之后和/或之时处于第一位置并且在第二时间点之前、之后和/或之时处于第二位置。
104.(4)根据(3)的系统，
105.其中，传感器被配置为记录另外的传感器数据集和对象的其他位置以及在另外的时间点记录相应的传感器数据集的相应时间戳；
106.其中，所述数据处理电路被配置为：
107.根据另外的传感器数据集、另外的位置、第一时间戳、第二时间戳、另外的相应时间戳，确定时间相关的存在概率分布。
108.(5)根据(3)或(4)的系统，其中，数据处理电路被配置为：
109.根据第一传感器数据确定对象在第一时间点的结构；
110.根据第二传感器数据确定对象在第二时间点的结构；
111.如果对象在第一时间点的结构不同于对象在第二时间点的结构，则将对象分类为可变对象。
112.(6)根据(1)至(5)中任一项的系统，包括：
113.第一传感器，被配置为记录对象的第一传感器数据和第一位置以及在第一时间点记录第一传感器数据的第一时间戳；以及
114.第二传感器，被配置为记录对象的第二传感器数据和第二位置以及在第二时间点记录第二传感器数据的第二时间戳。
115.(7)根据(1)至(6)中任一项的系统，其中，数据处理电路被配置为基于对象的传感器数据将对象分类为移动对象或静止对象。
116.(8)根据(1)至(7)中任一项的系统，其中，传感器安装至移动装置。
117.(9)根据(8)的系统，其中，移动装置是无人飞行器(uav)。
118.(10)根据(1)至(9)中任一项的系统，其中，传感器包括激光雷达系统、超声波系统、相机、飞行时间相机和雷达系统中的至少一个。
119.(11)一种用于生成环境的数字地图的方法，包括：
120.记录对象的传感器数据和位置以及记录传感器数据的时间戳；以及
121.确定对象在环境内的时间相关的存在概率分布，该存在概率分布取决于时间戳以及对象是否在环境内；以及
122.将对象的存在概率分布登记在环境的数字地图中。
123.(12)一种包括指令的计算机程序，该指令在由处理器执行时使处理器执行(11)的方法。
124.与一个或多个先前详述的示例和附图一起提及和描述的方面和特征也可以与一个或多个其他示例组合，以便替换其他示例的类似特征，或以便将特征另外引入到其他示例。
125.示例还可以是或涉及具有程序代码的计算机程序，当计算机程序在计算机或处理器上执行时，所述程序代码用于执行上述方法中的一个或多个。上述各种方法的步骤、操作或过程可以由编程计算机或处理器形成。示例还可涵盖程序存储设备，例如数字数据存储
介质，它们是机器、处理器或计算机可读的并且对指令的机器可执行、处理器可执行或计算机可执行程序进行编码。这些指令执行或致使执行上述方法的一些或全部动作。程序存储设备可以包括或者是例如数字存储器、诸如磁盘和磁带的磁存储介质、硬盘驱动器或光学可读数字数据存储介质。其他示例还可以覆盖被编程为执行上述方法的动作的计算机、处理器或控制单元，或被编程为执行上述方法的动作的(场)可编程逻辑阵列((f)pla)或(场)可编程门阵列((f)pga)。
126.说明书和附图仅示出了本公开的原理。此外，在本文中引用的所有示例主要明确地仅用于说明目的，以帮助读者理解本公开的原理和发明人为促进本领域的发展而贡献的概念。在本文中引用本公开的原理、方面和示例以及其具体示例的所有陈述旨在涵盖其等同物。
127.表示为执行某个功能的“用于
……
的装置”的功能块可以指被配置为执行某个功能的电路。因此，“用于某事的装置”可以实现为“被配置为或适用于某事的装置”，诸如，被配置为或适用于相应任务的设备或电路。
128.在附图中示出的各种元件的功能，包括被标记为“装置”、“用于提供信号的装置”、“用于生成信号的装置”等的任何功能块，可以以诸如“信号提供器”、“信号处理单元”、“处理器”、“控制器”等的专用硬件以及能够执行与适当软件相关联的软件的硬件的形式来实现。当由处理器提供时，这些功能可以由单个专用处理器、由单个共享处理器、或由多个单独的处理器提供，其中一些或所有处理器可以是共享的。然而，术语“处理器”或“控制器”迄今为止不限于专门能够执行软件的硬件，而是可以包括数字信号处理器(dsp)硬件、网络处理器、专用集成电路(asic)、现场可编程门阵列(fpga)、用于存储软件的只读存储器(rom)、随机存取存储器(ram)和非易失性存储器。还可以包括常规和/或定制的其他硬件。
129.例如，框图可以示出实现本公开原理的高级电路图。类似地，流程图、流程示图、状态转变示图、伪代码等可表示不同过程、操作或步骤，这些过程、操作或步骤可以例如大体上在计算机可读介质中表示且由计算机或处理器执行，而不管是否明确地示出此类计算机或处理器。说明书或权利要求书中公开的方法可由具有用于执行这些方法的各个动作中的每个的装置的设备来实现。
130.应当理解，说明书或权利要求中公开的多个动作、过程、操作、步骤或功能的公开可以不被解释为在特定顺序内，除非另外明确地或隐含地说明，例如出于技术原因。因此，除非由于技术原因这些动作或功能不可互换，否则多个动作或功能的公开将不会将这些动作或功能限制为特定顺序。此外，在一些示例中，单个动作、功能、过程、操作或步骤可以分别包括或可以分成多个子动作、子功能、子过程、子操作或子步骤。除非明确排除，否则这样的子动作可以包括在内并且是该单个动作的公开的一部分。
131.此外，以下权利要求在此并入详细说明中，其中每个权利要求可以作为单独的示例独立存在。虽然每个权利要求可独自作为单独的示例，但是应注意，虽然从属权利要求可在权利要求中引用与一个或多个其他权利要求的特定组合，但其他示例也可包括从属权利要求与每个其他从属或独立权利要求的主题的组合。此类组合在本文中被明确提出，除非声明特定组合是没有的。此外，旨在将权利要求的特征也包括在任何其他独立权利要求中，即使该权利要求不是直接从属于独立权利要求。