从车辆传感器和相机阵列生成结构化地图数据的制作方法

技术特征：
1.一种生成结构化地图数据的方法，包括：从安装在车辆上的至少一个传感器接收带时间戳的传感器数据；接收包括至少两个视频流的带时间戳的视频数据，每个视频流由安装在车辆上的至少两个相机的相机产生；从带时间戳的传感器数据计算多个空间读取值，每个空间读取值包括位置和相关联的时间戳，使得所述位置指示在由相关联的时间戳指示的时间期间所述至少一个传感器被认为处于的位置，所述多个空间读取值包括包含位置p0和时间t0的第一空间读取值，以及包含位置p1和时间t1的第二空间读取值；根据带时间戳的视频数据，为至少两个视频流中的每一个计算多个图像记录，每个图像记录包括图像和相关联的时间戳，使得图像被认为已经在相关联的时间戳被记录；使用处理器标识至少两个t0图像记录，每个t0图像记录从用于所述至少两个视频流中的每一个的多个图像记录之一中选择，使得所述至少两个t0图像记录的每个图像记录具有大约等于t0的相关联时间戳；使用处理器标识至少两个t1图像记录，每个t1图像记录从用于所述至少两个视频流中的每一个的多个图像记录之一中选择，使得所述至少两个t1图像记录的每个图像记录具有大约等于t1的相关联时间戳；使用处理器，标识存在于所述至少两个t0图像记录的每一个中和所述至少两个t1图像记录中的固定特征；基于所述至少两个t0图像记录之间的视差差来计算固定特征在时间t0的t0相对特征位置；基于所述至少两个t1图像记录之间的视差差来计算固定特征在时间t1的t1相对特征位置；基于t0相对特征位置和t1相对特征位置之间的差来确定对p1的调整。2.根据权利要求1所述的方法，进一步包括：使用处理器来标识图像记录中的多个固定特征；对于所述多个固定特征中的每一个，基于至少两个图像记录计算固定特征的至少一个相对特征位置，以产生多个相对特征位置；通过基于所述多个相对特征位置确定对所述多个空间读取值的每个空间读取值的位置的调整来产生多个调整；将所述多个调整应用于所述多个空间读取值的每个空间读取值的位置，以产生多个经调整的空间读取值；检测所述多个经调整的空间读取值的后一位置是否在所述多个经调整的空间读取值的前一位置的最大循环闭合距离内，后一位置和前一位置被最小循环时间和最小循环距离之一分离，后一位置与后一时间戳相关联，并且前一位置与前一时间戳相关联；和从所述多个图像记录中的第一图像记录和第二图像记录中计算循环闭合误差，第一图像记录具有大约等于前一时间戳的相关联时间戳，第二图像记录具有大约等于后一时间戳的相关联时间戳。3.根据权利要求3所述的方法，其中，所述循环闭合误差用于计算对所述多个经调整的空间读取值的另外调整。
4.根据权利要求1所述的方法，其中，所述带时间戳的传感器数据包括来自安装在车辆中的加速度计的数据，并且使用来自全球定位系统的定时信号将时间戳应用于传感器数据。5.根据权利要求4所述的方法，其中，所述至少两个相机安装在安装在车辆上的相机阵列中。6.一种生成结构化地图数据的方法，包括：从安装在车辆上的至少一个传感器接收带时间戳的传感器数据；接收包括至少两个视频流的带时间戳的视频数据，每个视频流由安装在车辆上的至少两个相机的相机产生；从带时间戳的传感器数据计算多个空间读取值，每个空间读取值包括位置和相关联的时间戳，使得所述位置指示在由相关联的时间戳指示的时间期间所述至少一个传感器被认为处于的位置；根据带时间戳的视频数据，为所述至少两个视频流中的每一个计算多个图像记录，每个图像记录包括图像和相关联的时间戳，使得所述图像被认为已经在相关联的时间戳被记录；使用处理器来标识与特征相关联的多个特征图像记录，特征图像记录是所述多个图像记录的子集，使得每个图像记录中的每个图像包含所述特征；通过从特征图像记录中的每个图像计算相对特征位置来计算多个相对特征位置；和基于所述多个相对特征位置产生包括所述特征的多个位置的点云。7.根据权利要求6所述的方法，其中，从点云计算特征的概率性位置，随着收集到包含特征的更多带时间戳的视频数据，概率性位置的准确度改进。8.根据权利要求7所述的方法，其中，将特征的概率性位置与历史地图数据进行比较，以确定特征是否是静止的。9.根据权利要求7所述的方法，其中，特征的概率性位置用于更新历史地图数据。10.根据权利要求6所述的方法，进一步包括：使用处理器来标识至少两个t0图像记录，每个t0图像记录从用于所述至少两个视频流中的每一个的多个图像记录之一中选择，使得所述至少两个t0图像记录的每个图像记录具有大约等于t0的相关联时间戳；使用处理器标识至少两个t1图像记录，每个t1图像记录从用于所述至少两个视频流中的每一个的多个图像记录之一中选择，使得所述至少两个t1图像记录的每个图像记录具有大约等于t1的相关联时间戳；使用处理器标识存在于所述至少两个t0图像记录的每一个中和所述至少两个t1图像记录中的固定特征；基于所述至少两个t0图像记录之间的视差差来计算固定特征在时间t0的t0相对特征位置；基于所述至少两个t1图像记录之间的视差差来计算固定特征在时间t1的t1相对特征位置；基于t0相对特征位置和t1相对特征位置之间的差，确定对p1的调整。11.根据权利要求10所述的方法，进一步包括：
通过确定对所述多个空间读取值中的每个空间读取值的位置的调整来产生多个调整，所述多个调整基于使用处理器在图像记录中标识的多个固定特征的多个相对特征位置；将所述多个调整应用于所述多个空间读取值中的每个空间读取值的位置，以产生多个经调整的空间读取值；检测所述多个经调整的空间读取值的后一位置是否在所述多个经调整的空间读取值的前一位置的最大循环闭合距离内，后一位置和前一位置被最小循环时间和最小循环距离之一分离；和基于后一位置、与后一位置相关联的时间戳、前一位置和前一位置的时间戳，从带时间戳的视频数据中计算循环闭合误差。12.根据权利要求11所述的方法，其中，所述循环闭合误差用于计算点云中至少一个位置的调整。13.根据权利要求1所述的方法，其中，所述带时间戳的传感器数据包括来自安装在车辆中的惯性测量单元的数据和来自安装在车辆中的全球定位系统的时间戳。14.一种用于生成结构化地图数据的系统，包括：车辆，其具有时间源、收集传感器数据的传感器和至少两个相机的阵列，每个相机产生视频流，其中来自时间源的时间戳被应用于传感器数据以产生带时间戳的传感器数据，并且应用于每个视频流以产生带时间戳的视频数据；和传感器数据处理系统，其接收带时间戳的传感器数据和带时间戳的视频数据，所述传感器数据处理系统执行以下步骤：（a）根据带时间戳的传感器数据，计算多个空间读取值，每个空间读取值包括位置和相关联的时间戳，使得所述位置指示在由相关联的时间戳指示的时间期间所述至少一个传感器被认为处于的位置，所述多个空间读取值包括第一空间读取值和第二空间读取值，第一空间读取值包括位置p0和时间t0，第二空间读取值包括位置p1和时间t1；（b）根据带时间戳的视频数据，为所述至少两个视频流中的每一个计算多个图像记录，每个图像记录包括图像和相关联的时间戳，使得图像被认为已经在相关联的时间戳被记录；（c）使用处理器来标识至少两个t0图像记录，每个t0图像记录从用于所述至少两个视频流的每一个的多个图像记录之一中选择，使得所述至少两个t0图像记录的每个图像记录具有大约等于t0的相关联时间戳；（d）使用处理器来标识至少两个t1图像记录，每个t1图像记录从用于所述至少两个视频流中的每一个的多个图像记录之一中选择，使得所述至少两个t1图像记录的每个图像记录具有大约等于t1的相关联时间戳；（e）使用处理器来标识存在于所述至少两个t0图像记录的每一个中和所述至少两个t1图像记录中的固定特征；（f）基于所述至少两个t0图像记录之间的视差差计算固定特征在时间t0的t0相对特征位置；（g）基于所述至少两个t1图像记录之间的视差差计算固定特征在时间t1的t1相对特征位置；（h）基于t0相对特征位置和t1相对特征位置之间的差，确定对p1的调整。
15.根据权利要求14所述的系统，其中，所述传感器数据处理进一步执行以下步骤：通过确定对所述多个空间读取值中的每个空间读取值的位置的调整来产生多个调整，所述多个调整基于使用处理器在图像记录中标识的多个固定特征的多个相对特征位置；将所述多个调整应用于所述多个空间读取值中的每个空间读取值的位置，以产生多个经调整的空间读取值；检测所述多个经调整的空间读取值的后一位置是否在所述多个经调整的空间读取值的前一位置的最大循环闭合距离内，后一位置和前一位置被最小循环时间和最小循环距离之一分离；和基于后一位置、与后一位置相关联的时间戳、前一位置和前一位置的时间戳，从带时间戳的视频数据计算循环闭合误差。16.根据权利要求15所述的系统，其中，所述循环闭合误差用于计算对所述多个经调整的空间读取值的另外调整。17.根据权利要求14所述的系统，其中，所述传感器数据处理进一步执行以下步骤：使用处理器，标识与特征相关联的多个特征图像记录，所述特征图像记录是所述多个图像记录的子集，使得对于所述特征图像记录中的每个时间戳，与所述时间戳相关联的至少一个图像包含所述特征；和通过从所述特征图像记录中的每个图像计算相对特征位置来计算多个相对特征位置；和基于所述多个相对特征位置产生包括所述特征的多个位置的点云。18.根据权利要求17所述的系统，其中，从点云计算特征的概率性位置，随着收集到包含特征的更多带时间戳的视频数据，概率性位置的准确度改进。19.根据权利要求18所述的系统，其中，将特征的概率性位置与历史地图数据进行比较，以确定所述特征是否是静止的。20.根据权利要求14所述的系统，其中，收集传感器数据的传感器包括加速度计和陀螺仪，并且时间源是全球定位系统。

技术总结
来自车辆传感器和附接到车辆的相机阵列的运动和视频数据沿着由车辆驱动的路径收集视频和传感器数据。一种系统处理这样的数据以产生高准确度结构化地图数据，这样的数据如可以用于精确定位其环境中的移动车辆。根据传感器数据计算位置。基于视频数据更新位置。当检测到车辆路径中的循环时，循环闭合误差被计算并且用于更新位置以及当计算未来位置时减少传感器中的偏差。视频中特征的位置用于创建或更新结构化地图数据。更新结构化地图数据。更新结构化地图数据。


技术研发人员：N
受保护的技术使用者：威力登激光雷达美国有限公司
技术研发日：2020.01.22
技术公布日：2021/11/19