传感器的参数确定方法和装置与流程

1.本公开涉及定位技术领域，特别涉及传感器的参数确定方法和装置。


背景技术：

2.基于视觉传感器、惯性测量单元(inertial measurement unit，imu)和全球导航卫星系统((global navigation satellite system，gnss)等多种类型传感器的多传感器融合定位方案，兼具定位精度高和成本低的优势，是实现高精度定位的解决方案之一。而多传感器融合定位系统，在系统初始化阶段，所获得的传感器的工作参数的精确度对于系统输出的定位结果的精度起到至关重要的作用。因此，如何获得传感器准确的工作参数，是本领域技术人员需要解决的问题。


技术实现要素：

3.鉴于上述问题，提出了本公开以便提供一种克服上述问题或者至少部分地解决上述问题的一种传感器的参数确定方法和装置。
4.第一方面，本公开实施例提供一种传感器的参数确定方法，包括：
5.获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；
6.确定每帧图像的归一化位置和姿态；
7.基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值；
8.基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对所述尺度的初值和所述第二外参的初值进行优化，得到第二外参优化值和尺度优化值；
9.基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对所述尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
10.在一些可选的实施例中，所述基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值，具体包括：
11.基于每帧图像的归一化位置和gnss定位数据，得到视觉传感器的尺度的初值；
12.基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器相对于世界坐标系的第二外参的初值。
13.在一些可选的实施例中，所述基于每帧图像的归一化位置和gnss定位数据，得到视觉传感器的尺度的初值，具体包括：
14.根据每帧图像的归一化位置和gnss定位数据中的定位位置，对视觉传感器的尺度的设定值进行优化，得到视觉传感器的尺度的初值。
15.在一些可选的实施例中，所述基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器相对于世界坐标系的第二外参的初值，具体包括：
16.根据每帧图像的归一化位置确定第一位置参数均值，根据每帧图像对应的gnss定位数据中的定位位置确定第二位置参数均值；
17.根据每帧图像的姿态、惯导测量数据中的三轴加速度和所述第一外参，确定视觉坐标系下的三轴加速度，根据所述视觉坐标系下的三轴加速度得到第一加速度参数均值，根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度确定世界坐标系下的第二加速度参数均值；
18.根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值。
19.在一些可选的实施例中，所述根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值，具体包括：
20.根据所述第一位置参数均值和第二位置参数均值确定第二外参的初始旋转值；
21.将所述第一加速度参数均值按照第二外参的所述初始旋转值旋转，得到第三加速度参数均值；
22.确定所述第二位置参数均值在以所述第三加速度参数均值为法线的平面上的第一投影，和所述第二位置参数均值在以所述第二加速度参数均值为法线的平面上的第二投影；
23.根据所述第一投影和第二投影，确定第二外参的再次旋转值；
24.根据第二外参的初始旋转值和再次旋转值，确定第二外参的初值。
25.在一些可选的实施例中，所述基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对所述尺度的初值和所述第二外参的初值进行优化，得到第二外参优化值和尺度优化值，具体包括：
26.根据每帧图像的归一化位置、视觉传感器的尺度的初值、和视觉传感器相对于世界坐标系的第二外参的初值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第一位置残差；
27.根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度，确定第一加速度，根据每帧图像的姿态、惯导测量数据中的三轴加速度、所述第一外参和第二外参的初值，确定第二加速度，将所述第一加速度与第二加速度的差值作为加速度残差；
28.对第一位置残差和加速度残差的残差和迭代优化，得到第二外参优化值和尺度优化值。
29.在一些可选的实施例中，所述基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对所述尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值，具体包括：
30.根据每帧图像的归一化位置、视觉传感器的尺度的优化值、和视觉传感器相对于世界坐标系的第二外参的优化值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第二位置残差；
31.根据每帧图像的惯导测量数据中的惯导位置预积分、惯导相对于全球定位系统的
位置参数、所述第一外参和重力加速度，确定位置预积分残差；
32.根据每帧图像的速度初值、惯导测量数据中的惯导速度预积分、所述第一外参和重力加速度，确定速度预积分残差；
33.对所述位置预积分残差、速度预积分残差和第二位置残差的残差和迭代优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
34.在一些可选的实施例中，还包括：
35.根据每帧图像的姿态和所述第一外参，确定惯性测量单元的姿态；
36.基于每帧图像的惯性测量单元的姿态、角速度预积分、角速度预积分对惯性测量单元的陀螺仪零偏的偏导，对陀螺仪零偏的初值进行优化，得到陀螺仪零偏的目标值。
37.在一些可选的实施例中，所述确定每帧图像的归一化位置和姿态，具体包括：
38.通过特征点匹配和对极几何的方法，确定每帧图像相对于第一帧图像的归一化相对位置和相对姿态。
39.在一些可选的实施例中，所述获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据，具体包括：
40.获取在设定时间段内视觉传感器拍摄的两帧以上的图像、惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；
41.以每帧图像的拍摄时间为基准，对惯导测量数据和gnss定位数据进行差分解算，确定每帧图像对应的惯导测量数据和gnss定位数据。
42.第二方面，本公开实施例提供一种传感器的参数确定装置，包括：
43.获取模块，用于获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；
44.确定模块，用于确定每帧图像的归一化位置和姿态；
45.初始优化模块，用于基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值；
46.局部优化模块，用于基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对所述尺度的初值和所述第二外参的初值进行优化，得到第二外参优化值和尺度优化值；
47.全局优化模块，用于基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对所述尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
48.第三方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述传感器的参数确定方法。
49.第四方面，本公开实施例提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述传感器的参数确定方法。
50.发明实施例提供的传感器的参数确定方法，获取在设定时间段内视觉传感器拍摄
的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据后，执行下述步骤：确定每帧图像的归一化位置和姿态；基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值；基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对尺度的初值和第二外参的初值进行优化，得到第二外参优化值和尺度优化值；基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。该技术方案的有益效果至少包括：
51.(1)先合理确定视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值，然后在局部优化的基础上使得初值得到了更准确的优化，继而又实现了全局优化，故最终的传感器参数确定结果精度高。
52.(2)一次性完成传感器的工作参数确定工作，即传感器的初始化工作，而不是先进行vio融合，在验证vio融合结果合理的情况下，再进行vio和gnss的对齐，缩短了初始化时间。
53.本公开的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开而了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
54.下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
附图说明
55.附图用来提供对本公开的进一步理解，并且构成说明书的一部分，与本公开的实施例一起用于解释本公开，并不构成对本公开的限制。在附图中：
56.图1为本公开实施例一中传感器的参数确定方法的流程图；
57.图2为图1中步骤s13的具体实现流程图；
58.图3为图1中步骤s14的具体实现流程图；
59.图4为本公开实施例中传感器的参数确定方法的示例图；
60.图5为陀螺仪零偏的目标值确定方法的具体实现流程图；
61.图6为本公开实施例二中第二外参的初值确定方法的具体实现流程图；
62.图7为图6中步骤s64的具体实现流程图；
63.图8为本公开实施例中传感器的参数确定装置的结构示意图。
具体实施方式
64.下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
65.为了解决现有技术中存在的多传感器融合定位系统的初始化精度低、耗时长的问题，本公开实施例提供一种传感器的参数确定方法和装置，能够快速准确的对多传感器融
合定位系统中传感器的工作参数进行初始化。
66.多传感器融合定位系统每次启动后都需要进行初始化，确定各传感器的工作参数，用于后续定位。
67.首先获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据。
68.在一个实施例中，可以包括，获取在设定时间段内视觉传感器拍摄的两帧以上的图像、惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；以每帧图像的拍摄时间为基准，对惯导测量数据和gnss定位数据进行差分解算，确定每帧图像对应的惯导测量数据和gnss定位数据。
69.具体的，上述设定时间段，可以是在多传感器融合定位系统所在车辆行驶初期的2～10s的时间段，例如上述两帧以上的图像可以是在2秒时间段内采集的30帧图像；对应的，获取的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据也是在同样的时间段内采集的数据，将惯导测量数据和gnss定位数据按照图像的拍摄时间进行时间差分对齐。
70.根据获取到的每帧图像的拍摄时间对应的图像、惯导测量数据和gnss定位数据，按照下述实施例中的方法确定传感器的工作参数。为了描述方便，第i帧图像的拍摄时间对应的惯导测量数据和gnss定位数据中的相关数据，后面有的地方描述为第i时刻的惯导测量数据和gnss定位数据中的相关数据。
71.实施例一
72.本公开实施例一提供一种传感器的参数确定方法，其流程如图1所示，包括如下步骤：
73.步骤s11：确定每帧图像的归一化位置和姿态。
74.在一个实施例中，可以包括，通过特征点匹配和对极几何的方法，确定每帧图像相对于第一帧图像的归一化相对位置和相对姿态。
75.具体可以包括，通过sfm(structure from motion，sfm是从一系列包含视觉运动信息的多幅二维图像序列中估计三维结构的技术)技术，进行多帧图像的特征点提取和特征关联，提取相应的特征点并匹配，建立多帧图像之间的相对关系；再通过对极几何进行解算，求出在归一化深度下的两帧相对位姿，并结合三角化计算出两帧的匹配特征点的3d位置，再结合点对运动(perspective-n-point，pnp)算法，恢复出每帧图像的归一化位置和姿态，具体的，恢复出每帧图像相对于第一帧图像的归一化相对位置和相对姿态。
76.步骤s12：基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值。
77.在一个实施例中，可以包括，基于每帧图像的归一化位置和gnss定位数据，得到视觉传感器的尺度的初值；基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器相对于世界坐标系的第二外参的初值。具体尺度的初值和的第二外参的初值确定步骤如下：
78.1、确定尺度的初值。
79.视觉传感器为单目相机时，得到的位置数据是归一化后的，故需要初始化出尺度和归一化位置确定具体位置。
80.根据每帧图像的归一化位置和gnss定位数据中的定位位置，对视觉传感器的尺度的设定值进行优化，得到视觉传感器的尺度的初值。
81.具体的，根据每帧图像的归一化位置和gnss定位数据中的定位位置，确定第三位置残差：
[0082][0083]
其中，为第i帧图像对应的gnss定位数据中的定位位置，具体为世界坐标系下gnss相对于初始时刻时的位置，第i时刻为视觉传感器拍摄第i帧图像的时刻，初始时刻为视觉传感器拍摄第0帧图像的时刻，i＝0,1
……
n，n 1为图像的总帧数；为第i帧图像的归一化位置，具体为初始视觉坐标系下视觉传感器相对于其初始点的归一化位置，初始视觉坐标系为第0帧图像拍摄时间时的视觉坐标系，初始点为视觉坐标系在初始时刻的位置；s为视觉传感器的尺度。
[0084]
从尺度设定值开始迭代优化第三位置残差，得到视觉传感器的尺度的初值。尺度设定值可以是获取到的经验值，也可以是最近一次的初始化结果，也可以是在最近一次的初始化结果基础上根据经验修改后的值。
[0085]
具体的，迭代优化的终止条件可以是对应的残差的值低于预先设定的阈值。
[0086]
2、确定第二外参的初值。
[0087]
在一个实施例中，可以包括，根据每帧图像的归一化位置确定第一位置参数均值，根据每帧图像对应的gnss定位数据中的定位位置确定第二位置参数均值；根据每帧图像的姿态、惯导测量数据中的三轴加速度和视觉传感器与惯性测量单元之间的第一外参，确定视觉坐标系下的三轴加速度，根据视觉坐标系下的三轴加速度得到第一加速度参数均值，根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度确定世界坐标系下的第二加速度参数均值；根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值。
[0088]
步骤s13：基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对尺度的初值和第二外参的初值进行优化，得到第二外参优化值和尺度优化值。
[0089]
参照图2所示，具体可以包括下述步骤：
[0090]
步骤s131：根据每帧图像的归一化位置、视觉传感器的尺度的初值、和视觉传感器相对于世界坐标系的第二外参的初值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第一位置残差。
[0091]
具体的，根据每帧图像的归一化位置视觉传感器的尺度s的初值、和视觉传感器相对于世界坐标系的第二外参的初值，确定视觉传感器在世界坐标系下的位置根据视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置确定第一位置残差r(z
p
,x)：
[0092][0093]
步骤s132：根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度，确定第一加速度，根据每帧图像的姿态、惯导测量数据中的三轴加速度、第一外参和第二外参的初值，确定第二加速度，将第一加速度与第二加速度的差值作为加速度残差。
[0094]
具体的，根据重力加速度g和每帧图像对应的gnss定位数据中的gnss速度确定第一加速度根据每帧图像的姿态惯导测量数据中的三轴加速度ai、视觉传感器与惯性测量单元之间的第一外参和视觉传感器相对于世界坐标系的第二外参的初值，确定第二加速度将第一加速度与第二加速度的差值作为加速度残差r(z
acc
,x)：
[0095][0096]
其中，第一位置残差和加速度残差中的x为需要优化的参数，δt为相邻两帧图像的拍摄时间的差值。
[0097]
步骤s133：对第一位置残差和加速度残差的残差和迭代优化，得到第二外参优化值和尺度优化值。
[0098]
对第一位置残差和加速度残差的残差和迭代优化，得到尺度的优化值和第二外参的优化值。
[0099]
具体的，视觉传感器与惯性测量单元之间的第一外参，是在每帧图像拍摄时间的第一外参；视觉传感器相对于世界坐标系的第二外参，具体指拍摄第一帧图像时视觉传感器相对于世界坐标系的第二外参。
[0100]
加速度残差的优化，使得初始化所用数据源无需考虑运动激励，对于直行、平面等激励不够的情况也适用，扩大了本方案的适用性。
[0101]
步骤s14：基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
[0102]
参照图3所示，具体可以包括下述步骤：
[0103]
步骤s141：根据每帧图像的归一化位置、视觉传感器的尺度的优化值、和视觉传感器相对于世界坐标系的第二外参的优化值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第二位置残差。
[0104]
[0105]
具体第二位置残差r(z
p
,x')的确定与第一位置残差的确定方法类似，区别仅是第一位置残差r(z
p
,x)的确定根据的是视觉传感器的尺度s的初值、和视觉传感器相对于世界坐标系的第二外参的初值；第二位置残差r(z
p
,x')的确定根据的是视觉传感器的尺度s的优化值、和视觉传感器相对于世界坐标系的第二外参的优化值。
[0106]
步骤s142：根据每帧图像的惯导测量数据中的惯导位置预积分、惯导相对于全球定位系统的位置参数、第一外参和重力加速度，确定位置预积分残差。
[0107]
具体的，根据第i 1时刻惯导位置预积分第i时刻惯导相对全球定位系统的位置参数第一外参和重力加速度g，确定位置预积分残差为
[0108]
步骤s143：根据每帧图像的速度初值、惯导测量数据中的惯导速度预积分、第一外参和重力加速度，确定速度预积分残差。
[0109]
具体的，根据每帧图像的速度初值vi'、惯导测量数据中的惯导速度预积分(第i 1时刻惯导速度预积分)、第一外参和重力加速度g，确定速度预积分残差
[0110]
根据上述位置预积分残差和速度预积分残差，得到位置预积分残差与速度预积分残差之和，即预积分残差r(zb,x')：
[0111][0112]
上述残差中的x'为需要确定最终优化的目标值的参数，
[0113]
步骤s144：对位置预积分残差、速度预积分残差和第二位置残差的残差和迭代优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
[0114]
对位置预积分残差、速度预积分残差和第二位置残差的残差和迭代优化，得到尺度的目标值、第二外参的目标值和每一帧图像的速度目标值。
[0115]
上述多传感器融合定位系统的传感器参数确定方法的具体实现，参照图4所示，可以包括，step1：将视觉传感器camera、全球定位系统gps或rtk和惯性测量单元imu采集到的数据进行初始解算，主要是将视觉数据进行sfm解算，得到每帧图像的归一化位置和姿态，全球定位系统采集的数据和惯性测量单元采集的数据进行时间对齐解算；step2：解算优化初值，得到视觉传感器的尺度s的初值和视觉传感器与全球定位系统的第二外参w_r_co的
初值；step3：精优化s和r(w_r_co)，迭代优化sfm的相对位置&gps的相对位置残差和重力方向残差，得到局部精优化后的s和w_r_co的值；step4：全局精优化，迭代优化预积分位置残差、预积分速度残差和sfm的相对位置&gps的相对位置残差的残差和，得到全局精优化后的s、w_r_co和vk(第k时刻图像的速度)的目标值。
[0116]
发明实施例提供的传感器的参数确定方法，获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据后，执行下述步骤：确定每帧图像的归一化位置和姿态；基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值；基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对尺度的初值和第二外参的初值进行优化，得到第二外参优化值和尺度优化值；基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。该技术方案的有益效果至少包括：
[0117]
(1)先合理确定视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值，在局部优化的基础上使得初值得到了更准确的优化，继而又实现了全局优化，故最终的传感器参数确定结果精度高。
[0118]
(2)一次性完成传感器的工作参数确定工作，即传感器的初始化工作，而不是先进行vio融合，在验证vio融合结果合理的情况下，再进行vio和gnss的对齐，缩短了初始化时间。
[0119]
传感器工作参数的优化，除了确定上述视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值外，还需确定陀螺仪零偏的目标值，参照图5所示，陀螺仪零偏的目标值的确定可以包括下述步骤：
[0120]
步骤s51：根据每帧图像的姿态和第一外参，确定惯性测量单元的姿态。
[0121]
步骤s52：基于每帧图像的惯性测量单元的姿态、角速度预积分、角速度预积分对惯性测量单元的陀螺仪零偏的偏导，对陀螺仪零偏的初值进行优化，得到陀螺仪零偏的目标值。
[0122]
根据每帧图像的惯性测量单元的姿态、角速度预积分、角速度预积分对惯性测量单元的陀螺仪零偏的偏导和预先确定的陀螺仪零偏的初值，确定姿态旋转残差；对姿态旋转残差迭代优化，得到陀螺仪零偏的优化值。
[0123]
具体的，确定的姿态旋转残差可以是：
[0124][0125]
其中，bg为陀螺仪零偏；为i时刻惯性测量单元相对于初始时刻的姿态，具体为姿态的四元数；为第i 1时刻惯导角速度预积分；为惯导角速度预积分对陀螺仪零偏的偏导，具体为jacobian矩阵。
[0126]
实施例二
[0127]
本公开实施例二提供一种视觉传感器相对于世界坐标系的第二外参的初值确定方法的具体实现，其流程如图6所示，包括如下步骤：
[0128]
步骤s61：根据每帧图像的归一化位置确定第一位置参数均值，根据每帧图像对应的gnss定位数据中的定位位置确定第二位置参数均值。
[0129]
根据每帧图像的归一化位置确定第一位置参数均值
[0130][0131]
根据每帧图像对应的gnss定位数据中的定位位置确定第二位置参数均值
[0132][0133]
步骤s62：根据每帧图像的姿态、惯导测量数据中的三轴加速度和第一外参，确定视觉坐标系下的三轴加速度。
[0134]
具体的，惯导测量数据中的三轴加速度为imu坐标系下的三轴加速度，可以利用下式确定视觉坐标系下的三轴加速度，具体为初始视觉坐标系下的三轴加速度
[0135][0136]
其中，ai为第i时刻惯导测量数据中的三轴加速度，即imu坐标系下的三轴加速度；为第i时刻视觉传感器与惯性测量单元之间的第一外参；为第i帧图像的姿态，具体为初始视觉坐标系下视觉传感器相对于其初始点的姿态。
[0137]
将惯导测量的三轴加速度先根据视觉传感器的姿态进行旋转，再根据第一外参旋转，得到视觉坐标系下的三轴加速度。
[0138]
步骤s63：根据视觉坐标系下的三轴加速度得到第一加速度参数均值，根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度确定世界坐标系下的第二加速度参数均值。
[0139]
根据初始视觉坐标系下的三轴加速度得到第一加速度参数均值
[0140][0141]
根据每帧图像对应的gnss定位数据中的gnss速度的差分确定世界坐标系下的第二加速度参数
[0142]
[0143]
其中，为每帧图像对应的gnss定位数据中的gnss速度，具体为世界坐标系下的全球定位系统速度；δt为相邻两帧图像的拍摄时间的差值；为第i时刻世界坐标系下全球定位系统速度差分确定的第二加速度参数。
[0144]
根据重力加速度g和第二加速度参数确定世界坐标系下的第二加速度参数均值
[0145][0146]
步骤s64：根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值。
[0147]
具体的，参照图7所示，可以包括下述步骤：
[0148]
步骤s641：根据第一位置参数均值、第二位置参数均值确定第二外参的初始旋转值。
[0149]
确定第一位置参数均值与第二位置参数均值间的旋转的初始旋转四元数qo：
[0150][0151]
步骤s642：将第一加速度参数均值按照第二外参的初始旋转值旋转，得到第三加速度参数均值。
[0152]
将初始视觉坐标系下的第一加速度参数均值按初始旋转四元数qo旋转，得到第三加速度参数均值，即初始旋转后的归一化三轴加速度方向参数均值
[0153][0154]
步骤s643：确定第二位置参数均值在以第三加速度参数均值为法线的平面上的第一投影，和第二位置参数均值在以第二加速度参数均值为法线的平面上的第二投影。
[0155]
确定第二位置参数均值在以为法线的平面上的投影和第二位置参数均值在以世界坐标系下的第二加速度参数均值为法线的平面上的投影
[0156][0157][0158]
步骤s644：根据第一投影和第二投影，确定第二外参的再次旋转值。
[0159]
确定投影与投影间的旋转四元数q1：
[0160][0161]
将q1确定为第二外参的再次旋转值。
[0162]
步骤s645：根据第二外参的初始旋转值和再次旋转值，确定第二外参的初值。
[0163]
根据第二外参的初始旋转值，即初始旋转四元数qo，和第二外参的再次旋转值，即旋转四元数q1，确定视觉传感器相对于世界坐标系的旋转四元数
[0164][0165]
视觉传感器相对于世界坐标系的旋转四元数即视觉传感器相对于世界坐标系的旋转外参，为第二外参的一种表现形式。
[0166]
上述通过两个匹配的向量对，求取视觉传感器相对于世界坐标系间的旋转四元数的大体方法是，首先通过位置模值匹配对，计算初始四元数q0，剩下自由度是绕合并后的位置为转轴的旋转自由度通过q0旋转初始视觉坐标系下的加速度模值向量，到中间坐标系下，再通过转轴向量，求取两个加速度模值向量在以转轴为法线的平面的投影向量，通过两个投影向量计算q1，最终合并求视觉传感器相对于世界坐标系间的旋转。
[0167]
基于本公开的发明构思，本公开实施例还提供一种传感器的参数确定装置，其结构如图8所示，包括：
[0168]
获取模块81，用于获取在设定时间段内视觉传感器拍摄的两帧以上的图像，和每帧图像的拍摄时间对应的惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；
[0169]
确定模块82，用于确定每帧图像的归一化位置和姿态；
[0170]
初始优化模块83，用于基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器的尺度的初值和视觉传感器相对于世界坐标系的第二外参的初值；
[0171]
局部优化模块84，用于基于每帧图像的归一化位置和姿态、gnss定位数据、惯导测量数据和视觉传感器与惯性测量单元之间的第一外参，对所述尺度的初值和所述第二外参的初值进行优化，得到第二外参优化值和尺度优化值；
[0172]
全局优化模块85，用于基于每帧图像的归一化位置、惯导测量数据和gnss定位数据，对所述尺度优化值和第二外参优化值进行全局优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
[0173]
在一个实施例中，初始优化模块83，具体用于：
[0174]
基于每帧图像的归一化位置和gnss定位数据，得到视觉传感器的尺度的初值；基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器相对于世界坐标系的第二外参的初值。
[0175]
在一个实施例中，初始优化模块83，所述基于每帧图像的归一化位置和gnss定位数据，得到视觉传感器的尺度的初值，具体用于：
[0176]
根据每帧图像的归一化位置和gnss定位数据中的定位位置，对视觉传感器的尺度的设定值进行优化，得到视觉传感器的尺度的初值。
[0177]
在一个实施例中，初始优化模块83，所述基于每帧图像的归一化位置和姿态、gnss定位数据和惯导测量数据，得到视觉传感器相对于世界坐标系的第二外参的初值，具体用于：
[0178]
根据每帧图像的归一化位置确定第一位置参数均值，根据每帧图像对应的gnss定
位数据中的定位位置确定第二位置参数均值；根据每帧图像的姿态、惯导测量数据中的三轴加速度和所述第一外参，确定视觉坐标系下的三轴加速度，根据所述视觉坐标系下的三轴加速度得到第一加速度参数均值，根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度确定世界坐标系下的第二加速度参数均值；根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值。
[0179]
在一个实施例中，初始优化模块83，所述根据第一位置参数均值、第二位置参数均值、第一加速度参数均值和第二加速度参数均值，确定视觉传感器相对于世界坐标系的第二外参的初值，具体用于：
[0180]
根据所述第一位置参数均值和第二位置参数均值确定第二外参的初始旋转值；将所述第一加速度参数均值按照第二外参的所述初始旋转值旋转，得到第三加速度参数均值；确定所述第二位置参数均值在以所述第三加速度参数均值为法线的平面上的第一投影，和所述第二位置参数均值在以所述第二加速度参数均值为法线的平面上的第二投影；根据所述第一投影和第二投影，确定第二外参的再次旋转值；根据第二旋转外参的初始旋转值和再次旋转值，确定第二外参的初值。
[0181]
在一个实施例中，初始优化模块83，具体用于：
[0182]
根据每帧图像的归一化位置、视觉传感器的尺度的初值、和视觉传感器相对于世界坐标系的第二外参的初值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第一位置残差；根据重力加速度和每帧图像对应的gnss定位数据中的gnss速度，确定第一加速度，根据每帧图像的姿态、惯导测量数据中的三轴加速度、所述第一外参和第二外参的初值，确定第二加速度，将所述第一加速度与第二加速度的差值作为加速度残差；对第一位置残差和加速度残差的残差和迭代优化，得到第二外参优化值和尺度优化值。
[0183]
在一个实施例中，局部优化模块84，具体用于：
[0184]
根据每帧图像的归一化位置、视觉传感器的尺度的优化值、和视觉传感器相对于世界坐标系的第二外参的优化值，确定视觉传感器在世界坐标系下的位置，根据每帧图像的视觉传感器在世界坐标系下的位置和gnss定位数据中的定位位置，确定第二位置残差；根据每帧图像的惯导测量数据中的惯导位置预积分、惯导相对于全球定位系统的位置参数、所述第一旋转外参和重力加速度，确定位置预积分残差；根据每帧图像的速度初值、惯导测量数据中的惯导速度预积分、所述第一旋转外参和重力加速度，确定速度预积分残差；对所述位置预积分残差、速度预积分残差和第二位置残差的残差和迭代优化，得到视觉传感器的尺度的目标值、第二外参目标值和每一帧图像的速度目标值。
[0185]
在一个实施例中，上述装置还包括，陀螺仪零偏优化模块86，用于：
[0186]
根据每帧图像的姿态和所述第一外参，确定惯性测量单元的姿态；基于每帧图像的惯性测量单元的姿态、角速度预积分、角速度预积分对惯性测量单元的陀螺仪零偏的偏导，对陀螺仪零偏的初值进行优化，得到陀螺仪零偏的目标值。
[0187]
在一个实施例中，确定模块82，具体用于：
[0188]
通过特征点匹配和对极几何的方法，确定每帧图像相对于第一帧图像的归一化相对位置和相对姿态。
[0189]
在一个实施例中，获取模块81，具体用于：
[0190]
获取在设定时间段内视觉传感器拍摄的两帧以上的图像、惯性测量单元输出的惯导测量数据及gnss接收机输出的gnss定位数据；以每帧图像的拍摄时间为基准，对惯导测量数据和gnss定位数据进行差分解算，确定每帧图像对应的惯导测量数据和gnss定位数据。
[0191]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
[0192]
基于本公开的发明构思，本公开实施例还提供一种计算机可读存储介质，其上存储有计算机指令，当该指令被处理器执行时实现上述传感器的参数确定方法。
[0193]
基于本公开的发明构思，本公开实施例还提供一种服务器，包括：存储器、处理器及存储于存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述传感器的参数确定方法。
[0194]
除非另外具体陈述，术语比如处理、计算、运算、确定、显示等等可以指一个或更多个处理或者计算系统、或类似设备的动作和/或过程，所述动作和/或过程将表示为处理系统的寄存器或存储器内的物理(如电子)量的数据操作和转换成为类似地表示为处理系统的存储器、寄存器或者其他此类信息存储、发射或者显示设备内的物理量的其他数据。信息和信号可以使用多种不同的技术和方法中的任何一种来表示。例如，在贯穿上面的描述中提及的数据、指令、命令、信息、信号、比特、符号和码片可以用电压、电流、电磁波、磁场或粒子、光场或粒子或者其任意组合来表示。
[0195]
应该明白，公开的过程中的步骤的特定顺序或层次是示例性方法的实例。基于设计偏好，应该理解，过程中的步骤的特定顺序或层次可以在不脱离本公开的保护范围的情况下得到重新安排。所附的方法权利要求以示例性的顺序给出了各种步骤的要素，并且不是要限于所述的特定顺序或层次。
[0196]
在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本公开处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本公开单独的优选实施方案。
[0197]
本领域技术人员还应当理解，结合本文的实施例描述的各种说明性的逻辑框、模块、电路和算法步骤均可以实现成电子硬件、计算机软件或其组合。为了清楚地说明硬件和软件之间的可交换性，上面对各种说明性的部件、框、模块、电路和步骤均围绕其功能进行了一般地描述。至于这种功能是实现成硬件还是实现成软件，取决于特定的应用和对整个系统所施加的设计约束条件。熟练的技术人员可以针对每个特定应用，以变通的方式实现所描述的功能，但是，这种实现决策不应解释为背离本公开的保护范围。
[0198]
结合本文的实施例所描述的方法或者算法的步骤可直接体现为硬件、由处理器执行的软件模块或其组合。软件模块可以位于ram存储器、闪存、rom存储器、eprom存储器、eeprom存储器、寄存器、硬盘、移动磁盘、cd-rom或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质连接至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质
可以位于asic中。该asic可以位于用户终端中。当然，处理器和存储介质也可以作为分立组件存在于用户终端中。
[0199]
对于软件实现，本技术中描述的技术可用执行本技术所述功能的模块(例如，过程、函数等)来实现。这些软件代码可以存储在存储器单元并由处理器执行。存储器单元可以实现在处理器内，也可以实现在处理器外，在后一种情况下，它经由各种手段以通信方式耦合到处理器，这些都是本领域中所公知的。
[0200]
上文的描述包括一个或多个实施例的举例。当然，为了描述上述实施例而描述部件或方法的所有可能的结合是不可能的，但是本领域普通技术人员应该认识到，各个实施例可以做进一步的组合和排列。因此，本文中描述的实施例旨在涵盖落入所附权利要求书的保护范围内的所有这样的改变、修改和变型。此外，就说明书或权利要求书中使用的术语“包含”，该词的涵盖方式类似于术语“包括”，就如同“包括，”在权利要求中用作衔接词所解释的那样。此外，使用在权利要求书的说明书中的任何一个术语“或者”是要表示“非排它性的或者”。术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。