对象标注方法、装置、电子设备及存储介质与流程

1.本公开涉及对象标注技术领域，本公开尤其涉及一种对象标注方法、装置、电子设备及存储介质。


背景技术：

2.高精地图作为无人驾驶核心技术之一，其精准程度对于无人车定位、导航、控制以及安全起着至关重要的作用。由于高精地图是三维点云和相关语义信息的组合，因此不可避免的存在信息损失，且除了自然环境、外物遮挡、噪声等的影响，路况本身的变动也为提高高精地图的精度增加了很多困难。因此，如何在现有高精地图的基础上设计一个适用性广、能够满足复杂多变路况的自动标注方法具有重要的理论意义和实际应用价值。
3.高精地图自动标注的核心思想是把rgb语义信息赋予到点云上，借助待生成对象的边界与颜色提升标注效率。这类方法将获取到的图像数据进行语义分割后，把点云数据与分割后的图像数据进行融合处理，并使用神经网络等算法进行地图绘制。
4.技术方案1：专利号为cn113674287a的《高精地图的绘制方法、装置、设备以及存储介质》，涉及计算机视觉、自动驾驶、智能交通等技术领域。具体实现方案为：1)对获取到的图像数据进行语义分割处理，以得到识别出待标注对象的图像数据；2)将获取到的点云数据与识别出待标注对象的图像数据进行融合处理，得到语义地图数据；3)利用预先训练的神经网络模型，根据语义地图和点云数据，得到绘制出待标注对象的位置、待标注对象的颜色和待标注对象的边界的地图。该方法融合图像数据和点云数据的特征进行地图的自动化绘制以及自动化标注，不仅能够生成待标注对象的几何位置，还能生成待标注对象的颜色和边界。该方法通过计算机视觉、自动驾驶、智能交通等技术领域的融合，实现了地图绘制和标注的自动化、并且可以保持标注精度，但该方法在数据融合过程中并未对采集数据进行运动畸变去除和时间对齐，从而会导致标注精度难以提升的问题。
5.技术方案2：专利号为cn113255578a的《交通标识的识别方法及装置、电子设备和存储介质》，涉及一种交通标识的识别方法及装置、电子设备和存储介质。该方法包括：1)获取车辆行驶过程中采集的图像以及点云数据；2)对图像进行检测，得到图像中的各交通标识的初始检测值序列，并分别从各交通标识的初始检测值序列中选择一个目标检测值，得到交通标识的目标检测值序列；3)对目标检测值序列中的目标检测值进行分组，并从点云数据中选取每个分组对应的点云数据；4)从每个分组对应的点云数据中确定每个分组中各交通标识对应的点云数据，并依据各交通标识对应的点云数据确定各交通标识在参考坐标系下的轮廓；5)依据各交通标识在参考坐标系下的轮廓在地图中标注各交通标识。该方法通过软硬件结合的方式，实现了提高了在高精度地图中标注交通标识的精度和效率的技术效果，但该方法放宽了时间戳会导致一定的激光点云的运动畸变，从而导致重合度不高等问题，且在重合度超过第三预设阈值的图像时，该方法选择将两个交通标识的检测值中置信度较低的一个交通标识删除，直接将另一个作为正确的交通标识使用，虽然自动标注后有人工复检，仍有一定的安全隐患；同时该方法主要着力于无人驾驶车辆在行驶过程中需
要识别的静态物体，对动态物体识别方面的适用性不高。
6.技术方案3：专利号为cn111325136a的《智能车辆中物体对象的标注方法及装置、无人驾驶车辆》，涉及一种智能车辆中物体对象的标注方法及装置、无人驾驶车辆。该方法包括：获取当前车辆周围区域在目标地图中的初始图像信息，其中，初始图像信息包括：物体对象的位置和占据区域；识别初始图像信息中每种物体对象的组成结构，得到物体结构信息；基于物体结构信息与预设标注库，将全部物体对象标注在目标地图上，其中，预设标注库中记录每种物体对象与物体标识的第一映射关系，并记录每个物体结构与结构标识的第二映射信息，目标地图中显示每种物体对象和每个物体结构的点云数据。该方法解决了相关技术中车辆显示屏显示的图像无法标注周围障碍物体，导致车辆容易与其它物体发生碰撞，影响车辆行驶的技术问题，但该方法主要着力于无人驾驶车辆在行驶过程中需要识别的静态物体，对动态物体识别方面的适用性不高。
7.技术方案1、2融合了计算机视觉、神经网络，在保证适应性范围广的前提下提高了自动标注的适用范围和精度，但技术方案1在数据融合过程中并未对采集数据进行时间对齐，从而会导致标注精度难以提升的问题；技术方案2对于多图像数据重合率低问题的解决，采取直接删除其中一个置信度较低的数据，处理结果不理想，此外其对动态物体识别方面的适用性不高。技术方案3通过软硬件结合的方式，借助于深度学习等算法，精确具体的标注了部分路况，但作用的领域均比较具体，无法适用于所有路况。


技术实现要素：

8.为了解决上述技术问题中的至少一个，本公开提供了一种对象标注方法、装置、电子设备及存储介质。
9.根据本公开的一个方面，提供一种对象标注方法，包括：
10.s110、获取多个传感器采集的数据，所述数据包括图像数据、激光点云数据、车体rtk位姿序列数据及车体imu/轮速数据；
11.s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据；
12.s130、以预设时间长度对初次时空对齐后的激光点云数据及图像数据进行分组，获取各分段数据对应的rtk方差；
13.s140、基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据；
14.s160、对累积的激光点云数据和累积的图像数据分别进行3d对象检测和2d对象检测，以进行对象标注。
15.根据本公开的至少一个实施方式的对象标注方法，步骤s140之后，还包括：s115、对激光点云数据及图像数据进行累积；步骤s160中，对累积的激光点云数据和累积的图像数据分别进行所述3d对象检测和所述2d对象检测。
16.根据本公开的至少一个实施方式的对象标注方法，所述3d对象和所述2d对象包括车辆、行人、车道线、交通牌、交通灯等。
17.根据本公开的至少一个实施方式的对象标注方法，s110、获取多个传感器采集的数据，包括：
18.将图像数据由相机坐标系变换至车体坐标系，将激光点云数据由激光雷达坐标系变换至车体坐标系。
19.根据本公开的至少一个实施方式的对象标注方法，多个传感器采集的各类型数据记录在统一的时间轴上。
20.根据本公开的至少一个实施方式的对象标注方法，s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据，包括：
21.s1202、对于某一时刻的激光点云数据，寻找与该时刻最邻近时刻的图像数据，获取两个时刻之间的时间差；
22.s1204、从所述车体rtk位姿序列数据中提取包括上述两个时刻的世界坐标系下的rtk位姿序列，以获取上述两个时刻分别对应的位姿；
23.s1206、获取所述时间差对应的世界坐标系下的位姿差；
24.s1208、基于所述位姿差对车体坐标系下的激光点云数据进行修正，以获得与车体坐标系下的图像数据时空对齐的激光点云数据。
25.根据本公开的至少一个实施方式的对象标注方法，s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据，包括：
26.s1202、激光点云数据及图像数据进行累积(进行预设时间段的累积)的情况下，对于某一时刻的激光点云数据，获取该时刻与累积时间段内的初始雷达图像采集时刻之间的时间差；
27.s1204、从所述车体rtk位姿序列数据中提取包括上述两个时刻的世界坐标系下的rtk位姿序列，以获取上述两个时刻分别对应的位姿；
28.s1206、获取所述时间差对应的世界坐标系下的位姿差；
29.s1208、基于所述位姿差对车体坐标系下的激光点云数据进行修正，以获得与车体坐标系下的图像数据时空对齐的激光点云数据。
30.根据本公开的至少一个实施方式的对象标注方法，s130、以预设时间长度对初次时空对齐后的激光点云数据及图像数据进行分段，获取各分段数据对应的rtk方差，包括：
31.获取rtk方差时，对所有自由度的rtk方差分别进行统计。
32.根据本公开的至少一个实施方式的对象标注方法，s140、基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据，包括：
33.当各个自由度的rtk方差均小于或等于方差阈值时，判定为不使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化，否则，判定为使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化。
34.根据本公开的至少一个实施方式的对象标注方法，步骤s140中，使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化，包括：
35.对于rtk方差超过方差阈值的某段数据，获取最接近且早于该段数据的起始时间的第一imu数据，将其对应的时间作为起点，获取最接近且晚于该段数据的终止时间的第二imu数据，将其对应的时间作为终点；
36.在所述起点和所述终点之间，对于每一个图像数据的采集时刻t1和每一个激光点云数据的采集时刻t2，进行以下处理：
37.基于轮速数据获取车体在起点时刻至终点时刻的平移量δx；基于imu数据获取车体在起点时刻至终点时刻的x、y、z方向的旋转角度差δyaw、δpitch和δroll；
38.通过旋转角度差δyaw、δpitch和δroll与所述平移量δx积分，获取车体在t1至t2时间段内沿y轴和z轴方向上的平移量δy和平移量δz，即车体在t1至t2时间段内的位姿变化量。
39.根据本公开的至少一个实施方式的对象标注方法，步骤s140中，使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化，还包括：
40.以所述位姿变化量替换rtk方差超过方差阈值的数据对应的所述位姿差。
41.根据本公开的至少一个实施方式的对象标注方法，s160、对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注，包括：
42.使用基于bev的目标检测方法、基于range view的目标检测方法、基于point-wise feature的目标检测方法或者基于融合特征的目标检测方法对激光点云数据中的3d对象进行检测；
43.使用基于cascade/基于haar/svm的目标检测算法、基于r-cnn/基于fast r-cnn的候选区域/框 深度学习分类算法或者基于rrc detection/基于deformable cnn的深度学习检测方法对图像数据中的2d对象进行检测；
44.基于图像数据的特征图和激光点云数据的特征图的权重，使用mixture of experts进行建模，并通过拼接操作进行特征融合，以完成3d对象与2d对象的自动检测。
45.根据本公开的至少一个实施方式的对象标注方法，s160、对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注，包括：
46.将3d对象向相应的2d对象进行投影，基于同一对象的3d与2d的投影重合度判断检测到的对象是否正确，如果正确，则输出该对象，如果不正确，则不输出该对象，以进行对象标注。
47.根据本公开的至少一个实施方式的对象标注方法，步骤s160中，如果不正确，则基于时域多帧优化进行重投影，再次进行对象标注。
48.根据本公开的至少一个实施方式的对象标注方法，将3d对象向相应的2d对象进行投影，基于同一对象的3d与2d的投影重合度判断检测到的对象是否正确，如果正确，则输出该对象，如果不正确，则不输出该对象，包括：
49.如果某个对象的投影重合度大于或等于重合度阈值，则判断为检测到的对象正确；
50.如果某个对象的投影重合度低于重合度阈值，则通过位姿优化进一步进行检测。
51.根据本公开的至少一个实施方式的对象标注方法，步骤s160中，还包括：
52.基于车体rtk位姿序列数据，将高精地图中各矢量对象投影至激光点云数据中和图像数据中更新激光点云数据和图像数据，以进行对象标注。
53.其中，高精地图中所述各矢量对象为静态对象，包括固定的交通标识。
54.根据本公开的至少一个实施方式的对象标注方法，基于车体rtk位姿序列数据，将高精地图中各矢量对象投影至激光点云数据中和图像数据中更新激光点云数据和图像数据，以进行对象标注，包括：
55.s1602、基于车体rtk位姿序列数据获取激光雷达的观测范围之内的世界坐标系下的高精地图中各矢量对象的坐标和车体在世界坐标系下的坐标，所述观测范围以激光雷达中心为原点；
56.s1604、将世界坐标系下的各矢量对象的坐标变换至车体坐标系中；
57.s1606、将车体坐标系下的各矢量对象在激光点云数据中形成投影；
58.s1608、将车体坐标系下的各矢量对象的坐标变换至相机坐标系下，在图像数据中形成投影；
59.s1610、当rtk数据的方差小于或等于方差阈值时，将高精地图中各矢量对象投影到激光点云数据和图像数据中，当rtk数据的方差大于方差阈值时，则对点云数据进行基于图像数据的位姿优化以进行重投影，完成3d对象和2d对象的检测。
60.根据本公开的至少一个实施方式的对象标注方法，步骤s1610中，当rtk数据的方差大于方差阈值时，基于时域多帧优化进行重投影，再次进行3d对象和2d对象的检测。
61.根据本公开的至少一个实施方式的对象标注方法，步骤s160中，还包括：
62.对预设时间段内的激光点云数据进行叠加，以对静态对象和动态对象进行分别标注。
63.根据本公开的至少一个实施方式的对象标注方法，对预设时间段内的激光点云数据进行叠加，以对静态对象和动态对象进行分别标注，包括：
64.取预设时间段内的激光雷达采集的激光图像，进行点云累积叠加，获得叠加数据；
65.对于叠加数据中的静态对象，进行一次性对象检测并标注；
66.对于叠加数据中的动态对象，提取动态对象的运动路线，判断运动路线是否符合预设的对象运动模型，如果符合，则基于所述预设的对象运动模型直接标注，如果不符合，则基于深度学习算法进行对象检测并标注。
67.根据本公开的至少一个实施方式的对象标注方法，对于叠加数据中的静态对象，进行一次性对象检测并标注，包括：
68.对所述预设时间段内所有帧图像进行统计以获得均值方差，检测统计后对象位置的变化，以进行重投影及对象标注；其中，所述统计包括去除所述预设时间段内的所有帧图像中的极端帧图像(即作为极端值去除)。
69.根据本公开的另一个方面，提供一种对象标注装置，包括：
70.传感器数据获取模块，所述传感器数据获取模块获取多个传感器采集的数据，所述数据包括图像数据、激光点云数据、车体rtk位姿序列数据及车体imu/轮速数据；
71.初次对齐模块，所述初次对齐模块基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据；
72.数据分段模块，所述数据分段模块以预设时间长度对初次时空对齐后的激光点云数据及图像数据进行分组；
73.rtk方差计算/判断模块，所述rtk方差计算/判断模块获取各分段数据对应的rtk方差；基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐；
74.二次对齐模块，所述二次对齐模块使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据；
75.对象标注模块，所述对象标注模块对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注。
76.根据本公开的至少一个实施方式的对象标注装置，还包括：
77.数据累积模块，所述数据累积模块对激光点云数据及图像数据进行累积；
78.所述对象标注模块对累积的激光点云数据和累积的图像数据进行所述3d对象检测和所述2d对象检测。
79.根据本公开的又一个方面，提供一种电子设备，包括：存储器，所述存储器存储执行指令；以及处理器，所述处理器执行所述存储器存储的执行指令，使得所述处理器执行本公开任一个实施方式的对象标注方法。
80.根据本公开的再一个方面，提供一种可读存储介质，所述可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现本公开任一个实施方式的对象标注方法。
附图说明
81.附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。
82.图1是本公开的一个实施方式的对象标注方法的流程示意图。
83.图2示出了本公开的一个实施方式的相机和激光雷达的触发示意图。
84.图3是本公开的一个实施方式的对图像数据和激光点云数据进行初次时空对齐的流程示意图。
85.图4是本公开的一个实施方式的基于rtk方差进行位姿调整的流程图。
86.图5是本公开的一个实施方式的对累积的激光点云数据和累积的图像数据分别进行3d对象检测和2d对象检测的流程示意图。
87.图6是本公开的一个实施方式的将高精地图的矢量对象与2d检测对象结果进行融合，借助rtk数据验证标注的准确性并进行优化调整的流程图。
88.图7是本公开的一个实施方式的采用处理系统的硬件实现方式的对象标注装置的结构示意框图。
89.图8是本公开的又一个实施方式的采用处理系统的硬件实现方法的对象标注装置的结构示意框图。
90.附图标记说明
91.1000 对象标注装置
92.1002 传感器数据获取模块
93.1004 初次对齐模块
94.1006 数据分段模块
95.1008 rtk方差计算/判断模块
96.1010 二次对齐模块
97.1012 数据累积模块
98.1014 对象标注模块
99.1100 总线
100.1200 处理器
101.1300 存储器
102.1400 其他电路。
具体实施方式
103.下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。
104.需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开的技术方案。
105.除非另有说明，否则示出的示例性实施方式/实施例将被理解为提供可以在实践中实施本公开的技术构思的一些方式的各种细节的示例性特征。因此，除非另有说明，否则在不脱离本公开的技术构思的情况下，各种实施方式/实施例的特征可以另外地组合、分离、互换和/或重新布置。
106.在附图中使用交叉影线和/或阴影通常用于使相邻部件之间的边界变得清晰。如此，除非说明，否则交叉影线或阴影的存在与否均不传达或表示对部件的具体材料、材料性质、尺寸、比例、示出的部件之间的共性和/或部件的任何其它特性、属性、性质等的任何偏好或者要求。此外，在附图中，为了清楚和/或描述性的目的，可以夸大部件的尺寸和相对尺寸。当可以不同地实施示例性实施例时，可以以不同于所描述的顺序来执行具体的工艺顺序。例如，可以基本同时执行或者以与所描述的顺序相反的顺序执行两个连续描述的工艺。此外，同样的附图标记表示同样的部件。
107.当一个部件被称作“在”另一部件“上”或“之上”、“连接到”或“结合到”另一部件时，该部件可以直接在所述另一部件上、直接连接到或直接结合到所述另一部件，或者可以存在中间部件。然而，当部件被称作“直接在”另一部件“上”、“直接连接到”或“直接结合到”另一部件时，不存在中间部件。为此，术语“连接”可以指物理连接、电气连接等，并且具有或不具有中间部件。
108.本文使用的术语是为了描述具体实施例的目的，而不意图是限制性的。如这里所使用的，除非上下文另外清楚地指出，否则单数形式“一个(种、者)”和“所述(该)”也意图包括复数形式。此外，当在本说明书中使用术语“包含”和/或“包括”以及它们的变型时，说明存在所陈述的特征、整体、步骤、操作、部件、组件和/或它们的组，但不排除存在或附加一个或更多个其它特征、整体、步骤、操作、部件、组件和/或它们的组。还要注意的是，如这里使用的，术语“基本上”、“大约”和其它类似的术语被用作近似术语而不用作程度术语，如此，
它们被用来解释本领域普通技术人员将认识到的测量值、计算值和/或提供的值的固有偏差。
109.下文结合图1至图7对本公开的对象标注方法、对象标注装置、电子设备及可读存储介质进行详细说明。
110.图1是本公开的一个实施方式的对象标注方法的流程示意图。
111.参考图1，本实施方式的对象标注方法s100，包括：
112.s110、获取多个传感器采集的数据，数据包括图像数据、激光点云数据、车体rtk位姿序列数据及车体imu/轮速数据；
113.s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据；
114.s130、以预设时间长度(例如20s)对初次时空对齐后的激光点云数据及图像数据进行分段，获取各分段数据对应的rtk方差；
115.s140、基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据；
116.s160、对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注(机动车、非机动车、行人、车道线、交通灯、交通牌等)。
117.本实施方式的对象标注方法s100，能够实现实时的对象标注，即单帧标注。
118.在本公开的一些实施方式中，本公开的对象标注方法s100还包括：
119.s115、对激光点云数据及图像数据进行累积；
120.步骤s160中，对累积的激光点云数据和累积的图像数据分别进行所述3d对象检测和所述2d对象检测。
121.在本公开的一些实施方式中，本公开所使用的传感器包括相机、激光雷达、惯性测量单元(imu)和车辆定位用rtk，分别用于上文描述的图像数据、激光点云数据、车体imu/轮速数据、车体rtk位姿序列数据。
122.其中，相机根据在车辆上的安装位置，可以分为前视摄像头、后视摄像头、左前视摄像头、左后视摄像头、右前视摄像头、右后视摄像头共六个摄像头，本领域技术人员可以对摄像头的数量和安装位置进行调整，均落入本公开的保护范围。
123.在本公开的一些实施方式中，还获取各个传感器的相关内参和相关外参。
124.其中，相机的相关外参使用矩阵t
cw
表示，其可以被拆解为旋转矩阵r
cw
和平移矩阵t
cw
，它们决定了相机坐标系与世界坐标系之间的相对位置关系。
125.相机坐标pc与世界坐标pw之间关系为：
126.pc＝t
cw
pw，即pc＝r
cw
pw t
cw
。
127.相机的相关内参可以表示为矩阵k，矩阵k包括{f,κ,s
x
,sy,c
x
,cy}六个参数，其中，f为焦距；κ表示径向畸变量级，如果κ为负值，畸变为桶型畸变，如果κ为正值，则畸变为枕型畸变；s
x
,sy是缩放比例因子，表示传感器上水平方向上相邻像素之间的距离和垂直方向上相邻像素之间的距离；c
x
,cy是投影中心在成像平面上的垂直投影，同时也是径向畸变的中心。
128.其中，本公开的激光雷达可以为固态激光雷达，共四个，本领域技术人员可以对激光雷达的类型和数量等进行选择/调整，均落入本公开的保护范围。
129.激光雷达的相关外参为旋转平移变换矩阵t
lw
；其相关配置参数可以包括：视场角、分辨率、测距范围、刷新频率、扫描频率、激光波长、最大辐射功率。
130.惯性测量单元(imu)用来提供相对定位信息，其作用是测量相对于起点，物体(例如车辆)所运动的路线。惯性测量单元(imu)可以包括三轴加速度计和三轴陀螺仪作为敏感元件，分别输出加速度和角速度。
131.车辆定位用rtk即载波相位差分技术，是现有技术中常用的卫星定位测量技术。
132.本公开中，因数据的采集过程中涉及到多个传感器共同工作，但传感器的采集频率、自身坐标系等并不一致，因此本公开在使用数据之前对数据进行时间空间对齐。
133.在本公开的一些实施方式中，车体坐标系以车辆后轴中心为原点，车辆前进方向为正前方，x轴指向正前方，y轴指向正左方，z轴指向正上方；相机坐标系以相机光心为原点，z轴指向相机前方，x轴指向相机右方，y轴指向相机下方；激光雷达坐标系以激光雷达的几何中心为原点，z轴指向激光雷达的前方，x轴指向激光雷达右方，y轴指向激光雷达下方；imu的坐标系与车体坐标系一致，以车辆后轴中心为原点，车辆前进方向为正前方，x轴指向正前方，y轴指向正左方，z轴指向正上方。
134.因数据的采集涉及多个传感器且采集的数据都包含时间戳，本公开对多传感器数据进行时间同步处理。
135.不同的传感器有不同的传感器时间戳，且传感器频率也不尽相同。
136.在本公开的一些实施方式中，使用的6个相机可同时触发，相机的每秒传输帧数为30fps，但4个固态激光雷达并不能同步触发，且每秒传输帧数为10fps。
137.图2示出了本公开的一个实施方式的相机和激光雷达的触发示意图。
138.图2中，灰色长条框表示了相机和激光雷达的采集频率，横轴表示统一的时间戳。传感器的每个采样时刻记录在统一的时间序列上。由于激光雷达的采集速率较慢，因此在将多传感器数据统一转换到车体坐标系之后，将激光雷达的采样面向相机的采样，通过寻找与激光雷达采集时刻最近邻时刻的相机采集的图像数据，进行两种传感器数据间的时间空间对齐。
139.在本公开的一些实施方式中，在步骤s110中，将图像数据由相机坐标系变换至车体坐标系，将激光点云数据由激光雷达坐标系变换至车体坐标系。
140.在本公开的一些实施方式中，多个传感器(激光雷达、相机、imu、rtk等)采集的各类型数据记录在统一的时间轴上。
141.图3是本公开的一个实施方式的对图像数据和激光点云数据进行初次时空对齐的流程示意图。
142.参考图3，优选地，s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据，包括：
143.s1202、对于某一时刻t
n,j
的激光点云数据，寻找与该时刻最邻近时刻t
n,i
的图像数据，获取两个时刻之间的时间差δtn；
144.s1204、从车体rtk位姿序列数据中提取包括上述两个时刻t
n,j
和t
n,i
(j和i表示不
同的时刻)的世界坐标系下的rtk位姿序列以获取上述两个时刻分别对应的位姿和(其中，下标c表示相机，下标l表示激光雷达，上标w表示世界坐标系)，即相机采集图像数据时的车体位姿和激光雷达采集激光点云数据时的车体位姿；
145.s1206、获取时间差对应的世界坐标系下的位姿差
146.s1208、基于位姿差对车体坐标系下的激光点云数据进行修正，以获得与车体坐标系下的图像数据时空对齐的激光点云数据。
147.本实施方式中，优选地，以相机中的前视摄像头的时间戳作为基准。其中的n表示激光雷达的标识/标号，n＝1,2,3,4。
148.本实施方式中，由于采集频率问题，rtk的采集时间不一定与相机或激光雷达的采样时间相同，本实施方式中认为采集时间均未重合(若重合则直接取对应的rtk位姿数据作为相机或激光雷达采样时刻的位姿数据即可)。
149.取包含t
n,j
与t
n,i
(假设t
n,j
晚于t
n,i
)的基于世界坐标系的rtk位姿序列t
n,i
应位于与t
1w
对应的时刻之间，t
n,j
应位于与对应的时刻之间。优选地，根据线性插值法求得相机在t
n，i
时刻所对应的位姿和激光雷达在t
n,j
时刻所对应的位姿
150.优选地，基于相机在t
n,i
时刻所对应的位姿和激光雷达在t
n,j
时刻所对应的位姿通过公式求得在δtn时间内基于世界坐标系下的相机与激光雷达采样时刻的位姿差
151.优选地，将激光雷达采集的基于激光雷达坐标系下的激光点云数据，通过进行空间变换到车体坐标系上，上标b代表车体坐标系，t
bl
为变换矩阵。
152.进一步优选地，通过将t
n,j
时刻的激光点云数据对齐到t
n,i
时刻，完成激光雷达到相机的时间对齐。
153.优选地，本公开还基于rtk的方差状况和点云匹配调整相对位姿序列。
154.在本公开的一些实施方式中，s120、基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据，包括：
155.s1202、激光点云数据及图像数据进行累积(进行预设时间段的累积)的情况下，对于某一时刻的激光点云数据，获取该时刻与累积时间段内的初始雷达图像采集时刻之间的时间差；
156.s1204、从车体rtk位姿序列数据中提取包括上述两个时刻的世界坐标系下的rtk位姿序列，以获取上述两个时刻分别对应的位姿；
157.s1206、获取时间差对应的世界坐标系下的位姿差；
158.s1208、基于位姿差对车体坐标系下的激光点云数据进行修正，以获得与车体坐标系下的图像数据时空对齐的激光点云数据。
159.图4是本公开的一个实施方式的基于rtk方差进行位姿调整的流程图。
160.参考图4，s130中，以预设时间长度(例如20s)对初次时空对齐后的激光点云数据及图像数据进行分段，获取各分段数据对应的rtk方差，包括：
161.获取rtk方差时，对所有自由度(即所有数据段)的rtk方差分别进行统计。
162.根据本公开的优选实施方式，s140中，基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据，包括：
163.当各个自由度的rtk方差均小于或等于方差阈值时，判定为不使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化，否则，判定为使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化。
164.参考图4，在本公开的一些实施方式中，当rtk的方差小于等于方差阈值时，直接进行3d激光点云累积；当rtk方差大于方差阈值时，借助imu数据和轮速计数据进行位姿变换后，再进行3d激光点云累积。
165.对于正常天气状况、卫星信号不受干扰的情况，采用本公开上文描述的时间空间对齐 rtk位姿变换能够进行准确的数据处理，但仍存在部分情况，例如天气恶劣、车辆经过高大建筑或者高架桥等，可能使得在某个时间段内rtk有较大方差，会导致激光点云累积后点的真实位置不够准确。为此，本公开优选地借助imu数据与轮速计数据融合来进行车辆的位姿变换替代上文描述的rtk计算的位姿变换，结合上文描述的时间空间对齐方法，对rtk方差大于方差阈值的时间段内的激光点云数据进行重新处理。
166.对于本公开的对象标注方法s100，优选地，步骤s140中，使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化，包括：
167.对于rtk方差超过方差阈值的某段数据，获取最接近且早于该段数据的起始时间的第一imu数据，将其对应的时间作为起点t
start
，获取最接近且晚于该段数据的终止时间的第二imu数据，将其对应的时间作为终点t
end
；
168.在起点和终点之间，对于每一个图像数据的采集时刻t1和每一个激光点云数据的采集时刻t2，进行以下处理：
169.基于轮速数据获取车体在起点时刻至终点时刻的平移量δx；基于imu数据获取车体在起点时刻至终点时刻的x、y、z(车体坐标系)方向的旋转角度差δyaw、δpitch和δroll；
170.通过旋转角度差δyaw、δpitch和δroll与平移量δx积分，获取车体在t1至t2时间段内沿y轴和z轴方向上的平移量δy和平移量δz，即车体在t1至t2时间段内的位姿变化量；
171.以位姿变化量替换rtk方差超过方差阈值的数据对应的位姿差。
172.根据本公开的优选实施方式，基于深度学习算法对激光点云数据和图像数据进行3d对象检测和2d对象检测。
173.在本公开的一些实施方式中，步骤s160中，对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注，包括：
174.使用基于bev的目标检测方法、基于range view的目标检测方法、基于point-wise feature的目标检测方法或者基于融合特征的目标检测方法对激光点云数据中的3d对象进行检测；
175.使用基于cascade/基于haar/svm的目标检测算法、基于r-cnn/基于fast r-cnn的候选区域/框 深度学习分类算法或者基于rrc detection/基于deformable cnn的深度学习检测方法对图像数据中的2d对象进行检测；
176.基于图像数据的特征图和激光点云数据的特征图的权重，使用mixture of experts进行建模，并通过拼接操作进行特征融合，以完成3d对象与2d对象的自动检测。
177.在本公开的一些实施方式中，对于累积情况中的静态对象，不进行点云的合并，即不通过点云进行对象检测，可以直接借助检测对象外框线进行多帧对象的合并，可省去点云合并完进行的对象检测步骤以减少计算量，也可避免多点云大量重合导致的观测不清问题。
178.图5是本公开的一个实施方式的对激光点云数据和图像数据分别进行3d对象检测和2d对象检测的流程示意图。
179.在本公开的对象标注方法s100的步骤s160中，对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注，包括：
180.将3d对象向相应的2d对象进行投影，基于同一对象的3d与2d的投影重合度判断检测到的对象是否正确，如果正确，则输出该对象，如果不正确，则不输出该对象，以进行对象标注。
181.如果某个对象的投影重合度大于或等于重合度阈值，则判断为检测到的对象正确；如果某个对象的投影重合度低于重合度阈值，则通过位姿优化进一步进行检测。
182.若投影重合度较低，则认为本公开的对象标方法/系统有一定的误差，误差有可能是因为车辆运动过程中发生颠簸导致车辆位姿不稳定和不准确，也可能是由于对3d对象或2d对象检测不够准确导致的。
183.在本公开的一些实施方式中，优选地，通过优化的方法，寻找观测的3d对象与其对应的2d投影误差最小的车辆位姿，来优化3d对象和2d对象的投影关系，并发现异常的3d对象检测结果和异常的2d对象检测结果，优选地采用以下方法进行优化。
184.由于一个3d对象可能被多个相机的多帧观测到，即投影误差是多个3d对象与其多次2d投影误差的和，因此在优化过程中，本公开进行局部时域多帧优化，设某需要重投影的时间段内共有m帧数据，m可以设置为5帧(也可以调整为其他帧数)。
185.以n个三维对象的几何中心点p和它们的2d投影的几何中心p来计算重投影误差(使用李代数ξ表示)。
186.假设某空间点pi＝[xi,yi,zi]
t
，其投影的像素坐标为pi＝[ui,vi]
t
，则像素位置与空间点位置的关系如下：
[0187]
即sipi＝kexp(ξ^)pi[0188]
其中，ki表示相机内参，si代表像素点间的距离，exp(ξ^)用于进行从世界坐标系到相机坐标系的位姿变换。
[0189]
但由于相机位姿不够准确以及观测点的噪声，上述等式存在一个误差。将观测对
象的所有像素点进行多帧误差求和，构建最小二乘问题，然后寻找更好的车辆位姿，使它最小化：
[0190][0191]
其中，由于车体上存在6个相机与4个激光雷达，而一个3d对象可能被多传感器多帧观测到，因此对观测到某对象的传感器数据，需要进行激光雷达对象向相机对象的位姿变换，这里用εi表示车体坐标系到相机坐标系的外参，以完成该变换过程。
[0192]
使用高斯牛顿法进行求解pb，利用调整后的车辆位姿pb，结合相机与激光雷达的内外参关系，建立3d投影与2d投影关系来判断自动标注对象正确与否，若有个别不准确则单独标注。
[0193]
本公开通过上述方法对3d与2d进行视觉融合，输出所有调整后的对象检测结果，即可完成机动车、非机动车、行人、交通牌、交通灯等3d类别图像的自动标注。
[0194]
根据本公开的优选实施方式的对象标注方法s100，步骤s160中，还包括：
[0195]
基于车体rtk位姿序列数据，将高精地图中各矢量对象投影至激光点云数据中和图像数据中更新激光点云数据和图像数据，以进行对象标注。
[0196]
本实施方式与上文描述的对象标注方法共同用于完成自动标注过程。本实施方式中，主要作用于地面交通标识等对象，以及地面上的杆、交通牌、交通灯等对象，这些对象基于激光点云直接进行3d对象自动检测较困难，因此本公开仅进行图像数据上进行2d对象检测。本实施方式将高精地图的矢量对象与2d检测对象结果进行融合，借助rtk数据验证标注的准确性并进行优化调整，参考图6，优选地包括以下步骤：
[0197]
s1602、基于车体rtk位姿序列数据获取激光雷达的观测范围之内的世界坐标系下的高精地图中各矢量对象的坐标和车体在世界坐标系下的坐标，观测范围以激光雷达中心为原点；
[0198]
s1604、将世界坐标系下的各矢量对象的坐标变换至车体坐标系中；
[0199]
s1606、将车体坐标系下的各矢量对象在激光点云数据中形成投影；
[0200]
s1608、将车体坐标系下的各矢量对象的坐标变换至相机坐标系下，在图像数据中形成投影；
[0201]
s1610、当rtk数据的方差小于或等于方差阈值时，将高精地图中各矢量对象投影到激光点云数据和图像数据中，当rtk数据的方差大于方差阈值时，则对点云数据进行基于图像数据的位姿优化以进行重投影，完成3d对象和2d对象的检测。
[0202]
本实施方式中，先借助rtk获得激光雷达观测范围内的基于世界坐标系的高精地图中各矢量对象的坐标和车体在世界坐标系下的坐标，观测范围是以激光雷达中心为原点，观测范围可以为前方150m，左侧右侧与后方均为50m的范围内。
[0203]
本实施方式中，该部分检测对象类别根据其内容，可以分为具有明确属性的类别(灯、牌、杆、车道线、人行横道、停止线、箭头、井盖等)和不具有明确属性的类别(建筑物形状、地面文字标记等)。
[0204]
由于每张图像中所包含的物体数量不多，通过物体的类别和包围框所对应的位置，可以快速的查找出对应的物体，利用其特征点进行细节匹配。
[0205]
结合检测结果，根据矢量对象与车体在世界坐标系下的相对位置，将基于世界坐标系的各矢量对象坐标转换到车体坐标系中：
[0206]
在激光雷达中形成投影，之后将基于车体坐标系的各矢量对象坐标转换到相机坐标系下并在相机中形成投影。
[0207]
计算矢量对象投影时rtk数据的方差，当rtk方差小于等于方差阈值时，直接将高精地图中各矢量对象投到相机与激光雷达中，完成3d对象和2d对象的标注。
[0208]
当rtk方差大于方差阈值时，对高精地图中各矢量对象数据通过重投影的最小误差来进行位姿的整体调优，之后再进行投影。调整优化步骤如下：
[0209]
分别选定每个rtk方差大于方差阈值的时间段。由于存在多个相机与激光雷达，因此对于同一物体同一时域内通常有m(m》2)帧图像可进行检测投影。因此在实际处理过程中，优选地将第m帧图像(m》2)与其前帧(m-1,m-2,
…
,2,1)进行数据关联，并根据三维空间中的物体与当前帧图像相关联的检测结果进行匹配。
[0210]
将完成检测匹配后的2d、3d对象进行重投影。重投影过程中，将3d激光雷达中的检测对象投影到2d相机图像中，借助公式以rtk给出的位姿作为初始位姿，使用高斯牛顿法进行求解，得到重投影误差最小的优化位姿。
[0211]
进一步地，根据重投影结果得到的优化位姿，结合时域内车辆的轮速里程计和imu计算的车辆位姿变换，更新原有的rtk的位姿，以新的位姿为基础直接进行3d和2d投影，完成矢量对象的标注。
[0212]
此外，高精地图中矢量对象的标注，如果出现其中一个相机投影有偏差或一次投影中某个对象投影的重合度低时，通常考虑为该相机的内外参或个别对象出现问题，此时可以直接采用人工方式进行个别问题的调整。调整完成后，再进行3d对象和2d对象投影。
[0213]
根据本公开的优选实施方式，本公开的对象标注方法s100的步骤s160中，还包括：
[0214]
对预设时间段内的激光点云数据进行叠加，以对静态对象和动态对象进行分别标注。
[0215]
本实施方式通过多帧叠加来提高精确度，即以某个时间为基准，将预设时间段内的所有点云投在世界坐标系下，以在进行自动标注的过程中有足够多的数据支撑。
[0216]
且优选地，本公开对场景中动、静态对象进行了区分性处理，即，对静态对象进行一次性标注和处理、对动态对象进行支持多次标注和调整，其中，可在3d视图中进行调整，或者2d图像视图中进行微调。
[0217]
优选地，为了增强本公开的对象标注方法的适用性和精确性，本公开优选地通过多帧叠加点云累计的方式来提高精确度。
[0218]
取预设时间段内(例如20s，可调整)激光雷达采集的激光点云数据即“图像”。以该预设时间段内采集的第一帧图像中的车体坐标系原点作为世界坐标系原点，第一帧图像对应的时刻t作为初始时刻。将其余所有帧的激光点云数据通过上文描述的时空对齐步骤，时间对齐到t时刻、空间对齐到世界坐标系下，并将对齐后的激光点云数据进行累积。
[0219]
对于累积后的上述预设时间段内的静态对象，包括无法移动的静态对象(路标等)和具有运动属性但在预设时间段内静止的对象(路边静止的车辆等)，进行一次性的对象检
测：
[0220]
计算rtk方差；
[0221]
对于rtk方差小于等于方差阈值的数据，判断为车辆的定位精度高，直接标注；对于rtk方差大于方差阈值的数据，判断为不可直接标注，需进行上文描述的时空对齐方法及基于rtk数据将各类矢量对象进行投影的方法中的相关处理，之后，再进行对象重投影和自动标注。
[0222]
在点云累积情况下，对于静态物体，对上述预设时间段内所有帧图像进行统计，通过均值方差，来检测统计后检测对象位置的变化。统计过程中包括了去外点过程，即对于预设时段内的多帧点云偶有几帧情况异常时，不通过重投影或人工标注等进行调整，而是作为极端值直接去除。
[0223]
上述方法能在保证精确度的同时，减少标注中所需的人力。
[0224]
此外，对于静态对象，时域内多帧图像累积时直接借助检测对象外框线进行多帧对象的合并，可省去点云合并完进行的对象检测步骤，减少计算量，也可避免多点云大量重合导致的观测不清问题。
[0225]
对于累积后的上述预设时间段内的动态对象，累积完成后是一段时间内的运动路线的虚影，仍需逐帧地检测，无法如静态对象一样去外点。由于动态对象的运动均符合运动模型，因此，拟合上述预设时间段内所有帧图像计算对象的运动是否符合运动模型。若符合，则认为检测正确可直接标注；若拟合后与运动模型不符(例如差别较大)，则标注出并基于上文描述的基于深度学习的方法进行对象检测或人工进行调整。
[0226]
本公开还提供一种对象标注装置，参考图7，本公开的一个实施方式的对象标注装置1000，包括：
[0227]
传感器数据获取模块1002，传感器数据获取模块1002获取多个传感器采集的数据，数据包括图像数据、激光点云数据、车体rtk位姿序列数据及车体imu/轮速数据；
[0228]
初次对齐模块1004，初次对齐模块1004基于图像数据的时间戳、激光点云数据的时间戳及车体rtk位姿序列数据，对图像数据和激光点云数据进行初次时空对齐，获得初次时空对齐后的激光点云数据及图像数据；
[0229]
数据分段模块1006，数据分段模块1006以预设时间长度对初次时空对齐后的激光点云数据及图像数据进行分组；
[0230]
rtk方差计算/判断模块1008，rtk方差计算/判断模块1008获取各分段数据对应的rtk方差；基于各分段数据对应的rtk方差，判断是否使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐；
[0231]
二次对齐模块1010，二次对齐模块1010使用车体imu/轮速数据对车体rtk位姿序列数据进行位姿优化以对图像数据和激光点云数据进行二次时空对齐，获得二次时空对齐后的激光点云数据及图像数据；
[0232]
对象标注模块1014，对象标注模块1014对激光点云数据和图像数据分别进行3d对象检测和2d对象检测，以进行对象标注。
[0233]
图8是本公开的又一个实施方式的对象标注装置1000的结构示意图。
[0234]
在图7的基础上，本实施方式的对象标注装置1000还包括数据累积模块1012，数据累积模块1012对激光点云数据及图像数据进行累积；
[0235]
对象标注模块1014对累积的激光点云数据和累积的图像数据分别进行3d对象检测和2d对象检测。
[0236]
本公开的对象标注装置可以基于计算机软件程序架构的方式实现。
[0237]
本公开的对象标注方法是一种自动标注方法，本公开的技术方案利用包括含时间戳的3d激光点云数据、多个不同位置相机的视频数据、车辆定位用rtk、imu和轮速及相关状态数据在内的多项数据，提高了自动标注的精确度。在本公开的一些实施方式中，根据rtk方差情况，递进地使用rtk、imu 轮速融合的方法，完成各种数据的时间、空间对齐，减少了激光雷达采集频率不同步对精确度的影响。本公开的技术方案采取深度学习算法进行自动的激光3d对象检测和图像2d对象检测，借助高精地图rtk定位数据和重投影的方式，完成了快速的3d(激光点云3d框和视频的3d框)和图像2d框的自动标注与优化调整过程，提高了自动标注的效率。在本公开的一些实施方式中，采取多帧叠加的方式进行点云累积，且对场景中静态和动态对象区分标注，通过静态一次性调整完成多帧的所有静态物体的标注和优化调整，提升标注效率。
[0238]
本公开的技术方案尤其能够完成对于有高精地图场景的高精度广泛性的自动标注。
[0239]
图7、图8是本公开的采用处理系统的硬件实现方式的对象标注装置的结构示意框图。
[0240]
该装置可以包括执行上述流程图中各个或几个步骤的相应模块。因此，可以由相应模块执行上述流程图中的每个步骤或几个步骤，并且该装置可以包括这些模块中的一个或多个模块。模块可以是专门被配置为执行相应步骤的一个或多个硬件模块、或者由被配置为执行相应步骤的处理器来实现、或者存储在计算机可读介质内用于由处理器来实现、或者通过某种组合来实现。
[0241]
该硬件结构可以利用总线架构来实现。总线架构可以包括任何数量的互连总线和桥接器，这取决于硬件的特定应用和总体设计约束。总线1100将包括一个或多个处理器1200、存储器1300和/或硬件模块的各种电路连接到一起。总线1100还可以将诸如外围设备、电压调节器、功率管理电路、外部天线等的各种其他电路1400连接。
[0242]
总线1100可以是工业标准体系结构(isa，industry standard architecture)总线、外部设备互连(pci，peripheral component)总线或扩展工业标准体系结构(eisa，extended industry standard component)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，该图中仅用一条连接线表示，但并不表示仅有一根总线或一种类型的总线。
[0243]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本公开的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本公开的实施方式所属技术领域的技术人员所理解。处理器执行上文所描述的各个方法和处理。例如，本公开中的方法实施方式可以被实现为软件程序，其被有形地包含于机器可读介质，例如存储器。在一些实施方式中，软件程序的部分或者全部可以经由存储器和/或通信接口而被载入和/或安装。当软件程序加载到存储器并由处理器执行时，可以执行上文描述的方
法中的一个或多个步骤。备选地，在其他实施方式中，处理器可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行上述方法之一。
[0244]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，可以具体实现在任何可读存储介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。
[0245]
就本说明书而言，“可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。可读存储介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式只读存储器(cdrom)。另外，可读存储介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在存储器中。
[0246]
应当理解，本公开的各部分可以用硬件、软件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0247]
本技术领域的普通技术人员可以理解实现上述实施方式方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，程序可以存储于一种可读存储介质中，该程序在执行时，包括方法实施方式的步骤之一或其组合。
[0248]
此外，在本公开各个实施方式中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。
[0249]
本公开还提供了一种电子设备，包括：存储器，存储器存储执行指令；以及处理器或其他硬件模块，处理器或其他硬件模块执行存储器存储的执行指令，使得处理器或其他硬件模块执行上述的对象标注方法。
[0250]
本公开还提供了一种可读存储介质，可读存储介质中存储有执行指令，所述执行指令被处理器执行时用于实现上述的对象标注方法。
[0251]
在本说明书的描述中，参考术语“一个实施方式/方式”、“一些实施方式/方式”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施方式/方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式/方式或示例中。在本说明书中，对上述术语的示意性表述不必须的是相同的实施方式/方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施方式/方式或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施方
式/方式或示例以及不同实施方式/方式或示例的特征进行结合和组合。
[0252]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0253]
本领域的技术人员应当理解，上述实施方式仅仅是为了清楚地说明本公开，而并非是对本公开的范围进行限定。对于所属领域的技术人员而言，在上述公开的基础上还可以做出其它变化或变型，并且这些变化或变型仍处于本公开的范围内。