标定验证方法、装置、系统、电子设备及存储介质与流程

1.本发明涉及计算机视觉技术领域，尤其涉及一种标定验证方法、装置、系统、电子设备及存储介质。


背景技术：

2.机器人操作系统（robot operating system，ros）是专为机器人软件开发所设计出来的一套电脑操作系统架构，提供类似于操作系统的服务，包括硬件抽象描述、底层驱动程序管理、共用功能的执行、程序间消息传递、程序发行包管理。目前，对于机器人操作系统中的非重复扫描混合固态激光雷达与相机标定算法多由对应设备厂商开发，通过选取对应特征点，或者提取边缘特征进行非线性优化实现标定。验证其标定结果的方法也比较繁琐，需要连接雷达，录制指定的点云和图像数据，再关闭雷达进行验证，验证结果以图片储存，缺少实时性，并且，还需要使用厂商自定义的数据类型和软件开发工具包，无法在不同厂商的雷达之间移植。


技术实现要素：

3.本发明提供一种标定验证方法、装置、系统、电子设备及存储介质，用以解决现有技术中对标定进行验证需要先开启传感器再关闭所导致操作繁琐的缺陷。
4.本发明提供一种标定验证方法，包括：接收第一传感数据和第二传感数据；在确定所述第一传感数据的时间戳和所述第二传感数据的时间戳对齐的情况下，基于所述第一传感数据、所述第二传感数据和标定结果，从点云数据中筛选出目标点云数据；基于所述目标点云数据和图像数据，获取有色点云数据；其中，所述第一传感数据是数据格式与机器人操作系统适配的雷达传感数据；所述第二传感数据是数据格式与机器人操作系统适配的相机传感数据；所述标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据；所述点云数据是基于所述第一传感数据确定的；所述图像数据是基于所述第二传感数据确定的；所述有色点云数据用于作为标定验证的判断依据。
5.根据本发明提供的一种标定验证方法，在所述获取有色点云数据之后，还包括：响应于用户终端发送的查询请求，对目标空间内的有色点云数据进行格式转换，获取目标有色点云；若确定所述查询请求激活第一工作模式，控制所述机器人操作系统发布当前时刻的目标有色点云；若确定所述查询请求激活第二工作模式，控制所述机器人操作系统发布目标时间段内的目标有色点云；其中，所述目标空间是由所述查询请求确定的。
6.根据本发明提供的一种标定验证方法，所述基于所述第一传感数据、所述第二传感数据和标定结果，从点云数据中筛选出目标点云数据，包括：将所述第一传感数据和所述第二传感数据分别转化为点云数据和图像数据；对于所述点云数据中的任一候选点云数据，结合所述标定结果，获取目标投影像素；在确定所述目标投影像素的坐标处于所述图像数据的坐标范围内的情况下，将所述候选点云数据作为所述目标点云数据。
7.根据本发明提供的一种标定验证方法，所述基于所述目标点云数据和图像数据，获取有色点云数据，包括：利用所述目标投影像素的坐标从所述图像数据中抽选目标像素值；基于所述目标像素值和所述点云数据，获取所述有色点云数据。
8.根据本发明提供的一种标定验证方法，在所述接收第一传感数据和第二传感数据之前，还包括：在确定所述雷达传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对所述雷达传感数据进行格式转换，得到所述第一传感数据；在确定所述相机传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对所述相机传感数据进行格式转换，得到所述第二传感数据。
9.根据本发明提供的一种标定验证方法，在确定机器人操作系统启动之前，还包括：将所述标定结果写入至参数配置文件中，以通过所述参数配置文件调用所述标定结果。
10.本发明还提供一种标定验证装置，包括：数据接收模块，用于接收第一传感数据和第二传感数据；验证模块，用于在确定所述第一传感数据的时间戳和所述第二传感数据的时间戳对齐的情况下，基于所述第一传感数据、所述第二传感数据和标定结果，从点云数据中筛选出目标点云数据；有色点云获取模块，用于基于所述目标点云数据和图像数据，获取有色点云数据；其中，所述第一传感数据是数据格式与机器人操作系统适配的雷达传感数据；所述第二传感数据是数据格式与机器人操作系统适配的相机传感数据；所述标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据；所述点云数据是基于所述第一传感数据确定的；所述图像数据是基于所述第二传感数据确定的；所述有色点云数据用于作为标定验证的判断依据。
11.本发明还提供一种标定验证系统，包括与雷达传感器和相机传感器通信连接的机器人操作系统本体，还包括如上所述标定验证装置。
12.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述标定验证方法。
13.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述标定验证方法。
14.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器
执行时实现如上述任一种所述标定验证方法。
15.本发明实施例基于机器人操作系统采用通用数据格式，实时接收第一传感数据和第二传感数据，通过对齐的时间戳决策利用第一传感数据和第二传感数据对已有的标定筛选出可以进行着色的目标点云数据，并利用转化格式后的图像数据对目标点云数据进行着色，获取有色点云数据。能在各传感器处于在线状态就能进行相关验证，并利用有色点云数据是否与真实物理空间下的颜色对应来实现联合标定的验证，简化标定验证的操作，提升标定验证的效率。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明提供的标定验证方法的流程示意图；图2是本发明提供的标定验证装置的结构示意图；图3是本发明提供的标定验证系统的结构示意图；图4是本发明提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本技术中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。
20.应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
21.术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
22.图1是本发明提供的标定验证方法的流程示意图。如图1所示，本发明实施例提供的标定验证方法，包括：步骤101、接收第一传感数据和第二传感数据。
23.其中，第一传感数据是数据格式与机器人操作系统适配的雷达传感数据。第二传感数据是数据格式与机器人操作系统适配的相机传感数据。
24.需要说明的是，本发明实施例提供的标定验证方法的执行主体是标定验证装置。
25.本发明实施例提供的标定验证方法适用于计算机视觉感知场景。
26.例如，对于智能机器人，可以至少由处理器和大量感知器构成，利用其自身所具备
的感知能力，在其与环境以及机器人操作系统的实时动态交互过程中，增量式、渐进地提升自身自主行为能力的过程。
27.其中，智能机器人包括但不限于机械臂、移动底盘、无人机、无人车等许多种类的机器人。
28.需要说明的是，在步骤101之前，将雷达传感器和相机传感器连接至标定验证装置所依托运行的电子设备，并且在该设备中启动关于机器人操作系统的驱动，以确保机器人操作系统的其他节点可以接收到雷达传感器和相机传感器所采集的数据信息。
29.具体地，在步骤101中，标定验证装置在确定机器人操作系统的各节点均已初始化后，从机器人操作系统中订阅雷达传感器与相机传感器的最新消息，接收机器人操作系统所实时上传的第一传感数据和第二传感数据。
30.第一传感数据，是指经由机器人操作系统将雷达传感器所采集的雷达传感数据转换成机器人操作系统通用数据类型的数据。
31.示例性地，第一传感数据在机器人操作系统的通用数据类型为sensor_msgs::pointcloud2。
32.第二传感数据，是指经由机器人操作系统将相机传感器所采集的相机传感数据转换成机器人操作系统通用数据类型的数据。
33.示例性地，第二传感数据在机器人操作系统的通用数据类型为sensor_msgs::image。
34.步骤102、在确定第一传感数据的时间戳和第二传感数据的时间戳对齐的情况下，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据。
35.其中，标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据。点云数据是基于第一传感数据确定的。
36.需要说明的是，在步骤102之前，需要提前对机器人操作系统所录入的传感器进行联合标定，将各相机传感器的内参数据、畸变参数和分辨率参数，以及各相机传感器相对于雷达传感器的外参数据作为标定结果进行存储。
37.具体地，在步骤102 中，标定验证装置将第一传感数据的时间戳和第二传感数据的时间戳进行对比。
38.若第一传感数据的时间戳和第二传感数据的时间戳对齐，即认定对两类传感数据属于同一时刻，则利用第一传感数据和第二传感数据进行运算，结合已有的标定结果进行验证，从与第一传感数据对应的点云数据中筛选出可以进行着色的目标点云数据。
39.若第一传感数据的时间戳和第二传感数据的时间戳不重合，即认定对两类传感数据不属于同一时刻，则在下一周期内进行数据采集，利用两类数据的时间戳寻找出属于同一时刻的第一传感数据和第二传感数据，再对属于同一时刻下的第一传感数据对应的点云数据中筛选出可以进行着色的目标点云数据。
40.步骤103、基于目标点云数据和图像数据，获取有色点云数据。
41.其中，图像数据是基于第二传感数据确定的。有色点云数据用于作为标定验证的判断依据。
42.具体地，在步骤103中，标定验证装置对于目标点云数据中的每一点，利用该坐标点下由第二传感数据进行格式转换获得的图像数据，对相应坐标位置的目标点云数据进行
着色，获取有色点云数据。
43.本发明实施例基于机器人操作系统采用通用数据格式，实时接收第一传感数据和第二传感数据，通过对齐的时间戳决策利用第一传感数据和第二传感数据对已有的标定筛选出可以进行着色的目标点云数据，并利用转化格式后的图像数据对目标点云数据进行着色，获取有色点云数据。能在各传感器处于在线状态就能进行相关验证，并利用有色点云数据是否与真实物理空间下的颜色对应来实现联合标定的验证，简化标定验证的操作，提升标定验证的效率。
44.在上述任一实施例的基础上，在获取有色点云数据之后，还包括：响应于用户终端发送的查询请求，对目标空间内的有色点云数据进行格式转换，获取目标有色点云。
45.其中，目标空间是由查询请求确定的。
46.需要说明的是，标定验证装置的用户可以根据实际任务需求，发起查询请求，以获取某一目标空间，和/或，某一目标时间段下的有色点云数据。
47.其中，目标空间的范围，限定在机器人操作系统所包含的雷达感知范围内。
48.目标时间段，限定在标定验证装置开机到当前时刻之间。
49.具体地，在步骤103之后，标定验证装置接收并响应于用户发起的查询请求，将该请求中所指定的目标空间下的有色点云数据的数据格式转换为机器人操作系统的通用数据类型，得到目标有色点云。
50.目标有色点云，可供操用户对标定结果的优劣进行主观判别。
51.本发明实施例对数据格式的转换方法不作具体限定。
52.示例性地，可以利用点云库（point cloud library，pcl）将有色点云数据的数据格式转换为机器人操作系统的通用数据类型。
53.点云库，是在吸收了前人点云相关研究基础上建立起来的大型跨平台开源c 编程库，它实现了大量点云相关的通用算法和高效数据结构，涉及到点云获取、滤波、分割、配准、检索、特征提取、识别、追踪、曲面重建、可视化等。
54.若确定查询请求激活第一工作模式，控制机器人操作系统发布当前时刻的目标有色点云。
55.具体地，标定验证装置根据接收到的查询请求激活了第一工作模式，则抽取出当前帧对应的有色点云数据，并在格式转换后，控制机器人操作系统发布当前时刻下关于目标空间的目标有色点云。
56.若确定查询请求激活第二工作模式，控制机器人操作系统发布目标时间段内的目标有色点云。
57.具体地，标定验证装置根据接收到的查询请求激活了第二工作模式，则在保留目标时间段下历史帧的有色点云数据的基础上，不断累加当前帧的有色点云数据，并在格式转换后，控制机器人操作系统发布目标时间段下关于目标空间的目标有色点云。
58.示例性地，目标时间段的起始点可以为标定验证装置开机时刻和当前运行时刻，相应地，机器人操作系统可以发布开机至当前时刻的目标空间内的目标有色点云。
59.本发明实施例接收并响应于查询请求，将有色点云数据转换成机器人操作系统的通用数据格式，并针对不同的工作模式，决策由机器人操作系统实时发布瞬时点云，或者一段时间内的点云水平。实现了采用通用数据类型的点云，可以在机器人操作系统上实时查
看所有类型、产商的雷达与相机联合标定效果，避免不同厂商的传感器之间需要移植所导致的低效率。
60.在上述任一实施例的基础上，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据，包括：将第一传感数据和第二传感数据分别转化为点云数据和图像数据。
61.具体地，在步骤103中，标定验证装置在利用时间戳确定第一传感数据和第二传感数据来自同一时刻时，分别通过点云库（pcl）与开源计算机视觉库（open source computer vision library，opencv）对实时的第一传感数据和第二传感数据进行格式转换，得到可被pcl与opencv处理的点云数据和图像数据。
62.对于点云数据中的任一候选点云数据，结合标定结果，获取目标投影像素。
63.具体地，标定验证装置将点云空间中每一个点所对应的点云数据作为候选点云数据，结合标定结果中所指示的相机传感器相对于雷达传感器的外参数据，计算该点在图像内的目标投影像素。
64.在确定目标投影像素的坐标处于图像数据的坐标范围内的情况下，将候选点云数据作为目标点云数据。
65.具体地，标定验证装置对当前点的目标投影像素取其整数部分作为该目标投影像素的坐标，若确定该坐标属于图片数据的坐标范围内，即认定该目标投影像素所对应的候选点云数据可以进行着色，故将其以目标点云数据进行存储记录以待点云着色。
66.若确定该坐标不属于图片数据的坐标范围内，即认定目标投影像素所对应的候选点云数据不可以进行着色，并舍弃。
67.本发明实施例在决策利用实时的第一传感数据和第二传感数据进行标定验证，将机器人操作系统的通用数据格式的传感数据转换成可被pcl与opencv处理的点云数据以及图像数据，通过点云数据和标定结果将其投影至图像数据中对点云数据进行筛选。实现了无需进行过多的移植操作，就能对各类型、厂商的传感器的采集数据，对联合标定结果进行验证，提高可扩展性，简化不同厂商设备间的标定验证操作。
68.在上述任一实施例的基础上，基于目标点云数据和图像数据，获取有色点云数据，包括：利用目标投影像素的坐标从图像数据中抽选目标像素值。
69.具体地，标定验证装置根据每一目标点云数据对应的目标投影像素的坐标值，在图像数据寻找该位置对应像素的rgb值，作为目标像素值。
70.可以理解的是，还需要预先利用标定结果中包含的相机内参和畸变参数对图像数据去畸变，进而利用投影像素的坐标在去畸变后图像数据里寻找该像素点的rgb值。
71.基于目标像素值和点云数据，获取有色点云数据。
72.具体地，标定验证装置根据目标像素值所指示的rgb值对与投影像素对应的点云进行上色，获取有色点云数据。
73.本发明实施例利用目标点云数据向图像数据的目标投影像素点所对应的目标像素值，通过目标像素值对对应的点云数据进行着色获取有色点云数据。实现了在各传感器处于在线状态就能进行相关验证，提高标定验证的实时性，加快计算机视觉的处理效率。
74.在上述任一实施例的基础上，在接收第一传感数据和第二传感数据之前，还包括：在确定雷达传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对
雷达传感数据进行格式转换，得到第一传感数据。
75.具体地，标定验证装置将对应类型或者厂商的雷达传感器采集雷达传感数据的时间戳与机器人操作系统的时间戳进行匹配对齐后，在确保雷达传感器的时间维度与机器人操作系统统一后，将雷达传感数据转换成机器人操作系统通用数据类型，得到第一传感数据。
76.在确定相机传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对相机传感数据进行格式转换，得到第二传感数据。
77.具体地，标定验证装置将对应类型或者厂商的相机传感器采集相机传感数据的时间戳与机器人操作系统的时间戳进行匹配对齐后，在确保雷达传感器的时间维度与机器人操作系统统一后，将相机传感数据转换成机器人操作系统通用数据类型，得到第二传感数据。
78.本发明实施例通过将雷达传感数据的时间戳和相机传感数据的时间戳分别与机器人操作系统的时间戳对齐后，将相应的传感数据转换成机器人操作系统的通用数据格式，通过机器人操作系统将转换格式后的第一传感数据和第二传感数据进行传输。实现了无需进行过多的移植操作，就能对各类型、厂商的传感器的采集数据，对联合标定结果进行验证，提高可扩展性，简化不同厂商设备间的标定验证操作。
79.在上述任一实施例的基础上，在确定机器人操作系统启动之前，还包括：将标定结果写入至参数配置文件中，以通过参数配置文件调用标定结果。
80.具体地，在步骤101之前，标定验证装置将雷传感器和相机传感器在机器人操作系统中的节点名称，在机器人操作系统的参数配置文件中开辟对应的标定结果存储空间，并将所获得的相机传感器内参矩阵、畸变系数和相机分辨率，以及雷达-相机外参矩阵记录在参数配置文件中的对应节点名称下，以调用相应的参数配置文件，对所记录的标定结果进行验证。
81.示例性地，参数配置文件中可以以键值对的方式进行记录，具体实施方式如下所示：camera_matrix: [1733.042999, 0.000000, 670.885348；0.000000, 1729.558205, 483.844788；0.000000, 0.000000, 1.000000]；dist_coeffs: [-0.042121, 0.214661, 0.000672, 0.004995, 0.000000]；extrinsic_matrix: [-0.0429815,-0.999005,-0.0119072,0.179061；-0.0718674,0.014979,-0.997302,0.203616；0.996488,-0.0420098,-0.0724397,0.132516；0,0,0,1]其中，camera_matrix为相机传感器的内参矩阵，dist_coeffs为相机传感器的畸变参数，extrinsic_matrix为相机传感器相对于雷达传感器的外参矩阵。
[0082]
本发明实施例可以通过参数配置文件记录所有产商的雷达与相机联合标定结果，并在标定验证过程中通过在参数配置文件中包含的参数信息进行相应的验证，能够为雷达与相机联合标定结果验证提供了一个简便快捷的方法。
[0083]
图2是本发明提供的标定验证装置的结构示意图。如图2所示，在上述任一实施例
的基础上，该装置包括：数据接收模块210、验证模块220和有色点云获取模块230，其中：数据接收模块210，用于接收第一传感数据和第二传感数据。
[0084]
验证模块220，用于在确定第一传感数据的时间戳和第二传感数据的时间戳对齐的情况下，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据。
[0085]
有色点云获取模块230，用于基于目标点云数据和图像数据，获取有色点云数据。
[0086]
其中，第一传感数据是数据格式与机器人操作系统适配的雷达传感数据。第二传感数据是数据格式与机器人操作系统适配的相机传感数据。标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据。点云数据是基于第一传感数据确定的。图像数据是基于第二传感数据确定的。有色点云数据用于作为标定验证的判断依据。
[0087]
具体地，数据接收模块210、验证模块220和有色点云获取模块230顺次电连接。
[0088]
数据接收模块210在确定机器人操作系统的各节点均已初始化后，从机器人操作系统中订阅雷达传感器与相机传感器的最新消息，接收机器人操作系统所实时上传的第一传感数据和第二传感数据。
[0089]
验证模块220标定验证装置将第一传感数据的时间戳和第二传感数据的时间戳进行对比。
[0090]
若第一传感数据的时间戳和第二传感数据的时间戳对齐，即认定对两类传感数据属于同一时刻，则利用第一传感数据和第二传感数据进行运算，结合已有的标定结果进行验证，从与第一传感数据对应的点云数据中筛选出可以进行着色的目标点云数据。
[0091]
若第一传感数据的时间戳和第二传感数据的时间戳不对齐，即认定对两类传感数据不属于同一时刻，则在下一周期内进行数据采集，利用两类数据的时间戳寻找出属于同一时刻的第一传感数据和第二传感数据，再对属于同一时刻下的第一传感数据对应的点云数据中筛选出可以进行着色的目标点云数据。
[0092]
有色点云获取模块230对于目标点云数据中的每一点，利用该坐标点下由第二传感数据进行格式转换获得的图像数据，对相应坐标位置的目标点云数据进行着色，获取有色点云数据。
[0093]
可选地，该装置还包括查询响应模块、第一发布模块和第二发布模块，其中：查询响应模块，用于响应于用户终端发送的查询请求，对目标空间内的有色点云数据进行格式转换，获取目标有色点云。
[0094]
第一发布模块，用于若确定查询请求激活第一工作模式，控制机器人操作系统发布当前时刻的目标有色点云。
[0095]
第二发布模块，用于若确定查询请求激活第二工作模式，控制机器人操作系统发布目标时间段内的目标有色点云。
[0096]
其中，目标空间是由查询请求确定的。
[0097]
可选地，验证模块220包括格式转换单元、投影单元和筛选单元，其中：格式转换单元，用于将第一传感数据和第二传感数据分别转化为点云数据和图像数据。
[0098]
投影单元，用于对于点云数据中的任一候选点云数据，结合标定结果，获取目标投
影像素。
[0099]
筛选单元，用于在确定目标投影像素的坐标处于图像数据的坐标范围内的情况下，将候选点云数据作为目标点云数据。
[0100]
可选地，有色点云获取模块230包括像素抽取单元和点云着色单元，其中：像素抽取单元，用于利用目标投影像素的坐标从图像数据中抽选目标像素值。
[0101]
点云着色单元，用于基于目标像素值和点云数据，获取有色点云数据。
[0102]
可选地，该装置该包括第一转换模块和第二转换模块，其中：第一转换模块，用于在确定雷达传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对雷达传感数据进行格式转换，得到第一传感数据。
[0103]
第二转换模块，用于在确定相机传感数据的时间戳与机器人操作系统的时间戳对齐后，控制机器人操作系统对相机传感数据进行格式转换，得到第二传感数据。
[0104]
可选地，该装置该包括配置模块，其中：配置模块，用于将标定结果写入至参数配置文件中，以通过参数配置文件调用标定结果。
[0105]
本发明实施例提供的标定验证装置，用于执行本发明上述标定验证方法，其实施方式与本发明提供的标定验证方法的实施方式一致，且可以达到相同的有益效果，此处不再赘述。
[0106]
本发明实施例基于机器人操作系统采用通用数据格式，实时接收第一传感数据和第二传感数据，通过对齐的时间戳决策利用第一传感数据和第二传感数据对已有的标定筛选出可以进行着色的目标点云数据，并利用转化格式后的图像数据对目标点云数据进行着色，获取有色点云数据。能在各传感器处于在线状态就能进行相关验证，并利用有色点云数据是否与真实物理空间下的颜色对应来实现联合标定的验证，简化标定验证的操作，提升标定验证的效率。图3是本发明提供的标定验证系统的结构示意图。如图3所示，在上述任一实施例的基础上，包括与雷达传感器310和相机传感器320通信连接的机器人操作系统本体300，还包括如上所述的标定验证装置330。
[0107]
具体地，标定验证系统可以依托于机器人操作系统300运行，在机器人操作系统300中除了设置有雷达传感器310和相机传感器320等感知节点，还包括标定验证装置330所依托运行的处理器，标定验证装置330与机器人操作系统300进行通信。
[0108]
本发明实施例基于机器人操作系统采用通用数据格式，实时接收第一传感数据和第二传感数据，通过对齐的时间戳决策利用第一传感数据和第二传感数据对已有的标定筛选出可以进行着色的目标点云数据，并利用转化格式后的图像数据对目标点云数据进行着色，获取有色点云数据。能在各传感器处于在线状态就能进行相关验证，并利用有色点云数据是否与真实物理空间下的颜色对应来实现联合标定的验证，简化标定验证的操作，提升标定验证的效率。
[0109]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器（processor）410、通信接口（communications interface）420、存储器（memory）430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行标定验证方法，该方法包括：接收第一传感数据和第二传感数据；在确定第一传感数据的时间戳和第二传感数据的时间戳对
齐的情况下，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据；基于目标点云数据和图像数据，获取有色点云数据；其中，第一传感数据是数据格式与机器人操作系统适配的雷达传感数据；第二传感数据是数据格式与机器人操作系统适配的相机传感数据；标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据；点云数据是基于第一传感数据确定的；图像数据是基于第二传感数据确定的；有色点云数据用于作为标定验证的判断依据。
[0110]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0111]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的标定验证方法，该方法包括：接收第一传感数据和第二传感数据；在确定第一传感数据的时间戳和第二传感数据的时间戳对齐的情况下，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据；基于目标点云数据和图像数据，获取有色点云数据；其中，第一传感数据是数据格式与机器人操作系统适配的雷达传感数据；第二传感数据是数据格式与机器人操作系统适配的相机传感数据；标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据；点云数据是基于第一传感数据确定的；图像数据是基于第二传感数据确定的；有色点云数据用于作为标定验证的判断依据。
[0112]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的标定验证方法，该方法包括：接收第一传感数据和第二传感数据；在确定第一传感数据的时间戳和第二传感数据的时间戳对齐的情况下，基于第一传感数据、第二传感数据和标定结果，从点云数据中筛选出目标点云数据；基于目标点云数据和图像数据，获取有色点云数据；其中，第一传感数据是数据格式与机器人操作系统适配的雷达传感数据；第二传感数据是数据格式与机器人操作系统适配的相机传感数据；标定结果包括相机传感器的内参数据、畸变参数和分辨率参数，以及相机传感器相对于雷达传感器的外参数据；点云数据是基于第一传感数据确定的；图像数据是基于第二传感数据确定的；有色点云数据用于作为标定验证的判断依据。
[0113]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0114]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可
借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
[0115]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。