一种道路标识牌识别系统及检测、定位、评估方法与流程

1.本发明涉及道路标识牌识别技术领域，特别是涉及一种用于无人驾驶车辆的道路标识牌识别系统及检测、定位、评估方法。


背景技术：

2.道路标识在交通安全中发挥着关键的作用，是引导无人驾驶车辆自主行驶的一个重要因素。无人驾驶车辆在道路上行驶时，在决策和规划层面需要考虑路面的道路标识牌信息，按照道路标识牌所提供的信息行进。
3.目前道路标识牌的检测和定位技术大多依赖于高性能的计算机，且在实时性和精确度方面无法满足无人驾驶车辆的使用要求。
4.基于此，亟需一种高精度且实时性好的道路标识牌识别技术。


技术实现要素：

5.本发明的目的是提供一种道路标识牌识别系统及检测、定位、评估方法，能够实现道路标识牌的检测和定位，精度高、实时性好，且能够对定位精度进行评估。
6.为实现上述目的，本发明提供了如下方案：第一方面，本发明用于提供一种道路标识牌识别系统，包括：工控机、边缘计算盒以及安装在无人驾驶车辆上的工业相机；所述工控机分别与所述边缘计算盒和所述工业相机通信连接；所述工业相机用于拍摄得到所述无人驾驶车辆的前方道路图像；所述前方道路图像包括道路标识牌；所述工控机用于将所述前方道路图像转发至所述边缘计算盒；所述边缘计算盒包括目标检测模块；所述目标检测模块用于利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域。
7.在一些实施例中，还包括：安装在所述无人驾驶车辆上且与所述工控机通信连接的激光雷达；所述激光雷达用于扫描得到所述无人驾驶车辆前方的激光雷达点云数据；所述边缘计算盒还包括目标定位模块；所述目标定位模块用于根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据，并根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置。
8.在一些实施例中，还包括：安装在所述无人驾驶车辆上且与所述工控机通信连接的全球定位系统和惯性导航系统；所述全球定位系统用于对所述无人驾驶车辆进行位置定位，得到所述无人驾驶车辆的第一位置坐标；所述惯性导航系统用于对所述无人驾驶车辆进行角度定位，得到所述无人驾驶车
辆的车辆航向角；所述边缘计算盒还包括定位精度评估模块；所述定位精度评估模块用于基于所述车辆航向角将所述第一位置坐标转换到车辆坐标系下，得到第二位置坐标，并根据所述第二位置坐标计算所述道路标识牌相对于所述无人驾驶车辆的第二相对位置；计算所述第二相对位置和所述第一相对位置的差值，得到定位精度。
9.在一些实施例中，所述工业相机将所述前方道路图像以ros话题的格式传输至所述工控机；所述激光雷达将所述激光雷达点云数据以ros话题的格式传输至所述工控机；所述全球定位系统将所述第一位置坐标以ros话题的格式传输至所述工控机；所述惯性导航系统将所述车辆航向角以ros话题的格式传输至所述工控机。
10.第二方面，本发明用于提供一种道路标识牌检测方法，包括：获取无人驾驶车辆的前方道路图像；所述前方道路图像包括道路标识牌；利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域。
11.第三方面，本发明用于提供一种道路标识牌定位方法，包括：获取无人驾驶车辆的前方道路图像和所述无人驾驶车辆前方的激光雷达点云数据；所述前方道路图像包括道路标识牌；利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域；根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据，并根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置。
12.在一些实施例中，所述根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据具体包括：利用激光雷达坐标系和相机像素坐标系之间的投影矩阵，将所述激光雷达点云数据投影到所述相机像素坐标系下，得到所述激光雷达点云数据中的每一个雷达点的投影数据；将所述投影数据未在所述位置区域内的雷达点从所述激光雷达点云数据中去除，得到筛选后点云数据。
13.在一些实施例中，在利用激光雷达坐标系和相机像素坐标系之间的投影矩阵，将所述激光雷达点云数据投影到所述相机像素坐标系下之前，还包括：对所述激光雷达点云数据进行初步筛选，筛选出所述无人驾驶车辆前方的地面以上的雷达点，组成初步筛选后点云数据，并以所述初步筛选后点云数据作为新的激光雷达点云数据。
14.在一些实施例中，所述根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置具体包括：利用ransac方法对所述筛选后点云数据进行平面拟合，得到拟合平面；计算所述筛选后点云数据中的每一个雷达点与所述拟合平面的距离，并去除所述距离大于预设阈值的雷达点，得到计算用点云数据；计算所述计算用点云数据的质心坐标，得到所述道路标识牌相对于所述无人驾驶车辆的第一相对位置。
15.第四方面，本发明用于提供一种道路标识牌评估方法，包括：
获取无人驾驶车辆的前方道路图像、所述无人驾驶车辆前方的激光雷达点云数据以及所述无人驾驶车辆的第一位置坐标和车辆航向角；所述前方道路图像包括道路标识牌；利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域；根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据，并根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置；基于所述车辆航向角将所述第一位置坐标转换到车辆坐标系下，得到第二位置坐标，并根据所述第二位置坐标计算所述道路标识牌相对于所述无人驾驶车辆的第二相对位置；计算所述第二相对位置和所述第一相对位置的差值，得到定位精度。
16.根据本发明提供的具体实施例，本发明公开了以下技术效果：本发明用于提供一种道路标识牌识别系统及检测、定位、评估方法，包括：工控机、边缘计算盒以及安装在无人驾驶车辆上的工业相机，工控机分别与边缘计算盒和工业相机通信连接。工业相机用于拍摄得到无人驾驶车辆的前方道路图像，前方道路图像包括道路标识牌。工控机用于将前方道路图像转发至边缘计算盒。边缘计算盒包括目标检测模块，目标检测模块用于利用目标检测模型对前方道路图像进行检测，得到道路标识牌的类别和道路标识牌在前方道路图像中的位置区域，采用边缘计算盒对道路标识牌进行检测，实时性好，且利用目标检测模型对道路标识牌进行检测，准确度高。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
18.图1为本发明实施例1所提供的识别系统的结构示意图；图2为本发明实施例2所提供的检测方法的方法流程图；图3为本发明实施例3所提供的定位方法的方法流程图；图4为本发明实施例3所提供的定位方法的原理框图；图5为本发明实施例4所提供的评估方法的方法流程图；图6为本发明实施例4所提供的评估方法的原理框图；图7为本发明实施例4所提供的坐标系转换示意图。
具体实施方式
19.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
20.本发明的目的是提供一种道路标识牌识别系统及检测、定位、评估方法，能够实现道路标识牌的检测和定位，精度高、实时性好，且能够对定位精度进行评估。
21.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
22.实施例1：本实施例用于提供一种道路标识牌识别系统，用于实现道路标识牌的检测、定位和定位精度评估。如图1所示，包括：工控机、边缘计算盒以及安装在无人驾驶车辆上的工业相机，工控机分别与边缘计算盒和工业相机通信连接。
23.工业相机可以为两台，其可以布置在车身前端，用于对无人驾驶车辆的前方道路进行拍摄，拍摄得到无人驾驶车辆的前方道路图像，前方道路图像包括道路标识牌。
24.工控机用于将前方道路图像转发至边缘计算盒。边缘计算盒可为nvidia jetson agx xavier（英伟达边缘计算盒），具有很好的实时性和灵活性。
25.边缘计算盒包括目标检测模块，目标检测模块用于利用目标检测模型对前方道路图像进行检测，得到道路标识牌的类别和道路标识牌在前方道路图像中的位置区域。
26.目标检测模块采集大量包含各类道路标识牌的图像数据，通过人工标注制作成数据集，数据集包括多个图像数据以及每一图像数据对应的道路标识牌的类别。利用数据集对目标检测网络进行训练，在训练之后可以获得一套网络的权重参数，得到目标检测模型。利用目标检测模型，目标检测模块可实时的接收工业相机传入的前方道路图像，并以较高帧率输出道路标识牌的检测结果。
27.需要说明的是，本实施例所指的道路标识牌的类别是根据交通标志分类国标gb 5768.2-2009分类得到的，具体到警告标志、禁令标志、指示标志、指路标志和辅助标志等大类下的每一个小类，比如禁令标志这一大类下的禁止通行和禁止驶入这两个小类是两个不同的类别。
28.本实施例的道路标识牌在前方道路图像中的位置区域可以通过2d矩形包围框进行描述。
29.通过工业相机和目标检测模块可以实现道路标识牌的检测，为了进一步实现道路标识牌的定位，本实施例的识别系统还包括：安装在无人驾驶车辆上且与工控机通信连接的激光雷达。
30.激光雷达可以安装在无人驾驶车辆的车顶，用于对无人驾驶车辆的前方道路进行扫描，得到无人驾驶车辆前方的激光雷达点云数据。激光雷达点云数据包括多个雷达点，每一雷达点都具有三维坐标等信息。
31.边缘计算盒还包括目标定位模块，目标定位模块用于根据位置区域对激光雷达点云数据进行筛选，得到筛选后点云数据，并根据筛选后点云数据计算道路标识牌相对于无人驾驶车辆的第一相对位置。
32.通过激光雷达和目标定位模块可以实现道路标识牌的定位，为了进一步对定位精度进行评估，本实施例的识别系统还包括：安装在无人驾驶车辆上且与工控机通信连接的全球定位系统和惯性导航系统。
33.全球定位系统用于对无人驾驶车辆进行位置定位，得到无人驾驶车辆的第一位置坐标。
34.惯性导航系统用于对无人驾驶车辆进行角度定位，得到无人驾驶车辆的车辆航向角。
35.边缘计算盒还包括定位精度评估模块，定位精度评估模块用于基于车辆航向角将第一位置坐标转换到车辆坐标系下，得到第二位置坐标，并根据第二位置坐标计算道路标识牌相对于无人驾驶车辆的第二相对位置，计算第二相对位置和第一相对位置的差值，得到定位精度。
36.本实施例中，安装于无人驾驶车辆上的硬件设备（包括工业相机、激光雷达、全球定位系统和惯性导航系统）均通过工控机上的ros系统与边缘计算盒进行通信，实现数据的交互。具体的，工业相机将前方道路图像以ros话题的格式传输至工控机，进一步传输至目标检测模块，激光雷达将激光雷达点云数据以ros话题的格式传输至工控机，进一步传输至目标定位模块，全球定位系统将第一位置坐标以ros话题的格式传输至工控机，进一步传输至定位精度评估模块，惯性导航系统将车辆航向角以ros话题的格式传输至工控机，进一步传输至定位精度评估模块。目标检测模块通过将目标检测模型接入ros系统实现其检测功能，目标检测模型可为yolov5模型。目标定位模块接收实时的目标检测模块的输出和同一时刻的激光雷达点云数据，输入数据的时间同步通过ros系统的时间同步实现。
37.ros话题是一种一对多、异步的通信机制，发布者将消息发布到话题上，订阅者从话题订阅消息，其中，一对多是指一个话题可以有多个订阅者，异步通信是指发布者只管发布话题，而不在意有多少个订阅者，也不在意订阅者有没有成功的订阅到消息。本实施例中，工业相机、激光雷达、全球定位系统和惯性导航系统的话题分别由1个节点提供，工控机接收这4个话题并进行处理，在此程序框架下，若需要增加新功能，只需要增加1个节点用于接收消息、处理数据和发布结果即可，不需要对原有程序进行修改。
38.本实施例的目标检测模块采用yolov5模型，该网络识别准确率高，并装载在nvidia jetson agx xavier上，能以较高帧率实现目标检测，满足实时性要求。目标定位模块进行多次筛选，最终通过拟合道路标识牌平面进行精细化筛选，以实现道路标识牌的定位，同时可以提供道路标识牌的法向量信息，为无人平台决策和规划层提供更多信息。定位精度评估模块可以更加直观了解且量化定位结果的精度。
39.实施例2：本实施例用于提供一种道路标识牌检测方法，如图2所示，包括：s1：获取无人驾驶车辆的前方道路图像；所述前方道路图像包括道路标识牌；s2：利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域。
40.本实施例采集大量包含各类道路标识牌的图像数据，通过人工标注制作成数据集，并利用该数据集对目标检测网络进行训练，在训练之后可以获得一套网络的权重参数，得到目标检测模型，利用目标检测模型可实时的接收工业相机传入的前方道路图像，并以较高帧率输出道路标识牌的检测结果，检测结果包括道路标识牌的类别和道路标识牌在前方道路图像中的位置信息，该位置信息可以通过2d矩形包围框进行描述，矩形包围框即构成道路标识牌在前方道路图像中的位置区域。
41.本实施例的目标检测模型可以采用yolov5模型，该模型识别准确率高，且该方法装载在nvidia jetson agx xavier上，能以较高帧率实现目标检测，满足实时性要求，故本实施例的检测方法可以高精度的对道路标识牌进行检测，且实时性好。
42.实施例3：
本实施例用于提供一种道路标识牌定位方法，如图3所示，包括：t1：获取无人驾驶车辆的前方道路图像和所述无人驾驶车辆前方的激光雷达点云数据；所述前方道路图像包括道路标识牌；t2：利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域；本实施例的t2与实施例2中的s2相同，在此不再赘述。
43.t3：根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据，并根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置。
44.如图4所示，t3中，根据位置区域对激光雷达点云数据进行筛选，得到筛选后点云数据可以包括：利用激光雷达坐标系和相机像素坐标系之间的投影矩阵，将激光雷达点云数据投影到相机像素坐标系下，得到激光雷达点云数据中的每一个雷达点的投影数据；将投影数据未在位置区域内的雷达点从激光雷达点云数据中去除，得到筛选后点云数据。
45.本实施例可预先标定得到激光雷达坐标系和相机像素坐标系之间的投影矩阵，具体的，采集同一时刻工业相机和激光雷达的数据，通过相机与激光雷达的联合标定方法，得到激光雷达坐标系和相机像素坐标系之间的旋转变换关系，用投影矩阵表示，投影矩阵包括旋转矩阵和平移矩阵，该投影矩阵可描述激光雷达坐标系中的雷达点与相机像素坐标系中的像素的映射关系，激光雷达坐标系中的雷达点可以唯一的映射至相机像素坐标系下的一个像素。
46.需要说明的是，上述相机与激光雷达的联合标定方法即采用现有的标定方法，在此不再赘述。
47.优选的，在利用激光雷达坐标系和相机像素坐标系之间的投影矩阵，将激光雷达点云数据投影到相机像素坐标系下之前，本实施例的定位方法还包括：对激光雷达点云数据进行初步筛选，筛选出无人驾驶车辆前方的地面以上的雷达点，组成初步筛选后点云数据，并以初步筛选后点云数据作为新的激光雷达点云数据，从而可以减少进行上述筛选过程的雷达点的数量，提高筛选效率，进一步提高定位速度。
48.t3中，根据筛选后点云数据计算道路标识牌相对于无人驾驶车辆的第一相对位置可以包括：利用ransac方法对筛选后点云数据进行平面拟合，得到拟合平面，该拟合平面即为道路标识牌在车辆坐标系下的平面；计算筛选后点云数据中的每一个雷达点与拟合平面的距离，并去除距离大于预设阈值的雷达点，以通过预设阈值筛选出与拟合平面距离过远的雷达点，并将这些雷达点视为噪点予以去除，得到计算用点云数据；计算计算用点云数据在激光雷达坐标系下的质心坐标，并将该质心坐标转换到车辆坐标系下，计算车辆坐标系的原点与道路标识牌在车辆坐标系下的质心坐标之间的距离，得到道路标识牌在车辆坐标系下相对于无人驾驶车辆的第一相对位置。
49.本实施例还可根据平面拟合的结果，计算出道路标识牌的平面方程和法向量。
50.本实施例中，对点云数据的筛选有多次，最初的激光雷达点云数据的格式可为ros标准雷达话题格式sensor_msg::pointcloud2。筛选过程如下：（1）因为激光雷达的视野为车辆正前方，所以在计算过程中，将激光雷达点云数据转换到车辆坐标系下，滤除掉所有z《-a的点，以对激光雷达点云数据进行初步筛选，得到初
步筛选后点云数据。车辆坐标系以无人驾驶车辆的宽度方向为x轴，长度方向为y轴，高度方向为z轴，以惯性导航系统在无人驾驶车辆上的安装位置作为原点，a即为惯性导航系统在无人驾驶车辆上的安装高度。一般情况下，惯性导航系统安装于无人驾驶车辆的后排座位的中点处。需要说明的是，本实施例的车辆坐标系和激光雷达坐标系的坐标轴完全平行，只是原点位置不同，故车辆坐标系和激光雷达坐标系仅存在平移关系，测量两个坐标系的原点在x轴、y轴、z轴的偏移，即可方便的实现坐标转换。
51.（2）通过投影矩阵将初步筛选后点云数据投影至相机像素坐标系下，通过目标检测模型输出的位置区域（即目标检测框），将投影后位于位置区域之外的雷达点滤除，得到筛选后点云数据。
52.（3）通过ransac方法拟合出一个平面，认为是道路标识牌在车辆坐标系下的拟合平面，并设定一个距离的预设阈值，将与该拟合平面的距离大于该预设阈值的雷达点滤除，得到计算用点云数据，计算用点云数据中的雷达点认为是激光雷达打在道路标识牌的点，基于计算用点云数据进行道路标识牌的定位。
53.本实施例的定位方法进行多次筛选，最终通过拟合道路标识牌平面进行精细化筛选，同时可以提供道路标识牌的法向量信息，为无人平台决策和规划层提供更多信息。
54.实施例4：本实施例用于提供一种道路标识牌评估方法，如图5所示，包括：m1：获取无人驾驶车辆的前方道路图像、所述无人驾驶车辆前方的激光雷达点云数据以及所述无人驾驶车辆的第一位置坐标和车辆航向角；所述前方道路图像包括道路标识牌；m2：利用目标检测模型对所述前方道路图像进行检测，得到所述道路标识牌的类别和所述道路标识牌在所述前方道路图像中的位置区域；本实施例的m2与实施例2的s2相同，在此不再赘述。
55.m3：根据所述位置区域对所述激光雷达点云数据进行筛选，得到筛选后点云数据，并根据所述筛选后点云数据计算所述道路标识牌相对于所述无人驾驶车辆的第一相对位置；本实施例的m3与实施例3的t3相同，在此不再赘述。
56.m4：基于所述车辆航向角将所述第一位置坐标转换到车辆坐标系下，得到第二位置坐标，并根据所述第二位置坐标计算所述道路标识牌相对于所述无人驾驶车辆的第二相对位置；计算所述第二相对位置和所述第一相对位置的差值，得到定位精度。
57.惯性导航系统测量得到的车辆航向角等于车辆坐标系的x轴与utm坐标系的x轴之间的夹角，也等于车辆坐标系的y轴与utm坐标系的y轴之间的夹角，即这两个坐标系的坐标轴间有一个角度大小等于车辆航向角的夹角，根据这个夹角可以将utm坐标系内的数据转换到车辆坐标系下。
58.如图6所示，全球定位系统得到的无人驾驶车辆的第一位置坐标为wgs1984地理坐标系下的坐标，先将该第一位置坐标转换到utm坐标系下，再将utm坐标系下的坐标根据车辆航向角转换至车辆坐标系下，得到第二位置坐标，同时，预先采集道路标识牌在wgs1984地理坐标系下的坐标，并将该坐标先转换到utm坐标系下，再根据车辆航向角转换到车辆坐标系下，得到道路标识牌的真实位置坐标，该真实位置坐标可表示为（x，y，z），分别为x、y、z
轴坐标值。即本实施例将道路标识牌和无人驾驶车辆的gps坐标先转换至utm坐标系之下，再根据车辆航向角将utm坐标转换至车辆坐标系下，计算第二位置坐标与道路标识牌的真实位置坐标的距离，得到第二相对位置，并以该第二相对位置作为无人驾驶车辆和道路标识牌之间坐标差值的真实值，以m3输出的第一相对位置作为测量值，用于对定位精度进行评估。
59.根据车辆航向角的坐标转换见图7。坐标转换公式如下：；；其中，ow为utm坐标系原点；ov为车辆坐标系原点；（x0，y0）为车辆坐标系原点在utm坐标系下坐标；道路标识牌在utm坐标系中坐标为（x1，y1），在车辆坐标系中坐标为（x2，y2），车辆航向角为。
60.经试验验证，本实施例在车速30km/h车速下行驶对道路标识牌定位精度高，绝对误差不超过1m，并且能够实时的接入gps、imu数据，对实时的定位结果进行精度评估，可以更加直观了解且量化定位结果的精度。
61.本实施例将目标检测模块、目标定位模块和定位精度评估模块装载进nvidia jetson agx xavier中，轻便、易于车辆安装，并基于此提出了一种用于无人驾驶车辆的轻量化的道路标识牌的识别方法，具备检测、定位和定位精度评估的功能，该方法针对无人驾驶车辆在道路上行驶需考虑道路标识牌，可检测出车辆视野范围内道路标识牌的种类和相对于自身车辆的相对位置，并可以求出在车辆坐标系道路标识牌的平面方程及法向量，该方法已经用于实车，且被证明是有效可行的。
62.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
63.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。