一种基于全景环视的驾考车直角转弯压线检测方法和系统与流程

1.本发明属于智能驾驶考试技术领域，具体涉及一种基于全景环视的驾考车直角转弯压线检测方法和系统。


背景技术：

2.在目前的智能驾驶考试评判系统中，直角转弯的压线评判主要依赖gps技术，但是在实际应用过程中，依赖gps技术的智能驾驶考试评判系统仍存在一些关键问题。首先，驾校需要提前对考场进行建图，而建图过程比较复杂，需要耗费较大的人力和物力。其次，考场周围的高大建筑物会遮挡gps信号，导致信号不稳定，难以满足考试要求。为解决这一问题通常需要搭建场地基站来增强信号，这又会产生大量成本。另外，在严寒地区的室内考场，由于接收不到gps信号，智能驾驶考试评判系统无法部署。更重要的是，在实际驾考场景中，车辆在坡道上停下的位置评判要求很高的精度，1厘米的误差都会决定考试通过与否，现有的gps技术达不到如此高的精准度，会造成评判结果的争议，错误的判断会产生一些驾考成绩方面的纠纷。以上问题均阻碍了智能驾驶考试评判系统的大范围普及应用。


技术实现要素：

3.本发明针对现有的驾考车直角转弯压线检测系统部署复杂、应用范围有限、判断精度低等问题，提供一种新的驾考车直角转弯压线检测方法，该方法基于全景环视技术，构建像素坐标判断车辆与边线之间的相对位置，操作便捷、适用范围广，简化了系统部署、降低了成本并且提高了系统判断的精准度。本发明还涉及一种基于全景环视的驾考车直角转弯压线检测系统。
4.本发明采用下述技术方案：
5.一种基于全景环视的驾考车直角转弯压线检测方法，其特征在于，所述方法包括以下步骤：
6.s1、全景鸟瞰图模板生成步骤：针对不同场地，事先将驾考车行驶至直角转弯区域，通过驾考车上设置的全景环视设备拍摄生成涵盖了直角转弯区域内的内角区域和外角区域的全景鸟瞰图模板；
7.s2、内外角图像匹配模板提取步骤：在全景鸟瞰图模板中标记提取内角图像匹配模板和外角图像匹配模板；
8.s3、执行直角转弯测试步骤：当被考生驾驶的车辆实际行驶至直角转弯区域的行进过程中，使用全景环视设备采用全景环视技术拍摄实时鸟瞰视频流，并将实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，先检测到与全景鸟瞰图模板中的内角图像匹配模板匹配的第一关键点，并得到第一关键点的相对车辆像素坐标；再检测到与全景鸟瞰图模板中的外角图像匹配模板匹配的第二关键点，并得到第二关键点的相对车辆像素坐标；
9.s4、车辆禁压区地图生成步骤：根据第一关键点和第二关键点的相对车辆像素坐标，结合车道线的夹角，还原车道边线，生成车辆禁压区地图；
10.s5、判断步骤：将车辆禁压区地图坐标转化至车辆鸟瞰图坐标系下，实时监测车辆边缘的像素坐标，当车辆边缘的像素坐标落入车辆禁压区范围内时，判断为车辆压线。
11.优选地，其特征在于，所述全景鸟瞰图模板为车体上不同方向设置的多个鱼眼摄像头拍摄的图像进行畸变矫正后，通过画面拼接技术得到。
12.优选地，所述鱼眼摄像头数量为4个，将4个鱼眼摄像头分别设置于车体外表面的前部、后部、左部和右部。
13.优选地，所述步骤s3得到第一关键点和第二关键点的相对车辆像素坐标，同时通过前视双目进行的slam操作，实时获取车辆的位姿变化数据，通过位姿变换关系以及模板匹配返回的直角转弯的第一关键点和第二关键点的相对车辆像素坐标实现由两个关键点的相对车辆像素坐标到全局坐标的转换，记录并且实时更新修正第一关键点和第二关键点的坐标位置。
14.优选地，将所述内角图像匹配模板和外角图像匹配模板设置为形状大小相同的矩形区域，各关键点位于相应模板的中心。
15.优选地，所述步骤s4生成车辆禁压区地图包括基于第一关键点创建的第一局部直角转弯区域地图以及基于第二关键点创建的第二局部直角转弯区域地图。
16.一种基于全景环视的驾考车直角转弯压线检测系统，其特征在于，包括依次连接的全景鸟瞰图模板生成模块、内外角图像匹配模板提取模块、执行直角转弯测试模块、车辆禁压区地图生成模块和判断模块，
17.所述全景鸟瞰图模板生成模块：针对不同场地，事先将驾考车行驶至直角转弯区域，通过驾考车上设置的全景环视设备拍摄生成涵盖了直角转弯区域内的内角区域和外角区域的全景鸟瞰图模板；
18.所述内外角图像匹配模板提取模块：在全景鸟瞰图模板中标记提取内角图像匹配模板和外角图像匹配模板；
19.所述执行直角转弯测试模块：当被考生驾驶的车辆实际行驶至直角转弯区域的行进过程中，使用全景环视设备采用全景环视技术拍摄实时鸟瞰视频流，并将实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，先检测到与全景鸟瞰图模板中的内角图像匹配模板匹配的第一关键点，并得到第一关键点的相对车辆像素坐标；再检测到与全景鸟瞰图模板中的外角图像匹配模板匹配的第二关键点，并得到第二关键点的相对车辆像素坐标；
20.所述车辆禁压区地图生成模块：根据第一关键点和第二关键点的相对车辆像素坐标，结合车道线的夹角，还原车道边线，生成车辆禁压区地图；
21.所述判断模块：将车辆禁压区地图坐标转化至车辆鸟瞰图坐标系下，实时监测车辆边缘的像素坐标，当车辆边缘的像素坐标落入车辆禁压区范围内时，判断为车辆压线。
22.优选地，所述全景环视设备包括车体上不同方向设置的4个鱼眼摄像头，4个鱼眼摄像头分别设置于车体外表面的前部、后部、左部和右部，所述全景鸟瞰图模板生成模块将多个鱼眼摄像头拍摄的图像进行畸变矫正后通过画面拼接技术得到全景鸟瞰图模板。
23.优选地，还包括slam前视模块，所述slam前视模块与执行直角转弯测试模块相连，
24.在所述执行直角转弯测试模块得到第一关键点和第二关键点的相对车辆像素坐标的同时，所述slam前视模块通过前视双目进行的slam操作，实时获取车辆的位姿变化数据，通过位姿变换关系以及模板匹配返回的直角转弯的第一关键点和第二关键点的相对车
辆像素坐标实现由两个关键点的相对车辆像素坐标到全局坐标的转换，记录并且实时更新修正第一关键点和第二关键点的坐标位置。
25.优选地，所述车辆禁压区地图生成模块生成车辆禁压区地图包括基于第一关键点创建的第一局部直角转弯区域地图以及基于第二关键点创建的第二局部直角转弯区域地图。
26.本发明的技术效果为：
27.本发明设计了一种基于全景环视的驾考车直角转弯压线检测方法，该方法基于全景环视技术，构建涵盖了直角转弯区域内的内角区域和外角区域的全景鸟瞰图模板，并提取内外角图像匹配模板，在执行直角转弯测试时将全景环视技术拍摄的实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，依次检测到与全景鸟瞰图模板中的内外角图像匹配模板匹配的第一关键点和第二关键点，并得到相对车辆像素坐标，构建像素坐标判断车辆与边线之间的相对位置，利用车辆鸟瞰图中的相对坐标图像关系进行是否触碰禁压区判断，无需设立高成本的gps基站以及进行预先复杂的gps地图标定测绘，节省了大量设备与人力成本。鲁棒性强，利用计算机视觉技术，充分提取关键角点图像信息，在处理标志线磨损、不清晰等问题时，检测准确，运行稳定。该方法受环境影响较小，适用范围广，可适用于各种考场，即来即用，只要保证考场直角转弯项目场地符合规定，且直角转弯关键位置有良好的可视效果，无论在室内还是室外，都可以正常运行。本发明使用了像素坐标，进行像素级的计算，并辅以基于双目视觉的slam操作，检测直角转弯关键角点和测量车轮到角点及线的距离，同时也将误差控制在了像素级别，极大地提高了检测精度。
28.本发明还涉及一种基于全景环视的驾考车直角转弯压线检测系统，该系统与上述的基于全景环视的驾考车直角转弯压线检测方法相对应，可理解为是实现上述基于全景环视的驾考车直角转弯压线检测方法的系统，通过设置相互配合的全景鸟瞰图模板生成模块、内外角图像匹配模板提取模块、执行直角转弯测试模块、车辆禁压区地图生成模块和判断模块，基于全景环视技术，构建像素坐标判断车辆与边线之间的相对位置，利用图像模板匹配的方法，在车辆鸟瞰图中检测出直角转弯内外关键角点，并实时返回关键点的相对车辆像素坐标，具有精度高、鲁棒性强、操作便捷、适用范围广等优点，简化了系统部署、降低了成本并且提高了系统判断的精准度。
附图说明
29.图1为本发明基于全景环视的驾考车直角转弯压线检测方法的流程图。
30.图2为驾考车直角转弯压线检测区域示意图。
31.图3为内角匹配成功记录位置示意图。
32.图4为外角匹配成功记录位置示意图。
33.图5为生成禁压区示意图
具体实施方式
34.为了更清楚的理解该发明的内容，将结合附图和实施例详细说明。
35.本发明涉及一种基于全景环视的驾考车直角转弯压线检测方法，为一种基于全景环视的驾考车辆行进中压线判别方法，该方法可适用于场地驾驶技能考试系统中的直角转
弯项目。如图1所示流程图，该方法包括以下步骤：s1、全景鸟瞰图模板生成步骤：针对不同场地，事先将驾考车行驶至直角转弯区域，通过驾考车上设置的全景环视设备拍摄生成清晰可见的并涵盖了直角转弯区域内的内角区域和外角区域的全景鸟瞰图模板，如图2所示；s2、内外角图像匹配模板提取步骤：在全景鸟瞰图模板中标记提取内角图像匹配模板1和外角图像匹配模板2；s3、执行直角转弯测试步骤：当被考生驾驶的车辆实际行驶至直角转弯区域的行进过程中，使用全景环视设备采用全景环视技术拍摄实时鸟瞰视频流，并将实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，如图3所示，先检测到与全景鸟瞰图模板中的内角图像匹配模板1匹配的第一关键点，并得到第一关键点的相对车辆像素坐标；如图4所示，再检测到与全景鸟瞰图模板中的外角图像匹配模板匹配的第二关键点，并得到第二关键点的相对车辆像素坐标；s4、车辆禁压区地图生成步骤：根据第一关键点和第二关键点的相对车辆像素坐标，结合车道线的夹角，还原车道边线，生成车辆禁压区地图，如图5所示；s5、判断步骤：将车辆禁压区地图坐标转化至车辆鸟瞰图坐标系下，实时监测车辆边缘的像素坐标，当车辆边缘的像素坐标落入车辆禁压区范围内时，判断为车辆压线。
36.优选地，生成的全景鸟瞰图模板为车体上不同方向设置的多个鱼眼摄像头拍摄的图像进行畸变矫正后，通过画面拼接技术得到。该实施例可以是在车辆周围固定位置安装多个鱼眼摄像头，如鱼眼摄像头数量为4个，将4个鱼眼摄像头分别设置于车体外表面的前部、后部、左部和右部。在全景鸟瞰图模板中，自身车辆的四个轮胎外沿触地点的像素坐标始终不变，场景中的车道线信息等随车辆行进位置发生变化。内外角图像匹配模板提取步骤可理解为是提前采集场地中直角转弯区域两个关键角点，转弯内角与转弯外角的小块俯视图像。执行直角转弯测试步骤，考生架势车辆实际行进过程中，利用图像模板匹配的方法，在车辆鸟瞰图中检测出直角转弯内外关键角点，并实时返回关键点的相对车辆像素坐标。同时通过前视双目进行的slam操作，实时获取车辆的位姿变化数据，通过位姿变换关系以及模板匹配成功返回的直角转弯关键点像素坐标实现由两个关键点的车辆相对像素坐标到全局坐标的转换，从而记录并且在可观测到关键点的情况下实时更新修正第一关键点和第二关键点的位置，完成驾考车在直角转弯项目车轮禁压区的建立。实时通过车辆鸟瞰图返回的信息，监控最有可能压线的轮胎与线的位置关系，当轮胎触碰线时触发压线消息。
37.本发明基于全景环视的驾考车直角转弯压线检测方法，在全景鸟瞰图模板生成步骤，可理解为是拍摄清晰可见的全景鸟瞰合成图(需完整的内角区域和外角区域)，截取规定大小的鸟瞰图图像块，保存作为模板，即为全景鸟瞰图模板。内外角图像匹配模板提取步骤，可理解为是将内角与外角图像匹配模板导入后续检测，优选将所述内角图像匹配模板和外角图像匹配模板设置为形状大小相同的矩形区域，各关键点位于相应模板的中心。执行直角转弯测试步骤，车辆再次行驶至直角转弯区域(由考生驾驶)，将实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，内角区域会首先进入全景鸟瞰图区域，在检测匹配成功内角特征后触发slam前视操作启动，开始基于该内角点创建局部直角转弯区域地图。鸟瞰记录下内角点在新创建的局部地图下的坐标。同理，检测到外角图像匹配模板后记录下外角的局部地图坐标。即车辆禁压区地图包括基于第一关键点创建的第一局部直角转弯区域地图以及基于第二关键点创建的第二局部直角转弯区域地图。内外角坐标会依据再检测到该目标时，每帧模板匹配的置信度进行更新。(slam操作主要用于在某些情况下内外角不可见或被遮挡时保证检测功能可以正常工作)。车辆禁压区地图生成步骤依据场地中的内外角与
车道线夹角，还原整体车道边线生成禁压区。判断步骤实时将禁压区的局部地图坐标转化至车辆鸟瞰图的相对坐标系下，利用车辆鸟瞰图中的相对坐标图像关系进行是否触碰禁压区判断。
38.本发明还涉及一种基于全景环视的驾考车直角转弯压线检测系统，该系统与上述的基于全景环视的驾考车直角转弯压线检测方法相对应，可理解为是实现上述基于全景环视的驾考车直角转弯压线检测方法的系统，包括依次连接的全景鸟瞰图模板生成模块、内外角图像匹配模板提取模块、执行直角转弯测试模块、车辆禁压区地图生成模块和判断模块。
39.全景鸟瞰图模板生成模块：针对不同场地，事先将驾考车行驶至直角转弯区域，通过驾考车上设置的全景环视设备拍摄生成涵盖了直角转弯区域内的内角区域和外角区域的全景鸟瞰图模板；优选地，全景环视设备包括车体上不同方向设置的4个鱼眼摄像头，4个鱼眼摄像头分别设置于车体外表面的前部、后部、左部和右部，所述全景鸟瞰图模板生成模块将多个鱼眼摄像头拍摄的图像进行畸变矫正后通过画面拼接技术得到全景鸟瞰图模板；内外角图像匹配模板提取模块：在全景鸟瞰图模板中标记提取内角图像匹配模板和外角图像匹配模板；执行直角转弯测试模块：当被考生驾驶的车辆实际行驶至直角转弯区域的行进过程中，使用全景环视设备采用全景环视技术拍摄实时鸟瞰视频流，并将实时鸟瞰视频流与全景鸟瞰图模板相匹配对比，先检测到与全景鸟瞰图模板中的内角图像匹配模板匹配的第一关键点，并得到第一关键点的相对车辆像素坐标；再检测到与全景鸟瞰图模板中的外角图像匹配模板匹配的第二关键点，并得到第二关键点的相对车辆像素坐标；车辆禁压区地图生成模块：根据第一关键点和第二关键点的相对车辆像素坐标，结合车道线的夹角，还原车道边线，生成车辆禁压区地图；判断模块：将车辆禁压区地图坐标转化至车辆鸟瞰图坐标系下，实时监测车辆边缘的像素坐标，当车辆边缘的像素坐标落入车辆禁压区范围内时，判断为车辆压线。
40.优选地，该系统还包括slam前视模块，该slam前视模块与执行直角转弯测试模块相连，在所述执行直角转弯测试模块得到第一关键点和第二关键点的相对车辆像素坐标的同时，所述slam前视模块通过前视双目进行的slam操作，实时获取车辆的位姿变化数据，通过位姿变换关系以及模板匹配返回的直角转弯的第一关键点和第二关键点的相对车辆像素坐标实现由两个关键点的相对车辆像素坐标到全局坐标的转换，记录并且实时更新修正第一关键点和第二关键点的坐标位置。进一步地，车辆禁压区地图生成模块生成车辆禁压区地图包括基于第一关键点创建的第一局部直角转弯区域地图以及基于第二关键点创建的第二局部直角转弯区域地图。
41.应当指出，以上所述具体实施方式可以使本领域的技术人员更全面地理解本发明创造，但不以任何方式限制本发明创造。因此，尽管本说明书参照附图和实施例对本发明创造已进行了详细的说明，但是，本领域技术人员应当理解，仍然可以对本发明创造进行修改或者等同替换，总之，一切不脱离本发明创造的精神和范围的技术方案及其改进，其均应涵盖在本发明创造专利的保护范围当中。