一种基于环卫车辆环视系统的盲区预警方法和装置与流程

1.本发明涉及一种盲区预警方法和装置，特别是一种基于环卫车辆环视系统的盲区预警方法和装置，属于车辆防撞预警领域。


背景技术：

2.环卫车辆通常面临多项繁琐、耗时的工作任务，如路面清洁、洒水、除尘、转运等，当前环卫车辆主要依靠人工驾驶员进行观察并完成相应的工作，这种方式导致驾驶员容易出现驾驶精力不集中、疲劳驾驶等情况，影响驾驶安全。而高级辅助驾驶系统和自动驾驶在保障道路交通安全中，发挥着越来越重要的作用。车辆盲区监测是环境感知研究领域中的重要组成部分，有效降低了驾驶员因视觉盲区或注意力不集中导致的安全隐患，是车辆辅助驾驶技术中的重要组成部分，该技术进一步保障了车辆的行使安全。
3.目前现有的车辆盲区检监测方案主要有以下两类：第一种方案如中国发明专利202111572237.3，本方案提供了一种基于计算机视觉的车辆防撞感知算法，该系统包括：在车辆行驶过程中，同一时间获取车身周边多路摄像头拍摄的图片，并对多个图片进行畸形矫正，基于多幅图像拼接技术对多个图片进行拼接，并提取拼接后的图像信息，然后对图片中的目标进行识别和跟踪，最后对图片中目标的路径进行预测并进行风险推断。但是该方案存在以下不足：第一，该方案使用多幅图像拼接技术获取车辆周边信息，而图像拼接技术对相机的标定精度有很高的要求，同时图像拼接过程中需要占用大量的计算资源，提高了该系统的硬件需求。第二，该方案使用物体识别的方法来进行跟踪，该方法对于未知物体会产生漏检问题，造成安全隐患。
4.第二种方案如中国发明专利201910845641.x，本方案提供了一种基于计算机视觉人体识别的交通防撞方法，首先通过安装在汽车上的计算机视觉识别端根据拍摄的视频，实时提取并识别视频中的人体头部，由于人体头部在视频图像中所占像素比例大小与其距离计算机视觉识别端的远近成反相关，因此，可根据其所占像素比例大小确定其与汽车之间的距离。当人体与汽车之间的距离在某一距离内时，将识别信号反馈给驾驶员并启动汽车防撞、减轻撞击的程序，实现视觉防撞功能。但是该方案存在以下不足：第一，该方案使用物体识别的方法来进行跟踪人体，对于未知物体会产生漏检问题，造成安全隐患，同时多路相机的物体识别需要占用大量的计算资源，提高了该系统的硬件需求。第二，该方案使用目标物所占据的像素比例来估计距离信息，由于相机角度、人体角度以及人体头部大小的不同都会影响到距离计算结果，因此该方法估计的距离精度较低，在车辆快速行驶中，容易造成误判，影响车辆行使安全。


技术实现要素：

5.本发明所要解决的技术问题是提供一种基于环卫车辆环视系统的盲区预警方法和装置，提高盲区障碍物检测准确性和鲁棒性。
6.为解决上述技术问题，本发明所采用的技术方案是：
一种基于环卫车辆环视系统的盲区预警方法，其特征在于包含以下步骤：步骤一：通过车辆的多路盲区相机采集环卫车辆的盲区视频流；步骤二：通过视觉里程计算法对采集的视频流进行处理并构建局部地图；步骤三：根据环视相机的标定参数对视觉里程计进行尺度恢复；步骤四：使用空间哈希表对点云数据进行重构并进行聚类处理，生成二维的矩形聚类框；步骤五：根据环卫车辆尺寸信息生成车辆矩形框，运用碰撞检测算法实现盲区检测；步骤六：根据车辆行驶速度和盲区检测结果实现环卫车辆的盲区预警并通过语音或视频的方式告知环卫车司机。
7.进一步地，所述步骤二具体为：2.1、对各环视相机图片进行关键点提取，利用环视相机的标定参数作为初值加入到里程计优化系统中，构建车辆坐标系下的视觉里程计算法，对车辆盲区进行持续跟踪；2.2、维护5至9帧的局部地图以满足盲区检测需求。
8.进一步地，所述步骤2.1具体为：里程计初始化完成后，根据各盲区相机的外参数，将车体坐标系下的地图点投影至对应的图像中，从而构建统一的优化框架，总体的残差函数如下：其中，等式右侧第一部分为先验误差，第二部分为重投影误差，函数ρ为鲁棒核函数，函数为先验误差函数，为针对优化变量x的雅可比矩阵，为先验误差的协方差矩阵，函数为视觉里程计重投影误差函数，为相机观测值，x为待优化变量，且有：，其中，，分别为i时刻车体系到世界系的平移和旋转，为相机相对于车体的位姿矩阵，即相机的外参，为角点的逆深度值，为重投影误差的协方差矩阵；其中，视觉里程计重投影误差函数为：，其中，为地图点在车体系下的归一化坐标，为地图点经过相机投影模型获得的在车体系下坐标；并有：
，其中，为地图点在车体系下的归一化坐标，d地图点在车体系下的逆深度值，与分别为i与j时刻相机在世界系下位姿矩阵，、、与即为待优化参数；从而将多路盲区相机的视频流数据统一到一个优化框架中进行计算，并采用第一非线性优化算法进行迭代求解，最终实现视觉里程计在环视相机下的运行。
9.进一步地，所述第一非线性优化算法为levenberg-marquardt算法。
10.进一步地，所述步骤三具体为：3.1、在环视相机中选取视野重叠最多的一对相机，分别定义为左相机和右相机；3.2、将左相机中提取的关键点投影至右相机，根据两相机已有的标定参数构建关于尺度的优化算法进行尺度计算；3.3、使用计算获得的尺度值进行相机位姿和点云的尺度恢复。
11.进一步地，所述步骤3.2具体为：根据盲区相机间的外参数，将左相机中提取的关键点投影至右相机，从而构建光度误差函数，光度误差函数形式如下：其中，函数ρ为鲁棒核函数，函数与可求得关键点所在位置的像素值，函数与为相机投影模型函数，为关键点在相机系下深度值，s为待优化变量，即尺度值，γ为光度误差的协方差矩阵；根据函数即可获得关键点在左相机系下的坐标，由函数获得在关键点在右相机下的像素坐标，即：，其中:,k为相机的内参矩阵，，与分别代表了左右相机间的旋转和平移矩阵；从而实现采用松耦合策略完成尺度计算，并采用第二非线性优化算法进行迭代求解，最终实现尺度恢复。
12.进一步地，所述第二非线性优化算法采用高斯牛顿算法。
13.进一步地，所述步骤四具体为：4.1、使用基于ransac的平面拟合算法对局部地图中点云数据进行预处理，实现对地面点云数据的去除；4.2、根据各点云空间位置计算哈希索引并插入到空间哈希数据结构中；4.3、对哈希数据结构中的点云进行聚类计算，生成车辆坐标系下的二维的矩形聚类框。
14.进一步地，所述步骤五具体为：5.1、根据环卫车辆尺寸信息生成车辆矩形框，同时为了保障车辆安全，在车辆矩形框的基础上增加膨胀系数进行放大；5.2、根据车辆矩形框以及点云聚类框，运用碰撞检测算法检测车辆是否会发生碰撞。
15.进一步地，所述步骤六具体为：6.1、根据车辆的行驶状态和盲区检测结果进行综合判断，分析是否有碰撞风险；6.2、若有碰撞风险，则通过语音或视频的方式报警，通知环卫车司机进行紧急处理。
16.一种基于环卫车辆环视系统的盲区预警装置，其特征在于：包含多路盲区相机、车载智能计算盒、车速传感器、报警单元和显示屏，车载智能计算盒内置基于环卫车辆环视系统的盲区预警方法程序，多路盲区相机与车载智能计算盒连接用于获取车辆环视视频流，车速传感器与车载智能计算盒连接用于获取车辆行驶状态，报警单元与车载智能计算盒连接用于发出碰撞报警，显示屏与车载智能计算盒连接用于显示车载智能计算盒的盲区碰撞检测结果。
17.本发明与现有技术相比，具有以下优点和效果：1、本发明采用直接法视觉里程计算法对环卫车辆盲区进行监测，相比于采用物体识别方法，有效降低了因相机视野、未知物体等情况导致的错检和漏检情况，盲区障碍物深度感知的准确性和鲁棒性明显提高；2、本发明通过多路盲区相机构建的环视系统有效解决环卫车辆视觉盲区大的问题，同时采用在车辆坐标系下构建视觉里程计算法方案，将相机外参作为优化参数之一参与全局优化，改善了环视系统中，不同相机画面拼接困难的问题；3、本发明利用多目相机信息，采用松耦合策略完成尺度恢复，获得车辆行驶场景真实的尺度信息，保证对盲区障碍物距离检测的准确性，并保持了单目视觉里程计算法的鲁棒性，减少跟踪过程中丢失的情况；4、本发明运用空间哈希表数据结构和聚类算法实现对点云数据的快速处理，并降低了碰撞检测算法的计算量，保障了多路环视相机同时进行盲区检测的实时性。
附图说明
18.图1是本发明的一种基于环卫车辆环视系统的盲区预警方法的流程图。
19.图2是本发明的实施例的视觉里程计尺度恢复流程图。
20.图3是本发明的实施例的盲区检测示意图。
21.图4是本发明的一种基于环卫车辆环视系统的盲区预警装置的模块示意图。
具体实施方式
22.为了详细阐述本发明为达到预定技术目的而所采取的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明的部分实施例，而不是全部的实施例，并且，在不付出创造性劳动的前提下，本发明的实施例中的技术手段或技术特征可以替换，下面将参考附图并结合实施例来详细说明本发明。
23.如图1所示，本发明的一种基于环卫车辆环视系统的盲区预警方法，包含以下步骤：步骤一：通过车辆的多路盲区相机采集环卫车辆的盲区视频流。
24.为便于描述，设相机坐标系符合右手坐标系，z轴方向为相机的光轴，坐标系原点为相机的光心，设车辆坐标系符合右手坐标系，x轴方向为车辆中轴并指向车前，z轴垂直于车架xy平面并指向天空，坐标系原点位于车架xy平面与车辆中心。
25.步骤二：通过视觉里程计算法对采集的视频流进行处理并构建局部地图。
26.采用视觉里程计算法对车辆盲区进行三维重建，相比于视觉slam技术，视觉里程计算法不包括其全局优化与建图，显著降低了算法的计算量和对系统内存的要求，根据算法原理，传统视觉里程计可分为特征点法、半直接法、直接点以及多传感器融合法，相应的典型开源算法如orb-slam2的前端，svo，dso以及vio的前端。
27.步骤二具体为：2.1、对各环视相机图片进行关键点提取，利用环视相机的标定参数作为初值加入到里程计优化系统中，构建车辆坐标系下的视觉里程计算法，对车辆盲区进行持续跟踪。
28.传统的视觉里程计通常仅能处理单目相机或双目相机数据，而且随着双目相机的加入，往往会使计算量大幅增加，为此，在传统视觉里程计的基础上进行改进，使之能够同时处理多目相机的数据，并使得计算量维持在合理范围内。
29.因此本发明中，里程计初始化完成后，根据各盲区相机的外参数 ，将车体坐标系下的地图点投影至对应的图像中，从而构建统一的优化框架，总体的残差函数如下：其中，等式右侧第一部分为先验误差，第二部分为重投影误差，函数ρ为鲁棒核函数，函数为先验误差函数，为针对优化变量x的雅可比矩阵，为先验误差的协方差矩阵，函数为视觉里程计重投影误差函数，为相机观测值，x为待优化变量，且有：，其中，，分别为i时刻车体系到世界系的平移和旋转，为相机相对于车体的位姿矩阵，即相
机的外参，为角点的逆深度值，为重投影误差的协方差矩阵；其中，视觉里程计重投影误差函数为：，其中，为地图点在车体系下的归一化坐标，为地图点经过相机投影模型获得的在车体系下坐标；并有：，其中，为地图点在车体系下的归一化坐标，d地图点在车体系下的逆深度值，与分别为i与j时刻相机在世界系下位姿矩阵，、、与即为待优化参数；从而将多路盲区相机的视频流数据统一到一个优化框架中进行计算，并采用第一非线性优化算法进行迭代求解，其中第一非线性优化算法优选levenberg-marquardt算法。最终实现视觉里程计在环视相机下的运行，同时避免了角点的重复提取，降低了计算量，保证了算法的实时性。
30.本发明中，对各环视相机图片进行关键点提取，利用相机外参进行关键点投影，构建车辆坐标系下的视觉里程计，对车辆盲区进行持续跟踪。
31.视觉里程计采用的是dso框架，dso属于稀疏直接法的视觉里程计，相比之下，svo属于半直接法，而orb-slam2则属于纯特征法。dso将数据关联与位姿估计放入一个统一的非线性优化问题中，其目标函数为最小化光度误差，在保持同等或更高精度情况下，能达到传统特征点法的五倍速度。从后端来看，dso使用一个由5到7个关键帧组成的滑动窗口作为它的后端，该窗口在整个vo过程中一直存在，通过维护和更新levenberg-marquardt方法中的hessian矩阵和b向量，经过边缘化操作实现对位姿和地图点的优化。同时为了算法更加鲁棒，dso提出了光度标定，并在优化中动态估计光度参数，对于由相机曝光不同引起的图像明暗变化，会有更好的表现。
32.由于dso视觉里程计主要针对单目相机，因此利用环视相机的外参，将相机提取的关键点在相机间进行投影，融合成一个整体的关键点数据并加入到优化系统中，由于相机外参误差将影响关键点投影和位姿估计的准确性，因此将相机外参也加入到优化系统中，从而改善了环视系统中，不同相机画面拼接困难的问题。
33.2.2、由于视觉里程计算法不会维护全局地图，同时盲区预警需保证提取一定数量的三维点云，因此在2.1的优化算法中维护5至9帧的局部地图以满足盲区检测需求。
34.步骤三：根据环视相机的标定参数对视觉里程计进行尺度恢复。如图2所示，在环视相机中选取视野重叠最多的一对相机进行尺度优化，具体过程如下：3.1、在环视相机中选取视野重叠最多的一对相机，分别定义为左相机和右相机。
35.3.2、将左相机中提取的关键点投影至右相机，根据两相机已有的标定参数构建关于尺度的优化算法进行尺度计算。
36.传统的尺度计算通常采用紧耦合的方案，如立体匹配方案等，虽然该方案的计算精度较高，但会降低单目视觉里程计的鲁棒性，同时显著增加了里程计的计算量。为此，在传统尺度计算的基础上进行改进，采用了松耦合的计算策略，该方案计算效率更高，显著降低了立体视觉的计算负担，同时该方案计算精度没有显著的降低，保证了算法的准确性和实时性。
37.本发明中，根据盲区相机间的外参数，将左相机中提取的关键点投影至右相机，从而构建光度误差函数，光度误差函数形式如下：其中，函数ρ为鲁棒核函数，函数与可求得关键点所在位置的像素值，函数与为相机投影模型函数，为关键点在相机系下深度值，s为待优化变量，即尺度值，γ为光度误差的协方差矩阵；根据函数即可获得关键点在左相机系下的坐标，由函数获得在关键点在右相机下的像素坐标，即：，其中:,k为相机的内参矩阵，，与分别代表了左右相机间的旋转和平移矩阵；从而实现采用松耦合策略完成尺度计算，并采用第二非线性优化算法进行迭代求解，其中第二非线性优化算法优选高斯牛顿算法。最终实现尺度恢复，并降低了计算量，保证了算法的实时性。
38.3.3、使用计算获得的尺度值进行相机位姿和点云的尺度恢复。
39.视觉里程计运算和尺度优化运算采用了松耦合策略，在各自计算过程中互不影响，视觉里程计为尺度优化提供点云数据，尺度优化计算获得的尺度值返回给视觉里程计进行相机位姿和点云的尺度恢复，因此，尺度优化计算失败不会影响视觉里程计的正常运行。
40.步骤四：使用空间哈希表对点云数据进行重构并进行聚类处理，生成二维的矩形
聚类框。
41.4.1、使用基于ransac的平面拟合算法对地面点云进行平面拟合，根据标定好的相机外参，即可计算出水平路面在车辆坐标系下的法向量，因此为提高拟合算法稳定性，使用先验的路面法向量参数对拟合算法进行约束，从而实现对地面点云数据的去除。
42.4.2、根据各点云空间位置计算哈希索引并插入到空间哈希数据结构中。
43.4.3、对哈希数据结构中的点云进行聚类计算，生成车辆坐标系下的二维的矩形聚类框。聚类算法采用欧几里得聚类，该算法将点云分组成点云簇，点云簇中的任意两点之间的投影距离小于某个阈值，投影距离是指投影到车架xy平面上的两点之间的距离。
44.步骤五：根据环卫车辆尺寸信息生成车辆矩形框，运用碰撞检测算法实现盲区检测。
45.5.1、根据环卫车辆尺寸信息（包含车辆长度和宽度尺寸信息）生成车辆矩形框，同时为了保障车辆安全，在车辆矩形框的基础上增加膨胀系数进行适当放大，放大比例为1.1倍左右。
46.5.2、根据车辆矩形框以及点云聚类框，运用碰撞检测算法检测车辆是否会发生碰撞。
47.如图3所示，网格中间的矩形框为车辆，框内数字为车辆坐标，其他框为聚类获得的障碍物矩形框，框内数字为该障碍物矩形框到车辆中心的距离。针对该场景中获得的均为矩形框，因此碰撞检测算法采用分离轴定理算法（sat），该算法是一项用于检测凸多边形碰撞的算法，其通过检测并判断两个凸多边形之间是否有间隙来判断两者是否发生碰撞，该算法具有运算速度快和判断准确的特点，保障了碰撞检测的实时性。
48.步骤六：根据车辆行驶速度和盲区检测结果实现环卫车辆的盲区预警并通过语音或视频的方式告知环卫车司机。
49.6.1、根据车辆的行驶状态和盲区检测结果进行综合判断，分析是否有碰撞风险。
50.6.2、若有碰撞风险，根据碰撞风险紧急程度，通过语音或视频的方式报警，通知环卫车司机进行紧急处理，实现对环卫车辆盲区的持续监测。
51.如图4所示，一种基于环卫车辆环视系统的盲区预警装置，包含多路盲区相机、车载智能计算盒、车速传感器、报警单元和显示屏，车载智能计算盒内置基于环卫车辆环视系统的盲区预警方法程序，多路盲区相机与车载智能计算盒连接用于获取车辆环视视频流，车速传感器与车载智能计算盒连接用于获取车辆行驶状态，报警单元与车载智能计算盒连接用于发出碰撞报警，显示屏与车载智能计算盒连接用于显示车载智能计算盒的盲区碰撞检测结果。
52.以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，虽然本发明已以较佳实施例揭露如上，然而并非用以限定本发明，任何熟悉本专业的技术人员，在不脱离本发明技术方案范围内，当可利用上述揭示的技术内容做出些许更动或修饰为等同变化的等效实施例，但凡是未脱离本发明技术方案内容，依据本发明的技术实质，在本发明的精神和原则之内，对以上实施例所作的任何简单的修改、等同替换与改进等，均仍属于本发明技术方案的保护范围之内。