一种基于立体视觉的动态障碍物检测方法与流程

技术特征：
1.一种基于立体视觉的动态障碍物检测方法，其特征在于，具体步骤为：(1)点云生成，是从双目相机中获取深度信息，结合视觉slam得到的位姿生成原始点云数据；(2)点云滤波，是对点云数据进行降噪和下采样处理，提高方法的准确性和实时性；(3)点云聚类，是对滤波后的点云数据进行聚类，得到障碍物的预聚类结果；(4)障碍物轮廓提取，提取包含预聚类结果的最小外接矩形框；(5)2d目标检测，是对目标进行2d检测，得到2d检测边界框，可对点云聚类和3d跟踪结果进行校正；(6)动态障碍物跟踪，是把障碍物轮廓提取的结果和2d目标检测得到的2d检测边界框融合，同时对动态障碍物的轨迹进行跟踪预测。2.根据权利要求1所述的动态障碍物检测方法，其特征在于，步骤(1)所述点云生成，具体流程为：利用双目相机获取视场的左右视图，接着采用改进的自适应立体匹配深度网络获取视差图；得到视差图后，利用相机间的位置关系通过三角测量的原理转换为三维点云；设世界坐标系中的点p在左右视图上的成像点为x
l
和x
r
，焦距为f，b为两相机光心的距离，则视差d＝x
l
‑
x
r
，利用相似三角形计算出点p的三维坐标为：已知视差d＝x
l
‑
x
r
，则：其中，x
c
，y
c
，z
c
为p点在相机坐标系中的坐标。3.根据权利要求2所述的动态障碍物检测方法，其特征在于，步骤(2)所述点云滤波，具体流程为：(1)设置点云的高度范围阈值，过滤掉地面等不在测试距离范围的点云；(2)采用体素滤波方法，在不破坏点云本身几何结构的同时对点云数据进行下采样处理；(3)采用半径滤波方法，去除障碍物边缘的噪声。4.根据权利要求3所述的动态障碍物检测方法，其特征在于，步骤(3)所述点云聚类，具体流程为：采用改进的dbscan算法进行聚类，其中，首先确定两个参数：eps:在一个点周围邻近区域的半径；minpts:邻近区域内至少包含点的个数；算法的具体操作为：
(1)根据knn分布，2d目标检测的输出以及数学统计分析自适应计算出最优全局参数eps与minpts；(2)将所有点分类，分别标记为核心点、边界点和噪声点；(3)删除标记出的噪声点；(4)连接在eps距离内的所有核心点，并归入到同一簇中；(5)各个簇中的核心点对应种子代表对象的选择；(6)遍历数据集，根据选择的代表对象进行区域查询，将边界点分入与之对应核心点的簇中；如果数据集合中所有的点都被处理，则算法结束。5.根据权利要求4所述的动态障碍物检测方法，其特征在于，步骤(4)所述障碍物轮廓提取，采用最小凸包法结合模糊线段的方法提取聚类结果的矩形框，具体流程为：首先，利用graham扫描提取凸包点；然后，利用模糊线段法提取障碍物的矩形边框。6.根据权利要求5所述的动态障碍物检测方法，其特征在于，所述利用graham扫描提取凸包点，具体操作流程为：(1)把同一聚类结果的所有点放在二维坐标系中，则纵坐标最小的点一定是凸包上的点，记为p0；(2)把所有点的坐标平移一下，使p0作为原点；(3)计算各个点相对于p0的幅角θ，按从小到大的顺序对各个点排序；当θ相同时，距离p0比较近的排在前面，依次得到的结果记为为p1，p2，p3，p4，p5，p6，p7，p8；由几何知识可知，结果中第一个点p1和最后一个点p8一定是凸包上的点；把第一个点p0和第二个点p1放在栈里面；从步骤3求得的那个结果里，把p1后面的那个点拿出来做当前点，即p2，接下来开始找第三个点；(4)连接栈中第二个和栈顶的那个点，得到直线l；看当前点是在直线l的右边还是左边；如果在直线上，或者直线的右边就执行步骤5；如果在直线的左边就执行步骤6；(5)如果在右边，则栈顶的那个元素不是凸包上的点，把栈顶元素出栈，执行步骤4；(6)当前点是凸包上的点，把它压入栈，执行步骤7；(7)检查当前点是不是步骤3那个结果的最后一个元素；如果是最后一个元素，则结束；如果不是最后一个元素，则把当前点后面那个点做当前点，返回步骤4。7.根据权利要求6所述的动态障碍物检测方法，其特征在于，步骤(5)所述2d目标检测，具体流程为：采用mobilenetv3
‑
ssd网络对目标进行运动检测，并将生成的2d边界框用于优化聚类和跟踪结果。8.根据权利要求7所述的动态障碍物检测方法，其特征在于，步骤(6)所述动态障碍物跟踪，具体流程为：首先根据卡尔曼滤波器的预测结果对当前动态障碍物列表中预测的障碍物建立搜索区域；接着对相邻两帧之间的障碍物进行数据关联，在时间t，将全局框架中所有当前簇的质心计算为簇中所有点的平均值，将它们关联到最接近的质心，并将该簇关联到前一帧，实现帧间目标和轨迹的匹配；然后基于2d目标检测模块的输出边界约束以及数据关联的结果对卡尔曼滤波器进行
动态更新，从而完成对目标障碍物速度和位置的滤波和预测；最后输出关联目标；卡尔曼滤波器的操作包括两个阶段：预测与更新；在预测阶段，滤波器使用上一状态的估计结果，做出对当前状态的估计；在更新阶段，滤波器利用当前状态的观测值优化在预测阶段获得的预估值，以获得一个当前阶段更精确的新估计值；其中，kf滤波器的输入为世界坐标系下当前簇的质心在x
‑
y平面的取值，即由于引入了2d目标检测模块，该值受到检测结果边界值的约束，该系统的动态和测量模型定义为：的动态和测量模型定义为：其中，定义为状态变量，q是系统噪声的建模，r是对测量噪声的建模，h用来提前的前两个维度，a定义为：其中，t
s
为两次更新的时间间隔。

技术总结
本发明属于智能交通技术领域，具体为一种基于立体视觉的动态障碍物检测方法。本发明方法包括：从立体图像中获取深度信息，并生成原始点云数据；对点云数据进行降噪和下采样处理；对滤波后的点云数据进行聚类；对预聚类的结果进行障碍物轮廓提取；对目标进行2D检测，得到2D检测边界框，对点云聚类和3D跟踪结果进行校正；把障碍物轮廓提取得到的障碍物的矩形边框和2D目标检测得到的2D检测边界框融合，同时对动态障碍物的轨迹进行跟踪预测。本发明方法有效降低了成本，改善了检测精度，提高了跟踪的实时性和准确性。踪的实时性和准确性。踪的实时性和准确性。


技术研发人员：宋梁 朱伟 曾新华 张冠华 蒋林华 胡兴 庞成鑫
受保护的技术使用者：复旦大学
技术研发日：2021.06.23
技术公布日：2021/10/23