一种基于激光雷达和事件相机融合的深度估计方法

技术特征：
1.一种基于激光雷达和事件相机融合的深度估计方法，其特征在于，包括以下步骤：s1.通过激光雷达获取三维点云数据，通过事件相机获取事件流数据；对于点云数据，进行去噪操作；对于事件相机生成的事件流数据，进行时间片截取、事件流降噪、事件流膨胀操作；s2.根据事件相机的视角，对激光雷达生成的点云进行提取，以获得目标点云；s3.基于事件的空间扫描，实现对事件流数据的反投影，以获得事件流数据的三维表示；s4.对点云数据使用基于加权欧式距离的密度聚类后进行三维目标建模；s5.使用bowyer-watson算法对构造立体表面模型的聚类簇中所有空间坐标点进行合理的三角剖分；s6.对建模的目标物体表面以及三维化的事件进行快速相交检测并实现空间坐标点重建，完成事件深度估计；s7.对事件在三维空间中进行空间坐标点重建，完成事件信息和点云的前端融合，最后通过深度扩张和孔洞填充的方法，对局部稀疏的点云进行深度填充。2.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的进行时间片段截取具体包括：首先以激光雷达的时间戳为基础，以设定的时间长度来截取事件流；假设使用的激光雷达输出点云数据的频率为f，假设某一帧三维激光点云的时间戳为t，得到上一帧的激光点云时间戳为t-1/f秒，则在接近时刻t的某一段极小的时间窗口δt内，事件相机所产生的事件流所对应的环境几何信息，与t时刻得到的三维激光点云所建立的模型一致；然后，利用时间窗口δt来截断事件流并投影到二维像素平面上，以时刻t为基准，选择响应时间最接近时刻t的事件为该位置的最终输出事件；事件流e
t
则表示为四元组(u，v，t，p)的集合，即：e
t
＝{(u，v，t，p)|t-δt＜t＜t，0＜δt＜1/fs}
ꢀꢀꢀꢀ
(1)式中，(u，v)表示像素位置，t表示时间戳，p表示光强度变化的极性。3.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的事件流降噪具体包括：s
uv
为事件点坐标为(u，v)、大小为m
×
n的滤波器窗口，计算每一个事件点e
t
在局部范围s
uv
内的均值；使用极性p的绝对值|p|进行卷积运算；根据噪声在二维平面上的稀疏特性，引入一个阈值e
th
，提出的改进均值滤波公式如下：当局部滤波器窗口内均值超过e
th
，那么保留该位置的事件信息；反之则被认为是噪声而去除；g(s，t)表示s
uv
中的事件极性。4.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的事件流膨胀具体包括：利用数字图像处理中的膨胀操作对事件流信息进行增强；定义一个结构元素s，利用结构元素b在二维平面化的事件e
t
上进行移动，当结构元素s移动到某个像素坐标位置(x，y)上时，如果结构元素s与二维平面化的事件e
t
的交集不为空集，那么将像素坐标位置(x，y)上的信息修改成一个事件(x，y，t，1)；通过控制结构元素s在二维平面化的事件e
t
上进行移动的次数，约束事件信息膨胀的范围大小，得到膨胀处理后的事
件流e
d
：5.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的步骤s2具体包括：通过将三维空间中的激光点云投影到事件相机的二维像素平面上的方式，利用像素坐标的阈值进行约束，筛选符合要求的激光点云；采取小孔成像模型，利用提供的事件相机内部参数以及外部参数，计算三维激光点云的二维像素平面坐标，保留像素坐标落在事件相机像素平面的空间坐标点；同时，基于随机抽样一致ransac算法对三维激光点云进行地面点云提取并去除弧线影响。6.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的步骤s3具体包括：将二维平面上的事件流信息进行反投影实现空间扫描，然后根据对事件相机建立的小孔成像模型进行逆运算，得到单一事件对应的空间三维归一化坐标；再结合事件相机中心坐标点，计算事件的方位向量。7.根据权利要求1所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的步骤s4具体包括：s41.基于加权欧式距离的三维点云密度聚类；使用dbscan密度聚类算法对三维激光点云进行点集划分，在进行三维激光点云密度聚类时，并非直接使用欧氏距离，而是在欧式距离的基础上考虑水平距离和竖直距离的不同权重，具体的距离公式如下：式中，a，b为不同的空间坐标点，为三维笛卡尔坐标系中不同坐标轴的权重；为了使得聚类过程中能够将同一位置上不同高度的空间坐标点归类在同一聚类簇中，设置的权重条件为：w
x
＝w
y
＞w
z
；
ꢀꢀꢀꢀꢀ
(5)s42.三维目标建模；利用立体平面进行事件的深度估计，也就是通过计算事件的方位向量与空间中的平面相交点得到对应的三维坐标；利用每一个聚类簇求它的凸包，得到目标物体最外部的表面的粗略表示，为了能够方便快速地进行方位向量与平面相交检测计算，对聚类簇的凸包进行三角剖分，利用各不相交的三角面片来表示，从而，目标物体的表面上任意一个位置都能用唯一的最小三角面片进行计算得到。8.根据权利要求7所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，在所述的步骤s42中，为了使构建的目标表面模型能够充分表示实际的目标表面，在构建表面模型的时候，在点云聚类簇中增加一些辅助构造表面模型的虚拟点云，其x，y坐标与实际的点云保持一致，但z坐标需要重新计算；具体的计算方法包括：假设某一个点云聚类簇为p
cluster
＝{(x
i
，y
i
，z
i
)|i＝1，2，
…
，m}，对于用于辅助计算虚拟点坐标的实际坐标点p
i
(x
i
，y
i
，z
i
)∈p
cluster
，该点到激光雷达的距离为d＝x
i
；利用三角函数、已知的激光雷达安装高度h和激光雷达的角分辨率α，计算到聚类簇p
cluster
中最高的点
云线束距离上方激光线束的高度h4：同理，计算聚类簇p
cluster
中最低的点云线束距离下方激光线束的高度h1：为了保证在竖直方向上空间的覆盖程度和避免相互重叠，实现增加虚拟点云的时候，使用激光雷达角分辨率的一半进行计算，并考虑道路环境中目标物体的高度，加入上限约束和下限约束；所以，最终的高度计算公式如下：最终的高度计算公式如下：9.根据权利要求8所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的步骤s6中的快速相交检测的方法具体包括：从事件相机的中心出发，以事件相机中心指向图像平面上的事件的归一化向量为方向，在三维空间环境中进行扫描；在空间扫描的过程中，需要判断以及计算方位向量和空间环境中的目标表面是否存在交点；在利用三角剖分对目标物体表面进行建模的前提下，利用三角面的顶点(v0，v1，v2)来构建三角面的参数方程；因此，任意给定一个三维空间中的目标点坐标p，假如该点落在某个三角面中，利用重心坐标系表示：p＝a(v
1-v0) b(v
2-v0) v0＝(1-a-b)v0 av1 bv2ꢀꢀꢀꢀ
(10)式中，a＞0，b＞0，a b＜1；式(10)表示三角面中任意一点，通过以任意一个顶点作为起点的相邻的两条边作为向量的加权和进行表示；事件投影公式表示为：r
cp
＝c dt
ꢀꢀꢀ
(11)式中，c表示相机中心坐标，d为归一化向量，t为待求解的向量长度；因此，判断和计算方位向量是否与某一个三角面相交的问题，转换成了求解公式(10)以及公式(11)的联立方程：c dt＝(1-a-b)v0 av1 bv2ꢀꢀꢀꢀ
(12)将公式进行移项并整理为矩阵形式，最终可得到求解方程为：式中，e1＝v
1-v0，e2＝v
2-v0，e3＝c-v0。10.根据权利要求9所述的基于激光雷达和事件相机融合的深度估计方法，其特征在于，所述的步骤s7具体包括：
s71.空间坐标点重建：首先，利用事件的方位向量以及目标物体表面模型进行深度估计，需要准确地判断导致该事件响应的原目标表面；通过利用激光点云聚类簇的空间范围对事件的方位向量进行约束，筛选出距离激光雷达和事件相机最近的、与事件的方位向量相交的目标物体表面模型，然后进行深度计算和重建该三维空间点；针对深度的空间约束，具体的约束条件如下：式中，a
q
为求出与三维事件射线相交的聚类簇；在筛选出目标物体表面模型并进行初步深度计算之后，将该目标物体的三维激光点云进行二维投影，然后利用德劳内三角剖分，对二维投影后的三维激光点云进行三角剖分，进一步利用三维空间射线与三角面相交检测的算法进行深度计算和重建该三维空间点；s72.深度扩张：首先，具有深度信息的点云附近的空白像素最有可能与点云深度接近甚至相同，因此借助已有的深度信息对这些空白像素进行深度扩张；根据点云二维投影之后的稀疏特点和激光雷达线束的扫描特性，通过设计一个自定义内核，利用数字图像处理技术中的膨胀操作，对二维点云附近的像素进行深度估计；s73.孔洞填充：在进行深度扩张之后，由于扩张的谨慎操作，并不会大规模地进行深度填充，深度图中点云视野之间仍然存在许多空白像素；对于深度图中的较小的孔洞，通过连接空白像素附近的目标物体边缘深度信息进行深度估计，利用形态学中的关闭操作对较小孔洞进行关闭；对于深度图中的较大孔洞，使用设定大小的内核进行深度填充。

技术总结
本发明涉及一种基于激光雷达和事件相机融合的深度估计方法。包括：S1.数据预处理；S2.根据事件相机的视角，对激光雷达生成的点云进行提取，获得目标点云；S3.基于事件的空间扫描，实现对事件流数据的反投影，获得事件流数据的三维表示；S4.对点云数据使用基于加权欧式距离的密度聚类后进行三维目标建模；S5.使用Bowyer-Watson算法对构造立体表面模型的聚类簇中所有空间坐标点进行合理的三角剖分；S6.对建模的目标物体表面以及三维化的事件进行相交检测并实现空间坐标点重建，完成事件深度估计；S7.对事件在三维空间中进行空间坐标点重建，通过深度扩张和孔洞填充，对局部稀疏的点云进行深度填充。通过将激光雷达和事件相机进行融合，进而获得稠密的深度信息。进而获得稠密的深度信息。进而获得稠密的深度信息。


技术研发人员：黄凯 崔明月 龙俊桦 朱裕章 罗宇翔 刘业畅 刘云超
受保护的技术使用者：中山大学
技术研发日：2021.12.09
技术公布日：2022/4/15