一种事件相机传感器与RGB相机联合标定方法和装置

一种事件相机传感器与rgb相机联合标定方法和装置
技术领域
1.本发明涉及传感器联合标定技术领域，尤其涉及一种事件相机传感器与rgb相机联合标定方法和装置。


背景技术：

2.近年来部分科学家注意到生物视觉系统在质量，功耗，响应速度等方面都大大优于传统的数字视觉系统。事件摄像机(event camera)，又叫动态视觉传感器(dynamic vision sensor)就是一种是受生物启发的硅视网膜视觉传感器。它在视觉信息的获取方式上呈现出明显的转变，这是因为事件相机根据场景动态来采样像素信息，而不是基于与所观看的场景无关的时钟。它们的优点是：高时间分辨率和低延迟(微秒量级)，高动态范围(140db)，低功耗。事件摄像机的异步特性适合于目标跟踪和运动估计，可以监测到在传统方法中需要高速相机才能捕捉到的运动，且输出数据大大减少，这大大的减少了后续滤波的计算量要求。dvs与常规相机硬件上最大区别在于dvs每个像素都有自己的感光处理单元和独立的信号处理电路，如果光度变化超过阈值每个像素都能够单独向外部电路发送请求传输像素位置信息与激活时间戳。这种方法不再受“帧”的限制，从根源上解放了响应速率的限制。
3.基于事件相机的计算机视觉方法研究得到快速发展和广泛关注，由于事件相机的原理限制，它只能记录一个无序的异步时空视觉事件序列，而不是传统的同步视频图像帧。这使得事件相机无法独立于传统相机，为了使传感器信息能够融合，同步，联合标定是首先要解决的问题。


技术实现要素：

4.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
5.为此，本发明的目的在于提出一种事件相机传感器与rgb相机联合标定方法，能够对事件相机与传统rgb相机进行标定，具有标定精度高等特点。
6.本发明的另一个目的在于提出一种事件相机传感器与rgb相机联合标定装置。
7.为达上述目的，本发明一方面提出了一种事件相机传感器与rgb相机联合标定方法，包括：
8.将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与所述rgb相机的变换矩阵。
9.本发明实施例的事件相机传感器与rgb相机联合标定方法，能够对事件相机与传统rgb相机进行标定，具有标定精度高等特点。
10.另外，根据本发明上述实施例的事件相机传感器与rgb相机联合标定方法还可以
具有以下附加的技术特征：
11.进一步地，在本发明的一个实施例中，所述将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片，包括：将事件相机感应环境内物体运动所生成的异步时空事件序列进行畸变校正，并聚合成视觉事件的集合，以得到所述第一图片；其中，所述视觉事件的集合中每一个视觉事件是其所在时空三维空间中的一个三维点。
12.进一步地，在本发明的一个实施例中，对所述视觉事件的集合选取事件窗口，将所述事件窗口内的事件根据预设的运动状态，投影到时间窗口的中间时刻；将投影的事件进行累加，预设第一对比度得到对应的真实运动状况与对应的事件帧。
13.进一步地，在本发明的一个实施例中，对所述事件帧进行滤波得到第二对比度以获得所述第一边缘图。
14.进一步地，在本发明的一个实施例中，对于所述第二边缘图和所述第一边缘图，分别结合多种坐标的转换公式并利用边缘像素的特征，采用边缘提取算法群集预设边缘像素，以识别出直线目标并分别存储于第一直线集合和第二直线集合；其中，所述多种坐标包括二维坐标、球面坐标和笛卡尔坐标中的多种。
15.进一步地，在本发明的一个实施例中，分别利用直线之间的距离以及直线的描述子相似度信息，对所述第一直线集合和第二直线集合进行合并获得第三直线集合和第四直线集合。
16.进一步地，在本发明的一个实施例中，对所述第三直线集合和第四直线集合在集合内计算直线之间的交点，以获得第一虚拟角点集合与第二虚拟角点集合。
17.进一步地，在本发明的一个实施例中，计算所述第一虚拟角点集合与第二虚拟角点集合中点的欧氏距离，将所述欧氏距离作为距离矩阵，使用匹配算法获取所述第一虚拟角点集合与第二虚拟角点集合的配对关系。
18.进一步地，在本发明的一个实施例中，对于配准成功的匹配采用手眼标定法标定相机内参，以计算所述事件相机与rgb相机的外参。
19.为达到上述目的，本发明另一方面提出了一种事件相机传感器与rgb相机联合标定装置，包括：
20.事件聚集模块，用于将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；边缘提取模块，用于对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；直线提取模块，用于分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；矩阵变换模块，用于对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；矩阵计算模块，用于基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与所述rgb相机的变换矩阵。
21.本发明实施例的事件相机传感器与rgb相机联合标定装置，能够对事件相机与传统rgb相机进行标定，具有标定精度高等特点。
22.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
23.本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得
明显和容易理解，其中：
24.图1为根据本发明实施例的事件相机传感器与rgb相机联合标定方法流程图；
25.图2为根据本发明实施例的采用的手眼标定法示意图；
26.图3为根据本发明实施例的事件相机传感器与rgb相机联合标定整体示意图；
27.图4为根据本发明实施例的事件相机传感器与rgb相机联合标定装置结构示意图。
具体实施方式
28.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
29.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
30.下面参照附图描述根据本发明实施例提出的事件相机传感器与rgb相机联合标定方法及装置。
31.图1是本发明一个实施例的事件相机传感器与rgb相机联合标定方法的流程图。
32.如图1所示，该事件相机传感器与rgb相机联合标定方法包括：
33.s1，将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；
34.s2，对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；
35.s3，分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；
36.s4，对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；
37.s5，基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与所述rgb相机的变换矩阵。
38.具体地，本发明准备标准棋盘格与拍摄设备1、具有异步事件获取功能的拍摄设备(事件相机)2、具有同步图像获取功能的拍摄设备(传统rgb相机)；上述各器件的安装位置关系为：传统rgb相机与事件相机通过硬件固联，共同拍摄棋盘格。
39.作为一种示例，本发明如图3所示。
40.a、将事件相机感应环境内物体运动所生成的异步时空事件序列进行畸变校正以后聚合成视觉事件的集合，集合中每一个视觉事件是其所在时空三维空间中的一个三维点；
41.b、对rgb相机原始输入图像进行畸变校正后的图像获取边缘得到边缘图像；
42.c、对a中获得的集合选取一个事件窗口，将窗口内的事件根据假设的运动状态，投影到时间窗口的中间时刻；
43.d、将投影的事件进行累加，最大化对比度得到对应的真实运动状况，与对应的事件帧；
44.e、对步骤c得到的事件帧进行滤波获得增强对比度，强化边缘信息，平滑面点噪声
的图片；
45.f、对b生成的图片，结合二维坐标，球面坐标，笛卡尔坐标的转换公式，并利用边缘像素的特征，采用有效的边缘提取算法群集所有能构成直线的边缘像素，从而识别出直线目标并存储与直线集合1中。对e生成的图片，结合二维坐标，球面坐标，笛卡尔坐标的转换公式，并利用边缘像素的特征，采用有效的边缘提取算法群集所有能构成直线的边缘像素，从而识别出直线目标并存储与直线集合2中；
46.g、分别利用直线彼此之间的距离以及直线的描述子相似度等信息对直线1与直线2集合内合并获得有效直线集合1与有效直线集合2；
47.h、对g中获得的有效直线集合1，2在集合内计算直线之间交点，获得虚拟角点集合1与虚拟角点集合2；
48.i、计算虚拟角点集合1与虚拟角点2中点的欧氏距离，将欧氏距离作为距离矩阵，使用匹配算法获取虚拟角点集合1与角点集合2的配对关系；
49.j、对于配准成功的匹配，采用手眼标定法，标定相机内参，计算事件相机传感器与rgb相机的外参。
50.下面结合附图对本发明实施例做进一步阐述说明。
51.本实施例中选用坐标图纸作为标定板。如图2所示，将传统相机与rgb相机固连在底座上，移动底座，用相机对其进行不同角度的拍摄，得到一组带有时间戳的图像与事件。
52.则采用本发明的事件相机传感器与传统rgb相机传感器联合标定的标定步骤：
53.步骤1：坐标图纸放置于标定板上，平缓移动相机获得一系列图片与事件。
54.步骤2：按照图片时间戳读取以图片时间戳为中心，长度为0.8s的事件，假设
55.x(t)＝x(0) vt
56.其中x＝(x，y)代表点的位置,v是相机运动速度的速度。
57.可以将一个较短的时间段内的event推理到统一的时间t
ref
上，如下式所示：
58.x
′k＝w(xk，tk；v)＝x
k-(t
k-t
ref
)v
59.然后将其累加：
[0060][0061]
其中每个像素x由其被扭曲到这个位置的事件求和。计算
[0062][0063]
其中n
p
代表了事件点的数量，h＝(h
ij
)，μh＝1/n
p
∑h
i，j
。
[0064]
对f(v)优化取极大值，对应得到的h(x，v)作为恢复出的事件帧。
[0065]
步骤3：对(2)所获得的图片分别进行直方图滤波增强对比度，高斯滤波较少平面噪点，导向滤波增强边缘信息。
[0066]
步骤4：对(3)所获得的图像进行边缘提取后进行霍夫变换，提取出所有的直线信息，对直线信息去重之后计算直线交点作为虚拟角点。
[0067]
步骤5：对(2)中的rgb图进行边缘提取后霍夫变换，对提取的直线去重之后计算角点作为虚拟角点。
[0068]
步骤6：重复步骤(1)-(5)，得到下一个时刻rgb图与事件帧的虚拟角点集合。
[0069]
步骤7：对(5)中rgb图获得的虚拟角点与(6)中rgb图获得的虚拟角点采用最近邻匹配，计算变换矩阵a；对(5)中事件帧获得的虚拟角点与(6)中事件帧获得的虚拟角点采用最近邻匹配，计算变换矩阵b；
[0070]
步骤8：求解方程ax＝xb,其中的x即为相机与事件相机标定的外参矩阵。
[0071]
根据本发明实施例的事件相机传感器与rgb相机联合标定方法，将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与rgb相机的变换矩阵。本发明能够对事件相机与传统rgb相机进行标定，具有标定精度高等特点。
[0072]
为了实现上述实施例，如图4所示，本实施例中还提供了事件相机传感器与rgb相机联合标定装置10，该装置10包括：事件聚集模块100、边缘提取模块200、直线提取模块300、矩阵变换模块和矩阵计算模块500。
[0073]
事件聚集模块100，用于将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；
[0074]
边缘提取模块200，用于对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；
[0075]
直线提取模块300，用于分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；
[0076]
矩阵变换模块400，用于对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；
[0077]
矩阵计算模块500，用于基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与rgb相机的变换矩阵。
[0078]
根据本发明实施例提出的事件相机传感器与rgb相机联合标定装置，将事件相机输出的事件根据rgb相机的时间戳，聚集得到第一图片；对第一图片与rgb相机获取的第二图片分别进行边缘提取，得到第一边缘图和第二边缘图；分别在第一边缘图和第二边缘图中提取直线，并计算直线的交点作为虚拟角点；对虚拟角点求取相邻第二图片的变换矩阵与相邻第一图片的变换矩阵；基于相邻第二图片的变换矩阵与相邻第一图片的变换矩阵，计算事件相机与rgb相机的变换矩阵。本发明能够对事件相机与传统rgb相机进行标定，具有标定精度高等特点。
[0079]
需要说明的是，前述对事件相机传感器与rgb相机联合标定方法实施例的解释说明也适用于该实施例的事件相机传感器与rgb相机联合标定装置，此处不再赘述。
[0080]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0081]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示
例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0082]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。