基于事件时空同步的动态视觉事件流降噪效果评价方法

1.本发明属于传感器信号处理技术领域，具体涉及基于事件时空同步的动态视觉事件流降噪效果评价方法。


背景技术：

2.动态视觉传感器(dynamic vision sensor,dvs)，也称事件相机，是一种生物启发式传感器，通过模拟自然界生物的视觉系统，有着与传统相机完全不同的工作方式。动态视觉传感器不以固定速率输出图像，基于异步事件驱动敏感各像素上的光照变化，当亮度的对数变化达到预设的阈值时，以超低延迟(小于1微秒)激发“事件”(event)。每个事件由四维向量表示e(x,y,t,p)，包含事件的像素坐标(x,y)、触发时间t和极性p，其中，极性p∈{1,-1}表示像素上亮度的增强或减弱。dvs仅输出局部亮度变化的相关信息，拥有响应速度快、超低延迟、高动态范围、只捕捉动态变化、低功耗等特点，能克服传统相机高冗余、低帧率、大延迟、低动态范围等不足，进而在无人驾驶、机器人等领域得到了广泛的应用。
3.动态视觉传感器由于其本身结构对环境亮度变化十分敏感，且受限于硬件水品，在输出的异步事件流中包含大量噪声干扰。噪声可能来源于数字信号传输时的脉冲噪声以及光电二极管所引起的高斯噪声等，对于事件流进一步的应用以及可视化造成很大影响，因此，对事件流信息进行降噪处理是非常重要的环节，事件流的降噪也成为了动态视觉传感器领域的一项重要研究课题。
4.然而，由于dvs的数据负载过大(每秒输出上百万个事件)，难以对每个事件的有效性进行手动标记，噪声的具体分布和基准事件流无法获取，因此，目前还没有有效的方法衡量事件流的降噪效果和对比不同算法降噪效果，进而制约了事件流降噪算法以及动态视觉传感器的进一步发展和应用。


技术实现要素：

5.针对以上问题，本发明提供了基于事件时空同步的动态视觉事件流降噪效果评价方法，利用动态视觉传感器的高频优势，结合位姿信息，可以在噪声的具体分布和基准事件流未知的情况下，实现对事件流降噪效果的客观评价。
6.本发明提供基于事件时空同步的动态视觉事件流降噪效果评价方法，具体步骤如下：
7.步骤1：读取动态视觉传感器dvs输出的事件流，并通过动作捕捉系统、视觉里程计、惯性导航或室内定位方法获取dvs的位姿信息；
8.步骤2：基于event-basedmulti view stereo算法，使用事件流结合位姿信息对实际场景进行三维重建，将不同时刻触发的事件投影到参考时刻进行时空同步，得到置信地图，实现对真实事件的锐化和噪声事件的模糊，作为降噪的参考基准；
9.步骤3：由于dsi中的局部最大值和边缘区域往往对应于场景中的强度梯度，触发事件的概率更大，在得到参考时刻tr的置信地图c(x,y)后，通过计算每个像素作为局部最
大值或边缘的概率，将其转换为事件概率地图，表示理想情况下tr时刻真实场景在dvs各像素上触发的事件概率；
10.步骤4：基于参考时刻tr事件流与事件概率地图的一致性，计算事件流的合理性；
11.步骤5：高精度的事件流降噪方法能够去除合理性较低的噪声事件并保留合理性较高的有效事件，从而提高事件流的整体可信度，因此，通过比较降噪前后事件流的合理性，计算降噪算法对事件流合理性的提升，得到降噪的精度指标，用于评价和对比不同算法的降噪效果：
[0012][0013]
其中，e
original
和e
denoised
分别表示降噪前后的事件流，降噪精度指标越高，表示降噪算法对事件流合理性的提升更明显，降噪效果越好。
[0014]
作为本发明进一步改进，步骤2中使用事件流结合位姿信息进行三维重建包括如下过程：
[0015]
在进行三维重建前，先对每个像素上的重复事件进行检测，并仅保留其中的首次触发事件：
[0016]
ie＝{ei(xi,yi,ti)|(t
i-t
i-1
)＞τ
ie
^(t
i 1-ti)＜τ
ie
}
[0017]
其中，ie表示重复触发事件中的首事件，表示ti某一像素上触发的第i个事件的时间戳，时间阈值参数t
ie
设为20ms；
[0018]
之后，进行基于事件的三维重建，生成置信地图，具体步骤包括：
[0019]
(2-1)选取参考时刻的观测视角作为参考视角，并将沿其光轴方向的观测相机系离散化为栅格地图，构建视差空间图dsi，视差空间图dsi将参考视角离散化为n个深度平面每个深度平面划分为w
×
h个空间单元，和dvs的像素分辨率保持一致，因此，dsi被划分为w
×h×
n个空间体素单元，其中，n设为100；
[0020]
(2-2)之后将所有事件根据对应时刻的位姿从像素平面向视差空间图dsi投影，计算视差空间图dsi中每个单元体素与事件反投影射线的相交次数，相交次数越多，表示对应区域被dvs观测并响应的次数越多，单元体素内包含场景边缘的概率就越大，相应地，在参考视角的dvs上触发事件的概率也越大；
[0021]
在对事件进行投影构图的过程中，实际场景以高频连续触发的有效事件将自动同步到对应的空间位置，而事件流中的噪声则不会对dsi中的固定区域产生时空持续性的投票，并被有效事件稀释；
[0022]
最后，通过记录参考视角每个像素沿沿光轴方向的dsi最大值，得到参考视角下的置信地图。
[0023]
作为本发明进一步改进，步骤2中事件从像素平面向dsi投影的步骤如下：
[0024]
利用单应性求解事件投影射线和dsi各深度平面的相交单元，每个深度平面的表达式分别为：
[0025]
zi＝[n,di]
t
＝[(0,0,1),zi]
t
[0026]
其中，n和zi分别是各平面的法向量和深度；
[0027]
在投影过程中，首先利用每个事件ei(xi,yi)在观测时刻和参考时刻之间的相对位
姿[r|t]，计算两者相对z0平面的单应性矩阵
[0028][0029]
之后，结合dvs的投影矩阵p，通过单应性变换，从事件的像素坐标得到在z0平面上的投影坐标：
[0030][0031][0032]
式中(xi,yi)和(x(z0),y(z0))分别是事件的像素坐标和在z0平面的投影坐标；
[0033]
事件在dsi的其余深度平面上的投影坐标，再次通过单应性变换，从z0平面上的坐标计算得到：
[0034][0035]
其中化简后得到事件在zi平面上的坐标：
[0036][0037]
式中(c
x
,cy,cz)
t
＝-r
t
t，为dvs相对参考时刻的坐标。
[0038]
作为本发明进一步改进，步骤3中将置信地图转换为事件概率图包括如下过程：
[0039]
(3-1)对于置信地图中的每个像素x,y，分别使用其与邻域窗口ω内各像素(xi,yi)∈ω之间的空间邻近度和像素相似度，构造空域高斯核gd和值域高斯核gr：
[0040][0041][0042]
其中，
[0043]
(3-2)之后，以空域高斯核和值域高斯核的归一化乘积作为权值w(xi,yi)，对窗口ω内的所有像素进行加权融合，得到自适应阈值t(x,y)，与中心像素处的置信值c(x,y)对比，计算像素(x,y)作为dsi局部最大值或边缘区域的概率，表示事件触发概率p(x,y)：
[0044][0045]
[0046][0047]
其中，窗口大小设置为7x7，并对置信地图上的所有像素重复上述步骤，得到参考时刻的事件概率地图。
[0048]
作为本发明进一步改进，步骤4中的事件流合理性计算包括如下过程：
[0049]
(4-1)对于事件流ei(xi,yi,ti)，使用i:z2→
{0,1}表示参考时刻前后一段时间范围内，动态视觉传感器像素平面z2上的事件触发情况：
[0050][0051]
其中，τ表示时间范围，1和0分别表示[t
r-τ,tr τ]时间段内，该像素处事件的存在和缺失；
[0052]
(4-2)当i(x,y)＝1时，使用对应像素处事件的时间戳，与参考时刻之间的时间距离构造指数衰减核，表示事件流在该像素处与事件概率地图之间的时间相关性：
[0053][0054]
其中衰变率参数δ
t
设为20ms，通过相应位置的事件概率p(x,y)和γ(x,y)的乘积量化事件流在像素处触发事件的合理性，合理性越大，表示该事件作为实际场景触发的有效信号的可能性更大；
[0055]
当i(x,y)＝0时，使用事件概率地图上的逆事件概率：表示该像素缺失事件的合理性；
[0056]
(4-3)因此，得到[t
r-τ,tr τ]这段时间内，事件流在像素(x,y)上的对数合理性：
[0057][0058]
分别计算像素平面z2上所有像素处的对数合理性，得到事件流ei的合理性：
[0059][0060]
logp(ei)越小，表示事件流ei与事件概率地图的一致性越好，合理性也越高。
[0061]
有益效果：
[0062]
本发明充分利用了动态视觉传感器的高频特性，将实际场景在像素平面上连续触发的有效事件同步到参考时刻的三维空间，实现对有效事件的突出锐化和对噪声事件的模糊过滤，从而量化事件流的合理性以及算法的降噪精度，可以在噪声的具体分布和基准事件流未知的情况下，实现对事件流降噪效果的客观评价。
附图说明
[0063]
图1是本发明提供的事件流降噪效果评价方法流程图。
具体实施方式
[0064]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0065]
本发明公开了基于事件时空同步的动态视觉事件流降噪效果评价方法，本发明方法流程如图1所示，具体包括如下步骤：
[0066]
步骤1：读取动态视觉传感器(dvs)输出的事件流，并通过动作捕捉系统、视觉里程计、惯性导航或室内定位等方法获取dvs的位姿信息。
[0067]
步骤2：基于event-basedmultiview stereo(emvs)算法，使用事件流结合位姿信息对实际场景进行三维重建，将不同时刻触发的事件投影到参考时刻进行时空同步，得到置信地图，实现对真实事件的锐化和噪声事件的模糊，作为降噪的参考基准。
[0068]
由于短时间内同一像素上的重复事件会向参考时刻重复投影，从而影响置信地图的构建和随后的事件有效性评估，因此，在进行三维重建前，先对每个像素上的重复事件进行检测，并仅保留其中的首次触发事件：
[0069]
ie＝{ei(xi,yi,ti)(t
i-t
i-1
)＞τ
ie
^(t
i 1-ti)＜τ
ie
}
[0070]
其中，ie表示重复触发事件中的首事件，表示ti某一像素上触发的第i个事件的时间戳，时间阈值参数t
ie
设为20ms。
[0071]
之后，进行基于事件的三维重建，生成置信地图，具体步骤包括：
[0072]
(2-1)选取参考时刻的观测视角作为参考视角，并将沿其光轴方向的观测相机系离散化为栅格地图，构建视差空间图(disparity space image,dsi)。dsi将参考视角离散化为n个深度平面每个深度平面划分为w
×
h个空间单元，和dvs的像素分辨率保持一致，因此，dsi被划分为w
×h×
n个空间体素单元。其中，n设为100。
[0073]
(2-2)之后将所有事件根据对应时刻的位姿从像素平面向dsi投影，计算dsi中每个单元体素与事件反投影射线的相交(也叫“投票”)次数，相交次数越多，表示对应区域被dvs观测并响应的次数越多，单元体素内包含场景边缘的概率就越大，相应地，在参考视角的dvs上触发事件的概率也越大。
[0074]
利用单应性求解事件投影射线和dsi各深度平面的相交单元，每个深度平面的表达式分别为：
[0075]
zi＝[n,di]
t
＝[(0,0,1),zi]
t
[0076]
其中，n和zi分别是各平面的法向量和深度。
[0077]
在投影过程中，首先利用每个事件ei(xi,yi)在观测时刻和参考时刻之间的相对位姿[r|t]，计算两者相对z0平面的单应性矩阵h
z0
：
[0078][0079]
之后，结合dvs的投影矩阵p，通过单应性变换，从事件的像素坐标得到在z0平面上的投影坐标：
[0080]
[0081][0082]
式中(xi,yi)和(x(z0),y(z0))分别是事件的像素坐标和在z0平面的投影坐标。
[0083]
事件在dsi的其余深度平面上的投影坐标，再次通过单应性变换，从z0平面上的坐标计算得到：
[0084][0085]
其中化简后得到事件在zi平面上的坐标：
[0086][0087]
式中(c
x
,cy,cz)
t
＝-r
t
t，为dvs相对参考时刻的坐标。
[0088]
在对事件进行投影构图的过程中，实际场景以高频连续触发的有效事件将自动同步到对应的空间位置，而事件流中的噪声则不会对dsi中的固定区域产生时空持续性的投票，并被有效事件稀释，因此，算法对噪声具有良好的鲁棒性，从而为客观评估事件流的降噪效果提供参考。
[0089]
最后，通过记录参考视角每个像素沿沿光轴方向的dsi最大值，得到参考视角下的置信地图。
[0090]
步骤3：由于dsi中的局部最大值和边缘区域往往对应于场景中的强度梯度，触发事件的概率更大，在得到参考时刻tr的置信地图c(x,y)后，我们通过计算每个像素作为局部最大值或边缘的概率，将其转换为事件概率地图，表示理想情况下tr时刻真实场景在dvs各像素上触发的事件概率，具体包括以下步骤：
[0091]
(3-1)对于置信地图中的每个像素(x,y)，分别使用其与邻域窗口ω内各像素(xi,yi)∈ω之间的空间邻近度和像素相似度，构造空域高斯核gd和值域高斯核gr：
[0092][0093][0094]
其中，
[0095]
(3-2)之后，以空域高斯核和值域高斯核的归一化乘积作为权值w(xi,yi)，对窗口ω内的所有像素进行加权融合，得到自适应阈值t(x,y)，与中心像素处的置信值c(x,y)对比，计算像素(x,y)作为dsi局部最大值或边缘区域的概率，表示事件触发概率p(x,y)：
[0096]
[0097][0098][0099]
其中，窗口大小设置为7x7。并对置信地图上的所有像素重复上述步骤，得到参考时刻的事件概率地图。因此，通过引入空间邻近度和像素相似度，可以根据事件触发特性，结合局部场景信息，将置信地图转换为事件概率地图。
[0100]
步骤4：基于参考时刻tr事件流与事件概率地图的一致性，计算对应时刻事件流的合理性，具体包括以下步骤：
[0101]
(4-1)对于事件流ei(xi,yi,ti)，使用i:z2→
{0,1}表示参考时刻前后一段时间范围内，动态视觉传感器像素平面z2上的事件触发情况：
[0102][0103]
其中，τ表示时间范围，1和0分别表示[t
r-τ,tr τ]时间段内，该像素处事件的存在和缺失。
[0104]
(4-2)当i(x,y)＝1时，使用对应像素处事件的时间戳，与参考时刻之间的时间距离构造指数衰减核，表示事件流在该像素处与事件概率地图之间的时间相关性：
[0105][0106]
其中衰变率参数δt设为20ms。通过相应位置的事件概率p(x,y)和γ(x,y)的乘积量化事件流在像素处触发事件的合理性，合理性越大，表示该事件作为实际场景触发的有效信号的可能性更大。
[0107]
当i(x,y)＝0时，使用事件概率地图上的逆事件概率：表示该像素缺失事件的合理性。
[0108]
(4-3)因此，得到[t
r-τ,tr τ]这段时间内，事件流在像素(x,y)上的对数合理性：
[0109][0110]
分别计算像素平面z2上所有像素处的对数合理性，得到事件流ei的合理性：
[0111][0112]
logp(ei)越小，表示事件流ei与事件概率地图的一致性越好，合理性也越高。
[0113]
步骤5：高精度的事件流降噪方法能够去除合理性较低的噪声事件并保留合理性较高的有效事件，从而提高事件流的整体可信度。因此，通过比较降噪前后事件流的合理
性，计算降噪算法对事件流合理性的提升，得到降噪的精度指标，用于评价和对比不同算法的降噪效果：
[0114][0115]
其中，e
original
和e
denoised
分别表示降噪前后的事件流，降噪精度指标越高，表示降噪算法对事件流合理性的提升更明显，降噪效果越好。
[0116]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。