基于热像素和增强时空相关性的动态视觉事件流降噪方法

1.本发明属于传感器信号处理技术领域，具体涉及基于热像素和增强时空相关性的动态视觉事件流降噪方法。


背景技术：

2.作为一种新型仿生神经形态传感器，动态视觉传感器凭借低延迟、高时间分辨率和高动态范围等优势，在高速运动、低光照、高对比度等挑战性场景中发挥出巨大优势，克服了传统相机的应用局限性。不同于以固定频率同步输出强度图像帧的传统相机，动态视觉传感器各像素之间互相独立，异步检测并响应亮度对数变化(称为事件)，当这些像素级亮度变化达到一定阈值时触发事件，并以微秒级分辨率实现对事件的像素坐标、时间戳、以及极性的异步输出。目前，基于动态视觉传感器的视觉算法已成功应用于目标跟踪、三维重建、slam、光流估计等领域。
3.然而，由于动态视觉传感器对环境中的亮度变化十分敏感，并且受自身硬件电路和环境因素等外在干扰的影响，在其输出的事件流中包含大量噪声事件，严重影响了后续算法的效率和精度，并浪费了大量运算资源，成为制约动态视觉传感器进一步发展和应用的主要挑战。另一方面，传统的二维图像、视频去噪方法不能直接应用于包含位置和时间信息的三维事件流，并且对时空特性如此复杂的事件流进行降噪的难度较大，现有的事件流降噪方法无法实时准确地去除事件流中的噪声。根据事件触发原理，真实事件通常由场景中的边缘等强度梯度区域产生，在时间和空间上往往连续，而噪声事件在时空分布上通常表现为独立、离散且不连续的点，与真实事件相比，时空相关性较差，因此，时空相关性成为了事件流降噪的基本准则。基于时空相关性的最近邻(nearest neighbor,nnb)滤波器使用每个事件与相邻像素上最新事件之间的时间差表示其时空相关性，并将大于阈值的事件定义为噪声，然而，当多个噪声事件在像素邻域内同时触发时，随着噪声时空连续性的增加，基于时空相关性的nnb等滤波算法将会失效。因此，需要研制一种高精度的事件流降噪算法。
4.现有解决方案主要包括如下：
5.申请日，2021/8/24；申请号：cn202110973961.0，专利名称：基于仿生视觉传感器时空数据流的自适应切割方法，该专利涉及图像处理技术领域，解决现有数据切割方法存在时空数据流切割存在较大误差，对噪声鲁棒性较差；以及参与计算的置信区间未更新等问题；法在数据切割过程中即可进行降噪，减少噪声对于数据流切割的影响，提高对噪声的鲁棒性。而且计算参数不断根据场景自适应更新，以应对目标速度变化或数量变化的情况，使该方法适用于各种复杂场景。并且利用过往事件消除机制，可从时空数据流中获取一帧边缘清晰锐利的虚拟帧。最终可以对时空数据流进行自适应切割，切割出来的时空数据段里所包含的目标信息既能保留完整的目标信息，有不会存在拖影现象，提高接下来目标运动信息获取的准确性。
6.其是对每个事件，以其为中心构建3x3滑块，并根据其中是否有其他事件发生，判
断该事件是否为噪声；而本技术首先通过构造事件密度图消除高频噪声，再结合动态视觉传感器的动态响应特性对时空相关性降噪准则进行增强，分别对重叠事件和瞬态事件中的背景噪声进行消除，其中虽然涉及结合相邻像素构建时空邻域进行噪声判断的过程，但是对噪声的具体判断条件不同。
7.申请日，2020/7/29；申请号：cn202010744062.9，专利名称：一种动态视觉传感器输出事件流降噪方法，涉及图像传感器领域，解决现有的降噪方法需要较高的运算能力且运算方法复杂，延时较大，或固化参数无法调整等缺陷。同时，算法存在不利于嵌入式的移植，空间领域的事件由于利用不完全，导致损失空间信息等问题，本方法对新到达的事件的时空邻域中的事件个数和位置进行统计和判断，得出该事件是否为噪声事件。该方法相对已有方法计算简单，参数可调等优点。本发明方法不需要未来的事件参与计算和判断，降低延迟事件。依次对新到达的事件进行滤波，不以帧的形式处理数据，更好的保留时间信息和分辨率。通过判断空间位置，可以消除高频出现的闪烁噪声。
8.其是该方法对每个事件，首先通过时空邻域内事件的数量是否达到判定阈值，判断其是否为随机噪声，再根据周围其他像素是否有事件，判断其是否为闪烁噪声，实现对事件流的降噪；而本技术首先通过构造事件密度图，结合高频噪声的持续高频特性和有效事件的时空连续性设置绝对阈值和自适应阈值，对动态视觉传感器中的热像素进行检测，并将其输出的事件判定为高频噪声事件；再结合动态视觉传感器的动态响应特性对时空相关性降噪准则进行增强，分别对重叠事件和瞬态事件中的背景噪声进行消除，其中虽然涉及构建时空邻域进行噪声判断的过程，但是对噪声的具体判断条件完全不同；此外，所申请专利还利用降噪后的事件流对热像素的输出进行补偿，提高事件输出精度。
9.申请日，2017/3/30；申请号：cn201710203429.4，专利名称：一种像素单元及其去噪方法、动态视觉传感器、成像装置，其像素单元包括像素感光电路，用于检测光信号，当检测到光信号有变化时产生并输出电信号；以及通信电路，与像素感光电路连接并输出电信号；还包括：邻域去噪电路，与像素感光电路、通信电路以及四个邻域的其他所述像素单元连接，用于根据相邻的像素单元的响应状态，控制通信电路是否输出所述电信号。该发明实施例中，当像素单元对光信号有响应触发事件发生时，通过获取位于四个邻域的像素单元的激发状态信号并判断其状态，若该四个邻域的像素单元至少有三个处于未响应状态，则使该像素单元不作出响应，有效避免孤立噪声的产生，具有处理速度快、去噪准确度高的有益效果。
10.该发明在硬件层面使用邻域去噪电路对动态视觉传感器进行降噪，若四个邻域像素至少有三个处于未响应状态，则中心像素不作出响应；而本技术首先通过构造事件密度图消除高频噪声，再结合动态视觉传感器的动态响应特性对时空相关性降噪准则进行增强，分别对重叠事件和瞬态事件中的背景噪声进行消除，虽然同样是对于动态视觉传感器的降噪，但是降噪过程与该发明完全不同。


技术实现要素：

11.针对以上问题，本发明提供了基于热像素和增强时空相关性的动态视觉事件流降噪方法，该方法克服了现有时空相关性滤波器在噪声局部聚集时的失效问题，兼顾了噪声事件去除效率和有效事件保留能力，大幅提升了事件流的降噪精度。
12.本发明提供基于热像素和增强时空相关性的动态视觉事件流降噪方法，具体步骤如下：
13.步骤1：读取动态视觉传感器输出的事件流，并将事件建模为三维时空系中的脉冲函数：
14.ei(xi,yi,ti)＝δ(x-xi,y-yi,t-ti)
15.其中ei表示事件流中的第i个事件，xi,yi表示事件的像素坐标，ti表示事件的时间戳，δ(
·
)表示脉冲函数；
16.步骤2：根据时空特征，将动态视觉传感器输出事件流中噪声事件分为热像素持续输出的高频噪声事件，以及随机分布在像素平面的背景噪声事件；
17.步骤3：通过构造事件密度图，结合热像素输出噪声的持续高频特性和有效事件的时空连续性，实时检测热像素，实现对高频噪声的消除；
18.步骤4：根据动态视觉传感器各像素上连续触发事件的时间间隔，将事件分为短时间内同一像素上的重复触发的重叠事件和仅触发一次的瞬态事件，并通过引入不同强度梯度下动态视觉传感器的动态响应特性，对时空相关性降噪准则进行增强，分别滤除重叠事件和瞬态事件中的背景噪声；
19.步骤5：在热像素的输出事件流中，可能存在淹没在高频噪声中的有效事件，为了准确地描述场景和目标，在滤除热像素输出的高频噪声后，结合降噪后的事件流，对其进行输出补偿。
20.作为本发明进一步改进，步骤3中事件密度图的构造包括如下过程：
21.对动态视觉传感器中的每个像素x,y分别使用一个时间长度固定的滑动窗口，统计最近一段时间内在对应像素处的累计触发事件，构造事件密度图d(x,y)：
[0022][0023]
其中表示tc当前时刻，tw是滑动窗口的时间长度。
[0024]
作为本发明进一步改进，步骤3中的热像素检测和高频噪声去除包括如下过程：
[0025]
(3-1)由于热像素持续输出时间间隔小于refractory period的高频事件，首先结合窗口长度和refractory period设置事件数量绝对阈值
[0026][0027]
其中比例系数s设为0.8，τ
rp
是refractory period，设为20ms；
[0028]
(3-2)根据有效事件的时空连续性，场景中的强度梯度在相邻像素区域上会激发相似数量的事件，导致热像素的窗口包含的事件远多于相邻像素，因此，通过自适应高斯阈值检测事件密度图上的局部最大值像素，进行非极大值抑制，与绝对阈值共同作为热像素的判断条件，将事件密度图上满足条件的像素识别为热像素，并将其输出的事件e
hp
判别为噪声事件，实现对事件流中高频噪声的有效消除：
[0029][0030]
[0031]
其中，表示自适应高斯阈值，表示事件密度图和高斯权值g
σ
(x,y)的卷积，自适应高斯阈值的窗口大小设置为5x5，hp表示动态视觉传感器像素平面z2上的热像素。
[0032]
作为本发明进一步改进，步骤4中的事件分类过程和背景噪声去除包括如下过程：
[0033]
(4-1)首先使用refractory period滤波器区分重叠事件和瞬态事件，得到各像素上重复触发的非高频噪声事件eo；
[0034]
(4-2)之后根据动态视觉传感器的动态响应特性，重叠事件eo是场景中强度梯度较大的边缘等区域在同一像素上连续触发的有效事件，或是背景噪声，因此，利用场景边缘的时空连续性，使用最近邻nnb滤波器去除其中的背景噪声，得到有效重叠事件并保留为真实事件进行输出；
[0035]
(4-3)最后，对于事件流中的瞬态事件ei(xi,yi,ti)，以其周围8个像素中的非热像素，结合时间间隔τ
th
建立时空邻域ni：
[0036]
ni＝{(x,y,t)||x-xi|≤1,|y-yi|≤1,|t-ti|≤τ
th
}(xi,yi)
[0037]
并根据时空邻域内的事件及其时空特性，判断事件ei的时空相关性和有效性，分为以下三种情况：
[0038]
case1:如果ni中存在任何有效重叠事件，则该事件是由光照不均匀的边缘或边缘附近的场景纹理等低强度梯度触发的真实事件，因此将ei识别为真实事件并保留；
[0039]
case2:当ei的时空邻域内只有瞬态事件时，则对该时空邻域内的所有事件ej(xj,yj,tj)构建类似的子时空邻域
[0040][0041]
之后，如果内存在任何事件，即事件ei的时空邻域内存在子时空邻域非空的事件，将其识别为有效事件并输出；而当ei的时空邻域内仅存在子时空邻域为空的事件时，仍将其判断为背景噪声并去除；
[0042]
case3:如果ei的时空邻域内不存在任何事件，即周围像素在最近时刻都没有事件触发，则将该事件判断为背景噪声并去除。
[0043]
作为本发明进一步改进，所述步骤4中refractory period滤波器和最近邻滤波器的实施步骤如下：
[0044]
refractory period滤波器通过在同一像素上的连续事件之间设置最小时间间隔区分重叠事件和瞬态事件，得到各像素上重复触发的非高频噪声事件eo：
[0045][0046]
其中，τ
rp
是refractory period滤波器的时间间隔阈值，ti(xi,yi)表示像素(xi,yi)上第i个事件的时间戳；
[0047]
最近邻滤波器要求有效事件在相邻像素上存在时间上接近的事件，筛选出有效重叠事件
[0048][0049]
其中tm(xi,yi)表示对应像素上重叠事件eo的时间戳，τ
nnb
是nnb滤波器的时间间隔
阈值，所述时间间隔阈值设为20ms。
[0050]
作为本发明进一步改进，步骤5中对于热像素的补偿过程包括：
[0051]
对于每个热像素，如果其时空邻域n
hp
中存在连续两个在不同像素上以相同极性被触发的真实事件，则使用相同极性的事件对该热像素的输出进行补偿：
[0052][0053]
if(xi,yi)≠(x
i-1
,y
i-1
)and pi＝p
i-1
[0054]ehp
(x
hp
,y
hp
,t
hp
,p
hp
)＝δ(x-x
hp
,y-y
hp
,t-ti,p-pi)
[0055]
其中表示n
hp
中的第i个真实事件，e
hp
是在该热像素处补偿的事件输出。
[0056]
有益效果：
[0057]
本发明将事件流中的噪声分为高频噪声和背景噪声，并分别结合各自的时空特征和有效事件的连续性进行消除，提高了降噪的效率。此外，本发明通过引入不同强度梯度下的dvs动态特性，对时空相关性降噪准则进行增强，有效解决了现有时空相关性滤波器在噪声局部聚集时的失效问题，并且兼顾了噪声事件去除效率和有效事件保留能力，有效提高了事件流的降噪精度。
附图说明
[0058]
图1是本发明提供的事件流降噪方法流程图。
具体实施方式
[0059]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0060]
本发明公开了基于热像素和增强时空相关性的动态视觉事件流降噪方法，本发明方法流程如图1所示，具体包括如下步骤：
[0061]
步骤1：读取动态视觉传感器输出的事件流，并将事件建模为三维时空系中的脉冲函数：
[0062]ei
(xi,yi,ti)＝δ(x-xi,y-yi,t-ti)
[0063]
其中ei表示事件流中的第i个事件，(xi,yi)表示事件的像素坐标，ti表示事件的时间戳，δ(
·
)表示脉冲函数。
[0064]
步骤2：根据时空特征，将动态视觉传感器输出事件流中噪声事件分为热像素持续输出的高频噪声事件，以及随机分布在像素平面的背景噪声事件。
[0065]
步骤3：为了检测热像素并消除高频噪声，对动态视觉传感器中的每个像素(x,y)分别使用一个时间长度固定的滑动窗口，统计最近一段时间内在对应像素处的累计触发事件，构造事件密度图d(x,y)：
[0066][0067]
其中表示tc当前时刻，tw是滑动窗口的时间长度。
[0068]
基于事件密度图，结合热像素输出噪声的持续高频特性和有效事件的时空连续性，实时检测热像素，实现对高频噪声的消除，包括如下步骤：
[0069]
(3-1)由于热像素持续输出时间间隔小于refractory period的高频事件，首先结
合窗口长度和refractory period设置事件数量绝对阈值
[0070][0071]
其中比例系数s设为0.8，τ
rp
是refractory period，设为20ms。
[0072]
(3-2)此外，根据有效事件的时空连续性，场景中的强度梯度在相邻像素区域上会激发相似数量的事件，导致热像素的窗口包含的事件远多于相邻像素。因此，通过自适应高斯阈值检测事件密度图上的局部最大值像素，进行非极大值抑制，与绝对阈值共同作为热像素的判断条件，将事件密度图上满足条件的像素识别为热像素，并将其输出的事件e
hp
判别为噪声事件，实现对事件流中高频噪声的消除：
[0073][0074][0075]
其中，表示自适应高斯阈值，表示事件密度图和高斯权值g
σ
(x,y)的卷积，自适应高斯阈值的窗口大小设置为5x5，hp表示动态视觉传感器像素平面z2上的热像素。
[0076]
步骤4：根据动态视觉传感器各像素上连续触发事件的时间间隔，将事件分为短时间内同一像素上的重复触发的重叠事件和仅触发一次的瞬态事件，并通过引入不同强度梯度下动态视觉传感器的动态响应特性，对时空相关性降噪准则进行增强，分别滤除重叠事件和瞬态事件中的背景噪声，包括如下步骤：
[0077]
(4-1)首先使用refractory period滤波器，通过在同一像素上的连续事件之间设置最小时间间隔，区分重叠事件和瞬态事件，得到各像素上重复触发的非高频噪声事件eo：
[0078][0079]
其中，τ
rp
是refractory period滤波器的时间间隔阈值，ti(xi,yi)表示像素(xi,yi)上第i个事件的时间戳。
[0080]
(4-2)之后根据动态视觉传感器的动态响应特性，重叠事件eo可能是场景中强度梯度较大的边缘等区域在同一像素上连续触发的有效事件，或是背景噪声，因此，利用场景边缘的时空连续性，使用最近邻(nnb)滤波器去除其中的背景噪声，得到有效重叠事件并保留为真实事件进行输出：
[0081][0082]
其中tm(xi,yi)表示对应像素上重叠事件eo的时间戳，τ
nnb
是nnb滤波器的时间间隔阈值(设为20ms)，即nnb滤波器要求有效事件在相邻像素上存在时间上接近的事件。
[0083]
(4-3)最后，对于事件流中的瞬态事件ei(xi,yi,ti)，以其周围8个像素中的非热像素，结合时间间隔τ
th
建立时空邻域ni：
[0084]
ni＝{(x,y,t)||x-xi|≤1,|y-yi|≤1,|t-ti|≤τ
th
}(xi,yi)
[0085]
并根据时空邻域内的事件及其时空特性，判断事件ei的时空相关性和有效性，分为以下三种情况：
[0086]
case1:如果ni中存在任何有效重叠事件，则该事件是由光照不均匀的边缘或边缘
附近的场景纹理等低强度梯度触发的真实事件，因此将ei识别为真实事件并保留。
[0087]
case2:当ei的时空邻域内只有瞬态事件时，则对该时空邻域内的所有事件ej(xj,yj,tj)构建类似的子时空邻域
[0088][0089]
之后，如果内存在任何事件，即事件ei的时空邻域内存在子时空邻域非空的事件，将其识别为有效事件并输出；而当ei的时空邻域内仅存在子时空邻域为空的事件时，仍将其判断为背景噪声并去除。
[0090]
case3:如果ei的时空邻域内不存在任何事件，即周围像素在最近时刻都没有事件触发，则将该事件判断为背景噪声并去除。
[0091]
步骤5：在热像素的输出事件流中，可能存在淹没在高频噪声中的有效事件。为了准确地描述场景和目标，在过滤掉热像素输出的高频噪声事件后，需要结合降噪后的事件流，对其进行输出补偿，提高事件流的输出精度。
[0092]
对于每个热像素，如果其时空邻域n
hp
中存在连续两个在不同像素上以相同极性被触发的真实事件，则使用相同极性的事件对该热像素的输出进行补偿：
[0093][0094]
if(xi,yi)≠(x
i-1
,y
i-1
)and pi＝p
i-1
[0095]ehp
(x
hp
,y
hp
,t
hp
,p
hp
)＝δ(x-x
hp
,y-y
hp
,t-ti,p-pi)
[0096]
其中表示n
hp
中的第i个真实事件，e
hp
是在该热像素处补偿的事件输出。
[0097]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。