面向脉冲序列式图像传感器的噪声和拖尾去除方法

1.本发明涉及光学、图像传感器成像及图像处理领域，具体涉及面向脉冲序列式图像传感器的噪声和拖尾去除方法。


背景技术：

2.图像传感器一直以来都是人类研究的热点。而仿生脉冲序列式图像传感器作为神经形态视觉传感器，具有高帧频和低数据吞吐量的特点，满足其高速成像的需求。脉冲序列式图像传感器像素的电路结构及其等效模型和工作原理如图1所示，像素的电路结构主要包括光电二极管、复位管、比较器、自复位单元和像素内读出电路单元。通过电路等效模型和工作原理可以看出，在光照条件下，积分器不断积分光生电流id，产生光生电荷qd，当光生电荷达到阈值q
ref
时，积分器复位并重新开始积分，同时产生一个脉冲数据1，并在同步读出信号到来时传输到片外，由于读出信号到来的时间周期为一个帧周期，因此如果在一个帧周期内没有脉冲数据1产生，则当读出信号到来时就输出脉冲数据0到片外。可以看出脉冲图像传感器采用了异步复位同步读出相方式，即像素的复位信号与读出信号到来时刻并不一致。
3.然而，在脉冲图像传感器高速成像时，存在三类噪声会影响其成像质量，即空间噪声、时间噪声和闪烁噪声，此外在高速场景下脉冲图像传感器还会发生图像拖尾。空间噪声主要是由于工艺尺寸的偏差，使得像素间会存在失配问题，最终导致图像表面存在固定模式噪声。时间噪声主要是散粒噪声，产生散粒噪声的主要原因是单位时间晶体管内p-n结中载流子数目的随机波动，此外，散粒噪声的瞬时值是不可预测的，因此每个像素每次触发的时间也会有不同的偏差。闪烁噪声主要是由传感器本身的异步复位同步读出机制引起的，脉冲图像传感器像素内的积分电荷在达到参考电荷时就会触发一个脉冲信号，并立即复位重新开始积分光生电流，但其脉冲数据1只会在下一个读出信号到来时被输出，进而导致图像发生闪烁。高速图像拖尾的原因主要是由于不同的光强出现在了同一个积分时间段内，最终导致高速图像的边界模糊。因此为了提高脉冲图像传感器的成像质量，需要去除脉冲图像传感器的成像噪声和图像拖尾。由于脉冲图像传感器的输出数据为只有0和1的单比特数据序列，与传统图像传感器不同，传统的图像处理方法并不适用于这种仿生脉冲序列式图像传感器，为此提出一种面向脉冲序列式图像传感器的噪声和拖尾去除方法。


技术实现要素：

4.为克服现有技术的不足，本发明旨在提出一种面向脉冲序列式图像传感器的噪声和拖尾去除方法，该方法主要针对脉冲序列式图像传感器在图像重构过程中出现的噪声和高速图像拖尾进行校正，且该算法针对其他类似的图像传感器还具有通用性。为此，本发明采取的技术方案是，面向脉冲序列式图像传感器的噪声和拖尾去除方法，步骤如下：
5.(1)首先需要先根据脉冲数据获取脉冲间隔；
6.(2)其次要去除脉冲间隔序列中引起闪烁噪声的误差间隔；
7.(3)然后需要找出脉冲间隔序列中引起高速图像拖尾的滞后间隔；
8.(4)再之后需要校正前面找到的滞后间隔
9.(5)在完成误差间隔和滞后间隔的校正后，再利用双边滤波器需要去除脉冲间隔中的空间域和时间域噪声；
10.(6)利用处理后脉冲间隔进行图像重构。
11.详细步骤如下：
12.(1)首先需要先根据脉冲数据获取脉冲间隔，对于t时刻的像素(x,y)，首先需要找出该像素t时刻之前最近的一次脉冲数据1的输出时刻kmax和t时刻之后最近的一次脉冲数据1的输出时刻kmin，如下所示：
[0013][0014]
其中ik(x,y)为像素(x,y)在k时刻的脉冲数据，之后该像素t时刻的原始脉冲间隔p
t
(x,y)可以通过这两个时刻的差值获得，如下所示：
[0015]
p
t
(x,y)＝kmin-kmax
ꢀꢀꢀ
(2)
[0016]
通过式子(2)可以将脉冲数据转换为脉冲间隔；
[0017]
(2)其次要去除脉冲间隔序列中引起闪烁噪声的误差间隔，对于t时刻像素(x,y)，该像素此时的脉冲间隔为误差间隔和该误差间隔对应的kmax时刻的脉冲间隔一定为正常脉冲间隔，且误差间隔与正常脉冲间隔之间存在不超过一个帧时间的误差，因此它们之间满足如下关系：
[0018][0019]
误差间隔持续时间等于它本身所对应的脉冲间隔数，因此和它对应的kmin t时刻的脉冲间隔也为正常脉冲间隔，而且由于误差间隔得波动性，kmin t时刻的脉冲间隔和kmax时刻的脉冲间隔相等，即它们之间满足如下关系：
[0020][0021]
因此该像素此时的脉冲间隔如果满足式(3)和式(4)，判断此脉冲间隔为误差间隔，然后利用与它对应的正常脉冲间隔替代误差间隔如下所示：
[0022][0023]
这样通过式子(3)、(4)、(5)，就可以完成对运动前景像素的原始脉冲间隔序列中的误差间隔的校正；
[0024]
(3)然后需要找出脉冲间隔序列中引起高速图像拖尾的滞后间隔，对于t时刻的像素(x,y)的脉冲间隔，该像素的此时的脉冲间隔为滞后间隔与滞后间隔对应的kmax时刻的脉冲间隔和kmin t时刻的脉冲间隔为正常的脉冲间隔，且它们满足如下关系：
[0025][0026]
其中为正常间隔与滞后间隔之间的最小差值，而的值高于一个帧时间t，假定
高光强产生的脉冲间隔为ne，低光强产生的脉冲间隔为nb，而滞后间隔是由高光强导致的脉冲间隔和低光强导致的脉冲间隔组成，因此假设在产生的滞后间隔中高光强所占的部分为ne，低光强所占的部分为nb，则滞后间隔满足：
[0027][0028]
如果在滞后间隔所在的积分时间段内，高光强变为低光强，那么滞后间隔小于它所对应的kmin t时刻的脉冲间隔且可以求出高光强下脉冲间隔ne和低光强下脉冲间隔nb：
[0029][0030]
显示滞后间隔的持续时间等于它本身所对应的值，而脉冲间隔持续时间高于它本身所对应的值，即正常脉冲间隔满足如下不等式：
[0031][0032]
另一方面，如果在滞后间隔所在的积分时间段内，低光强变为高光强，那么滞后间隔必然大于它所对应的kmin t时刻的脉冲间隔且可以求出高光强下脉冲间隔ne和低光强下脉冲间隔nb：
[0033][0034]
滞后间隔的持续时间等于它本身所对应的值，而脉冲间隔持续时间高于它本身所对应的值，即正常脉冲间隔满足如下不等式：
[0035][0036]
因此如果该像素此时的脉冲间隔满足式(6)和(9)或者满足式(6)和(11)，就判断该像素此时的脉冲间隔为滞后间隔；
[0037]
(4)再之后需要校正前面找到的滞后间隔假定此时的高光强大小为低光强大小为由脉冲图像传感器的原理可以得到：
[0038][0039]
其中k
lux
为光电转换系数，q
ref
为参考电荷。结合式(7)，可以求出滞后间隔中ne和nb的值，如下所示：
[0040][0041]
然后通过使用该像素正常的脉冲间隔代替此时的滞后间隔，如下所示：
[0042][0043]
除此之外，由于在图像滞后区域中的每个像素的脉冲触发时间不同，那么它们的滞后间隔中高光强和低光强所占的比重必然也不相同，进而导致通过上述方法校正后的滞后区域仍然会存留一些锯齿和椒盐噪声，为此还需要对校正后的滞后区域进行中值滤波，如下所示：
[0044][0045]
其中median代表中值滤波函数；
[0046]
(5)在完成误差间隔和滞后间隔的校正后，再利用双边滤波器需要去除脉冲间隔中的空间域和时间域噪声，如下所示：
[0047][0048]
其中滤波后的脉冲间隔，为经过误差间隔和滞后间隔校正后的脉冲间隔，w
p
为归一化系数，g
σs
为空域核，g
σr
为像素核，s为参与滤波的空间域，σs和σr为空域核和像素核的标准差；
[0049]
(6)利用处理后脉冲间隔进行图像重构，如下所示：
[0050][0051]
其中k为脉冲间隔到灰度值的转换系数，p
min
为脉冲间隔序列中的最小脉冲间隔。
[0052]
本发明的特点及有益效果是：
[0053]
针对脉冲图像传感器成像过程中出现的噪声和高速图像拖尾，提出一种校正方法，该方法面对脉冲图像传感器图像在重构过程中出现的噪声进行去除，对高速图像拖尾进行补偿，能明显提高的脉冲图像传感器的成像质量。
附图说明：
[0054]
图1脉冲图像传感器的像素结构、等效模型及工作原理。
[0055]
图2脉冲数据到脉冲间隔的转换过程。
[0056]
图3误差间隔的判断于校正。
[0057]
图4滞后间隔的判断于校正。
[0058]
(a)高光强变为低光强(b)低光强变为高光强。
[0059]
图5算法的整体流程。
[0060]
图6校正前后500转/分钟的高速转盘成像图片。
具体实施方式
[0061]
本发明技术方案如下：
[0062]
(1)首先需要先根据脉冲数据获取脉冲间隔，以t时刻的像素(x,y)为例，首先需要找出该像素t时刻之前最近的一次脉冲数据1的输出时刻kmax和t时刻之后最近的一次脉冲数据1的输出时刻kmin，如下所示：
[0063][0064]
其中ik(x,y)为像素(x,y)在k时刻的脉冲数据。之后该像素t时刻的原始脉冲间隔p
t
(x,y)可以通过这两个时刻的差值获得，如下所示：
[0065]
p
t
(x,y)＝kmin-kmax
ꢀꢀꢀ
(2)
[0066]
通过式子(2)可以将脉冲数据转换为脉冲间隔，图2描述脉冲数据到脉冲间隔的转换过程。
[0067]
(2)其次要去除脉冲间隔序列中引起闪烁噪声的误差间隔。同理以t时刻像素(x,y)为例，如图3所示，假设该像素此时的脉冲间隔为误差间隔和该误差间隔对应的kmax时刻的脉冲间隔一定为正常脉冲间隔，且误差间隔与正常脉冲间隔之间存在不超过一个帧时间的误差，因此它们之间满足如下关系：
[0068][0069]
另外，由图3可以看出，误差间隔持续时间等于它本身所对应的脉冲间隔数，因此和它对应的kmin t时刻的脉冲间隔也为正常脉冲间隔，而且由于误差间隔得波动性，kmin t时刻的脉冲间隔和kmax时刻的脉冲间隔相等，即它们之间满足如下关系：
[0070][0071]
因此该像素此时的脉冲间隔如果满足式(3)和式(4)，可以判断此脉冲间隔为误差间隔。然后可以利用与它对应的正常脉冲间隔替代误差间隔如下所示：
[0072][0073]
这样通过式子(3)、(4)、(5)，就可以完成对运动前景像素的原始脉冲间隔序列中的误差间隔的校正。
[0074]
(3)然后需要找出脉冲间隔序列中引起高速图像拖尾的滞后间隔。同样以t时刻的像素(x,y)的脉冲间隔为例，如图4所示，假设该像素的此时的脉冲间隔为滞后间隔与滞后间隔对应的kmax时刻的脉冲间隔和kmin t时刻的脉冲间隔为正常的脉冲间隔，且它们满足如下关系：
[0075][0076]
其中为正常间隔与滞后间隔之间的最小差值，而的值一般高于一个帧时间t。如图4，假定高光强产生的脉冲间隔为ne，低光强产生的脉冲间隔为nb，而滞后间隔是由高光强导致的脉冲间隔和低光强导致的脉冲间隔组成，因此假设在产生的滞后间隔中高光强所占的部分为ne，低光强所占的部分为nb，则滞后间隔满足：
[0077]
[0078]
如果在滞后间隔所在的积分时间段内，高光强变为低光强，即对应于图4(a)所示的情况，那么滞后间隔小于它所对应的kmin t时刻的脉冲间隔且可以求出高光强下脉冲间隔ne和低光强下脉冲间隔nb：
[0079][0080]
另外，图4(a)中显示滞后间隔的持续时间等于它本身所对应的值，而正常的脉冲间隔持续时间一般高于它本身所对应的值，即正常脉冲间隔满足如下不等式：
[0081][0082]
另一方面，如果在滞后间隔所在的积分时间段内，低光强变为高光强，对应于图4(b)所示的情况，那么滞后间隔必然大于它所对应的kmin t时刻的脉冲间隔且可以求出高光强下脉冲间隔ne和低光强下脉冲间隔nb：
[0083][0084]
同样，图4(b)中显示滞后间隔的持续时间等于它本身所对应的值，而正常的脉冲间隔持续时间高于它本身所对应的值，即正常脉冲间隔满足如下不等式：
[0085][0086]
因此如果该像素此时的脉冲间隔满足式(6)和(9)或者满足式(6)和(11)，就可以判断该像素此时的脉冲间隔为滞后间隔。
[0087]
(4)再之后需要校正前面找到的滞后间隔假定此时的高光强大小为低光强大小为由脉冲图像传感器的原理可以得到：
[0088][0089]
其中k
lux
为光电转换系数，q
ref
为参考电荷。结合式(7)，可以求出滞后间隔中ne和nb的值，如下所示：
[0090][0091]
然后可以通过使用该像素正常的脉冲间隔代替此时的滞后间隔即可，如下所示：
[0092][0093]
除此之外，由于在图像滞后区域中的每个像素的脉冲触发时间不同，那么它们的滞后间隔中高光强和低光强所占的比重必然也不相同，进而导致通过上述方法校正后的滞
后区域仍然会存留一些锯齿和椒盐噪声，为此还需要对校正后的滞后区域进行中值滤波，如下所示：
[0094][0095]
其中median代表中值滤波函数。
[0096]
(5)在完成误差间隔和滞后间隔的校正后，再利用双边滤波器需要去除脉冲间隔中的空间域和时间域噪声，如下所示：
[0097][0098]
其中滤波后的脉冲间隔，为经过误差间隔和滞后间隔校正后的脉冲间隔，w
p
为归一化系数，g
σs
为空域核，g
σr
为像素核，s为参与滤波的空间域，σs和σr为空域核和像素核的标准差。
[0099]
(6)利用处理后脉冲间隔进行图像重构，如下所示：
[0100][0101]
其中k为脉冲间隔到灰度值的转换系数，p
min
为脉冲间隔序列中的最小脉冲间隔。至此便完成了噪声、拖尾的去除以及场景图像的重构。图5显示了算法的整体流程。
[0102]
上述参数一般取3t～7t为宜，式(15)中一般采用以被滤波像素为中心的5
×
5大小的矩阵窗对滞后区域进行中值滤波，式(16)中参数一般采用以被滤波像素为中心5
×5×
5大小的矩阵窗序列进行双边滤波，而标准差σs和σr大小为5比较合适。图6为图像传感器拍摄的校正前和校正后的转轮成像图片以及它们的灰度直方图，可以看出，相比校正前，校正后图像表面更加平滑，许多噪声、高速图像拖尾被去除，成像质量得到了有效改善。说明了该方法对脉冲图像传感器的噪声和拖尾具有良好的校正效果。
[0103]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。