一种用于卷积神经网络的灰度图像序列特征提取方法与流程

1.本发明涉及视频图像处理技术领域，具体涉及一种用于卷积神经网络的灰度图像序列特征提取方法。


背景技术：

2.由于卷积神经网络的深度学习技术在图像分类、目标检测领域性能优异，国内外各科研机构提出了多重神经网络模型架构，其中负责特征提取的中间层的设计是卷积神经网络模型取得优异性能的关键。
3.目前在提取本帧图像的特征提取方面，主要通过逐层2d卷积、池化等操作完成，而在如何提取时域上的帧序列的图像特征方面，主要通过3d卷积进行。但是，对于探测得到的灰度图像来说，如何有效提取时域上帧序列的变化特征并与空间特征进行融合，是提升卷积神经网络模型在视频的帧序列上目标检测性能的关键。
4.同时，现有的卷积神经网络在使用卷积核对特征进行提取时，由于训练时的图像、视频都是正常的图像视频，只能够获取到关注于形态、结构特征的卷积核，而对于红外等手段获得的灰度图像来说，仅关注形态、结构特征是不足的，因为这类手段的感知本质是通过感知被测物体的热辐射从而获得灰度图像，当被测物体的能量不断变化时，比如物体突然被点燃、加热、着火或由于其移动导致反射太阳光情况不短变化、穿越云雾等情况，传统仅仅关注于形态、结构特征的卷积核的特征提取就不够准确全面，目标检测效果也不理想。


技术实现要素：

5.为了解决背景技术中提出的问题，本发明给出了一种用于卷积神经网络的灰度图像序列特征提取方法。
6.一种用于卷积神经网络的灰度图像序列特征提取方法，包括如下步骤：a.对灰度图像序列的第k帧及之前n
‑
1帧，共n帧灰度图像各自进行图像滤波，得到n个滤波图像；b.对n个滤波图像进行特征提取。
7.进一步地，步骤a中，进行图像滤波的方法为：a1：对于n帧灰度图像中的坐标为(x0,y0)的像素，以(x0,y0)为中心，选择其周边j
×
j大小的邻域作为处理范围，j为奇数，该范围记为ω，求取ω内所有像素的原始灰度值的均值，然后将该均值赋值给(x0,y0)，作为(x0,y0)的新的灰度值，(x0,y0)代表的像素为n帧灰度图像中的任一像素；a2：对于n帧灰度图像中的任一帧图像的最外圈像素来说，首先需要在最外圈像素的外侧补充宽度为(j
‑
1)/2的灰度值为0的像素，然后按a1所述的方法进行(x0,y0)灰度值的重新赋值。
8.进一步地，所述的邻域大小为3
×
3或5
×
5或7
×
7或9
×
9。
9.进一步地，在步骤b中对滤波图像进行特征提取时，对n个滤波图像进行时域上的特征提取，形成时域特征图。
10.进一步地，在步骤b中对滤波图像进行特征提取时，还对第k帧图像进行空域上的梯度特征提取，得到空域梯度特征图。
11.进一步地，时域特征图包括时域方差特征图、时域峰度特征图、时域斜度特征图。
12.进一步地，所述的时域方差特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的方差特征，得到时域方差特征图的步骤如下：首先，记第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取方差d(x0,y0)，
13.最终，将d(x0,y0)作为时域方差特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的方差特征组成的时域方差特征图。
14.进一步地，所述的时域峰度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的峰度特征，得到时域峰度特征图的步骤如下：首先，记第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取峰度k(x0,y0)，)，最终，将k(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
15.进一步地，所述的时域斜度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的斜度特征，得到时域斜度特征图的步骤如下：首先，记第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取斜度s(x0,y0)，)，最终，将k(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
16.进一步地，所述的空域梯度特征图的求取方法为：对于任一帧的最外圈像素，首先在最外圈像素外侧补充宽度为1个像素的一圈像素作为补充像素，补充像素的灰度值一致；对于任一帧的除补充像素外的任一像素(x0,y0)，记其灰度值为f(x0,y0)，(x0,y0)与周围8个像素的灰度值的差的绝对值记为其在某个方向上的梯度，得到8幅梯度特征图。
17.记(x0,y0)左上的像素坐标为(x0‑
1,y0‑
1)，其灰度记为f(x0‑
1,y0‑
1)。
18.记(x0,y0)上方的像素坐标为(x0,y0‑
1)，其灰度记为f(x0,y0‑
1)。
19.记(x0,y0)右上的像素坐标为(x0 1,y0‑
1)，其灰度记为f(x0 1,y0‑
1)。
20.记(x0,y0)右方的像素坐标为(x0 1,y0)，其灰度记为f(x0 1,y0)。
21.记(x0,y0)右下方的像素坐标为(x0 1,y0 1)，其灰度记为f(x0 1,y0 1)。
22.记(x0,y0)下方的像素坐标为(x0,y0 1)，其灰度记为f(x0,y0 1)。
23.记(x0,y0)左下方的像素坐标为(x0‑
1,y0 1)，其灰度记为f(x0‑
1,y0 1)。
24.记(x0,y0)左方的像素坐标为(x0‑
1,y0)，其灰度记为f(x0‑
1,y0)。
25.(x0,y0)与其左上的像素的梯度g
lu
＝|f(x0,y0)
‑
f(x0‑
1,y0‑
1)|、g
u
＝|f(x0,y0)
‑
f(x0,y0‑
1)|、g
ru
＝|f(x0,y0)
‑
f(x0 1,y0‑
1)|、g
r
＝|f(x0,y0)
‑
f(x0 1,y0)|、g
rd
＝|f(x0,y0)
‑
f(x0 1,y0 1)|、g
d
＝|f(x0,y0)
‑
f(x0,y0 1)|、g
ld
＝|f(x0,y0)
‑
f(x0‑
1,y0 1)|、g
l
＝|f(x0,y0)
‑
f(x0‑
1,y0)|。
26.本发明公开的技术方案可以应用于卷积神经网络模型中的输入层，也可以插入中间层，对中间层的处理过程进行优化。
27.与现有技术相比，本发明的有益效果为：针对红外得到的灰度图像序列，给出了一种与传统卷积输入层的简单图像输入不同的处理方式，由于目标检测时的背景能量基本一致，而目标的能量往往是变化的，因此，目标的能量发生变化时，传统的简单输入配合卷积核的处理方式往往不能识别目标的变化，不能够较为准确地识别目标，而本发明的技术方案通过增加时域特征的提取，使得后续的目标检测能够更好地识别能量发生变化的区域，进而能够较好地捕捉能量发生变化的区域、目标，另外，相对于3d卷积核需要进行的在训练模型过程中给定的固定深度为n的大量运算，本发明的技术方案不需要进行3d卷积核的卷积，选取的可以分析的图像帧数可以灵活设置，时域特征图的种类、数量也可以灵活设置，运算效率更高，在突发火灾的识别、能量变化物体、飞行器目标的检测等方面也具有良好的应用效果。
具体实施方式
28.实施例1
29.一种用于卷积神经网络的灰度图像序列特征提取方法，包括如下步骤：a.对灰度图像序列的第k帧及之前n
‑
1帧，共n帧灰度图像各自进行图像滤波，得到n个滤波图像；b.对n个滤波图像进行特征提取。
30.进一步地，步骤a中，进行图像滤波的方法为：a1：对于n帧灰度图像中的坐标为(x0,y0)的像素，以(x0,y0)为中心，选择其周边j
×
j大小的邻域作为处理范围，j为奇数，该范围记为ω，求取ω内所有像素的原始灰度值的均值，然后将该均值赋值给(x0,y0)，作为(x0,y0)的新的灰度值，(x0,y0)代表的像素为n帧灰度图像中的任一像素；a2：对于n帧灰度图像中的任一帧图像的最外圈像素来说，首先需要在最外圈像素的外侧补充宽度为(j
‑
1)/2的灰度值为0的像素，然后按a1所述的方法进行(x0,y0)灰度值的重新赋值。
31.进一步地，所述的邻域大小为3
×
3或5
×
5或7
×
7或9
×
9。
32.进一步地，在步骤b中对滤波图像进行特征提取时，对n个滤波图像进行时域上的特征提取，形成时域特征图。
33.进一步地，在步骤b中对滤波图像进行特征提取时，还对第k帧图像进行空域上的梯度特征提取，得到空域梯度特征图。
34.进一步地，时域特征图包括时域方差特征图、时域峰度特征图、时域斜度特征图。
35.进一步地，所述的时域方差特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的方差特征，得到时域方差特征图的步骤如下：首先，记
第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取方差d(x0,y0)，
36.最终，将d(x0,y0)作为时域方差特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的方差特征组成的时域方差特征图。
37.进一步地，所述的时域峰度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的峰度特征，得到时域峰度特征图的步骤如下：首先，记第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取峰度k(x0,y0)，)，最终，将k(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
38.进一步地，所述的时域斜度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的斜度特征，得到时域斜度特征图的步骤如下：首先，记第k
‑
n 1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n 1
(x0,y0)、f
k
‑
n 2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值e(x0,y0)，随后，根据e(x0,y0)求取斜度s(x0,y0)，)，最终，将k(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
39.进一步地，所述的空域梯度特征图的求取方法为：对于任一帧的最外圈像素，首先在最外圈像素外侧补充宽度为1个像素的一圈像素作为补充像素，补充像素的灰度值一致；对于任一帧的除补充像素外的任一像素(x0,y0)，记其灰度值为f(x0,y0)，(x0,y0)与周围8个像素的灰度值的差的绝对值记为其在某个方向上的梯度，得到8幅梯度特征图。
40.记(x0,y0)左上的像素坐标为(x0‑
1,y0‑
1)，其灰度记为f(x0‑
1,y0‑
1)。
41.记(x0,y0)上方的像素坐标为(x0,y0‑
1)，其灰度记为f(x0,y0‑
1)。
42.记(x0,y0)右上的像素坐标为(x0 1,y0‑
1)，其灰度记为f(x0 1,y0‑
1)。
43.记(x0,y0)右方的像素坐标为(x0 1,y0)，其灰度记为f(x0 1,y0)。
44.记(x0,y0)右下方的像素坐标为(x0 1,y0 1)，其灰度记为f(x0 1,y0 1)。
45.记(x0,y0)下方的像素坐标为(x0,y0 1)，其灰度记为f(x0,y0 1)。
46.记(x0,y0)左下方的像素坐标为(x0‑
1,y0 1)，其灰度记为f(x0‑
1,y0 1)。
47.记(x0,y0)左方的像素坐标为(x0‑
1,y0)，其灰度记为f(x0‑
1,y0)。
48.(x0,y0)与其左上的像素的梯度g
lu
＝|f(x0,y0)
‑
f(x0‑
1,y0‑
1)|、g
u
＝|f(x0,y0)
‑
f(x0,y0‑
1)|、g
ru
＝|f(x0,y0)
‑
f(x0 1,y0‑
1)|、g
r
＝|f(x0,y0)
‑
f(x0 1,y0)|、g
rd
＝|f(x0,y0)
‑
f(x0 1,y0 1)|、g
d
＝|f(x0,y0)
‑
f(x0,y0 1)|、g
ld
＝|f(x0,y0)
‑
f(x0‑
1,y0 1)|、g
l
＝|f(x0,y0)
‑
f(x0‑
1,y0)|。