一种基于WGAN的小样本地面慢速运动目标分类方法与流程

一种基于wgan的小样本地面慢速运动目标分类方法
技术领域
1.本发明属于雷达信号处理技术领域，尤其涉及基于韦氏距离生成式对抗网络(wasserstein generative adversarial network,wgan)的小样本地面慢速运动目标分类方法，用于提升地面慢速运动目标数据的数量和多样性，从而显著提高基于神经网络的小样本地面慢速运动目标分类算法性能。


背景技术：

2.地面慢速目标的检测和分类可应用在广场监视、机场场面监视、灾后救援、防恐处突、辅助医疗等军用和民用领域，具有重要的研究意义。行人与车辆目标是地面监视雷达的主要监视对象。
3.传统的基于手动提取特征的分类方法依赖于先验知识，只能针对特定的应用场景，普适性低。深度学习算法通常需要丰富的数据进行支撑，而数据的丰富性不仅体现在数量，同时体现在多样性，二者缺一不可。在现实应用场景中，标记训练数据总是稀少的，因此深度学习算法很容易发生过拟合问题。因此，需要对样本进行增强和扩充。传统的数据增强方法包括仿射变换、滑窗和加噪等。bjerrum等人提出了基于仿射变换的数据增强方法，通过对样本图像进行放大、缩小、平移、旋转以实现生成类似样本，将原始样本和新样本混合作为训练集输入到神经网络中，训练完成后模型的分类误差控制在0.35％以下。它们对原有数据进行某种变换，并没有研究数据的内在分布，因此，所生成的数据与原有数据相比相差不大，没有显著提升数据的多样性。另一种数据增强思路是采用生成模型对其内在分布进行学习，能够同时提升数据的数量和多样性。等人在小样本情况下利用自编码器进行网络参数的初始化，再利用卷积网络对辅助和非辅助的行人室内运动进行分类，获得了较好的结果。但该方法具有不稳定性，也会出现难以收敛的情况。goodfellow等人在2014年提出了生成式对抗网络(generative adversarial network,gan)。它是一种生成式模型，通过生成器和判别器的博弈过程，最终达到纳什均衡，生成与原图像特征相似但不相同的新的图像。但gan存在收敛不稳定，容易出现样本相似性大的问题。


技术实现要素：

4.针对现有技术中存在的问题，本发明的目的在于提供一种基于wgan的小样本地面慢速运动目标分类方法，本发明构建了基于实测数据的地面慢速运动目标时频谱图数据库，引入wgan技术，对地面慢速目标的时频谱图样本进行扩充，提高数据库的丰富性，可弥补神经网络用于目标分类时由于样本数量稀少、特征单一而可能发生的过拟合或算法效果不佳的问题，为基于神经网络的小样本地面慢速目标分类奠定了一定的基础。
5.本发明的技术原理是：首先，基于实测数据利用短时傅里叶变换方法，构建了地面慢速运动目标时频谱图样本库；其次，引入wgan技术对地面慢速目标的时频谱图样本库进行扩充；最后，将原始样本库分成训练集和测试集，新生成的样本均放入训练集，引用vggnet进行网络训练至网络收敛，得到分类模型，在测试集中利用分类模型进行地面慢速
运动目标的分类。
6.为了达到上述目的，本发明采用以下技术方案予以实现。
7.一种基于wgan的小样本地面慢速运动目标分类方法，包括以下步骤：
8.步骤1，基于地面慢速运动目标回波数据，利用短时傅里叶变换方法，构建地面慢速运动目标时频谱图样本库；
9.步骤2，引入wgan技术对地面慢速目标的时频谱图样本库进行扩充，得到扩充后的样本；
10.步骤3，将原始样本库分成训练集和测试集，将所述扩充后的样本放入所述训练集中，采用vggnet进行网络训练至模型收敛，得到分类模型；在所述测试集中利用所述分类模型进行地面慢速运动目标的分类。
11.本发明技术方案的特点和进一步的改进为：
12.(1)步骤1具体为：
13.短时傅里叶变换通过时间滑窗，计算每个时间窗内信号的傅里叶变换，得到变换后的时频谱信号s(t,f)：
14.s(t,f)＝∫z(t)ω(t
‑
τ)exp(
‑
j2πfτ)dτ
15.其中，t为时间，f为频率，ω(t)为窗函数，τ为窗函数的长度，z(t)为所要分析的连续信号，j表示复数的虚部；
16.在工程应用中，采用变换后的时频谱信号s(t,f)的离散形式s(a,b)为：
[0017][0018]
其中，k为离散采样点，z(k)为待分析信号的离散形式，t为时间采样间隔，f为频率采样间隔，a为时间采样，b为频率采样，ω(k)为窗函数的离散形式；
[0019]
信号的时频谱图为s(a,b)模的平方，其表达式为：
[0020]
spec(a,b)＝|s(a,b)|2。
[0021]
(2)步骤2具体包含以下子步骤：
[0022]
子步骤2.1，构建基于wgan的地面慢速运动目标样本扩充网络；
[0023]
子步骤2.2，利用地面慢速运动目标时频谱图样本训练所述基于wgan的地面慢速运动目标样本扩充网络，并生成扩充后的样本。
[0024]
(3)子步骤2.1中，所述wgan的主要结构分为判别器和生成器两部分，生成器用于捕捉真实地面慢速目标时频谱图的分布模型，然后利用捕获的分布模型生成新的数据样本；判别器是一个二值分类器，用于判别输入是真实数据还是生成的数据；所述判别器和所述生成器均由深度卷积网络构成。
[0025]
(4)子步骤2.2中，所述wgan在进行网络训练时，引入wasserstein距离来衡量生成数据分布和真实数据分布之间的差异；其中，wasserstein距离如下：
[0026][0027]
其中，p
r
表示真实分布，p
g
表示生成分布，∏(p
r
,p
g
)表示分布p
r
和p
g
组合起来的所有可能的联合分布的集合；对于每一个可能的联合分布η而言，可以从中采样(x,y)～η得到一个真实样本x和一个生成样本y，并计算出该对样本的距离||x
‑
y||；因此，可以计算该联
合分布η下样本对距离的期望值e
(x,y)～η
[||x
‑
y||]；在所有可能的联合分布中，该期望值的下界为并定义为wasserstein距离；
[0028]
由于无法直接求解，可以对其变换形式进行求解，即，
[0029][0030]
其中，f
w
表示判别器，w为判别器的网络参数，||f
w
||
l
为f
w
的lipschitz常数，和分别表示判别器在真实样本分布和生成样本分布上的期望；
[0031]
在f
w
的lipschitz常数||f
w
||
l
不超过k的情况下，对所有满足条件的f
w
取上界的1/k；对于连续函数f
w
，||f
w
||
l
的定义为，存在一个常数c使得f
w
定义域内的任意两个元素x1和x2均满足
[0032]
|f
w
(x1)
‑
f
w
(x2)|≤c|x1‑
x2|
[0033]
则f
w
对应的||f
w
||
l
为c；
[0034]
对于条件||f
w
||
l
<k，只需k不是正无穷即可，并不关心它的具体数值；因此，限制判别器f
w
的所有参数w不超过某个范围[
‑
c,c]，此时也不会超过某个范围，则一定存在某个常数k能够满足||f
w
||
l
<k；
[0035]
因此，设置判别器和生成器的损失函数分别为，
[0036][0037][0038]
判别器损失函数的反即为p
r
与p
g
的wasserstein距离的近似值。
[0039]
与现有技术相比，本发明的有益效果为：
[0040]
(1)本发明引入wgan技术对地面慢速目标的时频谱图样本进行扩充，解决了小样本条件下深度学习方法用于地面慢速目标分类精度不理想的问题。
[0041]
(2)本发明解决了gan用于地面慢速目标分类时训练不稳定的问题，不再需要平衡生成器和判别器的训练程度，并且在实现生成样本的多样性的同时确保了生成器图像的质量。
附图说明
[0042]
下面结合附图和具体实施例对本发明做进一步详细说明。
[0043]
图1为本发明一种基于wgan的小样本地面慢速目标分类方法的流程图；
[0044]
图2为本发明一种实施例所构建的wgan判别器网络结构示意图；
[0045]
图3为本发明一种实施例所构建的wgan生成器网络结构示意图；
[0046]
图4为本发明一种实施例所构建的vggnet结构示意图；
[0047]
图5为本发明一种实施例所构建的地面慢速运动目标时频谱图数据库示意图；其中，(a)为行人时频谱图；(b)为车辆时频谱图；
[0048]
图6为本发明一种实施例所构建的wgan生成的地面慢速运动目标时频谱图样本示
意图；其中(a)为生成的行人时频谱图；(b)为生成的车辆时频谱图；
[0049]
图7为本发明一种实施例所用于对比的dcgan生成的地面慢速运动目标时频谱图样本示意图；其中(a)为生成的行人时频谱图；(b)为生成的车辆时频谱图；
[0050]
图8为本发明一种实施例所进行的分类实验结果图；(a)为实验1的实验结果，(b)为实验2的实验结果。
具体实施方式
[0051]
下面将结合实施例对本发明的实施方案进行详细描述，但是本领域的技术人员将会理解，下列实施例仅用于说明本发明，而不应视为限制本发明的范围。
[0052]
参考图1，本发明提供的一种基于wgan的小样本地面慢速目标分类方法，包括以下步骤：
[0053]
步骤1，基于地面慢速运动目标回波数据，利用短时傅里叶变换方法，构建地面慢速运动目标时频谱图样本库。
[0054]
具体的，短时傅里叶变换(stft)通过时间滑窗，计算每个时间窗内信号的傅里叶变换(ft)，即可得到信号的二维时频分布。stft的定义为：
[0055]
s(t,f)＝∫z(t)ω(t
‑
τ)exp(
‑
j2πfτ)dτ
[0056]
其中，t为时间，f为频率，ω(t)为窗函数，τ为窗函数的长度，z(t)为所要分析的连续信号，s(t,f)为变换后的时频谱信号，j表示复数的虚部。
[0057]
在工程应用中，采用其离散形式为：
[0058][0059]
其中，k为离散采样点，z(k)为待分析信号的离散形式，t为时间采样间隔，f为频率采样间隔，a为时间采样，b为频率采样，ω(k)为窗函数的离散形式。
[0060]
信号的时频谱图为stft模的平方，其表达式为：
[0061]
spec(a,b)＝|s(a,b)|2[0062]
步骤2，引入wgan技术对地面慢速目标的时频谱图样本库进行扩充。
[0063]
具体的，步骤2包含以下子步骤：
[0064]
子步骤2.1，构建基于wgan的地面慢速运动目标样本扩充网络。
[0065]
wgan的主要结构分为判别器和生成器两部分，生成器用于捕捉真实地面慢速目标时频谱图的分布模型，然后利用捕获的分布模型生成新的数据样本。判别器是一个二值分类器，它判别输入是真实数据还是生成的数据。二者均由深度卷积网络构成。有三个深度卷积网络中常用的概念：
[0066]
(1)批归一化(batch normalization,bn)
[0067]
具体实施方式为
[0068][0069]
[0070][0071][0072]
其中，s为批大小，x
i
为输入特征图，μ
b
、分别为x
i
的均值和方差，ε为避免除数为0时使用的微小正数，为归一化后的输入，γ和β是两个可学习的重构系数，bn
γ,β
为bn层函数，y
i
为bn层的训练样本输出。当网络训练收敛后，记录μ
b
、和重构系数γ、β的取值，在测试时设测试样本为x，bn层对测试样本的输出为y，则
[0073][0074]
其中，e[x]
←
e
b
[μ
b
]，e
b
[μ
b
]和代表μ
b
和的期望。即使用μ
b
的均值作为当前测试样本的均值e[x]，使用的无偏估计作为当前测试样本的方差var[x]。
[0075]
(2)leakyrelu激活函数
[0076]
leakyrelu具体计算方法为
[0077][0078]
在本发明构建的wgan网络中，leak将取为0.2。
[0079]
(3)转置卷积
[0080]
转置卷积的具体实施方式为，对输入特征图的元素进行等间隔的补零操作，然后对其进行卷积，同时，设置转置卷积中的卷积核个数小于原特征图的通道数。
[0081]
本发明构建的wgan的判别器网络结构如附图2所示。判别器的输入维度为[256,256,1]。经过5个卷积层，输出维度为[8,8,128]，其中，每个卷积层使特征图的长和宽变为原来的1/2，使特征图的通道数加倍。之后，通过矩阵重排将该特征图重排为一维特征向量，长度为8192。最后，经过一个全连接层将该特征向量映射为一个连续值并为判别器添加梯度剪裁的结构。
[0082]
本发明构建的wgan的生成器网络结构如附图3所示。生成器的输入为100维噪声向量，首先，通过全连接将该特征向量映射为8192维的特征向量。其次，通过矩阵重排，将该特征重排为张量结构，单个样本的维度为[4,4,512]。之后，通过5个转置卷积层后形成维度为[128,128,16]的特征图，其中，每个转置卷积层使特征图长和宽变为原来的2倍，使特征图的通道数变为原来的1/2。最后通过一个转置卷积将特征图的维度与真实样本的维度变为一致，再经过tanh进行非线性激活(tanh(z)＝(e
z
‑
e
‑
z
)/(e
z
e
‑
z
)，e代表自然常数，z代表输入特征图)，从而构成生成器最终的输出。
[0083]
子步骤2.2，利用地面慢速运动目标时频谱图样本训练wgan，并生成扩充后的地面慢速运动目标时频谱图样本库。
[0084]
具体的，wgan在进行网络训练时，引入wasserstein距离来衡量生成数据分布和真
实数据分布之间的差异。因此，在设置wgan的生成器和判别器的损失函数之前，首先说明wasserstein距离。
[0085]
wasserstein距离又叫earth
‑
mover(em)距离，定义如下：
[0086][0087]
其中，p
r
表示真实分布，p
g
表示生成分布，∏(p
r
,p
g
)表示分布p
r
和p
g
组合起来的所有可能的联合分布的集合。对于每一个可能的联合分布η而言，可以从中采样(x,y)～η得到一个真实样本x和一个生成样本y，并计算出该对样本的距离||x
‑
y||。因此，可以计算该联合分布η下样本对距离的期望值e
(x,y)～η
[||x
‑
y||]。在所有可能的联合分布中，该期望值的下界为并定义为wasserstein距离。由于无法直接求解，可以对其变换形式进行求解，即，
[0088][0089]
其中，f
w
表示判别器，w为判别器的网络参数，||f
w
||
l
为f
w
的lipschitz常数，和分别表示判别器在真实样本分布和生成样本分布上的期望。上式的解释为，在f
w
的lipschitz常数||f
w
||
l
不超过k的情况下，对所有满足条件的f
w
取上界的1/k。对于连续函数f
w
，||f
w
||
l
的定义为，存在一个常数c使得f
w
定义域内的任意两个元素x1和x2均满足
[0090]
|f
w
(x1)
‑
f
w
(x2)|≤c|x1‑
x2|
[0091]
则f
w
对应的||f
w
||
l
为c。
[0092]
对于条件||f
w
||
l
<k，只需k不是正无穷即可，并不关心它的具体数值。因此，限制判别器f
w
的所有参数w不超过某个范围[
‑
c,c]，此时也不会超过某个范围，则一定存在某个常数k能够满足||f
w
||
l
<k。
[0093]
因此，设置判别器和生成器的损失函数分别为，
[0094][0095][0096]
判别器损失函数的反即为p
r
与p
g
的wasserstein距离的近似值。
[0097]
由上述分析可知，本发明使用wgan用于样本扩充，wgan引入的wasserstein距离比起其他散度有着更好的衡量准则。当两个分布即使重叠很小或者根本不存在重叠时，wasserstein距离也能够衡量二者的远近。在进行网络训练时，在近似最优判别器下优化生成器使得wasserstein距离缩小，从而有效拉近生成分布与真实分布。
[0098]
步骤3，将原始样本库分成训练集和测试集，步骤2中新生成的样本均放入训练集，采用vggnet进行网络训练至模型收敛，得到分类模型，在测试集中利用分类模型进行地面慢速运动目标的分类。
[0099]
将原始样本库划分为两部分，用于训练wgan的实测样本作为第一部分，剩余实测
样本作为第二部分。设置两个实验组：第一个实验组使用第一部分原始样本作为训练集，第二部分样本作为测试集；第二个实验组使用第一部分原始样本和wgan生成样本共同作为训练集，第二部分样本作为测试集。
[0100]
分别进行上述两个实验，采用vggnet进行地面慢速运动目标分类，vggnet的网络结构如附图4所示。网络具有5段卷积(每段包含2或3个卷积层，均进行relu激活)，每段卷积后进行一次最大池化。之后，将特征图进行重排，形成一维特征向量，进行4层全连接，前三层全连接后进行relu激活，最后一层全连接输出的特征向量维度为2。最后，使用softmax分类器输出最终的类别概率。
[0101]
实验
[0102]
针对以上本发明的具体实施方法，利用实测雷达数据进行本发明的方法验证：
[0103]
1、构建地面慢速运动目标时频谱图样本库
[0104]
本发明所设实验使用的实测数据包含行人和车辆两类样本，实验设置和数据集参数如表1所示。
[0105]
表1实测地面慢速目标数据参数
[0106][0107]
本发明所设实验对实测地面慢速运动目标数据进行stft，并得到其时频谱图样本库。实验得到的样本总数为351，包含173个车辆目标的时频谱图和128个行人目标的时频谱图。
[0108]
实例性的，如附图5所示，为本发明所设实验利用实测地面慢速运动目标数据获得的时频谱图，(a)为行人的时频谱图，(b)为车辆的时频谱图。
[0109]
2、利用所建wgan网络对上述时频谱图样本进行扩充
[0110]
本发明所设实验在进行wgan网络训练时的网络参数如表2所示：
[0111]
表2 wgan网络训练参数
[0112][0113]
当生成器和判别器的对抗学习达到收敛后，对生成器输入噪声向量，并对生成分布进行采样，获得生成样本，如附图6所示，(a)为实测行人目标样本库的wgan生成器采样，(b)为实测车辆目标样本库的wgan生成器采样。附图7所示为利用dcgan方法生成的地面慢速目标时频谱图样本，与附图5相比，由dcgan生成的时频谱图背景噪声较为严重。
[0114]
为了进一步评估wgan扩充数据集的质量，利用图像评估指标，对由wgan生成的地面慢速运动目标时频谱图的图像质量进行评估；其中，图像质量评价指标包括：均值、方差、信息熵、动态范围、模糊线性指数、平均梯度、均方差和灰度差。
[0115]
(1)均值
[0116]
图像的均值(mean)表明图像总体能量的大小。设图像i的大小为m
×
n，其定义为：
[0117][0118]
其中，i(m,n)代表图像(m,n)处的灰度值。
[0119]
(2)方差
[0120]
方差(variance)衡量了样本相对均值的偏离程度，方差越大表明样本的数据分布越不均匀，其定义为：
[0121][0122]
(2)信息熵
[0123]
信息熵(entropy)可表示图像的信息量，同时反映图像的聚焦程度，其表达式为:
[0124][0125]
其中，p
mn
为图像上像素点i(m,n)的概率值。信息熵越小，图像越聚焦。
[0126]
(4)动态范围
[0127]
动态范围(dyzone)为灰度图像最大值与最小值之比，其对数表达形式为
[0128][0129]
其中，i
max
和i
min
分别为灰度图像的最大值和最小值。动态范围越大，图像对比度越大。
[0130]
(5)模糊线性指数
[0131]
模糊线性指数(linear index of fuzziness,lif)用于描述图像的模糊程度。其定义是
[0132][0133][0134]
lif越小，图像越清晰。
[0135]
(6)平均梯度
[0136]
平均梯度(average gradient,ag)可定义为
[0137][0138]
其中，和分别表示图像水平和竖直方向的梯度。ag越大，图像的边缘细节越清晰。
[0139]
(7)均方差
[0140]
图像的均方差(mean square deviation,msd)表示图像像素值的波动程度。
[0141]
其定义为
[0142][0143]
msd越大，表示图像越干净。
[0144]
(8)灰度差
[0145]
图像的灰度差(gray level difference,gld)可描述图像中感兴趣的目标区域的边缘清晰度。其定义为
[0146][0147]
gld越大，表明图像边缘越清晰。
[0148]
分别计算wgan生成样本和dcgan生成样本的上述图像评估指标，表3给出了基于行人和车辆实测数据的dcgan和wgan图像评价指标偏离原始数据集评价指标的方差，以衡量二者生成图像分布相比原始图像分布的差异。各项指标的数值越小，说明生成图像和原始图像的统计分布越接近。
[0149]
表3 dcgan与wgan评价指标相对原始数据集的方差
[0150]
[0151]
由表3可以看出：(1)在行人数据集中，本发明的wgan方法在lif指标上略高于dcgan，其它指标都更接近原始数据。(2)在车辆数据集中，本发明的wgan方法在mean和lif指标上高于dcgan，其它指标都更接近原始数据。(3)综合行人和车辆数据集，本发明的wgan方法的评价指标普遍优于dcgan。
[0152]
3、地面慢速运动目标的分类实验
[0153]
根据本发明具体实施步骤3中的数据集划分方式设置对比试验，在完成每一个轮次的训练时，记录网络在训练集上的分类精度，如附图8所示。由图可知，实验1在训练了约50个epoch后趋于基本平稳，且前期训练出现震荡和不稳定的情况，而实验2在训练了3个epoch后达到稳定，且前期处于稳步上升状态，训练比较稳定。在测试中，实验1的分类精度为95.31％，实验2的分类精度为96.25％。进一步验证了本发明通过wgan进行样本扩充后，提高了网络对于地面慢速运动目标的分类性能。进一步验证了本发明通过wgan进行样本扩充后，提高了网络对于地面慢速运动目标的分类性能。
[0154]
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。