一种样本扩充方法、系统、存储介质及电子设备与流程

1.本发明涉及数据处理技术领域，特别是涉及一种样本扩充方法、系统、存储介质及电子设备。


背景技术：

2.在利用机器学习方法对数据进行分类、识别等处理时，需要依托大量数据样本才能实现模型的有效训练。然而，在雷达探测领域，要获取海量、真实的探测数据是非常具有挑战性的任务，因为雷达探测数据的收集过程更加依赖于专用探测设备，并在相对严格的数据处理流程下，才能获得有效数据样本。正是高精度的探测设备要求与复杂的数据处理流程，提高了获取雷达探测数据样本的门槛，雷达探测数据样本数量的不足极大地限制了机器学习技术在雷达探测领域的广泛应用。
3.除通过雷达实测方式获取数据样本外，目前常用样本扩充方法还包括基于数字仿真、半实物仿真的雷达数据获取方法，这两类方法虽然解决了数据样本不足问题，但无法保障数据样本的真实性。


技术实现要素：

4.本发明的目的是提供一种样本扩充方法、系统、存储介质及电子设备，能够在实现数据样本扩充的基础上，保证数据样本的真实性。
5.为实现上述目的，本发明提供了如下方案：
6.本发明提供一种样本扩充方法，包括：
7.获取实测的雷达图像样本；
8.以所述实测的雷达图像样本为输入，对生成对抗神经网络模型进行训练，得到训练好的模型；
9.采用所述训练好的模型进行雷达图像样本的扩充，得到合成的雷达图像样本。
10.可选的，在所述得到合成的雷达图像样本之后，所述方法还包括：
11.采用平滑标签标注方法，对所述合成的雷达图像样本进行标注，得到标注好的扩充样本。
12.可选的，在得到标注好的扩充样本之后，所述方法还包括：
13.将所述标注好的扩充样本和所述实测的雷达图像样本作为待处理雷达图像样本；所述待处理雷达图像样本用于目标分类或目标检测。
14.可选的，在所述获取实测的雷达图像样本之后，所述方法还包括：
15.采用反距离加权插值方法，对所述实测的雷达图像样本进行处理，得到处理后的雷达图像样本；
16.将所述处理后的雷达图像样本的每个像素值映射到预设区间范围内，得到归一化后的雷达图像样本。
17.可选的，所述以所述实测的雷达图像样本为输入，对生成对抗神经网络模型进行
训练，得到训练好的模型，具体包括：
18.获取第一随机向量；所述第一随机向量为符合正态分布的向量；
19.将所述第一随机向量输入所述生成对抗神经网络模型中的生成网络模型中，得到第一合成样本；
20.将所述第一合成样本和所述实测的雷达图像样本输入所述生成对抗神经网络模型中的判别网络模型中，得到所述第一合成样本的置信度；
21.根据所述第一合成样本的置信度和所述判别网络模型的损失函数，在所述生产网络模型参数不变的条件下，对所述判别网络模型的参数采用梯度下降法进行优化，得到优化后的判别网络模型参数；
22.在所述优化后的判别网络模型参数不变的条件下，根据所述生成网络模型的损失函数，对所述生成网络模型的参数采用梯度下降法进行优化，得到优化后的生成网络模型参数；
23.判断是否满足迭代终止条件；在不满足迭代终止条件时，更换所述第一合成样本和所述实测的雷达图像样本，然后返回步骤
″
将所述第一合成样本和所述实测的雷达图像样本输入所述生成对抗神经网络模型中的判别网络模型中，得到所述第一合成样本的置信度
″
；在满足迭代终止条件时，得到训练好的模型。
24.可选的，所述采用所述训练好的模型进行雷达图像样本的扩充，得到合成的雷达图像样本，具体包括：
25.获取第二随机向量；所述第二随机向量为符合正态分布的向量；
26.将所述第二随机向量输入所述训练好的模型中进行雷达图像样本的扩充，得到合成的雷达图像样本。
27.本发明还提供一种样本扩充系统，包括：
28.实测样本获取模块，用于获取实测的雷达图像样本；
29.模型训练模块，用于以所述实测的雷达图像样本为输入，对生成对抗神经网络模型进行训练，得到训练好的模型；
30.样本扩充模块，用于采用所述训练好的模型进行雷达图像样本的扩充，得到合成的雷达图像样本；所述合成的雷达图像样本为所述实测的雷达图像样本的扩充样本。
31.可选的，还包括：
32.标注模块，用于采用平滑标签标注方法，对所述合成的雷达图像样本进行标注，得到标注好的扩充样本。
33.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有程序，所述程序被处理器执行时实现上述的样本扩充方法。
34.本发明还提供一种电子设备，包括：
35.至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；
36.所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序指令，以执行上述的样本扩充方法。
37.与现有技术相比，本发明的有益效果是：
38.本发明提出了一种样本扩充方法、系统、存储介质及电子设备，该方法利用生成对抗神经网络模型对实测的雷达图像样本进行样本扩充；生成对抗神经网络模型能以无监督
学习的方式，获取实测的雷达图像样本隐含的特征分布信息，并具备合成新数据样本的能力，因此本发明能够在实现数据样本扩充的基础上，保证数据样本的真实性。
39.此外，针对雷达图像特征不显著问题，本发明还结合平滑标签标注方法，实现合成的雷达图像样本的自动标注。扩充的样本可视作正则化因子，有利于提升机器学习方法在雷达探测领域的广泛应用。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明实施例中样本扩充方法流程图；
42.图2为本发明实施例中合成孔径雷达数据扩充方法流程图；
43.图3为本发明实施例中生成对抗神经网络总体结构示意图；
44.图4为本发明实施例中生成网络模型结构示意图；
45.图5为本发明实施例中判别网络模型结构示意图；
46.图6为本发明实施例中样本扩充系统结构图；
47.图7为本发明实施例中电子设备示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.本发明的目的是提供一种样本扩充方法、系统、存储介质及电子设备，能够在实现数据样本扩充的基础上，保证数据样本的真实性。
50.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
51.实施例
52.本发明提供一种样本扩充方法，如图1所示，该方法包括：
53.步骤101：获取实测的雷达图像样本。
54.在步骤101之后，该方法还包括：
55.采用反距离加权插值方法，对实测的雷达图像样本进行处理，得到处理后的雷达图像样本；
56.将处理后的雷达图像样本的每个像素值映射到预设区间范围内，得到归一化后的雷达图像样本；预设区间范围为[0，1]。
[0057]
步骤102：以实测的雷达图像样本为输入，对生成对抗神经网络模型进行训练，得到训练好的模型。
[0058]
步骤102，具体包括：
[0059]
获取第一随机向量；第一随机向量为符合正态分布的向量；
[0060]
将第一随机向量输入生成对抗神经网络模型中的生成网络模型中，得到第一合成样本；
[0061]
将第一合成样本和实测的雷达图像样本输入生成对抗神经网络模型中的判别网络模型中，得到第一合成样本的置信度；
[0062]
根据第一合成样本的置信度和判别网络模型的损失函数，在生产网络模型参数不变的条件下，对判别网络模型的参数采用梯度下降法进行优化，得到优化后的判别网络模型参数；
[0063]
在优化后的判别网络模型参数不变的条件下，根据生成网络模型的损失函数，对生成网络模型的参数采用梯度下降法进行优化，得到优化后的生成网络模型参数；
[0064]
判断是否满足迭代终止条件；在不满足迭代终止条件时，更换第一合成样本和实测的雷达图像样本，然后返回步骤
″
将第一合成样本和实测的雷达图像样本输入生成对抗神经网络模型中的判别网络模型中，得到第一合成样本的置信度
″
；在满足迭代终止条件时，得到训练好的模型。其中，迭代终止条件为达到最大迭代次数。
[0065]
步骤103：采用训练好的模型进行雷达图像样本的扩充，得到合成的雷达图像样本；合成的雷达图像样本为实测的雷达图像样本的扩充样本。
[0066]
步骤103，具体包括：
[0067]
获取第二随机向量；第二随机向量为符合正态分布的向量；
[0068]
将第二随机向量输入训练好的模型中进行雷达图像样本的扩充，得到合成的雷达图像样本。
[0069]
在步骤103之后，方法还包括：
[0070]
采用平滑标签标注方法，对合成的雷达图像样本进行标注，得到标注好的扩充样本；
[0071]
对实测的雷达图像样本进行标注，得到标注好的实测样本；
[0072]
将标注好的扩充样本和标注好的实测样本作为待处理雷达图像样本；待处理雷达图像样本用于目标分类或目标检测。
[0073]
作为一种实施方式，对本发明提供的样本扩充方法进行进一步说明，如图2所示。
[0074]
在该实施方式中，是对合成孔径雷达数据的样本进行扩充。合成孔径雷达(sar)是一种高分辨率成像雷达，可以在能见度极低的气象条件下得到类似光学照相的高分辨雷达图像。合成孔径雷达数据不同于其他领域的数据获取方式，雷达探测数据的收集过程更加依赖于专用探测设备，并在相对严格的数据处理流程下，才能获得有效数据样本。正是高精度的探测设备要求与复杂的数据处理流程，提高了获取雷达探测数据样本的门槛，极大地限制了数据获取的源头。本发明针对雷达探测领域数据样本积累不足问题，基于生成对抗神经网络基本框架，构建了适用于合成孔径雷达的数据增广模型，实现数据样本扩充。
[0075]
基于生成对抗神经网络的合成孔径雷达数据增广方法，具体步骤为：
[0076]
第一步，对合成孔径雷达实测数据样本进行预处理，包括合成孔径雷达图像尺寸拉伸处理与回波信号值强度归一化处理。
[0077]
合成孔径雷达图像尺寸的拉伸为：运用反距离加权插值方法，将实测合成孔径雷达图像的尺寸统一调整为128
×
128像素，用i(x，y)表示合成孔径雷达实测数据样本，其中x
代表行，y代表列。
[0078]
回波信号值强度归一化处理为：将拉伸后的合成孔径雷达图像的每个像素值映射到[0，1]区间，具体计算方法如下式所示：
[0079]
s
real
(x，y)＝(i(x，y)
‑
min)/(max
‑
min)
[0080]
式中，max、min分别表示观测数据中的最大值、最小值；s
real
表示数据样本，即归一化后的合成孔径雷达图像。
[0081]
第二步，构建生成对抗神经网络模型。
[0082]
生成对抗神经网络模型包含两个子网络模型：生成网络模型(用g表示)与判别网络模型(用d表示)，并以图3所示的方式层级连接。
[0083]
生成网络模型：生成网络模型的输入是由正态分布n(0，1)产生的128维随机向量，表示对隐含空间上的数据分布进行采样。生成网络模型的目标是将隐含空间上的数据采样映射到雷达遥感图像数据所对应的高维空间。为了实现该映射过程，生成网络模型采用了6个层次化连接的反卷积结构。如图4所示，这6个反卷积结构分别用符号“decon1～decon6”表示，decon为反卷积结构，其中以符号“decon1～decon5”表示的前5个反卷积结构都各自包含三组基本操作：反卷积层、批次标准化层和基于relu函数的激活层。decon6反卷积结构包含两组操作：反卷积层和基于tanh函数的激活层。反卷积层decon1～decon6使用的卷积核尺寸均为：4
×
4，卷积核个数依次为：1024、512、256、128、64、1，卷积核移动步长依次为：1、2、2、2、2、2。生成网络模型的输出为具有单通道的雷达遥感合成图像。
[0084]
判别网络模型：如图5所示，判别网络模型同样包含6个层次化连接的基本结构，这其中的前5个结构为卷积结构，用符号“con1～con5”表示，con为卷积结构。每个卷积结构都包含三组基本操作：卷基层、批次标准化层和基于leaky
‑
relu函数的激活层。卷积层con1～con5使用的卷积核尺寸均为：4
×
4，卷积核个数依次为：64、128、256、512、1024，卷积核移动步长均为：2。第6个基本结构为全连接结构，用符号“fc”表示，它包含两组基本操作：全连接层和基于sigmoid函数的激活层。判别网络模型本质上是二分类器，它以雷达遥感图像数据作为输入，输出为(0，1)区间上的数值，以表示输入样本的置信度。当网络输出趋近于1时，说明网络将输入样本判定为真实数据，反之为假。
[0085]
第三步，以预处理后的合成孔径雷达实测数据作为训练样本，对生成对抗神经网络模型进行无监督对抗式训练，直至损失函数收敛。
[0086]
损失函数确定了生成网络模型与判别网络模型的优化目标。生成网络模型的损失函数用“l
g”表示，用于量化生成网络模型“欺骗”判别网络模型的能力。生成网络模型的损失函数l
g
为：
[0087]
l
g
＝log(1
‑
d(g(z)))
[0088]
式中，g(
·
)表示生成网络函数，d(
·
)表示判别网络函数。
[0089]
作为二分类器，判别网络模型的损失函数“l
d”包含两个部分：判别生成样本s
gen
的误差损失和判别真实样本s
real
的误差损失。损失函数l
d
被定义为：
[0090]
l
d
＝log(1
‑
d(s
real
)) log(d(g(z)))
[0091]
在进行对抗训练时，旨在通过无监督对抗式训练，优化生成网络模型与判别网络模型参数。对抗训练过程如下：
[0092]
随机初始化生成网络模型参数θ
g
与判别网络模型参数θ
d
；随机提取一个批次的雷
达数据样本s
gen
，生成一个批次的随机向量z；依据损失函数l
g
公式，用梯度下降法，优化参数θ
g
，同时保持参数θ
d
固定；依据损失函数l
d
公式，运用梯度下降法，优化参数θ
d
，同时保持参数θ
g
固定；重复上述步骤直至损失函数收敛。
[0093]
第四步，将训练好的生成模型，用于合成仿真的雷达图像样本。
[0094]
将正态随机数发生器输出的正态随机向量z输入训练好的生成网络模型，用于合成仿真的雷达图像样本s
gen
。
[0095]
第五步，采用平滑标签标注方法，对合成的雷达图像样本进行自动标注，实现雷达图像数据样本规模增广，得到的增广数据样本即为扩充样本。
[0096]
具体地，令k表示真实雷达图像数据集中目标类别的总数，则合成样本s
gen
的类别标注向量v
gen
可表示为v
gen
＝[1/k，1/k，l，l/k].标注后的合成数据样本，即为增广雷达图像数据样本。
[0097]
本发明通过构建生成对抗神经网络以自适应提取实测合成孔径雷达图像数据特征，并使神经网络模型具备合成新数据样本的能力，实现雷达图像数据样本增广扩充。针对合成孔径雷达图像特征不显著问题，还结合平滑标签标注方法，实现合成数据样本的自动标注。增广的数据样本，可视作正则化因子，提升机器学习模型在小规模雷达探测数据集上的训练效果。
[0098]
本发明还提供一种样本扩充系统，如图6所示，该系统包括：
[0099]
实测样本获取模块601，用于获取实测的雷达图像样本；
[0100]
模型训练模块602，用于以实测的雷达图像样本为输入，对生成对抗神经网络模型进行训练，得到训练好的模型；
[0101]
模型训练模块602，具体包括：
[0102]
第一随机向量获取单元，用于获取第一随机向量；所述第一随机向量为符合正态分布的向量；
[0103]
第一合成样本生成单元，用于将所述第一随机向量输入所述生成对抗神经网络模型中的生成网络模型中，得到第一合成样本；
[0104]
置信度生成单元，用于将所述第一合成样本和所述实测的雷达图像样本输入所述生成对抗神经网络模型中的判别网络模型中，得到所述第一合成样本的置信度；
[0105]
第一优化单元，用于根据所述第一合成样本的置信度和所述判别网络模型的损失函数，在所述生产网络模型参数不变的条件下，对所述判别网络模型的参数采用梯度下降法进行优化，得到优化后的判别网络模型参数；
[0106]
第二优化单元，用于在所述优化后的判别网络模型参数不变的条件下，根据所述生成网络模型的损失函数，对所述生成网络模型的参数采用梯度下降法进行优化，得到优化后的生成网络模型参数；
[0107]
判断单元，用于判断是否满足迭代终止条件；在不满足迭代终止条件时，更换所述第一合成样本和所述实测的雷达图像样本，然后返回步骤
″
将所述第一合成样本和所述实测的雷达图像样本输入所述生成对抗神经网络模型中的判别网络模型中，得到所述第一合成样本的置信度
″
；在满足迭代终止条件时，得到训练好的模型。
[0108]
样本扩充模块603，用于采用训练好的模型进行雷达图像样本的扩充，得到合成的雷达图像样本；合成的雷达图像样本为实测的雷达图像样本的扩充样本。
[0109]
样本扩充模块603，具体包括：
[0110]
第二随机向量获取单元，用于获取第二随机向量；所述第二随机向量为符合正态分布的向量；
[0111]
扩充单元，用于将所述第二随机向量输入所述训练好的模型中进行雷达图像样本的扩充，得到合成的雷达图像样本。
[0112]
本发明提供的样本扩充系统，还包括：
[0113]
第一标注模块，用于采用平滑标签标注方法，对合成的雷达图像样本进行标注，得到标注好的扩充样本。
[0114]
第二标注模块，用于对所述实测的雷达图像样本进行标注，得到标注好的实测样本。
[0115]
待处理雷达图像样本生成模块，用于将所述标注好的扩充样本和所述标注好的实测样本作为待处理雷达图像样本；所述待处理雷达图像样本用于目标分类或目标检测。
[0116]
数据预处理模块，用于在获取实测的雷达图像样本后，采用反距离加权插值方法，对所述实测的雷达图像样本进行处理，得到处理后的雷达图像样本；将所述处理后的雷达图像样本的每个像素值映射到预设区间范围内，得到归一化后的雷达图像样本；所述预设区间范围为[0，1]。
[0117]
对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0118]
本发明实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现上述样本扩充方法。
[0119]
本发明实施例提供了一种电子设备，如图7所示，电子设备70包括至少一个处理器701、以及与处理器701连接的至少一个存储器702、总线703；其中，处理器701、存储器702通过总线703完成相互间的通信；处理器701用于调用存储器702中的程序指令，以执行上述的样本扩充方法。本文中的电子设备可以是服务器、pc、pad、手机等。
[0120]
本技术还提供了一种计算机程序产品，当在数据处理设备上执行时，适于执行初始化有上述的样本扩充方法包括的步骤的程序。
[0121]
本技术是参照根据本技术实施例的方法、系统和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]
在一个典型的配置中，设备包括一个或多个处理器(cpu)、存储器和总线。设备还可以包括输入/输出接口、网络接口等。
[0123]
存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)，存储器包括至少一个存储芯片。存储器是计算机可读介质的示例。
[0124]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。
计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0125]
本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd
‑
rom、光学存储器等)上实施的计算机程序产品的形式。
[0126]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。还需要说明的是，术语
″
包括
″
、
″
包含
″
或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句
″
包括一个......
″
限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0127]
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0128]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。