一种基于迁移学习的多波束海底沉积层类型的估计方法及系统与流程

1.本发明属于水声物理、海底探测技术领域，具体地说，涉及一种基于迁移学习的多波束海底沉积层类型的估计方法及系统。


背景技术：

2.深入了解海底沉积物的物理特性及空间分布对海底资源勘测、海洋环境监测、海底工程建设等活动具有重要的意义。利用多波束测深声纳的声学遥感方法，可采集得到较大区域范围内的海底反向散射强度数据，并利用不同沉积层类型下反向散射强度数据随声波入射角变化而呈现不同的角度响应关系这一特性，对海底沉积层的类型进行估计。
3.近年来，基于数据驱动的神经网络方法因其强大的非线性特征映射能力，逐渐应用到利用多波束角度响应关系的海底底质分类中来。这种基于某一区域数据的神经网络方法，可以取得较好的特征提取与模型预测效果。但是，该方法具有较为明显的数据依赖性，即将在某一海域条件下，将已训练好的神经网络模型应用于另一海域时，因受不同海域环境的影响，会存在模型泛化性能下降、预测精度降低的问题。


技术实现要素：

4.本发明的目的在于，为解决现有技术存在上述缺陷，本发明提出了一种基于迁移学习的多波束海底沉积层类型的估计方法，利用神经网络进行海底底质分类问题，为提高在不同海域上的底质预测精度及神经网络模型的泛化性能。
5.本发明提供的一种基于迁移学习的多波束海底沉积层类型的估计方法，该方法包括：
6.将目标海域测线上的多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型的部分网络节点参数进行微调，获得修正后的神经网络模型；
7.将实时接收的目标海域测线上的多波束回波强度数据输入至修正后的神经网络模型，输出多波束海底沉积层类型，实现多波束海底沉积层类型的估计。
8.作为上述技术方案的改进之一，所述深度卷积神经网络模型和修正后的神经网络模型为11层结构，其具体包括：
9.输入层，用于接收实时接收的目标海域测线上的多波束回波强度数据；
10.3个卷积层，第一级卷积层连接输入层；
11.3个池化层，每个池化层连接对应的卷积层；
12.2个全连接层，第一全连接层连接池化层，第二全连接层连接对应的第一全连接层；
13.soft-max层，连接第二全连接层；
14.分类输出层，连接soft-max层，并用于输出分类结果；
15.其中，每一级卷积层均采用relu激活函数进行数据非线性变化以及bn白化操作进行数据归一化；
16.输入层输入实时接收的多波束回波强度数据；分类输出层输出多波束海底沉积层类型。
17.作为上述技术方案的改进之一，所述深度卷积神经网络模型的训练步骤具体包括：
18.将已知海域测线上三种底质类型下的多波束回波强度数据，即粘土质粉砂、砂质粉砂和粉砂，作为训练集数据；
19.通过反向传播算法对代价损失函数用寻优算法进行迭代优化求极小值；以均方误差mse函数为代价损失函数；利用动量驱动的随机梯度下降优化算法；
20.深度卷积神经网络模型的训练过程分为两个阶段：
21.第一个阶段是数据由低次层向高次层传播的前向传播阶段；将训练集数据作为输入数据，并将其依次经过卷积层、池化层、全连接层、softmax层及分类输出层后，代价函数将计算当前网络输出值与目标值之间的误差的误差值；
22.若该误差值大于预先设定的期望误差阈值，则进入第二个阶段：反向传播阶段；
23.将该误差值传回深度卷积神经网络模型，由高次层向低次层方向根据动量驱动的随机梯度下降优化算法，依次计算梯度，重新更新各层网格节点的权值与偏置参数；当最终误差的误差值等于或小于预先设定的期望误差阈值时，训练过程结束，深度卷积神经网络模型预训练阶段完成；其中，网络训练初始学习率设为0.001。
24.作为上述技术方案的改进之一，所述将目标海域测线上的多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型模型的部分网络节点参数进行微调，获得修正后的神经网络模型；具体为：
25.将目标海域测线上的多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型；同时保持深度卷积神经网络模型中包含输入层、三个卷积层和三个池化层的前七层的网络节点中已经训练好的权值与偏置参数不变，仅通过迁移数据来重新训练深度卷积神经网络模型中包含2个全连接层、softmax层和分类输出层的后四层的网络节点的连接权值与偏置参数，实现该深度神经网络模型的部分网络节点参数的微调，获得修正后的神经网络模型。
26.本发明还提供了一种基于迁移学习的多波束海底沉积层类型的估计系统，该系统具体包括：
27.迁移模块，用于将目标海域测线上多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型模型的部分网络节点参数进行微调，获得修正后的神经网络模型；和
28.估计模块，用于将实时接收的目标海域测线上的多波束回波强度数据输入至修正后的神经网络模型，输出多波束海底沉积层类型。
29.本发明还提供了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述的方法。
30.本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行所述的方法。
31.本发明与现有技术相比的有益效果是：
32.(1)通过对要预测环境中少量数据集的迁移，可达到较好的训练效果，使最终训练模型具有更好的泛化性能和更高的预测精度；
33.(2)对于预先训练好的网络，只需要再用少量的迁移数据微调网络中少数几层的参数即可。这一过程用时短，可快速将已经训练过的网络特征迁移到新的训练数据集中，满足实际应用实时处理的需求。
附图说明
34.图1是本发明的一个具体实施例中的两次试验走航式测量的航线轨迹和海底沉积层类型分布示意图；
35.图2(a)是本发明的一个具体实施例中的试验一航线(e1—>e1)里某一ping样本数据的展示图；
36.图2(b)是本发明的一个具体实施例中的试验二航线(a—>b)里某一ping样本数据的展示图；
37.图3是本发明的一种基于迁移学习的多波束海底沉积层类型的估计方法的深度卷积神经网络模型的结构示意图；
38.图4是本发明的一个具体实施例中的当迁移数据比例为5％时卷积神经网络模型对沉积物类型的预测结果与实际标签的吻合情况示意图；
39.图5是本发明的一个具体实施例中不同迁移数据比例下的卷积神经网络模型对沉积层类型的预测精度变化曲线示意图；
40.图6是本发明的一个具体实施例中训练数据均为试验一全部样本数据 试验二部分比例样本数据时，迁移学习与不迁移学习对沉积层类型预测精度的比较示意图。
具体实施方式
41.现结合附图对本发明作进一步的描述。
42.本发明提供了一种基于迁移学习的多波束海底沉积层类型的估计方法，对海底沉积层的类型进行估计，将利用相邻海域、相同海底底质下两次试验的多波束数据，基于卷积神经网络预先训练网络模型，再结合迁移学习的方法、迁移少量要预测环境中的数据对网络参数进行微调，最终达到测试集上预测精度提高的目的。经试验证明，经过迁移学习后训练好的模型在预测阶段精度提升，能够有效、实时地实现海底沉积层类型估计。
43.本发明提供的一种基于迁移学习的多波束海底沉积层类型的估计方法，该方法包括：
44.将目标海域测线上的多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型的部分网络节点参数进行微调，获得修正后的神经网络模型；
45.将实时接收的目标海域测线上的多波束回波强度数据输入至修正后的神经网络模型，输出多波束海底沉积层类型，实现多波束海底沉积层类型的估计。
46.基于此，该方法中在进行估计多波束海底沉积层类型前应该包括深度卷积神经网络构造、基于深度卷积神经网络模型的数据预训练阶段和基于深度卷积神经网络模型的数据迁移阶段共三个阶段：
47.深度卷积神经网络模型构造
48.具体地，图3给出了搭建深度卷积神经网络模型的结构图。如图3所示，深度卷积神经网络模型为11层结构，其具体包括：
49.输入层，用于接收实时接收的目标海域测线上的多波束回波强度数据；
50.3个卷积层，第一级卷积层连接输入层；
51.3个池化层，每个池化层连接对应的卷积层；
52.2个全连接层，第一全连接层连接池化层，第二全连接层连接对应的第一全连接层；
53.soft-max层，连接第二全连接层；
54.分类输出层，连接soft-max层，并将用于输出分类结果；
55.其中，每一级卷积层均采用relu激活函数进行数据非线性变化以及bn白化操作(batch normalization白化操作)进行数据归一化；
56.输入层输入实时接收的多波束回波强度数据；分类输出层输出多波束海底沉积层类型。
57.其中，输入层实时接收四维的多波束回波强度数据，作为输入数据，其维度数为：128*55*1*ping；其中55，128分别代表每一多波束回波数据样本下从1
°
到55
°
的波束入射角，以及每一波束角入射下回波强度序列的采样点数，如图2所示；ping数代表用于训练的样本数，试验一中经多ping平均后最终共有295个样本数据，试验二中经多ping平均后共有618个样本数据。
58.输入数据经3个卷积层逐层提取特征；其中，3个卷积层的卷积核依次为3*3、2*2和3*3，其对应的池化层为2*2、2*2和4*4；在每一层卷积层对输入数据进行卷积处理后，激活relu函数进行非线性变换，通过relu函数输出至对应的池化层进行池化处理，通过池化处理，将卷积层卷积后得到的小邻域内的特征点整合形成新的目标特征，池化层一方面可以防止无用参数增加计算时间或计算复杂度，另一方面增加了目标特征的整合度。第一次池化处理、第二次池化处理、第三次池化处理均采用最大值化处理方法，在第一次池化时使用最大值池化可以确保原始数据的基本保留，后续的几层卷积处理后均使用最大值池化处理是为了使数据更加平滑地过渡到分类层。
59.relu函数是分段线性函数，把所有的负值都变为0，而正值不变，这种操作称为单侧抑制。也就是说，在卷积层的输入是负值的情况下，relu函数会输出0，那么神经元就不会被激活，这意味着同一时间只有部分神经元会被激活，从而使得网络很稀疏，进而对计算来说是非常有效率的。正因为有了这种单侧抑制，才使得神经网络中的神经元也具有了稀疏激活性，能够更好地挖掘目标特征，拟合训练数据。relu函数的优势在于没有饱和区，不存在梯度消失问题，计算相对简单，实际收敛速度比sigmoid函数和tanh函数快很多。
60.两层结构的全连接层节点数分别为10和3，即第一全连接层的节点数为10；第二全连接层的节点数为3；
61.经卷积池化操作后被拉平的一维数据输出到下一级的全连接层中的第一全连接
层，第一全连接层对一维数据进行压缩分类操作，并将其输入至第二全连接层，再次进行压缩分类操作，再通过soft-max函数得到数据属于各类沉积物的概率，最后输入至分类输出层进行分类，获得海底沉积层类型，作为分类结果并输出。
62.基于深度卷积神经网络模型的数据预训练阶段
63.深度卷积神经网络模型的训练步骤具体包括：
64.将已知海域(试验一)测线上三种底质类型下的多波束回波强度数据，即粘土质粉砂、砂质粉砂和粉砂，作为训练集数据；
65.通过反向传播算法(back propagation,bp)对代价损失函数用寻优算法进行迭代优化求极小值；以均方误差mse函数为代价损失函数；
66.深度卷积神经网络模型的训练过程分为两个阶段：
67.第一个阶段是输入数据由低次层向高次层传播的阶段，即前向传播阶段。
68.输入数据依次经过卷积层、池化层、全连接层、softmax层及分类输出层后，代价函数将计算当前网络输出值与目标值(即标签值)之间的误差的误差值。
69.若该误差值大于预先设定的期望误差阈值，则进入第二个阶段：反向传播阶段。
70.将该误差值传回深度卷积神经网络模型中，由高次层向低次层方向，根据动量驱动的随机梯度下降优化算法，依次计算各层的梯度，重新更新各层网络节点的权值与偏置参数。
71.当最终误差的误差值等于或小于预先设定的期望误差阈值时，训练过程结束，深度卷积神经网络模型的预训练阶段完成。其中，网络训练初始学习率设为0.001。
72.基于深度卷积神经网络模型的数据迁移阶段
73.将目标海域(试验二)测线上多波束回波强度数据中的一部分比例数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型模型参数进行微调，获得修正后的神经网络模型；
74.具体地，将迁移数据通过输入层输入至预先训练好的深度卷积神经网络模型，同时保持深度卷积神经网络模型中的前七层(输入层、三个卷积层及三个池化层)的网络节点中已经训练好的权值与偏置参数不变，仅通过迁移数据来重新训练后面四层(2个全连接层、softmax层及分类输出层)的网络节点的连接权值与偏置参数，实现该神经网络模型的部分网络节点参数的微调，获得修正后的神经网络模型。
75.将目标海域(试验二)测线上剩余比例的多波束回波强度数据作为测试集，即最终的验证测试集，并将其输入至修正后的神经网络模型，对修正后的神经网络模型进行测试，得到迁移学习后测试集中的海底沉积层类型的预测准确率。
76.该数据迁移过程将进行多次测试试验，以降低深度神经网络模型中的各层网络节点参数随机初始化对数据训练的影响，并最终给出多次重复测试试验的平均预测准确率。
77.实施例1.
78.在某试验海域先后两年进行了多波束数据采集试验。该试验海域水深为30-60m，图1给出了两次试验走航式测量的航线轨迹和海底沉积层类型分布，根据图1所示，可以看到虚线e1至e2段的试验一航线与虚线a至b段的试验二航线平行，覆盖海底沉积层(海底底质)类型基本相同，其海底沉积层类型分别为粘土质粉砂、砂质粉砂和粉砂。两次试验中均采用同一norbit wbms bathy 200多波束测深声纳系统，使用qinsy软件，采集海底反向散
射数据；两次试验中，所采用的声纳系统参数设置相同。在对多波束数据处理中，为避免数据随机起伏性，两次试验数据分别经过多ping重叠平均，以减少干扰。
79.如图3所示，输入层接收四维的多波束回波强度数据，作为实时输入数据，其维度数为：128*55*1*ping。
80.其中，55和128分别代表每一多波束强度数据样本下从1
°
到55
°
的波束入射角，以及每一波束角入射下回波强度序列的采样点数，如图2(a)-2(b)所示；ping数代表用于训练的样本数，试验一中经多ping平均后最终共有295个样本数据，试验二中经多ping平均后共有618个样本数据。
81.实时输入数据经3个卷积层逐层提取特征，其中，3个卷积层的卷积核依次为3*3、2*2和3*3；均采用relu激活函数作为激活函数；
82.通过relu激活函数进行非线性变换后，然后分别经过核为2*2、2*2和4*4的最大池化层，以降低数据维度；
83.两层全连接层节点数分别为10和3，然后采用softmax函数在输出层输出海底沉积层类型。
84.将已知海域(试验一)测线上三种底质类型下的多波束回波强度数据，即试验一样本数据用作训练数据集，则目标海域(试验二)样本数据的一部分数据用作迁移数据集，将目标海域(试验二)样本数据的剩余部分数据作为测试集。
85.从试验二样本中，选取不同比例(分别为0，5％，10％，15％，20％，30％，40％，50％，60％，70％，75％，80％，85％)的样本数作为迁移数据集，并将其输入至利用试验一训练样本数据已训练好的深度卷积神经网络模型，来微调深度卷积神经网络模型的部分网络节点参数，获得修正后的神经网路模型；
86.所述方法还包括：将目标海域(试验二)测线上剩余比例(分别为100％，95％，90％，85％，80％，70％，60％，50％，40％，30％，25％，20％，15％)的多波束回波强度样本数据作为测试集数据，并将其输入至修正后的深度神经网路模型，输出海底沉积层的类型，得到迁移学习后测试集中的海底沉积层类型的预测准确率。图4给出了实例中迁移数据量为5％时的一次修正后的深度神经网络模型对海底沉积层类型的估计结果，其中，菱形图标表示深度神经网络模型预测准确概率，圆点图标表示实际的海底沉积层类型，1，2，3分别对应地表示粘土质粉砂、砂质粉砂和粉砂三种海底沉积层类型。
87.如图4所示，经过对修正后的深度神经网路模型的估计结果较准；在此次迁移中，预训练阶段用时36s，迁移学习阶段用时8s，用时更短、计算量小。
88.图5给出了不同迁移数据比例下的多次重复试验的平均预测准确概率的准确度的示意图。可以看到，相比不进行迁移学习时，仅迁移极少量的数据(如5％)就可较大提升深度神经网络模型的预测准确概率的预测精度；迁移数据量越大，预测精度也越高。
89.迁移学习通过少量迁移数据的再次迁移训练来微调深度神经网络模型的部分层节点的参数，从而影响最终的预测精度，因此，在整个“预训练—迁移学习”过程中总的训练数据量大于预训练阶段训练数据量。故为验证训练数据量对预测精度的影响，同时做对照试验：将原本用作迁移学习的部分试验二样本数据，同试验一样本数据拼接，并整体输入到初始搭建好的未训练卷积神经网络中进行训练，不再进行迁移学习微调参数过程，并与经过迁移学习的上述结果进行比较。
90.如图6所示，当训练数据同时包括试验一数据和试验二部分比例样本时，未经迁移学习的网络预测精度要低于经过迁移学习后的网络预测精度。
91.基于迁移学习的多波束海底沉积层类型分类，可在一定程度上提升深度神经网络模型泛化性能，提高海底沉积层类型的预测精度，实现对海底底质的准确有效估计。
92.实施例2.
93.本发明还提供了一种基于迁移学习的多波束海底沉积层类型的估计系统，该系统具体包括：
94.迁移模块，用于将目标海域测线上多波束回波强度数据中的一部分数据作为迁移数据，并将其输入至预先训练好的深度卷积神经网络模型，对深度卷积神经网络模型的部分网络节点参数进行微调，获得修正后的神经网络模型；和
95.估计模块，用于将实时接收的目标海域测线上的多波束回波强度数据输入至修正后的神经网络模型，输出多波束海底沉积层类型。
96.实施例3：
97.本发明的实施例3还可提供的一种计算机设备，包括：至少一个处理器、存储器、至少一个网络接口和用户接口。该设备中的各个组件通过总线系统耦合在一起。可理解，总线系统用于实现这些组件之间的连接通信。总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
98.其中，用户接口可以包括显示器、键盘或者点击设备(例如，鼠标，轨迹球(track ball)、触感板或者触摸屏等。
99.可以理解，本技术公开实施例中的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddrsdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，drram)。本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
100.在一些实施方式中，存储器存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：操作系统和应用程序。
101.其中，操作系统，包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序，包含各种应用程序，例如媒体播放器(media player)、浏览器(browser)等，用于实现各种应用业务。实现本公开实施例方法的程序可以包含在应用程序中。
102.在本上述的实施例中，还可通过调用存储器存储的程序或指令，具体的，可以是应用程序中存储的程序或指令，处理器用于：
103.执行实施例1的方法的步骤。
104.实施例1的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行实施例1中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合实施例1所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
105.可以理解的是，本发明描述的这些实施例可以用硬件、软件、固件、中间件、微码或其组合来实现。对于硬件实现，处理单元可以实现在一个或多个专用集成电路(application specific integrated circuits，asic)、数字信号处理器(digital signal processing，dsp)、数字信号处理设备(dsp device，dspd)、可编程逻辑设备(programmable logic device，pld)、现场可编程门阵列(field-programmable gate array，fpga)、通用处理器、控制器、微控制器、微处理器、用于执行本技术所述功能的其它电子单元或其组合中。
106.对于软件实现，可通过执行本发明的功能模块(例如过程、函数等)来实现本发明技术。软件代码可存储在存储器中并通过处理器执行。存储器可以在处理器中或在处理器外部实现。
107.实施例4
108.本发明实施例4还可提供一种非易失性存储介质，用于存储计算机程序。当该计算机程序被处理器执行时可以实现上述方法实施例中的各个步骤。
109.最后所应说明的是，以上实施例仅用以说明本发明的技术方案而非限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行修改或者等同替换，都不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。