基于神经网络的光学遥感影像内波表面特征图像识别方法与流程

本发明涉及海洋工程，特别涉及基于神经网络的光学遥感影像内波表面特征图像识别方法。

背景技术：

1、内波是一种发生于水体内部密度跃层处的波动现象。内波具有波幅大，携带能量高的特点，往往伴随着强烈的水体起伏、波致流场，以及海水密度、盐度、温度等物理性质分布的剧烈变化，这会对包括船舶、水下潜航器、海洋结构物等在内的各种海洋装备造成显著威胁。获取实测资料并开展海洋内波的观测研究与分布统计，对海洋装备设计制造与海洋活动开展具有重要意义。

2、由于内波发生于水体内部，需要通过特殊方式对其进行观测，目前主要有电导率—温度—深度剖面仪、声学多普勒流速仪、回声测深仪以及卫星遥感等。其中，卫星遥感影像得益于广阔的视野范围，已成为目前最重要的内波大范围捕捉与观测手段之一。内波在水下传播时，会通过内波—表面波相互作用使其上方的海洋表面波产生辐聚、辐散现象，导致海洋表面粗糙度分布发生不均匀变化，在遥感影像中呈现为独特的明暗相间的条纹图样，这种图样被称为内波表面特征。通过内波表面特征，即可实现对内波的捕捉与观测。

3、内波表面特征现象的存在以及卫星遥感技术的发展，为内波的捕捉与观测创造了有利条件。然而，通过遥感影像获取内波资料面临的问题在于，尽管内波在全球海域中有着广泛的分布，但相比于遥感影像的采集总量而言发生频率并不高，有内波表面特征出现的影像往往只占全部遥感影像中的一小部分。目前，从海量遥感影像中识别筛选含内波表面特征的图片，依然是充分利用遥感影像开展内波研究所必须解决的难题。在传统方法中，内波表面特征的识别工作在很大程度上依然依赖人力进行，即通过人工辨别实现内波感知，资源消耗大、耗费时间长、且极大的限制了通过遥感搜索内波的效率。为解决这一问题，不同学者针对合成孔径雷达（synthetic aperture radar，sar）和光学遥感卫星这两种目前主要的内波表面特征捕捉与观测的遥感手段开展了内波表面特征图像识别方法研究。

4、sar和光学遥感具有各自的特点。sar是一种以电磁波为成像媒介的主动探测手段，具有分辨率高、成像清晰度好、穿透性强、受云层干扰小的优势。这些特性使得sar相比于光学遥感而言，捕捉到的内波表面特征影像画面更加清晰干净，特征更加明显，干扰因素也更少，因而实现内波表面特征自动识别的难度也更低。不过，sar也有着覆盖范围小，重访周期长，数据量小而数据费用高等局限性，限制了通过sar获取的内波信息数量。

5、与之相对的，光学遥感卫星具有覆盖范围大、时间分辨率高、数据量大、公开免费数据多等优点，能够提供比sar更广泛、更大量的内波遥感数据来源，许多内波观测研究与大范围统计分析都依赖光学遥感影像完成，具有重大利用价值。但是，作为一种通过接收光信号实现成像的被动遥感手段，其成像质量受到光照条件影响，且易受到云层的遮挡与干扰，成像清晰度也往往不如sar。在这些因素下，光学遥感所捕捉到的内波表面特征影像往往画面不如sar干净清晰，特征不够强烈，干扰因素也会更多。因而，通过光学遥感影像实现内波自动别的难度往往更高。

6、目前，关于内波表面特征识别的研究主要集中在识别难度相对更低的sar领域。zhang等通过紧凑极化（compact polarimetric，cp）sar技术实现了内波表面特征的识别。在该技术中，首先基于sar遥感影像构建cp sar图像，并提取了26种紧凑极化特征。随后通过对比杰弗里斯和欧几里得距离，从中选取了6种最能区分内波条纹与背景海面的特征，最后通过k-means算法对图片进行分类。divya等提出了一种基于粒子群算法的sar内波表面特征影像识别方法。该方法首先提取多尺度边缘作为原图的表达，同时基于卡尔曼滤波，kdv方程建立模型计算辅助特征，最后基于k-means算法和粒子群算法实现内波的识别判断。汤琦璇和赵玉新通过灰度共生矩阵（gray-level co-occurrence matrix，glcm）和分形维数（fractal dimension，fd）两种方法对sar内波图像样本进行特征提取，经过对比选用效果更好的基于改进的差分盒维数算法的分形维数作为判别依据实现了内波识别，并再此基础上通过模糊c均值（fuzzy c-means，fcm）边缘检测算法实现了内波表面特征条纹提取。类似的，zheng等同时利用定向梯度直方图（histogram of orientated gradients，hog）、灰度共生矩阵和分形维数提取sar图像特征，并采用支持向量机（support vectormachine，svm）对图像进行分类，实现内波表面特征识别。在此基础上，使用canny边缘检测方法实现sar图像中的内波表面特征条纹提取检测。除了以上基于人工设计与分析选定图片特征进行识别的方法之外，bao等基于神经网络方法，以南海及西太平洋海域envisatsar遥感影像作为训练样本，使用faster r-cnn（faster region-convolutional neuralnetworks）模型实现了内波表面特征识别。

7、与sar相比，识别难度相对更高的光学遥感领域，内波表面特征识别方法的研究目前还相对较少。wang等通过无人机近距离拍摄水面模拟波纹和近海涌浪的照片作为研究对象，将它们类比作内波光学遥感影像，对这一领域展开了初步探索。该研究基于深度学习方法搭建了pcanet（principal component analysis net）结构，首先通过主成分分析（principal component analysis，pca）对图片特征进行提取，随后基于提取得到的特征，通过支持向量机（support vector machine，svm）对图片类别进行判断。经过训练，该方法在航拍模拟样本数据集上取得了较好的效果。此研究作为光学遥感影像内波识别领域的早期探索，具有一定的启发意义，但由于采用了非真实的模拟样本图片这一局限，该方法与实际情况仍有一定差距。首先，该研究所采用的近距离拍摄的水面模拟波纹和近岸涌浪所呈现的明暗变化条纹是由表面波所带来的水面起伏导致的斜率变化产生的，而真正的内波表面条纹则基本是由内波所导致的海洋表面的粗糙度分布变化产生，二者的原理结构和图案特征有着本质的不同；其次，无人机航拍与光学遥感卫星在传感器类型，感光波段，拍摄物距等方面有着巨大的差别，这导致航拍模拟样本与真实光学遥感影像的成片特征显著不同；最后，无人机航拍距离目标近，成像质量高，波浪特征突出，且没有云层、大气、陆地、岛屿等因素的干扰，图片更加清晰干净，识别难度显著低于真实光学遥感影像。基于这些原因，尽管该模型在模拟航拍数据集上取得了较好效果，但其在真实光学遥感影像下的可靠性是无法保证的。因此，可用于真实光学遥感影像下的内波表面特征识别方法还有待进一步研究。

8、综上所述，从海量遥感影像中识别筛选含内波表面特征的图片是充分利用遥感影像开展内波研究所必须解决的难题。在传统方法中，内波表面特征的识别工作在很大程度上依然依赖人力进行，消耗大、效率低。在内波表面特征图像识别方法方面，分为sar和光学遥感两种途径。其中，sar领域内波表面特征识别难度相对更低，但数据量小，目前已有相对较多研究，形成了一系列识别方法；光学遥感领域尽管能够提供比sar更广泛、更大量的内波遥感数据，但由于图像复杂、识别难度大，该领域依然缺乏有效可靠的可适用于真实光学遥感影像的内波表面特征识别方法，有待进一步研究。

9、需要说明的是，在上述背景技术部分公开的信息仅用于加强对本发明的背景的理解，因此可以包括不构成本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、针对背景技术的不足，本发明的目的在于针对内波表面特征识别难度相对较高、且目前缺乏有效可靠的自动图像识别方法的光学遥感领域，提供一种基于神经网络的光学遥感影像内波表面特征图像识别方法，以实现真实光学遥感影像下的内波表面特征识别，提高识别效率，降低消耗。为避免已有识别方法中采用模拟样本图片作为识别对象所带来的，在真实光学遥感影像下可靠性无法保证的问题，本方法以真实光学遥感影像作为内波表面特征识别的数据对象，以确保方法的可靠性。本方法基于神经网络技术实现，并提出一种分类—决策网络结构以进一步提高识别能力。

2、为了实现上述目的，本发明所采用的技术方案如下：

3、基于神经网络的光学遥感影像内波表面特征图像识别方法，包括以下步骤：

4、步骤s1、构建神经网络训练与测试所需的内波表面特征样本数据集：收集海面场景的光学遥感影像图片作为样本图片，样本图片包含正样本和负样本，共同构成样本数据集，将样本数据集划分为训练集、验证集和测试集三部分，每部分中正样本与负样本均各占一半；

5、步骤s2、对样本进行数据扩增处理：数据扩增仅在模型训练阶段内针对训练集中的样本使用，采用对每张训练集中的样本图片在进行图片归一化处理前进行随机调整的方式进行；

6、步骤s3、对于所有待输入神经网络模型的图片，包括验证集、测试集的图片样本和训练集中经数据扩增处理后的图片样本，均在输入神经网络前进行归一化处理；

7、步骤s4、构建第一套分类模型，并对模型进行训练，在进行训练时，以模型网络末尾层位置的层的输出与样本图片真实标签的交叉熵作为损失函数，以训练集中的样本作为学习对象，采用梯度下降法进行训练，并以验证集中的样本检验模型的训练效果；

8、步骤s5、构建第二套分类模型，并对模型进行训练，在进行训练时，分别计算网络中模块、模块末尾的、层位置的层的输出与样本图片真实标签的交叉熵，并将两交叉熵经求和系数调整比例后进行求和作为损失函数，以训练集中的样本作为学习对象，采用梯度下降法进行训练，并以验证集中的样本检验模型的训练效果；

9、步骤s6、构建第三套分类模型，并对模型进行训练，在进行训练时，以模型网络末尾层位置的层的输出与样本图片真实标签的交叉熵作为损失函数，以训练集中的样本作为学习对象，采用梯度下降法进行训练，并以验证集中的样本检验模型的训练效果；

10、步骤s7、构建决策模型，并对模型进行训练，在进行训练时，以模型网络末尾层的输出与样本图片真实标签的交叉熵作为损失函数，训练模型时，之前已经训练完成的分类模型、分类模型、分类模型的参数被冻结，不进行更新，训练过程中，以训练集中的样本作为学习对象，采用梯度下降法进行训练，并以验证集中的样本检验模型的训练效果。

11、以下为本发明进一步限定的技术方案，在步骤s1中，正样本表示包含内波表面特征的遥感影像图片，负样本表示不含内波表面特征的遥感影像图片，并对每张样本图片均进行标签标注，其中正样本的标签为1，负样本的标签为0，两类图片共同构成样本数据集。

12、以下为本发明进一步限定的技术方案，在步骤s2中，随机调整包括：进行随机的亮度与对比度改变，随机的上下、左右翻转，以及随机的角度旋转。

13、以下为本发明进一步限定的技术方案，在步骤s3中，归一化处理的计算过程为：

14、；

15、；

16、；

17、其中，、分别为归一化前、后图像中的像素值，为图片的均值，即平均亮度，为图片的标准差，为图片中的像素总数。

18、以下为本发明进一步限定的技术方案，在步骤s4中，模型包括依次连接的输入层、网络模块、网络模块、网络模块、网络模块、网络模块和网络模块，其中，归一化后的图片数据由输入层输入网络，网络模块包括相连接的两个卷积层和一个最大池化层，网络模块包括相连接的两个卷积层和一个最大池化层，网络模块包括相连接的三个卷积层和一个最大池化层，网络模块包括相连接的三个卷积层和一个最大池化层，网络模块包括相连接的三个卷积层和一个最大池化层，网络模块包括相连接的三个全连接层和一个归一化指数层；使用表示第个模块的第层，模型中的所有卷积层以及、两个全连接层均使用激活函数进行激活，模型的输出层以表示，以模型末尾的层作为模型的输出，记作。

19、以下为本发明进一步限定的技术方案，在步骤s5中，模型包括依次连接的输入层、网络模块、网络模块、网络模块、网络模块、网络模块和网络模块，其中，归一化后的图片数据由输入层输入网络，网络模块包括相连接的三个卷积层、一个最大池化层、两个卷积层和一个最大池化层，网络模块、网络模块、网络模块均由若干单元前后连接堆叠而成，网络模块包括一个平均池化层、一个全连接层和一个归一化指数层，网络模块包括一个平均池化层、两个卷积层、一个全连接层和一个归一化指数层，模型中的所有卷积层均使用激活函数进行激活，模型在网络模块之后分为两个分支，一个分支由网络模块、网络模块相连接而组成，另一个分支由网络模块组成；

20、使用表示第个模块的第层，其中，层的交叉熵的求和系数为1，层的交叉熵的求和系数为0.3；

21、模型的输出层以表示，以模型末尾的层作为模型的输出层，记作。

22、以下为本发明进一步限定的技术方案，在步骤s6中，模型包括依次连接的输入层、网络模块、网络模块、网络模块、网络模块、网络模块和网络模块，其中，归一化后的图片数据由输入层输入网络，网络模块包括相连接的两个卷积层、一个最大池化层、两个卷积层和一个最大池化层，网络模块、网络模块、网络模块和网络模块均由若干单元前后连接堆叠而成，网络模块包括一个平均池化层、一个全连接层和一个归一化指数层；

23、网络模块中，所有卷积层均使用激活函数进行激活；

24、使用表示第个模块的第层，模型的输出层以表示，以模型末尾的层作为模型的输出层，记作。

25、以下为本发明进一步限定的技术方案，在步骤s7中，模型包括输入层、网络模块、网络模块和网络模块，其中，网络模块、网络模块构成分支结构，并汇总接入网络模块；

26、网络模块包括分支、、、、、；其中，分支由5层平均池化层堆叠结构所构成，使用表示第个分支的第层，由分支所包含的、、、、层分别引出，并分别接入分支、、、、；分支、、、、均由卷积层、最大池化层、平均池化层、全连接层构成，其中最大池化层的层数由按照、、、、的顺序逐渐减少，分支、、、、经过合并层合并后，接入两层全连接层，与归一化处理前的原始图片的平均亮度、图片标准差两项表征原始图片总体特征的数据再次经过合并层合并，得到网络模块的输出；

27、网络模块以模型、、的、和三个网络层为输入，分别接入两层全连接层后，通过合并层合并，随后再次连接两层全连接层得到网络模块的输出；

28、网络模块包括一个合并层、三个全连接层和一个归一化指数层，首先将网络模块、网络模块的输出通过合并层合并，随后依次连接具有512节点、256节点、3节点的三层全连接层和一层归一化指数层，归一化指数层的输出数据标记为，具有三个节点，分别代表决策模型对模型、、的输出结果的采信度；

29、通过层的采信度信息对三个分类模型的分类判断结果、、进行加权计算，得到整个决策模型的最终输出：

30、

31、中包含两个节点，分别代表决策模型最终判断样本图片属于两个分类的置信度。

32、以下为本发明进一步限定的技术方案，在步骤s5中，分类模型的网络模块由单元、、串联而来，单元包含分支、、和；其中，分支、、由卷积层组成，分支由平均池化层和卷积层串联组成，分支、、和经过合并层合并，得到单元的输出；单元、的结构相同，且与单元相比，区别仅为在第4个分支通路的最后一层处将卷积层的通道数由32增加为64；

33、分类模型的网络模块由单元、、、和串联而来，单元包含分支、、，其中分支、由卷积层组成，分支由最大池化层组成，分支、、经过合并层合并，得到单元的输出；单元包含分支、、和，其中分支、、由卷积层组成，分支由平均池化层和卷积层串联组成，分支、、和经过合并层合并，得到单元的输出；单元、和的结构相同，且与单元相比，区别仅为在第二个分支的前两层网络、和第三个分支的前四层网络、、、的通道数由128提升至160；

34、分类模型的网络模块由单元、和串联而来，单元包含分支、、，其中分支、由卷积层组成，分支由最大池化层组成，分支、、经过合并层合并，得到单元的输出；单元、的结构相同且均包括分支、、和，其中分支、、由卷积层组成，分支由平均池化层和卷积层串联组成，分支、、和经过合并层合并，得到单元的输出。

35、以下为本发明进一步限定的技术方案，在步骤s6中，分类模型的网络模块由单元、和串联而来，单元、和的结构相同且均包含分支、，其中，分支包含三层卷积层和两层激活函数，分支包含一层卷积层，分支、按照对应位置相加实现整合，并在激活函数层后得到单元的输出；

36、分类模型的网络模块由单元、、和串联而来，单元、、和的结构相同，且与模型的单元相比，仅在卷积层的通道数上存在区别：分支中的三层卷积层通道数依次为：128、128、512，分支中的卷积层通道数为512；

37、分类模型的网络模块由单元、、、、和串联而来，单元、、、、和的结构相同，且与模型的单元相比，仅在卷积层的通道数上存在区别：分支中的三层卷积层通道数依次为：256、256、1024，分支中的卷积层通道数为1024；

38、分类模型的网络模块由单元、、串联而来，单元、、的结构相同，且与模型的单元相比，仅在卷积层的通道数上存在区别：分支中的三层卷积层通道数依次为：512、512、2048，分支中的卷积层通道数为2048。

39、相对于现有技术，本发明具有如下技术效果：

40、本发明通过构建神经网络模型并进行训练，实现了对光学卫星遥感影像中内波表面特征的识别。本发明相比传统的依赖人力的识别方法，降低了消耗，提高了效率；相比已有的内波表面特征图像识别方法，可以适用于真实光学遥感影像中的内波表面特征识别。此外，本方法中提出的分类—决策模型，通过多种分类网络分别作出图片分类判断，再由决策网络综合各分类网络的判断得出最终判断结果的方式，相比单一分类模型取得了更高的正确率，提升了在内波表面特征图像识别任务中的准确度和可靠性。

41、下面结合附图与实施例，对本发明进一步说明。