一种基于相位信息和深度学习的水下声呐图像匹配算法的制作方法

1.本发明涉及水下图像处理技术领域，尤其涉及一种基于相位信息和深度学习的水下声呐图像匹配算法。


背景技术：

2.在利用水下传感设备成像的过程中，由于海洋介质及海底环境的复杂性，导致光学成像受阻，远距离探测任务通常只能采用声学成像，即借助声呐设备进行探测。但由于海底环境的未知性和复杂性，声波传输过程中易受到干扰，加之声学成像自身的局限性，导致探测目标的声呐图像存在高噪声，低对比度，灰度畸变以及边缘弱化等特点，当探测时间、探测地点、声呐类型以及探测视角发生变化的时候，声呐图像往往存在很强的非线性差异现象，即同一个探测目标，但是成像效果却差别很大，由于水下环境的未知性，探测目标是小样本的且特征不规则的，背景内容是单调且特征难以提取的，在进行水下声呐图像预处理和特征匹配时，往往只能依靠研究人员的专业经验知识，尚没有成熟的处理方案，更没有专一的算法来针对性地匹配水下声呐图像。
3.目前常见的水下声呐图像匹配思路是照搬光学图像匹配的方法，这些方法是针对于光学图像开发的，由于光学成像特点与声学成像特点的巨大差异，这些方法应用到水下声呐图像匹配任务中效率低下，特征点难以检测且错误匹配较多，水下声呐图像特征匹配是海底地图构建及水下机器人自主导航等任务的基础性研究，保证其匹配的丰富度和准确度是非常必要的。同时对于小样本的，陌生的水下声呐数据，图像特征匹配的操作目前只能尝试性地选择，验证性也不足，严重影响了匹配任务的完成效率，浪费了大量的人力资源和时间资源。


技术实现要素：

4.本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本技术的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。
5.鉴于上述现有存在的问题，提出了本发明。本发明提供了一种基于相位信息和深度学习的水下声呐图像匹配算法，解决水下声呐图像普遍存在的复杂的非线性差异问题，水下声呐图像自身具有的高噪声、低对比度、畸变明显以及弱边缘等局限性，以及上述局限性导致的传统光学图像匹配算法失效，没有成熟的声学图像匹配算法可参考这个技术痛点，同时检测效率低下，特征点难以检测，精度低且错误匹配较多的问题。
6.为解决上述技术问题，本发明提供如下技术方案：包括：
7.导入声呐数据，解析为视觉图像格式并存储辅助信息，利用辅助信息进行图片分割，构建待匹配的图像对；
8.将图像对中的图像进行去噪与增强预处理；
9.根据相位一致性原理提取所述图像的相位信息，并可视化相位极值图层，提取相
关的特征点信息；
10.搭建双通道卷积神经网络，存储训练权重，进行特征点局部区域相似度度量；
11.依据相似性度量进行特征匹配并剔除错误匹配，存储正确匹配对信息。
12.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述辅助信息包括，gps信息、惯导信息、ping信息和深度信息。
13.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述预处理包括，经典滤波器和深度学习去噪；局部增强和全局增强。
14.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述根据相位一致性原理提取特征点，包括，
15.提取图像的频率域信息和空间域信息；
16.相位一致性解算；
17.可视化输出水下声呐图像的相位极值图。
18.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述搭建双通道卷积神经网络中，设定输入参数为图像的输入数目和图像尺寸，输出参数为匹配度量的形式和维度。
19.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：还包括，搭建双通道卷积神经网络后依据图像属性，进行自定义模型训练，所述训练的学习模式包括，全新训练和迁移学习；训练框架包括 tensorflow框架和pytorch框架。
20.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述特征点局部区域相似度度量采用高层特征与低层特征组合后的交叉熵计算。
21.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述依据相似性度量进行特征匹配，包括依据图像匹配数量设定匹配相似度阈值后，再进行匹配。
22.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：所述剔除错误匹配包括，采用ransac、gms、lpm、fsc 算法进行错误匹配剔除。
23.作为本发明所述的基于相位信息和深度学习的水下声呐图像匹配算法的一种优选方案，其中：还包括，存储正确匹配对的信息后进行评价，所述评价包括匹配丰富度、匹配准确度、运行时间、特征点分布均匀度。
24.与现有技术相比，本发明的有益效果：本发明将相位信息和深度特征结合应用于水下侧扫声呐图像上的，结合二者进行匹配，能够检测出丰富的特征点并且提供高精度的匹配结果；解决水下声呐图像普遍存在的复杂的非线性差异问题；采用双通道深度卷积神经网络，无需大量的数据支撑，构建简单，易于训练，能够自动学习水下声呐图像间的匹配模式，可以部署在多个开发平台，易于推广。
附图说明
25.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本
领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：
26.图1为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的整体流程示意图；
27.图2为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中双通道卷积神经网络结构图；
28.图3为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中非线性差异示意图；
29.图4为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中传统sift算法匹配效果图；
30.图5为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中双通道卷积神经网络模型训练示意图；
31.图6为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中相位方法特征检测效果图；
32.图7为本发明一个实施例所述的基于相位信息和深度学习的水下声呐图像匹配算法的中最终匹配效果示意图。
具体实施方式
33.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明，显然所描述的实施例是本发明的一部分实施例，而不是全部实施例。基于本发明中的实施例，本领域普通人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的保护的范围。
34.在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
35.其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。
36.本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。
37.同时在本发明的描述中，需要说明的是，术语中的“上、下、内和外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一、第二或第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
38.本发明中除非另有明确的规定和限定，术语“安装、相连、连接”应做广义理解，例如：可以是固定连接、可拆卸连接或一体式连接；同样可以是机械连接、电连接或直接连接，也可以通过中间媒介间接相连，也可以是两个元件内部的连通。对于本领域的普通技术人
员而言，可以具体情况理解上述术语在本发明中的具体含义。
39.实施例1
40.参照图1-3、5-7，为本发明的一个实施例，提供了一种基于相位信息和深度学习的水下声呐图像匹配算法，包括：
41.s1：导入声呐数据，解析为视觉图像格式并存储辅助信息，利用辅助信息进行图片分割，构建待匹配的图像对；
42.更进一步的，辅助信息包括，gps信息、惯导信息、ping信息和深度信息。
43.应说明的是，具体的，图像格式包括jpg、png、bmp、tif等。
44.应说明的是，优选的，在图片分割之前先存储并剔除损坏或无法辨认的区域。
45.应说明的是，图片分割针对感兴趣区域分割：感兴趣区域(roi)是从图像中选择的一个图像区域，这个区域是图像匹配任务主要关注的目标区域。圈定该区域以便进行专一化处理。使用roi分割待分析的目标，同时剔除无用区域，可以减少处理时间，增加精度。
46.s2：将图像对中的图像进行去噪与增强预处理；
47.更进一步的，预处理包括，经典滤波器和深度学习去噪；局部增强和全局增强。
48.应说明的是，预处理具体的为，灰度图转化：声呐图像本身不具有颜色属性，灰度化有利于对图像特征的提取和分析，并且降低计算成本；
49.图像增强：对声呐图像中有意义的目标点信息增强以突出有用特征；
50.图像去噪：对水下声呐图像进行局部和全局滤波处理，降低噪声干扰。
51.s3：根据相位一致性原理提取图像的相位信息，并可视化相位极值图层，提取相关的特征点信息；
52.更进一步的，根据相位一致性原理提取特征点，包括，
53.提取图像的频率域信息和空间域信息；
54.相位一致性解算；
55.可视化输出水下声呐图像的相位极值图。
56.具体的，频率域信息指相位信息等，空间域信息指灰度直方图特征以及梯度直方图特征。
57.应说明的是，相位一致性方法在这里被用来当做一个特征检测算子，该算子是基于相位考虑的频率处理，它有两个主要优点：第一，可以显著扩大特征检测的范围，适用于水下声呐图像这种大尺寸图像；第二、对局部的平滑色调变化和噪声具有鲁棒性，适用于存在大量灰度畸变和噪声干扰的水下声呐图像。
58.s4：搭建双通道卷积神经网络，存储训练权重，进行特征点局部区域相似度度量；
59.更进一步的，搭建双通道卷积神经网络中，设定输入参数为图像的输入数目和图像尺寸，输出参数为匹配度量的形式和维度。
60.应说明的是，双通道卷积神经网络包括卷积层、激活函数、池化层、扁平化操作及全连接层。
61.更进一步的，还包括，搭建双通道卷积神经网络后依据图像属性，进行自定义模型训练。训练的学习模式包括，全新训练和迁移学习；训练框架包括 tensorflow框架和pytorch框架。
62.具体的，图像属性主要为侧扫声呐图像和前视声呐图像
63.应说明的是，模型训练中设置参数主要有：学习率、训练批次、批次大小以及优化策略，此部分根据实际情况的图像进行自定义设计。训练全程监控内容包括，训练精度值、训练损失值、测试精度值、测试损失值。
64.优选的，应用过程中，输入的声呐图像块尺寸一般为32
×
32，网络迭代次数设置为100-200次，训练块大小设置为256，学习率一般采用0.001，网络参数优化策略一般采用asgd。
65.应说明的是，权重是指当前模型自身训练出来的性能。
66.更进一步的，特征点局部区域相似度度量采用高层特征与低层特征组合后的交叉熵计算。
67.应说明的是，选用双通道卷积神经网络无需大量的数据支撑，构建简单，易于训练，能够自动学习水下声呐图像间的匹配模式，可以部署在多个开发平台，易于推广。
68.s5：依据相似性度量进行特征匹配并剔除错误匹配，存储正确匹配对信息。
69.更进一步的，依据相似性度量进行特征匹配，包括依据图像匹配数量设定匹配相似度阈值后，再进行匹配。
70.应说明的是，匹配相似度阈值主要是根据图像中匹配的数目来决定了，例如500以下，500-2000，大于2000。
71.更进一步的，剔除错误匹配包括，采用ransac、gms、lpm、fsc算法进行错误匹配剔除。
72.应说明的是，现有的匹配度量准则主要是基于手工设计的度量算子，这些算子只利用了浅层的几何特征或者灰度特征，且最初是针对于光学图像设计的，因此不适用于水下声呐图像，也不适用于声呐相位图层，在这里引入基于深度学习的匹配相似性度量方法可以较好地缓解这一矛盾，实现良好的匹配效果。未来需要继续突破的地方主要是设计更好地声学特征度量网络，并且设计丰富的声呐图像数据集。
73.更进一步的，还包括，存储正确匹配对的信息后进行评价，评价包括匹配丰富度、匹配准确度、运行时间、特征点分布均匀度。
74.应说明的是，本方法同时附带的功能为可以使用roc曲线等指标评价算法匹配性能，并存储最优参数。
75.实施例2
76.参照图4、7，为本发明的一个实施例，提供了一种基于相位信息和深度学习的水下声呐图像匹配算法，为了验证其有益效果，提供了与传统方案的对比结果。
77.为了选取不同水下场景中最合适的匹配方案，将本文算法与经典的光学特征检测器(如brisk,orb)和描述子(如sift)进行匹配效果对比。包括数据融合：利用匹配结果计算变换参数，并与辅助信息数据相融合；坐标系转化：世界坐标系，传感器坐标系，图像坐标系、像素坐标系，具体见图。
78.测试环境：(1)传统光学匹配算法匹配水下声呐图像，利用光学匹配算法分析；(2)两种方法均采用python编写程序、matlb运行仿真输出数据曲线，匹配流程是基于opencv-python工具实现的；(3)本发明方法利用两通道深度卷积神经网络进行分析，得到最终的预测结果。
79.图7为本发明方法输出的识别结果，图4为传统方法输出的识别结果，能够直观的
看出本发明方法相较于传统方法在针对多种类数据及全面性检测中具有极高的准确度，图4测量时精准度大幅度下降，说明了传统方法的误差性。
80.应说明的是，以上实施例仅用于说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。