一种基于深度学习图像检测的水下节点定位装置及方法

1.本发明属于水下定位技术领域，尤其涉及一种基于深度学习图像检测的水下节点定位装置及方法。


背景技术：

2.随着对海洋资源的不断探索与开发，水下无线传感器网络(uwsn)作为海洋监控系统的重要组成部分，在科研、商业、勘测、军事等领域具有广泛的应用价值。近年来，水下无线光学通信(uwoc)逐渐发展，相较于水声、电磁波等通信技术，在通信速率、设备成本、功耗、技术成熟度等方面有较大优势，被认为可满足中远距离的高速数据传输需求，是uwsn中继传输中一项极具潜力的技术。在uwsn中使用uwoc节点进行通信时，节点之间需要精确的持续激光对准，但是在实际情况中，水下节点受水流扰动，影响了光学通信链路的稳定性。因此，在uwoc中需要解决激光的对准问题，即通信链路的发射节点在建立通信链路前需要对接收节点进行定位。
3.现有的uwoc定位主要还是集中式网络定位方案，需要多个参考节点固定部署，有线连接。集中式定位方案的精度可能因传感器和参考节点的密度、节点漂移等因素而有所不同，受到较多条件制约，同时，需要参考节点固定部署且精确选址，参考节点之间要保持信息的高度同步，以及未知节点配置高功率led。在分布式定位方案中，传感器节点收集与定位相关的数据并通过运行定位算法独立估计位置。底层定位算法根据是否需要节点之间的距离或者方位角信息，将其划分为基于测距和非测距两种类型。其中，基于测距的定位算法是利用到达角度(aoa)、到达时间(toa)、接收信号强度指示(rssi)等方法来计算节点之间的距离信息。然而，uwoc定位仍有很多不足之处，比如传感器节点在实际检测中可能会受水流污染物等影响而移动，给定位及信息传输造成干扰；在测距技术中假设了节点之间时间同步，而实际情况中在水下很难实现同步。


技术实现要素：

4.针对现有技术中的上述不足，本发明提供的一种基于深度学习图像检测的水下节点定位装置及方法，使用深度学习图像检测模型提取目标节点的位置，并通过曲线拟合和改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准，解决了基于单目摄像头就可以定位到目标节点三维位置的问题。
5.为了达到上述发明目的，本发明采用的技术方案为：一种基于深度学习图像检测的水下节点定位装置，包括安装在节点顶端上的水下单目摄像头、安装在节点中心横切面外围的蓝光led灯带、安装在节点每个侧面中心的激光发射孔、安装在节点内部中心的单面镜片以及安装在单面镜片顶部的激光头；所述节点为十四面体类球立体结构；所述节点的上下底面以及中心横切面均为正六边形，所述节点同时具备发射和接收功能；
6.所述水下单目摄像头，用于采集接收节点上的灯带图像；
7.所述蓝光led灯，用于提供特征以被发射端捕获；
8.所述激光发射孔，用于使经单面镜片反射后的激光从激光发射孔中射向接收节点；
9.所述单面镜片，用于反射激光；
10.所述激光头，用于发射所需传输的激光信号。
11.本发明的有益效果是：本发明的定位装置中，设计了一种十四面体的立体节点结构，通过节点上安装的led灯带特征，可以用于深度学习模型的训练，该节点结果同时具备发射和接收的功能。既能采集图像，又能被捕获。
12.基于上述装置，本发明提供了一种基于深度学习图像检测的水下节点定位方法，包括以下步骤：
13.s1、利用发射节点搭载的水下单目摄像头拍摄包含接收节点的灯带图像，并利用深度学习神经网络对接收节点进行检测；
14.s2、根据检测到的目标检测框内的图像，利用曲线拟合方法提取灯带曲线，确定灯带的端点，并根据灯带的端点确定接收节点的像素直径大小；
15.s3、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，利用基于相似三角形的定位方法估计发射端与接收端的位置关系，完成水下节点定位。
16.本发明的有益效果是：本方案提出了一种分布式的基于深度学习图像检测的水下节点定位方案，以及设计了一种十四面体的立体节点结构，通过节点上安装的led灯带特征，可以用于深度学习模型的训练。同时提出了一种基于曲线拟合和相似三角形的定位算法来求解以相机为原点的坐标系中的接收节点的位置、距离和接收节点对准所需的旋转角。相比于传统的集中式部署导致的安装及维护上的问题，分布式的水下节点部署方案节点可以独立采集数据并运行定位算法；引入了检测性能普遍优越，精度高，且检测速度快的深度学习神经网络用于接收节点的检测；曲线拟合和相似三角形结合的定位方法使得单目相机就能完成接收节点的测距和方位估计。
17.进一步地，所述利用深度学习神经网络对接收节点进行检测前，包括：
18.a1、改变接收节点的位姿和水下单目摄像头与接收节点间的距离，并利用水下单目摄像头采集接收节点上的灯带图像；
19.a2、利用clahe算法对采集的灯带图像进行增强处理，得到图像数据集；
20.a3、将图像数据集中的接收节点标注后训练yolox模型，并利用训练后的yolox模型对接收节点进行检测。
21.上述进一步方案的有益效果是：采集接收节点的图像数据集后，并为能提取清晰的目标特征对图像进行增强处理，然后利用深度学习神经网络yolox模型训练后能对目标接收节点进行检测。
22.再进一步地，所述步骤s2包括以下步骤：
23.s201、根据检测到的目标检测框内的图像，依次通过高斯滤波、阈值二值化以及腐蚀和膨胀处理，提取灯带图像；
24.s202、从左向右逐列遍历灯带图像像素点，其中，对于每列灯带图像像素点，分别从上下两个方向确定灯带边缘的位置，并计算得到该列灯带图像的像素中心点位置；
25.s203、利用曲线拟合方法，将灯带图像的像素中心点位置拟合为一条曲线，得到灯
带曲线；
26.s204、分别从灯带图像的左右两端向中心逼近，确定灯带曲线两个端点的横坐标；
27.s205、将横坐标代入拟合的多项式中，计算得到灯带曲线两个端点的坐标位置；
28.s206、根据坐标位置，计算得到灯带曲线两个端点间的像素长度，其中，所述灯带曲线两个端点间的像素长度为接收节点的像素直径大小。
29.上述进一步方案的有益效果是：本发明通过深度学习图像检测模型对视域内的接收节点进行识别，并确定位置，通过图像预处理后将灯带拟合为一条曲线，计算节点的像素大小。
30.再进一步地，所述步骤s3包括以下步骤：
31.s301、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，计算得到接收节点p
′
与水下单目摄像头c的相对距离；
32.s302、计算得到水下单目摄像头的竖直旋转角以及水平旋转角
33.s303、根据接收节点与水下单目摄像头的相对距离以及竖直旋转角和水平旋转角，估计发射端与接收端的位置关系，完成水下节点定位。
34.上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准。
35.再进一步地，所述接收节点p
′
与水下单目摄像头c的相对距离d
cp
′
的表达式如下：
[0036][0037][0038]
其中，w
′
表示接收节点的实际直径大小，f表示水下单目摄像头的焦距，w表示接收节点的像素直径大小，(uo,vo)表示图像中心位置o的像素坐标，(u
p
,v
p
)表示接收节点的像素坐标，(x
p
′
,y
p
′
,z
p
′
)表示接收节点的实际坐标。
[0039]
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与目标节点之间的距离。
[0040]
再进一步地，竖直旋转角的表达式如下：
[0041][0042]
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点的对准所对应的竖直旋转角，为定位提供前提条件。
[0043]
再进一步地，所述水平旋转角的表达式如下：
[0044][0045]
上述进一步方案的有益效果是：本发明通过改进的相似三角形法确定相机与节点的对准所对应的水平旋转角，为定位提供前提条件。
附图说明
[0046]
图1为本发明的定位装置结构示意图。
[0047]
图2为本发明的流程图。
[0048]
图3为本实施例中目标测距及定位系统结构图。
[0049]
图4为本实施例中相机的成像原理图。
[0050]
图5为本实施例中相机与成像平面及物体平面之间的立体关系图。
具体实施方式
[0051]
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
[0052]
实施例1
[0053]
如图1所示，本发明提供了一种基于深度学习图像检测的水下节点定位装置，包括安装在节点顶端上的水下单目摄像头、安装在节点中心横切面外围的蓝光led灯带、安装在节点每个侧面中心的激光发射孔、安装在节点内部中心的单面镜片以及安装在单面镜片顶部的激光头；所述节点为十四面体类球立体结构；所述节点的上下底面以及中心横切面均为正六边形，所述节点同时具备发射和接收功能；所述水下单目摄像头，用于采集接收节点上的灯带图像；所述蓝光led灯，用于提供特征以被发射端捕获；所述激光发射孔，用于使经单面镜片反射后的激光从激光发射孔中射向接收节点；所述单面镜片，用于反射激光；所述激光头，用于发射所需传输的激光信号。
[0054]
本实施例中，如图1所示，图1(a)为节点的外部结构图，图1(b)为节点的内部结构图，本发明提供的水下节点定位装置包括安装在节点上的水下单目摄像头和蓝光led灯带。本方案提出一种十四面体的类球状立体结构设计，即节点的上下底面为正六边形，且节点中心横切面也是正六边形，可以认为在节点的姿态旋转后，中心横切面六边形的外切圆直径大小不变。本发明的定位场景中节点之间通信方式为半双工，节点需要同时具备发射和接收的功能，因此每个节点都在顶端安装水下单目摄像头用于采集图像，在中心横切面外围安装led灯带提供特征以被发射端捕获。此外，节点除去上下底面外共计12个侧面，每个侧面中心都有用于发射激光信号的激光发射孔。节点内部中央安装一单面镜片，该镜片可朝任意方向旋转，顶部安装激光头，发射所需传输的激光信号，激光束在镜片中心即节点的几何中心发生折射，从侧面的孔中射出。因此，该结构仅通过一个激光源即可朝任一侧面出射激光信号。
[0055]
本实施例中，发射节点顶端安装的水下单目摄像头采集到接收节点上的led灯带
图像后，由深度学习神经网络实现对目标接收节点的检测和提取。通过曲线拟合方法提取灯带曲线，确定灯带的端点，从而确定节点的像素直径大小。根据相机的焦距、节点的实际直径大小与图像中节点的像素直径大小，通过基于相似三角形的定位方法来估计此时发射端与接收端之间的相对位置关系。获取定位结果后，发射节点在定位后发射激光信号通信，发射节点内部的激光头发射激光信号，同时镜片旋转结构调整单面镜片的位姿，使激光束在镜片中心即节点的几何中心发生折射，从侧面的激光发射孔中射出。
[0056]
实施例2
[0057]
传统的水下节点定位方案主要为集中式的部署方式，在安装、维护以及标定上存在一些困难。因此，在本发明提出的基于神经网络的分布式节点定位方案，节点的部署及定位过程更加灵活，每个节点都可以独立的运行定位算法，无需将信息传输至集中节点上再进行定位。同时，相较于传统的数字图像处理技术，深度学习神经网络模型的检测性能普遍更优越，不仅精度高，且检测速度较快，更易于硬件端的部署。通过在节点上以led灯带增加图像特征，使用深度学习图像检测模型提取接收节点的位置，并通过改进的相似三角形法确定相机与节点之间的相对位置关系，从而完成发射节点与接收节点的对准。如图2-图3所示，本发明提供了一种基于深度学习图像检测的水下节点定位方法，其实现方法如下：
[0058]
s1、利用发射节点搭载的水下单目摄像头拍摄包含接收节点的灯带图像，并利用深度学习神经网络对接收节点进行检测；利用深度学习神经网络对目标接收节点进行检测前，包括：
[0059]
a1、改变接收节点的位姿和水下单目摄像头与接收节点间的距离，并利用水下单目摄像头采集接收节点上的灯带图像；
[0060]
a2、利用clahe算法对采集的灯带图像进行增强处理，得到图像数据集；
[0061]
a3、将图像数据集中的接收节点标注后训练yolox模型，并利用训练后的yolox模型对接收节点进行检测。
[0062]
本实施例中，获取深度学习神经网络来进行图像检测前，需要改变接收节点的位姿和相机与接收节点间的距离，然后采集图像。将图像数据集中的接收节点标注后训练网络模型。由于水下图像由于光的吸收散射容易出现模糊现象，使相机视域内的图像无法提取清晰的目标特征，同时由于水下环境中蓝绿光衰减较小，因此水下图像更容易偏向蓝绿色，出现色彩的失真情况，因此在进行图像检测之前首先需要图像增强处理。本发明选择使用clahe算法进行水下图像的预处理，能在突出前景图像的同时，并不被过度优化背景。本发明基于图像的节点定位选择yolox模型完成图像中接收节点位置的检测，相较于其他目标检测网络，yolox对节点姿态的变换的适应能力更高，可以准确的识别到接收节点并对其进行精确检测。
[0063]
s2、根据检测到的目标检测框内的图像，利用曲线拟合方法提取灯带曲线，确定灯带的端点，并根据灯带的端点确定接收节点的像素直径大小，其实现方法如下：
[0064]
s201、根据检测到的目标检测框内的图像，依次通过高斯滤波、阈值二值化以及腐蚀和膨胀处理，提取灯带图像；
[0065]
s202、从左向右逐列遍历灯带图像像素点，其中，对于每列灯带图像像素点，分别从上下两个方向确定灯带边缘的位置，并计算得到该列灯带图像的像素中心点位置；
[0066]
s203、利用曲线拟合方法，将灯带图像的像素中心点位置拟合为一条曲线，得到灯
带曲线；
[0067]
s204、分别从灯带图像的左右两端向中心逼近，确定灯带曲线两个端点的横坐标；
[0068]
s205、将横坐标代入拟合的多项式中，计算得到灯带曲线两个端点的坐标位置；
[0069]
s206、根据坐标位置，计算得到灯带曲线两个端点间的像素长度，其中，所述灯带曲线两个端点间的像素长度为接收节点的像素直径大小。
[0070]
本实施例中，提取灯带图像。由于灯带发光的特性，在图像中有着明显的亮度特征，因此可以通过高斯滤波、阈值二值化、腐蚀和膨胀将灯带与背景分割。高斯滤波主要用于平滑图像中的噪声，本发明采用了大小为3
×
3，系数σ＝0.8的高斯滤波器如下：
[0071][0072]
此时的图像为灰度图像，对其进行阈值二值化处理，通过遍历图像中所有像素的灰度值，大于阈值的部分像素变为255，即白色，其他部分变为0，即黑色，从而完成图像中灰色像素的划分。本发明的阈值设置为200，经过阈值二值化处理后的图像中的像素只有黑白两色。为使白色的灯带图像更加平滑和均匀，采用了腐蚀和膨胀来对图像进行进一步的处理。经过图像腐蚀和膨胀可以处理图像中的白色噪点，同时平滑灯带的边缘，让灯带粗细更为均匀，此时的图像可以提取曲线特征。
[0073]
本实施例中，通过多项式拟合得到灯带曲线。由于此时的图像中灯带为白色，背景为黑色，因此从左向右逐列遍历图像像素点，对于每列像素，分别从上下两个方向确定灯带边缘的位置，并计算该列灯带的像素中心点位置。最后，通过多项式拟合，将图像中灯带的中心点拟合为一条曲线，其中每个中心点之间间隔的步长根据多项式拟合所需的点的数量决定。
[0074]
本实施例中，根据灯带曲线计算节点大小。分别从图像的左右两端向中心逼近，确定灯带曲线的两个端点的横坐标，代入拟合的多项式中计算出两个端点的坐标位置，进而计算两个端点间的像素长度，即节点的像素直径大小，记为w。
[0075]
s3、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，利用基于相似三角形的定位方法估计发射端与接收端的位置关系，完成水下节点定位，其实现方法如下：
[0076]
s301、根据水下单目摄像头的焦距、接收节点的实际直径大小以及接收节点的像素直径大小，计算得到接收节点p
′
与水下单目摄像头c的相对距离；
[0077]
s302、计算得到水下单目摄像头的竖直旋转角以及水平旋转角
[0078]
s303、根据接收节点与水下单目摄像头的相对距离以及竖直旋转角和水平旋转角，估计发射端与接收端的位置关系，完成水下节点定位。
[0079]
本实施例中，如图4-图5所示，其中，图4(a)为目标物像光线通过主光轴，图4(b)为目标物体不在相机主光轴。相似三角形的定位方法主要是通过目标的实际尺度与画面中的像素尺度确定像素坐标系与世界坐标系下尺度的转换关系，并通过相机焦距对目标的实际位置进行测量和估计。d为目标物体与相机之间的垂直距离，f为相机焦距，为相机的既有参数，w
′
表示节点实际的直径大小，即节点中央切面的外接圆直径，w是节点经小孔成像后在成像平面上的像素直径大小，根据相似三角形法可得：
[0080][0081]
因此相机与节点之间的垂直距离为：
[0082][0083]
其中，c为相机的位置，p是相机拍摄的图像中物体的像素坐标，即深度学习对目标进行识别的检测框中心，p
′
是物体实际位置的几何中心。物体与相机的实际位置通过以相机c为原点建立的坐标系来表示，且y轴表示相机主光轴的方向，f为焦距。同时，在成像平面中存在像素坐标系，其原点o位于图像的左上角，向右为u轴，向下为v轴，目标p的像素坐标记为(u
p
,v
p
)，图像中心位置o的像素坐标记为(uo,vo)，可得图像中目标与图像中心的像素长度，记为：
[0084][0085]
根据相似三角形可得op实际长度o
′
p
′
，记为do′
p
′
，则：
[0086][0087]
记相机与目标p
′
之间的实际距离cp
′
为d
cp
′
，可推算得节点与相机之间的相对距离：
[0088][0089]
同时，记目标p
′
的实际坐标为(x
p
′
,y
p
′
,z
p
′
)，则：
[0090][0091]
本实施例中，为使相机所在的信息发送端完成与接收端的对准，又相机与发送端节点相对固定，可通过旋转相机的视角，当相机拍摄的图像中节点移动至图像的中心位置，即完成了节点的对准。记相机的竖直旋转角为水平旋转角为相机可以通过先在竖直方向上旋转然后在水平方向上向右旋转使节点的像素位置p移动至图像中心位置o处。作of垂直pf于f,f
′
为f的实际位置，可得竖直旋转角：
[0092][0093]
记cf
′
长度为d
cf
′
，可以计算得到：
[0094][0095]
可计算水平旋转角：
[0096][0097]
本发明提出了一种分布式的基于深度学习图像检测的水下节点定位方案，以及设计了一种十四面体的立体节点结构，通过节点上安装的led灯带特征，可以用于深度学习模型的训练。同时提出了一种基于曲线拟合和相似三角形的定位算法来求解以相机为原点的坐标系中的节点的位置、距离和节点对准所需的旋转角。相比于传统的集中式部署导致的安装及维护上的问题，分布式的水下节点部署方案节点可以独立采集数据并运行定位算法；引入了检测性能普遍优越，精度高，且检测速度快的深度学习神经网络用于接收节点的检测；曲线拟合和相似三角形结合的定位方法使得单目相机就能完成接收节点的测距和方位估计。