一种基于改进U-net的无人机海上溢油路径识别方法及装置与流程

一种基于改进u-net的无人机海上溢油路径识别方法及装置
技术领域
1.本发明涉及无人机路径识别领域技术领域，尤其涉及一种对海上溢油无人机路径识别领域技术领域。


背景技术：

2.目前，美国、新加坡等发达国家大都采用高空卫星监控和低空飞机巡视相结合的方法机型海上溢油监测，利用卫星遥感大范围监测海面的优势，利用低空飞机对指定溢油点进行详细巡航。在国内，对海上溢油的监测主要依赖溢油雷达和水质监测等手段国内现有的溢油监测设备无法对近海岸敏感环境和危险区域进行报警，溢油监视和预警能力较弱。
3.原始的全卷积网络fcn学习从像素到像素的映射，而不提取区域建议。fcn网络管道是经典cnn的延伸。其主要思想是使经典的cnn以任意大小的图像作为输入。cnn仅接受和生产特定尺寸输入的标签的限制来自完全连接的固定层。与之相反，fcn只有卷积层和池层，它们能够对任意大小的输入进行预测。
4.国内现有的溢油监测设备无法对近海岸敏感环境和危险区域进行报警，溢油监视和预警能力较弱。
5.以往在图像分类或者图像目标检测方面，一般做法是原始图像通过不断地卷积下采样，将图像的尺度变小并得到若干特征图。在一系列的特征提取后，提取出高层语义特征，然后进入非线性分类器或者线性分类器进行图像分类，或者通过位置回归进行目标识别和检测。然而，在进行目标分割时，传统基于cnn的分割方法为了对像素进行分类，将该像素的领域像素块作为cnn的输入，但该方法有以下缺点:存储开销大，卷积操作不断滑动窗口，然后进行判别分类，需要的存储空间消耗大；存在大量冗余计算，图像的相邻像素在空间上重复，计算每个像素块的卷积时存在大量像素冗余和重复计算；感受野被限制，像素块尺寸小，在该区域进行卷积操作只能提取少量的特征，会导致分类任务难以进行。
6.fcn不限制输入图像的尺寸，且不增加像素块的存储开销，并避免了卷积计算冗余，但fcn也存在以下问题:细节模糊，不同倍率的多倍上采样虽然效果提升显著，但是单次上采样难以集合图像低层特征，导致结果对图像中的细节不敏感；忽略局部和整体的关系，对各像素进行分类虽能分割物体，但像素与像素之间存在连续性，因此缺乏空间一致性。
7.虽然针对fcn细节处理不敏感的问题，u-net网络使用侧边连接可弥补不足，但低层信息的不充分利用导致检测效果不理想。对于海上溢油来说，其语义特征稀少，低层信息偏多，u-net较多考虑高层特征，较少对低层信息进行重复利用，并且未从多尺度角度分析目标所在区域。


技术实现要素：

8.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
9.为此，本发明的第一个目的在于提出一种基于改进u-net的无人机海上溢油路径
识别方法，以实现无人机本身具有溢油监测航程远、费效比低、机动灵活等多种特性。
10.本发明的第二个目的在于提出种基于改进u-net的无人机海上溢油路径识别装置。
11.本发明的第三个目的在于提出一种计算机设备。
12.本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
13.为达上述目的，本发明第一方面实施例提出了一种基于改进u-net的无人机海上溢油路径识别方法，包括以下步骤：
14.利用无人机采集视频数据；
15.从所述视频数据中获取预设数量的图像，对所述图像中的溢油像素进行标注，根据标注后的溢油像素生成溢油数据集；
16.基于多尺度u-net语义分割算法，根据所述溢油数据集对预设的全卷积神经网络进行训练，得到溢油分割模型；
17.根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点；
18.对拟合中点进行曲线近似拟合，以完成溢油区域导航路径的识别。
19.可选地，在本技术的一个实施例中，根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点，包括：
20.选取所述图像的下沿中心位置作为起始点，轮廓极点坐标位置为终点，并确定起始点坐标和终点坐标；
21.以所述起始点为中心，对称生成横坐标间距相等的扫描起始点；
22.使用起始点和终点之间的斜率组成多对等距扫描线，通过所述多对等距扫描线对所述图像进行逐像素斜向扫描,以得到左侧扫描线的左边缘信息点以及右侧扫描线的右边缘信息点；
23.根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标；
24.根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点。
25.可选地，在本技术的一个实施例中，所述第j段对等距扫描线表示为：
26.右扫描线：
27.y-ys＝k[x-(xs jh)]
[0028]
左扫描线：
[0029]
y-ys＝k[x-(x
s-jh)]
[0030]
选取图像下沿中心位置作为导航起始点，轮廓极点坐标位置作为终点，求出两点间的斜率k：
[0031]
k＝(y
e-ys)/(x
e-xs)
[0032]
其中，k为起点和终点的斜率，h为扫描间距，(xs,ys)为起始点坐标，(xe,ye)为终点坐标。
[0033]
可选地，在本技术的一个实施例中，根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标，包括：
[0034]
对多对边缘信息点进行求均值，其中，第j个拟合中点坐标表示为：
[0035][0036][0037]
其中，为第j个左边缘点坐标，为第j个右边缘点坐标，为第j个拟合中点坐标。
[0038]
可选地，在本技术的一个实施例中，根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点，包括：
[0039]
将所述起始点坐标、所述终点坐标和所述拟合中点坐标作为b样条的控制顶点进行曲线拟合，在n个控制顶点中vi(i＝1,2,3
…
,n)按顺序每次取出相邻的四个顶点，第i次取出的顶点为vi,v
i 1
,v
i 2
,v
i 3
；
[0040]
每四个控制顶点拟合为一段曲线，以生成n个控制顶点拟合得到的n-3个曲线；
[0041]
其中，所述b样条曲线的总方程为：其中，pi是控制曲线的特征点，f
i,k
(u)则是k阶b样条基函数。
[0042]
为达上述目的，本技术第二方面实施例提出本发明一种基于u-net的无人机海上溢油路径识别装置，包括以下模块：
[0043]
采集模块，用于利用无人机采集视频数据；
[0044]
标注模块，用于从所述视频数据中获取预设数量的图像，对所述图像中的溢油像素进行标注，根据标注后的溢油像素生成溢油数据集；
[0045]
训练模块，用于基于多尺度u-net语义分割算法，根据所述溢油数据集对预设的全卷积神经网络进行训练，得到溢油分割模型；
[0046]
生成模块，用于根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点；
[0047]
识别模块，用于对拟合中点进行曲线近似拟合，以完成溢油区域导航路径的识别。
[0048]
可选地，在本技术的一个实施例中，所述生成模块包括：
[0049]
选取单元，用于选取所述图像的下沿中心位置作为起始点，轮廓极点坐标位置为终点，并确定起始点坐标和终点坐标；
[0050]
第一生成单元，用于以所述起始点为中心，对称生成横坐标间距相等的扫描起始点；
[0051]
获取单元，用于使用起始点和终点之间的斜率组成多对等距扫描线，通过所述多对等距扫描线对所述图像进行逐像素斜向扫描,以得到左侧扫描线的左边缘信息点以及右侧扫描线的右边缘信息点；
[0052]
第二生成单元，用于根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标；
[0053]
第三生成单元，用于根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点。
[0054]
本技术的技术效果：本技术的方法可以使无人机本身具有溢油监测航程远、费效比低、机动灵活等多种特性,可运用无人机对海上重点溢油区域进行监测,及时发现海上溢油状况，并且可以追溯到溢油发生的源头，以便及时处理。
[0055]
为达上述目的，本技术第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现本技术第一方面实施例所述的基于改进u-net的无人机海上溢油路径识别方法。
[0056]
为达上述目的，本技术第四方面实施例提出了一种非临时性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现本技术第一方面实施例所述的基于改进u-net的无人机海上溢油路径识别方法。
[0057]
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
[0058]
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0059]
图1为本技术实施例的基于改进u-net的无人机海上溢油路径识别方法的流程图。
[0060]
图2是本技术实施例的处理海上溢油图片的神经网络结构图；
[0061]
图3是本技术实施例的生成溢油区域拟合中点流程图；
[0062]
图4为本技术实施例的基于改进u-net的无人机海上溢油路径识别装置的结构示意图。
具体实施方式
[0063]
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
[0064]
下面参考附图描述本发明实施例的一所提供的一种基于u-net的无人机海上溢油路径识别方法。
[0065]
如图1所示，为达上述目的，本发明第一方面实施例提出了一种基于u-net的无人机海上溢油路径识别方法，包括以下步骤：
[0066]
步骤s10、利用无人机采集视频数据；
[0067]
步骤s20、从所述视频数据中获取预设数量的图像，对所述图像中的溢油像素进行标注，根据标注后的溢油像素生成溢油数据集；
[0068]
步骤s30、基于多尺度u-net语义分割算法，根据所述溢油数据集对预设的全卷积神经网络进行训练，得到溢油分割模型；
[0069]
步骤s40、根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点；
[0070]
步骤s50、对拟合中点进行曲线近似拟合，以完成溢油区域导航路径的识别。
[0071]
在本技术的一个实施例中，进一步地，根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点，包括：
[0072]
选取所述图像的下沿中心位置作为起始点，轮廓极点坐标位置为终点，并确定起始点坐标和终点坐标；
[0073]
以所述起始点为中心，对称生成横坐标间距相等的扫描起始点；
[0074]
使用起始点和终点之间的斜率组成多对等距扫描线，通过所述多对等距扫描线对所述图像进行逐像素斜向扫描,以得到左侧扫描线的左边缘信息点以及右侧扫描线的右边缘信息点；
[0075]
根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标；
[0076]
根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点。
[0077]
在本技术的一个实施例中，进一步地，具体而言，如附图2所示，其中数据集的划分具体如下：
[0078]
输入模块input：将输入的512
×
512的3通道图片，使用32通道大小为3
×
3的卷积核进行一次卷积计算得到32个大小为512
×
512的特征图c1。
[0079]
c1接着连接到密集块dense block和transition layer中，也就是图2中的d1和t1。设置growth rate的k值为3，该操作得到128个特征图大小为512
×
512的特征层d1，并在transition layer得到128个特征图大小为256
×
256的特征层t1，t1再经过kernel为3
×
3的卷积得到64个特征图大小为256
×
256的特征层c2。
[0080]
c2、c3、和c4进行的操作和c1一致，得到512个32
×
32的特征层c5。
[0081]
c5使用256个卷积核为2
×
2，步长为2的反卷积操作后，得到256个大小为64
×
64的特征图，然后将卷积块d4与之拼接，得到1280个大小为64
×
64的特征图，在经过kernel.为3
×
3的卷积得到640个大小为64
×
64的特征层u4。
[0082]
u4使用320个卷积核为2
×
2，步长为2的反卷积操作后，得到320个大小为128
×
128的特征图，然后将卷积块d3与之拼接，得到832个大小为128
×
128的特征图，在经过kernel.为3
×
3的卷积得到416个大小为128
×
128的特征层u3。
[0083]
u3使用208个卷积核为2
×
2，步长为2的反卷积操作后，得到208个大小为256
×
256的特征图，然后将卷积块d2与之拼接，得到464个大小为256
×
256的特征图，在经过kernel.为3
×
3的卷积得到232个大小为256
×
256的特征层u2。
[0084]
u2使用116个卷积核为2
×
2，步长为2的反卷积操作后，得到116个大小为512
×
512的特征图，然后将卷积块d1与之拼接，得到244个大小为512
×
512的特征图，在经过kernel.为3
×
3的卷积得到112个大小为512
×
512的特征层u1。
[0085]
输出模块output：u1使用单通道大小为1
×
1的卷积核对输入图像卷积计算得到1个大小为512
×
512的特征图。
[0086]
在输出层采用softmax分类方式，即通过将两个类型的的输出权重转化为该像素点属于某个类型的概率，并将该像素点划分为可能性最大的类型进行输出，实现二分类。
[0087]
在本技术的一个实施例中，进一步地，具体而言，如附图3所示，选取图像下沿中心位置作为导航起始点，轮廓极点坐标位置作为终点，求出两点间的斜率k，k＝(y
e-ys)/(x
e-xs)，其中(xs,ys)为起始点坐标，(xe,ye)为终点坐标。
[0088]
以导航起始点为中心，对称生成横坐标间距相等的扫描起始点，并使用起始点和
终点之间的斜率组成多对等距扫描线进行逐像素斜向扫描。
[0089]
在本技术的一个实施例中，进一步地，所述第j段对等距扫描线表示为：
[0090]
右扫描线：
[0091]
y-ys＝k[x-(xs jh)]
[0092]
左扫描线：
[0093]
y-ys＝k[x-(x
s-jh)]
[0094]
其中，k为起点和终点的斜率，h为扫描间距，(xs,ys)为起始点坐标，(xe,ye)为终点坐标，在二值化图像中，溢油区域像素值为255，背景像素值为0，如果某2个相邻位置像素的像素值从0变为255，则认为该点为边缘信息点，其中左侧扫描线得到左边缘信息点，右侧扫描线得到右边缘信息点。
[0095]
在本技术的一个实施例中，进一步地，根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标，包括：
[0096]
对多对边缘信息点进行求均值，其中，第j个拟合中点坐标表示为：
[0097][0098][0099]
其中，为第j个左边缘点坐标，为第j个右边缘点坐标，为第j个拟合中点坐标。
[0100]
在本技术的一个实施例中，进一步地，根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点，包括：
[0101]
将所述起始点坐标、所述终点坐标和所述拟合中点坐标作为b样条的控制顶点进行曲线拟合，在n个控制顶点中vi(i＝1,2,3
…
,n)按顺序每次取出相邻的四个顶点，第i次取出的顶点为vi,v
i 1
,v
i 2
,v
i 3
；
[0102]
每四个控制顶点拟合为一段曲线，以生成n个控制顶点拟合得到的n-3个曲线；
[0103]
其中，所述b样条曲线的总方程为：其中，pi是控制曲线的特征点，f
i,k
(u)则是k阶b样条基函数。
[0104]
在本技术的一个实施例中，进一步地，具体而言，三次b样条曲线方程中基函数为：
[0105][0106]
其中表示阶乘，化成简单的公式就是：
[0107]f0,3
(t)＝(1-t)3/6
[0108]f1,3
(t)＝(3t
3-6t2 4)/6
[0109]f2,3
(t)＝(-3t3 3t2 3t 1)/6
[0110]f3,3
(t)＝t3/6
[0111]
将基函数代入到b样条总方程，就是：
[0112]
p(t)＝p0×f0,3
(t) p1×f1,3
(t) p2×f2,3
(t) p3×f3,3
(t)。
[0113]
本技术的技术效果：本技术的方法可以使无人机本身具有溢油监测航程远、费效比低、机动灵活等多种特性,可运用无人机对海上重点溢油区域进行监测,及时发现海上溢油状况，并且可以追溯到溢油发生的源头，以便及时处理。
[0114]
如图4所示，为达上述目的，本技术第二方面实施例提出本发明一种基于u-net的无人机海上溢油路径识别装置，包括以下模块：
[0115]
采集模块，用于利用无人机采集视频数据；
[0116]
标注模块，用于从所述视频数据中获取预设数量的图像，对所述图像中的溢油像素进行标注，根据标注后的溢油像素生成溢油数据集；
[0117]
训练模块，用于基于多尺度u-net语义分割算法，根据所述溢油数据集对预设的全卷积神经网络进行训练，得到溢油分割模型；
[0118]
生成模块，用于根据所述溢油分割模型生成的溢油分割掩码进行导航信息提取，生成溢油区域拟合中点；
[0119]
识别模块，用于对拟合中点进行曲线近似拟合，以完成溢油区域导航路径的识别。
[0120]
在本技术的一个实施例中，进一步地，所述生成模块包括：
[0121]
选取单元，用于选取所述图像的下沿中心位置作为起始点，轮廓极点坐标位置为终点，并确定起始点坐标和终点坐标；
[0122]
第一生成单元，用于以所述起始点为中心，对称生成横坐标间距相等的扫描起始点；
[0123]
获取单元，用于使用起始点和终点之间的斜率组成多对等距扫描线，通过所述多对等距扫描线对所述图像进行逐像素斜向扫描,以得到左侧扫描线的左边缘信息点以及右侧扫描线的右边缘信息点；
[0124]
第二生成单元，用于根据所述左边缘信息点和所述右边缘信息点生成拟合中点坐标；
[0125]
第三生成单元，用于根据所述起始点坐标、所述终点坐标和所述拟合中点坐标生成溢油区域拟合中点。
[0126]
本技术的技术效果：本技术的方法可以使无人机本身具有溢油监测航程远、费效比低、机动灵活等多种特性,可运用无人机对海上重点溢油区域进行监测,及时发现海上溢油状况，并且可以追溯到溢油发生的源头，以便及时处理。
[0127]
为了实现上述实施例，本发明还提出一种计算机设备，该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现本技术实施例的基于u-net的无人机海上溢油路径识别方法。
[0128]
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，该计算机存储有计算机程序，所述计算机程序被处理器执行时，实现本技术实施例的基于u-net的无人机海上溢油路径识别方法。
[0129]
尽管参考附图详地公开了本技术，但应理解的是，这些描述仅仅是示例性的，并非用来限制本技术的应用。本技术的保护范围由附加权利要求限定，并可包括在不脱离本技术保护范围和精神的情况下针对发明所作的各种变型、改型及等效方案。
[0130]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特
点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0131]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0132]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
[0133]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0134]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
[0135]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0136]
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机
可读取存储介质中。
[0137]
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。