一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的制作方法

1.本技术涉及海洋垃圾清理领域，且更为具体地，涉及一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备。


背景技术：

2.随着人类活动的密集，海洋污染问题也越来越严重。从废弃渔网到塑料袋，香烟过滤嘴，危害全球海洋和海岸海洋垃圾问题正在愈演愈烈。海洋垃圾影响海洋景观，威胁航行安全，并对海洋生态系统的健康产生影响，进而对海洋经济产生负面效应。由于海洋垃圾的影响，大量的海洋生物误吞食后导致死亡，大量的海洋鱼类等服用海洋中的微塑料等海洋垃圾，进而被人类食用，从而严重影响人类健康。因此，及时地对海洋垃圾进行清理尤为重要。
3.传统的海洋垃圾打捞多为借助渔船的人工打捞，由于渔船自身承载力小和人力依赖性强，这种作业方式逐渐被现代大型船舶机械的海洋打捞方法替代。在利用大型船舶机械进行海洋垃圾打捞，如何进行打捞路径规划是重要的技术问题，其原因为打捞路径规划不仅仅关乎于打捞效率，还关乎于打捞能耗。
4.因此，期待一种优化的海洋环境的海洋打捞设备，其能够基于近海海洋垃圾的分布来确定最优的打捞路径方案。


技术实现要素：

5.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备，其通过使用卷积神经网络对近海俯瞰图进行局部特征提取，进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息，同时，提取备选打捞路径的打捞路径特征，进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息，生成用于表示备选规划路径为最优打捞路径的概率值，特别地，将最大概率值对应的所述备选规划路径确定为最优打捞路径。
6.根据本技术的一个方面，提供了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备，其包括：近海图像采集模块，用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；近海图像一级编码模块，用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图；特征图展开模块，用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；全局相关性编码模块，用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；
矩阵化模块，用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；备选打捞路径提取模块，用于获取备选打捞规划路径；备选路径映射模块，用于基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；向量查询模块，用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；以及打捞路径分析模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
7.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述近海图像一级编码模块，进一步用于：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
8.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述特征图展开模块，进一步用于：将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
9.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述全局相关性编码模块，包括：特征向量优化单元，用于对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列；全局语义编码单元，用于使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
10.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述特征向量优化单元，包括：优化权重计算子单元，用于以如下公式来计算所述俯瞰特征向量的序列中各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数，其中，所述公式为：激励优化因数，其中，所述公式为：和是所述俯瞰特征向量的所有位置的特征值集合的均值和方差，是所述俯瞰特征向量中各个位置的特征值，和表示激活函数，表示以所述方差的负值为幂的自然指数函数值；以及，加权子单元，用于以所述各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数作为权重分别对所述俯瞰特征向量的序列中各个俯瞰特征向量进行加权以得到所述优化俯瞰特征向量的序列。
11.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述备选路径映射模块，进一步用于：基于所述备选打捞路径在所述近海俯瞰图像上的位置，从所述全局语义俯瞰特征矩阵得到所述备选路径特征向量。
12.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，所述打捞路径分
析模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果，其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征向量。
13.在上述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中，还包括打捞路径确定模块，用于将最大概率值对应的所述备选规划路径确定为最优打捞路径。
14.根据本技术的另一方面，提供了一种保护海洋环境的近岸海洋垃圾打捞收集方法，其包括：获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图；将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；获取备选打捞规划路径；基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；以及将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
15.根据本技术的再一方面，提供了一种电子设备，包括：处理器；以及，存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如上所述的保护海洋环境的近岸海洋垃圾打捞收集方法。
16.根据本技术的又一方面，提供了一种计算机可读介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行如上所述的保护海洋环境的近岸海洋垃圾打捞收集方法。
17.与现有技术相比，本技术提供的一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备，其通过使用卷积神经网络对近海俯瞰图进行局部特征提取，进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息，同时，提取备选打捞路径的打捞路径特征，进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息，生成用于表示备选规划路径为最优打捞路径的概率值，特别地，将最大概率值对应的所述备选规划路径确定为最优打捞路径。
附图说明
18.通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
19.图1图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的应用场景图；图2图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的框图；图3图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的系统架构图；图4图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中第一卷积神经网络编码过程的流程图；图5图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中全局相关性编码模块的框图；图6图示了根据本技术实施例的保护海洋环境的近岸海洋垃圾打捞收集方法的流程图。
具体实施方式
20.下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
21.场景概述特别地，在本技术的技术方案中，所述海洋打捞设备为基于大型船舶机械的海洋垃圾打捞收集装置，其在进行打捞海洋垃圾前，能够对海上垃圾分布特征进行分析以最优打捞路径，这样不能仅提高打捞效率，还能够降低打捞能耗。
22.具体地，在本技术的技术方案中，首先由与海洋打捞设备可通信连接的无人机采集近海俯瞰图像。这里，无人机具有飞行能力，因此，其可以覆盖近海海域。在本技术的技术方案中，可将无人机所采集的多张近海海域局部图像进行拼接以得到所述近海俯瞰图像。
23.接着，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取海洋垃圾分布局部特征，也就是，将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。这里，作为特征提取器的卷积神经网络模型在提取图像局部特征时，因卷积核的感受野有限，因此其仅能够提取近海海洋分布的局部特征，但在进行路径规划时，需要基于近海海域海洋垃圾分布的全局特征来进行打捞路径规划，而如果过于关注于局部特征则会陷入局部最优的困境中。
24.因此，在本技术的技术方案中，将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列，然后，将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量。也就是说，在本技术的技术方案中，首先将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量，应可以理
解，俯瞰特征图的沿通道维度的各个特征矩阵为海洋垃圾分布的局部特征；接着，利用转换器思想对所述海洋垃圾分布的局部特征进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。接着，将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵。
25.特别地，在本技术的技术方案中，在将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个全局上下文语义俯瞰特征向量时，考虑到基于转换器的上下文编码器对所述俯瞰特征图的沿通道维度的各个特征矩阵展开后得到的特征向量进行的全局相关性编码，如果能够提高各个俯瞰特征向量之间的表达一致性，则显然能够提高基于转换器的上下文编码器的编码效果。
26.因此，优选地，对于所述多个俯瞰特征向量，分别计算其深度递归的通道压榨-激励优化因数：励优化因数：和是特征集合的均值和方差，是俯瞰特征向量的特征值。
27.这里，所述深度递归的通道压榨-激励优化因数可以基于所述俯瞰特征向量的沿特征分布方向，即所述俯瞰特征图的图像语义的空间分布方向的特征集合的统计特性来激活图像空间分布的深度递归，从而推断所述俯瞰特征图在其各个通道采样位置的关联分布，并且，采用由-函数构成的通道压榨-激励机制，来获取通道注意力增强的分布置信度值，通过以其作为加权因数对所述多个俯瞰特征向量进行加权，可以增强所述多个俯瞰特征向量在表达所述俯瞰特征图的通道分布维度情况下的表达一致性，从而提高所述基于转换器的上下文编码器对所述俯瞰特征向量的序列的编码效果。
28.然后，获取备选打捞路径。特别地，在本技术的技术方案中，所述备选打捞路径可通过计算机程序随机生成。然后，基于所述备选打捞路径在所述近海俯瞰图像的位置，将所述备选打捞规划路径映射为备选路径特征向量，例如，基于所述备选打捞路径在所述近海俯瞰图像的位置，找到在所述全局语义俯瞰特征矩阵的对应位置的特征值，并将所有对应位置的特征值进行顺序排列以得到所述备选路径特征向量。
29.接着，以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解，所述备选路径特征向量表示打捞路径特征，而所述全局语义俯瞰特征矩阵表示海洋垃圾分布全局特征，因此，计算两者的乘积可以表示备选打捞路径在基于所述全局语义俯瞰特征矩阵的条件下的打捞效果特征。
30.继而，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。在得到所有备选打捞路径为最优打捞路径的概率值后，将最大概率值对应的所述备选规划路径确定为最优打捞路径。
31.基于此，本技术提出了一种基于近海海洋垃圾分布确定打捞路径的海洋打捞设备，其包括：近海图像采集模块，用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；近海图像一级编码模块，用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图；特征图展开模块，用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；全局相关性编码模
块，用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；矩阵化模块，用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；备选打捞路径提取模块，用于获取备选打捞规划路径；备选路径映射模块，用于基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；向量查询模块，用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；以及，打捞路径分析模块，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
32.图1图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的应用场景图。如图1所示，在该应用场景中，由与海洋打捞设备可通信连接的无人机（例如，如图1中所示意的u）获取近海俯瞰图像，以及，获取由计算机随机生成的备选打捞路径。接着，将上述信息输入至部署有用于保护海洋环境的近岸海洋垃圾打捞收集算法的服务器（例如，图1中的s）中，其中，所述服务器能够以所述保护海洋环境的近岸海洋垃圾打捞收集算法对上述信息进行处理，以生成用于表示备选规划路径为最优打捞路径的概率值的分类结果。
33.在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
34.图2图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备的框图。如图2所示，根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300，包括：近海图像采集模块310；近海图像一级编码模块320；特征图展开模块330；全局相关性编码模块340；矩阵化模块350；备选打捞路径提取模块360；备选路径映射模块370；向量查询模块380；以及，打捞路径分析模块390。
35.其中，所述近海图像采集模块310，用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；所述近海图像一级编码模块320，用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图；所述特征图展开模块330，用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；所述全局相关性编码模块340，用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；所述矩阵化模块350，用于将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；所述备选打捞路径提取模块360，用于获取备选打捞规划路径；所述备选路径映射模块370，用于基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；所述向量查询模块380，用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；以及，所述打捞路径分析模块390，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
36.图3图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的系统架构图。如图3所示，首先通过所述近海图像采集模块310获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；然后，所述近海图像一级编码模块320将所述近海图像采集模块310获取的近海俯瞰图像通过作为特征提取器的第一卷积神经网络模
型以得到俯瞰特征图；所述特征图展开模块330将所述近海图像一级编码模块320生成的俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；接着，所述全局相关性编码模块340将所述特征图展开模块330得到的俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；所述矩阵化模块350将所述全局相关性编码模块340得到的多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；同时，所述备选打捞路径提取模块360获取备选打捞规划路径；所述备选路径映射模块370基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；所述向量查询模块380以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；进而，所述打捞路径分析模块390将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
37.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述近海图像采集模块310，用于获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像。应可以理解，无人机具有飞行能力，因此，其可以覆盖近海海域。在本技术的技术方案中，可将无人机所采集的多张近海海域局部图像进行拼接以得到所述近海俯瞰图像。在本技术的技术方案中，所述海洋打捞设备为基于大型船舶机械的海洋垃圾打捞收集装置，其在进行打捞海洋垃圾前，能够对海上垃圾分布特征进行分析以最优打捞路径，这样不能仅提高打捞效率，还能够降低打捞能耗。
38.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述近海图像一级编码模块320，用于将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。使用在图像特征提取领域具有优异性能表现的卷积神经网络模型作为特征提取器来提取海洋垃圾分布局部特征，也就是，将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图。
39.图4图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中第一卷积神经网络编码过程的流程图。如图4所示，所述第一卷积神经网络编码过程，进一步用于：s210，对输入数据进行卷积处理以得到卷积特征图；s220，对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图；以及，s230，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
40.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述特征图展开模块330，用于将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列。应可以理解，作为特征提取器的卷积神经网络模型在提取图像局部特征时，因卷积核的感受野有限，因此其仅能够提取近海海洋分布的局部特征，但在进行路径规划时，需要基于近海海域海洋垃圾分布的全局特征来进行打捞路径规划，而如果过于关注于局部特征则会陷入局部最优的困境中。因此，在本技术的技术方案中，将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列。在本技术的一个具体示例中，所述特征图展开模块，进一步用于：将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得
到所述俯瞰特征向量的序列。
41.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述全局相关性编码模块340和矩阵化模块350，用于将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量，继而将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵。也就是，将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量。也就是说，在本技术的技术方案中，首先将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量，应可以理解，俯瞰特征图的沿通道维度的各个特征矩阵为海洋垃圾分布的局部特征；接着，利用转换器思想对所述海洋垃圾分布的局部特征进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
42.特别地，在本技术的技术方案中，在将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个全局上下文语义俯瞰特征向量时，考虑到基于转换器的上下文编码器对所述俯瞰特征图的沿通道维度的各个特征矩阵展开后得到的特征向量进行的全局相关性编码，如果能够提高各个俯瞰特征向量之间的表达一致性，则显然能够提高基于转换器的上下文编码器的编码效果。
43.因此，优选地，对于所述多个俯瞰特征向量，分别计算其深度递归的通道压榨-激励优化因数：励优化因数：和是所述俯瞰特征向量的所有位置的特征值集合的均值和方差，是所述俯瞰特征向量中各个位置的特征值，和表示激活函数，表示以所述方差的负值为幂的自然指数函数值，是俯瞰特征向量的特征值。
44.这里，所述深度递归的通道压榨-激励优化因数可以基于所述俯瞰特征向量的沿特征分布方向，即所述俯瞰特征图的图像语义的空间分布方向的特征集合的统计特性来激活图像空间分布的深度递归，从而推断所述俯瞰特征图在其各个通道采样位置的关联分布，并且，采用由-函数构成的通道压榨-激励机制，来获取通道注意力增强的分布置信度值，通过以其作为加权因数对所述多个俯瞰特征向量进行加权，可以增强所述多个俯瞰特征向量在表达所述俯瞰特征图的通道分布维度情况下的表达一致性，从而提高所述基于转换器的上下文编码器对所述俯瞰特征向量的序列的编码效果。
45.图5图示了根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备中全局相关性编码模块的框图。如图5所示，所述全局相关性编码模块340，包括：特征向量优化单元341，用于对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列；全局语义编码单元342，用于使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。
46.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述备选打捞路径提取模块360，用于获取备选打捞规划路径。在本技术的技术方
案中，所述备选打捞路径可通过计算机程序随机生成。
47.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述备选路径映射模块370，用于基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量。也就是，基于所述备选打捞路径在所述近海俯瞰图像的位置，将所述备选打捞规划路径映射为备选路径特征向量，例如，基于所述备选打捞路径在所述近海俯瞰图像的位置，找到在所述全局语义俯瞰特征矩阵的对应位置的特征值，并将所有对应位置的特征值进行顺序排列以得到所述备选路径特征向量。
48.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述向量查询模块380，用于以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解，以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量。应可以理解，所述备选路径特征向量表示打捞路径特征，而所述全局语义俯瞰特征矩阵表示海洋垃圾分布全局特征，因此，计算两者的乘积可以表示备选打捞路径在基于所述全局语义俯瞰特征矩阵的条件下的打捞效果特征。
49.具体地，在所述基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300的运行过程中，所述打捞路径分析模块390，用于将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。即，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。在得到所有备选打捞路径为最优打捞路径的概率值后，将最大概率值对应的所述备选规划路径确定为最优打捞路径。在本技术的一个具体示例中，所述打捞路径分析模块，进一步用于：使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果，其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征向量。
50.综上，根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300被阐明，其通过使用卷积神经网络对近海俯瞰图进行局部特征提取，进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息，同时，提取备选打捞路径的打捞路径特征，进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息，生成用于表示备选规划路径为最优打捞路径的概率值，特别地，将最大概率值对应的所述备选规划路径确定为最优打捞路径。
51.如上所述，根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备可以实现在各种终端设备中。在一个示例中，根据本技术实施例的基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以作为一个软件模块和/或硬件模块而集成到终端设备中。例如，该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以是该终端设备的操作系统中的一个软件模块，或者可以是针对于该终端设备所开发的一个应用程序；当然，该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300同样可以是该终端设备的众多硬件模块之一。
52.替换地，在另一示例中，该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备
300与该终端设备也可以是分立的设备，并且该基于近海海洋垃圾分布确定打捞路径的海洋打捞设备300可以通过有线和/或无线网络连接到该终端设备，并且按照约定的数据格式来传输交互信息。
53.示例性方法图6图示了根据本技术实施例的保护海洋环境的近岸海洋垃圾打捞收集方法的流程图。如图6所示，根据本技术实施例的保护海洋环境的近岸海洋垃圾打捞收集方法，包括步骤：s110，获取由与海洋打捞设备可通信连接的无人机采集的近海俯瞰图像；s120，将所述近海俯瞰图像通过作为特征提取器的第一卷积神经网络模型以得到俯瞰特征图；s130，将所述俯瞰特征图的沿通道维度的各个特征矩阵展开为特征向量以得到俯瞰特征向量的序列；s140，将所述俯瞰特征向量的序列通过基于转换器的上下文编码器以得到多个上下文语义俯瞰特征向量；s150，将所述多个上下文语义俯瞰特征向量进行二维排列以得到全局语义俯瞰特征矩阵；s160，获取备选打捞规划路径；s170，基于所述全局语义俯瞰特征矩阵，将所述备选打捞规划路径映射为备选路径特征向量；s180，以所述备选路径特征向量作为查询特征向量计算其与所述全局语义俯瞰特征矩阵进行相乘以得到分类特征向量；以及，s190，将所述分类特征向量通过分类器以得到分类结果，所述分类结果用于表示备选规划路径为最优打捞路径的概率值。
54.在一个示例中，在上述保护海洋环境的近岸海洋垃圾打捞收集方法中，所述步骤s120，包括：使用所述作为特征提取器的第一卷积神经网络模型的各层在层的正向传递中分别对输入数据进行：对输入数据进行卷积处理以得到卷积特征图；对所述卷积特征图进行基于局部通道维度的均值池化处理以得到池化特征图；以及，对所述池化特征图进行非线性激活以得到激活特征图；其中，所述作为特征提取器的第一卷积神经网络的最后一层的输出为所述俯瞰特征图，所述作为特征提取器的第一卷积神经网络的第一层的输入为所述近海俯瞰图像。
55.在一个示例中，在上述保护海洋环境的近岸海洋垃圾打捞收集方法中，所述步骤s130，包括：将所述俯瞰特征图的沿通道维度的各个特征矩阵沿着行向量方向或列向量方向展开为特征向量以得到所述俯瞰特征向量的序列。
56.在一个示例中，在上述保护海洋环境的近岸海洋垃圾打捞收集方法中，所述步骤s140，包括：对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列；使用所述基于转换器的上下文编码器对所述优化俯瞰特征向量的序列进行基于全局的上下文语义编码以得到所述多个上下文语义俯瞰特征向量。具体地，所述对所述俯瞰特征向量的序列中各个俯瞰特征向量进行基于深度递归的通道压榨-激励优化以得到优化俯瞰特征向量的序列，包括：以如下公式来计算所述俯瞰特征向量的序列中各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数，其中，所述公式为：其中，所述公式为：和是所述俯瞰特征向量的所有位置的特征值集合的均值和方差，是所述俯瞰特征向量中各个位置的特征值，和表示激活函数，表示以所述
方差的负值为幂的自然指数函数值；以及，以所述各个俯瞰特征向量的基于深度递归的通道压榨-激励优化因数作为权重分别对所述俯瞰特征向量的序列中各个俯瞰特征向量进行加权以得到所述优化俯瞰特征向量的序列。
57.在一个示例中，在上述保护海洋环境的近岸海洋垃圾打捞收集方法中，所述步骤s160，包括：基于所述备选打捞路径在所述近海俯瞰图像上的位置，从所述全局语义俯瞰特征矩阵得到所述备选路径特征向量。
58.在一个示例中，在上述保护海洋环境的近岸海洋垃圾打捞收集方法中，所述步骤s190，包括：使用所述分类器以如下公式对所述分类特征向量进行处理以获得分类结果，其中，所述公式为：，其中，到为权重矩阵，到为偏置向量，为所述分类特征向量。
59.综上，根据本技术实施例的保护海洋环境的近岸海洋垃圾打捞收集方法被阐明，其通过使用卷积神经网络对近海俯瞰图进行局部特征提取，进一步地通过上下文编码器来提取出所述近海俯瞰图像中的各个局部特征间的全局关联性信息，同时，提取备选打捞路径的打捞路径特征，进而通过计算所述打捞路径特征与海洋垃圾分布全局特征的乘积以得到两者之间的关联信息，生成用于表示备选规划路径为最优打捞路径的概率值，特别地，将最大概率值对应的所述备选规划路径确定为最优打捞路径。