水面清洁方法、装置、设备及计算机可读存储介质

1.本发明涉及导航技术领域，尤其涉及一种水面清洁方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着工业化大发展，在人们的生活越来越便利的同时，生活环境也变得越来越糟糕，各种生活生产垃圾随处可见，时时刻刻影响着人们的身体健康。所以对于垃圾的清理也越来越受到各种政府和人们的高度重视。
3.对于地面上的垃圾往往通过人工得到及时便利的清理，但对于各种江河湖海等水平面的垃圾则很难为人工所能及时且全面地清理，因此负责自动打捞水面垃圾的水面清洁机器人就应用而生，其可以自动识别水面中的垃圾并进行打捞收集。但就目前的水面清洁机器人而言，感知能力非常弱，仅局限感知于一定小范围内的水面区域，所以导致水面清洁机器人进行水面清洁作业时的效率非常低下。


技术实现要素：

4.本发明的主要目的在于提供一种水面清洁方法、装置、设备及计算机可读存储介质，旨在解决现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题。
5.为实现上述目的，本发明提供一种水面清洁方法，所述水面清洁方法应用于水面清洁设备，所述水面清洁设备包括：空中装置和水面装置；所述水面清洁方法包括以下步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。
6.可选地，所述确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
7.可选地，其中，所述神经网络模型包括：输入图像模块、peleenet网络中的stem模块、shufflenet-v2模块、阶梯上采样模块以及输出模块；所述根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像
模块接收所述全局图像或所述局部图像；根据所述stem模块，提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅层特征；根据所述shufflenet-v2模块，提取所述全局图像的第一深层特征或提取所述局部图像的第二深层特征；根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
8.可选地，所述根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图的步骤，包括：确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；融合所述全局地图和所述局部地图以得到水面区域地图。
9.可选地，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，包括：获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
10.可选地，所述确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标的步骤，还包括：获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
11.可选地，所述水面装置包括：水平推进器、侧向推进器；所述对所述水面区域中的污染物进行清理的步骤，包括：通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
12.此外，为实现上述目的，本发明还提供一种水面清洁装置，所述水面清洁装置包括：目标感知模块，用于通过空中装置获取水面区域的全局图像，以及通过水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；
地图融合模块，用于根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；清洁规划模块，用于基于所述水面区域地图，对所述水面区域中的污染物进行清理。
13.此外，为实现上述目的，本发明还提供一种水面清洁设备，包括处理器、存储器、以及存储在所述存储器上的可被所述处理器执行的水面清洁程序，其中，所述水面清洁程序被所述处理器执行时，实现如上所述的水面清洁方法的步骤。
14.本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有水面清洁程序，其中，所述水面清洁程序被处理器执行时，实现如上所述的水面清洁方法的步骤。
15.本发明技术方案中的水面清洁方法，通过步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。本发明能够通过联合空中装置的全局感知和水面装置的局部感知得到水面区域整个的具体详细的水面区域地图，从全局规划方面解决了现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题，基于水面区域地图大幅增强了水面清洁机器人对当前水面区域的整体感知能力，便于在水面清洁作业时进行水面垃圾等目标物体的快速定位确认和清洁导航路径的统筹规划，极大地提高了水面清洁机器人进行水面清洁作业的清洁效率。
附图说明
16.图1为本发明实施例方案涉及的水面清洁设备的硬件运行环境的结构示意图；图2为本发明水面清洁方法第一实施例的流程示意图；图3为本发明水面清洁方法第二实施例的流程示意图；图4为本发明水面清洁方法第三实施例的流程示意图；图5为本发明水面清洁方法涉及的轻量级神经网络模型网络结构示意图；图6为本发明水面清洁方法涉及的水面清洁机器人的结构示意图；图7为本发明水面清洁方法涉及的水空协同水面清洁作业示意图；图8为本发明水面清洁方法涉及的多重感知融合的协同地图构建框架示意图；图9为本发明水面清洁装置的框架结构示意图。
17.附图标号说明：本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
18.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
19.本发明技术方案总述：本发明主要通过三个技术层面结合实现对水面清洁作业效率的提高：1、设计水面清洁设备中的水面装置，这里的水面装置也即水面清洁机器人；以及设计水面清洁设备中的空中装置，这里的空中装置可以为无人机。通过水面清洁设备中的水面装置和空中装置，从而搭建起实现本发明中水面清洁方法的硬件结构基础。
20.2、基于水面清洁作业的特点，设计定制化的轻量深度学习的神经网络模型，基于该神经网络模型，实现对污染物、堤岸、障碍等水面关键目标（关键区域）精准、实时高效地轮廓提取以及区域分割，为多源感知信息协同地图构建的视觉分支提供深层次视觉理解信息。
21.3、设计水空异构机器人（水面装置和空中装置）协同作业系统，将空中装置采集感知到的全局信息转化为全局地图，以及将水面装置采集感知到的局部信息转化为局部地图，再将全局地图和局部地图实时融合在一起得到水面清洁设备巡航范围的水面区域地图，最后基于该水面区域地图对清洁导航路径进行规划，使得水面装置按照导航路径以及确定的污染物位置展开有序的水面清洁作业，大幅提高了水面清洁作业的清洁效率。
22.本发明实施例提出一种水面清洁设备。如图1所示，图1是本发明实施例方案涉及的水面清洁设备的硬件运行环境的结构示意图。
23.如图1所示，该水面清洁设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示器（display）、输入单元比如控制面板，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口（如wifi接口）。存储器1005可以是高速ram存储器，也可以是稳定的存储器（non-volatile memory），例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。作为一种计算机存储介质的存储器1005中可以包括水面清洁程序。
24.本领域技术人员可以理解，图1中示出的硬件结构并不构成对设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
25.继续参照图1，图1中作为一种计算机可读存储介质的存储器1005可以包括操作系统、用户接口模块、网络通信模块以及水面清洁程序。
26.在图1中，网络通信模块主要用于连接服务器，与服务器进行数据通信；而处理器1001可以调用存储器1005中存储的水面清洁程序，并执行以下各个实施例中的步骤。
27.基于上述控制器的硬件结构，提出本发明水面清洁方法的各个实施例。
28.本发明实施例提供一种水面清洁方法。
29.请参照图2，图2为本发明水面清洁方法第一实施例的流程示意图；在本发明第一实施例中，水面清洁方法包括以下步骤：步骤s10，通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；在本实施例中，所述水面清洁方法应用于水面清洁设备，所述水面清洁设备包括空中装置和水面装置。
30.这里的空中装置可以为无人机也可以为直升机、热气球等其他飞行器，以无人机为例（下文中涉及到的空中装置也以此为例），其负责在一定巡航范围内的水面区域进行空中俯视式地采集水面区域各个分区的视觉数据图像，通过图像拼接技术处理无人机巡航采集的各个视觉数据图像，合成水面区域的全局图像。其中，该无人机装备高清摄像机、北斗定位和惯导系统，保证其拥有良好的飞行稳定性与灵敏的姿态调整能力，同时具备在线水环境视觉slam建模能力、显著特征目标检测与定位功能、邻域领航或跟踪协同控制能力。
31.这里的水面装置即为水面清洁机器人，负责实时采集在水面清洁机器人视觉范围内的水面的局部图像。
32.请参照图6，图6为本发明水面清洁方法涉及的水面清洁机器人的结构示意图。如图6所示，水面清洁机器人包括：支撑框架7、浮体4、动力锂电池2、水平推进器5、侧向推进器6、垃圾收集器8、避障传感器3、单目摄像机10、双目摄像机9、定位导航模块11、无线通信模块以及控制箱。
33.其中的支撑框架7设置于所述水面清洁机器人主体的底部，用于支撑上述其他各个水面清洁机器人的组成结构，并且支撑框架7可以为铝合金框架，从而保证水面清洁机器人的机械强度。
34.在所述支撑框架7的左右两侧以及后侧上安装浮体4为整个水面清洁机器人提供浮力，该浮体4可以为聚氨酯发泡低密度浮体，以提供更大的浮力以及减轻水面清洁机器人的重量，在浮体4左右两侧上方安装有大容量动力锂电池2，为整个水面清洁机器人进行供电。浮体4中间安装有垃圾收集器8，通过电机带动链轮旋转，完成污染物的收集，收集的污染物上升到最高处后由于重力作用落到下方的垃圾收集仓内，该垃圾收集器8使得水面清洁机器人具有多种类污染物灵巧自主清洁能力。控制箱设置于所述垃圾收集器8的上方，与垃圾收集器8在间隔一定的垂直距离（可以根据实际需要进行设置），在所述控制箱的前方安装有单目摄像机10和双目摄像机9，其中单目摄像机10负责水面清洁机器人运动过程中在其视觉范围内进行全局监视，双目摄像机9用于对污染物种类的识别和测距，在单目摄像机10和双目摄像机9协同感知下，从而得到在两者视觉范围内的水面区域的局部图像，以及确定局部图像中的各个局部关键区域。各个摄像机上均待设置有云台，可实现左右旋转。水面清洁机器人的动力模块采用四推进器的布局，在支撑框架7中也即水面清洁机器人主体的底部水平安装两个水平推进器5实现水面清洁机器人的前进、后退及转向，再侧方安装两个侧向推进器6实现水面清洁机器人的平移功能。通过两个水平推进器5以及两个侧向推进器6，能够实现水面清洁机器人的灵活移动，表现出复杂水环境稳定运动能力，缩短了水面清洁机器人向污染物移动的时间，进而也能提高水面清洁效率。另外，控制箱上方安装有定位导航模块11，该定位导航模块11可以包括差分gps，可实现厘米级的精确定位。无线通信模块包括通信天线1，该通信天线1设置于支撑框架7的一端，用于接收来自无人机、云端服务器、控制终端等设备的信号以及发送信号给这些设备。避障传感器3可以为激光雷达，用于获取包括污染物在内的各种物体的雷达信息，也就是获取局部图像中的各个局部关键区域的雷达信息。
35.步骤s20，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；为了便于理解本实施例，可以参照图7，图7为本发明水面清洁方法涉及的水空协
同水面清洁作业示意图。
36.其中全局关键区域和局部关键区域都可以通过预设的神经网络模型进行识别和确定。这里的包括全局关键区域和局部关键区域在内的关键区域指的是水面区域的区域边界、障碍物以及污染物等客观物体。
37.全局关键区域在无人机获取到水面区域的全局图像或者是在无人机获取水面区域的全局图像的同时通过飞行移动以及俯瞰的方式对水面区域中的区域边界、障碍物以及污染物进行识别和确定，局部关键区域通过水面清洁机器人在获取到水面区域的局部图像或在获取局部图像的过程中对在其移动或静止的视觉范围内的水面区域中的区域边界、障碍物以及污染物进行识别和确定。最终，通过无人机和水面清洁机器人就分别确定了全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。此外，还需要说明的是，本实施例中的无人机和水面清洁机器人都可以为一个或者多个。
38.步骤s30，根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；确定了各个所述全局关键区域和各个所述局部关键区域，进一步确定了各个所述全局关键区域的卫星坐标和各个所述局部关键区域的卫星坐标，在得到各个卫星坐标之后，将各个全局关键区域的卫星坐标输入全局图像就赋予了全局图像以区域边界、障碍物以及污染物在内的各种水面上的物体的详细地理位置信息，从而就得到了全局地图，因为无人机处于空中，受限于现有算力水平等条件的限制，在扩大感知范围的同时其所能感知到水面区域的各种物体可能并不那么精准和全面，因此这里的全局地图为全局约略地图。同理，也得到了局部地图，这里的局部地图因为是在水面清洁机器人的视觉范围内得到的，所以局部地图中各个关键区域（物体）都能够得到精准地感知和识别，因此这里的局部地图为局部细节地图，将全局约略地图和局部细节地图通过将两者的卫星坐标对齐的方式，实现了全局约略地图与局部细节地图的优化融合，完成水面区域地图的协同构建。
39.步骤s40，基于所述水面区域地图，对所述水面区域中的污染物进行清理。
40.需要说明的是，由于事物都是时刻在发展和变化的，特别是对于水面上的各种客观物体往往也是会随着水流不断变化位置的，也就是水面环境是实时变化的，因此本实施例中的水面区域地图也是时刻在变化和更新的，这种水面区域地图实时地更新和变化源于实时获取到的全局图像和局部图像是在不同时间点是不同的，以及确定确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域也是不同的，那么融合得到水面区域地图也是不断在更新和动态变化的。通过动态的水面区域地图，不仅能够非常简单便利地对水面清洁作业以及无人机和水面清洁机器人的导航路径进行规划，还能够根据变化了的水面环境及时修正和调整规划，使得各种规划更贴近实际的水面环境变化情形，极大地提升了水面清洁作业的效率，同时还避免了无人机以及水面清洁机器人移动路径的盲目性，使得整个水面清洁作业都协同有序高效进行，进而大大减少了无人机以及水面清洁机器的能源损耗和浪费。
41.在对水面区域中的污染物进行清理的过程中，可以将无人机作为指挥者，以水面清洁机器人作为直接执行者，由于两者均具有独立视觉感知、运动控制、规划决策的能力，并通过分布式动态网络拓扑结构通信框架实现主从高效联动，从而对水面上感知到的目标污染物进行及时高效地清理和收集，绿化了水面环境。
42.在一实施例中，所述步骤s40中对所述水面区域中的污染物进行清理的步骤，包括：通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
43.在水面清洁机器人清理污染物的过程中，需要时时刻刻移动，为了进一步提高水面清洁机器人的清洁污染物的效率，可以单独通过水面清洁机器人的水平推进器执行前进、后退及转向的移动操作，也可以单独通过水面清洁机器人的侧向推进器执行平行移动的移动操作，也可以同时控制水面清洁机器人的水平推进器和侧向推进器进行各个方向的移动和转向，从而灵活地收集和清理水面垃圾。
44.本发明技术方案中的水面清洁方法，通过步骤：通过所述空中装置获取水面区域的全局图像，以及通过所述水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；基于所述水面区域地图，对所述水面区域中的污染物进行清理。本发明能够通过联合空中装置的全局感知和水面装置的局部感知得到水面区域整个的具体详细的水面区域地图，从全局规划方面解决了现有水面清洁机器人进行水面清洁作业时的效率低下的技术问题，基于水面区域地图大幅增强了水面清洁机器人对当前水面区域的整体感知能力，便于在水面清洁作业时进行水面垃圾等目标物体的快速定位确认和清洁导航路径的统筹规划，极大地提高了水面清洁机器人进行水面清洁作业的清洁效率。
45.进一步地，基于本发明水面清洁方法的第一实施例提出本发明水面清洁方法的第二实施例，在本实施例中，所述步骤s20，包括：根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
46.具体地，参照图3，图3为本发明水面清洁方法第二实施例的流程示意图。
47.所述根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域的步骤，包括：步骤s21，将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；步骤s22，根据所述stem模块，提取所述全局图像的第一浅层特征或提取所述局部图像的第二浅层特征；步骤s23，根据所述shufflenet-v2模块，提取所述全局图像的第一深层特征或提取所述局部图像的第二深层特征；步骤s24，根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；步骤s25，根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
48.为了方便和全面地了解本实施例中的神经网络模型，可以参照图5，图5为本发明水面清洁方法涉及的轻量级神经网络模型网络结构示意图。如图5所示，针对由无人机和水面清洁机器人组成的水面清洁设备，执行水面清洁任务时对水面上的各个关键区域实例分割准确性与实时性的需求，本实施例中的神经网络模型可以以单阶段检测网络为基本骨架，比如yolov5，既可以以单阶段网络yolov5为特征提取主干，设计如图5所示的实例分割网络架构。按照输入-输出的顺序，本实施例中的输入图像模块对于无人机来说用于输入全局图像，对于水面清洁机器人来说，用于输入局部图像。以全局图像为例，在stem模块中，用于将输入和切分好的全局图像进行浅层特征的提取，比如图像的边缘、纹理、形状等特征信息，全局图像在经过stem模块之后，可以直接输入至阶梯上采样模块中的卷积单元conv2d进行计算，还可以经过多个分组中的多个shufflenet-v2模块进行分组进行深层特征提取并进入conv2d进行卷积，比如图5中3组卷积，其中分组的数量以及shufflenet-v2模块的数量可以根据实际需要进行设置，再如图5的上箭头所示，在各个分组进行卷积计算之后阶梯式进行特征融合，按照顺序依次融合各个分组的特征，最终通过输出模块（输出特征模块）计算和预测关键区域所属种类和位置的结果。分组卷积并输出结果的上述过程就是利用基于阶梯上采样的多尺度融合方法也即采用增大特征图尺寸的方式将传统单阶段网络的三尺度或多尺度特征图分支整合为单尺度输出，能够为避免标签重写问题并提升特征提取性能。
49.此外，上述神经网络模型引入轻量级目标检测网络peleenet中的stem模块，在不增加计算量的前提下获得更多图像特征；植入基于分组卷积和通道清洗技术的shufflenet-v2模块，实现图像检测计算速度和精度的平衡。
50.还需要具体说明的是，在输入各个全局图像或局部图像的过程中，一般不能直接输入原图，所以输入图像模块还要对全局图像或局部图像进行切分分割，考虑到传统的矩形检测框只能按照矩形形状标识目标检测物（在本发明中为关键区域），但实际的目标检测物的形状是多种多样的，那么在通过传统的神经网络模型检测输入图像中的目标检测物时容易出现标注错误或标注不全，进而导致遗漏目标检测物的缺陷。针对该技术缺陷，本实施例引入极坐标模式的子网格划分机制，在输入图像模块中以多边形检测框取代传统矩形检测框，对目标检测物体进行轮廓提取与区域划分，最终实现实例分割。具体地，将传统的网格描述元组扩展为，其中，表示落在n个极坐标模式网格中的多边形检测框网格顶点集合；，其中，和是多边形顶点的极坐标（极径坐标和极角坐标），而代表顶点落在相应极坐标模式网格的置信度。另外，为了适应上述的输入图像模块以及为了便于网络训练，还需要在传统的输出模块原有损失函数基础上增加针对多边形检测框的损失项，即增加的损失项为：其中，为第j个锚点框的对角线长度，为二元交叉熵。
51.通过本发明的第二实施例，满足了水空异构器人系统（水面清洁设备）执行水面清洁任务时对水面中的全局关键区域和局部关键区域实例分割准确性与实时性的需求，以单阶段检测网络为基本骨架，通过引入极坐标模式的子网格划分机制，设计基于多边形目标检测框的实例分割算法的神经网络架构，并基于特征提取主干网络的轻量级优化方法和结构，最终实现对污染物、堤岸边界、障碍物等水面关键区域精准、实时的轮廓提取与区域分割，为多源感知信息协同地图（水面区域地图）构建的视觉分支提供深层次视觉理解信息，便于高效率高精确性实现对水面区域地图的融合和构建。
52.请参照图4，图4为本发明水面清洁方法第三实施例的流程示意图。进一步地，基于本发明水面清洁方法的上述各个实施例提出本发明水面清洁方法的第三实施例，在本实施例中，所述步骤s30，包括：步骤s31，确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；在水面上建立水面区域的地图最关键的是以各种水面上的物体为参照，获得水面上的各种物体的位置，也就是卫星坐标，从而根据各个水面上物体的相对位置，构成较为详细的水面区域地图。在本实施例中，全局关键区域的全局关键坐标和局部关键区域的局部关键坐标是分别从无人机视角和水面清洁机器人视角确定的水面上的目标检测物的卫星坐标，目标检测物包括污染物、区域边界（堤岸边界）以及包括水上树木、水草、建筑等在内的障碍物等水面上的物体。
53.在一实施例中，所述步骤s31，包括：步骤a，获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；步骤b，基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
54.参照图8，图8为本发明水面清洁方法涉及的多重感知融合的协同地图构建框架示意图。在该实施例中，基于无人机的俯视视觉感知系统具备的广域全局感知能力，通过图像拼接技术处理无人机巡航采集的视觉数据，合成巡航区域的全局图像，同时利用轻量级的神经网络模型对采集到的关于水面区域的视觉信息（全局图像）进行实例分割，实时检测和确定水面的关键区域并标识出其具体形状轮廓，得到了标识目标的全局图像，在采集获取到全局图像和确定了全局关键区域之后，以及基于无人机具有的卫星定位感知系统获取到无人机实时的第一卫星坐标（图8中的全局地图坐标），就能够确定全局关键区域在全局图像中的像素坐标与无人机的第一卫星坐标的位置对应关系，进而再通过该位置对应关系、无人机的高度信息、无人机的相机内外参数信息，计算得到关键区域相对于无人机的相机坐标，基于相机坐标-卫星坐标映射，经过坐标转换就得到了全局关键区域的全局关键坐标，该全局关键坐标为构建全局地图所需的卫星坐标，也即通过相机坐标－全局坐标映射变化的方式融合视觉信息与无人机的卫星定位数据获得全局约略地图，上述的这一过程称为第一重感知融合。
55.在另一实施例中，所述步骤s31，还包括：步骤c，获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；步骤d，基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置
对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
56.继续参照图8，针对水面情节机器人的局部关键区域精细化感知，基于水面清洁机器人的定位导航模块可以获取到水面清洁机器人实时的第三卫星坐标，基于水面清洁机器人的单、双目摄像机，也即水面清洁机器人的双目视觉感知系统获取到具有关键区域深度信息的深度视觉信息（局部图像），同时基于水面清洁机器人的避障传感器对应的激光雷达感知系统获取到局部关键区域的雷达信息，也即局部关键区域相对于水面清洁机器人的距离测量信息，利用扩展卡尔曼滤波器将水面清洁机器人的深度视觉信息与雷达信息相融合，再利用贝叶斯估计的方法将双目视觉感知系统和激光雷达感知系统分别结合水面清洁机器人的第三卫星坐标，从而将结合生成的地图进行融合，在融合的过程中采用基于图优化的地图构建算法，充分利用多传感器对于关键区域的冗余信息，提取第三卫星坐标、所述深度视觉信息以及所述雷达信息分别对于局部关键区域的一致性描述信息，也即是确定第三卫星坐标、所述深度视觉信息以及所述雷达信息三者之间的位置对应关系，从而生成所述局部关键区域的局部关键坐标，同时也融合得到了局部细节地图，此为图8中的第二重感知融合。上述生成局部关键坐标通过多种信息融合的方式，提高了局部细节地图构建的准确性和精细度。
57.步骤s32，将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；步骤s33，融合所述全局地图和所述局部地图以得到水面区域地图。
58.如图8所示，在确定了各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标并分别将其输入至全局图像和局部图像就得到了全局地图和局部地图，将全局约略地图和局部细节地图中各自的卫星坐标通过映射对齐的方式进行第三重感知融合也就协同构建生成了水面地图（水面区域地图），最终完成了基于多重感知融合的跨平台协同水面地图构建。进而可以利用该水面区域地图对水面清洁作业进行规划，还可以拓展应用于对其他水上作业的规划，应用前景广阔，提高各种水上作业的效率。
59.通过本发明的第三实施例，针对在未知作业水域协同导航问题，充分结合无人机的广域大尺度感知能力与水面清洁机器人的局域精细化感知能力，设计基于多重感知融合的水空协同地图构建框架，分别提出基于无人机视觉信息与卫星定位信息关联的全局约略地图构建方法、融合水面清洁机器人视觉信息与激光雷达感知信息的局部细节地图构建方法以及全局约略地图与局部细节地图的融合方法，进而构建出信息完备、细节清晰的水面区域地图，为水空协同机器人系统（水面清洁设备）的导航规划与协同控制提供先验环境信息，便于开展包括水面清洁作业在内的各种水上作业。
60.此外，请参照图9，图9为本发明水面清洁装置的框架结构示意图；本发明还提供一种水面清洁装置，所述水面清洁装置包括：目标感知模块a10，用于通过空中装置获取水面区域的全局图像，以及通过水面装置获取所述水面区域的局部图像；确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域；地图融合模块a20，用于根据各个所述全局关键区域和各个所述局部关键区域，融合所述全局图像和所述局部图像以得到水面区域地图；
清洁规划模块a30，用于基于所述水面区域地图，对所述水面区域中的污染物进行清理。
61.可选地，目标感知模块a10，还用于：根据预设的神经网络模型，确定所述全局图像中的各个全局关键区域和所述局部图像中的各个局部关键区域。
62.可选地，目标感知模块a10，还用于：将所述全局图像或所述局部图像输入至所述神经网络模型，以根据所述输入图像模块接收所述全局图像或所述局部图像；根据所述stem模块，提取所述全局图像的第一浅层特征或所述局部图像的第二浅层特征；根据所述shufflenet-v2模块，提取所述全局图像的第一深层特征或所述局部图像的第二深层特征；根据所述阶梯上采样模块，将所述第一浅层特征和所述第一深层特征进行阶梯式特征融合以得到所述全局图像的第一特征集合，或者，将所述第二浅层特征和所述第二深层特征进行阶梯式特征融合以得到所述局部图像的第二特征集合；根据所述输出模块，计算所述第一特征集合以确定所述全局图像中的各个全局关键区域，或者，计算所述第二特征集合以确定所述局部图像中的各个局部关键区域。
63.可选地，地图融合模块a20，还用于：确定各个所述全局关键区域的全局关键坐标和各个所述局部关键区域的局部关键坐标；将各个所述全局关键坐标输入至所述全局图像以得到全局地图，以及将各个所述局部关键坐标输入至所述局部图像以得到局部地图；融合所述全局地图和所述局部地图以得到水面区域地图。
64.可选地，地图融合模块a20，还用于：获取所述空中装置的第一卫星坐标和所述全局关键区域的像素坐标；基于所述第一卫星坐标和所述像素坐标之间的位置对应关系，生成所述全局关键区域的全局关键坐标，所述全局关键坐标表征所述全局关键区域的第二卫星坐标。
65.可选地，地图融合模块a20，还用于：获取所述水面装置的第三卫星坐标、所述局部关键区域相对于所述水面装置的深度视觉信息以及所述局部关键区域的雷达信息；基于所述第三卫星坐标、所述深度视觉信息以及所述雷达信息之间的位置对应关系，生成所述局部关键区域的局部关键坐标，所述局部关键坐标表征所述局部关键区域的第四卫星坐标。
66.可选地，清洁规划模块a30，还用于：通过所述水平推进器控制所述水面装置在所述水面区域进行前进、后退及转向，和/或者，通过所述侧向推进器控制所述水面装置在所述水面区域进行平行移动，以令所述水面装置对所述水面区域中的污染物进行清理。
67.本发明的水面清洁装置具体实施方式与上述水面清洁方法各实施例基本相同，在此不再赘述。
68.此外，本发明还提供一种计算机可读存储介质。本发明计算机可读存储介质上存储有水面清洁程序，其中，水面清洁程序被处理器执行时，实现如上述的水面清洁方法的步骤。
69.其中，水面清洁程序被执行时所实现的方法可参照本发明水面清洁方法的各个实施例，此处不再赘述。
70.本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、cd-rom、光学存储器等）上实施的计算机程序产品的形式。
71.本发明是参照根据本发明实施例的方法、设备（系统）、和计算机程序产品的流程图和／或方框图来描述的。应理解可由计算机程序指令实现流程图和／或方框图中的每一流程和／或方框、以及流程图和／或方框图中的流程和／或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的装置。
72.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能。
73.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和／或方框图一个方框或多个方框中指定的功能的步骤。
74.应当注意的是，在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的部件或步骤。位于部件之前的单词“一”或“一个”不排除存在多个这样的部件。本发明可以借助于包括有若干不同部件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
75.尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
76.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。