清洁方法、自移动设备及可读存储介质与流程
本技术涉及清洁,特别是涉及一种清洁方法、自移动设备及可读存储介质。
背景技术:
1、自移动设备是一种用于执行清洁任务的智能设备,自移动设备可以检测的障碍物生成障碍物地图,并根据障碍物地图生成的规划路径进行清洁。
2、传统的障碍物检测方法包括激光雷达检测、纯视觉检测和飞行时间深度传感器检测等,激光雷达检测难以检测非扫描高度的障碍物,纯视觉检测难以定位障碍物在地图中的位置,飞行时间深度传感器检测难以检测近距离的障碍物。故传统方案均难以构建精度较高的障碍物地图,从而导致清洁不准确,清洁效果不佳。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够提升清洁效果的清洁方法、自移动设备和可读存储介质。
2、第一方面,本技术提供了一种清洁方法,应用于自移动设备,方法包括:
3、基于自移动设备获取的当前帧图像,确定当前帧图像中物体的聚类实例以及聚类实例对应的语义类别标签;聚类实例携带有在第一坐标系中的第一坐标集合;
4、基于聚类实例的第一坐标集合,确定聚类实例在基于第一坐标系建立的预设的栅格地图中语义类别标签对应的栅格数量;
5、获取历史帧图像,基于当前帧图像和历史帧图像中的聚类实例的语义类别标签,以及各语义类别标签对应的栅格数量,确定物体的类别;
6、基于物体的类别更新预设的栅格地图中至少部分栅格的清洁策略。
7、在其中一个实施例中,基于当前帧图像和历史帧图像中的聚类实例的语义类别标签,以及各语义类别标签对应的栅格数量,确定物体的类别,包括:
8、在当前帧图像和历史帧图像中存在相同的聚类实例的情况下,更新相同的聚类实例覆的各语义类别标签对应的栅格数量;
9、在当前帧图像和历史帧图像中不存在相同的聚类实例的情况下,新建当前帧图像的聚类实例的语义类别标签对应的栅格数量;
10、基于更新或新建的聚类实例的语义类别标签对应的栅格数量,确定聚类实例对应的物体的类别。
11、在其中一个实施例中,在当前帧图像和历史帧图像中存在相同的聚类实例的情况下,更新相同的聚类实例覆的各语义类别标签对应的栅格数量,包括:
12、在当前帧图像和历史帧图像中存在相同的聚类实例的情况下,获取当前帧图像的语义类别标签与历史帧图像的语义类别标签的匹配结果;
13、基于匹配结果和各语义类别标签对应的栅格数量,更新同一聚类实例的标签信息,标签信息包括语义类别标签和语义类别标签对应的栅格数量。
14、在其中一个实施例中,基于匹配结果和各语义类别标签对应的栅格数量,更新同一聚类实例的标签信息,包括:
15、在当前帧图像中聚类实例的语义类别标签,与任意历史帧图像中同一聚类实例的语义类别标签不同的情况下,新建标签信息;
16、在当前帧图像中聚类实例的语义类别标签,与任意历史帧图像中同一聚类实例的语义类别标签相同的情况下,将语义类别标签对应的栅格数量累加至具有相同语义类别标签对应的栅格数量中。
17、在其中一个实施例中,基于更新或新建的聚类实例的语义类别标签对应的栅格数量,确定聚类实例对应的物体的类别,包括:
18、基于更新或新建的聚类实例中各语义类别标签对应的栅格数量,选取累计栅格数量最多的语义类别标签作为物体的类别。
19、在其中一个实施例中,历史帧图像中聚类实例携带有第一坐标集合;
20、在基于当前帧图像和历史帧图像中的聚类实例的语义类别标签,以及各语义类别标签对应的栅格数量,确定物体的类别之前,方法还包括:
21、基于聚类实例的第一坐标集合,分别对应确定当前帧图像的聚类实例的第一全局几何中心,以及历史帧图像的聚类实例的第二全局几何中心;
22、基于第一全局几何中心和第二全局几何中心,确定当前帧图像和历史帧图像中的聚类实例是否为相同的聚类实例。
23、在其中一个实施例中,基于物体的类别更新预设的栅格地图中至少部分栅格的清洁策略,包括:
24、基于物体的类别,确定物体的清洁信息,清洁信息包括可清洁物体和不可清洁物体;
25、在物体被确定为可清洁物体的情况下,更新预设的栅格地图;并基于更新后的预设的栅格地图对可清洁物体进行清洁;
26、在物体被确定为不可清洁物体的情况下,更新预设的栅格地图;并基于更新后的预设的栅格地图避开不可清洁物体进行清洁。
27、在其中一个实施例中,物体的类别包括软障碍物、硬障碍物、颗粒物、不可清洁障碍物和线缆中的至少一个;
28、基于物体的类别,确定物体的清洁信息,包括以下中的至少一个:
29、在物体的类别为软障碍物的情况下,确定物体的清洁信息为可清洁物体;
30、在物体的类别为硬障碍物的情况下,确定物体的清洁信息为不可清洁物体;
31、在物体的类别为颗粒物的情况下,确定物体的清洁信息为可清洁物体;
32、在物体的类别为不可清洁障碍物的情况下,确定物体的清洁信息为不可清洁;
33、在物体的类别为线缆的情况下,确定物体的清洁信息为不可清洁。
34、在其中一个实施例中,基于物体的类别更新预设的栅格地图中至少部分栅格的清洁策略,还包括:
35、基于至少一帧图像对应的聚类实例的第一坐标集合,确定物体的尺寸;
36、基于物体的类别和尺寸中的至少一个,获取物体的确认信息;确认信息包括需要确认和不需要确认;
37、在物体的确认信息为需要确认的情况下,从其他角度重新获取图像,并基于重新获取的图像,更新物体的目标信息,并基于更新的物体的目标信息更新至少部分栅格的清洁策略;目标信息包括物体的类别和清洁信息中的至少一个。
38、在其中一个实施例中,基于物体的类别和尺寸中的至少一个,获取物体的确认信息,包括:在物体的类别为软障碍物、硬障碍物或不可清洁障碍物,且物体的尺寸超过尺寸阈值的情况下,确定对应物体的确认信息为需要确认;在物体的类别为线缆的情况下,确定物体确认信息为需要确认;软障碍物的尺寸阈值为第一尺寸阈值,硬障碍物的尺寸阈值为第二尺寸阈值,不可清洁障碍物的尺寸阈值为第三尺寸阈值;
39、在物体的类别为软障碍物、硬障碍物或不可清洁障碍物,且物体的尺寸不超过尺寸阈值的情况下,确定对应物体的确认信息为不需要确认;在物体的类别为颗粒物的情况下,确定物体的确认信息为不需要确认。
40、在其中一个实施例中,自移动设备包括非语义分割传感器和用于获取当前帧图像的语义分割传感器,更新后的预设的栅格地图包括至少部分栅格的清洁策略的数据来源;数据来源包括非语义分割传感器和语义分割传感器中的任一个;
41、在基于物体的类别更新预设的栅格地图中至少部分栅格的清洁策略之后,方法还包括:
42、在数据来源相同的情况下,允许基于同源数据更新预设的栅格地图;
43、在数据来源不相同的情况下,不允许更新预设的栅格地图。
44、在其中一个实施例中,基于自移动设备获取的当前帧图像,确定图像中物体的聚类实例,以及聚类实例对应的语义类别标签,包括:
45、基于自移动设备获取的当前帧图像,进行语义分割,输出掩码图像,掩码图像携带有语义类别标签;
46、基于语义类别标签掩码图像,确定轮廓连通的区域;
47、基于轮廓连通的区域在图像的第二坐标系中的第二坐标集合,确定轮廓连通的区域在第一坐标系下的第三坐标集合;
48、将语义类别标签相同的第一坐标系下的第三坐标集合,聚合为一个聚类实例,聚类实例对应的第一坐标集合为聚合相同语义类别标签对应的第三坐标集合。
49、在其中一个实施例中,基于语义类别标签掩码图像,确定轮廓连通的区域,包括:
50、基于语义类别标签和掩码图像的目标区域进行轮廓提取;在第二坐标系的目标方向与自移动设备的前进方向对齐的情况下,掩码图像的目标区域为图像靠近自移动设备的至少部分区域;
51、基于提取的轮廓,确定轮廓连通的区域。
52、在其中一个实施例中,语义类别标签包括地面和地毯;
53、在将语义类别标签相同的第一坐标系下的坐标,聚合为一个聚类实例之后,方法还包括:
54、在聚类实例携带的语义类别标签为地面或地毯的情况下,在预设的栅格地图中,确定聚类实例对应的区域标记为可清洁区域。
55、第二方面,本技术还提供了一种自移动设备,包括存储器和处理器,存储器存储有程序,处理器执行程序实现上述方法的步骤。
56、第三方面,本技术还提供了一种可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述方法的步骤。
57、上述清洁方法、自移动设备及可读存储介质,通过获取聚类实例与栅格地图坐标系相同的第一坐标集合,可以准确地在栅格地图中定位聚类实例。通过获取当前帧图像中聚类实例的语义类别标签对应的栅格数量,以及历史帧图像中聚类实例的各个语义类别标签对应的栅格数量,可以得到当前聚类实例被标记为不同语义类别标签的可能性,基于该可能性,可以准确获取物体的类别。并且通过多帧图像确定物体的类别,可以有效降低单帧图像识别错误,对物体类别的影响,进一步提升物体类别的准确性。基于确定的物体的类别,更新预设的栅格地图中至少部分栅格的清洁策略,可以基于物体类别针对性地进行更新栅格的清洁策略,从而提升清洁效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com