基于卫星初筛和低空遥感数据的机器人大模型训练方法与流程
本发明涉及高空幕墙清洁机器人,具体涉及基于卫星初筛和低空遥感数据的机器人大模型训练方法。
背景技术:
1、高空幕墙清洁机器人用于替代人工对高层建筑物幕墙进行清洗。目前,现有技术主要面临以下痛点:
2、1)作业环境先验信息缺失:现有机器人通常通过爬壁到达现场后,才开始利用机载视觉传感器进行环境探测,由于高空视角受限,机器人难以提前预知幕墙的结构突变(如突然出现的装饰翼、广告牌等)、开启扇位置及污渍分布,导致作业效率低,甚至出现卡困的情况;
3、2)低空遥感数据未充分利用:现有物业管理中,虽然常用无人机对幕墙进行巡检拍照,但这些数据通常仅用于人工查看外立面是否存在破损,并未转化为可供机器人直接使用的结构化训练数据,无人机数据采集视角与机器人爬壁视角之间存在巨大的观察差异(垂直对向vs水平贴近),现有算法难以跨视角迁移;
4、3)大模型训练缺乏垂直场景数据:通用大模型缺乏针对“高空幕墙”这一特定场景的细粒度数据,机器人需要识别的不仅是“玻璃”,而是“玻璃上的鸟粪”、“硅酮密封胶的连续性”、“吸盘吸附点的平整度”,现有大模型在无人机俯视数据上训练后,无法直接用于机器人;
5、4)算力与实时性矛盾:高空作业对重量敏感,机载算力有限,而大模型计算量巨大,如何在边缘端部署高效模型是难题。
技术实现思路
1、(一)解决的技术问题
2、针对现有技术所存在的上述缺点,本发明提供了基于卫星初筛和低空遥感数据的机器人大模型训练方法,能够有效克服现有技术所存在的无法利用卫星遥感影像和低空遥感数据对高空幕墙清洁机器人大模型进行有效模型训练,以及难以在边缘端进行轻量化部署的缺陷。
3、(二)技术方案
4、为实现以上目的,本发明通过以下技术方案予以实现:
5、基于卫星初筛和低空遥感数据的机器人大模型训练方法,包括以下步骤:
6、s1、获取目标区域的卫星遥感影像,利用预训练的深度学习模型识别、提取高层建筑物信息,并在高层建筑物上标记关键区域;
7、s2、规划无人机对高层建筑物进行外立面贴近摄影测量,并对采集的低空遥感数据进行标注;
8、s3、建立“卫星图块-无人机图块-清洁动作”的映射关系,构建跨视角大模型训练数据集;
9、s4、构建多模态大模型,基于跨视角大模型训练数据集对多模态大模型进行模型训练;
10、s5、将训练得到的多模态大模型作为教师模型,利用知识蒸馏技术训练轻量级的学生模型,并部署至清洁机器人;
11、s6、清洁机器人在作业过程中,对未出现的障碍物进行记录并回传云端,触发无人机复飞获取障碍物的低空遥感数据,以对学生模型进行本地在线微调,并同步至其余清洁机器人。
12、优选地,s1中获取目标区域的卫星遥感影像,利用预训练的深度学习模型识别、提取高层建筑物信息,并在高层建筑物上标记关键区域,包括:
13、s11、获取目标区域的卫星遥感影像,利用预训练的深度学习模型识别高度超过预设阈值、具有大面积连续外立面的高层建筑物;
14、s12、基于卫星遥感影像的光谱特征与纹理分析,利用预训练的深度学习模型区分玻璃幕墙、石材幕墙、金属幕墙在内的外立面材质;
15、s13、利用预训练的深度学习模型标记高层建筑物的楼顶女儿墙结构、避难层位置、垂直棱角在内的、对清洁机器人进行换层和越障具有重要影响的关键区域。
16、优选地,s2中规划无人机对高层建筑物进行外立面贴近摄影测量,并对采集的低空遥感数据进行标注,包括:
17、s21、规划无人机对高层建筑物进行外立面贴近摄影测量,利用无人机对高层建筑物进行多视角数据采集和距离测定;
18、s22、对采集的低空遥感数据进行污渍识别、结构语义分割和路径提取。
19、优选地,s21中规划无人机对高层建筑物进行外立面贴近摄影测量,利用无人机对高层建筑物进行多视角数据采集和距离测定,包括:
20、垂直视角数据采集:采集传统正射影像,用于全局定位;
21、倾斜视角数据采集:重点采集与幕墙呈预设角度范围的影像,模拟清洁机器人的爬壁视角;
22、距离测定:利用激光雷达获取幕墙表面的深度信息,包括窗框凹陷深度和装饰条凸起高度。
23、优选地,s22中对采集的低空遥感数据进行污渍识别、结构语义分割和路径提取,包括:
24、污渍识别:利用高光谱或多光谱差异,标记鸟粪、酸雨痕迹、灰尘积累区在内的污渍区域,生成污渍浓度热力图;
25、结构语义分割:对可吸附区域、避障区域、边缘区域在内的结构区域进行分割;
26、路径提取:将幕墙划分为多个工位点,标记清洁机器人上下移动的主轨迹和左右横移的节点。
27、优选地,s3中建立“卫星图块-无人机图块-清洁动作”的映射关系,构建跨视角大模型训练数据集,包括:
28、s31、建立“卫星图块-无人机图块-清洁动作”的映射关系,对标注后的低空遥感数据进行三元组数据对齐,构建跨视角大模型训练数据集;
29、s32、为了弥合无人机数据采集视角与清洁机器人爬壁视角之间的差距,利用生成对抗网络gan或神经辐射场nerf技术,将无人机采集的倾斜视角影像虚拟渲染成清洁机器人第一人称视角的贴近影像,以扩充跨视角大模型训练数据集;
30、其中,清洁动作包括清洁机器人在各工位点顺序执行的清洁作业程序。
31、优选地,s4中构建多模态大模型,基于跨视角大模型训练数据集对多模态大模型进行模型训练,包括:
32、构建多模态大模型,综合清洁覆盖率、避障成功率、预估能耗在内的优化指标设计奖励引导的损失函数,并利用跨视角大模型训练数据集对多模态大模型进行模型训练。
33、优选地,所述多模态大模型的模型架构,包括:
34、全局规划头:输出整栋高层建筑物的清洁作业顺序;
35、局部避障头:输出幕墙上的障碍物分布图,标记深度突变超过预设阈值的突变区域;
36、动作参数头:输出清洁机器人在当前区域的推荐清洁轨迹、吸盘吸附压力和毛刷转速。
37、优选地,s5中将训练得到的多模态大模型作为教师模型,利用知识蒸馏技术训练轻量级的学生模型,并部署至清洁机器人,包括:
38、s51、将训练得到的多模态大模型作为教师模型,将教师模型对幕墙接缝、污渍边界的深层特征图作为软标签,指导学生模型进行学习;
39、s52、将蒸馏后的学生模型部署至清洁机器人的机载jetson或等效边缘计算单元,实现对实时视频流的高速处理,使得清洁机器人在断网情况下依然具备自主避障能力。
40、优选地,s6中清洁机器人在作业过程中,对未出现的障碍物进行记录并回传云端,触发无人机复飞获取障碍物的低空遥感数据,以对学生模型进行本地在线微调,并同步至其余清洁机器人,包括:
41、s61、清洁机器人在作业过程中,对于跨视角大模型训练数据集中未出现的障碍物进行影像采集,并通过无线通信模块向云端实时回传影像;
42、s62、云端基于回传影像触发无人机进行即时复飞,采集障碍物的低空遥感数据,同时清洁机器人利用采集影像对学生模型进行本地在线微调;
43、s63、更新后的学生模型通过云端同步至其余所有在同一高层建筑物内作业的清洁机器人。
44、(三)有益效果
45、与现有技术相比,本发明所提供的基于卫星初筛和低空遥感数据的机器人大模型训练方法,具有以下有益效果:
46、1)安全性与预见性大幅提升:利用卫星和无人机在清洁机器人落地前就识别出幕墙上的结构风险点(如松动的玻璃板块、突出的棱角等),避免清洁机器人在现场作业时发生卡困或坠落的情况;
47、2)数据资产复用:将物业巡检用的无人机低空遥感数据,通过自动标注直接转化为ai训练数据集,解决了高空场景下数据采集难、标注成本高的痛点;
48、3)虚实融合训练:通过跨视角生成技术,将无人机数据采集视角与清洁机器人爬壁视角对齐,使得大模型能够理解“俯瞰图”与“平视图”的对应关系;
49、4)轻量化实时响应:蒸馏后的学生模型既保留了识别复杂幕墙结构的能力,又能够满足边缘端的低功耗、低延迟要求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com