一种用于擦窗机器人的视觉识别系统及方法与流程

摘要: 本发明涉及计算机视觉与机器人感知,具体涉及一种用于擦窗机器人的视觉识别系统及方法。背景技术:1、随着城市化进程的不断推进,高层建筑的数量与高度持续增长,玻璃幕墙...
一种用于擦窗机器人的视觉识别系统及方法与流程

本发明涉及计算机视觉与机器人感知,具体涉及一种用于擦窗机器人的视觉识别系统及方法。

背景技术:

1、随着城市化进程的不断推进,高层建筑的数量与高度持续增长,玻璃幕墙因其美观性和采光优势已成为现代城市建筑的主流外墙形式。然而,玻璃幕墙的定期清洗维护长期以来依赖于人工高空作业,不仅效率低下、成本高昂,而且存在严重的人身安全隐患。在此背景下,自动化高空擦窗机器人作为替代人工清洗的有效解决方案,受到了业界的广泛关注。其中,擦窗机器人的视觉感知系统是决定其能否安全、高效完成作业任务的核心技术环节——高精度的窗框边界识别与空间定位是确保机器人准确执行清洗轨迹、防止越界坠落、避免与窗框结构发生碰撞的关键前提。

2、目前,用于擦窗机器人的视觉识别技术主要包括以下几种实现方案。

3、(一)基于二维图像的边缘检测与语义分割方案。该方案采用纯二维图像处理技术路线,通过常规rgb相机采集幕墙场景的二维图像,进而运用canny边缘检测算子、hough变换等传统图像处理算法,或基于深度学习的语义分割网络(如u-net、deeplab系列等),在rgb图像平面上提取窗框区域的二维边界特征。该方案的显著优势在于计算复杂度相对较低,对嵌入式平台的算力要求适中,能够以较高的帧率输出窗框的像素级位置信息。然而,其固有缺陷同样突出:由于仅依赖单目rgb图像,该方案本质上面临深度空间信息缺失的问题,无法获得窗框在三维物理空间中的精确位置和姿态。尤其在高空幕墙的实际作业场景中,强光直射、大角度阴影以及玻璃表面高反光等恶劣光学条件普遍存在,极易导致二维边缘的误判或漏检。例如,玻璃幕墙对阳光的镜面反射可能产生与真实窗框边缘高度相似的虚假纹理边缘,而大面积阴影区域内的窗框边界则可能因对比度不足而完全丢失。最终,该方案无法为擦窗机器人提供准确的三维物理边界约束,擦窗机器人一旦在二维识别结果出现误判时未能准确感知窗框边界的真实三维位置,将极有可能越过窗框边缘导致吸附失效,进而从高空坠落,造成设备损毁甚至安全事故。

4、(二)基于全局三维点云的整体建模与感知方案。该方案采用三维感知技术路线,通过深度相机(如双目深度相机、结构光相机、tof相机)或激光雷达(lidar)等三维传感器,对视场内的全景空间进行大范围的三维点云数据采集,进而构建包含窗框、玻璃面、墙体结构及周围环境的整体空间三维模型。在此基础上,利用三维点云分割算法(如基于区域生长、欧式聚类或深度学习的三维分割方法)从中提取窗框的空间位置信息。该方案的优点在于能够提供窗框在三维空间中的完整几何信息,为机器人的空间定位和路径规划提供直接的三维数据支持。然而,该方案存在数据量过于庞大的固有缺陷。全局空间点云中不可避免地包含了大量与擦窗作业无关的非作业区域背景数据,如室外远景建筑物、天空、地面,以及室内的桌椅、窗帘、人员等杂物点云。这些冗余数据对窗框识别任务本身并不提供有效信息,却占用了大量的存储空间和计算资源,导致整体算法的计算开销极高,难以在算力受限的擦窗机器人边缘计算平台(如arm架构嵌入式设备或轻量化ai加速模块)上实现高帧率的实时感知响应。即便通过体素滤波等方法对点云进行降采样处理,也往往在减小数据量的同时牺牲了窗框边缘细节的精度,难以兼顾实时性与准确性。

5、因此可以看出,方案一虽计算效率尚可,但缺失深度维度信息,在复杂光学环境下识别精度显著下降,无法满足安全作业所需的三维物理边界约束要求;方案二虽能获取三维信息,但全局点云的数据规模和计算负担过重,难以在边缘端实现实时感知。两者均无法在保证高反光复杂幕墙环境下擦窗机器人识别精度的同时,有效降低数据计算量以满足实时性要求。

技术实现思路

1、针对现有技术的不足,本发明提供了一种用于擦窗机器人的视觉识别系统及方法,大幅降低点云处理数据量,满足边缘计算实时性要求;有效抑制复杂幕墙光学环境干扰,鲁棒性强;边界定位精度达毫米级,为擦窗机器人提供可靠的安全边界约束,显著提升高空作业安全性与智能化水平。

2、为实现以上目的,本发明通过以下技术方案予以实现:

3、一种用于擦窗机器人的视觉识别方法,包括以下步骤:

4、步骤s1:进行多源数据采集与时空同步初始化,控制擦窗机器人的深度视觉传感器同步获取当前幕墙视场内的原始rgb图像,并读取与之时间戳对齐的二维深度矩阵数据;

5、步骤s2:进行二维像素平面的实例分割与粗定位,将步骤s1获取的原始rgb图像输入预先训练好的实例分割模型进行前向推理,提取窗框区域在二维图像平面上的粗略掩码;

6、步骤s3:进行感兴趣区域的三维点云融合与提取,根据深度相机的内参将步骤s1的二维深度矩阵数据转换为整体空间点云,利用步骤s2中生成的粗略掩码作为空间过滤器,截取掩码像素区域所对应的深度数据,并将深度数据对应的像素点映射回三维物理空间,获得窗框部分的局部原始点云数据;

7、步骤s4:进行空间几何平面拟合与噪点过滤,对步骤s3提取的局部原始点云采用随机采样一致性算法进行平面拟合,从候选点云中随机选取采样点构造三维平面模型,通过计算各点到拟合平面的距离进行内点判定,经迭代后保留内点数量最多的三维平面模型,并利用筛选出的内点重新拟合平面参数,剔除距离拟合平面超过预设阈值的离群点;

8、步骤s5:进行空间坐标解算与边界特征优化,基于步骤s4拟合得到的三维平面模型,对点云进行相机模型投影并将投影结果映射至二维图像平面,对二维边缘候选区域进行形态学闭运算和膨胀处理,利用膨胀后的支撑区域对边缘线候选像素进行约束,获得窗框的二维骨架边界,根据所述二维骨架边界确定窗框核心角点并解算对应的三维空间点,生成窗框在相机坐标系下的空间位姿,将窗框各核心角点的三维坐标及其空间位姿输出至下游路径规划与控制模块。

9、优选地,步骤s1中所述时间戳对齐具体为:将原始rgb图像与二维深度矩阵数据分别缓存,根据各自消息头中的时间戳进行近似时间匹配,当两者的时间差不超过预设时间容差时,确定为时间戳对齐的数据对。

10、优选地,所述步骤s2中,所述实例分割模型为基于深度学习的实例分割网络,所述模型采用迁移学习方式训练,利用公开实例分割数据集上的预训练权重作为初始化参数,并结合自建窗框场景数据集进行微调训练;所述自建窗框场景数据集中的样本图像包含不同角度、不同距离、不同光照及不同遮挡条件下的窗框目标,并对样本图像中的目标进行类别标注及像素级轮廓标注;

11、所述实例分割模型的训练参数设置为:训练轮数为100至300轮,输入图像尺寸为640×640像素,批次大小为8至32,初始学习率为0.001至0.01,优化器采用sgd、adam或adamw中的任一种,损失函数包括目标分类损失、边界框回归损失及掩码分割损失;训练过程中对样本图像进行亮度扰动、缩放、平移、翻转及噪声扰动等数据增强处理。

12、优选地,所述步骤s3中,所述深度相机和rgb相机的内参包括水平方向焦距fx、竖直方向焦距fy以及主点坐标cx、cy,深度数据与rgb图像采用软件重投影方式进行对齐,根据深度相机和rgb相机的内参以及预先标定得到的深度传感器与rgb相机之间的旋转参数和平移参数,将深度数据中的三维点转换至rgb相机坐标系并投影至rgb图像像素平面,以建立深度数据与rgb图像像素之间的对应关系。

13、优选地,所述步骤s4中,随机采样一致性算法进行平面拟合的具体过程为:从候选点云中随机选取不超过8000个点作为采样集合,每次随机选取三个不共线点构造平面模型,所述平面模型采用一般式表示为"a×x+b×y+c×z+d=0",其中a、b、c表示平面法向量的分量,d表示平面偏移量,x、y、z表示三维空间中的坐标值;通过计算各点到拟合平面的距离进行内点判定,将距离不超过0.10米的点确定为平面内点;经过多次随机迭代后保留内点数量最多的平面模型;当内点数量不少于2500个且内点比例不低于12%时,确定该平面模型有效;并利用筛选出的内点重新拟合平面参数;随后剔除距离拟合平面超过预设阈值的离群点,并结合空间连通性对平面内点进行区域筛选,获得窗框所在的局部平面点云;

14、所述步骤s4中,未对输入点云进行预先体素下采样,仅在随机采样一致性拟合过程中对候选点云进行随机采样。

15、优选地,所述步骤s5中,对二维边缘候选区域进行形态学闭运算和膨胀处理的具体方式为:边缘线候选区域采用边长为5个像素的矩形结构元素进行膨胀,点云投影支撑区域采用宽度为13个像素、高度为13个像素的矩形结构元素进行膨胀。

16、优选地,所述步骤s5中,将二维骨架中的窗框核心角点定义为三个特征点,包括窗框玻璃区域左上角点、由左上角点沿横向边缘方向偏移200个像素得到的横向参考点,以及由左上角点沿纵向边缘方向偏移300个像素得到的纵向参考点;对于每个二维特征点,将点云中的三维点按照相机内参投影至图像平面,并在该二维特征点周围半径25个像素的搜索区域内选取投影距离最小的有效三维点作为其对应的三维空间点。

17、优选地,根据三个二维特征点分别对应的三维空间点构造窗框局部坐标系:将左上角点对应的三维空间点指向横向参考点对应的三维空间点的方向确定为横向轴,将左上角点对应的三维空间点指向纵向参考点对应的三维空间点的方向确定为纵向轴,并通过两方向向量的叉乘得到窗框平面法向轴;对各坐标轴进行归一化和正交化处理后,生成窗框在相机坐标系下的空间位姿;

18、相机坐标系与擦窗机器人基坐标系之间的转换采用预先标定并存储的固定四乘四外参矩阵实现。

19、本发明还公开了一种用于擦窗机器人的视觉识别系统及方法,包括:

20、数据采集模块,用于控制擦窗机器人外部的深度相机同步获取作业环境的原始rgb图像流与深度矩阵数据,并确保二者的数据流时空对齐;

21、二维分割模块,与数据采集模块相连接,用于加载实例分割网络,接收数据采集模块输入的原始rgb图像并进行并行推理,输出窗框区域的二维粗略掩码;

22、局部点云提取模块,分别与数据采集模块和二维分割模块相连接,用于建立二维像素与三维空间的映射关系,利用二维窗框粗略掩码对全局深度数据进行roi裁剪,过滤掉背景点云,提取出局部的三维原始点云;

23、几何拟合优化模块,与局部点云提取模块相连接,用于对接收到的局部点云执行随机采样一致性迭代计算,剔除幕墙干扰噪点,拟合出代表玻璃窗面几何特征的空间理想平面方程;

24、边界坐标解算模块,与几何拟合优化模块相连接,用于结合拟合出的平面方程对窗框边缘进行精细化像素膨胀与坐标校正,解算出窗框各边界角点在擦窗机器人物理空间坐标系下的三维坐标序列,并将该高精度边界特征对外输出。

25、优选地,所述二维分割模块中加载的实例分割网络为基于pytorch框架构建的yolo11-seg模型,所述模型采用迁移学习方式预先训练,输出窗框目标的类别、边界框及实例分割掩码。

26、本发明提供了一种用于擦窗机器人的视觉识别方法,具备以下有益效果:

27、利用二维实例分割模型在rgb图像平面上提取窗框区域的粗略掩码,并将该掩码作为空间过滤器对同步对齐的深度矩阵进行roi裁剪,使得进入三维处理阶段的点云数据量呈数量级下降。从而使得本发明能够在擦窗机器人算力受限的边缘计算平台上稳定运行。

28、在提取窗框局部点云之后,引入了基于随机采样一致性算法的空间平面几何拟合机制,以有效应对高空玻璃幕墙作业中最具挑战性的环境干扰因素。能够精准区分有效窗面点云与离群噪点,即便在点云中包含大量异常值的情况下,仍能拟合出代表真实玻璃窗面的高精度理想平面方程。使得本发明在不同光照条件、不同天气状况以及不同程度的玻璃表面污染情况下,均能保持稳定、可靠的平面识别效果,显著提升了擦窗机器人在室外复杂环境下的作业适应能力。

29、通过基于ransac算法拟合出的高精度三维平面模型,将局部点云重投影至二维图像平面,并通过形态学膨胀与最近邻搜索相结合的方式,利用三维空间信息对二维分割边缘进行精准校正。在此基础上,通过构建窗框局部坐标系并解算其在机器人基坐标系下的精确空间位姿,最终输出窗框各边界角点的高精度三维坐标序列。从而能有效消除了二维分割中可能存在的像素级定位偏差,为下游路径规划与防碰撞控制系统提供了精确、可靠的安全边界约束。擦窗机器人据此能够准确定位自身相对于窗框边界的空间位置,在接近边界时及时执行减速、转向或停止等安全动作,从而从根本上避免了越界坠落的事故风险。