一种AI机器狗环境语义感知方法及系统与流程
本发明涉及机器狗,具体是涉及一种ai机器狗环境语义感知方法及系统。
背景技术:
1、随着智能移动机器人的普及,机器狗这类四足移动平台在复杂动态环境中开展自主导航和人机交互的需求正日益增长。现有技术方案一般采用多传感器融合策略获取环境信息,例如通过激光雷达生成三维点云、彩色相机采集rgb图像,并配合惯性测量单元(imu)完成位姿估计。典型的处理流程是分别对点云提取几何特征、对图像完成语义分割,再通过简单的坐标映射将二维像素标签投射到三维空间中。然而,这类方案普遍存在以下缺陷:第一,激光雷达与相机并未在时间基准和空间基准上建立严格的同步与对齐机制,导致多模态数据融合时出现时空偏差;第二,像素级推理结果没有经过可靠度筛选就直接附着到三维点上,使得低质量语义证据污染后续的融合结果;第三,离散的单帧语义观测缺少多帧几何加权融合机制,也未聚合为带有空间关系和功能属性的物体级场景图,导致环境理解始终停留在点级的碎片化状态,无法支撑高质量的情境推理。
2、上述现有技术的缺陷共同导致机器狗在动态、非结构化环境中难以形成准确、稳定且结构化的环境语义认知,严重制约了它在复杂场景下的自主决策能力。具体来说,由于缺少时序稳定性处理和实例级的逻辑关联,系统在遭遇瞬态遮挡或运动模糊时容易产生误判,也无法有效识别潜在风险或交互对象,最终影响了机器狗在实际应用中的安全性与可靠性。
技术实现思路
1、本发明旨在提供一种ai机器狗环境语义感知方法及系统,解决了现有技术中多模态数据融合精度不足、语义证据污染以及环境理解碎片化导致的不稳定问题。
2、为达到以上目的,本发明采用的技术方案为:一种ai机器狗环境语义感知方法,包括:
3、通过激光雷达、彩色相机与惯性测量单元同步采集三维点云、rgb图像与惯性数据并打上同源时间戳,对三维点云与rgb图像执行时间对齐与空间对齐,打包为时空对齐数据单元;
4、对时空对齐数据单元中的rgb图像经轻量化语义分割网络逐像素推理得到像素级概率向量,将像素级概率向量与三维点云关联后进行置信度过滤与邻域一致性过滤,输出带置信度像素级语义结果;
5、根据带置信度像素级语义结果对相邻多帧点云建立同一物理点的观测集合,对观测集合中每次观测计算观测距离与入射夹角并构造权重,按权重对多帧语义证据进行加权归一化融合,生成语义标注点云;
6、将语义标注点云中语义标签相同的邻近点聚合为有效实例并计算几何描述,建立有效实例的跨帧对应以获得速度矢量,在有效实例之间建立空间关系边并标注功能属性,构建三维场景图;
7、基于三维场景图依次执行可通行区域判定、交互对象判定与潜在风险区判定,并对三类判定结果执行覆盖完整性与一致性核验;
8、将核验后的判定结果合并为语义要素集合并建立拓扑邻接关系与功能从属关系构成环境语义关联结构,对环境语义关联结构执行时序一致性校验后变换到机体系,输出时序稳定的环境语义认知状态。
9、优选的,所述对三维点云与rgb图像执行时间对齐与空间对齐,打包为时空对齐数据单元,包括:
10、对落入相邻两帧rgb图像之间的三维点云子段,按采集时刻与前后帧图像曝光时刻的时间差采用就近归属规则确定归属图像帧;
11、利用惯性测量单元数据按每个点的时间戳积分出机体相对帧起始时刻的旋转量与平移量,将每个点坐标统一变换到帧起始时刻的机体系下,得到时间对齐且运动补偿后的点云帧与图像帧序列;
12、以嵌有圆形反光标的平板采集多组点云与图像对,在点云中提取圆形亮斑中心的三维坐标记为点集p,在rgb图像中提取对应亮斑中心的像素坐标记为点集q,以重投影残差平方和最小为准则迭代求解激光雷达坐标系到相机坐标系的旋转矩阵与平移向量作为外参;
13、任取一帧点云按外参变换到相机坐标系并按内参投影到图像平面,统计偏差点比例以核验配准质量,核验通过后将点云帧、图像帧、外参、内参与惯性测量单元姿态打包为时空对齐数据单元。
14、另一方面,本发明提出一种ai机器狗环境语义感知系统,包括:
15、时空对齐模块,用于通过激光雷达、彩色相机与惯性测量单元同步采集三维点云、rgb图像与惯性数据并打上同源时间戳,对三维点云与rgb图像执行时间对齐与空间对齐,打包为时空对齐数据单元;
16、语义推理模块,用于对时空对齐数据单元中的rgb图像经轻量化语义分割网络逐像素推理得到像素级概率向量,将像素级概率向量与三维点云关联后进行置信度过滤与邻域一致性过滤,输出带置信度像素级语义结果;
17、语义融合模块,用于根据带置信度像素级语义结果对相邻多帧点云建立同一物理点的观测集合,对观测集合中每次观测计算观测距离与入射夹角并构造权重,按权重对多帧语义证据进行加权归一化融合,生成语义标注点云;
18、场景图构建模块,用于将语义标注点云中语义标签相同的邻近点聚合为有效实例并计算几何描述,建立有效实例的跨帧对应以获得速度矢量,在有效实例之间建立空间关系边并标注功能属性,构建三维场景图;
19、上下文推理模块,用于基于三维场景图依次执行可通行区域判定、交互对象判定与潜在风险区判定,并对三类判定结果执行覆盖完整性与一致性核验;
20、终态输出模块,用于将核验后的判定结果合并为语义要素集合并建立拓扑邻接关系与功能从属关系构成环境语义关联结构,对环境语义关联结构执行时序一致性校验后变换到机体系,输出时序稳定的环境语义认知状态。
21、与现有技术相比,本发明的有益效果在于:
22、本发明通过同源时间戳同步采集与运动补偿实现多模态数据的严格时空对齐,并利用两层过滤机制与多帧几何加权归一化融合保障语义证据的可靠性;进一步通过区域生长聚合、跨帧实例匹配及关系边构建,实现了从点级到物体级的结构化场景理解,赋予实例明确的功能属性与空间关系;经上下文联合推理与时序一致性校验,输出时序稳定的环境语义认知状态。解决了现有技术中多模态数据融合精度不足、语义证据污染以及环境理解碎片化导致的不稳定问题,使机器狗在行进过程中能够持续获得准确、完整且抗干扰的环境感知结果,显著提升了自主导航与人机交互的可靠性。
1.一种ai机器狗环境语义感知方法,其特征在于,包括:
2.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述对三维点云与rgb图像执行时间对齐与空间对齐,打包为时空对齐数据单元,包括:
3.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述输出带置信度像素级语义结果,包括:
4.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述生成语义标注点云,包括:
5.根据权利要求4所述的一种ai机器狗环境语义感知方法,其特征在于,所述生成语义标注点云,还包括:
6.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述将语义标注点云中语义标签相同的邻近点聚合为有效实例并计算几何描述,建立有效实例的跨帧对应以获得速度矢量,包括:
7.根据权利要求6所述的一种ai机器狗环境语义感知方法,其特征在于,所述在有效实例之间建立空间关系边并标注功能属性,构建三维场景图,包括:
8.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述基于三维场景图依次执行可通行区域判定、交互对象判定与潜在风险区判定,并对三类判定结果执行覆盖完整性与一致性核验,包括:
9.根据权利要求1所述的一种ai机器狗环境语义感知方法,其特征在于,所述输出时序稳定的环境语义认知状态,包括:
10.一种ai机器狗环境语义感知系统,其特征在于,用于实现如权利要求1-9任意一项所述的ai机器狗环境语义感知方法,包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com