一种面向消防机器人的多目标识别与定位方法及系统与流程
本发明涉及计算机视觉,尤其涉及一种面向消防机器人的多目标识别与定位方法及系统。
背景技术:
1、随着消防机器人在高温、浓烟、有毒气体和坍塌风险场景中的应用增加,火场环境感知与目标定位技术逐渐成为消防机器人自主作业的重要基础。现有消防机器人通常搭载可见光相机、红外热成像仪、激光雷达、惯性测量装置和里程计等传感器,通过图像识别、热源检测、点云建图和位姿估计等方式获取周围环境信息,并将识别到的障碍物、人员、火源或通道边界等对象提供给路径规划、避障控制和救援决策环节。现有技术中,视觉图像适合表达目标外观和热特征,激光点云适合表达空间距离和结构形态,两类数据常被分别用于目标检测和地图构建。
2、在基础技术方案中,常采用激光雷达同步定位与建图方法获取机器人位姿和局部点云地图,并采用基于角点检测的目标识别模型从图像中提取目标边界区域,再将图像检测结果与点云空间位置进行对应,用于估计目标在地图中的位置。此类方案能够在一定程度上实现火场目标检测和定位,但在浓烟遮挡、热辐射干扰、点云缺失和图像边界模糊情况下,视觉检测结果与点云结构结果容易出现不一致,导致目标边界定位不稳定、地图级位置计算偏差较大以及连续帧定位结果跳变。
3、因此,如何提供一种面向消防机器人的多目标识别与定位方法及系统是本领域技术人员亟需解决的问题。
技术实现思路
1、本发明的一个目的在于提出一种面向消防机器人的多目标识别与定位方法及系统,本发明充分利用了激光雷达点云建图、火场视觉增强、改进cornernet模型和点云结构锚固定位技术,详细描述了消防机器人在浓烟、遮挡和热辐射干扰环境下实现多目标识别、空间定位和作业控制的数据处理过程。本发明通过对火场多源感知数据进行预处理,执行lego-loam连续帧配准和点云分层,获得消防机器人实时位姿、火场局部点云地图、静态结构层和动态目标层,进一步结合点云结构投影约束信息增强火场视觉图像,并通过改进cornernet模型提取目标视觉角点集合,构建视觉角点-点云结构锚固图,实现目标地图坐标、目标距离、目标方位和目标来源标记的稳定计算,具备火场适应性强、目标定位稳定、识别结果与点云结构一致性高、消防机器人控制数据可靠的优点。
2、根据本发明实施例的一种面向消防机器人的多目标识别与定位方法,包括:
3、采集消防机器人火场作业过程中的火场多源感知数据,并对火场多源感知数据进行预处理,生成标准化火场感知数据;
4、基于标准化火场感知数据执行lego-loam算法,对激光雷达点云数据进行点云特征提取和点云分层,得到消防机器人实时位姿、火场局部点云地图、静态结构层和动态目标层;
5、基于静态结构层进行地面支撑提取、垂直边界提取和遮挡结构分析,基于动态目标层进行点云聚类中心提取和空间位置关联,得到火场点云结构先验;
6、基于火场点云结构先验和标准化火场感知数据进行反向投影处理,得到点云结构投影约束信息,并进行火场视觉增强处理,生成火场增强视觉图像;
7、构建改进cornernet模型,对火场增强视觉图像进行角点检测和类别识别,并结合点云结构投影约束信息进行结构约束处理,得到目标视觉角点集合;
8、基于目标视觉角点集合进行同类别角点配对和目标边界生成,得到目标边界区域,提取目标视觉定位点并映射至火场局部点云地图,与静态结构层和动态目标层进行对应关联,构建视觉角点-点云结构锚固图;
9、基于视觉角点-点云结构锚固图进行多关系锚固校核、空间定位计算和连续稳定处理,得到稳定后的地图级多目标定位结果,并生成消防机器人作业控制数据。
10、可选的,所述火场多源感知数据具体包括可见光图像数据、红外热成像数据、激光雷达点云数据、激光雷达反射强度数据、惯性测量数据、轮速里程数据、云台姿态数据、机器人底盘位姿数据、烟雾浓度数据和采集时间戳数据。
11、可选的,所述对火场多源感知数据进行预处理具体包括图像畸变校正、红外配准、时间同步、点云清洗、位姿校正、数据标准化及多源数据关联处理。
12、可选的,所述得到消防机器人实时位姿、火场局部点云地图、静态结构层和动态目标层,包括:
13、基于标准化火场感知数据执行lego-loam算法,对激光雷达点云数据进行距离滤波、时间对齐和反射强度归一化,依据反射强度波动、点云密度变化、回波持续性和烟雾浓度生成火场烟尘退化场,得到退化加权有效点云;
14、基于退化加权有效点云计算局部曲率,结合火场烟尘退化场提取边缘特征点和平面特征点,并依据烟尘退化强度和回波持续性分配残差权重,得到加权点云特征集合和点云配准残差集合;
15、基于加权点云特征集合、点云配准残差集合、惯性测量数据和轮速里程数据执行lego-loam连续帧配准,自第2个采集时刻起结合上一采集时刻的视觉角点-点云结构锚固图生成视觉角点锚固残差,并进行联合位姿优化和累积,得到消防机器人实时位姿;
16、基于消防机器人实时位姿和加权点云特征集合构建火场局部点云地图,依据点云配准残差、点云密度变化量和火场烟尘退化场判断更新状态,将稳定区域写入火场局部点云地图,将退化区域冻结,并将退化区域中满足动态变化条件的点云暂存为动态候选点云集合,得到更新后的火场局部点云地图;
17、基于消防机器人实时位姿、云台姿态、更新后的火场局部点云地图和动态候选点云集合生成视觉观测射线,对视觉观测射线与火场结构进行交叉判断,生成遮挡射线拓扑图,并依据点云空间变化、点云外接范围变化、点云配准残差和遮挡射线拓扑图进行点云分层,得到静态结构层和动态目标层。
18、可选的,所述得到火场点云结构先验,包括:
19、基于静态结构层中的点云高度、法向方向和空间稳定性提取地面支撑点云,并进行支撑面边界拟合,得到地面支撑结构;
20、基于静态结构层中的边缘特征点、平面特征点和反射强度变化提取垂直边界点云,并结合消防机器人实时位姿和云台姿态进行遮挡结构分析,得到垂直边界结构和遮挡结构;
21、基于动态目标层提取点云聚类中心,并将点云聚类中心与地面支撑结构、垂直边界结构和遮挡结构进行空间位置关联,得到火场点云结构先验。
22、可选的,所述生成火场增强视觉图像,包括:
23、基于火场点云结构先验、消防机器人实时位姿、云台姿态数据和机器人底盘位姿数据,建立火场局部点云地图与可见光图像、红外热成像之间的点云视觉映射关系;
24、基于点云视觉映射关系,对地面支撑结构、垂直边界结构、遮挡结构和点云聚类中心进行反向投影,得到点云结构投影约束信息;
25、基于点云结构投影约束信息、可见光图像、红外热成像和烟雾浓度数据进行边界保留、轮廓增强和热特征融合,生成火场增强视觉图像。
26、可选的,所述得到目标视觉角点集合,包括:
27、构建改进cornernet模型,所述改进cornernet模型由视觉特征提取模块、点云结构约束模块、角点检测识别模块和角点匹配输出模块组成;
28、视觉特征提取模块对火场增强视觉图像进行多尺度特征提取和层级特征融合,提取红外热边界特征、可见光轮廓特征和目标边界纹理特征,得到火场视觉特征集合;
29、点云结构约束模块对点云结构投影约束信息进行约束特征编码,依据垂直边界投影线、遮挡投影区域、地面支撑投影区域和动态目标投影中心生成角点约束权重图,并与火场视觉特征集合进行融合,得到结构约束视觉特征集合;
30、角点检测识别模块对结构约束视觉特征集合分别执行左上角关键点响应预测、右下角关键点响应预测和目标类别预测,得到左上角关键点响应图、右下角关键点响应图和目标类别识别结果;
31、依据角点约束权重图对左上角关键点响应图和右下角关键点响应图进行响应修正,依据遮挡投影区域、垂直边界投影线和已检测角点位置进行缺失角点补全,沿点云投影边界方向对候选角点响应进行重采样,得到候选目标角点集合;
32、角点匹配输出模块对候选目标角点集合和目标类别识别结果进行同类别角点匹配,依据候选角点、动态目标投影中心和地面支撑投影区域进行三元一致性校核,依据红外热边界与点云垂直边界之间的冲突区域进行类别化校正,并进行角点偏移修正和置信度筛选,得到目标视觉角点集合;
33、对改进cornernet模型进行训练,采用角点检测误差、目标类别识别误差、角点结构一致性误差和角点配对误差作为联合优化目标,持续优化视觉特征提取模块、点云结构约束模块、角点检测识别模块和角点匹配输出模块的参数,当连续5轮训练的联合误差相对下降率均小于0.001,或训练轮次达到200轮时,判定改进cornernet模型收敛并停止训练。
34、可选的,所述构建视觉角点-点云结构锚固图,包括:
35、基于目标视觉角点集合的角点类别、角点方向和角点置信度进行同类别角点配对,生成目标边界区域;
36、基于目标边界区域、地面支撑投影区域和动态目标投影中心提取目标视觉定位点,并结合点云结构投影约束信息、消防机器人实时位姿、云台姿态和机器人底盘位姿数据,映射至火场局部点云地图,得到目标地图候选点;
37、基于目标地图候选点与静态结构层、动态目标层进行空间对应关联,生成角点支撑关联、边界锚固关联和动态中心关联,并构建视觉角点-点云结构锚固图。
38、可选的,所述生成消防机器人作业控制数据,包括:
39、基于视觉角点-点云结构锚固图进行角点支撑关联、边界锚固关联和动态中心关联的锚固校核,剔除结构不一致的目标地图候选点,得到有效目标锚固点;
40、基于有效目标锚固点、消防机器人实时位姿和火场局部点云地图进行空间定位计算,得到目标地图坐标、目标距离、目标方位和目标来源标记;
41、基于采集时间戳数据对连续采集时刻中的目标地图坐标、目标距离、目标方位和目标来源标记进行关联稳定处理,剔除短时突变定位结果,得到稳定后的地图级多目标定位结果,并生成消防机器人作业控制数据。
42、根据本发明实施例的一种面向消防机器人的多目标识别与定位系统,包括如下模块:
43、数据预处理模块,用于采集火场多源感知数据并预处理,生成标准化火场感知数据;
44、点云建图模块,用于执行lego-loam算法,对激光雷达点云进行特征提取和分层,生成消防机器人实时位姿、火场局部点云地图、静态结构层和动态目标层;
45、结构先验模块,用于提取地面支撑、垂直边界、遮挡结构和点云聚类中心,生成火场点云结构先验;
46、投影增强模块,用于执行反向投影和视觉增强,生成点云结构投影约束信息和火场增强视觉图像;
47、角点识别模块,用于构建改进cornernet模型,执行角点检测、类别识别和结构约束,生成目标视觉角点集合;
48、锚固图模块,用于生成目标边界区域,提取并映射目标视觉定位点,构建视觉角点-点云结构锚固图;
49、定位控制模块,用于执行锚固校核、空间定位和连续稳定,生成地图级多目标定位结果和消防机器人作业控制数据。
50、本发明的有益效果是:
51、本发明一种面向消防机器人的多目标识别与定位方法及系统通过采集火场多源感知数据,并结合lego-loam连续帧配准、点云分层、火场点云结构先验、点云视觉映射和改进cornernet模型,使消防机器人能够在浓烟遮挡、热辐射干扰和点云退化条件下同时获得稳定的实时位姿、火场局部点云地图、静态结构层和动态目标层。相比仅依赖图像识别或单独点云建图的方式,本发明将点云中的地面支撑结构、垂直边界结构、遮挡结构和动态目标层信息反向约束到视觉图像中,使目标角点检测不再只依赖模糊图像边界,从而提高火场目标边界提取的稳定性和抗干扰能力。
52、本发明进一步通过目标视觉角点集合与静态结构层、动态目标层之间的空间对应关联,构建视觉角点-点云结构锚固图,并通过角点支撑关联、边界锚固关联和动态中心关联进行锚固校核,能够剔除结构不一致的目标地图候选点,减少误检角点、遮挡角点和点云漂移对地图级定位结果的影响。通过连续采集时刻的关联稳定处理,本发明能够抑制短时突变定位结果,得到稳定后的地图级多目标定位结果,并据此生成消防机器人作业控制数据,具有定位精度高、连续性好、火场适应性强和作业控制可靠性高的有益效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com