基于传感器可信度评估的多源感知融合方法
本发明涉及自主移动机器人多模态环境感知与融合领域。
背景技术:
1、自主移动机器人在仓储物流、巡检安防及医疗陪护等场景中,通常同时采用rgb图像、深度图、激光雷达点云和imu数据进行多模态环境感知,以支撑建图、识别、避障与导航。实际运行时,传感器在强光、弱光、遮挡、粉尘、雨雾、老化、振动等条件下会发生不同程度的退化,且真实工况中常出现多模态并发退化,退化程度介于“完好”与“完全失效”之间。
2、现有方法通常仅在融合阶段对异常模态做简单加权,或在传感器完全失效后执行固定切换,存在以下不足:无法实时量化各模态的退化程度;退化状态缺少统一中间变量在各环节间传递;轻度和重度退化之间缺少分级响应,常一刀切处理;各处理步骤间缺乏连续逻辑,系统无法平滑调整行为;多传感器退化时难以稳定输出可靠感知结果及对应的安全控制指令。
3、因此,现有技术中缺乏一种能够根据各感知传感器实时数据质量动态评估其可信度并自适应调整融合策略的机制,导致在传感器性能退化或局部失效时,融合感知结果的准确性和系统运行安全性无法得到有效保障。以上问题亟需解决。
技术实现思路
1、本发明目的是为了解决现有技术缺乏一种能够根据各感知传感器实时数据质量,动态评估其可信度并自适应调整融合策略的机制,导致在传感器性能退化或局部失效时,融合感知结果的准确性和系统运行安全性无法得到有效保障的问题。本发明提供了一种基于传感器可信度评估的多源感知融合方法。
2、基于传感器可信度评估的多源感知融合方法,该方法包括:
3、s1、数据采集与预处理:自主移动机器人上多类别传感器对同一观测环境进行感知,获取多类别传感器所采集到的带时间戳观测数据,多类别传感器包括惯性测量单元以及外部感知传感器,外部感知传感器包括rgb相机、深度相机和激光雷达;根据预设外参矩阵将各外部感知传感器的观测数据变换至机器人机体坐标系,并利用所述惯性测量单元输出的位姿对各外部感知传感器的观测数据进行时间对齐,得到时间对齐后的各外部感知传感器的观测数据x_m,m=1,2,3;x_1至x_3分别为第1至第3个外部感知传感器的观测数据,还分别作为rgb相机、深度相机和激光雷达所对应的观测数据;
4、s2、退化指标提取:从观测数据x_m中提取至少一种退化指标,得到第m个外部感知传感器的退化指标集合d_m;
5、s3、综合退化程度计算:对退化指标集合d_m中的各退化指标分别进行归一化处理,得到各归一化退化指标;
6、再按各退化指标对应的预设权重,对全部归一化退化指标进行加权求和,得到第m个外部感知传感器的综合退化程度u_m;
7、s4、生成可信度:根据综合退化程度u_m,计算第m个外部感知传感器的可信度γ_m;
8、s5、初步融合:对同一观测环境下的观测数据x_m,映射为该观测环境下第m个外部感知传感器的局部栅格图e_m的特征;
9、根据各可信度γ_m,计算相应第m个外部感知传感器所对应的融合权重w_m;
10、对各局部栅格图e_m的特征按照对应的融合权重w_m进行加权融合,得到初步融合结果y_0=σ_mw_m·e_m;
11、s6、感知结果输出:
12、根据各可信度γ_m、以及预设的软适应阈值t_soft、恢复阈值t_recover和失效阈值t_disable,判断第m个外部感知传感器可用状态a_m;a_m的取值为1或0,当a_m=0,表示不可用;否则a_m=1,表示可用;
13、当所有外部感知传感器均可用时,将初步融合结果y_0作为环境感知结果输出;
14、当可用的外部感知传感器的数量等于2时,使用可用的外部感知传感器所对应的局部栅格图的特征按照对应的融合权重进行加权融合,得到的融合结果作为环境感知结果输出;
15、当可用的外部感知传感器的数量小于2时,自主移动机器人执行安全停车,且无环境感知结果输出。
16、优选的是,针对rgb相机的退化指标包括:亮度均值、亮度方差、过曝像素比例、欠曝像素比例、图像模糊度、边缘清晰度、遮挡区域比例和目标检测置信度下降幅度中的至少一种。
17、优选的是,对于激光雷达的退化指标包括:点云密度、单帧点数、扫描线缺失比例、反射强度异常比例、点云空间分布均匀性和连续帧位姿匹配残差中的至少一种。
18、优选的是,对于深度相机的退化指标包括:有效深度点比例、深度空洞比例、深度突变比例、深度图连续性、深度噪声方差和近距离无效区域比例中的至少一种。
19、优选的是,步骤s4中,计算第m个外部感知传感器的可信度γ_m的实现方式为:γ_m=exp(-u_m);
20、exp()为自然指数函数。
21、优选的是,步骤s5中,对同一观测环境下的观测数据x_m,映射为该观测环境下第m个外部感知传感器的局部栅格图e_m的特征的实现方式为:
22、将同一观测环境所对应的空间划分为多个栅格单元,该多个栅格单元构成局部栅格图;
23、将观测数据x_m中相应局部数据映射至相应的栅格单元,根据各栅格单元所对应的局部数据的数据量和分布,确定该栅格单元本次观测的障碍物占据概率,并将其障碍物占据概率赋予所述栅格单元、并作为该栅格单元的特征,将所有栅格单元的特征按栅格单元索引排列,形成一个二维矩阵,该二维矩阵作为第m个外部感知传感器对应的局部栅格图e_m的特征。
24、优选的是,步骤s6中,根据各可信度γ_m、以及预设的软适应阈值t_soft、恢复阈值t_recover和失效阈值t_disable,判断第m个外部感知传感器可用状态a_m的实现方式包括:
25、预设的软适应阈值t_soft、失效阈值t_disable和恢复阈值t_recover,满足0 26、预设失效判定连续帧数n和恢复判定连续帧数m,n和m均为正整数; 27、系统启动时,第m个外部感知传感器的可用状态a_m初始化为1,失效连续帧计数器cnt_loss,m初始化为0,恢复连续帧计数器cnt_recover,m初始化为0; 28、(一)计数器更新规则: 29、当γ_m 30、当t_disable≤γ_m 31、当γ_m≥t_soft时:失效连续帧计数器cnt_loss,m清零,恢复连续帧计数器cnt_recover,m自增1; 32、(二)可用状态a_m更新规则: 33、以第m个外部感知传感器上一帧可用状态a_m,old为基础,结合当前帧可信度γ_m所在区间及计数器数值,按照以下规则确定当前帧下第m个外部感知传感器的可用状态a_m: 34、当γ_m 35、若cnt_loss,m≥n,则将a_m置为0,若cnt_loss,m 36、当γ_m≥t_soft时: 37、若a_m,old=1,则保持a_m=1;若a_m,old=0,则当cnt_recover,m≥m时将a_m恢复为1,否则保持a_m=0; 38、当t_disable≤γ_m 39、本发明的有益效果: 40、本发明通过提取各传感器的多种退化指标并加权计算综合退化程度,再生成统一的可信度数值,使各传感器当前的数据质量得以被实时量化;根据可信度与多层阈值的比较以及连续帧计数,判断各传感器的可用状态;再按可用传感器的数量(三路、两路、少于两路)分别采用正常融合、重融合或执行停车的分级响应策略。如此一来,系统能够依据传感器实时数据质量动态调整融合权重和融合策略,在传感器性能渐变退化或局部失效时,仍能输出相对可靠的感知结果,并在多路传感器严重不可用时主动停车,从而保障融合感知结果的准确性和系统运行的安全性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com