面向重复纹理环境的机器人视觉定位方法、装置及设备与流程
本技术涉及机器人视觉定位,特别是涉及一种面向重复纹理环境的机器人视觉定位方法、装置及设备。
背景技术:
1、视觉slam(同步定位与建图)用于解决机器人在未知环境运动时的定位与地图构建问题,该技术通常依赖连续图像之间稳定且具有空间区分性的视觉关联完成机器人位姿估计。
2、然而,在实际运行环境中,重复排列的门框、货架、立柱、墙砖、机柜和栅格等具有周期性或相似外观结构,容易使不同空间位置产生高度相似的视觉观测。此类场景并不一定缺少角点、边缘或局部纹理,但这些视觉信息缺乏足够的空间唯一性,使多个空间互异位置可能同时对当前观测具有较强解释能力,从而引发空间定位候选竞争、错误关联、定位漂移和错误重定位的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种面向重复纹理环境的机器人视觉定位方法、装置及设备,旨在提高机器人在重复纹理环境下定位退化的提前识别能力、主动消歧针对性以及重定位闭环可靠性。
2、一种面向重复纹理环境的机器人视觉定位方法,所述方法包括:
3、s1,获取机器人运行过程中连续采集的多源状态数据并执行时间同步;多源状态数据包括深度图像、时间戳、机器人运动状态和视觉slam外部运行状态;
4、s2,根据机器人的当前观测从深度图像中提取多个局部区域描述信息,基于局部区域描述信息在历史地图或历史观测内检索得到能够解释当前观测的空间定位候选集合,并构建包含空间定位候选节点和竞争边的候选竞争图;
5、s3,针对当前时刻的每条活跃竞争边,分别进行竞争边强度计算和竞争持续度更新,经图级聚合得到图级竞争强度和图级竞争持续状态后,构造形成持续空间歧义以表示重复纹理环境中的空间不可区分状态;
6、s4,以持续空间歧义作为定位退化风险预测的门控前提,经图级竞争强度和图级竞争持续状态的联合竞争门控,以及联合竞争门控与机器人运动状态和视觉slam外部运行状态进行条件耦合后,形成时序风险特征并以此预测得到未来多时间尺度的定位退化风险并计算风险变化趋势;
7、s5,根据未来多时间尺度的定位退化风险及风险变化趋势,判断是否达到主动消歧干预条件,若为否,保持当前定位状态并继续进行在线观测和风险监测;若为是,进入s6;
8、s6,依据当前时刻的活跃竞争边集合和各竞争边对应的竞争持续度,计算历史地图或历史观测中的各候选观测对持续空间歧义的消歧增益,并综合消歧增益、候选可靠性以及候选观测与当前活跃竞争关系的相关性,计算得到候选综合评分,并按需筛选待验证的候选观测集合;
9、s7,判断各候选观测的候选综合评分是否低于预设拒绝阈值,若为是,拒绝当前的候选观测;若为否,进入s8;
10、s8,将通过低价值拒绝判断的候选观测及其对应的历史观测和地图位姿初始假设,送入slam地图定位接口执行重定位,获取候选重定位结果;
11、s9,依次判断候选重定位结果是否通过即时一致性验证和短窗口运动稳定性验证,仅在两级验证均通过时,接受当前的候选重定位结果并更新机器人定位状态;否则,拒绝候选重定位结果,继续进行在线观测、扩大候选观测搜索范围或执行相应回退,直至接受当前的候选重定位结果并更新机器人定位状态。
12、在其中一个实施例中,s2包括:
13、s2.1,根据机器人的当前观测,将深度图像划分为多个局部区域,并使用可替换的区域描述子表征局部区域的观测,并在区域描述子不可用时,使用当前观测的全局视觉描述信息替代表征局部区域的观测;
14、s2.2,根据区域描述子或全局视觉描述信息,在历史地图或历史观测内检索得到多个能够解释当前观测的候选观测,并利用各候选观测对应的地图位姿形成空间定位候选集合;其中,每个空间定位候选包含候选观测、对应的地图位姿以及候选观测对当前观测的匹配响应;
15、s2.3,通过对空间位置相近的空间定位候选进行聚类,以聚类后的空间位置作为候选空间身份,同时将各空间定位候选作为节点,在空间位置互异、均能够较好解释当前观测且解释能力接近的空间定位候选节点之间建立竞争边,从而构造形成包含空间定位候选节点和竞争边的候选竞争图。
16、在其中一个实施例中,s3包括:
17、s3.1,针对候选竞争图中当前时刻的每条活跃竞争边,根据竞争边两端的空间定位候选节点的候选观测对当前观测的匹配响应,计算竞争边强度,表示为:
18、;
19、其中,为当前时刻,和表示当前活跃的竞争边两端的空间定位候选节点,为当前时刻的竞争边强度,和分别表示和共同具有较好解释能力的程度以及二者解释能力相互接近的程度,且和根据和的候选观测对当前观测的匹配响应及响应差值,经归一化处理或阈值映射获得;
20、s3.2,基于聚类得到的候选空间身份在相邻帧之间进行关联,并结合历史竞争状态与当前时刻的竞争边强度更新同一竞争关系的竞争持续度为:
21、;
22、其中,表示和之间的竞争关系在当前时刻的持续度,表示跨帧候选空间身份关联,表示历史竞争状态保持系数;
23、s3.3,对候选竞争图内当前时刻的所有活跃竞争边的竞争边强度和竞争持续度分别进行图级聚合,得到图级竞争强度和图级竞争持续状态,分别表示为:
24、;
25、;
26、其中,为当前时刻的活跃竞争边集合,为用于避免分母为零的正数;
27、s3.4,根据图级竞争强度和图级竞争持续状态,构造形成持续空间歧义以表示重复纹理环境中的空间不可区分状态,表示为:
28、。
29、在其中一个实施例中,s4包括:
30、s4.1,将图级竞争强度、图级竞争持续状态、持续空间歧义、机器人运动状态、视觉slam外部运行状态和视觉外观状态共同作为风险预测输入,并以持续空间歧义作为定位退化风险预测的门控前提,即仅当重复纹理环境中的空间不可区分状态满足预设条件时,才允许后续风险预测流程开启;其中,视觉外观状态包括单帧外观歧义、区域唯一性、重复结构响应、局部视觉可靠性及纹理活动度,单帧外观歧义和区域唯一性由表征深度图像中的局部区域的观测的区域描述子经归一化处理后,再基于各归一化的区域描述子之间的相似度求解得到,单帧外观歧义用于表征当前帧整体的局部区域间的观测相似程度,区域唯一性用于表征单个局部区域相对于其他局部区域的可区分程度;重复结构响应用于表征当前观测中高相似局部区域的重复出现程度,根据区域描述子之间的相似度及高相似局部区域的数量或比例确定;局部视觉可靠性用于表征局部区域参与视觉匹配和定位的可信程度,根据有效深度比例、区域描述子有效性及匹配支持度中的至少一种确定;纹理活动度用于表征局部区域中图像值或深度值的变化程度,根据深度梯度、深度方差或边缘响应中的至少一种确定;机器人运动状态用于描述机器人运行过程中的运动量及其变化;视觉slam外部运行状态用于提供包含位姿跳变状态、跟踪丢失状态的视觉slam位姿异常响应;
31、s4.2,对图级竞争强度和图级竞争持续状态进行联合竞争门控,表示为:
32、;
33、其中,表示当前时刻的联合竞争门控,为门控算子,和分别表示图级竞争强度和图级竞争持续状态对应的门控阈值;
34、s4.3,将分别与机器人运动变化量和视觉slam位姿异常响应进行条件耦合,表示为:
35、;
36、;
37、其中,和分别表示当前时刻的运动耦合门控和异常耦合门控,和分别表示运动耦合门控和异常耦合门控对应的门控阈值;
38、s4.4,将视觉外观状态、持续空间歧义、以及和组成当前时刻的时序风险特征,并通过将最近帧的时序风险特征输入预训练的风险预测模型,预测输出未来多时间尺度的定位退化风险,同时计算定位退化随时间的变化趋势;其中,为3步、10步和30步三个预测时间尺度,表示对应预测时间尺度的风险映射函数,、和分别对应未来短期、中期和长期预测范围内的定位退化风险;风险预测模型包括gru、lstm、时序卷积、transformer或规则模型。
39、在其中一个实施例中,s6包括:
40、s6.1,获取当前时刻的活跃竞争边集合及各竞争边对应的竞争持续度,并从历史地图或历史观测中获得各待评价的候选观测;
41、s6.2,针对当前活跃的竞争边,分别计算候选观测对竞争边两端的空间定位候选节点和空间定位候选节点的区域级匹配响应,并计算响应差异,表示为:
42、;
43、其中,和分别表示候选观测对和的区域级匹配响应;其中,区域级匹配响应优先采用与竞争边查询区域对应的区域描述子进行计算,区域描述子不可用时,可使用全局视觉描述信息替代计算;
44、s6.3,根据各活跃竞争边的竞争持续度,对响应差异进行加权聚合,得到候选观测对当前时刻的持续空间歧义的消歧增益为:
45、;
46、其中,为当前时刻,表示当前时刻的活跃竞争边集合,表示与之间的竞争关系在当前时刻的竞争持续度,为用于避免分母为零的正数;竞争关系持续时间越长,且候选观测对竞争边两端的空间定位候选节点的响应差异越大,则对应候选观测的消歧增益越高;
47、s6.4,综合消歧增益、候选可靠性以及候选观测与当前活跃竞争关系的相关性,计算得到候选综合评分,表示为:
48、;
49、其中,表示候选观测的候选可靠性,由图像质量、可匹配特征支持或已有定位质量信息获得;表示候选观测与当前活跃竞争关系的相关程度;、和为根据实际系统和场景设置的非负权重;
50、s6.5,若仅需选择一个候选观测,则选取候选综合评分最高的候选观测;若需要保留多个候选观测用于后续位姿共识或逐一验证,则按照候选综合评分排序选取候选观测形成待验证的候选观测集合。
51、在其中一个实施例中,s7还包括:
52、若候选观测集合中的最高候选综合评分仍低于预设拒绝阈值,则继续进行在线观测、扩大候选观测搜索范围或保持当前定位状态。
53、在其中一个实施例中,即时一致性验证包括验证候选重定位结果的图像几何一致性、ransac内点支持、rgb-d深度一致性和多候选位姿空间共识;短窗口运动稳定性验证包括验证候选重定位结果在连续若干帧构成的短时间窗口内的位姿变化、运动连续性和运动预测误差。
54、在其中一个实施例中,本方法还包括:
55、利用未参与当前决策的后续真实观测、视觉slam轨迹和gt,对风险预测的提前量与准确性以及重定位闭环效果进行后验评价,并统计ate、rpe、重定位接受率、错误重定位率、拒绝率和回退率指标;其中,后验数据仅用于实验评价、阈值或模型参数调整以及后续训练,不进入当前时刻的风险判断、候选观测选择或重定位决策。
56、一种面向重复纹理环境的机器人视觉定位装置,所述装置包括:
57、数据采集与预处理模块,用于获取机器人运行过程中连续采集的多源状态数据并执行时间同步;多源状态数据包括深度图像、时间戳、机器人运动状态和视觉slam外部运行状态;
58、空间候选竞争关系构建模块,用于根据机器人的当前观测从深度图像中提取多个局部区域描述信息,基于局部区域描述信息在历史地图或历史观测内检索得到能够解释当前观测的空间定位候选集合,并构建包含空间定位候选节点和竞争边的候选竞争图;
59、持续空间歧义建模模块,用于针对当前时刻的每条活跃竞争边,分别进行竞争边强度计算和竞争持续度更新,经图级聚合得到图级竞争强度和图级竞争持续状态后,构造形成持续空间歧义以表示重复纹理环境中的空间不可区分状态;
60、门控耦合风险预测模块,用于以持续空间歧义作为定位退化风险预测的门控前提,经图级竞争强度和图级竞争持续状态的联合竞争门控,以及联合竞争门控与机器人运动状态和视觉slam外部运行状态进行条件耦合后,形成时序风险特征并以此预测得到未来多时间尺度的定位退化风险并计算风险变化趋势;
61、主动消歧触发模块,用于根据未来多时间尺度的定位退化风险及风险变化趋势,判断是否达到主动消歧干预条件,若为否,保持当前定位状态并继续进行在线观测和风险监测;若为是,进入候选观测评价选择模块;
62、候选观测评价选择模块,用于依据当前时刻的活跃竞争边集合和各竞争边对应的竞争持续度,计算历史地图或历史观测中的各候选观测对持续空间歧义的消歧增益,并综合消歧增益、候选可靠性以及候选观测与当前活跃竞争关系的相关性,计算得到候选综合评分,并按需筛选待验证的候选观测集合;
63、低价值候选拒绝模块,用于判断各候选观测的候选综合评分是否低于预设拒绝阈值,若为是,拒绝当前的候选观测;若为否,进入候选重定位执行模块;
64、候选重定位执行模块,用于将通过低价值拒绝判断的候选观测及其对应的历史观测和地图位姿初始假设,送入slam地图定位接口执行重定位,获取候选重定位结果;
65、两级验证模块,用于依次判断候选重定位结果是否通过即时一致性验证和短窗口运动稳定性验证,仅在两级验证均通过时,接受当前的候选重定位结果并更新机器人定位状态;否则,拒绝候选重定位结果,继续进行在线观测、扩大候选观测搜索范围或执行相应回退,直至接受当前的候选重定位结果并更新机器人定位状态。
66、一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述一种面向重复纹理环境的机器人视觉定位方法的步骤。
67、上述面向重复纹理环境的机器人视觉定位方法、装置及设备,相较于现有技术具备以下有益效果:
68、1、通过空间候选竞争关系构建与持续更新,可将重复纹理场景下多位置视觉观测相似形成的空间不可区分状态量化建模为持续空间歧义,从而将抽象的定位歧义转化为可计算的图结构数据,精准刻画定位候选之间的竞争关联,为后续定位退化风险预测与主动消歧提供可靠的结构化输入,弥补传统slam难以量化表征空间歧义的不足。
69、2、以持续空间歧义作为门控前提,将图级竞争强度、图级竞争持续状态与机器人运动变化和视觉slam外部运行状态进行条件耦合,借助时序风险映射预测多未来时间尺度的定位退化风险及其变化趋势,该机制改变了传统slam故障后被动修正的模式,实现定位退化风险的前瞻性预判,能够提前识别重复纹理环境下潜在的误匹配与跟踪失效隐患,掌握定位状态演化规律,提升机器人在高重复纹理场景定位的预警能力。
70、3、在定位退化风险达到主动消歧干预条件时,综合各候选观测的消歧增益、候选可靠性以及其与当前活跃竞争关系的相关性,筛选能够区分当前持续空间歧义且消歧价值高的候选观测,避免盲目匹配带来的冗余计算,针对性消解重复纹理引发的候选竞争,从匹配源头降低视觉错误关联的发生概率,提升消歧过程的计算效率与有效性。
71、4、将候选选择与定位状态更新相互分离,候选评分仅用于确定优先验证顺序,候选重定位结果需经过即时一致性及短窗口运动稳定性双重校验,验证失败不会覆盖当前定位状态,使得可规避单次错误重定位污染现有定位结果的缺陷,并降低错误重定位向后续轨迹传播的风险,能够显著提升机器人视觉定位在重复纹理环境下的重定位闭环可靠性与运行鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com