基于多传感器融合的环境感知与导航方法、系统、设备及介质与流程
本技术涉及人形机器人导航,具体涉及基于多传感器融合的环境感知与导航方法、系统、设备及介质。
背景技术:
1、人形机器人作为具身智能的核心载体之一,能够模拟人类形态并在人类社会环境中执行复杂任务。随着人工智能与机器人技术的飞速发展,人形机器人已逐步从理论研究走向实际应用,广泛渗透于工业制造、商业服务、医疗康复以及灾害救援等多个领域。在这些应用场景中,精准的环境感知与自主导航能力是人形机器人实现物理实体与复杂环境实时交互、完成感知、认知、决策与行动一体化的关键基础。
2、目前,人形机器人在执行自主导航任务时,通常依赖于搭载的视觉传感器或激光雷达来获取周围环境的空间信息。基于这些常规的感知数据,利用同步定位与建图技术构建环境的纯几何地图或占据栅格地图。随后,导航算法会根据该几何地图识别环境中的自由空间与静态障碍物,并结合预设的目标点位,利用传统的路径规划算法计算出一条避开物理障碍物的移动路径,进而驱动机器人各关节完成移动。
3、然而,面对高度复杂和非结构化的真实物理世界,现有的单一几何导航技术忽略了环境的动态物理稳定性、潜在的隐性风险以及不同任务意图下的差异化导航需求。例如在灾害救援与常规服务场景下,机器人对安全性、未知区域探索和通行规范的侧重点截然不同,采用固定的导航权重会导致机器人在面对复杂多变的非结构化环境时,极易发生机体失稳或误入高危区域,难以生成兼顾安全性与任务适应性的最优导航路径。
技术实现思路
1、本技术提供了基于多传感器融合的环境感知与导航方法、系统、设备及介质,该方法解决了现有技术中导航算法与任务需求脱节的问题,提升人形机器人在复杂非结构化环境中的自主导航和任务执行成功率。
2、第一方面,本技术提供了基于多传感器融合的环境感知与导航方法,应用于人形机器人中,方法包括:接收用户输入的自然语言指令,对自然语言指令进行意图解析,得到任务目标;控制人形机器人搭载的传感器设备采集人形机器人当前所处环境的多模态数据,并将当前所处环境在空间上划分为多个栅格;基于多模态数据为各个栅格确定几何代价值、语义代价值、物理稳定性代价值、风险代价值以及机遇代价值,以分别构建几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图;根据任务目标为几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图分配融合权重;将待处理栅格在几何代价地图、语义代价地图、动态物理稳定性代价地图以及风险代价地图中的代价值,与各自对应的融合权重进行计算,并基于待处理栅格在机遇代价地图中的机遇代价值对计算结果进行调节,得到待处理栅格的单一融合代价值,其中,待处理栅格为多个栅格中的任意一个栅格;将所有栅格对应的单一融合代价值集合成融合代价地图;以融合代价地图中各栅格的单一融合代价值为依据,规划出人形机器人从当前位置到与目标任务对应的终点位置的导航序列;将导航序列转换为人形机器人各关节驱动单元的控制指令,以驱动人形机器人完成自主导航与任务执行。
3、通过采用上述技术方案,接收用户输入的自然语言指令并进行意图解析得到任务目标,克服了现有技术中导航算法与任务需求脱节的问题;通过控制人形机器人搭载的传感器设备采集多模态数据,实现了对环境的多维度全面感知,为各个栅格确定几何代价值、语义代价值、物理稳定性代价值、风险代价值以及机遇代价值,分别构建相应的代价地图,不仅涵盖了传统的几何障碍信息和语义通行成本,更将环境物体的动态物理稳定性、基于气味信息的隐性风险以及探索导向的机遇价值纳入导航决策体系,填补了现有技术在隐性危险感知和主动探索能力方面的空白;根据任务目标为各代价地图分配融合权重,实现了导航策略随任务类型的自适应调整,使得人形机器人在灾后救援场景中能够提升对物理稳定性和风险的关注度并主动探索未知区域,而在工业制造场景中则强化语义规范性约束,旨在解决固定权重导致的任务适应性差的技术缺陷;将待处理栅格在代价地图中的代价值与对应权重进行加权计算,并基于机遇代价值对结果进行调节得到单一融合代价值,最终生成的融合代价地图综合了多维信息,以此为依据规划出的导航序列既能有效避开物理障碍和不稳定区域,又能根据任务需求在安全边界内最大化信息获取,显著提升了人形机器人在复杂非结构化环境中的自主导航和任务执行成功率。
4、可选的,基于多模态数据为各个栅格确定几何代价值、语义代价值、物理稳定性代价值、风险代价值以及机遇代价值,以分别构建几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图,具体包括:从多模态数据中获取视觉数据、物理属性信息以及气味信息,基于视觉同步定位技术对视觉数据进行处理,若栅格被障碍物占据,则几何代价值为预设极大值;若栅格为自由空间,则几何代价值为零,构建几何代价地图;对视觉数据进行物体类别识别,并为各个类别的物体预先分配对应的通行成本权重,计算各个栅格的通行成本权重与对应栅格被识别为物体概率的乘积,得到语义代价值,以构建语义代价地图;基于物理属性信息和视觉数据为各个栅格确定物理稳定性代价值,以构建动态物理稳定性代价地图;基于气味信息为各个栅格确定风险代价值和机遇代价值,以分别构建风险代价地图和机遇代价地图。
5、通过采用上述技术方案,从多模态数据中获取视觉数据、物理属性信息以及气味信息,基于视觉同步定位技术处理视觉数据,将栅格的几何代价值设定为预设极大值或零的二元化表征方式,在构建几何代价地图时实现了对障碍物与自由空间的快速准确识别;通过对视觉数据进行物体类别识别并为各类别物体预先分配通行成本权重,再将通行成本权重与栅格被识别为物体的概率相乘得到语义代价值,使得语义代价地图不仅能够区分不同类别物体的通行难易程度,还能通过概率加权机制处理识别不确定性;利用物理属性信息和视觉数据确定物理稳定性代价值构建动态物理稳定性代价地图,将环境物体的潜在倾倒风险和历史失稳事件纳入导航决策,解决了传统方案无法预判动态不稳定因素的技术缺陷;基于气味信息同时确定风险代价值和机遇代价值分别构建风险代价地图与机遇代价地图,实现了对有毒气体等隐性危险的量化感知,同时将气味源定位转化为探索价值引导,在统一的气味信息基础上完成了风险规避与主动探索的双重目标。
6、可选的,基于物理属性信息和视觉数据为各个栅格确定物理稳定性代价值,以构建动态物理稳定性代价地图,具体包括:基于视觉数据提取环境物体的三维点云,计算环境物体的质心位置以及与地面接触的支撑多边形;判断质心位置在水平面的投影是否超出支撑多边形的预设安全边界,或环境物体的倾斜角是否大于预设角度阈值;若质心位置在水平面的投影超出支撑多边形的预设安全边界,或环境物体的倾斜角大于预设角度阈值,则将环境物体识别为危险源,并将投影超出边界的距离或倾斜角度的大小映射为危险源置信度;计算各个栅格到危险源的欧式距离,将危险源置信度除以欧式距离与预设平滑常数之和,得到第一物理代价值;获取人形机器人采集的接触力数据和加速度数据;当加速度数据的方差超过预设震动阈值,或基于接触力数据计算的零矩点偏离足底支撑中心超过预设稳定裕度时,判定发生不稳固事件,并记录事件发生时刻以及对应的事件发生位置;以事件发生位置为中心设定预设半径的影响区域,利用指数衰减函数对影响区域内的栅格进行计算,得到第二物理代价值,第二物理代价值等于预设初始惩罚代价值乘以自然常数的负指数次幂,其中负指数的绝对值与当前时刻和事件发生时刻的时间差成正比;将同一栅格对应的第一物理代价值和第二物理代价值进行加权求和,得到各个栅格的物理稳定性代价值,以构建动态更新的动态物理稳定性代价地图
7、通过采用上述技术方案,基于视觉数据提取环境物体的三维点云并计算质心位置以及支撑多边形,通过判断质心位置在水平面的投影是否超出支撑多边形的预设安全边界或环境物体的倾斜角是否大于预设角度阈值,能够在物体实际倾倒前预判失稳风险,将投影超出边界的距离或倾斜角度大小映射为危险源置信度的机制,实现了对不稳定程度的量化表征,计算栅格到危险源的欧式距离并将危险源置信度除以该距离与预设平滑常数之和得到第一物理代价值,通过获取人形机器人采集的接触力数据和加速度数据,当加速度数据方差超过预设震动阈值或零矩点偏离足底支撑中心超过预设稳定裕度时,判定发生不稳固事件并记录事件发生时刻及位置,将机器人自身的失稳经历转化为环境风险的实证数据;利用指数衰减函数计算第二物理代价值,将第一物理代价值和第二物理代价值加权求和构建动态更新的动态物理稳定性代价地图,形成了预判与实证相结合的双重安全保障方式,提升了人形机器人规避动态不稳定区域的能力和导航安全性。
8、可选的,基于气味信息为各个栅格确定风险代价值和机遇代价值,以分别构建风险代价地图和机遇代价地图,具体包括:获取在当前测量点及历史测量点检测到的危险气体浓度数据、对应的位置坐标以及对应的测量时刻;基于测量时刻与当前时刻的时间差,利用时间衰减因子对历史测量点的危险气体浓度数据进行权重衰减处理,得到时效更新后的有效浓度数据;基于空间插值算法,根据位置坐标以及对应的有效浓度数据和当前测量点的危险气体浓度数据,计算各个未测量栅格的气体浓度预测值,其中,空间插值算法利用距离衰减权重,使得距离测量点越近的栅格受该测量点浓度数据的影响越大;根据各个栅格的气体浓度预测值,正向映射计算得到风险代价值,以构建风险代价地图;生成气味源头位置的概率分布图,概率分布图表示基于当前所有观测数据气味源头在地图上每个位置的可能性;计算概率分布图上每个栅格的信息熵,并对于每一个候选的下一步移动位置,计算移动到下一个位置并获得新读数后整个地图的期望后验熵;计算当前信息熵与期望后验熵的差值,得到信息增益;将信息增益乘以预设调节系数并取负值,转化为机遇代价值,以构建机遇代价地图。
9、通过采用上述技术方案,获取当前测量点及历史测量点的危险气体浓度数据、位置坐标以及测量时刻,基于测量时刻与当前时刻的时间差,利用时间衰减因子对历史测量点的危险气体浓度数据进行权重衰减处理得到有效浓度数据,通过基于空间插值算法利用距离衰减权重,根据位置坐标及有效浓度数据计算未测量栅格的气体浓度预测值,实现了从离散测量点到连续空间场的推演,使得人形机器人无需遍历所有区域即可获得全局风险分布的估计。将气体浓度预测值正向映射为风险代价值构建风险代价地图,直接量化了隐性危险对导航决策的影响权重,将不可见威胁转化为可计算的路径成本;在风险评估的基础上生成气味源头位置的概率分布图,通过计算每个栅格的信息熵以及移动到候选位置后的期望后验熵,将信息论方法引入机器人探索决策,使得当前信息熵与期望后验熵的差值即信息增益能够定量表征每个移动选择带来的认知价值提升;将信息增益乘以预设调节系数并取负值转化为机遇代价值构建机遇代价地图,将探索收益转化为代价惩罚的减免,在路径规划框架中实现了风险规避与主动探索的统一规划,使得人形机器人既能避开高浓度危险区域,又能主动向信息增益最大的方向移动以快速定位气味源头,显著提升了在有毒气体泄漏等应急场景中的救援效率和安全性。
10、可选的,根据任务目标为几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图分配融合权重,具体包括:对任务目标进行语义特征提取,确定当前任务的任务类型,并根据任务类型计算对应的安全需求系数、探索需求系数和通行规范系数;实时获取人形机器人在当前环境中的全局感知状态,全局感知状态包括环境震动方差、平均危险气体浓度以及语义障碍物占比;将安全需求系数分别与环境振动方差和平均危险气体浓度进行正相关计算,得到动态物理稳定性代价地图对应的物理融合权重和风险代价地图对应的风险融合权重;将探索需求系数与当前环境的未知区域占比进行正相关计算,得到机遇代价地图对应的机遇融合权重;将通行规范系数与语义障碍物占比进行正相关计算,得到语义代价地图对应的语义融合权重;获取当前环境的深度感知数据,并提取几何代价地图中各个局部空间节点的地形几何特征参数,调用人形机器人的机体物理极限参数;将地形几何特征参数与机体物理极限参数输入至预设阶跃门控函数中进行处理,得到几何代价地图对应的几何融合权重。
11、通过采用上述技术方案,对任务目标进行语义特征提取确定任务类型并据此计算安全需求系数、探索需求系数和通行规范系数,从根本上解决了现有技术中导航权重固化无法适应不同任务需求的技术缺陷;实时获取包括环境震动方差、平均危险气体浓度以及语义障碍物占比的全局感知状态,将安全需求系数分别与环境振动方差和平均危险气体浓度进行正相关计算得到物理融合权重和风险融合权重,将探索需求系数与未知区域占比正相关计算得到机遇融合权重,将通行规范系数与语义障碍物占比正相关计算得到语义融合权重,获取深度感知数据提取地形几何特征参数并调用机体物理极限参数,将地形几何特征参数与机体物理极限参数输入预设阶跃门控函数得到几何融合权重,实现了基于机器人物理能力边界的硬约束门控,防止规划出超越机体极限的路径。
12、可选的,将待处理栅格在几何代价地图、语义代价地图、动态物理稳定性代价地图以及风险代价地图中的代价值,与各自对应的融合权重进行计算,并基于待处理栅格在机遇代价地图中的机遇代价值对计算结果进行调节,得到待处理栅格的单一融合代价值,具体包括:获取待处理栅格在几何代价地图中的目标几何代价值、在语义代价地图中的目标语义代价值、在动态物理稳定性代价地图中的目标物理稳定性代价值,以及在风险代价地图中的目标风险代价值;将目标几何代价值、目标语义代价值、目标物理稳定性代价值和目标风险代价值,分别与对应的几何融合权重、语义融合权重、物理融合权重和风险融合权重进行相乘,并将乘积结果进行求和,得到待处理栅格的基础代价值;获取待处理栅格在机遇代价地图中的目标机遇代价值,将目标机遇代价值输入预设非线性激活函数中进行映射,得到机遇调节系数;将基础代价值与机遇调节系数进行相乘,得到初始融合代价值;若初始融合代价值大于或等于预设绝对安全阈值,则将单一融合代价值设定为不可通行极值;若初始融合代价值小于预设绝对安全阈值,则将初始融合代价值作为待处理栅格的单一融合代价值。
13、通过采用上述技术方案,获取待处理栅格在几何代价地图、语义代价地图、动态物理稳定性代价地图以及风险代价地图中的目标几何代价值、目标语义代价值、目标物理稳定性代价值和目标风险代价值,将四类目标代价值分别与对应的几何融合权重、语义融合权重、物理融合权重和风险融合权重相乘并求和得到基础代价值,将目标机遇代价值的负值输入预设非线性激活函数进行映射得到机遇调节系数,将基础代价值与机遇调节系数相乘得到初始融合代价值的机制,实现了风险惩罚与探索奖励的乘法调制,使得高信息增益区域即使存在一定风险也能通过折扣系数降低其有效代价,判断初始融合代价值是否大于或等于预设绝对安全阈值,若超过则将单一融合代价值设定为不可通行极值,解决了探索导向可能诱导机器人冒险进入绝对禁区的安全隐患。这种先加权融合四类风险代价再用机遇系数进行乘法折扣最后施加安全阈值截断的处理方式,既保证了多维信息的充分整合,又实现了探索价值的非线性激励,同时兜底了绝对安全约束,使得最终生成的单一融合代价值能够在复杂环境中精准平衡安全性、规范性与探索性,显著提升了路径规划的决策水平。
14、可选的,以融合代价地图中各栅格的单一融合代价值为依据,规划出人形机器人从当前位置到与目标任务对应的终点位置的导航序列,具体包括:基于人形机器人的当前位置坐标和终点位置坐标在融合代价地图中匹配对应的起点栅格和终点栅格;利用启发式搜索算法以起点栅格为起始节点,将当前节点周围的相邻栅格作为候选扩展节点进行遍历,计算从起点栅格经过各个候选扩展节点到达终点栅格的综合代价评估值;将遍历到的候选扩展节点加入候选节点集合中,从候选节点集合中选取综合代价评估值最小的节点作为新的当前节点继续进行遍历扩展,并记录各个候选扩展节点的父节点,直到当前节点为终点栅格;从终点栅格开始,依次追溯记录的各个父节点直至起点栅格,并将追溯经过的节点序列进行反转,以得到由多个连续栅格坐标构成的初始离散路径;获取人形机器人的最小转弯半径和最大步幅限制,根据最小转弯半径和最大步幅限制对初始离散路径中的拐点进行平滑处理,生成符合人形机器人连续运动轨迹的导航序列。
15、通过采用上述技术方案,基于人形机器人的当前位置坐标和终点位置坐标在融合代价地图中匹配对应的起点栅格和终点栅格;利用启发式搜索算法以起点栅格为起始节点遍历候选扩展节点,通过计算综合代价评估值即实际累计代价值与启发式预估代价值之和,将遍历到的候选扩展节点加入候选节点集合并选取综合代价评估值最小的节点作为新的当前节点继续扩展,同时记录各候选扩展节点的父节点直到当前节点为终点栅格,实现了基于代价最优原则的贪婪搜索策略,保证了在多条可能路径中优先探索综合成本最低的方向;从终点栅格开始依次追溯记录的父节点直至起点栅格并将节点序列反转得到初始离散路径,利用父节点链表实现了从终点到起点的逆向回溯,避免了正向记录路径时可能出现的分支歧义问题。通过获取人形机器人的最小转弯半径和最大步幅限制,根据这些运动学约束对初始离散路径中的拐点进行平滑处理生成符合连续运动轨迹的导航序列,将离散栅格路径转化为可执行的连续轨迹,解决了栅格化路径存在锯齿状尖角导致机器人无法精确跟踪的技术缺陷,确保了规划结果与机器人物理运动能力的匹配性,显著提升了路径的可执行性和运动平滑度。
16、在本技术的第二方面提供了基于多传感器融合的环境感知与导航系统,系统位于人形机器人中,系统还包括接收单元、处理单元、规划单元以及控制单元,接收单元,接收用户输入的自然语言指令,对自然语言指令进行意图解析,得到任务目标;控制人形机器人搭载的传感器设备采集人形机器人当前所处环境的多模态数据,并将当前所处环境在空间上划分为多个栅格;处理单元,基于多模态数据为各个栅格确定几何代价值、语义代价值、物理稳定性代价值、风险代价值以及机遇代价值,以分别构建几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图;根据任务目标为几何代价地图、语义代价地图、动态物理稳定性代价地图、风险代价地图以及机遇代价地图分配融合权重;将待处理栅格在几何代价地图、语义代价地图、动态物理稳定性代价地图以及风险代价地图中的代价值,与各自对应的融合权重进行计算,并基于待处理栅格在机遇代价地图中的机遇代价值对计算结果进行调节,得到待处理栅格的单一融合代价值,其中,待处理栅格为多个栅格中的任意一个栅格;将所有栅格对应的单一融合代价值集合成融合代价地图;规划单元,以融合代价地图中各栅格的单一融合代价值为依据,规划出人形机器人从当前位置到与目标任务对应的终点位置的导航序列;控制单元,将导航序列转换为人形机器人各关节驱动单元的控制指令,以驱动人形机器人完成自主导航与任务执行。
17、在本技术第三方面提供一种电子设备,电子设备包括处理器、存储器、用户接口及网络接口,存储器用于存储指令,用户接口和网络接口用于与其他设备通信,处理器用于执行存储器中存储的指令,使得一种电子设备执行如本技术上述中任意一项的方法。
18、在本技术第四方面提供一种计算机可读存储介质,计算机可读存储介质存储有指令,当指令被执行时,执行本技术上述中任意一项的方法。
19、综上,本技术实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
20、1、接收用户输入的自然语言指令并进行意图解析得到任务目标,克服了现有技术中导航算法与任务需求脱节的问题;通过控制人形机器人搭载的传感器设备采集多模态数据,实现了对环境的多维度全面感知,为各个栅格确定几何代价值、语义代价值、物理稳定性代价值、风险代价值以及机遇代价值,分别构建相应的代价地图,不仅涵盖了传统的几何障碍信息和语义通行成本,更将环境物体的动态物理稳定性、基于气味信息的隐性风险以及探索导向的机遇价值纳入导航决策体系,填补了现有技术在隐性危险感知和主动探索能力方面的空白;根据任务目标为各代价地图分配融合权重,实现了导航策略随任务类型的自适应调整,使得人形机器人在灾后救援场景中能够提升对物理稳定性和风险的关注度并主动探索未知区域,而在工业制造场景中则强化语义规范性约束,旨在解决固定权重导致的任务适应性差的技术缺陷;将待处理栅格在代价地图中的代价值与对应权重进行加权计算,并基于机遇代价值对结果进行调节得到单一融合代价值,最终生成的融合代价地图综合了多维信息,以此为依据规划出的导航序列既能有效避开物理障碍和不稳定区域,又能根据任务需求在安全边界内最大化信息获取,显著提升了人形机器人在复杂非结构化环境中的自主导航和任务执行成功率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com