一种智能机器人的环境感知方法与流程

摘要: 本发明涉及人工智能与机器人环境感知,具体为一种智能机器人的环境感知方法。背景技术:1、随着人工智能技术的发展,智能机器人在工业制造、特种作业等非结构化环境中的应...
一种智能机器人的环境感知方法与流程

本发明涉及人工智能与机器人环境感知,具体为一种智能机器人的环境感知方法。

背景技术:

1、随着人工智能技术的发展,智能机器人在工业制造、特种作业等非结构化环境中的应用日益广泛,现有的智能机器人通常依赖基于深度学习的视觉传感器与力/触觉传感器进行环境感知,典型的感知硬件配置包括安装于机械臂末端或机身的rgb-d深度相机,用于获取环境的彩色图像与深度点云信息,以及安装于机械臂末端执行器上的六维力/触觉传感器,用于获取接触过程中的力、力矩及接触形变信息,感知网络通常采用卷积神经网络或transformer网络对上述多模态数据进行特征提取与融合,输出目标物体的类别、位姿、抓取参数等感知结果,并直接以概率或回归数值的形式呈现,作为后续路径规划与运动控制模块的输入;

2、与本发明最接近的现有技术是基于深度神经网络输出概率或简单集成方法进行置信度估计的多模态感知方案,其大致流程为:机器人通过rgb-d相机与力/触觉传感器分别采集视觉图像与接触力信号,将视觉图像输入卷积神经网络提取视觉特征,将力/触觉信号输入轻量化网络提取触觉特征,将两路特征在全连接层进行拼接融合,经过分类器或回归器输出感知结果,并以输出层最大概率值或多次前向传播结果的方差作为置信度指标,当置信度低于预设固定阈值时,系统直接触发停机报警,等待人工完全接管或人工重启系统;

3、上述现有技术方案存在明显不足:其一,采用单一置信度指标无法区分数据噪声导致的不确定性与模型认知盲区导致的不确定性,两类本质不同的失效原因被混为一谈,监督人员无法据此采取针对性处置,其二,该方案本身不具备特征溯源能力,置信度骤降时无法说明具体的空间区域与所属模态,监督人员需要重新巡视全部现场以定位问题,其三,人机决策权切换采用固定阈值的全有或全无式硬切换,切换方式生硬、缺乏与任务风险相适应的依据,其四,人工接管数据未被系统利用,机器人不具备利用监督人员仲裁经验进行持续学习的能力,长尾场景下的感知性能无法自我提升,为此,我们提出一种智能机器人的环境感知方法。

技术实现思路

1、本发明的目的在于提供一种智能机器人的环境感知方法。

2、本发明要解决的技术问题是:现有智能机器人多模态环境感知模型在遭遇训练数据分布之外的长尾或未见场景时,感知结果呈现黑箱特性,既无法准确量化并区分感知结果中由数据噪声引起的偶然不确定性与由认知盲区引起的认知不确定性,也无法在感知置信度骤降时向监督人员解释具体的失效原因和空间位置,同时,现有人机协同机制中人机决策权切换方式生硬、缺乏依据,导致监督人员接管效率低下,且机器人无法利用监督人员的仲裁经验进行持续学习,长尾场景下的感知能力无法自我提升。

3、为解决上述技术问题,本发明提供一种智能机器人的环境感知方法,包括如下技术方案:通过rgb-d相机采集环境彩色图像与深度点云数据形成视觉模态输入,通过末端六维力/触觉传感器采集接触力、力矩及形变数据形成触觉模态输入,二者按同一时间戳对齐,将视觉模态输入送入证据深度学习视觉感知网络,经激活函数输出各类别的非负证据值,进而得到狄利克雷分布参数,将触觉模态输入送入证据深度学习触觉感知网络,输出正态-逆伽马分布参数,根据狄利克雷分布参数计算视觉模态的认知不确定性与偶然不确定性,根据正态-逆伽马分布参数计算触觉模态的认知不确定性方差与偶然不确定性方差,实现双模态、双重不确定性的解耦与实时量化,采用证据融合规则将视觉模态与触觉模态各自的信念质量及不确定性进行融合,得到融合后的总不确定性,将融合总不确定性与依据当前任务风险实时计算得到的动态决策阈值进行比较,在融合总不确定性不超过动态决策阈值时,机器人按自主模式继续执行动作,在融合总不确定性超过动态决策阈值时,触发人在回路机制,调用基于不确定性梯度引导的改进梯度加权类激活映射算法,定位导致不确定性升高的物理空间区域及所属感知模态,生成可解释溯源热力图并推送至监督人员终端,监督人员依据溯源热力图对机器人进行接管或对感知结果进行修正,系统将接管动作及修正结果作为仲裁标签构建伪标签样本并存入在线学习样本缓冲区,当样本数量达到预设批次规模时,冻结感知网络的主干特征提取参数,仅更新分类器与投影头参数,得到候选更新模型,将候选更新模型进行安全校验,校验通过则部署上线,校验不通过则保留当前线上模型,从而形成感知、不确定性量化、溯源、人机仲裁与在线学习相互驱动的完整闭环。

4、采用上述技术方案,与现有技术相比,本发明的有益效果在于:

5、1.本发明通过引入证据深度学习,分别针对视觉模态构建狄利克雷分布参数输出结构、针对触觉模态构建正态-逆伽马分布参数输出结构,仅需单次前向传播即可对偶然不确定性与认知不确定性进行解耦与实时量化,使二者的成因与处置方式可被区分识别,监督人员可依据不确定性类型采取差异化处置策略,认知不确定性提示需人工标注新样本,偶然不确定性提示需调整采集条件,从而提升处置的针对性;

6、2.本发明通过将不确定性梯度而非分类置信度作为反向传播目标改造梯度加权类激活映射算法,结合多模态不确定性分布比对,生成兼具空间定位与模态归因的可解释溯源热力图,显著缩短监督人员的问题定位时间,实现感知失效原因的可解释呈现;

7、3.本发明通过构建随任务风险因子实时变化的动态决策阈值,并据此设计自主感知、共享决策、人工全部接管三态状态机,实现决策权按任务风险与不确定性水平的连续、平滑分配,避免固定阈值硬切换带来的低风险场景过度依赖人工或高风险场景切换不及时的问题,提高人机协同效率与安全性;

8、4.本发明通过将人类监督者的接管动作与仲裁标签作为伪标签,采用冻结主干、仅更新分类器与投影头参数的轻量化在线增量学习方式,并配套安全校验与回滚机制,使机器人对长尾场景的感知能力随人机协同次数增加而持续提升,逐步减少同类场景下的人工接管频率,实现感知能力的自我进化。

1.一种智能机器人的环境感知方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:根据所述狄利克雷分布参数计算视觉模态的认知不确定性与偶然不确定性的步骤包括:

3.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:根据所述正态-逆伽马分布参数计算触觉模态的认知不确定性与偶然不确定性的步骤包括:

4.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:采用证据融合规则对视觉模态与触觉模态的信念质量及不确定性进行融合的步骤包括:

5.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:基于不确定性梯度对所述证据深度学习视觉感知网络的特征图进行加权,生成不确定性溯源热力图的步骤包括:

6.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:结合触觉模态的不确定性分布进行模态归因判断的步骤包括:

7.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:依据任务风险实时计算动态决策阈值的步骤包括:

8.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:还包括:

9.根据权利要求1所述的一种智能机器人的环境感知方法,其特征在于:冻结所述证据深度学习视觉感知网络与所述证据深度学习触觉感知网络的主干特征提取参数,仅更新分类器与投影头参数的步骤包括:

10.一种智能机器人环境感知系统,其特征在于,包括处理器与存储器,所述存储器存储有可被所述处理器执行的指令,所述处理器执行所述指令时实现如下模块的功能: