基于流几何特征的流匹配具身策略的分布外样本检测方法
本发明涉及具身智能、生成式机器人策略模型以及分布外样本检测,尤其涉及基于流几何特征的流匹配具身策略的分布外样本检测方法。
背景技术:
1、随着具身智能与模仿学习技术的发展,机器人控制策略逐渐由传统的显式轨迹规划和局部反馈控制,转向由深度神经网络直接根据观测生成动作序列的端到端策略。对于包含视觉、状态量或语言条件的复杂任务,生成式策略能够在多峰动作分布、高维连续控制和长时序动作块建模方面表现出较强的表达能力。flow matching策略模型通过学习从噪声分布到动作分布的连续向量场,将动作生成过程表述为沿时间变量积分的确定性或近似确定性流过程,因此可在较少采样步数下生成平滑动作块,并适用于机械臂操作、移动操作和人形机器人控制等具身任务。
2、然而,在真实机器人部署过程中,flow matching策略模型面对的观测条件、物体布局、接触状态、背景扰动和执行器状态往往与训练数据分布存在偏移。若策略在未识别到分布外状态的情况下继续输出动作块,可能导致执行动作出现轨迹漂移、接触力异常、碰撞风险或任务失败。该问题在动作块一次性下发、执行端存在缓冲计划、且模型输出缺乏显式不确定性度量的场景中尤为突出。
3、现有分布外检测方法通常依赖输入观测的重构误差、分类器置信度、特征空间距离或简单动作幅值阈值。上述方法虽然能够在部分静态感知任务中发挥作用,但难以充分刻画生成式动作策略在连续流积分过程中的动态行为。一方面,flow matching策略模型的安全性不仅取决于最终动作块本身,还与从动作端回推至噪声端时的路径长度、局部曲率、速度场能量和散度变化密切相关;另一方面,高维动作块的直接密度估计容易受到维度灾难影响,且不同任务之间动作尺度、时间步数和流场刚性差异较大,导致固定阈值方法泛化能力不足。
4、因此,亟需一种面向flow matching具身策略的分布外样本检测方法,该方法能够利用已训练策略模型自身的流几何特征,在不额外训练判别式ood网络(out-of-distribution,分布外检测)的情况下,从任务内参考样本中建立稳定的参考密度模型,并在在线控制周期中对当前动作块进行低延迟风险评估和分级阻断。
技术实现思路
1、本发明要解决的技术问题是针对上述现有技术的不足,提供基于流几何特征的流匹配具身策略的分布外样本检测方法,以解决现有分布外检测方法难以利用流匹配策略的连续积分结构对高维动作块进行稳定分布外判断,导致在线部署安全性不足的技术问题。
2、为解决上述技术问题,本发明所采取的技术方案是:
3、本发明提供基于流几何特征的流匹配具身策略的分布外样本检测方法,包括:
4、步骤b1、获取机器人的当前观测以及当前状态,并从预设噪声分布中采样得到噪声端初始状态;以所述噪声端初始状态作为正向积分的起点,在各正向积分时间步中,将当前状态、当前正向积分时间步以及当前观测输入已训练的流匹配策略模型,得到对应的速度场输出,并根据所述速度场输出更新当前状态,使更新后的当前状态由噪声端逐步积分至动作端;在正向积分过程中记录各正向积分时间步对应的状态、速度场输出和散度值,进而得到当前状态轨迹、当前速度场轨迹和当前散度轨迹,并将正向积分结束时得到的动作端状态作为当前动作块;
5、步骤b2、基于所述当前状态轨迹、当前速度场轨迹和当前散度轨迹计算所述当前动作块的正向流特征向量,并利用目标任务的参考工件中的所述反向流特征标准化参数、主成分分析参数和核密度估计参数,依次对所述正向流特征向量执行标准化、主成分投影和核密度打分,得到所述当前动作块的核密度对数值;
6、步骤b3、根据所述核密度对数值相对于目标任务的参考工件中的参考对数密度序列的位置关系确定所述当前动作块的参考分位数,依据所述参考分位数将所述当前动作块划分为不同的分布外等级;
7、步骤b4、根据所述分布外等级对当前动作块执行分级安全处置。
8、所述目标任务的参考工件,获取过程包括:
9、步骤a1、获取目标任务中的任务内参考样本,每个所述任务内参考样本包括机器人的参考观测和对应的参考动作块;
10、步骤a2、将所述参考观测作为输入条件,利用已训练的流匹配策略模型对所述参考动作块进行从动作端到噪声端的逆积分处理,得到参考状态轨迹、参考速度场轨迹和参考散度轨迹;
11、步骤a3、根据所述参考状态轨迹、参考速度场轨迹和参考散度轨迹计算参考反向流特征向量,并将多个任务内参考样本的所述参考反向流特征向量堆叠形成参考特征矩阵;
12、步骤a4、对所述参考特征矩阵依次执行特征标准化、主成分分析降维以及核密度估计,分别得到反向流特征标准化参数、主成分分析参数和核密度估计参数;
13、步骤a5、对主成分分析降维后的参考点集合执行核密度打分,得到参考对数密度序列;将所述反向流特征标准化参数、主成分分析参数、核密度估计参数和参考对数密度序列共同保存为所述目标任务的参考工件。
14、进一步地,所述参考反向流特征向量包括以下特征:对数似然、路径效率、路径曲折度、总角偏差、速度场范数均值、速度场范数最大值、速度场范数标准差、总流能量、速度场尖峰度、相邻积分步的平均加速度、平均lipschitz指标、最大lipschitz指标以及平滑度评分。
15、所述对所述参考特征矩阵依次执行特征标准化、主成分分析降维以及核密度估计,包括:对参考特征矩阵进行标准化,得到标准化后的参考特征矩阵,对标准化后的参考特征矩阵进行去中心化处理;对去中心化后的参考特征矩阵进行奇异值分解,根据奇异值分解结果,计算各主成分的解释方差占比,对各主成分的解释方法占比进行累计,得到解释方差,取解释方差大于目标累计解释方差阈值的主成分,作为最小主成分数,采用最小主成分数的主成分构成主成分矩阵,根据主成分矩阵,得到主成分分析降维后的特征矩阵的集合,采用主成分分析降维后的特征矩阵的集合,进行核密度估计。
16、进一步地,所述核密度估计包括:根据主成分分析降维后的特征矩阵的集合计算样本协方差矩阵,根据特征矩阵的集合中特征数量和投影维度确定带宽因子,根据宽带因子以及样本协方差矩阵,构造正则化协方差矩阵;对于主成分投影的核密度对数值按照参考投影点个数与主成分投影相对于各参考投影点马氏距离的指数确定,根据正则化协方差矩阵,得到正则化协方差矩阵的逆矩阵以及对数行列式;核密度估计参数包括降维后的特征矩阵的集合、带宽因子、正则化协方差矩阵、正则化协方差矩阵的逆矩阵以及对数行列式。
17、进一步地,所述分布外等级,包括:严重分布外等级、中度分布外等级、轻度分布外等级和分布内等级,所述参考分位数为参考对数密度序列中小于或等于当前核密度对数值的样本数占总样本数的比例;所述依据所述参考分位数将所述当前动作块划分为不同的分布外等级,包括:以参考分位数为等级判定值,当等级判定值不大于0.05时判定为严重分布外等级,当等级判定值大于0.05且不大于0.10时判定为中度分布外等级,当等级判定值大于0.10且不大于0.20时判定为轻度分布外等级,当等级判定值大于0.20时判定为分布内等级。
18、进一步地,步骤b3中还包括:维护固定长度历史窗口存储最近多次的参考分位数;当历史窗口已满时,计算参考分位数历史均值作为等级判定值。
19、所述根据所述分布外等级对当前动作块执行分级安全处置,包括:当所述分布外等级为严重分布外时,清空当前待执行动作计划并阻断当前动作块下发至执行器;当所述分布外等级为中度分布外时,重新采样动作块或降低执行速度;当所述分布外等级为轻度分布外时,记录诊断信息并将当前动作块下发至执行器;当所述分布外等级为分布内时,正常下发当前动作块至执行器。
20、采用上述技术方案所产生的有益效果在于:
21、第一、本发明直接利用flow matching策略模型的连续积分流结构进行分布外检测,不依赖额外训练的分布外判别器,能够在保留原策略模型生成能力的同时,获得与策略内部动力学一致的安全性度量;
22、第二、本发明将动作块的最终输出扩展为状态轨迹、速度场轨迹和散度轨迹的联合几何表征,能够捕获路径曲折、速度尖峰、局部lipschitz变化和似然下降等异常模式,相较于单纯动作幅值阈值或观测特征距离具有更强的可解释性;
23、第三、本发明通过标准化、主成分分析和gaussian核密度估计实现低维稳定建模,有效缓解高维动作块直接密度估计的维度灾难,并通过参考分位数使不同任务、不同动作尺度下的检测结果具有可比较性;
24、第四、本发明在在线推理阶段仅需执行有限步检测积分和矩阵投影,且核密度打分可按照预设查询块大小分块计算,能够限制峰值内存占用并满足机器人控制周期中的实时监测需求;
25、第五、本发明将参考分位数历史窗口与分级阻断机制结合,能够降低偶发噪声造成的误触发,同时在持续异常出现时及时阻断动作块下发,从而提高具身策略部署过程中的安全性和鲁棒性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com