机器人多模态数据同步方法、装置和存储介质与流程

摘要: 本申请涉及智能机器人控制领域,特别涉及一种机器人多模态数据同步方法、装置和存储介质。背景技术:1、随着机器人技术的快速发展,特别是具身智能和物理ai领域的兴起,...
机器人多模态数据同步方法、装置和存储介质与流程

本申请涉及智能机器人控制领域,特别涉及一种机器人多模态数据同步方法、装置和存储介质。

背景技术:

1、随着机器人技术的快速发展,特别是具身智能和物理ai领域的兴起,机器人系统在执行复杂任务过程中会产生大量的运行会话数据。这些数据不仅记录了机器人的状态、动作、事件和策略输出,还蕴含了成功经验与失败教训,对于故障分析、性能优化以及后续模型训练具有重要价值。如何对这些运行会话数据进行有效处理,实现可靠的回放复现、精准的故障定位以及高质量的标准化训练数据集生成,已成为业界关注的热点。

2、现有技术中,通常采用独立的工具或流程分别处理回放、故障分析和数据生成。例如,一些系统通过简单记录日志并在离线环境下进行回放,但缺乏对数据完整性和版本一致性的校验,容易因数据损坏或版本不匹配导致回放失真。另一些方法依赖人工经验对故障会话进行排查,效率低下且难以保证分析的全面性。此外,在构建训练数据集时,往往需要手工筛选样本并进行格式转换,不仅耗时费力,而且生成的样本缺乏统一的版本管理和校验机制,难以满足具身智能模型对数据质量和可追溯性的严格要求。

3、上述现有技术存在以下缺陷:1)缺乏对会话数据的完整性校验和版本管理,无法确保回放过程的可靠性与可复现性;2)回放过程中未充分考虑安全约束和执行器能力限制,存在安全隐患;3)故障分析主要依赖人工,难以自动、准确地从大量会话中提取故障段并进行比较;4)训练数据生成缺乏标准化的导出规范和校验信息,导致数据质量参差不齐,不利于模型的训练和故障复盘。

技术实现思路

1、本申请提供一种机器人多模态数据同步方法、装置和存储介质,利用接触事件锚点实现因果同步与质量监控,提升机器人控制的鲁棒性和安全性。

2、一方面,本申请提供了一种机器人多模态数据同步方法,所述方法包括:

3、获取机器人控制系统中各传感器的设备时钟属性与传输特性,选定主时间轴并为每一传感器建立包含尺度参数、偏移参数与流水线延迟参数的初始时钟模型;

4、在各传感器数据流中分别提取物理接触事件候选,依据各传感器对同类事件的固有响应延迟进行跨模态关联,得到共享接触事件锚点,并利用所述共享接触事件锚点对所述初始时钟模型进行在线鲁棒更新,得到更新后的时钟模型和更新后的流水线延迟;

5、将各传感器的原始数据样本按其本地采样时间、所述更新后的时钟模型和所述更新后的流水线延迟映射至主时间轴并按映射时间排序,标注样本的事件保护区;

6、基于经主时间轴映射、排序并标注了事件保护区的样本,针对机器人控制器的目标状态时刻,仅选取映射时间不晚于该目标时刻且位于同一保护区内的样本构建因果数据窗口,禁止使用目标时刻之后的样本和跨事件边界插值,生成包含各模态新鲜度、时间不确定度、缺失掩码和事件分区的同步帧,并在关键模态质量低于门限时输出降级标志以阻止该帧进入实时控制。

7、另一方面,本申请提供了一种机器人多模态数据同步装置,所述装置包括:

8、获取模块,用于获取机器人控制系统中各传感器的设备时钟属性与传输特性,选定主时间轴并为每一传感器建立包含尺度参数、偏移参数与流水线延迟参数的初始时钟模型;

9、更新模块,用于在各传感器数据流中分别提取物理接触事件候选,依据各传感器对同类事件的固有响应延迟进行跨模态关联,得到共享接触事件锚点,并利用所述共享接触事件锚点对所述初始时钟模型进行在线鲁棒更新,得到更新后的时钟模型和更新后的流水线延迟;

10、映射模块,用于将各传感器的原始数据样本按其本地采样时间、所述更新后的时钟模型和所述更新后的流水线延迟映射至主时间轴并按映射时间排序,标注样本的事件保护区;

11、生成模块,用于基于经主时间轴映射、排序并标注了事件保护区的样本,针对机器人控制器的目标状态时刻,仅选取映射时间不晚于该目标时刻且位于同一保护区内的样本构建因果数据窗口,禁止使用目标时刻之后的样本和跨事件边界插值,生成包含各模态新鲜度、时间不确定度、缺失掩码和事件分区的同步帧,并在关键模态质量低于门限时输出降级标志以阻止该帧进入实时控制。

12、第三方面,本申请提供了一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上述机器人多模态数据同步方法。

13、第四方面,本申请提供了一种存储介质,所述存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如上述机器人多模态数据同步方法。

14、从上述本申请提供的技术方案可知,一方面,通过获取各传感器的设备时钟属性与传输特性并建立包含尺度参数、偏移参数与流水线延迟参数的初始时钟模型,能够为后续的时间映射提供准确的基准,从而克服不同传感器时钟源和传输路径差异带来的初始时间偏差;另一方面,通过在各传感器数据流中分别提取物理接触事件候选,并依据各传感器对同类事件的固有响应延迟进行跨模态关联,得到共享接触事件锚点,进而利用所述共享接触事件锚点对初始时钟模型进行在线鲁棒更新,使得时钟模型能够随传感器时钟漂移和环境变化自动调整,显著提高了长时间运行下的时间对齐精度,无需人工干预或停机校准;第三方面,将各传感器的原始数据样本按其本地采样时间、更新后的时钟模型和更新后的流水线延迟映射至主时间轴并按映射时间排序,并标注样本的事件保护区,能够将不同模态的数据统一到同一时间坐标系下,同时识别出与物理接触事件相关的关键时间段,为后续因果数据窗口的构建奠定基础;第四方面,基于经主时间轴映射、排序并标注了事件保护区的样本,针对机器人控制器的目标状态时刻,仅选取映射时间不晚于该目标时刻且位于同一保护区内的样本构建因果数据窗口,并禁止使用目标时刻之后的样本和跨事件边界插值,严格保证了数据的时间因果关系,避免了未来信息泄露和跨事件污染,从而提升了机器人控制决策的正确性和安全性,在此基础上,生成包含各模态新鲜度、时间不确定度、缺失掩码和事件分区的同步帧,并在关键模态质量低于门限时输出降级标志以阻止该帧进入实时控制,使得系统能够实时感知同步质量状况,并在同步质量下降时主动采取降级措施,防止低质量数据误导控制器,增强了整个机器人控制系统的鲁棒性和可靠性。综上,本申请的技术方案利用接触事件锚点实现因果同步与质量监控,提升机器人控制的鲁棒性和安全性。

1.一种机器人多模态数据同步方法,其特征在于,所述方法包括:

2.根据权利要求1所述的机器人多模态数据同步方法,其特征在于,所述在各传感器数据流中分别提取物理接触事件候选,依据各传感器对同类事件的固有响应延迟进行跨模态关联,得到共享接触事件锚点包括:

3.根据权利要求2所述的机器人多模态数据同步方法,其特征在于,所述利用所述共享接触事件锚点对所述初始时钟模型进行在线鲁棒更新包括:

4.根据权利要求1所述的机器人多模态数据同步方法,其特征在于,所述将各传感器的原始数据样本按其本地采样时间、所述更新后的时钟模型和所述更新后的流水线延迟映射至主时间轴并按映射时间排序,标注样本的事件保护区包括:

5.根据权利要求4所述的机器人多模态数据同步方法,其特征在于,所述确定各事件的前后保护区边界包括:

6.根据权利要求1所述的机器人多模态数据同步方法,其特征在于,所述仅选取映射时间不晚于该目标时刻且位于同一保护区内的样本构建因果数据窗口包括:

7.根据权利要求6所述的机器人多模态数据同步方法,其特征在于,所述方法还包括如下生成同步质量指数的流程:

8.一种机器人多模态数据同步装置,其特征在于,所述装置包括:

9.一种电子设备,所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7任意一项所述机器人多模态数据同步方法。

10.一种存储介质,所述存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任意一项所述机器人多模态数据同步方法。