应用于XR头戴设备的训练数据采集与任务绑定方法及装置与流程
本发明涉及扩展现实,特别涉及一种 应用于 xr 头戴设备的训练数据采集与任务绑定方法及装置。
背景技术:
1、随着具身智能与机器人学习的快速发展,利用xr头戴式设备采集人类操作的多模态演示数据已成为训练机器人模型的重要途径。此类数据通常需要同步记录第一人称视频、操作者手部及身体姿态、头显六自由度位姿、控制器输入以及外部辅助设备的传感信息等,其采集质量和任务绑定的准确性直接决定了模型训练的效果。
2、当前,已有部分xr头戴式数据采集系统能够实现基础的多模态记录和云端任务分发功能。然而,在实际的工程化应用和具身智能训练数据生产中,现有方案在多源数据的一致性关联、任务与环境的同步绑定以及全流程闭环管理方面仍存在明显的技术不足,具体表现如下:
3、现有的采集流程中,视频、动作追踪数据和描述性元数据通常是分步生成并依赖文件名或记录时间戳进行事后关联的。这种松散的组织方式缺少一个贯穿采集、存储和上传全过程的统一标识机制,无法将云端下发的任务实例、具体的物理操作环境、操作者身份信息以及生成的多模态文件组在采集的源头进行一体化强关联。这导致在后续的数据清洗和样本管理阶段,工作人员很难快速、准确地判断一组文件究竟属于哪一个任务样本,也无法确认该样本的操作环境,使得数据集的整理效率低下且易出错。
4、在涉及头戴设备与外部设备(如腕部相机、机械夹爪或嵌入式开发板)的联合采集场景下,现有技术通常仅通过简单的开始/停止指令或时间同步信号来协调多设备工作。各设备实际上独立运行,缺乏在录制开始前对“当前共同执行的任务实例”进行一致性确认的机制。因此,若头戴设备与外部设备因网络延迟、指令重试或缓存状态差异而各自获取了不同的任务,最终会导致两套设备生成的数据分属不同任务样本,形成严重的样本错配。这种错配会直接为机器人模型提供错误的视觉-动作映射,且在后处理阶段极难被发现和修复。
5、此外,物理环境信息(如房间类型、工位编号、场景布局等)的录入在多数现有方案中仍需依靠操作者手工记录或事后标注,无法在采集动作发起时自动与任务及数据文件完成绑定。这一环节的脱节使得训练数据常常缺失关键的物理场景语义,限制了后续模型在跨环境泛化能力上的评估与提升。同时,在数据上传与云端任务完成确认的最终环节,现有流程的鲁棒性不足,弱网、设备重启或多用户轮换等工况常导致本地文件已上传但云端任务状态未闭环、本地与云端记录不一致等问题,影响了数据生产的可靠性和工程化效率。
6、综上所述,如何提升多模态采集过程中任务、场景、设备与操作者之间关联的准确性与一致性,并实现从采集到云端完成的全链路可靠闭环,是当前亟待解决的技术问题。
技术实现思路
1、本发明的目的在于避免现有技术中的不足之处而提供一种能够提升多模态采集过程中任务、场景、设备与操作者之间关联的准确性与一致性,并实现从采集到云端完成的全链路可靠闭环的技术。
2、本发明的目的通过以下技术方案实现:
3、因此,根据本发明公开的一个方面,提供了一种应用于xr头戴设备的训练数据采集与任务绑定方法,其特征在于,包括以下步骤:获取操作者项目绑定信息和物理场景绑定信息,并生成采集前准入信息;其中,物理场景绑定信息包括场景标识;基于采集前准入信息获取采集任务列表,并确认请求的采集任务;获取采集任务对应的任务标识,并基于任务标识和场景标识生成会话绑定信息;基于会话绑定信息进行云端任务校验;当采集模式为联合采集时,基于会话绑定信息中的任务标识,对外部设备执行一致性确认,并形成对应的同步记录;创建本地采集资源,并执行头戴侧和外部设备的多模态录制;停止录制后,生成包含任务标识和场景标识的元数据文件,并将元数据文件以及录制得到的视频文件和跟踪数据文件写入本地任务组记录。
4、具体的,基于会话绑定信息中的任务标识,对外部设备执行一致性确认,具体包括以下步骤:清空与外部设备对应的上一采集会话的同步记录;向外部设备发送同步请求,并基于同步请求的发送时间和接收回执时间,生成当前采集会话对应的同步记录;向外部设备发送携带任务标识的任务确认请求,接收外部设备针对任务确认请求返回的确认信息,并判断确认信息中的确认标识是否与任务标识一致;若确认标识与任务标识一致,则判定外部设备一致性确认通过。
5、另一具体的,获取操作者项目绑定信息和物理场景绑定信息,并生成采集前准入信息,具体包括以下步骤:获取操作者登录信息和项目选择信息,并基于操作者登录信息和项目选择信息生成操作者项目绑定信息;获取场景码,并对场景码进行解析,生成对应的场景标识;对场景标识进行有效性校验,并在校验通过后生成对应的物理场景绑定信息;根据操作者项目绑定信息和物理场景绑定信息,生成对应的采集前准入信息。
6、更具体的,基于采集前准入信息获取采集任务列表,并确认请求的采集任务,具体包括以下步骤:根据操作者项目绑定信息、物理场景绑定信息以及输入的任务筛选信息,生成云端任务对象请求;其中,任务筛选信息包括任务名称或任务类型;获取云端任务对象请求对应的采集任务列表;响应于对采集任务列表中目标任务的选择操作,将对应的目标任务确认为请求的采集任务。
7、另一具体的,基于会话绑定信息进行云端任务校验,具体包括以下步骤:发送携带会话绑定信息的云端任务校验请求,并接收返回的校验结果;其中,校验结果基于任务标识和场景标识与云端中记录的任务标识和场景标识是否一致生成。
8、以上的,停止录制后,生成包含任务标识和场景标识的元数据文件,并将元数据文件以及录制得到的视频文件和跟踪数据文件写入本地任务组记录,具体包括以下步骤:停止录制后,获取本次录制对应的录制起始时间和录制结束时间;基于会话绑定信息和同步记录生成元数据文件;以元数据文件中的任务标识定位对应的本地任务组记录,并将场景标识写入本地任务组记录;将元数据文件、视频文件和跟踪数据文件分别写入本地任务组记录。
9、更具体的,在将元数据文件、视频文件和跟踪数据文件作为同一任务标识和场景标识对应的文件组写入本地任务组记录之后,还包括以下步骤:读取本地任务组记录中的元数据文件,并获取元数据文件中的任务标识和场景标识;判断元数据文件中的任务标识和场景标识是否分别与本地任务组记录对应的任务标识和场景标识一致;若一致,则将本地任务组记录对应的元数据文件、视频文件和跟踪数据文件作为同一采集任务的文件组提交至云端;向云端发送携带任务标识和场景标识的任务完成请求,并接收返回的完成确认信息。
10、根据本发明公开的另一个方面,提供了一种应用于xr头戴设备的训练数据采集与任务绑定装置,包括:信息获取模块,用于获取操作者项目绑定信息和物理场景绑定信息,并生成采集前准入信息;任务确认模块,用于基于采集前准入信息获取采集任务列表,并确认请求的采集任务;任务绑定与校验模块,用于获取采集任务对应的任务标识,并基于任务标识和场景标识生成会话绑定信息;以及基于会话绑定信息进行云端任务校验;一致性校验模块,用于当采集模式为联合采集时,基于会话绑定信息中的任务标识,对外部设备执行一致性确认,并形成对应的同步记录;执行模块,用于创建本地采集资源,并执行头戴侧和外部设备的多模态录制;本地存储模块,用于在停止录制后,生成包含任务标识和场景标识的元数据文件,并将元数据文件以及录制得到的视频文件和跟踪数据文件写入本地任务组记录;数据上传模块,用于将本地任务组记录对应的元数据文件、视频文件和跟踪数据文件作为同一采集任务的文件组提交至云端,并向云端发送携带任务标识和场景标识的任务完成请求。
11、根据本发明公开的再一方面,提供了一种计算设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令,处理器执行指令时实现如上一种应用于xr头戴设备的训练数据采集与任务绑定方法的步骤。
12、根据本发明公开的另一方面,提供了一种计算机可读存储介质,其存储有计算机指令,该指令被处理器执行时实现如上一种应用于xr头戴设备的训练数据采集与任务绑定方法的步骤。
13、本发明的有益效果:通过在采集前完成物理场景绑定并将其与任务标识共同作为采集准入条件,同时在联合采集模式下由头戴设备向外部设备发送携带任务标识的确认请求并进行一致性校验,确认通过后方可启动录制,从而将多设备样本错配的发现点从后处理阶段前移至采集准入阶段,从源头避免了不可修复的样本错配;以任务标识为核心将视频、跟踪数据与元数据作为同一文件组统一管理,并在上传前进行一致性校验,保证了多模态文件组的归属一致性和完整性;任务标识与场景标识贯穿采集前校验、联合采集确认、元数据生成、本地记录写入、文件上传及云端完成请求的全流程,实现了任务语义与物理场景语义的双重强绑定和端到端的全链路可追溯闭环,显著降低了数据清洗与质量排查成本,同时提升了弱网、设备重启等复杂工况下的系统鲁棒性和后续数据处理的自动化效率。