具身智能训练数据的读取方法、装置、介质及设备与流程

本公开涉及数据处理，具体而言，涉及一种具身智能训练数据的读取方法、装置、介质及设备。

背景技术：

1、随着具身智能模型训练的蓬勃发展，训练数据规模剧增且模态高度异构，既包含动作指令等高频结构化元数据，又含有海量图像、深度图等非结构化视觉张量，并呈现强时序依赖特性。机器人训练任务通常需以毫秒级时间步为粒度组织数据，单条轨迹即可包含数万时间步及对应的多视角图像序列，对存储系统的读写带宽、检索延迟和跨模态对齐能力提出了极高要求。目前，业界已采用hdf5、parquet、zarr、mcap以及ros bag等多种数据格式尝试应对，但这些格式源于不同的设计初衷，始终未能针对机器人数据的独特负载形成统一高效的存储与读取方案。

2、在相关技术中，虽然存在上述多种数据格式，但它们因设计本源各异，在面对具身训练的核心需求时普遍力不从心。视觉大对象与元数据的存储割裂，会导致随机i/o路径冗长，例如parquet将图像外置为视频文件，训练时需反复解码定位，而hdf5和zarr又缺乏列式联合检索能力，难以支撑按时间步同时查询动作标签与对应图像的高频操作；同时，现有格式的轨迹数据常分散存储于不同文件或连续大块中，加载单个样本时无法感知轨迹边界，导致跨轨迹访问时需额外维护复杂的映射表且易引入无效填充，制约了训练框架的采样效率和吞吐能力，容易造成数据加载成为模型迭代的显著瓶颈。

技术实现思路

1、本公开实施例至少提供一种具身智能训练数据的读取方法、装置、介质及设备，通过构建全局轨迹索引并采用列式与张量区域分离存储及块内偏移索引，实现了训练样本的快速定位与按需读取，同时利用边界掩码保证跨轨迹样本的时序正确性，提高了数据读取效率及系统资源利用率。

2、本公开实施例提供了一种具身智能训练数据的读取方法，包括：

3、响应于数据加载请求，加载全局轨迹索引，所述全局轨迹索引记录各训练轨迹在数据文件中的物理地址信息及各训练轨迹的边界位置信息；

4、响应于针对目标训练样本的读取请求，根据所述目标训练样本所属的目标训练轨迹查询所述全局轨迹索引，得到所述目标训练轨迹的物理地址信息；

5、根据所述物理地址信息，在所述数据文件中定位所述目标训练样本所在的目标数据块；其中，所述目标数据块包括列式存储区域和张量存储区域，所述列式存储区域用于存储时间步对应的元数据，所述张量存储区域用于存储以微批为组织单位的图像数据，各所述微批的起始帧为独立解码帧；

6、读取所述目标数据块的头部的偏移索引，并根据所述目标训练样本的时间步位置查询所述偏移索引，确定所述目标训练样本的目标数据在所述目标数据块中的存储区域类型；

7、若所述存储区域类型为所述列式存储区域，从所述目标数据块的列式存储区域中读取所述目标训练样本的目标元数据；若所述存储区域类型为所述张量存储区域，根据所述偏移索引获取所述目标训练样本在所述张量存储区域中的存储位置，并从所述张量存储区域中读取所述目标训练样本的目标图像数据；

8、根据所述全局轨迹索引中的所述边界位置信息，确定所述目标训练样本是否涉及跨轨迹边界，并生成对应的边界掩码信息；

9、基于从所述目标数据块中读取到的所述目标训练样本的数据和所述边界掩码信息，组装所述目标训练样本并返回。

10、本公开实施例提供了一种具身智能训练数据的读取装置，包括：

11、索引加载模块，用于响应于数据加载请求，加载全局轨迹索引，所述全局轨迹索引记录各训练轨迹在数据文件中的物理地址信息及各训练轨迹的边界位置信息；

12、地址确定模块，用于响应于针对目标训练样本的读取请求，根据所述目标训练样本所属的目标训练轨迹查询所述全局轨迹索引，得到所述目标训练轨迹的物理地址信息；

13、数据块确定模块，用于根据所述物理地址信息，在所述数据文件中定位所述目标训练样本所在的目标数据块；其中，所述目标数据块包括列式存储区域和张量存储区域，所述列式存储区域用于存储时间步对应的元数据，所述张量存储区域用于存储以微批为组织单位的图像数据，各所述微批的起始帧为独立解码帧；

14、区域确定模块，用于读取所述目标数据块的头部的偏移索引，并根据所述目标训练样本的时间步位置查询所述偏移索引，确定所述目标训练样本的目标数据在所述目标数据块中的存储区域类型；

15、数据读取模块，用于若所述存储区域类型为所述列式存储区域，从所述目标数据块的列式存储区域中读取所述目标训练样本的目标元数据；若所述存储区域类型为所述张量存储区域，根据所述偏移索引获取所述目标训练样本在所述张量存储区域中的存储位置，并从所述张量存储区域中读取所述目标训练样本的目标图像数据；

16、边界判断模块，用于根据所述全局轨迹索引中的所述边界位置信息，确定所述目标训练样本是否涉及跨轨迹边界，并生成对应的边界掩码信息；

17、数据组装模块，用于基于从所述目标数据块中读取到的所述目标训练样本的数据和所述边界掩码信息，组装所述目标训练样本并返回。

18、本公开实施例提供了一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述任一可能的实施方式中所述的具身智能训练数据的读取方法。

19、本公开实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时实现如上述任一可能的实施方式中所述的具身智能训练数据的读取方法。

20、本公开实施例中所提供的具身智能训练数据的读取方法、装置、介质及设备，通过构建记录各训练轨迹物理地址与边界位置的全局轨迹索引，在数据加载时仅加载该索引即可响应样本读取请求，避免遍历全部数据文件，降低了读取延迟；进而通过将数据文件划分为列式存储区域与张量存储区域，分别存储元数据和以微批为组织单位且起始帧为独立解码帧的图像数据，配合数据块头部偏移索引对存储区域类型及张量存储位置的定位，实现了元数据与图像数据的分离存取和图像数据的独立解码读取，减少了无关数据的加载量，提升了目标样本的定位精度与读取效率；同时依据全局轨迹索引中的边界位置信息生成边界掩码，在组装样本时明确跨轨迹边界的处理方式，保证了训练样本时序连续性与轨迹边界的准确区分，避免了跨轨迹样本组装时的数据混淆，从而在保证数据完整性和正确性的前提下，整体提高了具身智能训练数据的读取速度与系统资源利用率。

21、为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

1.一种具身智能训练数据的读取方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述响应于数据加载请求，加载全局轨迹索引之前，包括：

3.根据权利要求2所述的方法，其特征在于，所述将所述数据块内各时间步的图像数据按微批组织后写入所述数据块的张量存储区域，包括：

4.根据权利要求3所述的方法，其特征在于，所述根据所述偏移索引获取所述目标训练样本在所述张量存储区域中的存储位置，并从所述张量存储区域中读取所述目标训练样本的目标图像数据，包括：

5.根据权利要求1所述的方法，其特征在于，所述根据所述全局轨迹索引中的所述边界位置信息，确定所述目标训练样本是否涉及跨轨迹边界，并生成对应的边界掩码信息，包括：

6.根据权利要求1所述的方法，其特征在于，所述响应于数据加载请求，加载全局轨迹索引之后，包括：

7.根据权利要求1所述的方法，其特征在于，所述目标数据块中还包含局部时间对齐表，所述局部时间对齐表记录所述目标数据块内不同频率数据流的时间戳对应关系；

8.一种具身智能训练数据的读取装置，其特征在于，包括：

9.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法。

10.一种计算机设备，包括存储介质、处理器及存储在存储介质上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法。