一种具身智能数据质量评价方法与流程
本发明涉及具身智能,具体涉及一种具身智能数据质量评价方法。
背景技术:
1、具身智能系统依赖真实世界中的多模态数据进行训练、微调、验证与部署,包括图像、视频、音频、力觉、触觉、imu、执行器反馈、动作轨迹、任务标签、场景上下文等。与传统静态数据集不同,具身智能真实数据同时具有动态性、时序性、物理约束性和任务导向性,因此仅依靠通用数据质量评价方法,难以准确判断数据是否能够支撑具身智能模型训练和任务执行。
2、申请人发现现有技术至少存在以下不足:
3、第一,缺乏面向具身智能场景的数据质量评价闭环。现有数据质检往往只关注格式完整、标签正确等静态问题,无法覆盖传感器标定、时间同步、动作反馈、任务完整性、动态连续性、负样本覆盖、长尾场景覆盖以及合规性等关键因素。
4、第二,缺乏过程质量与内容质量一体化评价机制。实际数据问题往往不是单一标签错误,而是采集、预处理、标注、存储和使用多个环节叠加造成。现有方案通常只能对某一局部环节做检查,无法建立统一评价模型。
5、第三,缺乏面向任务的数据质量判定方式。具身智能数据不是“越多越好”,而是必须能够覆盖任务的关键状态、子任务过程、失败行为和异常扰动。现有方法很少将任务成功/失败逻辑、动作可达性和物理一致性纳入质量评价。
6、第四,缺乏多模态时序协同评价能力。对于视觉、深度、力觉、imu和执行器反馈等多源数据,时间戳抖动、同步偏差、延迟累积和连续丢帧都可能显著影响模型训练效果,但现有方案往往缺乏统一的量化判定机制。
7、第五,缺乏可落地的质量分级与问题定位机制。现有评估多输出笼统分数,无法精确定位是哪一类样本、哪一类指标或哪一处理环节导致数据不可用,不利于数据治理和数据集迭代。
8、因此,有必要提供一种具身智能数据质量评价方法,以实现对真实数据的全过程、多维度、任务相关和可追溯的质量评价。
技术实现思路
1、本发明的目的在于提供一种具身智能数据质量评价方法,用于解决现有技术中评价维度不全、时序动态特征缺失、任务关联性不足、多模态协同弱以及问题不可定位的技术问题。
2、为实现上述目的,本发明提供了以下技术方案:
3、本发明提供的一种具身智能数据质量评价方法,包括:
4、获取待评价数据集,所述待评价数据集包括真机采集数据和/或人类演示数据,并建立与所述数据集对应的数据索引、元数据索引和任务索引;
5、对数据采集过程、数据预处理过程和数据标注过程进行过程质量评价,得到过程质量评价结果;
6、对数据内容进行内容质量评价,所述内容质量评价至少包括准确性评价、完整性评价、多样性评价、一致性评价、数据噪声评价、动态性评价和合规性评价,得到内容质量评价结果;
7、对所述过程质量评价结果和内容质量评价结果进行归一化处理、权重融合和分级判定,得到数据集综合质量得分及质量等级;
8、对低于预设阈值的指标项进行问题定位,生成质量缺陷报告、样本清单和修复建议;
9、在数据修复后对数据集进行复评,并将复评结果写入数据版本记录和合规审计记录。
10、进一步地,所述待评价数据集中的每个样本包括原始数据字段、时间字段、任务字段、场景字段、元数据字段和标注字段中的至少一部分;其中,所述原始数据字段包括图像、视频、音频、点云、力觉、触觉、imu、位姿、关节状态、控制指令、执行器反馈中的至少一种;所述时间字段包括统一时间基准下的时间戳;所述任务字段包括任务类型、子任务标识、成功/失败标签、接管/干预标签中的至少一种;所述场景字段包括场景类型、环境描述、光照条件、动态扰动条件、采集设备参数中的至少一种;所述元数据字段包括来源、采集者标识、传感器配置、标注版本、预处理日志、授权信息、存储位置中的至少一种;所述标注字段包括类别标签、边界框、分割区域、关键点、动作段标签、语言描述、对象属性及关系标签中的至少一种。
11、进一步地,所述过程质量评价包括:
12、数据采集质量评价,至少检查传感器标定状态、环境覆盖情况、成功与失败样本覆盖情况、人工接管标记情况、场景上下文记录情况、多模态时间同步情况、动作记录完整性和格式统一性;
13、数据预处理质量评价,至少检查是否执行结构化或半结构化数据清洗、是否执行非结构化数据清洗、是否保留原始数据、是否保留预处理日志以及预处理前后样本的一致性和可追溯性;并对每条预处理操作记录生成操作签名,将所述操作签名与数据版本号绑定;
14、数据标注质量评价,至少检查是否存在标注规范、是否明确标注粒度、是否建立质量抽检机制、是否建立标注结果回溯机制、标注是否与任务需求一致以及多标注者结果之间是否满足一致性阈值;对于目标检测或分割任务,采用iou评价标注质量;在目标检测中,iou大于等于0.5视为有效标注;在高质量分割任务中,iou优选大于等于0.95。
15、进一步地,所述准确性评价包括内容准确性评价、标注准确性评价和元数据准确性评价;
16、所述内容准确性评价通过人工审核、传感器交叉验证、物理状态回放或基准数据对照实现,判断样本内容与真实状态或真实对象特征是否一致;
17、所述标注准确性评价对图像和视频任务采用iou、关键点误差或属性匹配率进行评价,对动作标签采用时间片段重叠率、动作边界偏差和语义一致率进行评价。
18、进一步地,所述完整性评价包括字段完整性评价、任务完整性评价和时间序列完整性评价;
19、所述字段完整性评价按计算字段完整率,或按计算缺失率,其中,a为完整数据量,b为总数据量,d为缺失数据量;
20、所述任务完整性评价按计算任务状态覆盖度,其中,as为数据中已出现的关键状态数量,ps为所有可能的关键状态数量;并对高维状态空间和动作空间进行聚类或降维,检查空白区域或过度冗余区域;
21、所述时间序列完整性评价提取数据序列的全部时间戳,计算相邻时间戳差值的时间间隔方差和最大时间间隔,将所述最大时间间隔与预设合理性阈值比较,对时间戳重复或间隔超限的数据进行标记并剔除或修复。
22、进一步地,所述多样性评价至少包括场景多样性评价、任务多样性评价、环境多样性评价、语义多样性评价、轨迹数据多样性评价、传感器模态多样性评价和本体多样性评价;
23、所述语义多样性评价按srii=occ×mad×src计算语义丰富度指数,其中,occ为唯一物体类别总数,mad为标签维度均值,src为空间关系覆盖率;
24、所述轨迹数据多样性评价抽取不少于10条同一任务约束下的轨迹样本,采用hausdorff距离均值法,将任意两条轨迹之间双向hausdorff距离的均值作为多样性指标,采用余弦相似度熵值法,将每条轨迹编码为特征向量,计算特征向量间两两余弦相似度矩阵,以相似度分布的shannon熵值量化多样性。
25、进一步地,所述一致性评价包括数据一致性评价、任务一致性评价和逻辑一致性评价;
26、所述数据一致性评价验证不同传感器采集的数据在时间戳和内容上是否精确同步,并检查分辨率、帧率、坐标系、单位制和文件格式是否统一;
27、所述任务一致性评价验证高层指令与底层动作的逻辑匹配、执行动作是否产生预期的环境状态改变、成功/失败标签是否与任务最终完成状态严格对应、以及负样本数据是否反映真实合理的失败原因;
28、所述逻辑一致性评价采用主观评价法或自动评价法;所述自动评价法构建任务领域知识图谱,将任务序列表示为有向图路径,并与知识图谱中的标准路径进行匹配,按f1=2×precision+recallprecision×recall计算f1值,其中,precision为生成序列中合理步骤占比,recall为参考路径中被覆盖步骤占比。
29、进一步地,所述数据噪声评价至少包括传感器噪声评价、运动噪声评价和语义噪声评价;
30、所述传感器噪声评价包括摄像头噪声评估、深度传感器噪声评估和雷达噪声评估;所述运动噪声评价包括具身智能本体运动导致的图像模糊或点云畸变评估、imu漂移及累积误差评估、执行器反馈信号的时序偏移或延迟评估;所述语义噪声评价包括识别引用场景中不存在的事物或实体、评估因视觉干扰或遮挡导致的对象描述不准确、检测语义映射错误和/或评估属性标注的一致性;
31、所述数据噪声评价按计算信噪比,其中,为信号功率,为噪声功率;按计算噪声检测率;按计算噪声校正率;其中,为正确检测出噪声的样本数,为正确校正噪声的样本数,为噪声样本总数。
32、进一步地,所述动态性评价至少包括光流动态性评估、频谱动态性评估、点云运动动态性评估以及时序动态分析;
33、所述光流动态性评估采用lucas-kanade方法或金字塔光流法计算光流场;所述频谱动态性评估计算频谱流量以度量频谱在时间上的变化;所述点云运动动态性评估通过点云配准对比相邻时间帧之间的位移;所述时序动态分析包括自相关分析、傅里叶变换分析和动态时间规整分析;
34、所述合规性评价检查数据来源合法性、知识产权清晰性、个人信息保护和伦理符合性,当合规性不合格时触发一票否决机制,将数据集综合得分判定为不可用等级。
35、进一步地,所述方法还包括对仿真数据进行专项评价,所述专项评价包括:
36、物理仿真精度评价,选取基准物体集合复现物理实验场景,对比仿真输出数值与标准物理基准数据,计算均方根误差和/或平均绝对误差;
37、视觉仿真精度评价,采用结构相似性指数、峰值信噪比和/或感知哈希距离衡量仿真图像与参考真实图像的相似程度,并同步评估rgb图像、深度图及法线图的视觉精度;
38、运动仿真精度评价,构建包含标准具身智能本体模型的仿真测试场景,执行预设标准轨迹,将仿真输出的关节角度时间序列和末端位姿时间序列与参考基准逐时间步对比,计算位姿均方根误差;
39、视觉渲染时延评价,统计100帧及以上样本的渲染时延,计算平均渲染时延和99百分位渲染时延;
40、端到端时延评价,定义标准化测试任务集,统计各任务复杂度类别的平均端到端时延与标准差。
41、基于上述技术方案,本发明实施例至少可以产生如下技术效果:
42、本发明通过构建面向具身智能真实数据的分层质量评价模型,将数据质量划分为过程质量和内容质量两个一级维度,并进一步细化为准确性、完整性、多样性、一致性、数据噪声、动态性和合规性等二级维度,通过自动化指标提取、阈值判定、加权融合和问题回溯,适用于机器人真机采集数据、人类演示数据及其组合数据的质量控制、数据集验收、训练前筛选、训练后回溯和持续运维评估。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com