一种面向具身智能数据采集的云边协同数据生产方法及系统与流程
本发明涉及具身智能领域,尤其涉及一种面向具身智能数据采集的云边协同数据生产方法及系统。
背景技术:
1、近年来,具身智能与机器人技术发展迅速,依托大规模真实场景采集数据完成感知模型、操作策略模型及安全兜底模型的训练,已成为当前机器人能力构建的核心范式。为适配数据规模扩张与场景多样性的要求,机器人数据采集模式已由单一站点集中采集,演进为跨地理分布的多采集场协同架构:在采集场内部,由机器人、端侧采集程序及多类型传感器完成具体采集任务;采集场边缘侧部署边缘可信代理,承担身份认证与数据上传功能;云端侧则搭建数据生产平台,负责管理任务定义、任务标准作业流程、访问权限、人员与设备等元数据,并完成上传后的数据质检、标注、编译及数据集构建流程。当前,云边协同已成为机器人数据生产场景的主流基础架构。
2、然而,现有面向机器人数据采集场景的云边协同方案仍存在显著缺陷:其一,现有边缘网关与设备影子方案普遍采用“完全依赖云端”的运行模式,当云端连接正常时,全流程可稳定运行;但一旦出现云端连接异常、授权服务不可用或边缘设备断网等问题,边缘侧将丧失合法采集与数据提交的能力,或进入完全自治的“本地模式”,进而造成采集任务中断,已采集数据无法纳入正规生产流程,最终对采集场的产能利用率与数据供给连续性造成严重负面影响。其二,现有方案多采用离线token或离线api key作为边缘降级认证的凭证,但此类凭证仅为单一维度标识,无法承载采集场、工作空间、任务、采集员、设备、操作、工作流等多层级的授权范围,以及授权版本与撤销信息,既无法支持“按维度逐级收缩”的精细化降级授权,也无法在云端完成权限撤销后,按照时间线对离线操作进行精准管控。
3、此外,现有方案在恢复联网后的云端-边缘状态合并环节,普遍采用“最后写入者胜”或“全量覆盖”的粗粒度合并策略,未能对元信息字段的所有权进行区分:其中,任务定义、任务标准作业流程、采集员角色、设备归属、工作空间等元信息字段,应以云端作为唯一权威所有者;而任务执行状态、数据包生成状态、上传状态等字段,应以边缘作为现场事实所有者。这种未区分所有权的合并策略,会导致云端已撤销的权限或已更新的元信息,被边缘回传的旧状态覆盖,或云端已定义的任务被边缘的现场事实状态错误改写,进而引发合规风险、数据一致性风险,并增加审计工作的难度。
4、进一步来看,现有方案中机器人或端侧采集程序通常直接持有公网访问凭证,并直接向数据上传网关提交数据,存在凭证泄露、越权调用、集中审计难度大的安全隐患;同时,已上传数据缺少覆盖“采集场-任务-标准作业流程-采集员-机器人-设备-工作空间-快照版本”全链路的数据血缘元信息,当上传中断后进行续传时,会出现血缘链路断裂,无法追溯单条数据的生成任务、采集员及对应快照版本;此外,外部历史数据、第三方采购数据及客户已有数据,无法接入与真实采集数据一致的质检、标注、编译及数据集构建流程,导致现有数据生产体系对多来源数据的统一治理能力存在不足。
5、综上,现有技术领域亟需面向具身智能数据采集场景的云边协同数据生产方法,该方法需满足以下要求:在云端连接异常时,可基于结构化授权快照实现精细化降级认证;在恢复联网后,可依据字段级状态所有权完成确定性状态合并;以边缘可信代理作为统一上传主体,可保留完整的采集数据血缘;可将外部数据纳入统一生产流程。基于此,本技术提出该技术方案。
技术实现思路
1、为了克服上述技术缺陷,本发明的目的在于提供一种面向具身智能数据采集的云边协同数据生产方法及系统,可提高断网和弱网环境下的机器人数据采集连续性,避免云端不可达导致整场采集停摆。
2、本发明公开了一种面向具身智能数据采集的云边协同数据生产方法,云边协同数据生产方法由面向具身智能数据采集的云边协同数据生产系统执行,云边协同数据生产系统包括云端数据生产平台、边缘可信代理、端侧采集程序、数据上传网关及对象存储;端侧采集程序通过局域网与边缘可信代理连接,边缘可信代理通过数据上传网关与云端数据生产平台及对象存储连接;云边协同数据生产方法包括以下步骤:
3、云端数据生产平台生成面向数据采集场的结构化授权快照,结构化授权快照包括采集场标识、工作空间标识、任务标识、采集员标识、设备标识、操作范围、工作流范围、有效期、撤销版本及云端数据生产平台的签名,结构化授权快照为面向采集生产任务的多个授权范围与版本字段的组合记录;
4、边缘可信代理在联网状态下同步并缓存结构化授权快照,及与结构化授权快照关联的任务队列、任务标准作业流程、设备清单及工作流参数;
5、端侧采集程序经边缘可信代理发起采集任务操作请求,边缘可信代理根据结构化授权快照对任务操作请求进行认证;
6、当云端数据生产平台连接异常时,边缘可信代理基于本地缓存的结构化授权快照执行降级认证,限定于在结构化授权快照所限定的操作范围、设备范围及工作流范围内的受限采集任务操作,并禁止修改结构化授权快照内的云端权威元信息;
7、边缘可信代理记录离线期间的认证记录、任务状态变更、数据包生成记录及上传尝试记录,形成离线审计日志;
8、恢复联网后,云端数据生产平台基于结构化授权快照,对边缘可信代理回传的离线操作进行有效性校验;
9、对于通过有效性校验的操作,云端数据生产平台按字段级状态所有权表将云端权威字段与现场事实字段分别合并至云端元数据与现场状态记录;对于未通过有效性校验的操作,将离线操作所产生或关联的数据包标记为待复核、隔离或拒收;
10、边缘可信代理作为统一上传主体,向数据上传网关提交采集数据包及数据包血缘元信息。
11、优选地,结构化授权快照按层级组织为工作空间级、采集场级、任务级、设备级、操作级及工作流级的多个授权范围,每一层级的授权范围定义该层级下可执行操作的边界;
12、结构化授权快照以版本化方式存储,每次由云端数据生产平台更新后生成新版本,历史版本在边缘可信代理本地加密缓存。
13、优选地,降级认证按断网持续时长逐级收缩允许执行的操作:
14、当断网时间未超过第一阈值时,允许在结构化授权快照所限定的范围内启动新的采集任务及完成已开始任务;
15、当断网时间超过第一阈值但未超过第二阈值时,仅允许完成已开始的任务,不允许启动新的采集任务;
16、当结构化授权快照超过有效期时,仅允许完成当前最小任务单元,并将对应任务及数据包标记为待复核状态;
17、当云端数据生产平台已撤销结构化授权快照中的权限时,离线期间发生的操作按撤销时间与离线操作发生时间的比较结果,分别被接受、隔离或拒收。
18、优选地,字段级状态所有权表为不同任务字段或状态类型配置不同所有者的映射关系,云端数据生产平台作为任务定义、任务标准作业流程、采集员角色、设备归属及工作空间字段的权威所有者,边缘可信代理对上述云端权威字段为只读缓存、不可离线修改;
19、边缘可信代理作为任务执行状态、数据包生成状态及上传状态字段的现场事实所有者,在离线期间可写入上述现场事实字段,并在恢复联网后回传至云端数据生产平台;
20、有效性校验还包括将边缘可信代理回传的任务状态变更与任务状态机所定义的状态迁移路径比对,不符合任务状态机合法性要求的任务状态变更不予合并。
21、优选地,统一上传主体包括:端侧采集程序及机器人间接持有公网访问凭证,且在局域网内将采集数据包及对应时间戳、任务状态提交至边缘可信代理,由边缘可信代理以采集场上传主体身份向数据上传网关提交数据包及数据包血缘元信息;
22、数据上传网关校验边缘可信代理的凭证后,将数据包写入对象存储,并将数据包血缘元信息同步至云端数据生产平台;
23、当上传中断时,系统保留上传会话、已上传分片状态、数据包摘要及尝试次数,恢复连接后以边缘可信代理为主体继续上传,数据包血缘元信息及任务关联关系在续传过程中不丢失。
24、优选地,云边协同数据生产方法还包括:
25、对于外部历史数据、第三方采购数据或客户已有数据,由虚拟采集代理创建模拟采集计划,模拟采集计划绑定任务类型、任务标准作业流程版本、工作空间及工作流参数;
26、虚拟采集代理将外部历史数据解析,并映射为标准数据包及虚拟数据包血缘元信息,虚拟数据包血缘元信息中包含虚拟采集场标识、虚拟采集代理标识及外部数据来源标识;
27、虚拟采集代理通过与真实边缘可信代理相同的数据上传网关提交标准数据包及虚拟数据包血缘元信息,使外部历史数据进入与采集数据包相同的数据集构建流程;
28、当外部历史数据的字段不完整时,将缺失字段标记为待复核或低置信度字段。
29、优选地,云边协同数据生产方法还包括:
30、多个数据采集场分别对应独立的结构化授权快照,使得结构化授权快照按采集场、工作空间及任务计划进行隔离;
31、当云端数据生产平台升级期间,通过任务版本、上传目标、工作流版本及链路版本区分新旧链路,边缘可信代理在升级前后分别按对应版本的链路协议与数据上传网关交互。
32、优选地,离线审计日志包括操作人标识、设备标识、任务标识、操作时间、结构化授权快照版本、本地序列号及边缘签名;
33、数据包血缘元信息还包括对应的采集计划、工作流参数、任务标准作业流程版本及质检规范;
34、采集数据包进入云端数据生产平台后,基于数据包血缘元信息触发质检、标注、编译及数据集构建流程。
35、优选地,边缘可信代理包括授权快照生成代理模块、离线认证模块、现场事实记录模块、状态合并代理模块及数据血缘生成模块;
36、授权快照生成代理模块与云端数据生产平台连接,用于接收并缓存结构化授权快照;
37、离线认证模块与授权快照生成代理模块连接,用于执行降级认证;
38、现场事实记录模块与离线认证模块连接,用于记录离线审计日志;
39、状态合并代理模块与现场事实记录模块、云端数据生产平台连接,用于在恢复联网后回传现场状态及离线审计日志,并配合云端数据生产平台按字段级状态所有权表执行合并;
40、数据血缘生成模块与现场事实记录模块连接,用于生成数据包血缘元信息;
41、边缘可信代理对云端权威字段无写入权,云端数据生产平台对现场事实字段的修改受任务状态机约束。
42、本发明还公开了一种面向具身智能数据采集的云边协同数据生产系统,云边协同数据生产系统包括云端数据生产平台、边缘可信代理、端侧采集程序、数据上传网关及对象存储;端侧采集程序通过局域网与边缘可信代理连接,边缘可信代理通过数据上传网关与云端数据生产平台及对象存储连接;
43、云端数据生产平台生成面向数据采集场的结构化授权快照,结构化授权快照包括采集场标识、工作空间标识、任务标识、采集员标识、设备标识、操作范围、工作流范围、有效期、撤销版本及云端数据生产平台的签名,结构化授权快照为面向采集生产任务的多个授权范围与版本字段的组合记录;
44、边缘可信代理在联网状态下同步并缓存结构化授权快照,及与结构化授权快照关联的任务队列、任务标准作业流程、设备清单及工作流参数;
45、端侧采集程序经边缘可信代理发起采集任务操作请求,边缘可信代理根据结构化授权快照对任务操作请求进行认证;
46、当云端数据生产平台连接异常时,边缘可信代理基于本地缓存的结构化授权快照执行降级认证,限定于在结构化授权快照所限定的操作范围、设备范围及工作流范围内的受限采集任务操作,并禁止修改结构化授权快照内的云端权威元信息;
47、边缘可信代理记录离线期间的认证记录、任务状态变更、数据包生成记录及上传尝试记录,形成离线审计日志;
48、恢复联网后,云端数据生产平台基于结构化授权快照,对边缘可信代理回传的离线操作进行有效性校验;
49、对于通过有效性校验的操作,云端数据生产平台按字段级状态所有权表将云端权威字段与现场事实字段分别合并至云端元数据与现场状态记录;对于未通过有效性校验的操作,将离线操作所产生或关联的数据包标记为待复核、隔离或拒收;
50、边缘可信代理作为统一上传主体,向数据上传网关提交采集数据包及数据包血缘元信息。
51、采用了上述技术方案后,与现有技术相比,具有以下有益效果:
52、(1)建立字段级状态所有权表,明确任务定义、标准作业流程等元信息字段由云端数据生产平台权威所有,边缘仅只读缓存;任务执行状态等现场事实字段由边缘可信代理所有,联网后按所有权分别合并,并校验任务状态变更合法性,避免粗粒度合并引发的数据一致性与合规风险,明确云端与边缘的权威分工,合并路径确定可预期。
53、(2)生成包含多层授权信息与签名的结构化授权快照,断网时基于本地快照按断网时长逐级收缩执行降级认证,保证离线采集任务连续性,防止越权操作;联网后通过撤销时间与操作时间比对分类处置离线操作,解决了现有离线token无法支持多维度授权、无法精准管控离线操作的问题。
54、(3)由边缘可信代理作为统一上传主体提交采集数据与血缘元信息,端侧与机器人不直接持有公网访问凭证,降低凭证泄露与越权调用风险;数据包血缘元信息覆盖全链路,续传时边缘保留相关状态,避免血缘链路断裂,提升了数据可追溯性与审计能力。
55、(4)引入虚拟采集代理,为外部多来源数据创建模拟采集计划,解析映射为标准数据包与虚拟血缘元信息,通过与真实采集一致的流程完成生产,缺失字段标记处理,实现多来源数据统一治理;多采集场对应独立授权快照并按层级隔离,平台升级时通过版本区分新旧链路,提升多采集场协同与平台演进的可管理性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com