一种基于端云融合的灵巧手控制方法及系统与流程

本发明涉及机器人控制、具身智能与端云协同，具体为一种基于端云融合的灵巧手控制方法及系统。

背景技术：

1、随着具身智能与机器人技术的快速发展，多指灵巧手作为精细操作的核心执行终端，已在工业装配、医疗辅助、科研教育等场景得到广泛应用。当前主流的灵巧手控制方案多采用本地单机架构，策略训练与推理均在单台设备上完成，在一定程度上实现了基础的抓取与操作功能。

2、然而，现有灵巧手控制方案仍存在多方面的技术局限。一方面，本地终端算力有限，无法支撑大规模仿真训练与复杂大模型推理，策略迭代周期长、泛化能力不足，仿真到真机的 sim2real 差距难以持续弥合；另一方面，多台设备之间存在数据孤岛，无法在保护数据隐私的前提下实现协同进化，技能复用成本高，非专业用户部署高级操作能力的门槛极高。此外，现有方案大多缺乏统一的技能分发与管理体系，端侧与云端的任务分工不清晰，难以同时兼顾控制实时性与高层智能性。

3、针对现有技术存在的问题，如何提供一种能够解决现有方案算力受限、技能复用难、数据无法协同、sim2real 闭环不完善的技术问题的基于端云融合的灵巧手控制方法及系统，是本发明亟待解决的问题。

技术实现思路

1、本发明的目的在于提出了一种基于端云融合的灵巧手控制方法及系统，从而解决现有方案算力受限、技能复用难、数据无法协同、sim2real闭环不完善的技术问题。

2、为实现上述目的，本发明采取的技术方案是：本发明提供一种基于端云融合的灵巧手控制方法，包括：构建端云融合的六层技术架构，从底层硬件到云端ai能力形成完整技术栈，所述六层技术架构包括底层执行层、协议桥接层、推理部署层、仿真训练层、云端智能层与交互层；

3、在云端仿真训练层完成策略模型训练，导出标准化格式的策略文件；

4、端侧推理部署层加载策略文件，经协议桥接层驱动底层执行层的灵巧手舵机，实现本地闭环控制；

5、采集真机运行数据并异步回流至云端，通过联邦学习平台实现多设备协同的模型持续进化；

6、云端将迭代优化后的策略模型通过ota方式下发至端侧，完成仿真训练、策略导出、端侧推理、真机执行、数据回流、云端进化的sim2real完整闭环。

7、作为进一步的改进，所述云端智能层设置skill store云端技能市场，采用标准化技能包结构与微服务架构，支持官方、社区、企业三类技能板块，以实现技能的订阅、下载、审核、发布全生命周期管理。

8、作为进一步的改进，所述标准化技能包包含技能描述文件、模型文件、配置文件、资源文件和签名文件五个部分。

9、作为进一步的改进，所述推理部署层构造152维标准观测向量，经归一化后输入torchscript策略模型，输出21维动作指令，再经低通滤波与步进限幅处理后下发执行，全程以20hz频率在本地终端运行，不依赖网络连接。

10、作为进一步的改进，所述低通滤波的滤波系数为0.3，所述步进限幅的单步动作变化量限制为0.15弧度。

11、作为进一步的改进，所述协议桥接层支持hls总线与can总线双底层架构，通过ch343 usb转串口或usb-to-can适配器实现上位机与舵机的通信；esp32提供多形态固件适配不同应用场景。

12、作为进一步的改进，所述多形态固件包括usb-cdc桥接、wi-fi ap web面板、http客户端轮询和uart透传模式。

13、作为进一步的改进，所述联邦学习平台采用协调服务器与参与设备的两级架构，通过联邦平均聚合算法聚合本地更新，结合差分隐私与安全多方计算保障数据隐私；每轮迭代完成全局模型下发、本地训练、加密上传、聚合更新、性能评估的完整流程；所述联邦平均聚合算法的聚合公式为：其中，为第台设备的本地模型权重，为该设备的本地训练样本量，为所有设备总样本量，为聚合后的全局模型权重。

14、作为进一步的改进，所述仿真训练层采用pybullet、mujoco、isaac lab多平台并行策略，分别对应快速算法迭代、精细物理仿真、大规模并行训练不同开发阶段；支持强化学习、行为克隆、diffusion policy多种训练范式；策略统一导出为torchscript格式。

15、作为进一步的改进，所述交互层提供web面板控制、数据手套遥操作、视觉标记位姿检测三种交互方式；所述数据手套采用三段式逆运动学重定向算法实现精准遥操作，所述三段式逆运动学重定向算法包括：第一阶段采用kabsch算法进行手掌位置的缩放对齐，第二阶段施加拉普拉斯约束保持手指关节平滑性，第三阶段施加靠拢约束确保指尖收敛到目标位置；所述视觉标记位姿检测通过pnp算法解算物体位姿并注入观测向量，实现视觉引导的策略闭环。

16、作为进一步的改进，还包括多租户管理与全链路安全架构；所述多租户架构适配不同用户群体的权限与数据隔离需求，采用设备影子机制实现云端设备状态同步；所述全链路安全架构从传输安全、认证授权、数据安全、代码安全和固件安全五个层面构建完整防护体系。

17、另一方面，本发明还提供一种基于端云融合的灵巧手控制系统，包括：

18、架构构建模块，用于构建端云融合的六层技术架构，从底层硬件到云端ai能力形成完整技术栈，所述六层技术架构包括底层执行层、协议桥接层、推理部署层、仿真训练层、云端智能层与交互层；

19、仿真训练模块，用于在云端仿真训练层完成策略模型训练，导出标准化格式的策略文件；

20、本地执行模块，用于通过端侧推理部署层加载所述策略文件，经协议桥接层驱动底层执行层的灵巧手舵机，实现本地闭环控制；

21、数据回流与进化模块，用于采集真机运行数据并异步回流至云端，通过联邦学习平台实现多设备协同的模型持续进化；

22、ota更新模块，用于将云端迭代优化后的策略模型下发至端侧，形成sim2real完整闭环。

23、与现有技术相比，本发明的有益效果是：

24、本发明通过构建从底层硬件到云端ai的六层端云融合架构，实现了仿真训练、端侧推理、云端协同的完整sim2real闭环；底层采用可切换的双总线架构提升通信可靠性，中层采用标准化观测与动作接口保障策略兼容性，上层融合skill store技能市场、多模态大模型与联邦学习平台，实现了技能的低门槛复用、自然语言任务规划与隐私保护下的多设备协同进化；端云遵循实时性原则分工，实时控制任务在端侧闭环执行，计算密集型智能任务在云端处理，同时兼顾了控制稳定性与智能上限；skill store生态大幅降低了灵巧手的使用门槛，联邦学习机制使每台设备都能从全局经验中受益，数字孪生环境持续缩小仿真与真机差距，整体构建了兼具硬件可靠性、生态完整性和端云协同能力的下一代灵巧手控制方案。

1.一种基于端云融合的灵巧手控制方法，其特征在于，包括：构建端云融合的六层技术架构，从底层硬件到云端ai能力形成完整技术栈，所述六层技术架构包括底层执行层、协议桥接层、推理部署层、仿真训练层、云端智能层与交互层；

2.根据权利要求1所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述云端智能层设置skill store云端技能市场，采用标准化技能包结构与微服务架构，支持官方、社区、企业三类技能板块，以实现技能的订阅、下载、审核、发布全生命周期管理。

3.根据权利要求2所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述推理部署层构造152维标准观测向量，经归一化后输入torchscript策略模型，输出21维动作指令，再经低通滤波与步进限幅处理后下发执行，全程以20hz频率在本地终端运行，不依赖网络连接。

4.根据权利要求3所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述协议桥接层支持hls总线与can总线双底层架构，通过ch343 usb转串口或usb-to-can适配器实现上位机与舵机的通信；esp32提供多形态固件适配不同应用场景。

5.根据权利要求4所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述联邦学习平台采用协调服务器与参与设备的两级架构，通过联邦平均聚合算法聚合本地更新，结合差分隐私与安全多方计算保障数据隐私；每轮迭代完成全局模型下发、本地训练、加密上传、聚合更新、性能评估的完整流程；所述联邦平均聚合算法的聚合公式为：

6.根据权利要求4所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述仿真训练层采用pybullet、mujoco、isaac lab多平台并行策略，分别对应快速算法迭代、精细物理仿真、大规模并行训练不同开发阶段；支持强化学习、行为克隆、diffusion policy多种训练范式；策略统一导出为torchscript格式。

7.根据权利要求4所述的一种基于端云融合的灵巧手控制方法，其特征在于，所述交互层提供web面板控制、数据手套遥操作、视觉标记位姿检测三种交互方式；所述数据手套采用三段式逆运动学重定向算法实现精准遥操作，所述三段式逆运动学重定向算法包括：第一阶段采用kabsch算法进行手掌位置的缩放对齐，第二阶段施加拉普拉斯约束保持手指关节平滑性，第三阶段施加靠拢约束确保指尖收敛到目标位置。

8.根据权利要求4所述的一种基于端云融合的灵巧手控制方法，其特征在于，还包括多租户管理与全链路安全架构；所述多租户架构适配不同用户群体的权限与数据隔离需求，采用设备影子机制实现云端设备状态同步；所述全链路安全架构从传输安全、认证授权、数据安全、代码安全和固件安全五个层面构建完整防护体系。

9.一种基于端云融合的灵巧手控制系统，其特征在于，包括：