一种基于星闪的智能机械臂VLA端到端控制系统及方法

本发明涉及机器人智能控制与无线通信，具体来说，涉及智能机械臂视觉-语言-动作（vision language action model，‌ vla）端到端控制，更具体地说，设计一种基于星闪的智能机械臂vla端到端控制系统及方法。

背景技术：

1、具身智能（embodied intelligence，ei）作为推动产业升级与科技竞争力提升的战略核心技术，已受到产学界的高度重视。随着具身智能与工业机器人技术的快速迭代，视觉-语言-动作（vision language action，vla）端到端控制范式逐步替代传统分层控制架构，成为精密机械臂柔性作业的核心技术支撑。vla系统依托多模态大模型实现视觉感知、自然语言理解与机器人动作控制的端到端统一建模，可直接将环境感知信息与人机语言指令转化为机械臂关节动作序列，摆脱了传统机器人依赖人工预设规则、场景泛化性差的技术瓶颈，在工业精密装配、柔性分拣、智能协作等场景展现出极强的应用价值。相较于传统感知、规划、控制相互独立的分层架构，vla端到端架构简化了任务执行流程，大幅提升了机械臂的智能化作业能力与场景适配能力，是当前工业机器人智能化升级的核心研究方向之一。

2、vla端到端作业模式的核心是感知、传输、计算、控制的闭环实时迭代机制，其运行机制对通信链路性能形成了严苛的刚性约束。在实际作业过程中，机械臂搭载的高分辨率视觉、力觉等多类传感器持续采集海量、高精度的环境数据，所有感知数据需通过通信链路实时汇聚至边缘计算节点，完成vla大模型的实时推理运算，最终生成连续的关节动作指令序列，并同步下发至控制器执行闭环控制。该推理控制循环周期通常在毫秒级，且多传感器数据融合、多轴协同控制对数据对齐精度、传输稳定性要求极高，由此衍生出超低确定时延、精准时间同步、超高传输可靠性以及强抗干扰的通信能力需求。具体而言，极低的传输时延与抖动是避免机械臂运动卡顿、轨迹偏移与姿态失稳的基础；精准时间同步可保障多路传感数据与多轴控制指令精准匹配，支撑多关节协同精密作业；高可靠传输可彻底规避数据丢包、传输错误引发的设备误操作与作业故障；而工业复杂电磁环境下的抗干扰能力，则是保障机械臂长期稳定运行的关键前提。

3、当前工业机械臂主流采用有线通信方案承载闭环控制数据传输，但其硬件特性与传输机制难以适配vla端到端系统的严苛通信需求，存在诸多固有技术短板。有线通信依赖电缆、连接器等物理介质实现数据传输，长期高频次运动作业过程中，极易出现连接器触点氧化、磨损、松动以及线缆弯折、断线等问题，大幅降低系统长期运行可靠性，增加设备故障概率与运维成本。同时，有线布线拓扑结构固定，机械臂的作业空间、运动范围被物理线缆严格限制，无法适配柔性产线快速换型、设备灵活部署、工位动态重构的生产需求，极大地制约了智能化柔性制造的落地应用，成为vla机械臂规模化工业部署的重要瓶颈。

4、为解决有线方案的物理约束问题，行业逐步尝试引入无线短距通信技术替代有线传输，但现有主流无线技术均存在性能缺陷。具体而言，wifi技术采用载波侦听随机接入机制，传输时延随机性强、抖动幅度大，不具备确定性调度能力，难以满足vla系统稳定时延与多传感器并发传输需求。蓝牙技术的传输带宽与覆盖范围存在天然局限，传统微微网仅支持少量活跃设备接入，无法同时兼顾大带宽数据传输、超低时延响应需求。zigbee技术主打低功耗低速传感数据传输，数据传输速率较低，实时性与节点承载能力薄弱，无法适配机械臂vla闭环控制的高速、实时、高精度传输要求。

5、综上所述，现有技术中的工业机械臂通信方案存在如下问题：

6、1、有线通信方式那一适配vla端到端系统的严苛通信需求，依赖电缆，极易出现连接器触点氧化、磨损、松动以及线缆弯折、断线等问题，大幅降低系统长期运行可靠性，增加设备故障概率与运维成本，并且无法适配法适配柔性产线快速换型、设备灵活部署、工位动态重构的生产需求。

7、2、wifi通信方案采用载波侦听随机接入机制，传输时延随机性强、抖动幅度大，不具备确定性调度能力，难以满足vla系统稳定时延与多传感器并发传输需求。

8、3、蓝牙技术的传输带宽与覆盖范围存在天然局限，传统微微网仅支持少量活跃设备接入，无法同时兼顾大带宽数据传输、超低时延响应需求。

9、4、zigbee技术主打低功耗低速传感数据传输，数据传输速率较低，实时性与节点承载能力薄弱，无法适配机械臂vla闭环控制的高速、实时、高精度传输要求。

10、因此，亟需一种能够满足vla端到端系统稳定时延、多传感器并发传输、大带宽数据传输以及超低时延响应需求的方案。

11、需要说明的是：本背景技术仅用于介绍本发明的相关信息，以便于帮助理解本发明的技术方案，但并不意味着相关信息必然是现有技术。相关信息与本发明方案一同提交和公开，在没有证据表明相关信息已在本发明的申请日以前公开的情况下，相关信息不应被视为现有技术。

技术实现思路

1、因此，本发明的目的在于克服上述现有技术的缺陷，提供一种新的基于星闪的智能机械臂vla端到端控制系统及方法。

2、本发明的目的是通过以下技术方案实现的：

3、根据本发明的第一方面，提供一种基于星闪的智能机械臂vla端到端控制系统，。所述系统包括：人机交互模块、感知信息模块、智能计算模块、无线传输模块。其中：人机交互模块配置为智能机械臂，智能机械臂包括机械臂主控单元和机械臂执行单元，其中，机械臂执行单元在机械臂主控单元控制下，执行智能计算模块的动作指令序列以完成用户指令，其中，机械臂执行单元包括多个部署在机械臂关节处的关节伺服控制器，每个关节伺服控制器配置有时间同步接口。感知信息模块，用于实时采集环境与智能机械臂状态数据以构成多模态感知数据，以及接收用户指令，并通过无线传输模块将多模态感知数据和用户指令传输至智能计算模块；其包括配置在智能机械臂末端的深度相机、配置在智能机械臂发力位置处的力觉传感器、配置在智能机械臂关节处的关节编码器，以及配置在智能机械臂工作环境中的第三视角深度相机、状态监测传感器。智能计算模块，其为配置有星闪通信模组的边缘服务器，其上设置有vla模型推理引擎并为其配置有时间同步接口，用于根据感知信息模块传输的多模态感知数据与用户指令生成动作指令序列并通过无线传输模块传输给人机交互模块以控制智能机械臂执行。无线传输模块，其配置为星闪通信模组，用于在人机交互模块与智能计算模块之间进行数据通信；其中，无线传输模块通过每个伺服控制器的时间同步接口、vla模型推理引擎的时间同步接口进行全链路端到端时间同步操作，以确保传感器采样、模型推理、指令执行所有环节使用统一的全局时间戳。

4、优选的，无线传输模块包括一个星闪管理节点和多个星闪终端节点，其中：星闪管理节点部署于智能计算模块中；多个星闪终端节点分别一对一部署于感知信息模块中的深度相机、第三视角深度相机以及机械臂主控单元中；其中，星闪管理节点用于按照时间对齐多个星闪终端节点上传的多模态感知数据，以及调度和分配通信时隙并转发动作指令序列；每个星闪终端节点用于将其所在部件感知到的数据上传星闪管理节点以及接收控动作指令序列。

5、优选的，无线传输模块被配置为按照如下方式在系统启动时执行端到端时间同步操作：星闪管理节点广播网络信标帧以完成工作频段的全信道扫描与干扰检测，并选择信噪比最高的信道作为工作信道；所有的星闪终端节点向星闪管理节点发送接入请求以完成双向身份认证与设备功能注册；星闪管理节点按照预设的时间间隔向所有已接入的星闪终端节点广播时间戳同步信标帧，各星闪终端节点基于接收到的同步信标实时修正本地时钟并将本地时钟漂移量反馈至星闪管理节点；星闪管理节点基于接收到的来自星闪终端节点的时钟漂移运行时钟漂移实时补偿机制，并可根据各星闪终端节点的历史漂移数据动态调整下一次同步信标帧的发送时间；星闪管理节点触发边缘服务上的vla模型推理引擎和各关节伺服控制器的时间同步接口与星闪管理节点的全局时钟完成校准，以确保传感器采样、模型推理、指令执行所有环节使用统一的全局时间戳。

6、优选的，星闪管理节点被配置为：在时间同步完成后，根据系统的业务特性，自动加载并配置时间敏感分级调度机制，以将数据分为不同时间敏感等级并映射至不同的星闪传输模式以为不同的数据分配差异化的传输资源。

7、优选的，时间敏感分级调度机制中，时间敏感等级包括：l1级，其为控制指令级；l2级，其为力觉数据级；l3级，其为视觉或状态数据级；星闪传输模式包括确定性传输模式和自适应传输模式。其中，l1级映射确定性传输模式，并被分配独占式周期性时隙并采用超短帧结构与前向纠错编码；l2级映射至自适应传输模式，并被分配动态共享时隙池，优先级高于l3级数据；l3级映射至自适应传输模式，并被分配动态共享时隙池；并且，在实际传输过程中，星闪管理节点被配置为动态调整l2级和l3级数据的时隙配比以最大化信道资源利用率。

8、优选的，星闪基础服务层配置有vla星闪协同控制模块，在时间敏感分级调度机制配置完成后，vla星闪协同控制模块被配置为通过如下方式打通状态信息通道：与vla模型推理引擎建立本地通信通道以实时获取推理任务的状态信息；接收vla模型推理引擎推送的预计推理完成时间，以及根据预计推理完成时间预先触发星闪管理节点为即将生成的控制指令预留专属的l1级时隙；根据机械臂控制单元上传的机械臂状态信息动态调整通信参数。

9、根据本发明的第二方面，提供一种基于本发明第一方面所述系统的智能机械臂vla端到端控制方法，所述方法包括：s1、上电启动系统，对系统进行全链路端到端时间同步操作；s2、时间同步操作完成后，配置时间敏感分级调度机制；s3、时间敏感分级调度机制配置完成后，打通状态信息通道；s4、感知信息模块采集状态信息和用户指令并通过无线传输模块上传边缘服务器，边缘服务器上的vla模型推理引擎开始推理，推理完成后，生成动作指令序列并通过无线传输模块传输给人机交互模块以控制智能机械臂执行动作序列。

10、优选的，所述s1包括：s11、边缘服务器侧的星闪管理节点广播网络信标帧，完成工作频段的全信道扫描与干扰检测，并选择信噪比最高的信道作为工作信道；s12、各星闪终端节点依次向星闪管理节点发送接入请求，完成双向身份认证与设备功能注册；s13、星闪管理节点按照预设的时间间隔向所有已接入的星闪终端节点广播时间戳的同步信标帧，各星闪终端节点接收同步信标后，实时修正本地时钟，并将本次时钟漂移量反馈至星闪管理节点；s14、星闪管理节点运行时钟漂移实时补偿，以根据各节点的历史漂移数据动态调整下一次同步信标的发送时间；s15、vla模型推理引擎与机械臂执行单元的关节伺服控制器通过各自的时间同步接口与星闪终端节点和星闪管理节点的全局时钟完成校准，以确保终端节点采集的传感信息、模型推理、管理节点下发的指令环节使用统一的全局时间戳。

11、优选的，所述s2包括：在完成时间同步操作后，由星闪管理节点加载时间敏感分级调度机制，将系统中传输的数据划分为三个时间敏感等级，其中，时间敏感等级包括：l1级，其为控制指令级；l2级，其为力觉数据级；l3级，其为视觉或状态数据级；星闪传输模式包括确定性传输模式和自适应传输模式；由星闪管理节点将不同时间敏感等级映射至不同的星闪传输模式，其中，l1级映射确定性传输模式，并被分配独占式周期性时隙并采用超短帧结构与前向纠错编码；l2级映射至自适应传输模式，并被分配动态共享时隙池，优先级高于l3级数据；l3级映射至自适应传输模式，并被分配动态共享时隙池；在实际传输过程中，由星闪管理节点动态调整l2级和l3级数据的时隙配比以最大化信道资源利用率。

12、优选的，所述s3包括：s31、vla星闪协同控制模块与vla模型推理引擎建立本地通信通道以实时获取推理任务的状态信息；s32、当vla模型推理引擎接收到新的对齐后的多模态感知数据并开始推理时，立即向vla星闪协同控制模块发送“推理开始”信号，同时推送基于历史数据训练得到的预计推理完成时间；s33、vla星闪协同控制模块根据预计推理完成时间，提前触发星闪管理节点为即将生成的控制指令预留专属的l1级时隙，以确保推理完成后控制指令能够立即进入传输通道，无需等待资源分配。

13、与现有技术相比，本发明的优点在于：本发明引入了无线通信的方式实现以机械臂为代表的具身智能体传控信息的无线化连接，提升了系统部署灵活性；本发明提出了基于时间敏感等级的星闪分级调度机制，解决vla异构多模态数据的资源冲突问题，实现控制指令的超低时延高可靠确定性传输；本发明构建的星闪网络驱动的全链路端到端时间同步体系，能够实现感知、推理、控制全流程的微秒级精准对齐；（4）设计通信、计算、控制一体化闭环协同架构，压缩vla端到端闭环周期，提升系统响应速度。