机器人控制系统及方法与流程

摘要: 本发明涉及机器人控制,尤其涉及一种机器人控制系统及方法。背景技术:1、随着具身智能的发展,机器人需要在动态、非结构化环境中独立完成感知、决策与执行闭环。视觉识别...
机器人控制系统及方法与流程

本发明涉及机器人控制,尤其涉及一种机器人控制系统及方法。

背景技术:

1、随着具身智能的发展,机器人需要在动态、非结构化环境中独立完成感知、决策与执行闭环。视觉识别作为核心感知手段,对主控平台的算力、实时性与开发效率提出了极高要求。具身智能要求机器人通过与物理环境实时交互,完成感知、决策与行动闭环。视觉是机器人最主要的环境感知手段。然而,现有机器人主控方案的视觉处理通常在上位机(如工控机)完成,通过以太网或usb发送结果到运动控制器,通信延迟和抖动大,难以实现亚毫米级视觉伺服;现有系统多为被动接收固定相机图像,当目标被遮挡或光照不佳时,无法主动调整自身观察位姿来提升识别精度,不符合具身智能通过行动辅助感知的核心理念;在小型化嵌入式主控上同时运行深度学习视觉模型和高频运动控制(1khz以上)难度大,要么视觉识别缓慢,要么运动控制失时;视觉识别、任务规划、运动控制各部分开发环境、通信协议异构,导致整体系统集成复杂、调试困难。

技术实现思路

1、本发明提供一种机器人控制系统及方法,以解决机器人运动控制延迟高平稳性差的问题。

2、第一方面,本申请实施例提供了一种机器人控制系统,包括异构融合硬件层和实时运行层;

3、所述异构融合硬件层基于异构片上系统构建,所述异构片上系统包括通用处理器核心和可编程逻辑单元;所述可编程逻辑单元中配置有视觉-运动直通引擎,所述视觉-运动直通引擎被配置为直接接收视觉识别加速器输出的结构化感知结果,以计算末端执行器路径点,并通过工业实时总线接口向电机驱动器发送控制指令;

4、所述实时运行层包括事件驱动的视觉-控制调度器,所述视觉-控制调度器被配置为在视觉识别加速器完成一帧推理后产生携带结构化数据的视觉事件,以直接索引预存的运动基元查找表并触发相应运动基元的执行。

5、第二方面,本发明提供一种机器人控制方法,应用于异构片上系统,所述异构片上系统包括通用处理器核心和可编程逻辑单元,所述可编程逻辑单元内配置有可重构视觉识别加速器组、视觉-运动直通引擎、以及共享内存与中断路由单元,所述可重构视觉识别加速器组包括多个视觉识别加速核,包括:

6、获取当前任务的目标信息,以根据所述目标信息在可编程逻辑单元中配置与当前任务对应的视觉识别加速核和运动基元查找表;其中,所述运动基元查找表存储有多个运动基元及其对应的参数映射规则;

7、通过机器人的视觉模块采集图像数据,并通过所述视觉识别加速核对图像数据进行推理,生成包含结构化感知结果的视觉事件包;

8、将所述视觉事件包通过所述共享内存与中断路由单元直接传递至所述视觉-运动直通引擎;

9、由所述视觉-运动直通引擎内的硬件联想匹配器基于所述视觉事件包中的特征向量,从所述运动基元查找表中匹配出目标运动基元及对应的参数映射规则;

10、由所述视觉-运动直通引擎内的运动基元发生器根据所述目标运动基元及所述参数映射规则,实时生成运动控制指令,并通过实时总线输出至执行器。

11、上述机器人控制系统及方法所提供的一个方案中,通过在可编程逻辑单元内构建视觉识别到运动控制的硬件直通通路,使视觉事件包不经过通用处理器核心直接传递至视觉-运动直通引擎,显著缩短了从视觉感知到运动指令生成的端到端延迟,提高了机器人控制的实时性与确定性。同时,该方案将视觉推理与运动基元匹配卸载至硬件执行,降低了通用处理器核心负载,避免了软件调度引入的延迟抖动。此外,可重构视觉识别加速核与运动基元查找表可根据任务动态配置,使系统兼具高性能、低延迟与多任务灵活适应能力。

1.一种机器人控制系统,其特征在于,包括异构融合硬件层、实时运行层、以及协同开发工具层;

2.根据权利要求1所述的机器人控制系统,其特征在于,所述可编程逻辑单元中还配置有共享内存与中断路由单元,所述共享内存与中断路由单元被配置为实现所述可编程逻辑单元内的视觉识别加速器、所述通用处理器核心与外部传感器数据流之间的数据交换。

3.根据权利要求1所述的机器人控制系统,其特征在于,所述通用处理器核心被配置为运行标准操作系统,并执行上层任务规划、非实时人机交互以及开发工具的宿主机端代理功能。

4.根据权利要求1所述的机器人控制系统,其特征在于,所述实时运行层还包括视觉识别加速库和确定性运动控制中间件;所述视觉识别加速库被配置为所述可编程逻辑单元中的硬件加速器提供统一应用程序接口,以支持加载、运行和销毁不同的视觉模型加速核;所述确定性运动控制中间件被配置为运行在协同处理器或所述可编程逻辑单元内的微处理器上,用于管理运动基元队列,并对所述视觉-运动直通引擎的触发信号进行安全监控。

5.根据权利要求1所述的机器人控制系统,其特征在于,所述异构代码自动编译与部署工具被配置为:

6.根据权利要求1所述的机器人控制系统,其特征在于,所述协同开发工具层还包括硬件在环仿真与性能剖析器,所述硬件在环仿真与性能剖析器被配置为:

7.根据权利要求1所述的机器人控制系统,其特征在于,所述工业实时总线接口包括ethercat接口。

8.一种机器人控制方法,其特征在于,应用于异构片上系统,所述异构片上系统包括通用处理器核心和可编程逻辑单元,所述可编程逻辑单元内配置有可重构视觉识别加速器组、视觉-运动直通引擎、以及共享内存与中断路由单元,所述可重构视觉识别加速器组包括多个视觉识别加速核,包括: