云边协同的软硬一体化智能脑坞系统
本公开总体说来涉及人工智能与机器人系统集成,更具体地讲,涉及一种云边协同的软硬一体化智能脑坞系统。
背景技术:
1、近年来,以大规模参数深度神经网络为代表的云端人工智能模型在目标检测、语义分割、抓取位姿估计、环境感知和任务规划等机器人智能任务中取得了显著进展。然而,将云端人工智能能力稳定、高效地部署到实际机器人平台,仍面临以下突出问题。
2、(1)机器人现场侧缺少集成化的边缘智能载体。现有方案常采用外置工控机、独立传感器和分离通信模块拼接实现智能化改造,导致系统体积庞大、功耗过高、布线复杂,部署和维护成本显著上升。
3、(2)云端训练管理与现场实时执行之间缺乏有效的云边协同机制。云端擅长模型训练、版本管理和任务编排,而机器人现场侧要求低时延、高可靠的本地感知、推理和控制执行。现有方案多偏重于纯云端推理或纯本地部署,难以兼顾云端模型的持续迭代能力与机器人现场实时控制需求。
技术实现思路
1、本公开提供一种云边协同的软硬一体化智能脑坞系统,用于解决上述问题中的至少一个。
2、根据本公开实施例的第一方面,提供一种云边协同的软硬一体化智能脑坞系统,包括:智能脑坞本体,包括用于提供计算资源的边缘计算模块;和多个软件功能单元,集成于所述智能脑坞本体,所述多个软件功能单元包括:云边协同单元、模型部署与边缘推理单元、多模态感知单元、通信适配单元;其中,所述云边协同单元被配置为接收云端下发的预训练模型的描述信息,所述预训练模型由所述云端训练得到;所述模型部署与边缘推理单元被配置为基于所述预训练模型,确定与所述边缘计算模块相适配的边缘推理引擎;所述多模态感知单元被配置为采集机器人作业环境的环境数据;所述模型部署与边缘推理单元还被配置为基于所述边缘推理引擎,对所述环境数据进行推理处理,得到控制数据;所述通信适配单元被配置为向机器人发送所述控制数据,并接收机器人反馈的控制结果信息;所述云边协同单元还被配置为向所述云端反馈模型执行结果信息,所述模型执行结果信息包括基于所述控制结果信息得到的信息。
3、可选地,所述云端用于执行模型训练处理、模型管理处理和任务编排处理,其中,所述云边协同单元还被配置为:接收所述云端下发的所述预训练模型的描述信息和任务指令,并发送至所述模型部署与边缘推理单元,其中,所述预训练模型的描述信息包括模型文件或模型更新信息,所述任务指令通过执行所述任务编排处理得到;接收所述模型部署与边缘推理单元得到的推理结果和所述通信适配单元接收到的控制结果信息,并确定所述模型执行结果信息;向所述云端反馈所述模型执行结果信息。
4、可选地,所述模型部署与边缘推理单元还被配置为执行标准化模型部署与推理流程,所述标准化模型部署与推理流程包括:将所述预训练模型的模型文件转换为开放神经网络交换格式,得到与训练框架解耦的中间模型;将所述中间模型编译为所述边缘推理引擎,其中,在编译过程中对模型计算图进行算子融合、图层优化或冗余节点消除,并依据所述边缘计算模块的硬件特性确定数值精度;加载所述边缘推理引擎,对所述环境数据进行推理处理,并将推理结果转换为所述控制数据。
5、可选地,所述智能脑坞本体还包括:机器人通信接口,所述机器人通信接口包括以下至少一种接口:以太网接口、can总线接口、usb接口、串行通信接口、实时数据交换接口;所述通信适配单元包括:物理接口层,被配置为驱动所述机器人通信接口;协议驱动层,被配置为支持以下至少一种协议:tcp/ip协议、can协议、rtde协议、机器人厂商私有通信协议;协议统一抽象层,被配置为将异构机器人的控制接口和状态反馈接口封装为统一的机器人控制调用接口,其中,所述异构机器人是采用不同运动机构、不同控制器、不同通信接口或不同通信协议的机器人。
6、可选地,所述异构机器人包括以下至少之一:移动机器人、协作机械臂、工业机械臂、移动操作复合机器人、仓储分拣机器人。
7、可选地,所述预训练模型是以源机器人采集的数据作为基础样本数据,通过初始训练或参数配置得到的模型,其中,所述多个软件功能单元还包括:跨平台快速适配单元,被配置为:将目标机器人采集的数据作为目标样本数据;基于所述目标样本数据,根据所述源机器人与所述目标机器人之间的硬件差异信息和作业场景差异信息,对所述预训练模型进行模型微调处理和参数适配处理,得到适配模型;其中,所述模型部署与边缘推理单元还被配置为基于所述适配模型,确定与所述边缘计算模块相适配的边缘推理引擎。
8、可选地,所述智能脑坞本体还包括:多模态感知模块,所述多模态感知模块包括以下至少之一:rgb-d深度相机、三维激光雷达、惯性测量单元、语音交互模块,其中,所述rgb-d深度相机用于获取近场目标的彩色图像和深度图像,所述三维激光雷达用于获取作业环境的三维点云数据,所述惯性测量单元用于获取机器人的姿态数据和运动数据,所述语音交互模块用于采集语音指令或输出语音信息。
9、可选地,所述多模态感知单元还被配置为对所述多模态感知模块获取到的数据进行融合处理。
10、可选地,所述边缘计算模块包括嵌入式ai计算模块,所述嵌入式ai计算模块能够支持gpu并行计算、神经网络加速或张量计算。
11、可选地,所述智能脑坞本体还包括:电源模块,用于向所述边缘计算模块供电;安装组件,用于将所述智能脑坞本体固定安装于机器人本地侧的实体设备。
12、本公开的实施例提供的技术方案至少带来以下有益效果:根据本公开的云边协同的软硬一体化智能脑坞系统,以智能脑坞本体作为机器人现场侧的边缘智能中枢,通过在同一软硬一体化载体内集成边缘计算、多模态感知、模型部署与边缘推理、通信适配和云边协同能力,既可减少外置设备拼接造成的布线复杂度和部署维护成本,又可使云端专注执行人工智能模型的训练与管理,并使机器人现场侧便捷地完成模型部署、实时推理和控制执行,有利于兼顾云端的预训练模型迭代能力与机器人现场实时控制需求。同时,人工智能模型在智能脑坞本体的边缘计算模块上执行本地推理,机器人控制数据经通信适配单元下发至现场机器人平台,能够降低对云端实时推理和网络链路稳定性的依赖,提高机器人现场作业的实时性和可靠性。因此,本公开的实施例解决了相关技术中机器人边缘智能载体集成度不足、云端训练管理与现场实时执行之间难以有效协同的问题。
13、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
1.一种云边协同的软硬一体化智能脑坞系统,其特征在于,包括:
2.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述云端用于执行模型训练处理、模型管理处理和任务编排处理,其中,所述云边协同单元还被配置为:
3.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述模型部署与边缘推理单元还被配置为执行标准化模型部署与推理流程,所述标准化模型部署与推理流程包括:
4.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,
5.如权利要求4所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述异构机器人包括以下至少之一:移动机器人、协作机械臂、工业机械臂、移动操作复合机器人、仓储分拣机器人。
6.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述预训练模型是以源机器人采集的数据作为基础样本数据,通过初始训练或参数配置得到的模型,其中,所述多个软件功能单元还包括:跨平台快速适配单元,被配置为:
7.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述智能脑坞本体还包括:
8.如权利要求7所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述多模态感知单元还被配置为对所述多模态感知模块获取到的数据进行融合处理。
9.如权利要求1所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述边缘计算模块包括嵌入式ai计算模块,所述嵌入式ai计算模块能够支持gpu并行计算、神经网络加速或张量计算。
10.如权利要求1至9中的任一权利要求所述的云边协同的软硬一体化智能脑坞系统,其特征在于,所述智能脑坞本体还包括:
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com