面向工业机器人的迭代推演推理增强方法、装置及设备

摘要: 本发明涉及工业机器人边缘控制、人工智能强化学习,具体而言,涉及一种面向工业机器人的迭代推演推理增强方法、装置及设备。背景技术:1、深度强化学习是人工智能领域的重...
面向工业机器人的迭代推演推理增强方法、装置及设备

本发明涉及工业机器人边缘控制、人工智能强化学习,具体而言,涉及一种面向工业机器人的迭代推演推理增强方法、装置及设备。

背景技术:

1、深度强化学习是人工智能领域的重要分支,其核心思想是让智能体通过与环境的交互试错,根据获得的奖励信号不断改进决策策略,以最大化长期累积回报。然而,在工业机器人、物联网边缘控制等应用场景中,智能体硬件普遍存在显存容量有限、gpu算力不足、设备功耗受限、毫秒级实时推理硬性约束,以及面临部分可观测环境(如只能获取到局部情况)和长时序依赖任务(如在稀疏奖励环境中,一个正确的动作可能需要延迟数百步才能获得一次正向反馈)。这些场景要求智能体不仅能够利用传感器采集观测数据,还必须存储资源有效记忆、复用历史时序信息来推断当前状态并做出远期预测。

2、传统的深度强化学习方法通常采用循环神经网络(recurrent neural network,rnn)或其变体长短期记忆网络(long short-term memory,lstm)来处理传感器采集的历史观测序列,通过隐藏状态记住过去的信息。例如,在工业控制的近端策略优化(proximalpolicy optimization,ppo)算法中加入lstm层,可以增强智能体对时序信息的建模能力。然而,这类基于循环结构的方法存在两个固有缺陷:一是记忆衰减、梯度消失问题,即远离当前决策点的信息对隐藏状态的权重影响会逐渐减弱,导致关键信息被"遗忘";二是硬件资源损耗缺陷,为弥补时序信息丢失,硬件cpu/gpu需要反复读取、回放海量历史传感器样本,持续占用算力、抬高设备运行功耗;同时硬件缓存需要持续存储大量历史时序向量,挤占有限内存空间,频繁读写内存产生大量io交互,直接拉长单步推理时延,难以满足工业机器人等嵌入式边缘设备毫秒级硬件响应要求。

3、为了解决这些问题,近年来研究者尝试将transformer架构引入强化学习。transformer通过自注意力机制可以直接计算序列中任意两个时间步之间的依赖关系,从而有效捕获长距离信息。但是,transformer模型参数量巨大,加载时极易触发显存溢出,推理阶段每一层权重均需单独从低速内存读取,训练和推理计算开销高,大幅降低设备在线交互样本效率,无法有效用于工业实时控制。

4、为此现有技术方案主要分为两类:第一类是基于循环神经网络的深度强化学习方法,以ppo+lstm为代表,该方法在策略网络和价值网络中嵌入lstm层,利用其门控机制维护历史信息,但存在硬件算力、内存、功耗开销大、长时序预测精度不足的问题;第二类是,以iris和decision transformer为代表的基于transformer的强化学习方法,通过自注意力机制捕获长距离依赖,但多层权重结构带来显存占用爆炸、推理延迟超标、硬件算力利用率低的硬伤。更重要的是,无论是rnn还是transformer,它们均关注于如何从不同时间步的历史观测序列中提取信息,而缺乏在单个采样决策时间步内对当前经验进行深度挖掘和特征提炼的机制,当硬件采集存在噪声干扰、设备奖励信号存在欺骗性时,模型无法自主过滤无效信息、挖掘高判别性控制特征,极易收敛至局部最优控制策略,降低设备长期运行稳定性。

5、有鉴于此,特提出本技术。

技术实现思路

1、本发明旨在提供一种面向工业机器人的迭代推演推理增强方法、装置及设备,以解决现有技术中深度强化学习方法同时存在的两大核心痛点:一是lstm/transformer原生结构存在长时序记忆丢失、参数量与算力无法平衡的算法短板;二是多层独立权重、海量历史样本回放机制带来显存溢出、内存io开销高、推理延迟超标、gpu并行算力无法充分利用、设备功耗过高的硬件运行缺陷,难以适配资源受限的工业机器人等嵌入式实时控制设备的问题。

2、为解决上述技术问题,本发明通过以下技术方案实现:

3、一种面向工业机器人的迭代推演推理增强方法,应用于工业机器人嵌入式边缘控制设备,包括:

4、将工业传感器实时采集的工件环境三维点云与图像数据流作为观测数据,获取机器人执行控制指令后的动作信号以及反馈的抓取成功率、碰撞损耗量作为运行奖励,构建当前时间步的三元组,通过可学习嵌入层将所述三元组映射到隐藏特征空间,生成初始思维向量;

5、对所述初始思维向量执行k步迭代推演,以精炼思维向量增强推理,缓解工业机器人缓存容量有限导致的无法存储长时序工件感知数据、需反复回放海量样本拉高设备功耗、伺服控制延迟超标的问题;

6、在迭代推演过程中将当前迭代步的思维向量扩展为包含m个可学习槽位的槽位矩阵,所述槽位矩阵适配机器人控制设备多线程并行运算架构,每个可学习槽位由当前迭代步的思维向量与对应的可学习偏置向量构成;

7、通过共享的线性变换矩阵将所述槽位矩阵分别投影为查询矩阵、键矩阵和值矩阵,计算多头自注意力;

8、将多头自注意力的输出矩阵压缩并进行第一残差连接和层归一化处理,得到第一中间向量,以将所述第一中间向量输入前馈神经网络进行非线性变换,进行第二残差连接和层归一化处理,得到下一迭代步的思维向量;

9、将经过k步迭代后的最终思维向量作为当前机器人采样周期的精炼特征表示,输入机器人内置的策略网络和价值网络,分别输出执行动作的概率分布和状态价值估计下发至机器人伺服驱动器,控制机械臂执行工件抓取动作,并用于工业机器人预测下一采样周期的传感器工件观测数据和运行奖励。

10、本发明还提供了一种面向工业机器人的迭代推演推理增强装置,包括:

11、初始思维向量生成单元,用于将工业传感器实时采集的工件环境三维点云与图像数据流作为观测数据,获取机器人执行控制指令后的动作信号以及反馈的抓取成功率、碰撞损耗量作为运行奖励,构建当前时间步的三元组,通过可学习嵌入层将所述三元组映射到隐藏特征空间,生成初始思维向量;

12、循环自注意力推演单元,用于对所述初始思维向量执行k步迭代推演,以精炼思维向量增强推理,缓解工业机器人缓存容量有限导致的无法存储长时序工件感知数据、需反复回放海量样本拉高设备功耗、伺服控制延迟超标的问题;

13、其中,所述循环自注意力推演单元包括:

14、槽位扩展子单元,用于在迭代推演过程中将当前迭代步的思维向量扩展为包含m个可学习槽位的槽位矩阵,所述槽位矩阵适配机器人控制设备多线程并行运算架构,每个可学习槽位由当前迭代步的思维向量与对应的可学习偏置向量构成;

15、自注意力计算子单元,用于通过共享的线性变换矩阵将所述槽位矩阵分别投影为查询矩阵、键矩阵和值矩阵,计算多头自注意力;

16、特征聚合子单元,用于将多头自注意力的输出矩阵压缩并进行第一残差连接和层归一化处理,得到第一中间向量,以将所述第一中间向量输入前馈神经网络进行非线性变换,进行第二残差连接和层归一化处理,得到下一迭代步的思维向量;

17、决策单元,用于将经过k步迭代后的最终思维向量作为当前机器人采样周期的精炼特征表示,输入机器人内置的策略网络和价值网络,分别输出执行动作的概率分布和状态价值估计下发至机器人伺服驱动器,控制机械臂执行工件抓取动作,并用于工业机器人预测下一采样周期的传感器工件观测数据和运行奖励。

18、本发明还提供了一种面向工业机器人的迭代推演推理增强设备,包括工业传感器采集接口、伺服驱动输出接口、gpu处理器以及存储器,所述存储器内存储有计算机程序,所述计算机程序能够被所述gpu处理器执行,以实现如上所述的一种面向工业机器人的迭代推演推理增强方法。

19、本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被计算机可读存储介质所在设备的处理器执行时实现如上所述的一种面向工业机器人的迭代推演推理增强方法。

20、综上所述,与现有技术相比,本发明具有如下有益效果:

21、(1)本发明通过引入适配工业机器人的循环自注意力推演机制,工业机器人能够在单步决策内对视觉、雷达采集的时序三元组进行多轮特征重组与增强提炼,无需控制器反复回放海量历史工件样本填补时序信息缺口,缓解了机器人缓存容量不足带来的长时序工件感知特征丢失、梯度衰减缺陷,降低控制器内存频繁读写产生的算力开销,提升机器人多步抓取轨迹、碰撞风险远期预测精度,满足复杂工件产线的伺服控制需求。

22、(2)本发明采用共享权重的循环自注意力结构,所有迭代步使用相同的自注意力和前馈网络参数,参数量不随迭代步数k的增加而线性增长,解决了多层独立权重导致的边缘硬件显存溢出、内存io开销大、推理延迟超标的问题,适配工业机器人产线在线实时抓取交互场景。

23、(3)本发明依托多线程并行的m槽位k步循环推演结构,在每个决策步内对当前采样周期内时序三元组进行多轮内部特征重组,能够过滤激光雷达点云噪声、聚焦关键信息。这种机制使智能体能够从高噪声观测或欺骗性稠密奖励中提炼出更具判别性的关键特征,有效避免机器人收敛至低效局部抓取策略,减少机械臂空抓、碰撞频次,提升机器人长时间连续作业的控制鲁棒性与产线泛化适配能力。

24、(4)本发明提出的推理增强装置可无缝集成到ppo、sac等现有嵌入式边缘设备主流强化学习算法中,兼容市面主流机器人嵌入式gpu控制器,无需对原有训练流程进行重大修改,降低了产线智能控制硬件改造与算法二次开发成本,具有良好的可扩展性和实用性。