一种基于强化学习的卡尔曼滤波轨迹优化方法

本发明涉及机器人轨迹优化领域，尤其涉及一种基于强化学习的卡尔曼滤波轨迹优化方法。

背景技术：

1、人类进入“工业4.0”时代以来，产品全生命周期和全制造流程的数字化，以及基于信息通信技术的模块集成，将形成一个高度灵活，个性化、数字化的产品与服务的生产模式；未来几年，将主要聚焦10大应用重点领域，突破100种以上机器人创新应用技术及解决方案，推广200个以上具有较高技术水平、创新应用模式和显著应用成效的机器人典型应用场景，打造一批“机器人+”应用标杆企业，建设一批应用体验中心和试验验证中心；推动各行业、各地方结合行业发展阶段和区域发展特色，开展“机器人+”应用创新实践。

2、提升产业智能化升级将助力企业提高制造效率，提升品质，从而增强企业综合竞争力；随着传感技术、新一代信息技术等的快速发展与普及，基于多传感的运动监测与控制技术在智能制造领域成为主流；通过信息采集、加强不确定性环境交互，使得智能制造设备具备感知环境和智能决策的能力，以实现智能化多场景应用要求；而传统算法无法满足运动过程中较高的动态精度需求，目前六轴机器人可以替代人工进行绝大部分制造业邻域内重复繁杂、危险的工作，在新型工业化以及推动加快建设制造强国进程中起到极大推动作用。所以，以六轴工业机器人为应用对象，亟需开展基于强化学习的卡尔曼滤波轨迹优化技术，实现工业机器人的动态精准轨迹跟踪，助力新型工业化智能制造产业高精度智能生产。

技术实现思路

1、本发明的目的是提供一种基于强化学习的卡尔曼滤波轨迹优化方法，通过深度强化学习和联邦卡尔曼滤波相结合的方法对工业六轴机器人进行轨迹优化，通过离散化处理、深度强化学习和联邦卡尔曼滤波算法等技术手段，对机器人的运动轨迹进行优化，使机器人的运动更加符合实际需求，具有更好的性能和精度。

2、为了实现以上目的，本发明采用的技术方案为：一种基于强化学习的卡尔曼滤波轨迹优化方法，包括如下步骤：

3、步骤一、在笛卡尔空间中建立其运动学模型，构建机械臂运动空间；

4、步骤二、对步骤一建立的运动模型通过深度强化学习和联邦卡尔曼滤波进行轨迹优化；

5、步骤三、搭建了六轴机器人工作实验平台进行应用测试；

6、步骤四、设定了机械臂的运动轨迹，并通过modbus-tcp网口和rs485串口将机械臂运动过程中的编码器数据导出至excel，这些编码器数据反映机械臂在运动过程中的各个关节的实际运动状态；

7、步骤五、将优化后的轨迹和实际运动状态进行比对，如满足设定的误差需求，则得到最终的优化轨迹，如不满足，则重复步骤二-步骤四，进行训练和继续优化。

8、优选的，步骤一具体为：对机械臂进行运动学与动力学分析，即通过机械臂控制器先根据该任务需求进行轨迹规划，再将规划出的每一时刻的数据发送给机械臂各个关节的电机，同时通电并驱动其运动，在轨迹规划时，结合运动学误差分析进行运行轨迹建模。

9、优选的，在进行轨迹建模时，先定义机器人运动的坐标系，第一步，使用笛卡尔坐标系来描述机器人末端执行器的位置和方向，坐标系的原点将位于机器人的底部，x、y和z轴将与机器人的基架对齐，末端执行器的方向使用欧拉角表示，欧拉角描述末端执行器围绕坐标系中三个轴中的每个轴的旋转，第二步，确定机器人每个关节的运动范围，确定每个关节可以旋转的最大角度，使用这些信息来定义机器人手臂中六个关节的关节角度。

10、优选的，在进行轨迹建模时，采用逆运动学模型，即给定机械臂末端执行器在空间中相对于极坐标系的相对位姿，求解该位姿下各关节应该转动的角度，具体采用封闭解法和数值解法。

11、优选的，六轴机器人运动误差包括机械结构误差、传感器误差、控制系统误差、环境误差和软件算法误差。、

12、优选的，步骤二中的深度强化学习利用深度学习算法对高维状态和动作空间进行建模，提高机器人的学习效率和性能，在工业六轴机器人的应用中，深度强化学习通过以下步骤来实现优化，1）定义状态空间: 根据机器人的运动模型和传感器信息，定义机器人的状态空间，包括机器人的位置、速度、加速度和关节角度信息；2）定义动作空间: 定义机器人的动作空间，即机器人可以采取的行动，包括机器人的关节运动、末端执行器的移动和工具的旋转操作；3）定义奖励函数:定义机器人执行某个动作后所获得的奖励，以此作为机器人学习的目标；4）训练深度神经网络:使用深度学习算法，训练一个神经网络模型，将机器人的状态和动作映射到奖励函数中，以此来实现对机器人的学习和优化。

13、优选的，联邦卡尔曼滤波对机器人的状态进行估计和预测，减小机器人的定位误差，具体步骤如下：1) 收集分布式传感器数据: 在工业六轴机器人中，传感器用于测量机器人的位置、速度、加速度信息，通过收集多个传感器的数据，获取机器人状态的更加全面和准确的信息；2) 进行分布式卡尔曼滤波: 将多个传感器的数据进行分布式卡尔曼滤波，得到每个传感器的状态估计结果；3) 合并状态估计结果: 将多个传感器的状态估计结果进行合并，得到机器人的最终状态估计结果。

14、优选的，六轴机器人工作实验平台包括工业六轴机器人、机器人私服驱动器、机器人控制器、机器人固定底座、操作台、计算机、机器人电缆和双目相机，双目相机用于捕捉机器人在空间中的运动轨迹和对机器人运动的感知，相机系统与计算机通过各种通信接口进行通信。

15、优选的，实验数据采集,在机器人的工作空间内放置目标物体，模拟实际工作环境，然后，通过操纵操作台对机器人进行远程控制，使其执行预定的轨迹，同时双目相机采集机器人未端执行器的运动状态信息，并将这些信息保存下来，通过matlab软件，对采集到的机器人状态信息进行处理和分析，提取出机器人当前的状态以及目标位置等关键信息，用于计算机器人当前的策略；通过已经实现的深度强化学习算法，对机器人进行轨迹优化，得到机器人执行轨迹的策略，并通过控制器将优化后的轨迹发送给机器人进行执行，机器人根据控制器发送的指令执行优化后的轨迹，并通过双目相机实时采集机器人的状态信息，将其发送到计算机上进行处理和分析。

16、优选的，在实验中，使用了深度强化学习算法对机器人进行轨迹优化，采用了基于策略梯度的深度强化学习算法，并基于pytorch框架实现算法代码，为了实现联邦卡尔曼滤波算法，还使用了matlab软件进行实现，具体是先将机器人的目标轨迹分解为一系列的离散时刻点，即将其离散化处理，然后将机器人的状态信息，如当前位置、速度、加速度输入到深度强化学习网络中，利用神经网络实现对机器人运动的控制，通过深度强化学习算法，对机器人的运动轨迹进行优化，使机器人的运动符合实际需求，并达到更好的性能和精度；还采用了联邦卡尔曼滤波算法，对机器人的状态进行估计和优化，该算法利用机器人的状态信息和运动模型，对机器人的运动轨迹进行预测，并通过不断迭代优化，提高机器人的运动精度和稳定性。

17、本发明的技术效果为：

18、1、通过深度强化学习和联邦卡尔曼滤波相结合的方法对工业六轴机器人进行轨迹优化，通过离散化处理、深度强化学习和联邦卡尔曼滤波算法等技术手段，对机器人的运动轨迹进行优化，使机器人的运动更加符合实际需求，具有更好的性能和精度。

19、2、基于深度强化学习算法，建立机器人运动控制模型，实现自适应控制，通过优化控制策略，降低机器人的误差和振荡，提高机器人的运动精度和稳定性；在联邦卡尔曼滤波方面，将对机器人的传感器数据进行分析和处理，通过建立状态空间模型，对机器人的位置和速度进行估计，从而实现对机器人的轨迹进行修正。

20、3、测试实验中，通过深度强化学习和联邦卡尔曼滤波相结合的方法对工业六轴机器人进行轨迹优化，通过离散化处理、深度强化学习和联邦卡尔曼滤波算法等技术手段，对机器人的运动轨迹进行优化，使机器人的运动更加符合实际需求，具有更好的性能和精度，进而能够更好的配合强化学习对运动轨迹模型进行进一步优化。