一种智能塔式起重机路径规划方法与流程

本发明涉及路径规划，具体为一种智能塔式起重机路径规划方法。

背景技术：

1、在传统施工中，塔式起重机路径规划高度依赖人工经验，操作人员常采用先起升、后回转、再变幅的分步策略以避免碰撞，该方式路径冗长、效率低下，且严重受制于操作人员技能水平，为提升作业自动化，技术人员引入机器人运动规划理论，发展了基于图搜索的a*、dijkstra算法，基于采样的rrt、prm算法，以及遗传算法、蚁群算法等智能优化方法，此类方法在已知静态环境下能生成较优路径，但普遍依赖精确环境建模，计算复杂度高，且难以应对动态障碍物与施工目标频繁变化等实际工况，重规划导致的延迟与轨迹不连续问题突出；

2、近年来，深度强化学习因无需精确环境模型、可通过交互自主学习而受到关注，然而，现有研究多将其应用于离散动作空间，将起重机运动简化为有限动作集合，难以精确描述多自由度连续运动特性，造成轨迹不平滑与控制精度不足，同时，长距离吊装任务中普遍存在的奖励稀疏、样本利用率低和收敛缓慢等问题，进一步制约了其工程实用性；

3、综上，亟需一种能在连续动作空间、复杂动态环境下实现高效自主路径规划的智能控制方法，以克服现有技术瓶颈，提升塔式起重机作业的安全性、效率与智能化水平。

技术实现思路

1、本发明的目的在于提供一种智能塔式起重机路径规划方法，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：一种智能塔式起重机路径规划方法，包括以下步骤：

3、s1、利用solidworks建立塔式起重机三维模型后，在gazebo仿真平台生成复杂动态障碍物环境；

4、s2、建立塔式起重机路径规划数学模型，定义起重机运动自由度后，根据三维模型统计所有未发生碰撞的路径，对其进行优化，筛选出最优路径；

5、s3、通过三维模型和仿真环境获取起重机本体状态和环境感知数据，设计深度强化学习算法的状态空间、动作空间及奖励函数，所述深度强化学习算法具体为sac算法；

6、s4、构建基于sac算法的基础框架，引入per，利用per计算出经验的td误差绝对值，按照td误差绝对值分析出当前经验对应的采样概率，根据采样概率更新训练样本的权重大小，所述per具体为优先经验回放机制；

7、s5、将lstm网络嵌入sac算法的actor-critic架构，从而生成动作分布和价值评估；

8、s6、设置训练参数，初始化per-sac-lstm算法的参数；

9、s7、在搭建的复杂动态环境中进行per-sac-lstm算法的训练与测试，统计出算法的平均奖励、收敛速度、路径长度、路径平滑度及规划成功率。

10、优选的，所述s1具体包括以下步骤：

11、s101、利用solidworks建立塔式起重机三维模型后，将其转换为urdf格式文件，并导入机器人操作系统，在gazebo仿真平台搭建复杂动态障碍物环境；

12、s102、在仿真环境中，以塔式起重机基座为坐标原点构建三维运动空间，静态障碍物采用基础模型组合生成，动态障碍物设置0.2m/s-0.5m/s的随机平移速度；

13、s103、通过增加障碍物总数及移动障碍物数量提升复杂动态障碍物环境的复杂度，起始点与目标点在空间可行域内随机生成，两者直线距离不小于10m，回转角度不小于30°，且所有起止点的空间位置均设定于障碍物顶部高程以上至少2 m处。

14、优选的，所述s2中具体包括以下步骤：

15、s201、建立塔式起重机路径规划数学模型，以塔式起重机基座为坐标原点建立三维笛卡尔坐标系，将路径规划等价于在无碰撞空间中寻找最优轨迹，优化目标包括路径长度、运行时间及能量损耗，定义起重机运动自由度为变幅小车水平运动、缆绳竖直升降及吊臂回转运动，将吊重物视为质点，缆绳视为刚体；

16、s202、在路径规划过程中，将三个自由度取值看作集合，发生碰撞以及障碍物空间均表示为，无碰撞空间表示为，将通过的所有路径过程中状态点的集合记为，路径规划的过程中无碰撞空间的所有状态点记为，起始点记为，终止点记为；

17、s203、对进行优化，优化的目标包括但不限于运行时间、路径长度和能量损耗，将路径规划的总运行时间记作，其中，表示无碰撞路径中通过的状态点数量，表示单位时间，按照中所有状态点计算出路径长度，其中，表示序号数，表示第个状态点；

18、s204、统计整个过程中所有的未发生碰撞的路径，其中，用函数表示路径规划过程的代价，，对路径进行优化，使其在无碰撞空间中其付出的代价函数的值越小，得到最优路径，所述最优路径函数具体为：

19、，

20、其中，表示路径的目标函数。

21、优选的，所述状态空间由起重机本体状态与环境感知数据构成，其中本体状态包含吊钩三维坐标、运行速度及臂架转角，环境感知数据为激光雷达获取的障碍物点云集合与深度图像，激光雷达检测范围调整为0.1m-3.5m，检测的数据分为20个维度，所述动作空间为连续型，包含吊臂回转速度、变幅小车平移速度及吊钩升降速度，速度范围分别为0-0.33r/min、0-100m/min、0-100m/min，所述奖励函数设置为到达目标点获得+100奖励，发生碰撞以及陷入局部最优获得-50惩罚，距离目标点缩短时获得+10奖励，距离目标点增加时获得-10惩罚。

22、优选的，所述s4中具体包括以下步骤：

23、s401、采用双q网络架构计算经验样本的时序差分误差确定样本重要性，时序差分误差绝对值越大，样本优先级越高，所述时序差分误差为td误差；

24、s402、按照td误差绝对值为每个经验分配对应的优先级来实现优先采样，td误差反映了智能体对当前策略和价值函数的错误估计，td误差越大，说明该经验对策略的改进越重要，所述优先级具体为：

25、，

26、其中，是第i个经验的优先级，是该经验的td误差，表示常数，用于避免优先级为零的情况；

27、s403、每个经验的采样概率与其优先级成正比，经验的采样概率具体为：

28、，

29、其中，表示超参数，控制优先级对采样概率的影响程度，时，采样概率均匀，时，采样概率更倾向于优先级更高的经验，表示序号数，是第k个经验的优先级；

30、s404、通过将每个经验的更新权重与其实际采样概率的倒数成比例，对训练样本进行重要性加权，以纠正优先采样引入的偏差，所述更新权重具体为：

31、，

32、其中，n表示经验回放缓冲区的大小，表示超参数，用于调整重要性加权的程度，随着训练的进行，通常会逐渐增加，以便更好地纠正采样偏差。

33、优选的，所述s5中具体包括以下步骤：

34、s501、将lstm网络嵌入sac算法的actor-critic架构，actor网络经lstm提取时序特征后生成动作分布，critic网络通过lstm分析历史状态与当前状态的关联性，输出更精准的动作价值评估；

35、s502、所述lstm的结构主要由三个门组成：遗忘门、输入门、输出门，所述遗忘门决定细胞状态中信息被保留以及被丢弃，接收当前输入和上一时刻的隐藏状态作为输入，通过计算得到遗忘门的值，在这个过程中，通过sigmoid激活函数将其映射到0到1之间的值，接近0的值表示对应的细胞状态信息将被遗忘，接近1的值表示信息将被保留，计算公式具体为：

36、，

37、其中，和分别表示遗忘门的权重矩阵和偏置向量，偏置项用于调整整个门的输出；

38、s503、输入门负责调节当前输入数据对细胞状态的更新量，它同样接受和作为输入，通过sigmoid函数计算出更新比例，同时通过tanh激活函数对当前输入进行变换，然后将两者相乘得到需要更新到细胞状态中的信息，计算公式具体为：

39、，

40、，

41、其中，表示输入门的相关权重矩阵，表示输入门的相关偏置向量，表示当前输入，表示上一时刻的隐藏状态；

42、s504、根据遗忘门和输入门的结果，对细胞状态进行更新，智能筛选信息，自主决定记忆与遗忘，实现关键特征的长效保存，具体更新的公式如下：

43、，

44、其中，表示当前时刻的记忆单元，为上一时刻的记忆单元，为控制信号，和分别为输入门的值和候选值；

45、s505、最后确定lstm模型的输出，输出门调控细胞状态的输出内容，决定最终隐藏状态的生成，它接受和作为输入，通过sigmoid函数计算出输出比例后，将其与经过tanh激活函数处理后的细胞相乘，得到当前时刻的隐藏状态，所述输出门的计算公式如下：

46、，

47、，

48、其中，和分别是输出门的权重矩阵和偏置向量，表示输出门的激活值，表示时刻lstm输出的隐藏层状态。

49、优选的，所述s7中具体包括以下步骤：

50、s701、在搭建的复杂动态环境中进行算法训练与迭代优化，训练过程中，智能体通过激光雷达实时感知环境状态，与环境交互生成经验样本并存储至经验池，依据优先经验回放机制采样高价值样本，更新actor网络、critic网络及目标网络参数，lstm网络持续学习状态时序关联，优化决策逻辑，直至算法收敛；

51、s702、对训练完成的per-sac-lstm算法进行性能测试，验证路径规划效果，测试场景随机选取20组不同障碍物分布，起始点与目标点随机生成，统计算法的平均奖励、收敛速度、路径长度、路径平滑度及规划成功率，验证算法在复杂动态环境下的适应性与稳定性。

52、与现有技术相比，本发明的有益效果是：

53、本发明将深度强化学习应用于塔式起重机连续动作空间路径规划，无需依赖精确环境地图，通过实时环境感知与自主决策实现动态避障，通过优先经验回放机制提升了高价值样本的利用率，加快算法收敛速度，lstm网络赋予算法记忆历史状态的能力，增强了时序信息分析与复杂环境适应能力，在复杂动态障碍物环境中，表现出更快的收敛速度、更短的路径长度、更高的规划成功率及更平滑的路径轨迹，显著提升了塔式起重机作业的安全性、效率与自动化水平。