基于多智能体强化学习的轨道交通通信设备协同安装方法

本技术涉及通信设备安装优化，具体涉及一种基于多智能体强化学习的轨道交通通信设备协同安装方法。

背景技术：

1、轨道交通隧道及站场作为列车运行控制信息传输、车地无线通信及乘客信息服务的重要承载场景，其狭长封闭、结构复杂的空间特性要求无线接入点等通信设备必须沿线路方向进行大规模、高密度的规模化部署，且相邻设备之间需同时满足最小布设间距、结构安全、施工可达性以及沿线信号覆盖等多重约束。在现有工程实践中，通常基于设计图纸或建筑信息模型对全部通信设备的安装位置和设备数量进行一次性静态规划，确定各设备的候选安装位置后再由施工人员沿线路方向逐台实施安装。然而，隧道现场实际施工环境与规划环境之间往往存在差异，施工人员操作精度、隧道结构变形、管线遮挡及现场障碍物等因素会导致已安装通信设备的实际位置偏离预先规划的设计位置，而传统基于人工经验或静态规划规则的安装方法在预先确定全部设备位置后即逐台施工，前序设备产生的实际施工偏差难以及时反馈到后续设备的安装决策中，后续设备仍按照原始规划位置安装，导致施工偏差通过设备间相对位置关系逐级传递并持续累积；当偏差持续累积时，若仅依赖人工经验对后续设备位置进行简单调整，不仅容易破坏设备间最小布设间距、结构及施工可达性等约束，还会造成后续设备规划位置偏移过大，使相邻设备间的信号覆盖出现盲区或覆盖裕量不足，无法满足沿线信号覆盖门限要求，进而降低通信系统整体性能；同时，已安装设备一旦完成施工，其重新拆卸移位的成本高、周期长，工程上要求在保持已安装设备位置不变的前提下实现后续设备的偏差补偿，而不可消除的前序施工误差若不加区分地持续参与调整过程，还会使安装位置调整难以收敛；此外，当偏差累积程度超出后续设备可补偿范围时，现有技术缺乏对剩余未安装路段的通信设备数量与信号覆盖要求进行自适应重新规划的机制，无法根据施工误差累积程度逐步提高剩余路段的覆盖裕量。

技术实现思路

1、本技术目的在于提供一种基于多智能体强化学习的轨道交通通信设备协同安装方法，解决了现有轨道交通隧道通信设备安装方法采用静态规划与逐台施工方式，前序设备的实际施工偏差无法及时反馈至后续设备的安装决策，偏差逐级累积导致后续设备规划位置偏移过大、空间约束被破坏及信号覆盖裕量不足，且在偏差超出可补偿范围时缺乏对剩余未安装路段的通信设备数量与覆盖门限进行自适应重规划的问题。

2、本技术通过下述技术方案实现：

3、一种基于多智能体强化学习的轨道交通通信设备协同安装方法，包括：

4、获取轨道交通通信设备安装环境的基础空间数据，并基于所述基础空间数据生成候选安装位置集合；所述候选安装位置集合中的任一候选安装位置均满足综合空间约束以及信号覆盖约束；

5、将所述候选安装位置集合展示给施工人员，以使所述施工人员按照所述候选安装位置集合中的候选安装位置进行通信设备的逐一安装；

6、在逐一安装过程中，为每个通信设备构建对应的智能体，并将已安装设备的实际安装位置作为其目标安装位置，同时将未安装设备的候选安装位置作为目标安装位置；

7、根据所述目标安装位置获取各个通信设备对应的安装误差以及局部拓扑偏差信息，同时获取邻域动作融合信息；

8、采用所述目标安装位置、安装误差、局部拓扑偏差信息以及邻域动作融合信息构建状态空间，并将通信设备对应的状态空间作为其对应的智能体的输入，获取位置调整动作向量；所述通信设备为已安装设备时，则将位置调整动作向量设置为零向量；

9、执行所述位置调整动作向量并获取智能体对应的局部奖励，同时获取全局拓扑偏差，采用所述全局拓扑偏差以及局部奖励获取多智能体协同的全局奖励；

10、获取未安装设备的最大规划偏差以及当前强化学习迭代过程中的最大位置变化量，并根据所述最大规划偏差以及最大位置变化量确定协同动作；所述协同动作包括重规划、继续强化学习迭代或输出强化学习迭代得到的目标安装位置；

11、在重规划的情况下，则对通信设备数量进行校验与调整，并进行重新进入多智能体强化学习；在继续强化学习迭代的情况下，采用全局奖励更新智能体，并采用更新之后的智能体继续进行位置调整；在输出强化学习迭代得到的目标安装位置的情况下，则最后一次强化学习迭代过程中输出的目标安装位置展示给施工人员。

12、在一种可能的实施方式中，获取轨道交通通信设备安装环境的基础空间数据，并基于所述基础空间数据生成候选安装位置集合，包括：

13、获取轨道交通通信设备安装环境的基础空间数据；所述轨道交通通信设备安装环境为轨道交通隧道；

14、构建综合空间约束以及信号覆盖约束，并沿所述轨道交通隧道生成满足综合空间约束以及信号覆盖约束的最少的空间候选点，得到候选安装位置集合。

15、在一种可能的实施方式中，所述综合空间约束包括安全约束、结构约束以及可达性约束；所述安全约束设置为：任意两个相邻通信设备之间的距离满足安全距离要求；所述结构约束设置为：通信设备的安装位置位于轨道交通隧道允许安装区域内；所述允许安装区域由施工人员设定；所述可达性约束设置为：施工路径距离小于或等于预设的最大施工路径距离；

16、所述信号覆盖约束设置为：沿轨道交通隧道的方向上的任意一点的信号强度大于覆盖门限。

17、在一种可能的实施方式中，根据所述目标安装位置获取各个通信设备对应的安装误差以及局部拓扑偏差信息，同时获取邻域动作融合信息，包括：

18、获取所述目标安装位置与所述候选安装位置之间的位置偏差，得到通信设备对应的安装误差；

19、针对任意一个通信设备，获取所述通信设备与相邻通信设备之间的目标安装位置的第一相对位置向量；

20、获取所述通信设备与相邻通信设备之间的候选安装位置的第二相对位置向量，并根据所述第一相对位置向量以及所述第二相对位置向量，获取相对位置变化量；

21、根据所述相对位置变化量获取相对拓扑偏差，并对相对拓扑偏差进行加权聚合，获取局部拓扑偏差信息；

22、针对任意一个通信设备，获取所述通信设备的相邻通信设备在上一次强化学习迭代过程中的位置调整动作向量，并进行加权聚合，得到邻域动作融合信息。

23、在一种可能的实施方式中，所述位置调整动作向量包括所述通信设备对应的目标安装位置在三个空间坐标方向上的位置调整量。

24、在一种可能的实施方式中，执行所述位置调整动作向量并获取智能体对应的局部奖励，同时获取全局拓扑偏差，采用所述全局拓扑偏差以及局部奖励获取多智能体协同的全局奖励，包括：

25、执行所述位置调整动作向量，获取新的目标安装位置；

26、获取所述新的目标安装位置与候选安装位置之间的位置偏差，得到新的安装误差；

27、根据所述新的目标安装位置获取新的局部拓扑偏差信息；

28、根据所述新的目标安装位置获取约束违反程度；

29、根据位置调整动作向量获取设备调整代价；

30、对所述新的安装误差、新的局部拓扑偏差信息、约束违反程度以及设备调整代价进行加权聚合，得到智能体对应的局部奖励；

31、对所有通信设备对应的所述新的局部拓扑偏差信息进行求均值操作，得到全局拓扑偏差；

32、根据所述智能体对应的局部奖励以及所述全局拓扑偏差获取多智能体协同的全局奖励。

33、在一种可能的实施方式中，根据所述智能体对应的局部奖励以及所述全局拓扑偏差获取多智能体协同的全局奖励，包括：

34、对所有智能体对应的局部奖励进行求均值操作，得到奖励均值；

35、采用预设的全局拓扑偏差权重对所述全局拓扑偏差进行加权处理，得到加权之后的全局拓扑偏差；

36、根据所述奖励均值以及所述加权之后的全局拓扑偏差，获取多智能体协同的全局奖励。

37、在一种可能的实施方式中，获取未安装设备的最大规划偏差以及当前强化学习迭代过程中的最大位置变化量，并根据所述最大规划偏差以及最大位置变化量确定协同动作，包括：

38、获取未安装设备的最大规划偏差以及当前强化学习迭代过程中的最大位置变化量；

39、在所述未安装设备的最大规划偏差大于预设的最大误差触发阈值的情况下，则确定协同动作为：重规划；

40、在所述未安装设备的最大规划偏差小于或等于预设的最大误差触发阈值的情况下，则进入当前强化学习迭代过程中的最大位置变化量进行判断的步骤；

41、在所述最大位置变化量大于预设的位置稳定阈值的情况下，则确定协同动作为：继续强化学习迭代；

42、在所述最大位置变化量小于或等于预设的位置稳定阈值的情况下，则确定协同动作为：输出强化学习迭代得到的目标安装位置。

43、在一种可能的实施方式中，在重规划的情况下，则对通信设备数量进行校验与调整，并进行重新进入多智能体强化学习，包括：

44、在重规划的情况下，将未安装设备的轨道交通通信设备安装环境作为新的规划环境；

45、对覆盖门限进行调整，得到调整之后的信号覆盖约束；

46、沿所述轨道交通隧道生成满足调整之后的信号覆盖约束以及综合空间约束的最少的空间候选点，得到重规划之后的候选安装位置集合；

47、以所述重规划之后的候选安装位置集合为基础，重新进入多智能体强化学习。

48、在一种可能的实施方式中，对覆盖门限进行调整，得到调整之后的信号覆盖约束，包括：以预设比例对覆盖门限进行增大，得到调整之后的信号覆盖约束。

49、本技术与现有技术相比，具有如下的优点和有益效果：

50、本技术公开了一种基于多智能体强化学习的轨道交通通信设备协同安装方法，先生成满足综合空间约束和信号覆盖约束的候选安装位置集合，供施工人员逐一安装；逐台安装中为各通信设备构建智能体，以已安装设备的实际安装位置和未安装设备的候选安装位置为目标安装位置，结合安装误差、局部拓扑偏差信息以及邻域动作融合信息构建状态空间，由智能体输出位置调整动作向量，并更新未安装设备的目标安装位置，基于局部奖励和全局拓扑偏差生成全局奖励，根据全局奖励进行强化学习迭代，直至满足迭代结束条件，输出最后一次强化学习迭代过程中输出的目标安装位置，具有协同性强和自适应重规划的优点。