基于深度强化学习的智能体协同方法与流程

本技术涉及人工智能，尤其涉及一种基于深度强化学习的智能体协同方法。

背景技术：

1、智能体是能够获取环境信息、依据内部规则或学习形成的策略作出决策，并通过执行行为改变自身状态或者环境状态的决策实体，其实现形式可以是软件程序、控制装置或者软硬件结合体。在卫星导航支持的移动作业领域，智能体可具体表现为具备卫星定位、无线通信和运动控制能力的移动机器人、无人移动平台或者车辆终端，以及配置于其中的决策控制程序。随着卫星导航和自主控制技术的发展，智能体在无人运输、区域巡检和协同作业等场景中具有广泛的应用前景。

2、例如，现有技术中，中国专利公开号cn116579372a公开了一种基于深度强化学习的多智能体协同导航方法，将运动设备作为智能体或者由智能体控制，并训练目标选择策略网络和碰撞避免策略网络。该方法将当前运动设备探测到的目标及其他智能体的相对位置坐标作为全局状态进行目标选择，根据运动设备与周围障碍物之间的距离形成局部状态并生成避障动作，同时利用其他智能体的状态序列参与协同导航决策。

3、在卫星导航支持的移动协同场景中，各智能体的位置由卫星导航接收装置分别生成并经通信链路传输，卫星信号遮挡、多径传播或者数据生成时刻不同均可能使接收到的位置状态与决策时刻的实际相对运动不一致。位置状态与实际相对运动不一致时，该位置状态继续参与动作生成和策略训练，可能使导航动作偏离当前协同关系，并使后续策略继续受到失配数据影响。因此，现有技术中存在协同导航策略容易受失配位置状态影响而降低导航决策可靠性的技术问题。

技术实现思路

1、本技术目的是提供一种基于深度强化学习的智能体协同方法，以解决现有技术中协同导航策略容易受失配位置状态影响而降低导航决策可靠性的问题。

2、为解决上述技术问题，本技术提供一种基于深度强化学习的智能体协同方法，包括：

3、服务器利用多个智能体的训练记录训练本地策略网络；

4、针对每一智能体及与该智能体协同的协同智能体，服务器分别将包含协同智能体卫星导航状态的第一局部观测和未包含该卫星导航状态的第二局部观测输入本地策略网络，得到第一导航动作和第二导航动作；

5、第一导航动作与第二导航动作相同时，确定不输入该卫星导航状态；第一导航动作与第二导航动作不同时，确定输入该卫星导航状态，形成状态输入关系并下发至该智能体；

6、该智能体按照状态输入关系形成局部观测，通过本地策略网络生成当前导航动作和规划位置，根据当前位置与规划位置确定预期距离变化方向，根据执行当前导航动作前后的无线测距结果确定实际距离变化方向，并将两个方向的比较结果上传至服务器；

7、比较结果表示方向不一致时，服务器将该智能体和协同智能体的卫星导航状态换算至执行当前导航动作前取得的无线测距结果的测量时刻后重新比较；

8、重新比较后方向一致时，保持状态输入关系，并按照状态输入关系处理训练记录；重新比较后方向仍不一致时，停止卫星导航状态输入，从训练记录中排除卫星导航状态并保留实际距离变化方向。

9、进一步地，训练记录以智能体标识和协同智能体标识作为配对依据，并关联决策时刻标识；训练记录分别记录智能体和协同智能体的卫星导航状态、各自对应的导航动作、奖励、无线测距结果及状态输入关系。比较结果为方向不一致时，服务器根据卫星导航状态的生成时刻和速度矢量，将智能体和协同智能体的位置换算至执行当前导航动作前取得的无线测距结果的测量时刻后重新比较，并将重新比较的结果写入训练记录；重新比较后方向仍不一致时，服务器向智能体发送停止输入卫星导航状态的控制信息，智能体响应控制信息，形成未包含卫星导航状态的局部观测并继续生成导航动作。

10、其中，局部观测为每一协同智能体设置位置固定的状态字段和距离变化字段，状态字段和距离变化字段分别具有表示对应字段是否参与输入的掩码。输入卫星导航状态时，将卫星导航状态写入状态字段并将掩码置为参与输入；不输入卫星导航状态时，保持状态字段并将掩码置为不参与输入。服务器使用同一本地策略网络处理第一局部观测和第二局部观测，输出各候选导航动作的评分并选择评分最高的候选导航动作；多个候选导航动作评分相同时，按照初始化时保存的候选导航动作排列顺序进行选择。

11、具体地，卫星导航状态包括生成时刻、位置和速度矢量。智能体接收协同智能体的导航动作和规划位置，根据生成时刻和速度矢量，将智能体和协同智能体的位置换算至执行当前导航动作前取得的无线测距结果的测量时刻；根据换算后的位置确定当前距离，根据各自的规划位置确定规划距离。规划距离与当前距离的差异处于智能体和协同智能体的卫星导航接收装置的标定误差共同确定的范围内时，将预期距离变化方向确定为距离不变；该差异超出该范围时，根据规划距离与当前距离的大小关系确定距离增大或距离减小。智能体通过无线测距装置获取执行当前导航动作前后的无线测距结果；执行前后的无线测距结果的差异处于无线测距装置的标定误差范围内时，将实际距离变化方向确定为距离不变；该差异超出标定误差范围时，根据执行前后的无线测距结果的大小关系确定距离增大或距离减小。

12、局部观测包含多个协同智能体的卫星导航状态时，智能体按照自身标识、协同智能体标识和决策时刻标识，将各比较结果分别与对应的协同智能体及训练记录关联。服务器对处理后方向一致的比较结果保持对应的状态输入关系，对处理后方向仍不一致的比较结果停止对应的卫星导航状态输入，并在下一决策时刻的局部观测中排除对应的卫星导航状态。智能体根据调整后的状态输入关系形成下一决策时刻的局部观测并生成导航动作，执行导航动作后按照自身标识、对应的协同智能体标识和决策时刻标识形成对应的训练记录。

13、在一种实施方式中，调整后的状态输入关系表示协同智能体的卫星导航状态写入局部观测时，智能体接收协同智能体导航动作对应的轨迹点序列，轨迹点序列中的各轨迹点分别关联位置和执行时刻。智能体根据候选导航动作形成候选轨迹点序列，并根据智能体和协同智能体的外形边界确定各轨迹点对应的占用区域；对应同一执行时刻的占用区域发生重叠时，智能体排除对应的候选导航动作，按照本地策略网络的输出从其余候选导航动作中确定当前导航动作。

14、在另一种实施方式中，调整后的状态输入关系均表示协同智能体的卫星导航状态不写入局部观测时，智能体保持状态字段并将掩码置为不参与输入，将自身卫星导航状态和导航目标写入局部观测，按照协同智能体标识将上一决策时刻形成的实际距离变化方向写入距离变化字段，通过本地策略网络确定后续导航动作；未形成实际距离变化方向的决策时刻，智能体保持距离变化字段的掩码为不参与输入；智能体继续获取与协同智能体之间的无线测距结果，并将无线测距结果写入对应的训练记录。

15、对于集中训练，服务器按照智能体标识和决策时刻标识组合训练记录，将同一决策时刻的各局部观测组合为联合状态，将各智能体对应的导航动作组合为联合动作。动作价值网络以联合状态和联合动作为输入，输出联合动作的价值评估；服务器根据训练记录中的奖励和下一决策时刻的联合状态更新动作价值网络，并根据更新后的价值评估更新本地策略网络。状态输入关系表示卫星导航状态不写入局部观测时，服务器保持状态字段及掩码，排除卫星导航状态并保留距离变化字段，使不同状态输入关系对应的训练记录具有相同的数据格式。

16、对于状态恢复，在协同智能体的卫星导航状态不写入局部观测期间，智能体接收并单独存储协同智能体更新后的卫星导航状态，保持状态字段的掩码为不参与输入。服务器根据智能体当前的卫星导航状态和协同智能体更新后的卫星导航状态各自的生成时刻及速度矢量，将对应位置换算至无线测距结果的测量时刻，根据换算后的位置确定卫星定位距离，并将卫星定位距离与无线测距结果进行比较。卫星定位距离与无线测距结果的差异处于卫星导航接收装置和无线测距装置的标定误差共同确定的误差范围内时，服务器控制智能体在下一决策时刻将更新后的卫星导航状态写入状态字段，并将掩码置为参与输入。智能体生成并执行导航动作后确定比较结果；处理后方向一致时，恢复卫星导航状态输入并将卫星导航状态保留于训练记录；处理后方向仍不一致时，继续停止卫星导航状态输入，在训练记录中排除卫星导航状态并保留实际距离变化方向。

17、对于下一训练阶段，服务器针对智能体和协同智能体建立训练记录集合，按照决策时刻标识存储比较结果、状态输入关系和对应的本地策略网络参数版本。服务器根据决策时刻顺序中最后形成的状态输入关系处理下一训练阶段的训练记录：状态输入关系表示输入卫星导航状态时，将对应训练记录组合为联合训练记录；状态输入关系表示不输入卫星导航状态时，在对应训练记录中保持状态字段和掩码，排除卫星导航状态并保留距离变化字段。服务器利用处理后的训练记录更新动作价值网络和本地策略网络，将更新后的本地策略网络参数及状态输入关系下发至智能体，由智能体在下一执行阶段形成局部观测并生成导航动作。

18、与将接收到的协同状态直接写入本地策略网络的现有方式相比，本技术先通过第一局部观测与第二局部观测的动作选择差异确定卫星导航状态是否影响当前动作，再通过预期距离变化方向与实际距离变化方向的比较检验该状态对应的规划相对运动，并在时间对齐后将比较结果反馈至状态输入关系和训练记录。由此，保留的卫星导航状态同时具备动作相关性和实际相对运动一致性。

19、在编队移动、协同巡检或者路径避让过程中，上述处理能够减少未改变动作选择或者与实际相对运动不一致的卫星导航状态持续影响导航动作，降低实际距离变化方向偏离规划方向、重复绕行和候选导航动作反复切换的发生概率；同时避免相关卫星导航状态继续进入联合训练，使更新后的本地策略网络生成与实际相对运动相符的导航动作。