一种分布式空中基站高动态部署方法与流程

技术特征：
1.一种分布式空中基站高动态部署方法，其特征在于，包括：(1)将无人机与基站模块、无人机通信模块、微型处理器及硬盘组装配置，构成空中基站，并调试飞行；(2)将未知先验信息的环境进行分割处理，即采用栅格法将空中基站的覆盖区域分成n
×
n的栅格，构成环境模型；(3)将不同内容的文件分别存储在各个空中基站的硬盘中，初始化各个空中基站的动作状态矩阵，设置最大学习次数，并设置当前学习次数为0；(4)初始化各个空中基站的起始点为某个栅格的中心位置；(5)每个空中基站根据当前动作状态矩阵选择下一步动作，并利用微处理器各自进行强化学习：(5a)根据各个空中基站的当前位置、空中基站经过各个栅格的次数以及当前时刻，获得空中基站当前状态；(5b)各个空中基站根据当前状态动作矩阵、以e
‑
greedy策略选择下一步动作；(5c)空中基站执行所选择的动作，到达下一个栅格中心处，并为位于该栅格中的用户传输文件；(5d)空中基站根据设定的服务奖励规则，获得为用户服务的奖励；(5e)空中基站结合当前动作状态矩阵及所获得的奖励，根据设定的本地更新策略对动作状态矩阵进行更新；(5f)空中基站向邻居无人机发送更新后的动作状态矩阵；(5g)空中基站结合来自邻居空中基站的动作状态矩阵，根据设定的邻居更新策略对当前的动作状态矩阵再次进行更新；(6)判断所有用户的服务需求是否被满足：如果用户请求的文件成功被接收，则所有用户的服务需求被满足，本轮学习结束，当前学习次数加1，执行(7)；否则，不满足用户的服务需求，返回(5)；(7)判断当前学习次数是否达到最大学习次数：如果是，则执行(8)；否则，返回(4)；(8)每个空中基站根据动作状态矩阵，各自完成面向内容覆盖的高动态部署。2.根据权利要求1所述的方法，其特征在于，(1)中构成空中基站的无人机及模块装置结构功能如下：所述无人机包括机身主体、动力装置及电源装置；所述基站模块包括基站收发台和基站控制器，用于无人机对地面用户进行数据传输；所述通信模块包括编码模块和高频发射模块，用于无人机与地面用户进行通信。所述微型处理器包括运算器、控制器和寄存器，用于计算调整空中基站的高动态部署策略，控制空中基站飞行路径；所述硬盘用于存储需要传输的文件。3.根据权利要求1所述的方法，其特征在于，(2)中所述的未知先验信息，包括：未知的用户位置，未知的用户需求以及未知的信道特征。4.根据权利要求1所述的方法，其特征在于，(3)中的动作状态矩阵，其矩阵的行代表空
中基站所有可能处于的状态，矩阵的列代表无人机所有可能执行的动作，矩阵中的元素表示空中基站在不同状态下执行不同动作所能够获得的收益。其中，状态由空中基站位置、空中基站经过各个栅格的次数，以及当前时刻共同决定。5.根据权利要求1所述的方法，其特征在于，(5b)中所述的e
‑
greedy策略是：空中基站在当前状态下，依概率e选择收益最大的动作来执行，依概率1
‑
e随机选择一个动作来执行，对于存在多个动作都能获得最大收益的情况，则从所有能够获得最大收益的动作中随机选择一个来执行。6.根据权利要求1所述的方法，其特征在于，(5d)中所述的服务奖励规则是必须同时满足如下两个条件：一是空中基站所在的栅格内必须有用户存在，二是用户请求的文件被缓存在该空中基站的硬盘中，则空中基站能够获得奖励；否则，空中基站不获得任何奖励。7.根据权利要求1所述的方法，其特征在于，(5e)中的本地更新策略是：通过如下公式对动作状态矩阵中的元素进行更新：q'(s,a)＝q(s,a) τ
·
(r(s,a) γ
·
q(s
′
,argmax
a
′
q(s
′
,a
′
))
‑
q(s,a))其中，q(s,a)表示动作状态矩阵中的元素，q'(s,a)表示更新后动作状态矩阵中的元素，s表示空中基站状态，a表示空中基站执行的动作，s
′
表示空中基站在状态s时执行动作a之后到达的下一个状态，a
′
表示空中基站执行的下一个动作，r(s,a)是空中基站在状态s时执行动作a后获得的奖励值，τ为学习率，γ为折现因子，argmax
a
′
q(s
′
,a
′
)为使得q(s
′
,a
′
)值最大时对应的a
′
值。8.根据权利要求1所述的方法，其特征在于，(5f)中所述的邻居空中基站是：如果两个空中基站之间的欧式距离，小于无人机通信模块的最大通信欧式距离，则这两个空中基站互为对方的邻居空中基站。9.根据权利要求1所述的方法，其特征在于，(5g)中的邻居更新策略，是：通过如下公式对空中基站i的动作状态矩阵中的元素进行更新：其中，q
i
(s,a)表示更新前空中基站i的动作状态矩阵中的元素，q
i
'(s,a)表示更新后空中基站i的动作状态矩阵中的元素，s表示空中基站状态，a表示空中基站执行的动作，β为学习率，u
i
为空中基站i的邻居空中基站所组成的集合。

技术总结
本发明公开了一种基于分布式强化学习的面向内容覆盖的空中基站高动态部署方法，其方案是：将无人机与基站模块、无人机通信模块、微型处理器及硬盘组装构成空中基站；对未知先验信息的覆盖区域进行分割处理，采用栅格法建立环境模型；将不同的文件预先存储在硬盘中，初始化各个空中基站的高动态部署策略，并确立各个空中基站的起始点；空中基站根据部署策略选择飞行路径，并利用微型处理器各自进行强化学习以优化部署策略；空中基站之间通过无人机通信模块交互部署策略，根据其他空中基站的部署策略进一步优化自身部署策略。本发明通过分布式路径规划，保证了空中基站能在高速移动下为未知环境中的用户提供内容覆盖服务，可用于空中无线通信网络。中无线通信网络。中无线通信网络。


技术研发人员：刘俊宇 盛敏 赵晨曦 李建东 苏郁 史琰 张艺如
受保护的技术使用者：西安电子科技大学
技术研发日：2021.07.12
技术公布日：2021/9/21