一种基于多层聚合上下文MAB的链路决策方法与流程

一种基于多层聚合上下文mab的链路决策方法
技术领域
1.本发明属于链路选择及通信数据传输技术领域，涉及一种基于多层聚合上下文mab的链路决策方法。


背景技术：

2.随着通信技术的不断发展，实践中的通信越来越需要高带宽、低延迟和高可靠性的通信链路，由于已有的4g lte信号严重拥挤，mmwaves(毫米波，频率30ghz-300ghz)已成为5g网络的选择，更高的频率也意味着更密集的基站。然而在应急场景下，地面基站节点之间的通信却面临着严峻挑战，由于节点周围建筑物、节点的移动及环境带来复杂干扰，通信性能会频繁中断。基于搭载于空中平台的空中基站相较于传统地面基站具有的高移动性、广覆盖范围的特点，可在任务区域中灵活移动，在应急通信领域有广泛应用。
3.而在实际通信过程中，最大化系统的通信吞吐量与用户qos，并为地面节点提供弹性服务需要对通信数据卸载进行复杂的联合优化。在优化过程中需要考虑用户qos、节点移动、节点能耗等众多问题，由于上述问题关联性很低，因此上述优化过程是个np难问题，通过优化求解得到联合最优解的难度较高，小型数据处理终端难以负荷。多臂老虎机(mab)理论作为机器学习中强化学习的一种代表性方法，能够简化传统优化方法。mab理论可将通信数据卸载问题转化为组合分配问题，即空中节点与地面节点的通信链路组合决策，为此，我们提出了一种基于多层聚合上下文mab的链路决策方法。


技术实现要素：

4.本发明的目针对传统方法优化方法子问题不耦合导致的np难问题难以简单求解的缺陷，提出了一种基于多层聚合上下文mab的链路决策方法，基于空中节点与地面节点的特征构建空地节点链路组合的上下文特征为空地节点分配通信链路，借助多层mab决策模型实现先分配链路组合，再自适应选择参数组合，并对上下文特征进行特征聚合来降低复杂度，抵消多层mab决策模型带来的影响。并通过迁移计算将多层mab决策模型迁移至数据中心，通过数据中心控制节点间通信。最终实现自适应距离变化、通信损耗、节点通信需求及低复杂度、高效的多参数联合优化，提高系统的通信吞吐量。
5.为了实现上述目的，本发明采取如下技术方案：
6.所述基于多层聚合上下文mab的链路决策方法依托的链路决策系统，包括数据中心、空中节点与地面节点；
7.所述数据中心分别与空中节点与地面节点相连，接收空中节点中通信资源块与地面节点的链路信息；
8.所述地面节点为n个；空中节点为m个且每个空中节点有c个为空中节点特有的通信资源块；所述通信资源块表示可分配的通信资源，随具体的通信方式变化；
9.一次通信中，1个地面节点占用该地面节点对应空中节点中的1个通信资源块；m个空中节点与n个地面节点之间的虚拟通信链路集合；
10.虚拟通信链路集合中链路组合的数量取决于地面节点数量与空中节点资源块的数量；所述链路组合的数量为p(mc，n)；
11.其中，p(mc，n)为在mc个元素中取n个元素进行排列的数目；
12.所述虚拟通信链路集合包括所有空中节点与地面节点的链路组合；所述链路组合一端是通信资源块，一端是地面节点；
13.若虚拟通信链路集合中某链路组合被选定，则该链路组合对两端的空中节点与地面节点会进行信息收发；
14.所述基于多层聚合上下文mab的链路决策方法，具体包括如下步骤：
15.s1、数据中心收集通信资源块与地面节点的链路信息，并对收集的链路信息进行编码、整合及归一化得到通信资源块与地面节点的特征向量，构建虚拟通信链路集合；
16.所述链路信息，包括空中节点与地面节点的位置、速度、通信资源占用率以及带宽需求；
17.所述通信资源块与地面节点的特征向量为某个通信资源块或地面节点特有，并对应着相应链路组合的上下文特征向量；
18.其中，上下文特征向量包含了链路组合的环境与历史信息，对应链路组合两端的空中节点资源块与地面节点；
19.所述虚拟通信链路集合包括所有空中节点与地面节点的链路组合，且所述链路组合一端是通信资源块，一端是地面节点；
20.s2、构建第一层mab决策模型，基于s1得到的通信资源块与地面节点的特征向量构建链路组合上下文特征向量，对链路组合上下文特征向量进行聚合，得到簇中心以及空地节点链路组合簇；
21.其中，第一层mab决策模型为上下文-mab模型；
22.其中，链路组合上下文特征向量为通信资源块与地面节点的特征向量通过特征权重矩阵映射得到，包含空中节点与地面节点之间的信道状态、发射频率、链路组合两端空地节点的距离以及对应通信资源块与地面节点的交互结果信息；
23.所述特征权重矩阵为通信资源块与地面节点的特征向量及对应通信资源块与地面节点间的交互结果通过线性回归预训练的结果；
24.其中，对应通信资源块与地面节点的交互结果为该通信资源块与地面节点的链路组合的真实收益；
25.s3、基于s2构建的第一层mab决策模型，遍历s1得到的虚拟通信链路集合中的链路组合，基于链路组合的上下文特征向量估计该链路组合的预期收益并进行排序，得到空地节点最优链路组合；
26.其中，链路组合的上下文特征向量表示为x
m,c,n
；
27.其中，m为空中节点编号，取值范围m∈m；c为通信资源块编号，取值范围c∈c；n为地面节点编号，取值范围n∈n；
28.其中，n为地面节点的数量；m为空中节点的数量，c为每个空中节点持有的通信资源块数量，即一个空中节点最多能和c个地面节点建立链路组合；
29.s3、具体包括如下子步骤：
30.s31、将虚拟通信链路集合中的链路组合作为mab中的手臂，计算各链路组合的预
期收益；
31.所述各链路组合的预期收益通过计算；
32.其中，为该链路组合作为mab手臂的收益系数，为历史收益记录与上下文特征向量线性回归的计算结果；
33.其中，线性回归为岭回归；
34.s32、根据s31得到的各个链路组合的预期收益，将s1得到的虚拟通信链路集合中的链路组合按从大到小排序，得到排序后的空地节点链路组合；
35.s33、选择mc和n中小的作为所需链路组合数；
36.s34、将s32得到的排序后的空地节点链路组合作为可选链路组合，遍历可选链路组合，并判断待选链路组合可否被选择，更新可选链路组合，直至选出所需链路组合数数目的链路组合，得到空地节点最优链路组合；
37.所述判断可否被选择具体为：判断以当前待选链路组合对应的空中节点开始的链路组合被选择个数是否小于c，只有小于c，才能继续选择最优链路组合中以该空中节点开始的链路组合，否则跳过当前待选链路组合，并更新可选链路组合；
38.所述待选链路组合为遍历排序后的空地节点链路组合过程中遍历指针依次指向的链路组合；
39.所述更新可选链路组合具体为：在可选链路组合中删除以当前链路组合对应的空中节点开始的链路组合；
40.至此，通过s3，得到了空地节点最优链路组合；
41.s4、基于s2得到的空地节点链路组合簇构建第二层mab决策模型，完成对s3得到的空地节点最优链路组合的最佳通信参数组合的选择，并观测最佳通信参数组合应用到最优链路组合的真实收益；
42.其中，第二层mab决策模型为多用户贪心算法模型；
43.s4、具体包括如下子步骤：
44.s41、构建虚拟链路参数性能表，具体为：为s2得到的空地节点链路组合簇的各个簇中心对应的链路组合遍历所有通信参数组合，观测所有通信参数的组合在各个簇中心对应的链路组合上应用的真实收益，虚拟链路参数性能表索引为簇中心对应链路组合与不同通信参数组合值为其真实收益；
45.所述真实收益为某链路组合应用了某通信参数组合的链路组合达到的最大吞吐率；若最大吞吐率大于设定最低吞吐率，真实收益为1，否则真实收益为0；
46.其中，最低吞吐率为地面节点正常工作所需最低数据速率；
47.所述通信参数组合，表示为：[编码方式，调制方式，接入方式，调制参数]；
[0048]
所述编码方式为编码或无编码；所述调制方式为单载波、fdm或ofdm，所诉接入方式为oma或noma；
[0049]
所述调制参数，包括调制频率、幅度及占空比；
[0050]
所述通信参数组合中编码方式、调制方式和接入方式各取1种；所述通信参数组合中的调制参数包括调制频率、幅度及占空比的值；
[0051]
s42、遍历s3得到的空地节点最优链路组合，为其中每个链路组合选择最佳通信参
数组合，并提取当前空地节点最优链路组合所属空地节点链路组合簇簇中心作为归属簇中心；在s41得到的虚拟链路参数性能表中查找归属簇中心应用不同通信参数组合的真实收益，得到最佳通信参数组合收益排序；
[0052]
s43、将不同通信参数组合作为手臂，将s42得到的最佳通信参数组合收益排序中真实收益最高的一组参数组合作为第二层mab决策模型中的exploit手臂，将所有参数组合中与exploit手臂仅有两项不同的参数组合作为第二层mab决策模型中的explore手臂集；
[0053]
s44、对exploit手臂与explore手臂集进行探索与利用，选择出该轮次的通信参数组合；
[0054]
至此，完成了对s3得到的空地节点最优链路组合的最佳通信参数组合的选择；
[0055]
s45、观测最佳通信参数组合应用到当前最优链路组合的真实收益；
[0056]
s5、将最优链路组合对应的上下文特征向量及最优链路组合在该轮决策中的真实收益加入历史收益记录，转至s1，进行下一轮决策；
[0057]
其中，最优链路组合的真实收益为s4中得到的最佳通信参数组合应用到最优链路组合的真实收益；
[0058]
所述历史收益记录中不保存最佳通信参数组合；
[0059]
至此，通过所述s1到s5，完成了一种基于多层聚合上下文mab的链路决策方法。
[0060]
有益效果
[0061]
所述的一种基于多层聚合上下文mab的链路决策方法，与现有联合调度方法相比，具有如下有益效果：
[0062]
1.所述方法通过mab决策方法应用端到端决策的优化方式，对比于传统优化方法，不需要准确的信道估计及复杂的反馈机制，明显降低了优化算法复杂度；
[0063]
2.所述方法将通信数据卸载问题转化为通信链路组合分配决策问题，并在决策过程中动态更新通信链路组合的上下文特征向量，为决策引入历史经验及环境信息，相比于传统mab方法提升了决策收益；
[0064]
3.所述方法创造性的将上下文特征向量动态分组，并采用双层mab决策的方法，先后选择链路组合和参数组合；通过识别对待选上下文所述分组大幅降低待选手臂数量，在减少了双层mab算法中的决策耗时；
[0065]
4.所述方法将上下文mab方法与贪心算法结合，在引入历史经验与算法复杂度之间取得了良好平衡，扩大了搜索空间，提高了学习效率与收敛速度。
附图说明
[0066]
图1为本发明一种基于多层聚合上下文mab的链路决策方法的流程图；
[0067]
图2为空地节点链路决策模型模拟场景示意图；
[0068]
图3为本发明一种基于多层聚合上下文mab的链路决策方法平均收益随决策次数的变化折线图。
具体实施方式
[0069]
下面结合附图和实施例对本发明一种基于多层聚合mab的空地节点链路决策方法做进一步说明和详细描述。
[0070]
实施例1
[0071]
本发明所述一种基于多层聚合上下文mab的主要流程如图1所示；所述多层聚合上下文mab方法所用的mab决策模型第一层为上下文-mab方法，通过观测链路组合的动态上下文特征，估计链路组合的预期收益，并根据实际收益反馈影响上下文特征，平衡mab的探索和利用，通过应用上下文信息，相比与其他方法，大大提高了平均收益；第二层为多用户贪心算法模型，通过观测当前链路组合所属空地节点链路组合簇估计不同参数组合应用于当前链路组合的收益；
[0072]
本发明所述多层聚合上下文mab模拟场景如图1所示；搭载空中基站的无人机作为空中节点，在场景中可快速机动；地面上随机分布的用户设备(ue)作为地面节点；空中节点与字面节点的状态随时间变化，并实时传送到数据中心；
[0073]
实施例包括以下步骤：
[0074]
s1、收集空中节点与地面节点的位置、速度、通信资源占用率、带宽需求信息，归一化上述信息，构建空地节点的特征向量，并初始化虚拟通信链路集合；
[0075]
其中，虚拟通信链路集合包括所有空中节点与地面节点的链路组合，链路组合一端是空中节点资源块，一端是地面节点，若某链路组合被选定，则该链路组合对两端的空中节点与地面节点会进行信息收发；
[0076]
其中，虚拟通信链路集合中链路组合的数量取决于地面节点数量与空地节点资源块的数量，具体为：在一次通信中，地面节点占用空中节点的一个通信资源块，设空中节点数量为m，每个空中节点有c个通信资源块，
[0077]
地面节点数量为n，则虚拟通信链路中链路组合的数量为a_num＝p(mc,n)；其中p(mc,n)为在mc个元素中取n个元素进行排列的数目；
[0078]
在实施例中设m＝2，c＝8，n＝6，则a_num＝p(16,6)＝5765760；
[0079]
s2、构建第一层mab决策模型，基于s1得到的空地节点特征向量初始化并更新虚拟通信链路集合中链路组合的上下文特征向量，对空地虚拟通信链路中链路组合的上下文特征进行聚合，构建空地节点链路组合簇；
[0080]
其中，第一层mab为上下文-mab模型；空地节点链路簇包括空中节点的资源块与以空中节点为中心的地面节点的虚拟通信链路，链路组合上下文特征向量为空地节点特征向量通过特征权重矩阵在上下文特征空间的映射结果，包括空中节点与地面节点之间的信道状态、发射频率、链路两端空地节点的距离以及对应空地节点的交互结果；
[0081]
对链路组合上下文特征进行聚合的方法可以为k-means 聚类方法；聚类中心个数参考空中节点通信资源块个数设置为16；
[0082]
s3、构建虚拟链路参数性能表，具体为：将s2得到的空地节点链路组合簇的各个簇中心对应的链路组合应用不同的参数组合，并验证不同参数组合下的通信性能，得到不同参数组合在各个簇中心对应的链路组合上应用的真实收益；
[0083]
s3、在s2得到的空地节点链路中选择最优链路组合，得到空地节点的最优链路组合；
[0084]
其中mab决策模型为上下文-mab模型，具体选择过程可分为以下几个子步骤：
[0085]
s31、为所有空中节点m建立链路组合表，表示为ap，并构建各空中节点的链路组合表，分别表示为ap_m(m＝1,2,
…
,m)；
[0086]
其中链路组合表的索引为空中节点编号m，通信资源块编号c，及地面节点编号n，其中m取值范围为m∈m，c取值范围为c∈c，n的取值范围为n∈n，元素数量为a_num；链路组合表的值为对应通信资源块与地面节点链路组合的上下文特征向量；
[0087]
s32、将虚拟通信链路集合中的链路组合作为mab理论的手臂，根据下式计算各个链路组合的预期收益：
[0088]
其中，x
m,c,n
为第m个空中节点的第c个资源块与第n个地面节点的链路组合的上下文特征向量；为该链路组合作为mab手臂的线性参数，为历史收益记录与上下文特征向量线性回归的计算结果；
[0089]
其中，线性回归为岭回归；
[0090]
s33、根据s33得到的各个链路组合的预期收益，将s3.1得到的各空中节点的空地节点链路组合表重新排序，得到预期收益从大到小的空地节点链路组合表ap'；
[0091]
s34、计算需选择的链路组合个数，具体为：若mc《n，则需选择的链路组合个数为mc，若mc》n，则需选择的链路组合个数为n，假设最终需要选择的链路组合个数为k，在本实施例中k＝6；
[0092]
s35、在s33得到的ap'中选择k个链路组合，得到空地节点的最优链路组合；具体为：
[0093]
指针沿ap'的索引搜索，依次将k个可选链路组合保存为空中节点与地面节点的最优链路组合；
[0094]
其中，一个空中节点最多能和c个地面节点建立链路组合，因此若第m个空中节点开始的链路组合已被选择了c个，则ap'中其他以第m个空中节点开始的链路组合被放弃，不再作为可选链路组合；
[0095]
至此，通过s3，得到了空地节点的最优链路组合，选定了空中节点资源块及其对应的预期收益最高的地面节点；
[0096]
s4、基于s2得到的空地节点链路组合簇与s3得到的虚拟链路参数性能表构建第二层mab决策模型，为s3得到的空地节点最优链路组合选择最佳通信参数组合；
[0097]
其中，第二层mab决策模型为多用户贪心算法模型，通信参数包括：编码方式为编码或无编码；调制方式为单载波、fdm或ofdm；接入方式为oma或noma等通信性能参数；
[0098]
所述通信参数组合在本实施例中定义为：[编码方式，调制方式，接入方式，[调制参数]]；
[0099]
其中，前三项编码为二值元素，调制参数包括调制频率、幅度及占空比，分别由两种方案，编码为三个二值元素；
[0100]
因此，所述通信参数组合长度为6，则通信参数组合数量p_num＝64；
[0101]
具体决策过程包括如下子步骤：
[0102]
构建虚拟链路参数性能表，具体为：将s2得到的空地节点链路组合簇的各个簇中心对应的链路组合应用不同的参数组合，并验证不同参数组合下的通信性能，得到不同参数组合在各个簇中心对应的链路组合上应用的真实收益；
[0103]
s4.1、观测一个最优链路组合所属的空地节点链路组合簇，获取该簇中心对应的链路组合应用不同的参数组合结果；
[0104]
s4.2、将不同的参数组合作为手臂，将与s3.1得到的当前最优链路组合所属的空地节点链路组合簇中心的链路组合结合性能最佳的一组参数组合作为贪心算法中的exploit手臂，将参数组合中与exploit手臂仅有两项不同的参数组合为explore手臂集；
[0105]
s4.3、参考贪心算法流程，对exploit手臂与explore手臂集进行探索与利用，选择出该轮次的参数组合；
[0106]
其中探索explore手臂集的概率为p，利用exploit手臂的概率为1-p；所述p为贪心算法所用参数，设置为0.25；
[0107]
至此，完成了对当前最优链路组合参数组合的选择，转到s4.1，进行下一个最优链路组合的参数组合决策；
[0108]
s6、依据观测k个最优链路组合决策的真实收益；具体为：
[0109]
观测各个链路组合的上下文特征向量，获取空地节点之间的距离、信道信息与通信需求，并据此观测各个链路组合能达到的最大吞吐率。如果最大吞吐率大于空地节点的平均吞吐率，则收益为1，否则为0；
[0110]
其中平均吞吐率为实际系统观测结果，通过实测获取，本实施例中设置为1.5mbps；
[0111]
s7、将k个最优链路组合对应的上下文特征及其真实收益加入历史收益记录，转s1，进行下一轮决策；
[0112]
根据仿真结果，将本发明所述多层聚合上下文mab与单层的随机分配、贪心算法、softmax算法、ucb算法及上下文-mab算法进行对比；
[0113]
其中所述贪心算法为mab的经典方法ε-greedy算法；ε为s4.3中所述p；softmax方法为ε-greedy算法的变体，其手臂被选中的概率为
[0114]
其中a表示手臂，a表示手臂数量，表示第t轮决策中手臂a的平均收益；所述手臂数量为基于s1得到的a_num个元素的虚拟通信链路集合与s4得到的p_num个通信参数集合的乘积，结果为a＝369,008,640；
[0115]
所述ucb算法为mab引入置信区间的概念，判断手臂可能达到的最大收益，选择期望收益最高的手臂。相比于ε-greedy算法和softmax算法大幅提高了平均收益。ucb算法基于对手臂被选中的次数的统计来执行选择，其表达式为：
[0116][0117]
其中u为权重系数，t
t,a
表示第t轮手臂a被选中的次数，t为总决策数，本实施例设置为1000；
[0118]
本发明所述多层聚合上下文mab与随机分配、贪心算法、softmax算法、ucb算法、上下文-mab算法在如图2所示模拟场景中的平均收益如图3所示；
[0119]
由图3可知，本发明所述多层聚合上下文mab在多轮决策中平均收益最高，且收益率稳定所需轮次数目相比于随机分配、贪心算法、softmax算法及ucb算法都有提升；
[0120]
同时也需注意，本发明所述多层聚合上下文mab的平均收敛速度落后于于单层的
上下文-mab，主要原因是由于引入了多用户贪心算法的第二层mab，但由此带来的
[0121]
本发明所述多层聚合上下文mab与非聚合mab方法及以对收益进行梯度下降优化的传统优化方法在matlab平台上运行时间对比如下表1所示：
[0122]
表1不同方法单次决策平均耗时对比
[0123][0124][0125]
根据表1可知，本发明所述多层聚合上下文mab在算法复杂度上相比于传统方法优势明显，而传统方案不但耗时高，且由于初始状态是随机值，因此其收益水平接近与随机分配，与本发明方法相比劣势明显；
[0126]
此外，由于本发明素数多层聚合上下文mab引入了多层mab，因此在mab方法中耗时最多，然而其耗时依旧远远小于mab方法中任意两种方法耗时之和，对比上下文-mab耗时提升也并不明显；
[0127]
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。