一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法与流程

本发明涉及无线通信技术领域，尤其是一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法。

背景技术

随着移动设备的快速普及，越来越多的本地应用，如内容共享、交互游戏等，需要在邻近用户之间传输数据，需求量日益增长。同时，随着物联网应用的快速兴起，大量移动终端需要接入网络。这一切给蜂窝网络中的通信资源管理带来了很大的挑战。D2D通信是用户之间不通过基站而直接通信的一种新型通信方式。在蜂窝网络中引入D2D通信，能够有效提高网络的频谱利用率，缓解网络资源短缺的问题。同时，由于D2D通信的传输距离通常远小于蜂窝通信，它还具有提高能量效率、降低传输时延、减轻网络负载等优势。为了提高蜂窝网络的频谱利用率，D2D用户对通常采用共享模式。在共享模式中，D2D用户对复用蜂窝用户的频谱资源块，在这种情况下，两者之间的互相干扰无法避免。因此，如何在保证蜂窝用户通信质量的前提下有效缓解D2D链路与蜂窝链路之间的干扰成为D2D通信中的一个重要问题。针对这一问题，目前的解决方法主要包括功率控制、频谱分配等。在实际网络场景中，蜂窝用户和D2D用户对均动态到达和离开网络，链路之间的干扰也处于不断变化的过程中，因此有必要研究和设计在动态场景中的干扰控制算法。

技术实现要素：

本发明所要解决的技术问题在于，提供一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法，用于解决在单小区上行链路场景中因引入D2D通信导致的基站、蜂窝用户、D2D用户对三者之间的干扰问题，同时提高网络吞吐量。

为解决上述技术问题，本发明提供了一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法，包括如下步骤：

步骤1，判断新到达用户的类型，用户类型包括蜂窝用户和D2D用户对。

步骤2，为新到达用户分配频谱资源块；具体包括如下步骤：

步骤2.1，根据用户类型，分别计算用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量；

步骤2.2，将用户在各频谱资源块上所能获得的吞吐量从大到小排序；为新到达的蜂窝用户或D2D用户对分配当前能够提供最大用户吞吐量的频谱资源块；对于蜂窝用户，若所能获得的吞吐量小于蜂窝用户的最小吞吐量要求，则拒绝该蜂窝用户接入网络；

步骤3，为新到达用户分配发送功率；

若新到达用户为蜂窝用户，则为其分配固定发送功率；

若新到达用户为D2D用户对，调用基于Q学习的功率控制算法为该D2D用户对分配发送功率，并动态调整共享同一频谱资源块的其他D2D用户对的发送功率，以最大化网络总吞吐量；所有可供D2D用户对选择的功率均无法满足占用同一频谱资源块的蜂窝用户的最小吞吐量要求，则拒绝该D2D用户对接入网络。

进一步的，步骤2.1中，根据用户类型，分别计算用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量；具体为：

1)，若新到达用户类型为蜂窝用户，蜂窝用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量计算过程如下：

蜂窝用户在各频谱资源块上的链路信干噪比计算公式为：

其中，Ci表示第i个蜂窝用户(i＝1,2,…)，Dj表示第j个D2D用户对(j＝1,2,…)，r＝1,2,…,K表示网络中频谱资源块的编号；表示共享第r个频谱资源块的所有D2D用户对的集合；表示占用第r个频谱资源块的蜂窝用户Ci的发送功率，表示占用第r个频谱资源块的D2D用户对Dj的发送功率；表示占用第r个频谱资源块的蜂窝用户Ci与基站之间的信道增益，表示占用第r个频谱资源块的D2D用户对Dj发送端与基站之间的信道增益，σ²表示噪声功率。

根据香农定理，蜂窝用户在各频谱资源块上所能获得的吞吐量计算公式为：

其中，W表示一个频谱资源块的带宽。

2)，若新到达用户类型为D2D用户，D2D用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量计算步骤如下：

D2D链路的信干噪比计算公式为：

其中，表示占用第r个频谱资源块的D2D用户对Dj发送端与接收端之间的信道增益，表示占用第r个频谱资源块的蜂窝用户Ci和D2D用户对Dj接收端之间的信道增益，表示共享第r个频谱资源块的不同D2D用户对Dj'发送端与Dj接收端之间的信道增益。

根据香农定理，D2D用户对的吞吐量计算公式为：

进一步的，步骤3中，若新到达用户为D2D用户对，调用基于Q学习的功率控制算法为该D2D用户对分配发送功率，具体为，根据基于Q学习的功率控制算法所输出的Q值表为该D2D用户对分配发送功率。

进一步的，步骤3中，若新到达用户为D2D用户对，调用基于Q学习的功率控制算法为该D2D用户对分配发送功率，并动态调整共享同一频谱资源块的其他D2D用户对的发送功率，以最大化网络总吞吐量；具体步骤为：

步骤3.1，对于共享新到达D2D用户对所分配的频谱资源块的Nr个D2D用户对Dj,j∈{1,2,…,Nr}，初始化所有基于Q学习的功率控制算法输出的Q值表的值为0；

步骤3.2，选择共享该频谱资源块的第j个D2D用户对；

步骤3.3，基于当前Q值表，根据ε-greedy策略选择一个动作a；其中，动作a定义为为共享该频谱资源块的每个D2D用户对选择一个发送功率p∈{p1,p2,…,pL}，其中，p1,p2,…,pL为可供选择的发送功率。具体地，产生一个0-1的随机数，若小于ε，则随机选择动作，若大于ε，则选择Q值最大的动作。

步骤3.4，执行动作a，计算奖励函数R；

奖励函数R定义如下：

其中，τ0表示占用该频谱资源块的蜂窝用户的最小吞吐量要求；

上式表示当蜂窝用户的吞吐量高于其最小吞吐量要求时，奖励函数为共享该频谱资源块的所有用户的总吞吐量，即算法的优化目标为最大化网络总吞吐量，否则，奖励函数为-1，表示惩罚值。

步骤3.5，根据以下公式更新Q值表：

其中，Q'(s,a)表示Q值表的更新值，Q(s,a)表示Q值表的当前值，a表示学习率，0≤a≤1，γ表示衰减因子，0≤γ≤1，表示当前Q值表中的最大值；

步骤3.6，重复步骤3.3-3.5直到Q值表收敛；

步骤3.7，重复步骤3.2-3.6直到遍历共享该频谱资源块的所有D2D用户对；

步骤3.8，将j赋值为1，重复步骤3.2-3.7直到共享该频谱资源块所有D2D用户对的Q值表均收敛至同一最优解。

本发明的有益效果为：在保证蜂窝用户通信质量的前提下，能够有效提高蜂窝网络的总吞吐量。

附图说明

图1为本发明中蜂窝网络D2D通信上行链路系统模型示意图。

图2为本发明中为新到达用户分配频谱资源块步骤流程示意图。

图3为本发明中为新到达用户分配发送功率步骤流程示意图。

图4为本发明中基于Q学习的功率控制算法步骤流程示意图。

图5为本发明的方法流程示意图。

具体实施方式

本发明实施例公开的一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法，应用于单小区场景中。小区内有一个基站BS，蜂窝用户和D2D用户对均动态到达和离开网路。系统中有K个频谱资源块，记为D2D用户对复用蜂窝用户上行链路的频谱资源块，蜂窝用户和D2D用户对在小区范围内随机均匀分布，基站可以获得所有链路的信道状态信息。小区中存在两种链路模式：基站与蜂窝用户之间的蜂窝链路模式；D2D用户对发送端与接收端之间的直接链路模式。

因为D2D用户复用上行链路的频谱资源，此时系统中存在三种干扰，如图1所示：(1)蜂窝用户发射给基站的信号被D2D用户对接收端接收到，对D2D用户对产生干扰；(2)D2D用户对发送端发射给D2D用户对接收端的信号被基站接收到，对基站产生干扰；(3)D2D用户对发送端发射给D2D用户对接收端的信号被同小区内其他D2D用户对接收端接收到，对其他D2D用户对产生干扰。

本发明实施例的一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法主要包含3个步骤：(1)判断新到达用户类型；(2)为新到达用户分配频谱资源块；(3)为新到达用户分配发送功率。

具体的，如图5所示，本发明的一种面向吞吐量的蜂窝网络D2D通信动态资源分配方法，包括如下步骤：

步骤1，判断新到达用户的类型，用户类型包括蜂窝用户和D2D用户对。

步骤2，为新到达用户分配频谱资源块；如图2所示，具体包括如下步骤：

步骤2.1，根据用户类型，分别计算用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量；

1)，用户类型为蜂窝用户，蜂窝用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量计算过程如下：

小区内基站与蜂窝用户、基站与D2D用户对接收端、D2D用户对发送端和蜂窝用户之间以及D2D用户对之间的信道增益分别表示为：

其中，分别表示蜂窝用户Ci与基站、D2D用户对Dj发送端与基站之间的路径损耗，β表示增益指数，μ表示路径损耗指数，表示蜂窝用户Ci与D2D用户对Dj接收端之间的距离，表示D2D用户对Dj发送端与接收端之间的距离，表示不同D2D用户对Dj'发送端与Dj接收端之间的距离。

蜂窝用户在各频谱资源块上的链路信干噪比计算公式为：

其中，Ci表示第i个蜂窝用户(i＝1,2,…)，Dj表示第j个D2D用户对(j＝1,2,…)，r＝1,2,…,K表示网络中频谱资源块的编号；表示共享第r个频谱资源块的所有D2D用户对的集合；表示占用第r个频谱资源块的蜂窝用户Ci的发送功率，表示占用第r个频谱资源块的D2D用户对Dj的发送功率；表示占用第r个频谱资源块的蜂窝用户Ci与基站之间的信道增益，表示占用第r个频谱资源块的D2D用户对Dj发送端与基站之间的信道增益，σ²表示噪声功率。

根据香农定理，蜂窝用户在各频谱资源块上所能获得的吞吐量计算公式为：

其中，W表示一个频谱资源块的带宽。

2)，用户类型为D2D用户，D2D用户在各频谱资源块上的链路信干噪比和所能获得的吞吐量计算步骤如下：

D2D链路的信干噪比计算公式为：

其中，表示占用第r个频谱资源块的D2D用户对Dj发送端与接收端之间的信道增益，表示占用第r个频谱资源块的蜂窝用户Ci和D2D用户对Dj接收端之间的信道增益，表示共享第r个频谱资源块的不同D2D用户对Dj'发送端与Dj接收端之间的信道增益。

根据香农定理，D2D用户对的吞吐量计算公式为：

步骤2.2，将用户在各频谱资源块上所能获得的吞吐量从大到小排序；为新到达的蜂窝用户或D2D用户对分配当前能够提供最大用户吞吐量的频谱资源块；

对于蜂窝用户，若所能获得的吞吐量小于蜂窝用户的最小吞吐量要求，则拒绝该蜂窝用户接入网络；

步骤3，为新到达用户分配发送功率，如图3所示；

若新到达用户为蜂窝用户，则为其分配固定发送功率；

若新到达用户为D2D用户对，调用基于Q学习的功率控制算法，根据所述功率控制算法所输出的Q值表为该D2D用户对分配发送功率，并动态调整共享同一频谱资源块的其他D2D用户对的发送功率，以最大化网络总吞吐量；若在一定约束范围内，所有可供D2D用户对选择的功率均无法满足占用同一频谱资源块的蜂窝用户的最小吞吐量要求，则拒绝该D2D用户对接入网络。

具体的，如图4所示，若到达用户为D2D用户对，则为其分配发送功率的具体步骤如下：

步骤3.1，对于共享新到达D2D用户对所分配的频谱资源块的Nr个D2D用户对Dj,j∈{1,2,…,Nr}，初始化所有基于Q学习的功率控制算法输出的Q值表的值为0，将j赋值为1；

步骤3.2，选择共享该频谱资源块的第j个D2D用户对；

步骤3.3，基于当前Q值表，根据ε-greedy策略选择一个动作a；其中，动作a定义为为共享该频谱资源块的每个D2D用户对选择一个发送功率p∈{p1,p2,…,pL}，其中，p1,p2,…,pL为可供选择的发送功率。具体地，产生一个0-1的随机数，若小于ε，则随机选择动作，若大于ε，则选择Q值最大的动作。

步骤3.4，执行动作a，计算奖励函数R；

奖励函数R定义如下：

其中，τ0表示占用该频谱资源块的蜂窝用户的最小吞吐量要求；

上式表示当蜂窝用户的吞吐量高于其最小吞吐量要求时，奖励函数为共享该频谱资源块的所有用户的总吞吐量，即算法的优化目标为最大化网络总吞吐量，否则，奖励函数为-1，表示惩罚值。

步骤3.5，根据以下公式更新Q值表：

其中，Q'(s,a)表示Q值表的更新值，Q(s,a)表示Q值表的当前值，α表示学习率，0≤a≤1，γ表示衰减因子，0≤γ≤1，表示当前Q值表中的最大值；

步骤3.6，重复步骤3.3-3.5直到Q值表收敛；

步骤3.7，重复步骤3.2-3.6直到遍历共享该频谱资源块的所有D2D用户对；

步骤3.8，重新将j赋值为1，重复步骤3.2-3.7直到共享该频谱资源块所有D2D用户对的Q值表均收敛至同一最优解。

尽管本发明就实施方式进行了示意和描述，但本领域的技术人员应当理解，只要不超出本发明的权利要求所限定的范围，可以对本发明进行各种变化和修改。