一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法与流程

技术特征：
1.一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法，其特征在于，包括以下具体步骤：s1、完成虚拟网络嵌入的建模；首先将实际存在的数据中心里的底层网络建模为一个带权重的无向图g
s
＝(n
s
，e
s
)，其中，网络节点和链路分别构成了无向图中的点集n
s
和边集e
s
，图中点n
s
∈n
s
的权重c(n
v
)和边e
s
∈e
s
的权重b(e
s
)则分别代表网络节点的计算资源cpu和链路的网络资源带宽；对租户所请求的虚拟网络也采用相同方式建模为带权重的无向图g
v
＝(n
v
，e
v
)；随后将虚拟网络嵌入转化为寻找由代表虚拟网络的图g
v
到代表底层网络的图g
s
的一组映射关系函数：其中并且保证：并且保证：同时虚拟网络中的cpu资源和带宽资源均需被映射后的网络满足：同时虚拟网络中的cpu资源和带宽资源均需被映射后的网络满足：其中函数c(n
v
)表示节点n
v
上可用的cpu计算资源，函数b(e
v
)表示链路e
v
上可用的带宽资源；在此基础上，用虚拟网络请求中cpu需求总量与带宽需求总量的线性组合虚拟网络请求中cpu需求总量与带宽需求总量的线性组合来表示当该请求处理成功后预期得到的收益，其中α为加权系数；用处理请求时计算资源的开销与网络资源的开销的总和系数；用处理请求时计算资源的开销与网络资源的开销的总和来表示处理该请求的总开销，其中表示用于组成虚拟网络中边e
v
的底层网络路径中边的数量；将虚拟网络嵌入明确为在寻找满足条件的映射关系函数的基础上，最大化收益并最小化开销；s2、完成对底层网络中计算资源cpu和网络资源带宽的建模；首先明确cpu可用量上限cpu
max
与带宽可用量上限band
max
；随后预设一组固定的值cpu
strides
和band
strides
，并且将[0，cpu
max
]和[0，band
max
]两个区间等分为cpu
strides
和band
striaes
段；分别记每个等分的端点为科其中最后，对于底层网络中的每个节点n
s
，依次构建其cpu资源的β
‑
bi模型以及带宽资源的β
‑
bi模型其中指的是从节点n
s
出发可达的可用cpu不低于的节点的集合，指的是从节点n
s
出发，通过可用带宽不低于的边可达的点的集合；s3、构建神经网络；随后对各种虚拟网络请求进行处理：对于接受到的具有步骤1中所述的虚拟网络g
v
＝(n
v
，e
v
)请求，神经网络遍历n
v
中的每一个虚拟节点，对于遍历到的每个节点n
v
，经过神经网络处理后给出一个将该虚拟节点n
v
映射至不同底层节点的概率分布，随后根据所述概率分布采样得到一个底层节点以完成虚拟节点n
v
的嵌入；待整个虚拟节点集合n
v
遍历并完成嵌入后，再通过bvlo以及hvlm算法完成虚拟链路e
v
的映射，从而实现整个虚拟网络的嵌入；最后，根据该虚拟网络请求映射完成后的奖励值reward与神经网络在前向传播过程中预测值的误差，来完成神经网络的反向传播，更新神经网络中的模型参数。2.根据权利要求1所述的基于深度强化学习的云数据中心虚拟网络的协同嵌入方法，
其特征在于，步骤s2所述cpu资源的β
‑
bi模型以及带宽资源的β
‑
bi模型通过在基于底层网络所构建的无向图g
s
＝(n
s
，e
s
)上进行广度优先搜索的方法来进行构建。3.根据权利要求1所述的基于深度强化学习的云数据中心虚拟网络的协同嵌入方法，其特征在于，所述步骤s3具体包括：s31、构建神经网络；首先提取输入层的特征；遍历底层网络节点集合n
s
中的每个底层网络节点n
s
，依次获取s2中计算得到的cpu资源的β
‑
bi模型以及带宽资源的β
‑
bi模型从底层网络节点所对应的β
‑
bi模型中以及当前待映射的虚拟网络节点n
v
的信息中提取特征作为神经网络输入；具体来说，对于底层网络节点n
s
的每个和从中提取cpu可用量的最大值、最小值、中位数和平均值、度数、其邻接边中带宽可用量的最大值、最小值、中位数和平均值、当前待映射的虚拟节点n
v
的cpu计算资源需求量以及n
v
与底层节点n
s
的可用计算资源量的差值，作为输入特征；随后构建网络的剩余部分，共包括4层；具体来说，剩余部分依次为一层包括两个卷积核的一维卷积层，一层relu层，一层单核的一维卷积层，以及一层softmax层；s32、神经网络对接收到的虚拟网络g
v
＝(n
v
，e
v
)请求进行处理，首先完成虚拟节点集合n
v
的映射；遍历n
v
，对于其中的每一个虚拟网络节点n
v
，获取s31中的输入特征；输入特征首先经过一层一维方向的卷积层处理，该卷积层包括两个卷积核；记输入特征为其中m为底层节点的数量，f为特征的数量，两卷积核分别为其中m为底层节点的数量，f为特征的数量，两卷积核分别为则该卷积层的输出为m
·
[w1，w2]；在经过具有2个卷积核的卷积层之后，输入特征经过一层relu层处理以避免过拟合；relu层之后是一层单核的一维卷积层处理；具体来说，从前两层的学习结果中对各底层网络节点计算出一种评分，量化地表明将当前虚拟节点n
v
映射至各底层网络节点的好坏；记该层输出的结果为v＝[v1，v2，...，v
m
]，则对于底层网络节点其计算出的评分为v
i
；最后，经由一层softmax层处理，将上一层对各节点计算的评分结果，转化为概率并输出；具体来说，记softmax层的输出结果为s＝[s1，s2，...，s
m
]，其中s1，s2，...，s
m
与底层节点一一对应，则概率分布表示为：这里exp()为以自然常数为底的指数函数；对于上一层中对应评分越高的底层网络节点，在该层输出的概率值越大，被选作当前虚拟节点n
v
的映射点的概率也就越大；随后在softmax层输出结果基础上，首先过滤可用计算资源无法满足虚拟节点n
v
计算资源要求或者映射至该节点的虚拟节点数量已达到一定阈值的节点，再根据softmax层输出的概率进行采样；当前虚拟节点n
v
将最终映射到采样得到的底层网络节点上；s33、在通过上述s32的步骤完成虚拟网络请求中节点的映射后，接下来完成链路e
v
的映射；首先使用bvlo算法对待映射虚拟链路进行排序；具体来说，记虚拟链路e
v
两端点所映射的底层网络节点为n
″
s
和n
″′
s
，记同时包含n
″
s
和n
″′
s
的带宽资源β
‑
bi模型中具
有最大β值的为lcf
sn
(n
″
s
，n
″′
s
)，将β值记为bvlo算法将依次按照如下关键字对虚拟链路进行排序：1)越小的虚拟链路排序越靠前；2)lcf
sn
(n
″
s
，n
″′
s
)节点数越小的虚拟链路排序越靠前；3)需求带宽越大的虚拟链路排序越靠前；4)若两虚拟链路在1)、2)及3)的排序都相等，则随机排序；随后基于hvlm算法进行虚拟链路映射：1)从虚拟链路两端点对应底层网络节点n
″
s
和n
″′
s
的lcf
sn
(n
″
s
，n
″′
s
)中，寻求从n
″
s
和n
″′
s
的一组路径，该组路径的每条边都需满足虚拟链路的带宽需求；2)从1)中得到的路径中选择一条边数最少的路径；3)在边数最少的路径中，选择一条经过的边中可用网络资源的最小值最大的路径；4)若第1)、2)、3)步之后仍有多条可行的路径，则随机选择一条；s34、完成点集n
v
与边集e
v
的映射，即完成了该虚拟网络g
v
＝(n
v
，e
v
)请求的处理，接下来根据本次虚拟网络映射的奖励值reward实现神经网络参数的更新；reward的计算方式如下：1)如果虚拟节点映射失败，即未找到某个虚拟节点对应的映射，则对该虚拟网络请求的每一个虚拟节点n
v
，都有：即在该虚拟节点对应的前向传播过程中，神经网络预测最大概率映射的底层网络节点的可用cpu数量和该虚拟节点n
v
需求cpu数量的差，与该虚拟节点n
v
需求cpu数量的比值；2)若虚拟链路e
v
＝(n
″
v
，n
″′
v
)映射失败，其中n
″
v
和n
″′
v
为e
v
的两个端点，即未找到一个合适、可行的底层路径用于映射，则首先使用二分枚举法，找出在所有从到的路径上，最小边可用带宽的最大值并记其为则对该虚拟网络请求的每一个虚拟节点n
v
，都有：即该最大值和虚拟链路需求带宽的差，与该虚拟链路需求带宽的比值；3)虚拟网络g
v
＝(n
v
，e
v
)请求映射成功；对每个虚拟节点n
v
，求该虚拟节点的计算资源与连接该虚拟节点的虚拟链路网络资源的加权和，再除以映射这些点和链路所消耗的资源总和；把得到的商作为映射节点n
v
对应的回报，其中，e
v
为连接了节点n
v
的虚拟链路；计算出该虚拟网络请求对应的奖励值reward之后，根据每次前向传播的预测值以及该次前向传播对应的reward，计算出该次前向传播的误差，并作后向传播，以更新神经网络的模型参数。

技术总结
本发明公开了一种基于深度强化学习的云数据中心虚拟网络的协同嵌入方法，该方法具体包括以下步骤：S1、完成虚拟网络嵌入问题的建模；S2、完成对底层网络中计算资源CPU和网络资源带宽的建模；S3、构建神经网络，并用于处理虚拟网络的请求，实现虚拟网络到底层网络的嵌入。本发明基于深度强化学习技术，根据现有可用资源以及租户的虚拟网络请求，在一系列约束条件下，动态地学习资源分配策略，以提高资源利用率以及请求分配成功率。同时，本发明结合了一种资源抽象模型Blocking Island，该模型可以抽象地表示底层网络各部分的结构与可用资源，以此降低搜索空间，提高计算效率与算法性能。性能。性能。


技术研发人员：王廷 杨芃 王志浩
受保护的技术使用者：华东师范大学
技术研发日：2021.08.27
技术公布日：2021/11/28