一种边缘网络数据年龄优化方法及系统与流程

1.本发明涉及数据年龄优化领域，特别是涉及一种边缘网络数据年龄优化方法及系统。


背景技术：

2.随着5g的快速发展，传感器、传感设备、可穿戴设备等各种物联网(internet ofthings，iot)设备相互广泛连接。由于这种机器对机器通信的性质，千兆字节级的信息将以前所未有的速度在iot设备之间穿梭。这需要大数据技术来分析收集到的iot大数据，然后获得有价值的分析结论。iot大数据的一个显著特征是分析的质量取决于数据年龄(age ofdata，aod)，其中一段数据的aod定义为自数据生成以来经过的时间。这是因为新生成的数据通常是具有“热度”的，经常被访问。随着时间的推移，数据变为冷数据，很少或不会再被访问。因此，必须及时分析从iot设备收集的大数据，以尽量减少aod。例如，谷歌使用aod表示数据流管道中的数据保留时间和数据统计的延迟。
3.传统的大数据分析主要处理远程数据中心中产生或放置的大数据。由于远程数据中心距离边缘iot设备很远，因此会导致数据处理的严重通信延迟，使得数据将变得陈旧，从而失去对实时分析的利用价值。在iot设备附近部署云计算能力的移动边缘计算(mobile edge computing，mec)框架可以保证数据处理的及时性。
4.目前，现有的大数据处理方法要么忽略了数据集的年龄，要么只关注数据包层面的年龄感知信息处理，假设给定了请求的数据量。现有的大数据处理方法的iot大数据的分析质量有待提高。


技术实现要素：

5.基于此，本发明实施例提供一种边缘网络数据年龄优化方法及系统，实现了移动边缘计算框架中iot应用的年龄感知大数据处理，考虑不可预测的请求的到达和传输，考虑不确定延迟的处理，从而提升iot大数据的分析质量，提高通信质量。
6.为实现上述目的，本发明提供了如下方案：
7.一种边缘网络数据年龄优化方法，包括：
8.构建边缘网络数据年龄优化框架；所述边缘网络数据年龄优化框架包括目标函数和约束条件；所述目标函数是以数据年龄最小为目标，基于移动边缘计算网络中物联网设备生成的数据集从生成到处理的等待时间和将所述数据集传输至潜在位置并进行处理的延时构建的；所述约束条件包括所述数据集在生成之后被调度、数据集通过基站放置到潜在位置、潜在位置的计算能力大于处理请求的资源需求以及不超过物联网设备的预算；所述潜在位置包括移动边缘计算网络中的微云和远程数据中心；
9.当网络环境中数据集已知且无需在生成时刻被调度时，采用边缘网络数据年龄优化离线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略；所述调度策略为各数据集实现请求的目标位置；所述目标位置为微云或远程数据中心；
10.当网络环境中数据集已知且在生成时刻被调度时，采用边缘网络数据年龄优化近似算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略；
11.当网络环境中数据集未知、请求的到达和传输未知且延迟未知时，采用边缘网络数据年龄优化在线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
12.可选的，所述目标函数为：
[0013][0014]
其中，da
m,t
表示第m个物联网设备在时隙t生成的数据集的数据年龄；m表示物联网设备的数量；t表示时隙的数量；τ表示处理数据集的时隙；τ-t表示物联网设备生成的数据集从生成到处理的等待时间；表示移动边缘计算网络中基站的集合；bsk表示移动边缘计算网络中的第k个基站；为潜在位置的集合；loc
l
为第l个潜在位置；x
τ,l,m,k
(t)表示是否使用loc
l
通过bsk在时隙τ处理第m个物联网设备在时隙t生成的数据集；d
m,k,l,t
表示通过bsk将第m个物联网设备在时隙t生成的数据集传输至loc
l
并进行处理的延时；
[0015]
所述约束条件为：
[0016][0017][0018][0019][0020]
x
τ,l,m,k
(t)∈{0,1}；
[0021]
其中，r表示所有的物联网设备发出的请求的集合；ds
m,t
表示第m个物联网设备在时隙t生成的数据集；rm(t)表示ds
m,t
对应的请求；δ
l
表示在loc
l
上处理单位大小的数据集消耗的计算资源；δ
l
·
|ds
m,t
|表示在loc
l
上为处理ds
m,t
分配的计算资源总量；c(loc
l
)表示loc
l
的计算能力；c
m,k,l,t
表示总成本；表示将ds
m,t
从第m个物联网设备所直连的bsk转移到loc
l
的成本，表示ds
m,t
在loc
l
中的存储成本，表示在loc
l
中处理ds
m,t
的成本；bm表示第m个物联网设备的预算。
[0022]
可选的，所述采用边缘网络数据年龄优化离线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略，具体包括：
[0023]
将所述约束条件中的x
τ,l,m,k
(t)∈{0,1}松弛为0≤x
τ,l,m,k
(t)≤1，基于松弛后的约束条件采用单纯形法对所述目标函数进行求解，得到第一分数解x
*τ,l,m,k
(t)；
[0024]
根据所述第一分数解和设定阈值，确定候选时隙集和候选位置集其
中，η表示设定阈值；
[0025]
基于所述候选时隙集和所述候选位置集，采用基于匈牙利算法实现的二部图最小权最大匹配的启发式算法得到调度策略。
[0026]
可选的，所述采用边缘网络数据年龄优化近似算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略，具体包括：
[0027]
在生成时刻被调度的条件下，将所述目标函数更改为将所述约束条件中的x
τ,l,m,k
(t)∈{0,1}更改为x
l,m,k
(t)∈{0,1}，并将x
l,m,k
(t)∈{0,1}松弛为0≤x
l,m,k
(t)≤1，得到更新后的目标函数和松弛后的约束条件；其中，x
l,m,k
(t)表示是否使用loc
l
通过bsk处理第m个物联网设备在时隙t生成的数据集；
[0028]
基于松弛后的约束条件采用单纯形法对所述更新后的目标函数进行求解，得到第二分数解x
*l,m,k
(t)；
[0029]
基于所述第二分数解，采用最小权最大匹配的近似算法得到调度策略。
[0030]
可选的，所述采用边缘网络数据年龄优化在线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略，具体包括：
[0031]
基于多臂老虎机的方法预测数据集传输至潜在位置并进行处理的延时，得到延时预测值；
[0032]
将所述延时预测值输入所述边缘网络数据年龄优化框架中，采用边缘网络数据年龄优化近似算法进行求解，得到调度策略。
[0033]
可选的，所述基于所述候选时隙集和所述候选位置，采用基于匈牙利算法实现的二部图最小权最大匹配的启发式算法得到调度策略，具体包括：
[0034]
将数据集添加至二部图的第一组节点中，将为每个时隙创建的虚拟位置添加至二部图的第二组节点中；
[0035]
将所述第一组节点中数据集按照升序排序，得到升序后的数据集列表；
[0036]
对于升序后的数据集列表中的任意一个数据集和所述第二组节点中的任意一个虚拟位置，当同时满足第一条件、第二条件和第三条件时，在所述数据集和所述虚拟位置之间增加一条边，且所述边的边权为所述数据集在所述虚拟位置处理时对应的数据年龄；所述第一条件为处理所述数据集的时隙属于所述候选时隙集且所述虚拟位置属于所述候选位置集所述第二条件为所述虚拟位置的计算能力大于处理请求的资源需求；所述第三条件为不超过生成所述数据集的物联网设备的预算；
[0037]
遍历所述升序后的数据集列表中的所有数据集，得到所述二部图的边集，采用匈牙利算法从所述边集中选择最优边集合；所述最优边集合满足边选条件；所述边选条件为所述第一组节点中的数据集有且仅有一条边与所述第二组节点中的虚拟位置相连，且所有边的边权之和最小；所述最优边集合中的每条边所连的虚拟位置作为对应数据集实现请求的目标位置；
[0038]
当所有的数据集均找到实现请求的目标位置时，则得到调度策略。
[0039]
可选的，所述基于所述第二分数解，采用最小权最大匹配的近似算法得到调度策略，具体包括：
[0040]
根据所述第二分数解x
*l,m,k
(t)为潜在位置loc
l
创建κ
l
个虚拟位置；deg
l
表示潜在位置loc
l
的分配分数，
[0041]
将数据集添加至二部图的第一组节点中，将虚拟位置添加至二部图的第二组节点中；
[0042]
将所述第一组节点中数据集按照降序排序，得到降序后的数据集列表；
[0043]
对于降序后的数据集列表中的任意一个数据集ds
m,t
和所述第二组节点中的任意一个虚拟位置当满足时，则添加一条边边权为其中否则添加两条边，第一条为边权为其中第二条为边权为其中表示数据集ds
m,t
在虚拟位置分配的分数，表示数据集ds
m,t
在虚拟位置分配的分数；
[0044]
采用最小权最大匹配法为所述数据集寻找最优边，并将所述最优边所连的虚拟位置作为所述数据集实现请求的目标位置；
[0045]
当所有的数据集均找到实现请求的目标位置时，则得到调度策略。
[0046]
可选的，所述基于多臂老虎机的方法预测数据集传输至潜在位置并进行处理的延时，得到延时预测值，具体包括：
[0047]
根据当前时隙下各个专家的权重计算每个专家被选中的概率；一个所述专家对应若干个臂，所述专家用于预测所对应的所有臂的延时；所述臂为基站与潜在位置组成的对；
[0048]
根据所述概率确定目标专家；
[0049]
采用所述目标专家预测数据集传输至潜在位置并进行处理的延时，得到延时预测值。
[0050]
可选的，所述根据当前时隙下各个专家的权重计算每个专家被选中的概率，具体包括：
[0051]
根据确定各个专家在当前时隙的权重；其中，w
τ 1
(expn)表示专家expn在当前时隙的权重，w
τ
(expn)表示专家expn在上一个时隙的权重，c
τ
(expn)表示专家expn在上一个时隙接受的代价；∈为一个常量且0＜∈≤1/2；
[0052]
根据计算每个专家被选中的概率；其中，p
τ 1
(expn)表示专家expn在当前时隙被选中的概率，n表示专家的总数量。
[0053]
本发明还提供了一种边缘网络数据年龄优化系统，包括：
[0054]
模型构建模块，用于构建边缘网络数据年龄优化框架；所述边缘网络数据年龄优化框架包括目标函数和约束条件；所述目标函数是以数据年龄最小为目标，基于移动边缘计算网络中物联网设备生成的数据集从生成到处理的等待时间和将所述数据集传输至潜在位置并进行处理的延时构建的；所述约束条件包括所述数据集在生成之后被调度、数据集通过基站放置到潜在位置、潜在位置的计算能力大于处理请求的资源需求以及不超过物联网设备的预算；所述潜在位置包括移动边缘计算网络中的微云和远程数据中心；
[0055]
第一调度策略生成模块，用于当网络环境中数据集已知且无需在生成时刻被调度时，采用边缘网络数据年龄优化离线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略；所述调度策略为各数据集实现请求的目标位置；所述目标位置为微云或远程数据中心；
[0056]
第二调度策略生成模块，用于当网络环境中数据集已知且在生成时刻被调度时，采用边缘网络数据年龄优化近似算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略；
[0057]
第三调度策略生成模块，用于当网络环境中数据集未知、请求的到达和传输未知且延迟位置时，采用边缘网络数据年龄优化在线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
[0058]
与现有技术相比，本发明的有益效果是：
[0059]
本发明实施例提出了一种边缘网络数据年龄优化方法及系统，构建了iot大数据处理中的边缘网络数据年龄优化框架，并针对不同的网络环境(数据集已知且无需在生成时刻被调度、数据集已知且在生成时刻被调度、数据集未知、请求的到达和传输未知且延迟未知)，采用边缘网络数据年龄优化离线启发式算法、边缘网络数据年龄优化近似算法或边缘网络数据年龄优化在线启发式算法对边缘网络数据年龄优化框架进行求解，得到调度策略。本发明实现了移动边缘计算框架中iot应用的年龄感知大数据处理，考虑不可预测的请求的到达和传输，考虑不确定延迟的处理，从而提升iot大数据的分析质量，提高通信质量。
附图说明
[0060]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0061]
图1为本发明实施例提供的边缘网络数据年龄优化方法的流程图；
[0062]
图2为本发明实施例提供的分层mec网络的结构图；
[0063]
图3为本发明提供的二部图的结构示意图。
具体实施方式
[0064]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0065]
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
[0066]
为了满足大数据处理的及时性和巨大的资源需求，本实施例考虑了一个由iot服务提供商运营的由本地云和远程云(远程服务中心)组成的分层mec网络。在mec网络中，多个iot设备测量一个地区的物理环境，所有测量都需要通过它们附近的基站发送到mec网络的云或远程云。本实施例研究了在这样一个分层mec网络中的iot应用的年龄感知大数据处
理，以最小化iot大数据分析的aod。
[0067]
在分层mec网络中，最小化iot大数据分析的aod带来了几个基本挑战。首先，aod最小化问题涉及到传输前等待的时间、数据传输延迟和处理延迟之间的复杂相互作用。在数据集的生成上，需要决定调度数据集的处理还是等待。具体来说，如果数据集在生成后立即被安排传输，那么微云或回程链接可能过于拥挤，无法处理数据集。相反，如果一个数据集被推迟了，可能会增加它的aod。然而，数据集可能以非常快的速度处理，抵消了由于等待调度和传输延迟而增加的aod。如何在iot大数据处理中共同考虑数据集的生成时间、微云的资源可用性和传输延迟是一个挑战。其次，iot服务请求通常是动态进入系统的，网络延迟无法提前预知。如何利用深度学习技术来辅助调度具有不确定网络延迟的大数据分析请求，同时最大限度地减少决策的遗憾界是第二个挑战。第三，每个iot服务提供商在能源、传输和处理成本方面都有自己的预算，以避免在意外情况下出现不可预测的成本激增。此外，mec网络中的微云和远程云数据中心具有计算资源容量的限制。在最小化iot大数据分析的aod的同时，要联合考虑预算和资源能力的限制是一项挑战。
[0068]
目前虽然对远程云或mec网络中的大数据处理有广泛的研究，但大多忽略了iot大数据处理的aod需求。这些研究大多没有考虑mec网络的不确定延迟。此外，他们的目标是最小化数据包级数据的年龄，而非大数据场景。而本实施例实现mec网络中iot应用的年龄感知大数据处理，并考虑不可预测的请求的到达和传输，考虑不确定延迟的处理。
[0069]
参见图1，本实施例提供的边缘网络数据年龄优化方法，包括：
[0070]
步骤101：构建边缘网络数据年龄优化框架。
[0071]
所述边缘网络数据年龄优化框架包括目标函数和约束条件；所述目标函数是以数据年龄最小为目标，基于移动边缘计算网络中物联网设备生成的数据集从生成到处理的等待时间和将所述数据集传输至潜在位置并进行处理的延时构建的；所述约束条件包括所述数据集在生成之后被调度、数据集通过基站放置到潜在位置、潜在位置的计算能力大于处理请求的资源需求以及不超过物联网设备的预算；所述潜在位置包括移动边缘计算网络中的微云和远程数据中心。
[0072]
步骤101，具体包括：
[0073]
1)mec网络结构：
[0074]
本实施例考虑一个由iot服务提供商操作的分层mec网络如图2所示，它由一组微云和一组远程数据中心组成。分别用cli和dcj表示一个微云和一个远程数据中心。每个微云都由一些服务器来实现各种用户请求。用c(cli)和c(dcj)分别表示在微云cli上和远程数据中心dcj上处理iot设备数据的计算能力。iot设备通过中的基站访问微云，其中一个iot设备可能位于多个基站的范围内。设bsk为中的基站。e是一组连接微云和远程数据中心的通信链路。图2中，11表示边缘云，12表示交换机，13表示数据处理。
[0075]
iot设备持续地生成数据，iot应用发出请求来处理生成的数据。设dvm为一个下标为m的iot设备。在给定的监控时间段内，每个dvm连续地生成数据，将这个时间段划分为相等的时隙(time slot)。用rm(t)表示iot设备dvm在时隙t的请求，设r(t)为所有iot设备在时隙t的请求集。用ds
m,t
表示iot设备dvm在时隙t上生成的数据集。当iot设备在时隙t上产生
数据集ds
m,t
时，就会发出请求rm(t)。假设处理数据集的时隙为τ，则rm(t)的aod定义为τ-t。
[0076]
为便于描述，将微云和远程数据中心视为实现请求的潜在位置。设为潜在位置的集合，即设loc
l
为中的一个潜在位置，loc
l
的计算能力用c(loc
l
)表示。
[0077]
2)成本模型：
[0078]
mec网络的iot服务提供商拥有自己的iot设备，并从云服务提供商租赁资源来处理其iot大数据。因此，将数据传输、处理和存储成本视为系统开销。设备dvm的数据集ds
m,t
将通过基站bsk传输后放置在一个微云或远程数据中心上。设c
k,l
为通过基站bsk和loc
l
之间的通信链路传输单位大小数据的成本。将数据集dsm(t)从iot设备dvm所直连的bsk转移到loc
l
的成本为
[0079][0080]
假设在位置loc
l
上处理单位大小的数据集会消耗计算资源δ
l
，其中δ
l
是一个预先已知的常量。则在loc
l
上为处理数据集ds
m,t
分配的计算资源总量为δ
l
·
|ds
m,t
|。用c
l
表示在loc
l
中使用单位计算资源的成本。那么，在loc
l
中处理数据集ds
m,t
的成本为
[0081][0082]
在位置loc
l
中存储一个单位大小的数据会产生φ
l
的开销，其中φ
l
是一个预先已知的常量。设为数据集ds
m,t
在loc
l
中的存储成本，则有
[0083][0084]
3)延迟模型：
[0085]
设d
m,k
为一个单位大小的数据在基站bsk上进行无线信道传输的延迟，d
k,l
为一个单位的数据从bsk传输到位置loc
l
的延迟。设d
l
是位置loc
l
中处理一个单位大小数据的延迟。则通过基站bsk将数据集ds
m,t
传输至位置loc
l
并进行处理的延时为
[0086]dm,k,l,t
＝(d
m,k
d
k,l
d
l
)
·
|ds
m,t
|
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0087]
4)边缘网络数据年龄优化框架(ilp数据年龄最小化模型)设计：
[0088]
假设每个iot设备dvm有给定的预算bm用于存储、传输、处理其数据集，分层mec网络中的aod最小化问题是最小化mec网络处理的所有数据集的总数据年龄，并受限于每个潜在位置的计算能力和每个iot设备的预算bm以及在时间范围t内存储、传输和处理其数据集的成本。
[0089]
本实施例通过将分层mec网络中的aod最小化问题转化为整数线性规划(ilp)，提出一个精确解的求解框架。设τ为微云或数据中心处理ds
m,t
的时隙。数据集ds
m,t
可能不会在其生成后立即安排传输和处理，从数据集生成到处理的等待时间为τ-t。一旦调度完成，数据集ds
m,t
将被传输到一个微云或数据中心。ds
m,t
的传输和处理用时决定了ds
m,t
的aod。设x
τ,l,m,k
(t)为一个0-1决策变量，表示是否使用loc
l
通过基站bsk在时隙τ处理第m个物联网设备在时隙t生成的数据集ds
m,t
。则ds
m,t
的aod为
[0090]
[0091]
所述目标函数为：
[0092][0093]
其中，da
m,t
表示第m个物联网设备在时隙t生成的数据集的数据年龄；m表示物联网设备的数量；t表示时隙的数量；
[0094]
所述约束条件为：
[0095][0096][0097][0098][0099]
x
τ,l,m,k
(t)∈{0,1}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(11)
[0100]
其中，r表示所有的物联网设备发出的请求的集合；ds
m,t
表示第m个物联网设备在时隙t生成的数据集；rm(t)表示ds
m,t
对应的请求；δ
l
表示在loc
l
上处理单位大小的数据集消耗的计算资源；δ
l
·
|ds
m,t
|表示在loc
l
上为处理ds
m,t
分配的计算资源总量；c(loc
l
)表示loc
l
的计算能力；c
m,k,l,t
表示总成本；表示将ds
m,t
从第m个物联网设备所直连的bsk转移到loc
l
的成本，表示ds
m,t
在loc
l
中的存储成本，表示在loc
l
中处理ds
m,t
的成本；bm表示第m个物联网设备的预算。
[0101]
其中，公式(7)确保请求rm(t)的数据集ds
m,t
不能在生成之前调度；公式(8)保证数据集ds
m,t
通过基站放置到一个微云或一个远程数据中心；公式(9)表示一个位置的计算能力不小于分配给它的请求的总资源需求；公式(10)确保不超过每个iot设备的预算。
[0102]
步骤102：当网络环境中数据集已知且无需在生成时刻被调度时，采用边缘网络数据年龄优化离线启发式算法(heu)对所述边缘网络数据年龄优化框架进行求解，得到调度策略。所述调度策略为各数据集实现请求的目标位置；所述目标位置为微云或远程数据中心。
[0103]
所述步骤102，具体包括：
[0104]
1)考虑ilp的高时间复杂性，当问题规模很大时，基于ilp的解决方案可能无法提供有效的扩展。因此，为离线的数据年龄最小化问题设计一个有效的启发式算法。在没有预算约束的情况下，提出了一种带近似比的近似算法。其基本想法是将ilp松弛为lp(线性规划，linearprogram)，具体来说，将所述约束条件中的x
τ,l,m,k
(t)∈{0,1}松弛为0≤x
τ,l,m,k
(t)≤1，而lp的优化函数与其他约束和ilp保持一致。这样基于松弛后的约束条件采用单纯形法对所述目标函数进行求解，可以在多项式时间内获得lp的分数解(fractionalsolution)，即一组令aod最小化的x
τ,l,m,k
(t)的非整数最优取值，用x
*τ,l,m,k
(t)表示lp的最优分数解(第一分数解)。
[0105]
2)第一分数解的部分非整数值表示将单个数据集dsm(t)调度到不同的时间段，并
将其分割到多个位置(微云或远程数据中心)。然而，这种解对原问题而言是非法的，因为每个数据集只能安排在一个时隙中，并仅被分配到单一位置进行处理。因此，需要将分数解修改为原问题的可行整数解。为此，首先获得一组候选时隙和候选位置，从而基于分数解对每个数据集ds
m,t
进行处理。具体的，针对分数解中每个变量的非整数值设置了一个阈值η，分数解中大于η的非整数值所对应的时隙、微云或远程数据中心分别被视为候选时隙、候选微云或候选数据中心。也就是，根据所述第一分数解和设定阈值，确定数据集ds
m,t
的候选时隙集和候选位置集其中，其中，
[0106]
3)基于所述候选时隙集和所述候选位置集，采用基于匈牙利算法实现的二部图最小权最大匹配的启发式算法得到调度策略。具体的：
[0107]
通过将lp问题转化为二部图中的最小权最大匹配问题，对lp的分数解进行舍入。设g
′
为构造的二部图，如图3所示，有两组节点va和vb以及一个边集e
′
。通过将每个数据集ds
m,t
添加到va进行初始化，然后为每个位置loc
l
创建t个虚拟位置，其中对于每个时隙τ∈[1,t]都对应一个虚拟位置。用loc
l,τ
表示时隙τ对应的虚拟位置。将这些虚拟位置添加至vb。
[0108]
将所有数据集按其大小进行升序排序，并依次考虑排序后的数据集。对于排序后数据集列表中的每个数据集ds
m,t
，当且仅当满足以下条件时向边集e
′
添加一条连接ds
m,t
和loc
l,τ
的边：
[0109]
第一条件：τ在集合中，loc
l
在集合中(处理所述数据集的时隙属于所述候选时隙集且所述虚拟位置属于所述候选位置集
[0110]
第二条件：处理ds
m,t
不违背loc
l
在τ时刻的计算资源容量，即g
′
中所有和loc
l,τ
有连边的数据集和ds
m,t
数据集均在loc
l
进行处理所需计算资源不超过c(loc
l
)(所述虚拟位置的计算能力大于处理请求的资源需求)；
[0111]
第三条件：不违反iot设备dvm的预算bm(不超过生成所述数据集的物联网设备的预算)。
[0112]
且将这条边的权重设为ds
m,t
的aod，即w(《ds
m,t
,loc
l,τ
》)＝da
m,t
。然后在二部图g
′
中使用匈牙利算法找到最小权最大匹配，具体来说，应用匈牙利算法为二部图g
′
寻找一个最小权最大匹配，即在二部图的边集e
′
中选择一组边：在保证尽可能多的va中的任意节点(数据集)有且仅有一条边与vb中的任意节点(虚拟位置)相连的同时，尽可能使所选择的边的权重之和最小，该匹配实际对应于将全部待调度数据集的一个子集分配给微云和远程数据中心。持续重复此直到所有的数据集被调度。
[0113]
步骤3)，概括如下：
[0114]
在一次匹配过程中，首先将数据集添加至二部图的第一组节点中，将为每个时隙创建的虚拟位置添加至二部图的第二组节点中，并将所述第一组节点中数据集按照升序排序，得到升序后的数据集列表。然后，对于升序后的数据集列表中的任意一个数据集和所述第二组节点中的任意一个虚拟位置，当同时满足第一条件、第二条件和第三条件时，在所述数据集和所述虚拟位置之间增加一条边，且所述边的边权为所述数据集在所述虚拟位置处理时对应的数据年龄。遍历所述升序后的数据集列表中的所有数据集，得到所述二部图的
边集，采用匈牙利算法从所述边集中选择最优边集合。最优边集合的选择原则为：应用匈牙利算法为所述二部图寻找一个最小权最大匹配，即在二部图的边集中选择一组边，在保证尽可能多的所述第一组节点中的任意节点(数据集)有且仅有一条边与所述第二组节点中的任意节点(虚拟位置)相连的同时，尽可能使所选择的边的权重之和最小。因此，所述最优边集合应满足如下边选条件：所述第一组节点中的数据集有且仅有一条边与所述第二组节点中的虚拟位置相连，且所有边的边权之和最小。所述最优边集合中的每条边所连的虚拟位置作为对应数据集实现请求的目标位置。该最优边集合为一次匹配过程得到的调度策略。
[0115]
由于算法匹配比较保守，单一轮次会有一些数据集无法匹配任何虚拟位置，算法是需要重复运行多轮才可以将每个数据集均对应一个虚拟位置，即得到完整调度策略，因此，当所有的数据集均找到实现请求的目标位置时，则得到最终完整的调度策略。
[0116]
上述heu算法的具体步骤形式化总结如下：
[0117]
1、求解lp，得到分数解x
*τ,l,m,k
(t)；
[0118]
2、初始化
[0119]
3、按数据集的大小将va进行升序排序；
[0120]
4、初始化
[0121]
5、初始化e
′
＝{}，vb＝{}；
[0122]
6、为每个位置添加t个虚拟位置至vb，这t个虚拟位置分别用
[0123]
loc
l,1
...,loc
l,τ
...,loc
l,t
表示；
[0124]
7、针对每个ds
m,t
∈va与loc
l,τ
∈vb，如果满足且处理数据集ds
m,t
不会违反约束(7)-(10)，即g
′
中所有和loc
l,τ
有连边的数据集和ds
m,t
数据集均在loc
l
进行处理所需计算资源不超过c(loc
l
)，且在loc
l
处理ds
m,t
不违反iot设备dvm的预算bm，则添加一条权重为da
m,t
的边《ds
m,t
,loc
l,τ
》至e
′
；
[0125]
8、在g
′
＝{va,vb；e
′
}中调用匈牙利算法寻找一个最小权最大匹配m
′
，即选择边集e
′
中的一组子集边，在保证尽可能多的va中的任意节点(数据集)有且仅有一条边与vb中的任意节点(虚拟位置)相连的同时，尽可能使所选择的边的权重之和最小；
[0126]
9、根据m
′
更新数据集调度，即m
′
中存在的每一条边(匹配)《ds
m,t
,loc
l,τ
》代表对应的数据集ds
m,t
被分配给位置loc
l
在τ时刻进行处理；令还未被调度}；
[0127]
10、若va≠{}，返回步骤5；否则输出数据集的完整调度策略。
[0128]
步骤103：当网络环境中数据集已知且在生成时刻被调度时，采用边缘网络数据年龄优化近似算法(appro)对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
[0129]
所述步骤103，具体包括：
[0130]
1)边缘网络数据年龄优化近似算法考虑ilp问题的一个特殊情况——数据集在生成时刻就须立即被调度进行传输，即τ＝t。将ilp中的x
τ,l,m,k
(t)替换为x
l,m,k
(t)，即在生成时刻被调度的条件下，将所述目标函数更改为将所述约束条件中的x
τ,l,m,k
(t)∈{0,1}更改为x
l,m,k
(t)∈{0,1}。该appro算法的基本思想与heu算法相似，均采用lp舍入方法，即首先进行适当的松弛，将ilp-sc中的约束条件x
l,m,k
(t)∈
{0,1}松弛为0≤x
l,m,k
(t)≤1，得到更新后的目标函数和松弛后的约束条件；其中，x
l,m,k
(t)表示是否使用loc
l
通过bsk处理第m个物联网设备在时隙t生成的数据集。
[0131]
2)基于松弛后的约束条件采用单纯形法对所述更新后的目标函数进行求解，得到第二分数解x
*l,m,k
(t)。
[0132]
具体的，步骤1)中的ilp-sc，可能会降低解的质量，因为松弛后解得的分数解可能导致数据集被“分割”成许多小块。为了避免这种情况，采用了参数lp松弛方法，通过将该问题松弛为一个lp，只允许将资源消耗不超过阈值res
th
的数据集分配给微云或远程数据中心处理。
[0133]
令lp-sc(res
th
)为参数lp松弛后的ilp-sc问题，它的目标函数保持不变，即：
[0134][0135]
同时受公式(7)-(10)、0≤x
l,m,k
(t)≤1及对所有满足|ds
m,t
|
·
δ
l
＞res
th
的ds
m,t
存在的x
l,m,k
(t)＝0的约束，通过求解lp-sc(res
th
)得到第二分数解x
*l,m,k
(t)。
[0136]
3)基于所述第二分数解，采用最小权最大匹配的近似算法得到调度策略。
[0137]
具体的：
[0138]
基于x
*l,m,k
(t)，构造另一个二部图g
″
＝(v
″a,v
″b；e
″
)，其中v
″a和v
″b为两个集合，e
″
是连接v
″a和v
″b的连线的集合。
[0139]
用表示位置loc
l
的分数分配，也即分配到位置loc
l
的数据集的分数比例之和。令在g
″
中，为loc
l
创建κ
l
个虚拟位置，即κ
l
个loc
l
的副本，分别用表示，并添加到v
″b中。这保证了loc
l
被分配到κ
l
或(κ
l-1)个要处理的数据集。如果将每个数据集的平均分配到位置loc
l
的κ
l
个副本中，可以通过求解最小权最大匹配问题得到该问题的分数解，正如算法heu所示。此外，也可以获得一个与分数解相比aod近似不变的整数解，但是，这样不能保证位置loc
l
的容量约束和iot设备dvm的预算的违背程度。
[0140]
为了约束计算资源容量和预算约束的违背，将数据量大致相似的数据集分配到位置loc
l
。为此，按照数据量对数据集进行降序排序，并依次检查每个数据集。具体来说，从每个位置的第一个副本开始，即loc
l1
。只要就在ds
m,t
和loc
l1
之间添加一条边，并将边权设为根据分数解计算得到的部分aod，即x
*l1,m,k
(t)
·dm,k,l,t
。当遇到一个数据集，考虑这个数据集会将从小于1变为大于1时，为loc
l1
添加一个分数分配，恰好使得(并对应地在ds
m,t
和loc
l1
之间增加一条边)，然后再向loc
l2
添加一个分数分配同时对应地添加一条边这个过程不断重复直到考虑所有数据集。构造二部图g
″
后，为g
″
找到最小权最大匹配m
″
。
[0141]
步骤3)，概括如下：
[0142]
根据所述第二分数解x
*l,m,k
(t)为潜在位置loc
l
创建κ
l
个虚拟位置；
deg
l
表示潜在位置loc
l
的分配分数，将数据集添加至二部图的第一组节点中，将虚拟位置添加至二部图的第二组节点中。将所述第一组节点中数据集按照降序排序，得到降序后的数据集列表。对于降序后的数据集列表中的任意一个数据集ds
m,t
和所述第二组节点中的任意一个虚拟位置当满足时，则添加一条边边权为其中否则添加两条边，第一条为边权为其中第二条为边权为其中采用最小权最大匹配法为所述数据集寻找最优边，并将所述最优边所连的虚拟位置作为所述数据集实现请求的目标位置。最优边的选择原则与算法heu的选择原则类似，即在二部图的边集中选择一组边，在保证尽可能多的所述第一组节点中的任意节点(数据集)有且仅有一条边与所述第二组节点中的任意节点(虚拟位置)相连的同时，尽可能使所选择的边的权重之和最小。当所有的数据集均找到实现请求的目标位置时，则得到调度策略。
[0143]
appro算法的具体步骤如下：
[0144]
1、求解lp-sc(res
th
)，得到分数解x
*l,m,k
(t)；
[0145]
2、对每个位置loc
l
，添加个虚拟节点至v
″b；
[0146]
3、将全部数据集添加进v
″a，并按数据集的大小将v
″a按递减顺序排序；
[0147]
4、针对每个考虑其虚拟节点从第一个虚拟节点κ＝1开始进行分配，并按序依次考虑所有数据集：针对每个数据集ds
m,t
∈va，如果时，则e
″
添加一条边边权为其中否则向e
″
添加两条边，第一条为边权为其中第二条为边权为其中表示数据集ds
m,t
在虚拟位置分配的分数，表示数据集ds
m,t
在虚拟位置分配的分数。
[0148]
5、在g
″
＝{v
″a,v
″b；e
″
}中寻找一个最小权最大匹配m
″
；
[0149]
6、根据m
′
更新数据集调度；输出数据集的完整调度策略。
[0150]
步骤104：当网络环境中数据集未知、请求的到达和传输未知且延迟未知时，采用边缘网络数据年龄优化在线启发式算法(ol_mab)对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
[0151]
所述步骤104，具体包括：
[0152]
基于多臂老虎机的方法预测数据集传输至潜在位置并进行处理的延时，得到延时预测值。将所述延时预测值输入所述边缘网络数据年龄优化框架中，采用边缘网络数据年
龄优化近似算法进行求解，得到调度策略。其中，基于多臂老虎机的方法的预测过程为：根据当前时隙下各个专家的权重计算每个专家被选中的概率；一个所述专家对应若干个臂，所述专家用于预测所对应的所有臂的延时；所述臂为基站与潜在位置组成的对。根据确定各个专家在当前时隙的权重；w
τ 1
(expn)表示专家expn在当前时隙的权重，w
τ
(expn)表示专家expn在上一个时隙的权重，c
τ
(expn)表示专家expn在上一个时隙接受的代价，∈为一个常量且0＜∈≤1/2。根据计算每个专家被选中的概率；p
τ 1
(expn)表示专家expn在当前时隙被选中的概率。根据所述概率确定目标专家。采用所述目标专家预测数据集传输至潜在位置并进行处理的延时，得到延时预测值。
[0153]
在实际应用中，所述步骤104的一个具体实现过程如下：
[0154]
在实际场景中，处理和传输延迟是不确定的，因为它们依赖于无线信道、链路拥塞状况和微云/数据中心的工作负载。假设在mec网络中部署了许多“探针”，通过向网络组件发出查询以监控、预测延迟。然而，当将请求分配给微云或数据中心时，预测的延迟可能并非真正的延迟。通过对“专家”设计的多臂老虎机算法来处理网络延迟的不确定性。具体来说，将部署在mec网络中的探针视为“专家”。这些专家从基站、微云、数据中心和链路获取处理和传输延迟。然后根据延迟信息分配请求，专家跟踪获取请求所经历的实际延迟。
[0155]
其基本想法是，在每个时隙τ的开始，每个专家通过自回归预测模型预测mec网络g中传输、处理单位大小数据量的延迟。然后调用算法appro，根据预测的信息将请求分配给微云和远程数据中心。在时隙τ的末尾，可以通过部署的探针得到实际的延迟，从而计算每个专家的代价。
[0156]
该步骤提出在线学习算法，假设在mec网络g中有n个专家。每个基站和一个微云(或一个数据中心)组成的对被视为一个mab算法中的一个臂。在实际的网络部署中，一个专家对应一个探针，监视少量的网络节点和链路。每个专家负责臂集的一个子集，通过预测其学习到的臂的延迟来推荐臂，如果其推荐的臂的延迟与真正的延迟不同，则会接受到代价。
[0157]
设expn为一个专家，其中1≤n≤n。每个臂对应两个部分：一个基站bsk和一个位置loc
l
。算法给每个专家初始分配权重为1，代表完全信任其对基站和位置的延迟预测值。随着算法的迭代进行，在每个时隙τ，它根据接收到的代价(也即惩罚)降低专家的权重。而该算法选择专家的概率与其权重成比例。设w
τ
(expn)为专家expn的权重，p
τ
(expn)为专家expn在时隙τ被选中的概率，定义概率公式为
[0158][0159]
被选中的专家报告其基站位置对(即臂)的延迟。然后调用算法appro，appro根据专家报告的延迟，将请求分配给微云和数据中心进行处理。然后处理分配的请求的数据集。请求执行完毕后可以获得处理和传输一个单位数据的实际延迟。根据实际延迟，专家获得相应的代价。设这种代价是预测延迟和实际延迟之间的差值。如果专家报告的延迟与实际延迟相差太大，那么专家将会得到更高的代价(也即惩罚)。设为通过基站bsk在位置loc
l
处理iot设备dvm的数据集的延迟。用c
τ
(expn)表示专家expn接受的代价，有
[0160][0161]
其中和分别为专家expn所监控的基站和位置的集合，为在loc
l
中通过bsk处理ds
m,t
的延迟。为了避免预测偏差过大的专家被选中，通过以下公式降低其权重：
[0162][0163]
在线启发式算法ol_mab的具体步骤如下：
[0164]
1、为每个专家expn初始化权重w1(expn)＝1；
[0165]
2、在时隙τ根据公式计算选择专家expn的概率p
τ
(expn)；
[0166]
3、根据对应概率选择专家；
[0167]
4、每个选中的专家预测它对应的基站与位置的传输、处理延迟；
[0168]
5、调用算法appro，将专家预测的延迟作为算法输入；
[0169]
6、根据appro输出的数据集调度结果进行调度；
[0170]
7、获得专家的代价，根据更新专家的权重；
[0171]
8、如果当前时隙非最终时隙τ＜t，进入下一个时隙τ＝τ 1，跳转至步骤2继续执行；否则算法结束。
[0172]
本实施例中的边缘网络数据年龄优化框架，考虑边缘网络中iot设备数据集生成，提出了一个边缘网络数据年龄优化框架，将数据年龄优化问题表述为ilp。
[0173]
本实施例针对边缘网络数据年龄优化问题，提出了一种有效的启发式算法来解决离线数据年龄优化问题。边缘网络数据年龄优化离线启发式算法(heu)，在已知数据集集合的离线情况下，基于上述框架的ilp解，设计基于最小权最大匹配的启发式算法得到aod最小化的数据集调度策略。
[0174]
本实施例针对数据集的零等待离线数据年龄优化问题，提出了一种基于参数化舍入的近似算法。边缘网络数据年龄优化近似算法(appro)，在已知数据集集合的离线情况下，针对aod优化问题的一个特殊情况，即数据集须在生成时刻立即被调度(零等待)，基于上述框架的ilp解，设计基于最小权最大匹配的近似算法得到aod最小化的数据集调度策略。
[0175]
本实施例提出了一种基于多臂老虎机的在线学习算法以解决在线数据年龄优化问题。边缘网络数据年龄优化在线启发式算法(ol_mab)，在未知数据集集合、未知数据传输、处理延迟的在线情况下，基于上述框架的ilp解，设计基于mab的在线学习启发式算法得到aod最小化的数据集调度策略
[0176]
本发明还提供了一种边缘网络数据年龄优化系统，包括：
[0177]
模型构建模块，用于构建边缘网络数据年龄优化框架；所述边缘网络数据年龄优化框架包括目标函数和约束条件；所述目标函数是以数据年龄最小为目标，基于移动边缘计算网络中物联网设备生成的数据集从生成到处理的等待时间和将所述数据集传输至潜在位置并进行处理的延时构建的；所述约束条件包括所述数据集在生成之后被调度、数据集通过基站放置到潜在位置、潜在位置的计算能力大于处理请求的资源需求以及不超过物联网设备的预算；所述潜在位置包括移动边缘计算网络中的微云和远程数据中心。
[0178]
第一调度策略生成模块，用于当网络环境中数据集已知且无需在生成时刻被调度时，采用边缘网络数据年龄优化离线启发式算法对所述边缘网络数据年龄优化框架进行求
解，得到调度策略；所述调度策略为各数据集实现请求的目标位置；所述目标位置为微云或远程数据中心。
[0179]
第二调度策略生成模块，用于当网络环境中数据集已知且在生成时刻被调度时，采用边缘网络数据年龄优化近似算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
[0180]
第三调度策略生成模块，用于当网络环境中数据集未知、请求的到达和传输未知且延迟位置时，采用边缘网络数据年龄优化在线启发式算法对所述边缘网络数据年龄优化框架进行求解，得到调度策略。
[0181]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0182]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。