基于多智能体强化学习模型的边缘缓存方法和装置与流程

技术特征：
1.一种基于多智能体强化学习模型的边缘缓存方法，其特征在于，应用于本地服务器，包括：获取当前缓存的多个内容的信息，所述信息包括内容标识、第一存储状态和所述内容的第一流行度，所述多个内容包括第一流行度大于第一流行度阈值的高等流行度内容，以及，第一流行度小于第一流行度阈值且大于第二流行度阈值的中等流行度内容，所述第一流行度阈值大于所述第二流行度阈值，所述第一流行度表示所述内容被请求的概率，所述中等流行度内容用于被终端设备请求或与邻近服务器进行合作被所述邻近服务器获取；通过多智能体强化学习模型对所述内容标识、所述第一存储状态和所述第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；根据所述目标内容标识、所述目标存储状态和所述目标内容对应的目标流行度，对当前缓存的内容进行更新。2.根据权利要求1所述的方法，其特征在于，所述通过多智能体强化学习模型对所述内容标识、所述第一存储状态和所述第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态，包括：针对每一个内容，根据所述内容标识，分别获取所述邻近服务器将所述内容发送至所述本地服务器的第一时延，以及，中心服务器将所述内容发送至所述本地服务器的第二时延，并在所述邻近服务器中获取所述内容的第二存储状态和第二流行度；根据所述第一存储状态、所述第一流行度、所述第二存储状态、所述第二流行度、所述第一时延和所述第二时延，计算缓存所述内容对应的瞬时收益、平均收益和收益估计值，所述瞬时收益表示所述内容对应的时延减少量；根据所述瞬时收益、所述平均收益和所述收益估计值，确定下一时刻缓存的临时内容的临时内容标识和临时存储状态，并根据临时内容标识确定临时内容对应的临时流行度；对所述临时内容重复执行上述步骤，直至得到符合预设条件的目标内容的目标内容标识和目标存储状态。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一存储状态、所述第一流行度、所述第二存储状态、所述第二流行度、所述第一时延和所述第二时延，计算缓存所述内容对应的瞬时收益、平均收益和收益估计值，包括：根据公式：计算缓存所述内容对应的瞬时收益；其中，表示内容f对应的瞬时收益，x
kf
表示内容f在本地服务器k中的第一存储状态，p
kf
表示内容f在本地服务器k中的第一流行度，d
s
表示第二时延，p
k'f
表示内容f在邻近服务器k'中的第二流行度，x
k'f
表示内容f在邻近服务器k'中的第二存储状态，d
n
表示第一时延，表示所有服务器的集合，k表示本地服务器，n表示内容f的数量，n＞1；根据公式：计算缓存所述内容对应的平均收益；
其中，表示到t时刻在本地服务器k缓存所述内容f对应的平均收益，表示到t-1时刻在本地服务器k缓存所述内容f对应的平均收益，表示直到t-1时刻，内容f在本地服务器k的缓存次数；根据公式：计算缓存所述内容对应的收益估计值；其中，表示当前时刻t在本地服务器k缓存所述内容f对应的收益估计值，表示到t-1时刻在本地服务器k缓存所述内容f对应的平均收益。4.根据权利要求2或3所述的方法，其特征在于，所述对所述临时内容重复执行上述步骤，直至得到符合预设条件的目标内容的目标内容标识和目标存储状态，包括：在每次执行时，计算所述临时内容对应的总收益估计值；在当前得到的所述临时内容的总收益估计值与上一次得到的所述临时内容的总收益估计值的差值小于预设阈值，或，重复执行上述步骤的次数达到循环次数阈值时，按照得到的所述临时内容对应的收益估计值从大到小的顺序，将预设数量个所述临时内容确定为目标内容，并确定目标内容标识和目标存储状态。5.根据权利要求4所述的方法，其特征在于，所述计算所述临时内容对应的总收益估计值，包括：根据公式：和公式计算所述临时内容对应的总收益估计值；其中，表示本地服务器缓存的所有临时内容对应的总收益估计值，表示内容f对应的收益估计值，表示所有服务器的集合，k表示本地服务器，n表示内容f的数量，n＞1，x
kf
表示内容f在本地服务器k中的存储状态，c
k
表示本地服务器k的存储空间。6.根据权利要求2所述的方法，其特征在于，所述邻近服务器满足约束条件：其中，k'表示所述邻近服务器，表示所有所述邻近服务器的集合，d
kk'
表示所述本地服务器k和所述邻近服务器k'的之间的直线距离，r表示服务器对应的基站的无线电有效传输范围。7.一种基于多智能体强化学习模型的边缘缓存装置，其特征在于，包括：获取模块，用于获取当前缓存的多个内容的信息，所述信息包括内容标识、第一存储状态和所述内容的第一流行度，所述多个内容包括第一流行度大于第一流行度阈值的高等流行度内容，以及，第一流行度小于第一流行度阈值且大于第二流行度阈值的中等流行度内容，所述第一流行度阈值大于所述第二流行度阈值，所述第一流行度表示所述内容被请求的概率，所述中等流行度内容用于被终端设备请求或与邻近服务器进行合作被所述邻近服务器获取；处理模块，用于通过多智能体强化学习模型对所述内容标识、所述第一存储状态和所
述第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；更新模块，用于根据所述目标内容标识、所述目标存储状态和所述目标内容对应的目标流行度，对当前缓存的内容进行更新。8.一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-6中任一项所述的方法。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-6任一项所述的方法。10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时，实现上述权利要求1-6任一项所述的方法。

技术总结
本申请实施例提供了一种基于多智能体强化学习模型的边缘缓存方法和装置，通过获取当前缓存的多个高等流行度内容和中等流行度内容的信息，信息包括内容标识、第一存储状态和内容的第一流行度，第一流行度表示内容被请求的概率，中等流行度内容可用于与邻近服务器进行合作被邻近服务器获取；通过多智能体强化学习模型对内容标识、第一存储状态和第一流行度进行处理，得到下一时刻缓存的目标内容的目标内容标识和目标存储状态；并对当前缓存的内容进行更新。本申请提供的技术方案提高了终端设备请求的内容在本地服务器和邻近服务器中的命中率，从而减少了终端设备请求内容的时延，有效地提升了用户体验。有效地提升了用户体验。有效地提升了用户体验。


技术研发人员：徐海涛 杨羽涛 邬惠峰 戴翚
受保护的技术使用者：杭州电子科技大学
技术研发日：2021.12.14
技术公布日：2022/3/15