分布式共享内存的运行控制方法、装置、设备及存储介质
本申请涉及共享内存,尤其涉及一种分布式共享内存的运行控制方法、装置、设备及存储介质。
背景技术:
1、随着数据规模增长,单机内存不足,因此出现利用rdma等高速互连技术将多台服务器内存组织成多节点内存池的分布式共享内存方案,其将多节点内存组织为分布式共享内存,并以归属节点维护目录信息、按需在本地建立缓存。
2、然而现有分布式共享内存系统通常对远程数据在首次访问后即建立缓存,对于访问频率较低或复用性较差的数据,建立缓存会增加数据传输和副本维护开销,使低价值缓存过多。
3、因此在访问数据时,出现无差别缓存,导致低价值缓存多,是本领域亟需解决的技术问题。
技术实现思路
1、本申请的主要目的在于提供一种分布式共享内存的运行控制方法、装置、设备及存储介质,旨在解决在访问数据时,出现无差别缓存,导致低价值缓存多的技术问题。
2、为实现上述目的,本申请提供一种分布式共享内存的运行控制方法,包括:
3、获取请求节点对目标数据块的访问特征,以及所述目标数据块的归属节点的目录信息;
4、根据所述访问特征进行缓存准入判定;
5、若所述访问特征中的访问频率信息小于访问频率阈值,则根据所述访问特征控制所述请求节点远程访问所述目标数据块;
6、若所述访问特征中的访问频率信息大于等于访问频率阈值,则根据所述访问特征确定所述请求节点对所述目标数据块的读写局部性;
7、根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,以完成分布式共享内存的运行控制。
8、在一实施例中,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,包括:
9、根据所述读写局部性的读取局部性进行只读缓存判定,若所述读取局部性满足缓存条件,则对所述请求节点建立只读缓存;
10、根据所述读写局部性的写入局部性和所述目录信息的写入所有权信息进行写入所有权判定,若所述写入局部性不满足写入所有权条件,则对所述请求节点不授予写入所有权并生成细粒度远程更新请求;
11、在所述写入所有权信息为所述目标数据块尚无写入所有者的情况下,若所述写入局部性满足写入所有权条件,则对所述请求节点授予写入所有权并建立可写缓存。
12、在一实施例中,所述缓存条件至少包括以下一项:
13、所述请求节点在设定统计窗口内对所述目标数据块的读次数大于或等于读次数阈值;
14、所述请求节点在设定统计窗口内对所述目标数据块的读访问占比大于或等于读占比阈值;
15、所述请求节点对所述目标数据块的读访问间隔方差小于或等于读间隔方差阈值。
16、在一实施例中,所述写入所有权条件至少包括以下一项:
17、所述请求节点在设定统计窗口内对所述目标数据块的写次数大于或等于写次数阈值;
18、所述请求节点在设定统计窗口内对所述目标数据块的写访问占比大于或等于写占比阈值;
19、所述请求节点对所述目标数据块的写访问间隔方差小于或等于写间隔方差阈值;
20、所述请求节点对所述目标数据块的写入范围大于或等于写入范围阈值。
21、在一实施例中,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,包括:
22、在所述写入所有权信息为所述目标数据块已有写入所有者的情况下,根据所述读写局部性中的写入局部性和所述目录信息中的写入所有权信息进行写入所有权迁移判定;
23、若所述请求节点的写入局部性满足写入所有权迁移条件,则控制所述目标数据块的归属节点将所述目标数据块的写入所有权从所述写入所有者迁移至所述请求节点;
24、若所述请求节点的写入局部性不满足写入所有权迁移条件,则不迁移写入所有权并生成细粒度远程更新请求。
25、在一实施例中,所述生成细粒度远程更新请求之后,还包括:
26、将所述细粒度远程更新请求归入缓冲区,并计算远程更新请求数量,得到请求数量值;
27、根据所述请求数量值进行聚合判定,若所述请求数量值超过预设请求数量阈值,则将所述细粒度远程更新请求合并发送至所述目标节点。
28、在一实施例中,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,还包括:
29、根据所述归属节点获取缓存副本;
30、根据所述目录信息的版本对所述缓存副本进行缓存副本验证判定;
31、若所述缓存副本的本地版本与所述目录信息的版本一致,则继续使用所述缓存副本;
32、若所述缓存副本的本地版本与所述目录信息的版本不一致,则将所述缓存副本标记为无效。
33、此外,为实现上述目的,本申请还提供一种分布式共享内存的运行控制装置,包括:
34、获取模块,用于获取请求节点对目标数据块的访问特征,以及所述目标数据块的归属节点的目录信息;
35、判定模块,用于根据所述访问特征进行缓存准入判定;
36、控制模块,用于若所述访问特征中的访问频率信息小于访问频率阈值,则根据所述访问特征控制所述请求节点远程访问所述目标数据块;
37、确定模块,用于若所述访问特征中的访问频率信息大于等于访问频率阈值,则根据所述访问特征确定所述请求节点对所述目标数据块的读写局部性;
38、结果模块,用于根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,以完成分布式共享内存的运行控制。
39、此外,为实现上述目的,本申请还提出一种分布式共享内存的运行控制设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如上文所述的分布式共享内存的运行控制方法的步骤。
40、此外,为实现上述目的,本申请还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如上文所述的分布式共享内存的运行控制方法的步骤。
41、本申请提供了一种分布式共享内存的运行控制方法,本申请由于采用了获取请求节点对目标数据块的访问特征及归属节点的目录信息,并根据访问特征进行缓存准入判定、仅在访问频率信息大于等于访问频率阈值时才根据访问特征确定读写局部性、再根据读写局部性和目录信息进行缓存与写入所有权控制的技术手段,使得缓存建立和写入所有权控制均以访问频率准入和读写局部性为依据,避免了对访问频率低或复用性差的数据无差别建立缓存,进而解决了现有分布式共享内存系统在访问数据时无差别缓存、导致低价值缓存多的技术问题,与现有技术相比,减少了低价值缓存建立及其带来的数据传输和副本维护开销。
1.一种分布式共享内存的运行控制方法,其特征在于,包括:
2.根据权利要求1所述的分布式共享内存的运行控制方法,其特征在于,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,包括:
3.根据权利要求2所述的分布式共享内存的运行控制方法,其特征在于,所述缓存条件至少包括以下一项:
4.根据权利要求2所述的分布式共享内存的运行控制方法,其特征在于,所述写入所有权条件至少包括以下一项:
5.根据权利要求1所述的方法,其特征在于,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,包括:
6.根据权利要求2或5所述的方法,其特征在于,所述生成细粒度远程更新请求之后,还包括:
7.根据权利要求1所述的方法,其特征在于,所述根据所述读写局部性和所述目录信息进行缓存与写入所有权控制,还包括:
8.一种分布式共享内存的运行控制装置,其特征在于,包括:
9.一种分布式共享内存的运行控制设备,其特征在于,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述计算机程序配置为实现如权利要求1至7中任一项所述的分布式共享内存的运行控制方法的步骤。
10.一种存储介质,其特征在于,所述存储介质为计算机可读存储介质,所述存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的分布式共享内存的运行控制方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com