一种积分系统中基于热度监测的文件访问路径优化方法与流程

1.本发明涉及积分领域，特别是涉及一种积分系统中基于热度监测的文件访问路径优化方法。


背景技术：

2.近年来由于互联网业务的迅猛发展，每天都产生了海量数据。随着云计算和大数据的发展和应用，越来越多的互联网业务系统，都采用了分布式存储技术，对海量数据进行存储。分布式存储技术，是通过网络充分使用系统中的每台机器上的磁盘空间，并将这些分散的存储资源构成一个虚拟的存储设备，数据分散的存储在企业的各个角落。分布式存储具备了较好的优势，包括可扩展：分布式存储系统可以扩展到数百甚至数千个这样的集群大小，并且系统的整体性能可以线性增长；高可用性：在分布式文件系统中，高可用性包含两层，一是整个文件系统的可用性，二是数据的完整和一致性；低成本：分布式存储系统的自动容错和自动负载平衡允许在成本较低服务器上构建分布式存储系统。此外，线性可扩展性还能够增加和降低服务器的成本；弹性存储: 可以根据业务需要灵活地增加或缩减数据存储以及增删存储池中的资源，而不需要中断系统运行等。
3.分布式存储技术中，通常采用分片存储技术，就是将大型数据库中的数据按照某种规则分成很多数据分片，再将这些数据分片分别存放在不同的服务器中，以减小每个服务器的数据访问压力，从而提高整个数据库系统的性能。
4.积分业务系统，由于应用众多、访问频繁、数据量大，也构建了分布式分片存储技术。但由于文件分片存储的节点性能、访问热度不均匀，导致了文件访问过程中，部分节点由于热度过高，读取速度慢，导致了整体文件访问效率下降的问题。而通常一个文件会有多个副本，副本通常都可以预设在低频访问的节点中，此时可以调整到低频访问节点，有效解决高热度访问节点带来的文件访问低效问题。本发明专利正式基于此需求背景和思想，构建的方法和系统。


技术实现要素：

5.本发明提供了一种积分系统中基于热度监测的文件访问路径优化方法。在积分数据存储系统中，基于文件元数据构建文件主副本的分片存储信息；实时监测各分片存储节点的访问热度，并通过与设定的热度模型进行比较，在高于热度阀值的情况下，查询该分片对应的副本存储节点的最低热度信息，如果副本存储节点的最低热度低于当前主本存储节点热度，则将元数据信息中的分片访问地址，更新为低热度的副本存储节点。本发明包括积分文件元数据分片存储信息模块、文件分片存储节点访问热度监测模块、热度评测模型及路径调整模块、系统管理配置模块。
6.1、积分文件元数据分片存储信息模块：在积分文件元数据信息中，构建分片存储的访问地址信息，包括供外部访问时，提供的各顺序分片的访问地址信息，和所有主副本存储地址信息，存储节点信息，主副本对应
关系信息。
7.2、文件分片存储节点访问热度监测模块：本模块对全局文件分片存储节点进行访问热度监测。任何一次该节点被访问的信息，都记录到热度监测数据中。设定热度监测的单位时间窗口，通过时间窗口，持续将记录和统计各节点的访问热度信息h(n)，发送给热度评测模型及路径调整模块。
8.3、热度评测模型及路径调整模块：在本模块，根据积分业务系统的运营运维经验，设定节点热度阀值f模型。可以统一设置（如节点性能配置均匀时，可设置为f0），或者按照不同节点性能进行不同的节点阀值设定（f(n)）。
9.在收到文件分片存储节点访问热度监测模块持续发送的各节点访问统计数据h(n)时，针对本节点n，如果：（1）h(n)《f(n)，则表示无需优化，不做任何调整处理；（2）h(n)≥f(n)，则表示热度过高，需要调整优化。此时，首先通过向积分文件元数据分片存储信息模块，查询该分片对应的各副本所存储节点的实时热度信息h(x)，找到其他对应副本存储节点的热度最小值min(h(x))：a、如果min(h(x)) 《 f(n)，则提取该最小值对应的副本访问地址信息，更新积分文件元数据分片存储信息模块中的该分片访问地址信息；如果min(h(x)) 》 f(n)，则比较h(n)与min(h(x))的大小，如果h(n) 》 min(h(x))，则表示副本节点最小热度比当前主分片热度低，则提取该最小值对应的副本访问地址信息，更新积分文件元数据分片存储信息模块中的该分片访问地址信息；否则表示尽管当前主分片访问热度过高，但对比其他副本所在节点的热度，依然是相对最优方式，访问地址不做更新处理。
附图说明
10.图1为一种积分系统中基于热度监测的文件访问路径优化方法系统结构图。
具体实施方式
11.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
12.请参阅图1，本发明实施实例中，一种积分系统中基于热度监测的文件访问路径优化方法，在积分数据存储系统中，基于文件元数据构建文件主副本的分片存储信息；实时监测各分片存储节点的访问热度，并通过与设定的热度模型进行比较，在高于热度阀值的情况下，查询该分片对应的副本存储节点的最低热度信息，如果副本存储节点的最低热度低于当前主本存储节点热度，则将元数据信息中的分片访问地址，更新为低热度的副本存储节点。本发明包括积分文件元数据分片存储信息模块（s01）、文件分片存储节点访问热度监测模块（s02）、热度评测模型及路径调整模块（s03）、系统管理配置模块（s04）。
13.1、积分文件元数据分片存储信息模块（s01）：
在积分文件元数据信息中，构建分片存储的访问地址信息，包括供外部访问时，提供的各顺序分片的访问地址信息，和所有主副本存储地址信息，存储节点信息，主副本对应关系信息。
14.2、文件分片存储节点访问热度监测模块（s02）：本模块对全局文件分片存储节点进行访问热度监测。任何一次该节点被访问的信息，都记录到热度监测数据中。设定热度监测的单位时间窗口，通过时间窗口，持续将记录和统计各节点的访问热度信息h(n)，发送给热度评测模型及路径调整模块（s03）。
15.3、热度评测模型及路径调整模块（s03）：在本模块，根据积分业务系统的运营运维经验，设定节点热度阀值f模型。可以统一设置（如节点性能配置均匀时，可设置为f0），或者按照不同节点性能进行不同的节点阀值设定（f(n)）。
16.在收到文件分片存储节点访问热度监测模块（s02）持续发送的各节点访问统计数据h(n)时，针对本节点n，如果：（1）h(n)《f(n)，则表示无需优化，不做任何调整处理；（2）h(n)≥f(n)，则表示热度过高，需要调整优化。此时，首先通过向积分文件元数据分片存储信息模块（s01），查询该分片对应的各副本所存储节点的实时热度信息h(x)，找到其他对应副本存储节点的热度最小值min(h(x))：a、如果min(h(x)) 《 f(n)，则提取该最小值对应的副本访问地址信息，更新积分文件元数据分片存储信息模块（s01）中的该分片访问地址信息；b、如果min(h(x)) 》 f(n)，则比较h(n)与min(h(x))的大小，如果h(n) 》 min(h(x))，则表示副本节点最小热度比当前主分片热度低，则提取该最小值对应的副本访问地址信息，更新积分文件元数据分片存储信息模块（s01）中的该分片访问地址信息；否则表示尽管当前主分片访问热度过高，但对比其他副本所在节点的热度，依然是相对最优方式，访问地址不做更新处理。
17.4、系统管理配置模块（s04）：本模块可以针对全局模块进行统一配置。包括对积分文件元数据分片存储信息模块（s01）中的各分片节点信息、主/副分片存储地址信息、供外部访问/读取的分片访问地址信息进行配置。对文件分片存储节点访问热度监测模块（s02）进行热度监测统计的时间窗口进行配置。对热度评测模型及路径调整模块（s03）中热度阀值进行统一预设，或者根据不同节点进行个性化设置，也可以对模块做开关设置，表示可以整体启用或者整体终止文件路径优化处理。