面向分布式存储系统的查询负载均衡方法

技术特征：
1.面向分布式存储系统的查询负载均衡方法，其特征在于：基于跟随者数据查询机制，设计基于代价评估的数据查询路由策略，通过分析查询过程消耗的资源情况，动态进行查询节点选择，完成数据查询；所述跟随者数据查询机制为：对集中于领导者的查询请求向跟随者节点进行负载转移，执行数据查询；所述基于代价评估的数据查询路由策略为：收集当前存储的各存储节点的通信开销进行动态的代价评估，选择最合适的跟随者节点执行跟随者数据查询。2.如权利要求1所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述跟随者数据查询机制具体包括如下步骤：s1：跟随者节点接受客户端数据查询请求；s2：跟随者节点向领导者节点发起日志信息校验请求，所述请求是应对集群中各节点状态在不断切换时，跟随者节点依旧保持与领导者数据的一致性；s3：领导者节点向其他跟随者节点确认自身领导者地位，获得认证后向跟随者响应日志信息，所述领导者通过主动向跟随者节点广播心跳信息，来确认自身领导者角色，向请求日志信息校验的跟随者节点反馈当前集群的commitindex；s4：跟随者节点接收反馈信息，在确认自身具备最新数据后执行查询操作并响应客户端，所述反馈信息仅包含日志信息commitindex。3.如权利要求2所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述跟随者数据查询机制的步骤s4中，跟随者节点接收反馈信息后，与自身存储数据的日志信息进行比较，若本地commitindex大于等于领导者节点的commitindex，即可确认自身节点已具备最新数据，执行查询操作，读取目标数据并响应客户端。4.如权利要求2所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述基于代价评估的数据查询路由策略具体包括如下步骤：s1'、统计数据查询代价信息：通过计算数据存储范围分区中的每个键值对的数据大小，来进行数据查询代价信息统计；s2'、确定参数：根据步骤s1'统计获得的数据查询代价信息，确定影响代价评估的常量因子，计算路由选择算法参数；所述影响代价评估的常量因子为计算机硬件信息；s3'、计算查询操作代价：依据基于代价评估的数据查询路由策略，计算各个节点的查询操作代价，所述查询操作代价为节点与存储层之间数据处理过程的耗时；s4'、确定目的节点：根据步骤s3'的操作代价值，确定查询路由，根据对各节点的代价评估结果，选择合适的目的节点进行数据查询，即选择合适的跟随者节点。5.如权利要求4所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述数据存储范围分区中每个键值对的数据大小计算方式为：其中，averagesize用于表示每个键值对的数据平均大小；range
total
用于表示当前分区所负责的数据总大小；range
keys
用于表示当前分区存储的键值对数目。6.如权利要求4所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述数据存储范围分区中的每个键值对的数据大小通过直方图信息来计算，每个直方图代表一个
range，其横轴的长度表示range内包含的键值对个数，纵轴的长度表述当前range存储的数据量大小，根据存储的键值对个数不同，可计算得到每个range分区中键值对数据的平均值大小。7.如权利要求5或6所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述步骤s3'中，节点通过raft集群的领导者节点和跟随者节点，与存储层之间数据处理过程的耗时计算方式为：的耗时计算方式为：其中，query
leader
用于表示通过领导者节点进行查询的总时间消耗；query
follower
用于表示通过跟随者节点进行查询的总时间消耗；cost
c-l
用于表示计算节点与领导者传输的网络消耗；cost
l-c
用于表示领导者与计算节点传输的网络消耗；cost
c-f
用于表示计算节点与跟随者传输的网络消耗；cost
f-c
用于表示跟随者与计算节点传输的网络消耗；result
size
用于表示查询结果集预估大小；cost
f-l
用于表示领导者节点与跟随者节点网络消耗；λ用于表示磁盘读取数据的消耗；磁盘读取数据的消耗；用于表示查询结果集在领导者与计算节点的传输过程中的时延消耗；用于表示查询结果集在跟随者与计算节点的传输过程中的时延消耗。8.如权利要求7所述的面向分布式存储系统的查询负载均衡方法，其特征在于：节点与领导者传输的网络消耗值cost
c-l
、领导者与计算节点传输的网络消耗值cost
l-c
、节点与跟随者传输的网络消耗值cost
c-f
、跟随者与计算节点传输的网络消耗值cost
f-c
均采取定时轮询的方式获取；所述领导者节点与跟随者节点网络消耗值cost
f-l
，若两个节点位于不同的机房时，其cost
f-l
取值范围在15-50ms；若两个节点位于相同机房，取值为0.1-0.25ms。9.如权利要求8所述的面向分布式存储系统的查询负载均衡方法，其特征在于：所述磁盘读取数据的消耗值λ与存储节点磁盘类型及查询数据量大小相关，具体为：λ＝result
size
*ν
read
其中，ν
read
表示磁盘的读取速率。

技术总结
本发明公开了一种面向分布式存储系统的查询负载均衡方法，基于跟随者数据查询机制，设计基于代价评估的数据查询路由策略，通过分析查询过程消耗的资源情况，动态进行查询节点选择，完成数据查询；其中，跟随者数据查询机制为：对集中于领导者的查询请求向跟随者节点进行负载转移，执行数据查询；基于代价评估的数据查询路由策略为：收集当前存储的各存储节点的通信开销进行动态的代价评估，选择最合适的跟随者节点执行跟随者数据查询，均衡利用节点的计算资源。的计算资源。的计算资源。


技术研发人员：毛冬 王红凯 姚一杨 陈彤 徐海洋 黄杰 黄奇 肖志清
受保护的技术使用者：东南大学
技术研发日：2022.08.08
技术公布日：2022/11/22