一种用于锚杆钻机装备的分布式文档管理系统及方法与流程

1.本发明属于电力施工技术领域，尤其涉及用于锚杆钻机装备的分布式文档管理系统。


背景技术：

2.在智能云系统上进行工程管理过程中，各方用户需要频繁的进行文件上传和下载操作，集群中的一部分节点会被经常用于处理用户请求，导致这部分阶段的负载状态处于过重状态，而其他节点应未被调度，处于闲置状态，使得整个系统的资源利用不合理，导致较差的用户体验，甚至影响用户业务的顺利执行。


技术实现要素：

3.针对现有技术的缺陷，本发明所要解决的技术问题就是提供一种用于锚杆钻机装备的分布式文档管理系统，实现对海量数据和文件进行高效的处理和管理。
4.为解决上述技术问题，本发明采用如下技术方案：
5.一种用于锚杆钻机装备的分布式文档管理系统，包括：
6.节点负载量计算模块，根据负载评价指标计算节点负载量；
7.节点负载状态判断模块，将节点负载量与设定的负载阈值进行比较，判断节点负载状态；
8.负载平衡模块，基于负载平衡调度算法对负载进行调度，从而实现负载平衡。
9.优选的，负载评价指标包括cpu利用率、内存使用率、磁盘i/o率。
10.优选的，采用双阈值策略将所有的分布式节点分为三个状态：轻载状态、适载状态和超载状态。
11.优选的，负载状态分层标准如下：
12.状态cpumemi/o轻载[0,14)[0,16)[0,19)适载[14，37)[16,40)[19,38)重载[37,100][40,100][38,100]。
[0013]
优选的，在节点重载时，如果有任务正在进行中，自找空闲节点，并将空闲节点信息返回给客户端，从而终止正在进行的任务，然后向调度节点更新负载信息。
[0014]
本发明还提供了一种用于锚杆钻机装备的分布式文档管理方法，包括如下步骤：
[0015]
i，由调度节点向所有的分布式节点发送负载量采集指令，根据收集上来的负载量，采用双阈值策略将所有的分布式节点划分至轻载、适载、重载三个队列，生成实时负载线性表，并同步至各个节点；
[0016]
ii，检查是否有新的用户请求，如有转到iii,否则转到iv；
[0017]
iii，从轻载队列中选择负载量最小的节点，并将节点信息返回至客户端；
[0018]
iv，检查是否有节点跨队列请求，若无，休眠一个周期，然后转至ii,否则转到v；
[0019]
v，根据负载线性表，并将更新后的表同步至各个节点，然后转到ii。
[0020]
本发明采用上述技术方案，基于负载平衡算法的分布式文档管理系统能够在处理多个施工现场的大量文件随机并发上传、下载的过程中，当集群中某些节点过载时，设计了平衡调度策略，对系统中正在处理的任务进行重新分配，将过载节点上的任务转移到轻载节点上，最终保证集群中各个节点的负载大致保持在平衡状态，从而实现对海量数据和文件进行高效的处理和管理。
[0021]
本发明的具体技术方案及其有益效果将会在下面的具体实施方式中结合附图进行详细的说明。
附图说明
[0022]
下面结合附图和具体实施方式对本发明作进一步描述：
[0023]
图1为负载迁移的流程图；
[0024]
图2为调度节点工作流程图；
具体实施方式
[0025]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0026]
为了实现对海量数据和文件进行高效的处理和管理，本发明引入分布式架构方案，应用负载平衡算法设计了一套分布式文档管理系统。
[0027]
在进行工程管理过程中，各方用户需要频繁的进行文件上传和下载操作，集群中的一部分节点会被经常用于处理用户请求，导致这部分阶段的负载状态处于过重状态，而其他节点应未被调度，处于闲置状态，使得整个系统的资源利用不合理，导致较差的用户体验，甚至影响用户业务的顺利执行。针对以上矛盾，基于负载平衡算法的分布式文档管理系统能够在处理多个施工现场的大量文件随机并发上传、下载的过程中，当集群中某些节点过载时，设计了平衡调度策略，对系统中正在处理的任务进行重新分配，将过载节点上的任务转移到轻载节点上，最终保证集群中各个节点的负载大致保持在平衡状态。
[0028]
围绕文件系统负载平衡策略，智云解决了如下三个关键问题：
[0029]
i，建立合适的节点负载评价方法，尽可能真实地对节点的负载量进行算；
[0030]
ii，选择合适的负载平衡阈值策略，判断节点轻载、超载状态；
[0031]
iii，设计满足要求的负载平衡调度算法。
[0032]
实施例一
[0033]
本发明提供了一种用于锚杆钻机装备的分布式文档管理系统，包括：
[0034]
节点负载量计算模块，根据负载评价指标计算节点负载量；
[0035]
节点负载状态判断模块，将节点负载量与设定的负载阈值进行比较，判断节点负载状态；
[0036]
负载平衡模块，基于负载平衡调度算法对负载进行调度，从而实现负载平衡。
[0037]
其中，节点负载评价选择cpu利用率、cpu温度、内存使用率、网络速率、系统响应时间、运行任务数、磁盘i/o率七个指标作节点负载评价的参考。基于层次分析法得出主要的影响指标是cpu利用率、内存使用率、磁盘i/o率三个要素。
[0038]
负载平衡阈值策略采用双阈值策略，将集群中所有的分布式节点分为三个状态，轻载状态、适载状态和超载状态。因此有两个边界值，一个用于节点轻载状态和适载状态的划分，另一个边界值用于节点适载状态和重载状态的划分。基于行业制定的统一标准，负载状态分层入表1所示。
[0039]
表1负载状态分层标准
[0040]
状态cpumemi/o轻载[0,14)[0,16)[0,19)适载[14,37)[16,40)[19，38)重载[37,100][40,100][38,100]
[0041]
在判断节点状态后，基于设计的负载迁移策略实现负载平衡。负载迁移的流程如图1所示，在节点重载时，如果有任务正在进行中，自找空闲节点，并将空闲节点信息返回给客户端，从而终止正在进行的任务，然后向调度节点更新负载信息。这里“终止正在进行的任务”是指在当前节点正在执行的任务，当获取到空闲节点的信息后，将当前节点正在执行的任务的数据发送的空闲节点。那么此时，当前节点的这个任务就可以终止了。后续任务队列中的任务以此类推，这样当前的节点的任务负荷就减轻了。
[0042]
实施例二
[0043]
如图2所示，一种用于锚杆钻机装备的分布式文档管理方法，
[0044]
包括如下步骤：
[0045]
i，系统启动后，由调度节点向所有的分布式节点发送负载量采集指令，根据收集上来的负载量，按照阈值策略将节点划分至轻载、适载、重载三个队列。生成实时负载线性表，并同步至各个节点；
[0046]
ii，检查是否有新的用户请求，如有转到iii,否则转到iv；这里新的用户请求，就是用户发起的新的任务，如图档上传、图档处理等。
[0047]
iii，从轻载队列中选择负载量最小的节点，并将节点信息返回至客户端；这里的节点信息是指空闲的节点信息。客户端获得空闲的节点信息(如对应节点地址、接口等)后，把需要处理的任务发送给空闲节点。
[0048]
iv，检查是否有节点跨队列请求，若无，休眠一个周期，然后转至ii，否则转到v；节点的队列是指任务队列。节点需要应对两类请求：调度指令(如负载收集指令、负载表更新指令等)和来自客户端对本节点的任务处理请求。其中，调度指令就是一种跨队列请求，即来自其他地方的，需要本节点做出应对的请求，只不过调度指令具有高优先级；另外，本节点发送给其他节点的任务，也是一种垮队列请求，是一种对外的发送的跨队列请求，同样的，相对于目的节点，这就是一个接收到的跨队列请求。
[0049]
v，根据负载线性表，并将更新后的表同步至各个节点，然后转到ii。
[0050]
至此，基于负载平衡的分布式文档管理完成。
[0051]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，熟悉
该本领域的技术人员应该明白本发明包括但不限于上面具体实施方式中描述的内容。任何不偏离本发明的功能和结构原理的修改都将包括在权利要求书的范围中。