一种评估服务器性能的方法、系统、存储介质及设备与流程

1.本发明涉及服务器技术领域，尤其涉及一种评估服务器性能的方法、系统、存储介质及设备。


背景技术：

2.随着大数据市场的不断增长，数据表明目前已有250亿字节数据，并且每天以463eb的数据在增长，如何应对现有的海量数据成为现在最重要的课题之一。应运而生的技术如大数据与区块链技术的结合，这种结合使得网络架构将难以被篡改从而确保数据的安全性，数据结构更易于分析和理解。
3.大数据技术是指从各种类型的大体量数据中快速获得有价值信息的技术。这是大数据的核心问题。目前所说的大数据不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发的目的是发展大数据技术并将其应用到相关领域，通过解决大体量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理大体量数据并从中获取有价值的信息，也体现在如何加强大数据技术研发。大数据所涉及的关键技术大致包括6个方面：数据采集与数据管理、分布式存储和并行计算、大数据应用开发、数据分析与挖掘、大数据前端应用、数据服务和展现。
4.大数据技术正在向各行各业渗透。hadoop作为数据分布式处理系统的典型代表，已经成为该领域事实的标准。hadoop是一个使用java编写的apache(一个web服务器软件)开放源代码框架，它允许使用简单的编程模型跨大型计算机的大型数据集进行分布式处理。hadoop框架工作的应用程序可以在跨计算机群集提供分布式存储和计算的环境中工作。hadoop旨在从单一服务器扩展到数千台机器，每台机器都提供本地计算和存储。hadoop架构核心包括：分布式文件系统hdfs(hadoop distributed file system)、分布式计算系统mapreduce及分布式资源管理系统yarn。其中，hdfs是以分布式进行存储的文件系统，主要负责集群数据的存储和读取，是一个master/slave(主/从)体系结构的分布式文件系统，主要包括namenode和datanode。namenode是集群的管理者，管理整个文件系统的命名空间，用于存储元数据及处理客户端发送的请求，维护整个集群的状态，为了提高响应速度其大部分数据都常驻内存，则namenode内存的使用尤为重要。
5.众所周知，namenode全局锁(fsnamesystemlock)问题一直是制约hdfs性能，尤其是namenode处理能力的主要原因，一旦namenode出现性能问题，整个hadoop集群的性能将大大降低。目前namenode性能评测工具主要有混合负载生成器(slg)、nnbench，slg通过调整工作线程数量和操作之间的延迟参数来控制负载强度，nnbench则会生成很多与hdfs相关的请求，在hdfs上创建、读取、重命名和删除文件操作。上述两种工具均需部署hadoop，操作复杂、易出错、耗时长、需要相关技术人员进行操作。上述问题导致批量评估hadoop-namenode服务器的性能变得更加困难。


技术实现要素：

6.有鉴于此，本发明的目的在于提出一种评估服务器性能的方法、系统、存储介质及设备，用以解决批量评估hadoop-namenode服务器的性能存在很大困难的问题。
7.基于上述目的，本发明提供了一种评估服务器性能的方法，包括以下步骤：
8.收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；
9.响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；
10.对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；
11.基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
12.在一些实施例中，基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估包括：
13.设置多个线程，并使每个线程按照预设循环次数循环执行基于可重入读写锁的相关操作，并监控总执行时间，其中，基于可重入读写锁的相关操作包括依次获取文件读锁、获取文件写锁、执行文件写锁释放及执行文件读锁释放的操作；
14.基于总执行时间的大小确定满足预设要求的待测服务器的并行处理能力。
15.在一些实施例中，方法还包括：
16.将总执行时间与预设时间阈值进行比较，并将超过预设时间阈值的总执行时间所对应的待测服务器进行剔除。
17.在一些实施例中，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组包括：
18.将硬件信息中的处理器型号信息作为一级分组标签，且将处理器数量信息作为二级分组标签，并将内存总容量信息作为三级分组标签；
19.将多个待测服务器中具有相同的一级分组标签、二级分组标签及三级分组标签的待测服务器分至同一组，以得到若干服务器组。
20.在一些实施例中，基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求包括：
21.基于测试结果计算每个服务器组的平均内存性能值，并基于平均内存性能值设定范围值，并分别判断每个服务器组中的待测服务器的内存性能值是否处于范围值内；
22.将处于范围值内的待测服务器作为满足预设要求的待测服务器。
23.在一些实施例中，对每个服务器组进行内存性能评估测试包括：
24.对每个服务器组中的待测服务器分别进行内存带宽性能评估以及内存延迟性能评估。
25.在一些实施例中，待测服务器中安装有java开发工具以及内存性能评测工具。
26.本发明的另一方面，还提供了一种评估服务器性能的系统，包括：
27.判定模块，配置用于收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；
28.分组模块，配置用于响应于多个待测服务器处于健康状态，基于硬件信息将多个
待测服务器根据配置等级进行分组，以得到若干服务器组；
29.确认模块，配置用于对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；以及
30.评估模块，配置用于基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
31.本发明的又一方面，还提供了一种计算机可读存储介质，存储有计算机程序指令，该计算机程序指令被处理器执行时实现上述方法。
32.本发明的再一方面，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该计算机程序被处理器执行时执行上述方法。
33.本发明至少具有以下有益技术效果：
34.本发明通过服务器健康状态、内存基础性能以及编写可衡量服务器并行处理能力的程序来评估hadoop-namenode服务器的性能是否满足实际业务需求；通过使用可重入读写锁来控制并发读写，可模拟namenode实际运行业务场景，实现了快速地、智能地、批量地评估namenode服务器的处理能力，无需批量部署hadoop集群。
附图说明
35.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
36.图1为根据本发明实施例提供的评估服务器性能的方法的示意图；
37.图2为根据本发明实施例提供的评估服务器性能的系统的示意图；
38.图3为根据本发明实施例提供的实现评估服务器性能的方法的计算机可读存储介质的示意图；
39.图4为根据本发明实施例提供的执行评估服务器性能的方法的计算机设备的硬件结构示意图。
具体实施方式
40.为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。
41.需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称的非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备固有的其他步骤或单元。
42.基于上述目的，本发明实施例的第一个方面，提出了一种评估服务器性能的方法的实施例。图1示出的是本发明提供的评估服务器性能的方法的实施例的示意图。如图1所示，本发明实施例包括如下步骤：
43.步骤s10、收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服
务器是否处于健康状态；
44.步骤s20、响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；
45.步骤s30、对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；
46.步骤s40、基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
47.本实施例中，待测服务器的硬件信息主要包括：主机序列号、处理器型号信息、处理器数量、处理器节能状态信息、处理器微码信息、bios(basic input output system，基本输入输出系统)版本信息、内存型号信息、内存容量信息、内存插法信息、操作系统内核版本、处理器利用率信息、内存利用率信息、服务器健康状态。另外，如果有待测服务器不满足健康状态，则将其进行标记并剔除。
48.本发明实施例通过服务器健康状态、内存基础性能以及编写可衡量服务器并行处理能力的程序来评估hadoop-namenode服务器的性能是否满足实际业务需求；通过使用可重入读写锁来控制并发读写，可模拟namenode实际运行业务场景，实现了快速地、智能地、批量地评估namenode服务器的处理能力，无需批量部署hadoop集群。
49.在一些实施例中，待测服务器中安装有java开发工具以及内存性能评测工具。
50.本实施例适用于基于linux操作系统的待测服务器，并且还需要一个基于linux操作系统的远程管理服务器，该远程管理服务器与待测服务器可网络通信，待测服务器仅需安装java(一门面向对象的编程语言)开发工具(jdk)和内存性能评测工具。
51.在一些实施例中，基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估包括：设置多个线程，并使每个线程按照预设循环次数循环执行基于可重入读写锁的相关操作，并监控总执行时间，其中，基于可重入读写锁的相关操作包括依次获取文件读锁、获取文件写锁、执行文件写锁释放及执行文件读锁释放的操作；基于总执行时间的大小确定满足预设要求的待测服务器的并行处理能力。
52.本实施例中，通过java程序语言实现模拟namenode(管理文件系统的命名空间，维护着文件系统树及整棵树内所有的文件和目录)使用文件读写锁(可重入读写锁)来控制并发读写，通过调整并发线程数量对namenode进行负载加压，而每个线程循环获取文件读锁、获取文件写锁、文件写锁释放、文件读锁释放四个操作，计算全部线程完成一定数量获取文件读锁、获取文件写锁、文件写锁释放、文件读锁释放四个操作所用时间，时间长短表示处理能力强弱。构造基于线程分配的可重入读写锁类，创建可重入读写锁对象时采用公平锁属性。例如，可以创建100个线程并行获取文件读锁、获取文件写锁、执行文件写锁释放、执行文件读锁释放，每个线程循环执行上述四个操作10000次，使用linux系统下time命令监控上述java运行时间。
53.在一些实施例中，方法还包括：将总执行时间与预设时间阈值进行比较，并将超过预设时间阈值的总执行时间所对应的待测服务器进行剔除。
54.本实施例中，java程序在满足实际业务需求hadoop-namenode环境中的运行时间设为t，预设时间阈值可以是t*105％。
55.hadoop是一个由apache基金会所开发的分布式系统基础架构。用户可以在不了解
分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。hadoop实现了一个分布式文件系统(distributed file system)，其中一个组件是hdfs(hadoop distributed file system)。
56.在一些实施例中，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组包括：将硬件信息中的处理器型号信息作为一级分组标签，且将处理器数量信息作为二级分组标签，并将内存总容量信息作为三级分组标签；将多个待测服务器中具有相同的一级分组标签、二级分组标签及三级分组标签的待测服务器分至同一组，以得到若干服务器组。
57.在一些实施例中，基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求包括：基于测试结果计算每个服务器组的平均内存性能值，并基于平均内存性能值设定范围值，并分别判断每个服务器组中的待测服务器的内存性能值是否处于范围值内；将处于范围值内的待测服务器作为满足预设要求的待测服务器。
58.本实施例中，如果有待测服务器的内存性能值不处于该范围值内，则将其进行标记并剔除。
59.在一些实施例中，对每个服务器组进行内存性能评估测试包括：对每个服务器组中的待测服务器分别进行内存带宽性能评估以及内存延迟性能评估。
60.本实施例中，通过进行内存带宽性能、内存延迟性能检查，以确保待测服务器的内存性能满足基本性能要求。
61.在另一实施例中，将满足性能要求的服务器展示给用户，并对剔除的全部待测服务器进行问题定位和数据分析，将产生偏差的可能原因展示给用户。
62.具体地，可以通过带外协议如ipmi(intelligent platform management interface，智能平台管理接口)协议、redfish(一种基于https服务的管理标准，利用restful接口实现设备管理)协议，获取服务器硬件健康状态，定位服务器具体硬件故障问题推送至用户。
63.也可以通过相同配置服务器中内存型号信息、内存rank数量、单条内存容量、内存物理插法、numa拓扑关系、处理器微码信息对比，提取不一致参数并推送至用户。
64.还可以通过采集产品型号、制造商、处理器型号、处理器数量、处理器运行频率、处理器节能状态信息、处理器微码信息、内存型号信息、内存rank数量、单条内存容量、内存物理插法、numa拓扑关系、bios版本信息、bios设置、操作系统内核版本、处理器利用率信息、内存利用率信息，将上述信息与满足要求的服务器的参数进行比较，提取不一致参数并反馈用户。
65.本发明实施例的第二个方面，还提供了一种评估服务器性能的系统。图2示出的是本发明提供的评估服务器性能的系统的实施例的示意图。如图2所示，一种评估服务器性能的系统包括：判定模块10，配置用于收集所有待测服务器的硬件信息，并基于硬件信息分别判定每个待测服务器是否处于健康状态；分组模块20，配置用于响应于多个待测服务器处于健康状态，基于硬件信息将多个待测服务器根据配置等级进行分组，以得到若干服务器组；确认模块30，配置用于对每个服务器组进行内存性能评估测试，并基于测试结果确认每个服务器组中的待测服务器是否分别满足预设要求；以及评估模块40，配置用于基于可重入读写锁对满足预设要求的待测服务器进行并行处理能力评估。
66.本发明实施例的评估服务器性能的系统，通过服务器健康状态、内存基础性能以及编写可衡量服务器并行处理能力的程序来评估hadoop-namenode服务器的性能是否满足实际业务需求；通过使用可重入读写锁来控制并发读写，可模拟namenode实际运行业务场景，实现了快速地、智能地、批量地评估namenode服务器的处理能力，无需批量部署hadoop集群。
67.在一些实施例中，评估模块40进一步配置用于设置多个线程，并使每个线程按照预设循环次数循环执行基于可重入读写锁的相关操作，并监控总执行时间，其中，基于可重入读写锁的相关操作包括依次获取文件读锁、获取文件写锁、执行文件写锁释放及执行文件读锁释放的操作；基于总执行时间的大小确定满足预设要求的待测服务器的并行处理能力。
68.在一些实施例中，系统还包括剔除模块，配置用于将总执行时间与预设时间阈值进行比较，并将超过预设时间阈值的总执行时间所对应的待测服务器进行剔除。
69.在一些实施例中，分组模块20进一步配置用于将硬件信息中的处理器型号信息作为一级分组标签，且将处理器数量信息作为二级分组标签，并将内存总容量信息作为三级分组标签；将多个待测服务器中具有相同的一级分组标签、二级分组标签及三级分组标签的待测服务器分至同一组，以得到若干服务器组。
70.在一些实施例中，确认模块30进一步配置用于基于测试结果计算每个服务器组的平均内存性能值，并基于平均内存性能值设定范围值，并分别判断每个服务器组中的待测服务器的内存性能值是否处于范围值内；将处于范围值内的待测服务器作为满足预设要求的待测服务器。
71.在一些实施例中，确认模块30还包括内存性能评估模块，配置用于对每个服务器组中的待测服务器分别进行内存带宽性能评估以及内存延迟性能评估。
72.在一些实施例中，待测服务器中安装有java开发工具以及内存性能评测工具。
73.本发明实施例的第三个方面，还提供了一种计算机可读存储介质，图3示出了根据本发明实施例提供的实现评估服务器性能的方法的计算机可读存储介质的示意图。如图3所示，计算机可读存储介质3存储有计算机程序指令31。该计算机程序指令31被处理器执行时实现上述任一实施例的方法。
74.应当理解，在相互不冲突的情况下，以上针对根据本发明的评估服务器性能的方法阐述的所有实施方式、特征和优势同样地适用于根据本发明的评估服务器性能的系统和存储介质。
75.本发明实施例的第四个方面，还提供了一种计算机设备，包括如图4所示的存储器402和处理器401，该存储器402中存储有计算机程序，该计算机程序被该处理器401执行时实现上述任意一项实施例的方法。
76.如图4所示，为本发明提供的执行评估服务器性能的方法的计算机设备的一个实施例的硬件结构示意图。以如图4所示的计算机设备为例，在该计算机设备中包括一个处理器401以及一个存储器402，并还可以包括：输入装置403和输出装置404。处理器401、存储器402、输入装置403和输出装置404可以通过总线或者其他方式连接，图4中以通过总线连接为例。输入装置403可接收输入的数字或字符信息，以及产生与评估服务器性能的系统的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
77.存储器402作为一种非易失性计算机可读存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本技术实施例中的评估服务器性能的方法对应的程序指令/模块。存储器402可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储评估服务器性能的方法的使用所创建的数据等。此外，存储器402可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器402可选包括相对于处理器401远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
78.处理器401通过运行存储在存储器402中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例的评估服务器性能的方法。
79.最后需要说明的是，本文的计算机可读存储介质(例如，存储器)可以是易失性存储器或非易失性存储器，或者可以包括易失性存储器和非易失性存储器两者。作为例子而非限制性的，非易失性存储器可以包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦写可编程rom(eeprom)或快闪存储器。易失性存储器可以包括随机存取存储器(ram)，该ram可以充当外部高速缓存存储器。作为例子而非限制性的，ram可以以多种形式获得，比如同步ram(dram)、动态ram(dram)、同步dram(sdram)、双数据速率sdram(ddr sdram)、增强sdram(esdram)、同步链路dram(sldram)、以及直接rambus ram(drram)。所公开的方面的存储设备意在包括但不限于这些和其它合适类型的存储器。
80.本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。
81.结合这里的公开所描述的各种示例性逻辑块、模块和电路可以利用被设计成用于执行这里功能的下列部件来实现或执行：通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或其它可编程逻辑器件、分立门或晶体管逻辑、分立的硬件组件或者这些部件的任何组合。通用处理器可以是微处理器，但是可替换地，处理器可以是任何传统处理器、控制器、微控制器或状态机。处理器也可以被实现为计算设备的组合，例如，dsp和微处理器的组合、多个微处理器、一个或多个微处理器结合dsp和/或任何其它这种配置。
82.以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。
83.应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一
个以上相关联地列出的项目的任意和所有可能组合。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。
84.所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围(包括权利要求)被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。