一种ARM架构均衡计算型服务器系统的制作方法

一种arm架构均衡计算型服务器系统
技术领域
1.本发明涉及arm架构领域，更具体地涉及一种arm架构均衡计算型服务器系统。


背景技术：

2.国家电网承担着保障安全、经济、清洁、可持续电力供应的基本使命，公司信息化工作部是信息系统安全的管理部门，负责管理信息大区的安全保障，包括信息内网与信息外网，因此稳定的信息化系统尤为重要。
3.负载均衡是指通过一定的算法，在多台计算机之间分配请求和任务，使得各台计算机的工作负载达到基本均衡的状态，传统的应用系统大多是单体架构，存在稳定性差、资源率利用不高等缺点，arm架构是一个32位精简指令集(risc)处理器架构，能够完美完成嵌入式环境下的应用，指令执行速度更快，指令长度固定，能更好地对负载进行平衡，将工作任务、访问请求分摊到多个操作单元上进行执行，更好地实现流量分发，基于arm架构的均衡服务器系统在arm架构的优势下，能够弥补传统应用系统带来的缺点。
4.容器集群管理是负载均衡过程中的重要环节，容器集群管理器可以动态配置第三方负载均衡器，用于为应用层的容器提供负载均衡，但是现有的容器集群管理存在一些不足，部分国家电网单位存在内网服务器集群、外网服务器集群以及公有云服务器，在这种混合物理集群上，资源统一监控管理、业务的部署、运维等存在很高的复杂性，无法实现自动化的运维和资源管理，资源监控、镜像管理、持续集成、自动伸缩等特性无法成为一体。


技术实现要素：

5.为了克服现有技术的上述缺陷，本发明提供了一种arm架构均衡计算型服务器系统，以解决上述背景技术中存在的问题。
6.本发明提供如下技术方案：一种arm架构均衡计算型服务器系统，包括请求模块、容器集群模块、业务服务模块、数据存储模块以及安全防护模块，所述请求模块主要为用户访问系统的交互界面，所述容器集群模块对集群中的主机及集群中部署的大量应用进行统一的资源调度管理，所述容器集群模块包括资源监控单元、持续集成单元、运维部署单元、自动伸缩单元以及负载预测单元，所述资源监控单元对接入集群中的每台主机及部署的每个应用进行统一的监控管理，所述资源监控单元包括数据采集子单元、数据处理子单元以及监控报警子单元，主要包括以下步骤：
7.步骤s01：数据采集子单元通过部署在各个主机上的监控代理采集主机上和主机上部署的容器应用的资源使用数据，并将采集的数据发送到指定的数据处理子单元对数据进行统一的规格化处理，所述数据采集频率为30秒/次；
8.步骤s02：数据处理子单元对各种监控代理工具采集的数据进行预处理和规格化处理，包括异常值与缺失值的处理和填充，最后把采集的数据处理成符合其它单元要求的格式存储到数据库中；
9.步骤s03：监控报警子单元对数据采集子单元中的数据与预先设置的阈值进行比
较，当超过制定的阈值时，便发出报警信息；
10.所述负载预测单元通过负载计算公式建立动态负载模型，所述负载计算公式为：所述业务服务模块主要是为了给用户提供具体服务，所述业务服务模块包括用户管理单元、历史数据查询单元以及故障记录单元，所述数据存储模块主要包括mysql、redis和时序数据库，所述安全防护模块主要通过防火墙、限制访问ip、过滤非法字段等手段保护整个系统。
11.进一步的，所述持续集成单元负责一天多次将代码集成到代码主干，然后对代码进行代码快速拉取、测试、打包、构建与部署，实现产品的快速迭代。
12.进一步的，所述运维部署单元负责帮助用户部署调试应用时使用，运维部署单元主要包括自动化部署子单元、远程调试子单元、日志子单元、主机管理子单元以及存储子单元，所述自动化部署子单元在用户上传应用部署包后可以实现一键把应用自动部署到集群中，所述远程调试子单元可以远程进入容器内部，对应用进行远程调试，所述日志子单元使用户可以远程查看应用容器的日志，查询应用的错误，所述主机管理子单元对接入平台的主机进行监控管理，所述存储管理子单元对平台中的存储资源进行统一管理，包括增加、删除、修改、检查。
13.进一步的，所述自动伸缩单元负责帮助用户应用实现动态负载均衡。
14.进一步的，所述请求模块中用户可以通过手机小程序、web网页浏览、电脑客户端进行访问该系统，通过配置好的负载均衡算法，将用户请求分发到集群中更空闲的物理机上，从单台物理机的维度初步降低了系统集群的不均衡度。
15.进一步的，所述用户管理单元负责对该系统的用户权限进行统一的管理，所述历史数据查询单元可以通过输入省份、市级、时间对各省各市已统计的用电数据进行查询，并且可以通过报表导出功能将用电数据导出为excel形式的文档，所述故障记录单元对电网损坏情况进行记录，便于工作人员进行原因分析并进行相应研究与规划改革。
16.进一步的，所述步骤s02中的监控代理工具包括cadvisor以及prometheus。
17.进一步的，所述步骤s03中发出报警信息的方式为邮件报警或者微信报警。
18.本发明的技术效果和优点：
19.1.本发明通过设有容器集群模块，有利于在arm架构基础上，通过优化容器集群技术，实现自动化的运维与资源管理，构建一个集资源监控、镜像管理、持续集成、自动伸缩等特性于一体的容器集群管理模块，实现对接入平台主机和平台中部署的容器进行统一的监控管理，提高集群资源的利用率，保证应用的稳定运行。
附图说明
20.图1为本发明的arm架构均衡计算型服务器系统结构图。
21.图2为本发明的容器集群模块结构图。
22.图3为本发明的资源监控单元流程图。
具体实施方式
23.下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，另
外，在以下的实施方式中记载的各结构的形态只不过是例示，本发明所涉及的一种arm架构均衡计算型服务器系统并不限定于在以下的实施方式中记载的各结构，在本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施方式都属于本发明保护的范围。
24.本技术使用的“模块”、“系统”等术语旨在包括与计算机相关的实体，例如但不限于硬件、固件、软硬件组合、软件或者执行中的软件。例如，模块可以是，但并不仅限于：处理器上运行的进程、处理器、对象、可执行程序、执行的线程、程序和/或计算机。举例来说，计算设备上运行的应用程序和此计算设备都可以是模块。一个或多个模块可以位于执行中的一个进程和/或线程内，一个模块也可以位于一台计算机上和/或分布于两台或更多台计算机之间。
25.本发明提供了一种arm架构均衡计算型服务器系统，包括请求模块、容器集群模块、业务服务模块、数据存储模块以及安全防护模块，所述请求模块主要为用户访问系统的交互界面，所述容器集群模块对集群中的主机及集群中部署的大量应用进行统一的资源调度管理，所述容器集群模块包括资源监控单元、持续集成单元、运维部署单元、自动伸缩单元以及负载预测单元，所述资源监控单元对接入集群中的每台主机及部署的每个应用进行统一的监控管理，包括cpu资源、内存资源、文件资源和网络i/o等资源监控，并以可视化界面的方式展现给用户和管理员，当出现异常时能够监控报警，对集群进行修复，所述资源监控单元包括数据采集子单元、数据处理子单元以及监控报警子单元，主要包括以下步骤：
26.步骤s01：数据采集子单元通过部署在各个主机上的监控代理采集主机上和主机上部署的容器应用的资源使用数据，并将采集的数据发送到指定的数据处理子单元对数据进行统一的规格化处理，所述数据采集频率为30秒/次；
27.步骤s02：数据处理子单元对各种监控代理工具采集的数据进行预处理和规格化处理，包括异常值与缺失值的处理和填充，最后把采集的数据处理成符合其它单元要求的格式存储到数据库中；
28.步骤s03：监控报警子单元对数据采集子单元中的数据与预先设置的阈值进行比较，当超过制定的阈值时，便发出报警信息；
29.所述负载预测单元通过负载计算公式建立动态负载模型，在考虑cpu、内存、磁盘i/o、网络io四种最关键因素以及系统提供服务类型和每台物理机负载影响的情况下，完整地表现当前系统的整体负载情况，所述负载计算公式为：其中，lc表示某物理机cpu经过归一化处理后的数值，lm表示某物理机内存经过归一化处理后的数值，li表示某物理机磁盘i/o经过归一化处理后的数值，ln表示网络io经过归一化处理后的数值，相应的四个α参数代表四个负载参数在模型中所占的权重，由系统提供的服务类型所决定，例如是io密集型，则αi参数比其他三个参数更大，所述业务服务模块主要是为了给用户提供具体服务，所述业务服务模块包括用户管理单元、历史数据查询单元以及故障记录单元，所述数据存储模块主要包括mysql、redis和时序数据库，系统运行时的数据均通过mysql进行保存，用户在进行查询时，通过java程序写好的相应查询sql语句进行查询，redis主要负责相关热点数据以及时效数据，进行高效的查询展示，时序数据主要负责均衡调度时各模块之间的数据通信，所述安全防护模块主要通过防火墙、限制访问ip、过滤非法
字段等手段保护整个系统。
30.在一个优选的实施方式中，所述持续集成单元负责一天多次将代码集成到代码主干，然后对代码进行代码快速拉取、测试、打包、构建与部署，实现产品的快速迭代。
31.在一个优选的实施方式中，所述运维部署单元负责帮助用户部署调试应用时使用，运维部署单元主要包括自动化部署子单元、远程调试子单元、日志子单元、主机管理子单元以及存储子单元，所述自动化部署子单元在用户上传应用部署包后可以实现一键把应用自动部署到集群中，所述远程调试子单元可以远程进入容器内部，对应用进行远程调试，所述日志子单元使用户可以远程查看应用容器的日志，查询应用的错误，所述主机管理子单元对接入平台的主机进行监控管理，所述存储管理子单元对平台中的存储资源进行统一管理，包括增加、删除、修改、检查。
32.在一个优选的实施方式中，所述自动伸缩单元负责帮助用户应用实现动态负载均衡，即根据应用自身负载动态的增加或减少应用实例的个数，在保证用户应用性能和可靠性的基础上，提高集群资源的利用率。
33.在一个优选的实施方式中，所述请求模块中用户可以通过手机小程序、web网页浏览、电脑客户端进行访问该系统，本发明不对访问形式做具体限定，当用户输入网址进行访问时，该数据包通过一系列的网络传输过程，到达了arm服务器，通过配置好的负载均衡算法，将用户请求分发到集群中更空闲的物理机上，从单台物理机的维度初步降低了系统集群的不均衡度。
34.在一个优选的实施方式中，所述用户管理单元负责对该系统的用户权限进行统一的管理，管理员具有最高权限，中以添加删除用户，而游客只能对电网内部网站进行浏览查看，所述历史数据查询单元可以通过输入省份、市级、时间对各省各市已统计的用电数据进行查询，并且可以通过报表导出功能将用电数据导出为excel形式的文档，所述故障记录单元对电网损坏情况进行记录，便于工作人员进行原因分析并进行相应研究与规划改革。
35.在一个优选的实施方式中，所述步骤s02中的监控代理工具包括cadvisor以及prometheus，使用cadvisor收集平台中主机资源使用数据和容器应用的资源使用数据，使用prometheus收集容器应用中用户自定义的监控数据。
36.在一个优选的实施方式中，所述步骤s03中发出报警信息的方式为邮件报警或者微信报警中的一种，在此不对具体报警方式做具体限定，所述邮件报警方式通过发布订阅的方式，订阅消息队列中的告警信息，当消息队列中有告警信息时，以邮件的方式发送系统的管理员，所述微信报警方式通过发布订阅的方式，订阅消息队列中的告警信息，当消息队列中有告警信息时，以微信消息的方式发送系统的管理员。
37.本实施例中，需要具体说明的是，本实施与现有技术的区别主要在于本实施例具备容器集群模块，能够在arm架构基础上，通过优化容器集群技术，实现自动化的运维与资源管理，构建一个集资源监控、镜像管理、持续集成、自动伸缩等特性于一体的容器集群管理模块，实现对接入平台主机和平台中部署的容器进行统一的监控管理，提高集群资源的利用率，保证应用的稳定运行。
38.最后：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
39.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
40.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
41.在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
42.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
43.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
44.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
45.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。