一种基于容器的构建缓存系统设计方法与流程

1.本发明涉及计算机云计算体系架构领域，特别涉及云原生场景下构建缓存系统的设计方法


背景技术：

2.云计算已经成为现在信息技术领域不可忽略的重要组成部分，大量的中小企业、传统企业及新兴行业在开始拥抱云计算，将企业软件系统托管至公有云/私有云服务当中。
3.在云计算服务提供中，微服务架构在近年来得到企业界和学术界的广泛关注。而最为引领当下云计算服务潮流的当为基于云原生的微服务架构。
4.与传统物理机/虚拟机模式下的服务发布、托管及运行不同，云原生模式下的微服务发布及治理更为强调资源的集约化管理，即资源池化，将计算机体系领域的资源细粒度的控制为计算、存储及网络资源，通过软硬件协同管理的方式实现资源的集约化管理，提高整个it系统的稳定性、可用性和系统运行效率，为企业实现降本增效的目的。
5.因此，在当前的云计算领域，基于云原生的软件开发、管理、发布和维护流程成为近年来尤为热点的领域。
6.在云原生的企业级应用中，基于云端的软件构建和发布是整个企业研发生命周期的第一个环节。在当前的应用模式下，研发人员在进行研发活动时所进行的代码编译和调试都发生在云主机内部。而通常情况下，云主机为一个或多个研发人员共享，每个研发人员有相对独立的云主机资源开展研发行为。在软件研发过程中，研发人员通常会进行大量的反复开发和调试，而每一次开发和调试都会触发相应的编译构建行为，因此，大量的研发时间耗费在构建行为上，降低企业研发流程效率。
7.在已有的解决方案中，针对构建效率提升，通常会在每个研发人员的研发空间内创建相应的缓存目录，该研发人员的所有构建产物都会放入该目录下，从而对加速之后的构建行为，提高研发效率。但是，这样的操作方式下，由于每个研发人员在进行编译构建活动的时候都相对独立和隔离，无法实现构建行为和活动的共享，造成云主机资源的浪费和构建效率的降低。


技术实现要素：

8.本发明针对现有技术中存在的上述问题，提供一种基于容器的共享缓存系统设计方法和装置，能够根据云平台上用户编译构建历史，甄别出共性文件和耗时较长的长尾文件，制作相应的缓存产物容器。利用云原生的部署方式，将缓存容器推送到相应的云主机进行挂载，从而实现构建产物的多用户共享，提高云环境下编译构建效率提升和资源集约。
9.本发明解决上述技术问题的技术方案为，提供一种基于容器的共享缓存系统，包括：
10.构建行为数据收集模块：作为用户构建过程数据收集装置，部署在云主机上，监控每一个构建指令的执行时间、内存、磁盘开销，并将元数据上报至构建行为数据分析模块；
11.构建行为数据分析模块：作为用户构建行为数据收集服务端，接收来自各个构建行为数据收集模块的用户构建行为数据，并按照构建语言、构建仓库名称等信息归类整理；
12.构建缓存镜像制作模块：根据构建行为数据整理模块数据，分析及提取构建过程中的行为数据，制作构建产物缓存容器；
13.构建缓存镜像推送模块：事件触发模块，根据构建缓存镜像制作模块状态，一旦其状态发生变更，则根据其缓存镜像元信息，进行缓存镜像推送；其中，构建行为数据收集模块为整个系统运行的前置系统，部署在各个运行的云主机上，由云主机上的构建行为触发监听，收集构建行为中的每一条构建行为的执行时间、内存和磁盘开销，并上报至共享缓存系统的构建行为分析模块。
14.构建行为分析模块接收构建行为数据收集模块上传的元数据，以语言、仓库名称等信息进行数据聚合，并根据构建行为中的耗时和资源开销进行排序，列出top k文件
15.构建缓存镜像制作模块为整个系统运行的核心，由定时任务触发，分析和提取构建行为分析模块生成的文件排序，并根据已有的产物制作共享缓存的容器镜像，并通知构建缓存镜像推送模块
16.构建缓存镜像推送模块收到构建缓存镜像制作模块通知后，会进行缓存镜像的推送，将缓存镜像部署到相应的云主机上。
附图说明
17.图1整体架构及交互流程
18.图2构建行为数据收集模块
19.图3构建行为数据分析模块
20.图4构建缓存镜像制作模块
21.图5构建缓存镜像推送模块
具体实施方式
22.为使本发明目的、技术方案及有点更加清晰明白，以下参照附图并举实例，对本发明作进一步详细说明
23.在云计算构建系统中，用户研发行为大都集中于本地的开发与调试后的编译构建，使用本地构建工具进行具体的编译构建行为。在整个编译构建的过程中，会产生大量中间产物，通常可以理解为一个源代码文件所对应的二进制文件为一个中间产物，最终的可执行程序由大量的中间产物进行拼装和链接完成，或者在动态运行时加载完成。因此，整个构建行为从源代码到最终可执行程序，将主要包含三个过程：源代码编写，源代码编译成中间产物，中间产物链接成最终可执行程序。
24.本发明基于容器化管理，通过云原生的数据采集和发布方式，进行构建过程数据收集、分析和缓存容器的构建及推送，从而提高在云主机构建行为的构建效率，降低云主机缓存资源损耗。
25.如图1为整体架构及交互流程图。
26.如图2为本发明构建行为数据收集模块结构示意图。该数据收集模块装置包括：
27.用户构建行为监听器510：用于接收用户构建行为，收集用户构建元数据
28.主机cpu占用率监听器520：用于监听构建过程中每个文件对cpu的开销
29.主机内存占用率监听器530:用于监听构建过程中每个文件对内存的开销
30.主机磁盘占用率监听器540:用于监听构建过程中每个文件对磁盘的开销
31.数据采集上报模块550:用于将用户构建运行时数据上报到构建行为数据整理模块
32.本装置可以部署于一个现有的服务器中，也可以部署于一个单独设置的专用于用户研发的云主机中。
33.图3所示为用户构建行为分析模块结构示意图。该数据分析装置包括：
34.用户构建行为数据存储610:用于存储构建过程中收集到的用户构建行为上报数据
35.用户构建行为数据分析620:用于对一定时期内用户构建行为及其资源开销进行分析的模块
36.图4为本发明构建缓存镜像制作模块结构示意图，该镜像制作模块包括
37.获取用户构建产物710:根据用户构建行为分析模块的数据，获取云主机上用户构建活动的产物，并打包整理；
38.制作缓存镜像模块720:根据收集到的产物信息，将构建产物制作为一个镜像，并通知构建缓存镜像推送模块；
39.图5为本发明构建缓存镜像推送模块结构示意图，该镜像推送模块包括
40.构建缓存镜像推送和部署810:根据构建缓存镜像制作模块的通知，触发缓存推送和部署到云主机；
41.用户构建缓存系统运行过程包括：
42.(1)用户进行构建工具及构建仓库配置；
43.(2)用户触发构建行为；
44.(3)用户构建行为监听器检测到构建行为命令；
45.(4)构建行为监听器通知cpu占用率监听器、内存占用率监听器及磁盘占用率监听器
46.(5)资源监听器根据构建运行时信息(编译命令及相应文件名)，将其对应的构建cpu、内存及磁盘开销上报至数据采集上报模块
47.(6)数据采集上报模块将数据进行整合，并贴上文件名及耗时数据等元信息，上报至构建数据分析模块；
48.(7)构建数据分析模块接收数据，并进行数据存储
49.(8)构建行为分析模块定时触发离线分析任务，对构建文件耗时进行排序，并提取用户构建行为中的共性构建文件；
50.(9)构建缓存镜像制作模块根据构建行为分析模块数据，对构建文件耗时较长和构建用户所需要构建的共性文件的产物进行收集，并制作存储镜像；
51.(10)构建缓存镜像推送模块将缓存镜像进行推送，挂载到用户构建主机，实现构建缓存更新及部署；
52.由上述技术方案可见，本发明实施例提供一种基于容器的共享缓存系统设计方法和装置，能够根据云平台上用户编译构建历史，甄别出共性文件和耗时较长的长尾文件，制
作相应的缓存产物容器。利用云原生的部署方式，将缓存容器推送到相应的云主机进行挂载，从而实现构建产物的多用户共享，提高云环境下编译构建效率提升和资源集约。
53.以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。