一种基于DevOps环境的数据采集和处理方法及系统与流程

一种基于devops环境的数据采集和处理方法及系统
技术领域
1.本发明涉及数据采集模块技术领域，具体为一种基于devops环境的数据采集和处理方法及系统。


背景技术：

2.随着云原生技术理念普及，软件工程主要由软件的实现能力向追求“持续交付”能力的转变，而迭代开发已成为开发趋势。
3.现有技术中，“持续交付”强调对研发过程进行清晰可量化的度量，可视化研发进度与产品质量，从而加快研发问题的发现与解决，提高研发效率。
4.但是，在研发实践中，按需求、开发、测试、评审等过程分别进行人工度量，从而发现过程问题并实施改进。然而这样的方式也存在缺点，一是缺乏自动化的数据采集度量，二缺乏从“用户提出需求到软件交付用户”的全过程度量。


技术实现要素：

5.本发明的目的在于提供一种基于devops环境的数据采集和处理方法及系统，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于devops环境的数据采集和处理方法及系统，包括以下步骤：
7.初始化采集配置项，前端请求修改配置项，通过请求转发将请求转发到配置接口，配置接口将配置项数据写入非关系型数据库；
8.采集器定时触发，开始采集数据，根据配置信息，在devops环境中采集需要的数据，采集器以接口请求或插件的形式连接工具链等采集对象，获取需要的数据，并将采集的数据写入非关系型数据库；
9.数据采集结束后，计算任务触发，根据设定的离线计算任务，开始计算，当计算完成后，将计算结果写入关系型数据库；
10.前端查询指标或数据，根据查询内容，如果是离线计算结果，查询关系型数据库返回数据，如果是采集数据或指标，查询非关系型数据库，并根据指标定义进行计算，将结果返回，前端展示。
11.优选的，在采集器的定义上，每个采集器都是一个独立的小单元，相互不影响，共同组成一个采集器模块，所以当底层devops环境发生变化时，可以相对应的增加或减少采集器的种类和数量，并且在运行的过程中也可以根据数据实时性的要求，通过配置接口调整采集器的采集频率。
12.优选的，根据采集数据的数据结构和数据量大小不同，采集方式主要分为增量数据采集和全量数据采集；
13.增量数据采集，每次数据采集根据定时器的执行时间，只采集两次执行时间之间的新增数据，并按照时间维度存储；
14.全量数据存储，每次数据采集都是全量采集数据，然后更新存储的数据，同时通过比对，找出采集对象已删除的数据差值，然后删除已存储的差值数据，实现采集时刻的数据全量存储。
15.优选的，需要说明的是，离线计算任务的计算模块也是由独立的小单元组成的，可以自定义的添加和减少。
16.一种基于devops环境的数据采集和处理系统，包括：
17.基于devops环境模块，自定义采集模块，数据计算模块，自定义分析模块和配置接口模块；
18.自定义采集模块应用于基于devops环境模块上的数据信息，数据计算模块计算自定义采集模块采集的数据信息，自定义分析模块分析数据计算模块计算的数据信息，配置接口模块为自定义分析模块处理后的数据进行接口分配。
19.优选的，所述基于devops环境模块包括需求阶段的管理工具，代码阶段的代码版本管理、扫描、检查、构建工具，测试阶段的测试工具，制品的管理工具，以及环境运行数据等与devops相关的工具和数据。
20.优选的，所述自定义采集模块包括针对devops环境存在的数据和工具，定义相关的采集器，来采集需要的数据，并以自动化的方式独立运行，这里的采集器泛指具有相似数据采集功能的代码程序包、接口、工具插件等。
21.优选的，所述数据计算模块包括针对采集数据的离线计算和基于自定义指标的实时计算模块，计算的结果存储到关系数据库，以提高数据度量精准度，这里的计算模块泛指具有相似数据计算功能的代码程序包、接口、工具插件等。
22.优选的，所述自定义分析模块用于对数据进行条件查询、进行二次计算、对数据指标进行评分计算、拼合资源链接等。
23.优选的，所述配置接口模块用于采集器的关联关系配置、采集资源地址及身份认证配置管理等。
24.与现有技术相比，本发明的有益效果是：
25.本发明提出的基于devops环境的数据采集和处理方法及系统使得“持续交付”过程整体数据可以自动化的采集，并经过一定的分析，实现“持续交付”全过程的效能度量，为团队交付和下一步的行动方向提供指导；通过覆盖过程与全局的数据采集和处理，能够更全面的反映研发效能，支撑高效的软件研发。
附图说明
26.图1为本发明处理方法流程图；
27.图2为本发明处理系统框图。
具体实施方式
28.为了使本发明的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本发明实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本发明一部分实施例，而不是全部的实施例，仅仅用以解释本发明实施例，并不用于限定本发明实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施
例，都属于本发明保护的范围。
29.在本发明的描述中，需要说明的是，术语“中心”、“中”、“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性。
30.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
31.出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是，对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。
32.请参阅图1至图2，本发明提供一种技术方案：一种基于devops环境的数据采集和处理方法，包括以下步骤：
33.初始化采集配置项，前端请求修改配置项，通过请求转发将请求转发到配置接口，配置接口将配置项数据写入非关系型数据库；
34.采集器定时触发，开始采集数据，根据配置信息，在devops环境中采集需要的数据，采集器以接口请求或插件的形式连接工具链等采集对象，获取需要的数据，并将采集的数据写入非关系型数据库；在采集器的定义上，每个采集器都是一个独立的小单元，相互不影响，共同组成一个采集器模块，所以当底层devops环境发生变化时，可以相对应的增加或减少采集器的种类和数量，并且在运行的过程中也可以根据数据实时性的要求，通过配置接口调整采集器的采集频率；根据采集数据的数据结构和数据量大小不同，采集方式主要分为增量数据采集和全量数据采集；
35.增量数据采集，每次数据采集根据定时器的执行时间，只采集两次执行时间之间的新增数据，并按照时间维度存储；
36.全量数据存储，每次数据采集都是全量采集数据，然后更新存储的数据，同时通过比对，找出采集对象已删除的数据差值，然后删除已存储的差值数据，实现采集时刻的数据全量存储；
37.增量数据采集可以减小数据的采集量，更快的完成数据采集，同时保存数据变化过程，缺点就是数据冗余比较大，一份数据可能存储多次；全量数据采集可以与采集对象保持相同的数据状态，减小数据冗余，缺点是丢失了数据变化过程，历史回溯比较困难；
38.数据采集结束后，计算任务触发，根据设定的离线计算任务，开始计算，当计算完成后，将计算结果写入关系型数据库；需要说明的是，离线计算任务的计算模块也是由独立的小单元组成的，可以自定义的添加和减少；
39.前端查询指标或数据，根据查询内容，如果是离线计算结果，查询关系型数据库返回数据，如果是采集数据或指标，查询非关系型数据库，并根据指标定义进行计算，将结果返回，前端展示。
40.一种基于devops环境的数据采集和处理系统，包括：
41.基于devops环境模块，自定义采集模块，数据计算模块，自定义分析模块和配置接口模块；
42.自定义采集模块应用于基于devops环境模块上的数据信息，数据计算模块计算自定义采集模块采集的数据信息，自定义分析模块分析数据计算模块计算的数据信息，配置接口模块为自定义分析模块处理后的数据进行接口分配。
43.所述基于devops环境模块包括需求阶段的管理工具，代码阶段的代码版本管理、扫描、检查、构建工具，测试阶段的测试工具，制品的管理工具，以及环境运行数据等与devops相关的工具和数据。
44.自定义采集模块包括针对devops环境存在的数据和工具，定义相关的采集器，来采集需要的数据，并以自动化的方式独立运行，这里的采集器泛指具有相似数据采集功能的代码程序包、接口、工具插件等。
45.数据计算模块包括针对采集数据的离线计算和基于自定义指标的实时计算模块，计算的结果存储到关系数据库，以提高数据度量精准度，这里的计算模块泛指具有相似数据计算功能的代码程序包、接口、工具插件等。
46.自定义分析模块用于对数据进行条件查询、进行二次计算、对数据指标进行评分计算、拼合资源链接等。
47.配置接口模块用于采集器的关联关系配置、采集资源地址及身份认证配置管理等。
48.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。