一种生产测试环境分析与预警的方法与流程

1.本发明涉及软件开发及测试技术领域，具体涉及一种生产测试环境分析与预警的方法。


背景技术：

2.现阶段产品研发越来越复杂，不管是开发、测试还是生产环境都会偶发性一些问题，但很多问题都是一点点累积起来的，所以为了防止风险逐步演变成事故，就需要使用自动化api等测试方法进行相应的测试工作。走查完的分析比较繁琐，耗费物力人力精力，并且日志文件稍纵即逝，也很难做到日志的完整保存。


技术实现要素：

3.本发明的技术任务是提供一种生产测试环境分析与预警的方法，能够对所有环境的日志进行分析,获取错误日志的类型,推送研发,减少异常日志的数量提高性能和稳定性。
4.本发明解决其技术问题所采用的技术方案是：
5.一种生产测试环境分析与预警的方法，通过分析生产测试环境程序日志实现分析与预警，分析测试环境的测试覆盖率，并通过增加日志埋点拉取运行结果日志进行分析，根据埋点和日常运行的特点分析产品可能存在的问题，并进行警告。
6.本方法能够在繁杂的日志中抽取核心信息，并且进行归档与分析预警；能够分析测试环境的测试覆盖率，以及通过埋点获取严重问题进行提前介入，避免演变成生产事故。
7.进一步的，通过手工编写脚本或程序的方式拉取运行结果日志进行分析。
8.优选的，该方法的实现过程如下：
9.1)、在生产测试环境中增加一个文件服务器，能够将应用服务器产生的日志重定向到该文件服务器；
10.2)、在产品内增加埋点，出现连接池泄漏时能够在日志内进行提示；
11.3)、在应用服务器上面挂载步骤1)中的文件目录，然后启动脚本进行重定向，将运行环境产生的日志重定向到文件服务器中；
12.4)、在步骤1)增加的文件服务器中增加邮件配置，能够发送邮件到指定运维或者是开发人员；
13.5)、在步骤1)增加的文件服务器中增加安全健康监测脚本，能够分析服务的启动时间、服务器的api类型、数量、以及运行过的api总数以及列表，能够在出现步骤2)所述埋点的异常信息时自动触发邮件告警；
14.6)、设置计划任务，每天在跑完自动化测试或者是api测试时执行一遍步骤5)中的脚本，然后将结果进行反馈。
15.优选的，所述文件服务器具有基本的linux操作系统，有全面的linux相关命令。
16.优选的，为了安全相关考虑，选用uos或者是银河麒麟国产操作系统。
17.优选的，所述在产品内增加埋点，出现连接池泄漏时能够在日志内进行提示，包括在程序处理完结时如果未清理线程的session信息，或没有提交数据库的事务。
18.进一步的，所述出现连接池泄漏时能够在日志内进行提示，增加异常字段：程序退出时未清理session，或程序退出时存在未提交的事务。
19.优选的，将抽取的文件保存1-3个月的时间，便于分析产品的在一定期间内的变化与走查情况。
20.优选的，埋点部分设置为每小时执行一次。监控出现异常立即发送邮件告警,督促开发人员解决问题，避免问题扩散。
21.本发明还要求保护一种生产测试环境分析与预警的系统，该系统通过上述的生产测试环境分析与预警的方法实现生产测试环境的分析与预警。
22.本发明的一种生产测试环境分析与预警的方法与现有技术相比，具有以下有益效果：
23.本方法可以对所有环境的日志进行分析，获取错误日志的类型,推送研发,减少异常日志的数量提高性能和稳定性；
24.能够分析所有运行过的api，与api总数进行判断，研判测试覆盖度，提高产品质量；
25.通过产品埋点，当出现严重的问题如连接池泄漏、内存风险时，能够分析日志，发出预警，提醒相应开发介入，避免严重问题；
26.本方法针对不同类型数据库、不同的业务场景，定义不同的分析语法，能够分析兼容性相关的问题。
附图说明
27.图1是本发明实施例提供的生产测试环境分析与预警方法的实现流程图；
28.图2是本发明实施例提供的获取服务的启动时间的脚本示例；
29.图3是本发明实施例提供的获取日志的api类型的脚本示例；
30.图4是本发明实施例提供的获取产生较多日志的组件信息的脚本示例。
具体实施方式
31.下面结合具体实施例对本发明作进一步说明。
32.基于背景技术中所提到的问题，本发明实施例提供一种生产测试环境分析与预警的方法，通过分析生产测试环境程序日志实现分析与预警，分析测试环境的测试覆盖率，作为考核质量的目标；并与开发同事沟通增加日志埋点后，通过手工编写脚本或程序的方式拉取运行结果日志进行分析，根据埋点和日常运行的特点分析产品可能存在的问题，并进行警告。
33.本方法能够在繁杂的日志中抽取核心信息，并且进行归档与分析预警；能够分析测试环境的测试覆盖率，以及通过埋点获取严重问题进行提前介入，避免演变成生产事故。
34.该方法的具体实现过程如下：
35.1)、在生产测试环境中增加一个文件服务器，能够将应用服务器产生的日志重定向到该文件服务器。所述文件服务器需具有基本的linux操作系统，有全面的linux相关命
令。为了安全相关考虑，选用uos或者是银河麒麟国产操作系统。
36.2)、与研发人员沟通，在产品内增加埋点。如在程序处理完结时如果未清理线程的session信息，或没有提交数据库的事务，出现连接池泄漏时能够在日志内进行提示；如增加异常字段：程序退出时未清理session，或程序退出时存在未提交的事务。
37.3)、在应用服务器上面挂载步骤1)中的文件目录，然后启动脚本进行重定向，将运行环境产生的日志重定向到文件服务器中。
38.4)、在步骤1)增加的文件服务器中增加邮件配置，能够发送邮件到指定运维或者是开发人员。
39.5)、在步骤1)增加的文件服务器中增加安全健康监测脚本，能够分析服务的启动时间、服务器的api类型、数量、以及运行过的api总数以及列表，能够在出现步骤2)所述埋点的异常信息时自动触发邮件告警。
40.6)、设置计划任务，每天在跑完自动化测试或者是api测试时执行一遍步骤5)中的脚本，然后将结果进行反馈。
41.可将抽取的文件保存1-3个月的时间，便于分析产品的在一定期间内的变化与走查情况。
42.埋点部分设置为每小时执行一次。监控出现异常立即发送邮件告警,督促开发人员解决问题，避免问题扩散。
43.本方法可以对所有环境的日志进行分析，获取错误日志的类型,推送研发,减少异常日志的数量提高性能和稳定性；能够分析所有运行过的api，与api总数进行判断，研判测试覆盖度，提高产品质量；通过产品埋点，当出现严重的问题如连接池泄漏、内存风险时，能够分析日志，发出预警，提醒相应开发介入，避免严重问题。
44.本方法针对不同类型数据库、不同的业务场景，定义不同的分析语法，能够分析兼容性相关的问题。
45.本发明还要求保护一种生产测试环境分析与预警的系统，该系统通过上述的生产测试环境分析与预警的方法实现生产测试环境的分析与预警。
46.通过本系统实现生产测试环境分析与预警的设置过程如下：
47.1)、在生产测试环境中增加一个文件服务器，能够将应用服务器产生的日志重定向到该文件服务器。所述文件服务器需具有基本的linux操作系统，有全面的linux相关命令。为了安全相关考虑，选用uos或者是银河麒麟国产操作系统。
48.2)、与研发人员沟通，在产品内增加埋点。如在程序处理完结时如果未清理线程的session信息，或没有提交数据库的事务，出现连接池泄漏时能够在日志内进行提示；如增加异常字段：程序退出时未清理session，或程序退出时存在未提交的事务。
49.3)、在应用服务器上面挂载步骤1)中的文件目录，然后启动脚本进行重定向，将运行环境产生的日志重定向到文件服务器中。
50.4)、在步骤1)增加的文件服务器中增加邮件配置，能够发送邮件到指定运维或者是开发人员。
51.5)、在步骤1)增加的文件服务器中增加安全健康监测脚本，能够分析服务的启动时间、服务器的api类型、数量、以及运行过的api总数以及列表，能够在出现步骤2)所述埋点的异常信息时自动触发邮件告警。
52.6)、设置计划任务，每天在跑完自动化测试或者是api测试时执行一遍步骤5)中的脚本，然后将结果进行反馈；
53.可将抽取的文件保存1-3个月的时间，便于分析产品的在一定期间内的变化与走查情况；
54.埋点部分设置为每小时执行一次。监控出现异常立即发送邮件告警,督促开发人员解决问题，避免问题扩散。
55.使用本系统进行生产测试环境分析与预警，能够在繁杂的日志中抽取核心信息，并且进行归档与分析预警。能够分析测试环境的测试覆盖率，以及通过埋点获取严重问题进行提前介入，避免演变成生产事故。
56.通过上面具体实施方式，所述技术领域的技术人员可容易的实现本发明。但是应当理解，本发明并不限于上述的具体实施方式。在公开的实施方式的基础上，所述技术领域的技术人员可任意组合不同的技术特征，从而实现不同的技术方案。
57.除说明书所述的技术特征外，均为本专业技术人员的已知技术。