一种基于云平台的异常数据监控方法与流程

1.本发明涉及异常监控技术领域，具体涉及一种基于云平台的异常数据监控方法。


背景技术：

2.万物互联是随着现代通信技术、计算机网络技术和人工智能技术发展的趋势，车联网功能也应运而生，现市面上已有搭载了车联网功能的量产车。但车联网的核心问题就包括了其对外通讯（与多端通讯）的能力，以及多种应用产生的海量信息存储问题等。云服务平台（简称云平台）则提供了一种车联网的整体解决方案，能够针对车主、4s店、渠道、车联网服务提供商等多个端。云平台是指基于硬件的服务，能够提供计算能力、网络能力和存储能力，能够灵活定制、及时部署、快速集成的saas（software-as-a-service，软件即服务）应用平台。
3.云平台为车机终端和app终端提供多种服务，并给出大量接口可供终端调用。然而用户在终端进行操作时，使用终端应用的整个生命周期中可能存在多种异常情况的可能性，如：页面卡死、呆滞、闪退、用户登录失败、页面出现不应出现的异常信息等。这些信息在终端被收集，若不上报到云端，则无法反馈到项目运维人员等，云端团队将难以排查异常从而无法提升系统性能和用户体验。
4.而对于这些异常信息的监控问题，专利cn201810156740.2中提出：在待监控系统的源代码中确定需要被监控的监控对象（包括类和/或方法），在系统启动时注入异常监控代码并基于此进行异常监控。该方法虽然可以对源代码进行监控，但也仅仅只能针对源代码进行监控，且仅限于服务端后台的监控，整体具有局限性，难以实现对所有异常信息的监控。


技术实现要素：

5.针对现有技术存在的上述不足，本发明的目的在于提供一种基于云平台的异常数据监控方法，以解决现有技术中异常信息无法及时上传、运维人员难以排查异常、无法提升系统性能及用户体验的问题。
6.为了解决上述技术问题，本发明采用如下技术方案：一种基于云平台的异常数据监控方法，包括如下步骤：s1：终端获取异常行为产生的异常数据，并将异常数据上传至云端；s2：云端上的异常数据监控中心对异常数据进行分类处理，根据异常数据的不同级别和类型对各异常数据进行统一处理；其中，当异常数据达到阈值时，云端触发报警功能。
7.优选地，在s1中，终端对获取的异常数据进行优先级评价，对不同优先级的异常数据进行处理后上传至云端。
8.优选地，在s1中，云端通过统一的接口获取异常数据，不同终端应用产生的异常数据进行统一格式处理后上传至云端。
9.优选地，在s1中，产生的异常数据以日志的格式输出。
10.优选地，在s2中，监控中心将异常数据以日志记录的方式分区记录在云端的多个服务器上。
11.优选地，云端上的监控中心对接收的异常数据进行在线监控，通过搜索引擎实现对异常数据的查询。
12.优选地，所述监控中心通过日志收集系统和数据可视化分析对异常数据进行统计和分析。
13.优选地，在s1中，所述异常行为包括程序运行异常、以及操作行为异常。
14.与现有技术相比，本发明具有如下有益效果：1、本发明所述方法从实际情况出发，考虑到服务端为车机终端、app终端等提供服务可能出现异常的同时，终端自身也存在各种异常的可能性，因此对终端的异常也提供了接口进行收集并监控，并且对于终端不要求语言（如车机可能使用android，app使用js，而服务端基于java），只要能与服务端进行通讯即可上报异常数据，并由运维人员从云端统一维护。
15.2、本发明所述方法适用于各种不同终端、服务端，即便终端所使用的技术框架和计算机语言有所不同，也可通过其各自的后端通讯方式或约定的协议，利用接口上传异常数据，无需对现有业务逻辑造成大规模地干扰，能够有效实现对异常数据的及时监控，同时，这样的异常数据管理方式是全局的、集中的，便于运维人员能够非常直观地监控异常以及高效地排查故障，既能使运维人员及时对其进行优化，也能及时改善用户的体验。
附图说明
16.图1为异常数据上报流程图。
17.图2为优先级高的异常数据监控流程图。
18.图3为优先级相对较低的异常数据监控流程图。
19.图4为异常数据上报示意图。
具体实施方式
20.为了使本发明的实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
21.本发明提供一种基于云平台的异常数据监控方法，可应用于多种不同终端的异常数据监控，如图1所示，包括如下步骤：s1：终端获取异常行为产生的异常数据，并将异常数据上传至云端。其中，所述异常行为包括程序运行异常、以及操作行为异常。异常行为的形式是多种多样的，主要为项目代码在线上运行和提供给用户使用生命周期中出现的异常情况，包括但不限于服务计费异常、服务功能异常、用户信息异常、服务延迟异常等，针对不同用途的终端，会出现各种各样的异常行为。本发明利用数据流检测技术，都能对其进行有效监控，而且，不仅能对终端产生的异常数据进行监控，也能对为终端提供的服务端所产生的异常数据进行监控。上述这一过程涉及数据采集，可能来自多种不同类型的终端和服务端，例如车机终端、手机app终
端的埋点和事件追踪，对特定用户行为或事件进行捕获，能够收集用户行为数据等。其中，对于app端，需要被采集的数据主要是指app运行时的异常数据，包括后台接口返回的异常数据和在整个应用生命周期里前后端交互过程中存在的异常数据，或者在app前端埋点，采集一些用户行为数据，将通过ajax传输到后台。而对于服务端，服务端自身的服务接口异常可通过切面编程，即将非逻辑业务意外的如异常信息收集、日志收集等封装切面，再将切面织入到主业务逻辑中，不会出现代码纠缠，从服务端后台提供的服务接口层面计数等，因此，对于服务端的异常数据监控无需对现有业务逻辑造成大规模的干扰，能够实现有效的异常监控。云端通过统一的接口获取异常数据，不同终端应用产生的异常数据进行统一格式处理后上传至云端。对于多种终端而言，即便终端所使用的技术框架和计算机语言有所不同，可以通过各自与后端的通讯方式或者约定的协议，将各自获取的异常数据通过至少一个接口上报至云端，使云端对异常数据的监控实现了语言无关性，而产生的异常数据可以采用同步或异步的以日志的格式输出，存储在云端上。
22.终端对获取的异常数据进行优先级评价，对不同优先级的异常数据进行处理后上传至云端，优先级高的异常数据将同步实时上传至云端，优先级低的异常数据多条合并后上传至云端，以此减少整体的性能损耗。如图2所示，对于优先级很高、严重影响交互体验的异常数据，例如，服务计费失败等异常数据会严重影响用户体验，所以这类异常数据上报需要及时同步到监控中心，并及时提醒运维人员进行处理。当终端获取这类异常数据后，会对其进行评价，判断其是否属于网络问题，如果是，终端做出提示，并告知用户当前网络存在问题可稍后重试，如果不属于网络问题，继续判定其是否属于参数错误，如果属于参数错误，终端做出处理，要求规范参数输入，如果不属于参数错误，则进行判定其是否属于非服务端的问题，如果属于非服务端的问题，终端进行处理，优化终端对于出现异常时的交互，同时通过http协议/udp协议上报至监控中心，并通过邮件和企业微信推送提醒运维人员，与此同时，上述判定过程中产生的多条异常数据合并，通过http协议或消息队列异步上报至监控中心，最终，终端将实现同步上传，具有很好的实时性和较高的传输速度，使其能够实时地抵达云端。
23.而对于优先级不高的异常数据，这类数据以用户信息类数据为主，这类异常数据通常是由于用户参数错误、用户所使用的设备异常、网络连接出现问题等情况所导致的，这类异常数据的产生主要出现在服务端，但不需要服务端做出改动，而需要从终端考虑是否需要优化ui、改进网络性能等，所以对于服务端的运维人员而言，只需被告知存在上述问题，并需要在排查故障时有迹可循即可，对于这类优先级不高的异常数据采用异步方式上传，且合并多条异常数据后上传，选择合理的上报方式不影响用户体验的同时提高终端应用运行的性能，并且减少占用宽带以及系统资源。具体过程，如图3所示，同样对这类异常数据进行判定，判断其是否属于网络问题，如果是，终端做出提示，并告知用户当前网络存在问题可稍后重试，如果不属于网络问题，继续判定其是否属于参数错误，如果属于参数错误，终端做出处理，要求规范参数输入，如果不属于参数错误，则进行判定其是否属于非服务端的问题，如果属于非服务端的问题，终端对于出现异常时的交互进行优化，如果不属于非服务端的问题，与多条异常数据合并，通过http协议或消息队列异步上报至云端上的监控中心。
24.s2：云端上的异常数据监控中心对异常数据进行分类处理，根据异常数据的不同
级别和类型对各异常数据进行统一处理；其中，当异常数据达到阈值时，云端触发报警功能。在具体实施时，监控中心将异常数据以日志记录的方式分区记录在云端的多个线上环境部署好的服务器中，同时，云端上的监控中心对接收的异常数据进行实时在线监控，通过搜索引擎elasticsearch实现对异常数据的查询，从添加异常数据到异常数据能够被检索仅有1s左右的延迟，实现实时查询异常数据。所述监控中心通过logstash日志收集系统和kibana数据可视化分析相结合，对异常数据进行统计和分析。对于优先级高的异常数据，监控中心首先进行判定是否需要立即进行优化，如果需要则立即解决并发布，如果不需要则输出线异常文档，建立优化需求，要求服务端下一次迭代中整改。而当异常数据达到阈值时，云端触发报警功能，并通过邮件和企业微信通知运维人员对收集到的异常数据进行处理，提出整改方案。
25.而对于异常数据的产生，如图4所示，异常行为的形式是多种多样的，页面出错、页面呆滞、损坏、页面假死、页面崩溃等一系列异常行为都会产生异常数据，造成这些异常行为的原因也是多种多样的，业务逻辑错误、数据类型异常、算法错误、网络异常、系统错误等都会产生对应的异常行为，根据异常数据的不同类型，可定义其级别，将其划分为多个等级，以区分优先级，根据优先级的高低上报索引，高优先级的及时上报索引，次高优先级的按异常分区一次上报索引，次低优先级的合并后上报索引，而低优先级的批量上报索引。
26.本发明所述方法从实际情况出发，考虑到服务端为车机终端、app终端等提供服务可能出现异常的同时，终端自身也存在各种异常的可能性，因此对终端的异常也提供了接口进行收集并监控，并且对于终端不要求语言（如车机可能使用android，app使用js，而服务端基于java），只要能与服务端进行通讯即可上报异常数据，并由运维人员从云端统一维护。本发明所述方法适用于各种不同终端、服务端，即便终端所使用的技术框架和计算机语言有所不同，也可通过其各自的后端通讯方式或约定的协议，利用接口上传异常数据，无需对现有业务逻辑造成大规模地干扰，能够有效实现对异常数据的及时监控，同时，这样的异常数据管理方式是全局的、集中的，便于运维人员能够非常直观地监控异常以及高效地排查故障，既能使运维人员及时对其进行优化，也能及时改善用户的体验。
27.如上所述，本发明的提醒系统不限于所述配置，其他可以实现本发明的实施例的系统均可落入本发明所保护的范围内。
28.最后需要说明的是，以上实施例仅用以说明本发明的技术方案而非限制技术方案，本领域的普通技术人员应当理解，那些对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，均应涵盖在本发明的权利要求范围当中。