一种高性能的数据上传系统及方法与流程

1.本发明涉及互联网通信技术领域，尤其涉及一种高性能的数据上传系统以及一种高性能的数据上传系统。


背景技术：

2.随着互联网技术及移动通信技术的发展，线上用户数量与日俱增，网站的运营变得越来越重要，许多网站数据需要及时查询到，例如：并发量、活动受理量、用户数量等。基于上述的描述，网站的运营显得非常的重要，目前的做法是根据网站运营所需要的运营分析的模块，每个模块设计对应的物理库表结构，网站侧做对应功能模块的实现，比如：统计并发量的时候就将网站的访问量记录在数据库表中，然后再根据间隔时间统计各个时间区间(时间区间的间隔通常设置为1分钟)的量，然后再将各区间的统计结果展示出来，从而得到并发量；当统计活动受理量时，在活动受理的同时将受理信息写入到数据库表结构内，从而达到运营所有需要的数据。综上描述可以看出，现有的运营所需要的数据是基于在系统运行过程中，用户的操作信息，在应用侧记录并写入数据库表，最终达到网站相关运营信息的统计、汇总、分析的目标。
3.上述现有技术方案的缺点是显而易见的，具体总结如下：
4.1、为了获取运营数据，只能在业务受理过程中将数据入表，那就导致多了一层数据入表的操作，增加了系统处理的时长，当访问量逐渐增加的时候，就会造成大量的读/写数据库的操作，系统的处理能力就会严重降低，性能很难得到保障，尤其是在一些秒杀/红包活动时，性能差；
5.2、目前的方案是一种被动的方法，对运营所需要的数据，采取的是定制化的开发，每个业务设计每个业务的数据表，这样就导致运营与业务本身程序紧密融合，完全是每个系统都需要做相同的操作，不能作为一个通用的技术组件复用，重复性工作，违背java高可复用性的原则，基本不具备复用性。


技术实现要素：

6.针对上述问题，本发明提供了一种高性能的数据上传系统及方法，通过数据收集缓冲单元、数据上传缓冲单元和数据上报单元多个步骤共同完成数据上传，每个步骤完成一项功能，各个环节紧密关联，摒弃了传统数据记录数据库的模式，采取队列方式解决了性能、存储等方面的问题，保障了系统的正常高效运行，且能够适用于互联网行业关于数据上传系统，通用性强。
7.为实现上述目的，本发明提供了一种高性能的数据上传系统，包括：数据收集缓冲区单元、数据上传缓冲单元和数据上报单元；所述数据收集缓冲区单元用于根据网站请求数据，以队列方式对运维数据进行临时缓存；所述数据上传缓冲单元用于对所述数据收集缓冲区单元进行实时扫描，并在所述数据收集缓冲区单元缓存有数据时收集所述数据收集缓冲区单元的运维数据；所述数据上报单元用于将所述数据上传缓冲单元的运维数据上传
至运维平台。
8.在上述技术方案中，优选地，所述数据收集缓冲区单元的收集缓冲区大小根据系统并发能力进行配置，并在临时缓存的运维数据量达到所述收集缓冲区的配置最大值时暂停数据缓存，在缓存的运维数据量减少后继续缓存。
9.在上述技术方案中，优选地，所述数据上传缓冲单元的上传缓冲区大小根据系统并发能力进行配置，并在收集的运维数据量达到所述上传缓冲区的配置最大值时暂停数据收集，在收集的运维数据量减少后继续收集。
10.在上述技术方案中，优选地，所述数据上传缓冲单元采用一处理线程对所述数据收集缓冲区单元的收集缓冲区进行实时扫描，并在扫描到所述收集缓冲区中存在数据且所述上传缓冲区的数据量未达到配置最大值时，对所述收集缓冲区的数据进行收集。
11.在上述技术方案中，优选地，所述数据上报单元采用http协议将所述数据上传缓冲单元的上传缓冲区中的运维数据上传至运维平台。
12.本发明还提出一种高性能的数据上传方法，应用于如上述技术方案中任一项提出的高性能的数据上传系统，包括：接收到网站请求数据时，以队列方式将运维数据临时缓存至数据收集缓冲区单元；对所述数据收集缓冲区单元进行实时扫描，并在所述数据收集缓冲区单元缓存有数据时将所述运维数据收集至数据上传缓冲单元；将收集至所述数据上传缓冲单元的运维数据上传至运维平台。
13.在上述技术方案中，优选地，根据系统并发能力，对所述数据收集缓冲区单元的收集缓冲区大小进行配置，并在临时缓存的运维数据量达到所述收集缓冲区的配置最大值时暂停数据缓存，在缓存的运维数据量减少后继续缓存。
14.在上述技术方案中，优选地，根据系统并发能力，对所述数据上传缓冲单元的上传缓冲区大小进行配置，并在收集的运维数据量达到所述上传缓冲区的配置最大值时暂停数据收集，在收集的运维数据量减少后继续收集。
15.在上述技术方案中，优选地，采用一处理线程对所述数据收集缓冲区单元的收集缓冲区进行实时扫描，并在扫描到所述收集缓冲区中存在数据且所述上传缓冲区的数据量未达到配置最大值时，对所述收集缓冲区的数据进行收集。
16.在上述技术方案中，优选地，采用http协议将所述数据上传缓冲单元的上传缓冲区中的运维数据上传至运维平台。
17.与现有技术相比，本发明的有益效果为：通过数据收集缓冲单元、数据上传缓冲单元和数据上报单元多个步骤共同完成数据上传，每个步骤完成一项功能，各个环节紧密关联，摒弃了传统数据记录数据库的模式，采取队列方式解决了性能、存储等方面的问题，且各环节处理过程均以系统处理能力相适配，确保处理过程不会超过系统最大处理能力，保障了系统的正常高效运行，且能够适用于互联网行业关于数据上传系统，通用性强。
附图说明
18.图1为本发明一种实施例公开的高性能的数据上传系统的模块示意图；
19.图2为本发明一种实施例公开的高性能的数据上传方法的时序示意图。
20.图中，各组件与附图标记之间的对应关系为：
21.1.网站url请求单元，21.数据收集缓冲区单元，22.数据上传缓冲区单元，23.数据
上报单元，3.数据接收单元。
具体实施方式
22.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
23.下面结合附图对本发明做进一步的详细描述：
24.如图1所示，根据本发明提供的一种高性能的数据上传系统，包括：数据收集缓冲区单元21、数据上传缓冲单元22和数据上报单元23；数据收集缓冲区单元21用于根据网站请求数据，以队列方式对运维数据进行临时缓存；数据上传缓冲单元22用于对数据收集缓冲区单元21进行实时扫描，并在数据收集缓冲区单元21缓存有数据时收集数据收集缓冲区单元21的运维数据；数据上报单元23用于将数据上传缓冲单元22的运维数据上传至运维平台。
25.在该实施例中，通过数据收集缓冲单元、数据上传缓冲单元22和数据上报单元23多个步骤共同完成数据上传，每个步骤完成一项功能，各个环节紧密关联，摒弃了传统数据记录数据库的模式，采取队列方式解决了性能、存储等方面的问题，且各环节处理过程均以系统处理能力相适配，确保处理过程不会超过系统最大处理能力，保障了系统的正常高效运行，且能够适用于互联网行业关于数据上传系统，通用性强。
26.具体地，用户通过网站url请求单元1打开网站地址访问网站，数据收集缓冲区单元21是获取网站请求的数据，将运维需要的数据以队列的方式存放在收集缓冲区内，数据上传缓冲区单元主要的机理是实时扫描收集区，其上传缓冲区的作用就是缓存该收集缓冲区的运维数据，当收集缓冲区收集到运维数据时，就将收集缓冲区的数据收集到上传缓冲区。数据上报单元23是一个消费者，将上传缓冲区的运维数据上传至运维平台。数据接收单元3接收数据上报单元23的数据，而不是按照传统的读取数据库的方式实现数据上传。
27.这样，整个数据收集、缓冲、上传的动作完成，摒弃了传统的数据记录数据库的模式，采取了队列的方式，巧妙的解决了性能、存储等方面的问题。此外，整个处理过程封装成一个公共jar文件的方式实现，任意系统均可引用使用，提高了通用性。
28.在上述实施例中，优选地，数据收集缓冲区单元21的收集缓冲区大小根据系统并发能力进行配置，并在临时缓存的运维数据量达到收集缓冲区的配置最大值时暂停数据缓存，在缓存的运维数据量减少后继续缓存。收集缓冲区的作用就是临时存放系统传输的运维数据，这样就能保证在系统运行时达到最优，不需要操作数据库进行存储，而是将运维数据直接放入收集缓冲区中，改变了数据的存储方式，由原来的存放数据库改为以队列的方式存放缓冲区,这样就减少了时长。
29.在上述实施例中，优选地，数据上传缓冲单元22的上传缓冲区大小根据系统并发能力进行配置，并在收集的运维数据量达到上传缓冲区的配置最大值时暂停数据收集，在收集的运维数据量减少后继续收集。该上传缓冲区的作用就是缓存收集缓冲区的数据，上传缓冲区也会根据系统并发能力配置一个阀值，当上传缓冲区的数据量大小处在阀值以下时，就会将收集缓冲区的数据实时向上传缓冲区内搬运，当处于阀值线时，自动暂时停止收
集缓冲区数据的搬运，确保不会超过系统最大处理能力，保障系统正常运行。
30.在上述实施例中，优选地，数据上传缓冲单元22采用一处理线程对数据收集缓冲区单元21的收集缓冲区进行实时扫描，并在扫描到收集缓冲区中存在数据且上传缓冲区的数据量未达到配置最大值时，对收集缓冲区的数据进行收集。
31.在上述实施例中，优选地，数据上报单元23采用http协议将数据上传缓冲单元22的上传缓冲区中的运维数据上传至运维平台。
32.如图2所示，本发明还提出一种高性能的数据上传方法，应用于如上述实施例中任一项提出的高性能的数据上传系统，包括：接收到网站请求数据时，以队列方式将运维数据临时缓存至数据收集缓冲区单元21；对数据收集缓冲区单元21进行实时扫描，并在数据收集缓冲区单元21缓存有数据时将运维数据收集至数据上传缓冲单元22；将收集至数据上传缓冲单元22的运维数据上传至运维平台。
33.具体地，用户通过网站url请求单元1打开网站地址访问网站，数据收集缓冲区单元21是获取网站请求的数据，将运维需要的数据以队列的方式存放在收集缓冲区内，数据上传缓冲区单元主要的机理是实时扫描收集区，其上传缓冲区的作用就是缓存该收集缓冲区的运维数据，当收集缓冲区收集到运维数据时，就将收集缓冲区的数据收集到上传缓冲区。数据上报单元23是一个消费者，将上传缓冲区的运维数据上传至运维平台。数据接收单元3接收数据上报单元23的数据，而不是按照传统的读取数据库的方式实现数据上传。
34.在上述实施例中，优选地，根据系统并发能力，对数据收集缓冲区单元21的收集缓冲区大小进行配置，并在临时缓存的运维数据量达到收集缓冲区的配置最大值时暂停数据缓存，在缓存的运维数据量减少后继续缓存。收集缓冲区的作用就是临时存放系统传输的运维数据，这样就能保证在系统运行时达到最优，不需要操作数据库进行存储，而是将运维数据直接放入收集缓冲区中，改变了数据的存储方式，由原来的存放数据库改为以队列的方式存放缓冲区,这样就减少了时长。
35.在上述实施例中，优选地，根据系统并发能力，对数据上传缓冲单元22的上传缓冲区大小进行配置，并在收集的运维数据量达到上传缓冲区的配置最大值时暂停数据收集，在收集的运维数据量减少后继续收集。该上传缓冲区的作用就是缓存收集缓冲区的数据，上传缓冲区也会根据系统并发能力配置一个阀值，当上传缓冲区的数据量大小处在阀值以下时，就会将收集缓冲区的数据实时向上传缓冲区内搬运，当处于阀值线时，自动暂时停止收集缓冲区数据的搬运，确保不会超过系统最大处理能力，保障系统正常运行。
36.在上述实施例中，优选地，采用一处理线程对数据收集缓冲区单元21的收集缓冲区进行实时扫描，并在扫描到收集缓冲区中存在数据且上传缓冲区的数据量未达到配置最大值时，对收集缓冲区的数据进行收集。
37.在上述实施例中，优选地，采用http协议将数据上传缓冲单元22的上传缓冲区中的运维数据上传至运维平台。
38.根据上述实施例提出的高性能的数据上传方法，应用于上述实施例中的高性能的数据上传系统，利用数据上传系统中的各单元实现上述数据上传方法的各步骤。
39.以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。