一种基于大数据的请求传输系统及方法与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于大数据的请求传输系统及方法。


背景技术：

2.随着当今社会高速的信息化发展，互联网海量数据共享化的迅猛发展推动了大数据时代的迅速到来。近几年来，随着大数据技术的快速普及和智能终端设备的大量研发与部署，在智能终端的应用种类和数量都在不断增长的同时，人们的日常生活中相关的设备也越来越普及。而用户智能终端设备和平台具有强大的异构性，封闭化的平台架构，以及耦合度高、扩展性差等一系列问题，导致针对于大数据平台的应用碎片化，使得面向智能设备应用的大数据平台开发成本高、周期长。
3.特别是对于种类繁多的终端设备在对数据进行请求执行例如web服务时，数据请求的并行量过大导致服务器负载过大的问题现在日益严重。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明公开一种基于大数据的请求传输控制方法，所述方法包括如下步骤：
5.步骤1，检测用户终端与大数据web服务平台的网络数据通信状态，当所述网络数据通信状态为长连接状态时，将所述用户终端的数据打包传输到所述大数据web服务平台；
6.步骤2，所述用户终端按照与所述大数据web服务平台的约定执行把不同的数据类型按照不同格式的数据帧进行传输，所述大数据web服务平台在对所述用户终端进行数据反馈时以相同数据类型对应的数据帧格式进行交互，其中，通信数据帧包括帧头、帧尾、数据识别区三个部分，所述帧头用以表示一帧数据的起始位置，所述帧尾用以表示一帧数据的结束位置，所诉数据识别区包括后续数据长度、识别位、数据区和校验位四部分，其中所述数据区主要功能为存储传输的有效数据，所述大数据web服务平台通过检测所述数据区在判断数据帧的格式，并基于该格式反馈传输信息；
7.步骤3，实时检测数据传输状态，设置传输预警阈值，当传输的数据达到所述预警阈值时，増加负载备用服务器分担接收客户端的传输请求，负载备用服务器的部署中，设置专门用来接收所述用户终端请求的服务器，对所述用户终端的请求按照所述步骤2的方式检测其传输的数据类型，根据不同的数据类型将数据传输任务分配至不同的负载备用服务器，所述预警阈值为一预先设定好的传输并发量值；
8.步骤4，设置redis缓存服务器同步，每隔预设时间同步redis服务器数据，完成所述用户终端与大数据web服务平台的数据传输。
9.更进一步地，所述用户终端为智能家居、用户可穿戴设备、智能终端设备中的一种或多种。
10.更进一步地，所述步骤2进一步包括：用户终端与所述大数据web服务平台在进行通信前预先约定传输协议，在约定的传输协议中对不同格式的数据进行数据帧格式的规
定，不同格式的数据请求对应不同格式的数据帧，所述大数据web服务平台对数据帧中的特定位置进行检测快速得到请求数据的类型，以此分配传输任务。
11.更进一步地，所述步骤1进一步包括：大数据web服务平台向用户终端发放证书，用户终端与大数据web服务平台进行通信前，先进行用户终端的身份验证，用户终端向大数据web服务平台申请验证连接设备的合法凭证的证书，如通过验证，则允许连接通信，否则，禁止连接所述用户终端与大数据web服务平台通信。
12.本发明还公开了一种基于大数据的请求传输控制系统，所述系统包括：
13.通信状态监测模块，检测用户终端与大数据web服务平台的网络数据通信状态，当所述网络数据通信状态为长连接状态时，将所述用户终端的数据打包传输到所述大数据web服务平台；
14.数据识别模块，所述用户终端按照与所述大数据web服务平台的约定执行把不同的数据类型按照不同格式的数据帧进行传输，所述大数据web服务平台在对所述用户终端进行数据反馈时以相同数据类型对应的数据帧格式进行交互，其中，通信数据帧包括帧头、帧尾、数据识别区三个部分，所述帧头用以表示一帧数据的起始位置，所述帧尾用以表示一帧数据的结束位置，所诉数据识别区包括后续数据长度、识别位、数据区和校验位四部分，其中所述数据区主要功能为存储传输的有效数据，所述大数据web服务平台通过检测所述数据区在判断数据帧的格式，并基于该格式反馈传输信息；
15.数据传输分配模块，实时检测数据传输状态，设置传输预警阈值，当传输的数据达到所述预警阈值时，増加负载备用服务器分担接收客户端的传输请求，负载备用服务器的部署中，设置专门用来接收所述用户终端请求的服务器，对所述用户终端的请求按照所述数据识别模块提供的方式检测其传输的数据类型，根据不同的数据类型将数据传输任务分配至不同的负载备用服务器，所述预警阈值为一预先设定好的传输并发量值；
16.缓存同步模块，设置redis缓存服务器同步，每隔预设时间同步redis服务器数据，完成所述用户终端与大数据web服务平台的数据传输。
17.更进一步地，所述用户终端为智能家居、用户可穿戴设备、智能终端设备中的一种或多种。
18.更进一步地，所述数据识别模块进一步包括：用户终端与所述大数据web服务平台在进行通信前预先约定传输协议，在约定的传输协议中对不同格式的数据进行数据帧格式的规定，不同格式的数据请求对应不同格式的数据帧，所述大数据web服务平台对数据帧中的特定位置进行检测快速得到请求数据的类型，以此分配传输任务。
19.更进一步地，所述通信状态监测模块进一步包括：大数据web服务平台向用户终端发放证书，用户终端与大数据web服务平台进行通信前，先进行用户终端的身份验证，用户终端向大数据web服务平台申请验证连接设备的合法凭证的证书，如通过验证，则允许连接通信，否则，禁止连接所述用户终端与大数据web服务平台通信。
20.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
21.本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
22.本发明与现有技术相比，本发明的有益效果是：针对于大数据分析平台的数据种
类，预先规定数据格式，根据请求的数据种类不同分配传输方案，并且，本发明根据数据帧的格式不同，快速检测用户设备的请求数据类型，同时部署备份服务器实现高并行请求时可以减少用户请求对服务器的影响。
附图说明
23.从以下结合附图的描述可以进一步理解本发明。图中的部件不一定按比例绘制，而是将重点放在示出实施例的原理上。在图中，在不同的视图中，相同的附图标记指定对应的部分。
24.图1是本发明的一种基于大数据的请求传输方法的流程图。
具体实施方式
25.下面将结合附图及实施例对本发明的技术方案进行更详细的说明。
26.现在将参考附图描述实现本发明各个实施例的移动终端。在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，"模块"与"部件"可以混合地使用。
27.移动终端可以以各种形式来实施。例如，本发明中描述的终端可以包括诸如移动电话、智能电话、笔记本电脑、数字广播接收器、pda(个人数字助理)、pad(平板电脑)、pmp(便携式多媒体播放器)、导航装置等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。下面，假设终端是移动终端。然而，本领域技术人员将理解的是，除了特别用于移动目的的元件之外，根据本发明的实施方式的构造也能够应用于固定类型的终端。
28.实施例一
29.如图1所示的一种基于大数据的请求传输控制方法，所述方法包括如下步骤：
30.步骤1，检测用户终端与大数据web服务平台的网络数据通信状态，当所述网络数据通信状态为长连接状态时，将所述用户终端的数据打包传输到所述大数据web服务平台；
31.步骤2，所述用户终端按照与所述大数据web服务平台的约定执行把不同的数据类型按照不同格式的数据帧进行传输，所述大数据web服务平台在对所述用户终端进行数据反馈时以相同数据类型对应的数据帧格式进行交互，其中，通信数据帧包括帧头、帧尾、数据识别区三个部分，所述帧头用以表示一帧数据的起始位置，所述帧尾用以表示一帧数据的结束位置，所诉数据识别区包括后续数据长度、识别位、数据区和校验位四部分，其中所述数据区主要功能为存储传输的有效数据，所述大数据web服务平台通过检测所述数据区在判断数据帧的格式，并基于该格式反馈传输信息；
32.步骤3，实时检测数据传输状态，设置传输预警阈值，当传输的数据达到所述预警阈值时，増加负载备用服务器分担接收客户端的传输请求，负载备用服务器的部署中，设置专门用来接收所述用户终端请求的服务器，对所述用户终端的请求按照所述步骤2的方式检测其传输的数据类型，根据不同的数据类型将数据传输任务分配至不同的负载备用服务器，所述预警阈值为一预先设定好的传输并发量值；
33.步骤4，设置redis缓存服务器同步，每隔预设时间同步redis服务器数据，完成所述用户终端与大数据web服务平台的数据传输。
34.在该实施例中，均衡服务器的部署中，提供专门用来接收客户端请求的服务器，接
收数据之后基于不同的需求自动机械化地转发分配到不同的web服务端，有效缓解了数据传输服务器的压力，保证了数据传输的效率，这种方式成本低廉、配置简单、使用灵活，大大增加了数据的吞吐量，保证了数据传输
35.数据缓存技术，能在一定程度上有效地降低数据库的操作压力，经过负载均衡服务器的数据，在数据库的读写操作中加入了redis缓存机制，既提高用户终端的请求速度又降低服务器的负载redis数据库服务器是基于内存存储的数据库服务器，redis能将数据持久化存储到硬盘。服务器中的所有数据库都有若干个键值对，这个特性可以很大的提高对功能不是特别复杂的数据库的频繁操作，redis缓存机制能在数据传输平台中有效的缓解数据与web服务器端的交互压力，在第二部分负载均衡模块的前提下，更进一步保障了数据传输效率。
36.更进一步地，所述用户终端为智能家居、用户可穿戴设备、智能终端设备中的一种或多种。
37.更进一步地，所述步骤2进一步包括：用户终端与所述大数据web服务平台在进行通信前预先约定传输协议，在约定的传输协议中对不同格式的数据进行数据帧格式的规定，不同格式的数据请求对应不同格式的数据帧，所述大数据web服务平台对数据帧中的特定位置进行检测快速得到请求数据的类型，以此分配传输任务。
38.更进一步地，所述步骤1进一步包括：大数据web服务平台向用户终端发放证书，用户终端与大数据web服务平台进行通信前，先进行用户终端的身份验证，用户终端向大数据web服务平台申请验证连接设备的合法凭证的证书，如通过验证，则允许连接通信，否则，禁止连接所述用户终端与大数据web服务平台通信。
39.本发明还公开了一种基于大数据的请求传输控制系统，所述系统包括：
40.通信状态监测模块，检测用户终端与大数据web服务平台的网络数据通信状态，当所述网络数据通信状态为长连接状态时，将所述用户终端的数据打包传输到所述大数据web服务平台；
41.数据识别模块，所述用户终端按照与所述大数据web服务平台的约定执行把不同的数据类型按照不同格式的数据帧进行传输，所述大数据web服务平台在对所述用户终端进行数据反馈时以相同数据类型对应的数据帧格式进行交互，其中，通信数据帧包括帧头、帧尾、数据识别区三个部分，所述帧头用以表示一帧数据的起始位置，所述帧尾用以表示一帧数据的结束位置，所诉数据识别区包括后续数据长度、识别位、数据区和校验位四部分，其中所述数据区主要功能为存储传输的有效数据，所述大数据web服务平台通过检测所述数据区在判断数据帧的格式，并基于该格式反馈传输信息；
42.数据传输分配模块，实时检测数据传输状态，设置传输预警阈值，当传输的数据达到所述预警阈值时，増加负载备用服务器分担接收客户端的传输请求，负载备用服务器的部署中，设置专门用来接收所述用户终端请求的服务器，对所述用户终端的请求按照所述数据识别模块提供的方式检测其传输的数据类型，根据不同的数据类型将数据传输任务分配至不同的负载备用服务器，所述预警阈值为一预先设定好的传输并发量值；
43.缓存同步模块，设置redis缓存服务器同步，每隔预设时间同步redis服务器数据，完成所述用户终端与大数据web服务平台的数据传输。
44.更进一步地，所述用户终端为智能家居、用户可穿戴设备、智能终端设备中的一种
或多种。
45.更进一步地，所述数据识别模块进一步包括：用户终端与所述大数据web服务平台在进行通信前预先约定传输协议，在约定的传输协议中对不同格式的数据进行数据帧格式的规定，不同格式的数据请求对应不同格式的数据帧，所述大数据web服务平台对数据帧中的特定位置进行检测快速得到请求数据的类型，以此分配传输任务。
46.更进一步地，所述通信状态监测模块进一步包括：大数据web服务平台向用户终端发放证书，用户终端与大数据web服务平台进行通信前，先进行用户终端的身份验证，用户终端向大数据web服务平台申请验证连接设备的合法凭证的证书，如通过验证，则允许连接通信，否则，禁止连接所述用户终端与大数据web服务平台通信。
47.本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法的步骤。
48.本发明还公开了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的方法的步骤。
49.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
50.本领域技术人员应明白，本技术的实施例可提供为方法、系统或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
51.虽然上面已经参考各种实施例描述了本发明，但是应当理解，在不脱离本发明的范围的情况下，可以进行许多改变和修改。因此，其旨在上述详细描述被认为是例示性的而非限制性的，并且应当理解，以下权利要求(包括所有等同物)旨在限定本发明的精神和范围。以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。