一种弱网或断网情况下大流量业务加速系统及方法

1.本技术涉及网络传输技术领域，更具体地，涉及一种弱网或断网情况下大流量业务加速系统及方法。


背景技术：

2.随着信息技术的发展，网络业务应用越来越丰富，也越来越普及，以直播交互、点播视频、地图浏览、三维虚拟仿真等为主的与日俱增的大流量业务应用需求与网络传输能力有限之间的矛盾问题始终存在。目前在用户较为密集的城市、乡镇等地域，网络资源丰富，依托充足的基础设施条件，可通过构建内容分发网络（content delivery network）缓解网络资源压力，实现业务访问加速，满足用户使用需求。然而在一些郊区、山村、山林等偏远地区，网络基础条件差、覆盖范围有限、网络资源严重紧缺、带宽相对狭窄、信道断续不稳定，传统cdn技术运用缺少条件、节点布设困难，导致难以保证用户随时随地大流量业务应用体验效果，具体表现在以下两个方面。
3.（1）传统cdn技术解决方案中，依据业务时效性等级对传送业务粗略设置一定策略，以满足用户整体使用体验要求，对于每名/重点用户具体业务体验需求并不了解，也无法实施精准管控。在相对地广人稀的偏远地区，当网络资源受限，弱网环境、间歇性断网环境条件下，用户间资源竞争激烈、急需业务获取网络资源困难等现象屡见不鲜，传统cnd技术解决方案难以应对以上问题，无法保证用户使用体验。
4.（2）传统cdn系统相对较沉，对网络带宽、硬件存储资源依赖性强，主要基于ip区分用户、基于业务发生频次高低及先进先出的机制完成业务传送。在相对地广人稀的偏远地区，网络基础设施建设滞后，网络条件受限，网络资源也很有限，弱网环境、间歇性断网环境居多，传统cdn技术解决方案落地实施缺少条件支撑，需要重新建设多个网络节点，不仅造价颇高，而且短时期内难以实现对大流量业务的高效缓存分发。
5.综上所述，目前亟需针对网络基础设施较差的郊区、山林等弱网或断网情况下的业务加速解决方案。


技术实现要素：

6.针对现有技术的至少一个缺陷或改进需求，本发明提供了一种弱网或断网情况下大流量业务加速系统及方法，可有效满足弱网或断网环境下用户大流量业务加速需求。
7.为实现上述目的，按照本发明的第一个方面，提供了一种弱网或断网情况下大流量业务加速系统，包括加速节点，所述加速节点用于自定义加速配置信息，所述加速配置信息中定义了需要加速的业务数据；所述加速节点还用于根据所述加速配置信息预先将需要加速的业务数据存储在数据缓存区；所述加速节点还用于响应用户端的数据请求，对所述数据请求进行识别，若所述数据缓存区中包括所述数据请求对应的业务数据，则从所述数据缓存区中读取相应数据发送给所述用户端，若所述数据缓存区中不包括所述数据请求对应的业务数据，则从源站或其它加速节点获取所述数据请求对应的业务数据发送给所述用
户端，并且根据所述加速配置信息调整网络资源配置，优先保障所述加速配置信息中定义的需要加速的业务数据传输。
8.进一步地，所述加速配置信息包括业务类型优先级信息和用户优先级信息；所述加速节点还用于根据所述加速配置信息预先缓存业务数据；所述加速节点还用于根据所述加速配置信息调整网络资源配置，优先保障业务类型优先级高或用户优先级高的业务数据传输。
9.进一步地，根据所述加速配置信息调整网络资源配置包括：对所述数据请求对应的业务数据进行拆包，识别业务类型、对应用户以及业务数据量；对业务类型优先级高或用户优先级高的业务数据优先进行传输，并且为业务类型优先级高或用户优先级高的业务数据优先分配网络资源。
10.进一步地，所述加速节点还用于将从所述源站获取的业务数据更新存储到所述数据缓存区，所述加速节点包括分布式部署在用户侧的末端加速节点和用于末端加速节点和所述源站间数据传输的中间加速节点，若其中部分末端加速节点的缓存数据发生变化，则其它末端加速节点的缓存数据更新为与该发生变化的末端加速节点的缓存数据一致。
11.进一步地，所述加速节点还用于与所述源站、其它加速节点对弱网或断网情况下数据可传送条件、传送时间进行协商，在网络满足所述数据可传送条件或到达预定时间时从所述源站或其它加速节点优先获取需要加速的业务数据。
12.进一步地，所述加速节点还用于采用路由探测技术对网内路由进行智能探测，自动选择到源站总耗时最短、稳定性最好的路径获取业务数据。
13.进一步地，所述加速节点与所述用户端以及所述加速节点与所述源站间的数据传输协议满足：发送端发送数据时根据网络探测情况确定发送窗口初始大小，在发送数据过程中根据接收端数据包接收情况或网络探测情况动态调整发送窗口大小；发送端对每个发送数据包进行标识，若发送数据包出现丢失情况，根据发送数据包的标识对丢失的数据包恢复重传，并且在恢复丢失数据包期间，根据网络探测情况动态调整发送数据包大小；发送端根据网络探测情况调整数据发送速率。
14.进一步地，所述加速节点与所述源站间的数据传输协议满足：对传输数据中冗余内容进行压缩处理，识别传输数据中的有效传输内容，仅对有效传输内容进行传输。
15.进一步地，所述加速节点还用于通过在所述加速节点之间、及所述加速节点与所述源站之间建立长连接，将多个所述数据请求合并为一个请求，从所述源站或其它加速节点获取业务数据。
16.按照本发明的第二个方面，还提供了一种弱网或断网情况下大流量业务加速方法，包括：构建加速节点，所述加速节点用于自定义加速配置信息，所述加速配置信息中定义了需要加速的业务数据；所述加速节点还用于根据所述加速配置信息预先将需要加速的业务数据存储在数据缓存区；所述加速节点还用于响应用户端的数据请求，对所述数据请求进行识别，若所述数据缓存区中包括所述数据请求对应的业务数据，则从所述数据缓存
区中读取相应数据发送给用户端，若所述数据缓存区中不包括所述数据请求对应的业务数据，则从源站或其它加速节点获取所述数据请求对应的业务数据发送给所述用户端，并且根据所述加速配置信息调整网络资源配置，优先保障所述加速配置信息中定义的需要加速的业务数据传输。
17.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：（1）支持用户自定义业务加速。支持业务加速效果用户自定义配置，弱网环境下可依据用户配置进行大流量业务分析，将有限的网络资源进行动态调整，重点保障用户自定义业务加速效果；也可重点保障特定用户的业务访问效果。
18.（2）加速节点协商定时自同步。源站与加速节点、各加速节点间建立会话机制，弱网或间歇性断网情况下，依据网络情况动态协商自同步时间，定时进行业务同步更新。
19.（3）弱网环境下自主业务加速。在各加速节点分别对业务数据进行拆包，读取用户ip、业务类型、传送业务量等信息，在弱网环境下，无需用户介入，可依据预定规则对业务及关联用户标记优先级，而后按照优先级排序进行大流量业务传送。
附图说明
20.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例中所需使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
21.图1为本技术实施例提供的弱网或断网情况下大流量业务加速系统的示意图；图2为本技术实施例提供的部署有弱网或断网情况下大流量业务加速系统的便携式设备示意图；图3为本技术实施例提供的部署有弱网或断网情况下大流量业务加速系统的机架式设备示意图。
具体实施方式
22.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
23.本技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或模块的过程、方法、系统、产品或设备没有限定于已列出的步骤或模块，而是可选地还包括没有列出的步骤或模块，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或模块。
24.如图1所示，本发明实施例的一种弱网或断网情况下大流量业务加速系统，包括加速节点，加速节点用于自定义加速配置信息，加速配置信息中定义了需要加速的业务数据；加速节点还用于根据加速配置信息预先将需要加速的业务数据存储在数据缓存区；加速节点还用于响应用户端的数据请求，对数据请求进行识别，若数据缓存区中包括数据请求对应的业务数据，则从数据缓存区中读取相应数据发送给用户端，若数据缓存区中不包括数
据请求对应的业务数据，则从源站或其它加速节点获取数据请求对应的业务数据发送给用户端，并且根据加速配置信息调整网络资源配置，优先保障加速配置信息中定义的需要加速的业务数据传输。
25.本发明实施例的加速系统的工作原理为：弱网传送条件下，依托源站业务，为偏远地区用户侧按需构建固定式或便携式加速节点，支持用户自定义业务加速，在加速节点中缓存需要加速的业务数据的初始内容。当用户端发送数据请求时，加速节点对数据请求进行识别。若数据请求对应的业务数据已经被缓存在加速节点中，则直接从加速节点的数据缓存区中读取相应数据发送给用户端。若数据请求对应的业务数据没有缓存在加速节点中，则需要从其它加速节点或源站获取数据请求对应的业务数据。并且根据加速配置信息调整网络资源配置，优先保障加速配置信息中定义的需要加速的业务数据传输，即优先将网络资源分配给需要加速的业务数据用以传输。用户可以根据需要设置哪些业务需要加速，例如可以设置对大流量业务进行加速。
26.进一步地，加速配置信息包括业务类型优先级信息和用户优先级信息；加速节点还用于根据加速配置信息预先缓存业务数据，例如对业务类型优先级高的业务数据或者优先级高的用户侧已知的大流量业务数据进行缓存；加速节点还用于根据加速配置信息调整网络资源配置，优先保障业务类型优先级高或用户优先级高的业务数据传输。
27.进一步地，根据加速配置信息调整网络资源配置包括：（1）对数据请求对应的业务数据进行拆包，识别业务类型、对应用户以及业务数据量。
28.（2）基于识别结果，对业务类型优先级高或用户优先级高的业务数据优先进行传输，并且为业务类型优先级高或用户优先级高的业务数据优先分配网络资源。
29.进一步地，加速节点还用于与源站、其它加速节点对弱网或断网情况下数据可传送条件、传送时间进行协商，在网络满足数据可传送条件或到达预定时间时从其它加速节点或源站优先获取需要加速的业务数据。这样，可以优先保障关键业务按需传送。
30.下面具体说明上述加速系统的优选实现。
31.（1）分布式缓存及加速节点间自同步机制进一步地，加速节点还用于将从源站获取的大流量业务数据更新存储到数据缓存区，加速节点包括分布式部署在用户侧的末端加速节点和用于末端加速节点和源站间数据传输的中间加速节点，若其中部分末端加速节点的缓存数据发生变化，则其它末端加速节点的缓存数据更新为与该发生变化的末端加速节点的缓存数据一致。
32.在偏远地区，针对不同地域条件及用户需求，分散建立加速节点，各加速节点联合即构成分布缓存，缓存规模根据业务数据量而定。
33.进一步地，加速节点可通过预先建立缓存和首次访问触发缓存两种方式构建单点缓存。预先建立缓存主要针对用户侧可预知的大流量业务，自定义加速配置信息，根据加速配置信息预置业务内容缓存；首次访问触发缓存主要针对不可预知的、普通用户业务，由用户端的第一次访问触发，当内容被某一用户首次访问时，加速节点由源站获取网页文件并提供给该用户，同时将业务内容缓存在这个加速节点上，供后续其它用户端访问。
34.各加速节点间建立缓存更新自同步机制。弱网环境下访问大流量业务时，多个加速节点回源会加重网络传输负担，导致用户访问速度慢、请求时延长等现象，通过建立加速
节点间的自同步机制，当某一加速节点缓存内容更新后，可定时或按需触发缓存内容更新机制，实现同一区域或同一网络环境下的加速节点间的自同步更新，最大限度降低网络开销，提升用户访问效果。
35.（2）路由探测与选择进一步地，加速节点还用于采用路由探测技术对网内路由进行智能探测，自动选择到源站总耗时最短、稳定性最好的路径获取业务数据。
36.弱网环境下，网络基础条件差、网络资源紧缺、信道不稳定、带宽相对较窄，弱连通、高延时等问题明显，严重影响加速节点回源请求的响应速度，导致用户请求的服务质量不能得到很好的保证。基于网络基础设施条件，采用路由探测技术，对网内路由进行智能探测，实时掌握网络变化，在路由可选择、可调整、可迂回的情况下，结合人工智能算法智能地避开网络故障或目前正在拥塞的路径，自动选择节点到源站总耗时最短、稳定性最好的路径回源，保证业务数据的最佳传输效果，提升业务访问速度。
37.（3）私有传输协议进一步地，基于传统的tcp传输协议进行改进，提出私有传输协议，实现数据快速、稳定传输，实际测试常规动态文件传输速率提升30%~130%。
38.加速节点与源站间的数据传输协议满足以下要求。
39.①
快速启动、快速重传、快速恢复快速启动：发送端发送数据时根据网络探测情况确定发送窗口初始大小，在发送数据过程中根据接收端数据包接收情况或网络探测情况动态调整发送窗口大小。在刚开始发送数据报时，先探测网络状况，根据网络情况确定发送窗口初始大小。当网络状况良好时，发送方每发送一次报文段都能正确的接收确认报文段，则可增加发送窗口的大小。
40.快速重传：发送端对每个发送数据包进行标识，若发送数据包出现丢失情况，根据发送数据包的标识对丢失的数据包恢复重传。即当出现丢包情况时不需要重传所有发送文件，依据数据包标识仅重传丢包数据，提升传输速度。
41.快速恢复：在恢复丢失数据包期间，根据网络探测情况动态调整发送数据包大小。即在恢复丢失数据包期间，根据实时的网络情况，动态调整发送的新数据包大小，相比传统的tcp快速恢复，可以大大提高丢包时的传输效率。
42.②
智能拥塞控制发送端根据网络探测情况及加速配置信息调整数据发送速率。加速节点根据带宽大小、延时情况和业务优先级、用户优先级等情况，智能调整控制业务发送速率。比如加速节点定时探测加速节点与源站之间的网络情况，在网络质量的基础上，考虑保障用户和业务的优先级别，动态调整业务发送速率，实现重要业务、用户优先保障。例如可设定不同网络条件下对应的数据发送速率，网络条件好的数据发送速率大，网络条件差时的数据发送速率小，并且同一网络条件下，业务类型优先级高或用户优先级高的业务数据发送速率大于其它业务数据的发送速率。
43.③
滑动窗口大小动态调整在传输过程中，仍然实时探测一下网络状况，如果网络状况良好，发送方每发送一次文段都能正确的接受确认报文段。那么就根据网络的状况，动态的调整滑动窗口（即发送窗口）的大小。
44.④
长连接进一步地，加速节点还用于通过在加速节点之间、及加速节点与源站之间建立长连接，将多个数据请求合并为一个请求，从源站或其它加速节点获取业务数据。
45.通常，在访问网站系统时，会有多个tcp请求，而每次tcp三次握手都会消耗相应的网络资源，访问延时也与tcp请求数量成正比。通过加速节点之间，及加速节点与源站之间建立长连接，基于http2技术将加速节点间或加速节点到源站的多个tcp请求合并为一个请求，可以大幅降低请求时间和访问延时，提升访问效率的同时降低服务器压力。
46.（4）传输内容压缩通过传输内容压缩技术，对传输数据冗余内容进行压缩，识别传输数据中的有效传输内容，仅传输有效数据（例如仅传输修改部分内容）可以大幅减少网络传输的字节数，缩短传输时间，让应用数据更快地交付。
47.（5）dpi有效识别内网应用采用流量特征识别技术dpi（deep packet inspection），基于五元组、应用、域名类型，主动对流量的报文特征进行分析，并归纳特征规则库，有效识别用户内网应用类型，对比自定义加速配置信息对相关业务数据进行加速或限流。例如当识别到业务a流量大，且没有被用户设置为加速，可以提示用户是否设置对业务a加速。
48.（6）基于qos实现优先业务、用户保障结合dpi技术对业务类型进行有效识别，基于用户需求预先设置优先级保障策略，通过qos（quality of service）控制策略实现对优先业务的流量、优先用户的加速保障。
49.进一步地，本发明实施例的弱网或断网情况下大流量业务加速系统可部署在如图2或图3所示的便携式设备或可扩展的机架式设备上。
50.如图2所示，一个便携式设备可作为一个加速节点，加速节点的数据处理通过便携式设备内部的数据处理单元（例如应用程序）实现。加速节点与其它节点的通信通过外置天线以及网口实现。
51.如图3所示，机架式设备可以为可以标准2u机架设备，机架式设备可根据需要增加配件完成性能扩容，即在一个机架式设备上实现多个便携式设备的功能。
52.本发明实施例的一种弱网或断网情况下大流量业务加速方法，包括：构建加速节点，加速节点用于自定义加速配置信息，加速配置信息中定义了需要加速的业务数据；加速节点还用于根据加速配置信息预先将需要加速的业务数据存储在数据缓存区；加速节点还用于响应用户端的数据请求，对数据请求进行识别，若数据缓存区中包括数据请求对应的业务数据，则从数据缓存区中读取相应数据发送给用户端，若数据缓存区中不包括数据请求对应的业务数据，则从其它加速节点或源站获取数据请求对应的业务数据发送给用户端，并且根据加速配置信息调整网络资源配置，优先保障加速配置信息中定义的需要加速的业务数据传输。
53.以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践这里的公开后，将容易想到本公开的其实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视
为示例性的，本公开的范围和精神由权利要求限定。
54.以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
55.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。