一种高并发文件推送管理方法及系统与流程

摘要: 本申请属于数据推送,特别涉及一种高并发文件推送管理方法及系统。背景技术:1、随着互联网应用的蓬勃发展,电商平台商品图片、社交应用多媒体文件等场景对文件存储的需求...
一种高并发文件推送管理方法及系统与流程

本申请属于数据推送,特别涉及一种高并发文件推送管理方法及系统。

背景技术:

1、随着互联网应用的蓬勃发展,电商平台商品图片、社交应用多媒体文件等场景对文件存储的需求呈现爆发式增长,传统文件存储方案在大规模中小文件存储场景下面临着日益严峻的挑战。

2、常见的文件存储方案存在明显局限性,单机存储无法满足海量文件的存储需求,而且还存在单点故障的风险,使用共享存储方案,在高并发访问场景下容易出现性能瓶颈,且扩展性较差,而分布式文件系统更适用于大文件存储和大数据处理场景,而且直接同步上传大文件会阻塞业务线程,尤其在高并发时,上传耗时会导致请求超时或资源耗尽,对于中小文件的存储和访问效率不够理想,且部署和维护过于复杂。

技术实现思路

1、为解决上述问题,本申请提供了一种高并发文件推送管理方法及系统。本方案实现高并发场景下系统压力分流,支持并行处理提升推送吞吐,避免业务服务带宽、io 过载,同时依托集群负载均衡保障文件下载稳定可靠。

2、本公开第一方面提出一种高并发文件推送管理方法,所述管理方法包括:

3、上传客户端将目标文件上传至分布式文件集群,并生成所述目标文件的存储标识;

4、获取文件推送任务并进行拆分生成对应用户和文件的多个子任务,将各个所述子任务写入消息队列;

5、并行处理所述消息队列中的子任务,查询各个子任务中所述用户的在线网关节点,并根据所述在线网关节点向下载客户端发送对应所述目标文件的文件推送消息;

6、所述下载客户端在接收到文件推送消息后,向所述分布式文件集群发送包括所述存储标识的下载请求以下载所述目标文件。

7、根据本公开一种优选实施方式,所述管理方法还包括:

8、所述下载客户端完成下载所述目标文件后,反馈任务完成回执;

9、根据所述任务完成回执统计各个所述子任务的完成情况。

10、根据本公开一种优选实施方式,所述上传客户端将目标文件上传至分布式文件集群,并生成所述目标文件的存储标识,包括:

11、上传客户端向所述分布式文件集群的跟踪服务器发送文件推送请求;

12、所述跟踪服务器在接收到所述文件推送请求时,根据预设负载均衡策略向所述上传客户端返回所述分布式文件集群的存储服务器地址;

13、所述上传客户端根据所述存储服务器地址将所述目标文件上传至存储服务器,并由存储服务器生成所述目标文件的存储标识。

14、根据本公开一种优选实施方式,所述上传客户端将目标文件上传至分布式文件集群,并生成所述目标文件的存储标识之前,所述管理方法还包括:

15、由网关接收所述文件推送请求,并对所述文件推送请求进行身份认证、权限校验以及请求限流检查;

16、在所述身份认证、权限校验以及请求限流检查均通过后,由网关将所述文件推送请求转发至所述分布式文件集群。

17、根据本公开一种优选实施方式,所述向所述分布式文件集群发送包括所述存储标识的下载请求以下载所述目标文件,包括:

18、所述下载客户端向所述分布式文件集群的跟踪服务器发送包括所述存储标识的下载请求;

19、所述跟踪服务器根据所述存储标识,生成指向所述分布式文件集群的存储服务器,且对应所述目标文件的安全下载地址;所述安全下载地址包括时效时间戳;

20、所述下载客户端根据所述安全下载地址从所述存储服务器下载所述目标文件,并对所述目标文件进行完整性校验。

21、根据本公开一种优选实施方式,所述获取文件推送任务并进行拆分生成对应用户和文件的多个子任务,将各个所述子任务写入消息队列,包括:

22、获取文件推送任务,对应生成所述文件推送任务生成全局唯一主任务id并将所述全局唯一主任务id持久化存储;

23、根据所述文件推送任务的推送用户列表按用户分别构建推送消息,得到对应用户和文件的多个子任务;

24、将各个所述子任务写入所述消息队列中并持久化。

25、根据本公开一种优选实施方式,所述管理方法还包括:

26、所述消息队列中的子任务处理失败后自动重试,当重试次数达到预设阈值时,将所述子任务从所述消息队列中转入死信队列并进行运维警告。

27、为了解决上述技术问题,本公开第二方面提出一种高并发文件推送管理系统,所述管理系统包括:上传客户端、分布式文件集群、下载客户端以及推送管理服务端;

28、所述上传客户端,用于将目标文件上传至分布式文件集群;

29、所述分布式文件集群,用于生成所述目标文件的存储标识;

30、所述推送管理服务端,用于获取文件推送任务并进行拆分生成对应用户和文件的多个子任务,将各个所述子任务写入消息队列;

31、所述推送管理服务端,用于并行处理所述消息队列中的子任务,查询各个子任务中所述用户的在线网关节点,并根据所述在线网关节点向下载客户端发送对应所述目标文件的文件推送消息;

32、所述下载客户端,用于在接收到文件推送消息后,向所述分布式文件集群发送包括所述存储标识的下载请求以下载所述目标文件。

33、根据本公开一种优选实施方式,所述下载客户端,还用于完成下载所述目标文件后,反馈任务完成回执;

34、所述推送管理服务端,还用于根据所述任务完成回执统计各个所述子任务的完成情况。

35、根据本公开一种优选实施方式,所述推送管理服务端,还用于在所述消息队列中的子任务处理失败后自动重试,当重试次数达到预设阈值时,将所述子任务从所述消息队列中转入死信队列并进行运维警告。

36、与现有技术相比,本申请具有如下优点:本方案由上传客户端上传文件至分布式文件集群并生成存储标识,将推送任务拆分为用户-文件子任务存入消息队列,多实例并行消费子任务,匹配用户在线网关后向下载客户端下发仅含文件标识的推送通知,再由下载客户端携带存储标识直连集群下载文件;本方案借助消息队列异步解耦削峰,分离控制信令与文件数据流,业务服务仅下发轻量化通知,海量文件传输由分布式集群承载,实现高并发场景下系统压力分流,支持并行处理提升推送吞吐,避免业务服务带宽、io 过载,同时依托集群负载均衡保障文件下载稳定可靠。

37、本申请的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本申请而了解。本申请的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。

1.一种高并发文件推送管理方法,其特征在于,所述管理方法包括:

2.根据权利要求1所述的管理方法,其特征在于,所述管理方法还包括:

3.根据权利要求1所述的管理方法,其特征在于,所述上传客户端将目标文件上传至分布式文件集群,并生成所述目标文件的存储标识,包括:

4.根据权利要求1所述的管理方法,其特征在于,所述上传客户端将目标文件上传至分布式文件集群,并生成所述目标文件的存储标识之前,所述管理方法还包括:

5.根据权利要求1所述的管理方法,其特征在于,所述向所述分布式文件集群发送包括所述存储标识的下载请求以下载所述目标文件,包括:

6.根据权利要求1所述的管理方法,其特征在于,所述获取文件推送任务并进行拆分生成对应用户和文件的多个子任务,将各个所述子任务写入消息队列,包括:

7.根据权利要求1~6中任一所述的管理方法,其特征在于,所述管理方法还包括:

8.一种高并发文件推送管理系统,其特征在于,所述管理系统包括:上传客户端、分布式文件集群、下载客户端以及推送管理服务端;

9.根据权利要求8所述的管理系统,其特征在于,所述下载客户端,还用于完成下载所述目标文件后,反馈任务完成回执;

10.根据权利要求8或9所述的管理系统,其特征在于,所述推送管理服务端,还用于在所述消息队列中的子任务处理失败后自动重试,当重试次数达到预设阈值时,将所述子任务从所述消息队列中转入死信队列并进行运维警告。