一种物联网软件系统的高可靠性架构设计方法与流程

摘要: 本发明涉及复杂软件系统架构设计,尤其涉及一种物联网软件系统的高可靠性架构设计方法。背景技术:1、物联网系统具有高实时性、高并发量和高吞吐量等特点,随着系统规模的...
一种物联网软件系统的高可靠性架构设计方法与流程

本发明涉及复杂软件系统架构设计,尤其涉及一种物联网软件系统的高可靠性架构设计方法。

背景技术:

1、物联网系统具有高实时性、高并发量和高吞吐量等特点,随着系统规模的不断扩大,软件系统的复杂程度越来越高,维护成本也相应增加,为系统的可靠性带来挑战。典型的物联网系统通常包括组件:nginx代理服务、mqtt代理服务、数据解析服务、消息队列、数据处理服务以及数据库等。物联网系统架构示意如图1所示:

2、物联网设备数据上报周期通常具有强一致性,当数据密集上报时,数据流量的峰值可能导致短时间内产生大量的并发请求。高并发请求对数据处理过程和持久化过程产生瞬时压力,容易引起数据处理超时异常或资源过载宕机。因此,总结起来物联网系统中经常出现的可靠性问题包括:

3、高并发请求导致数据接收方无法及时处理,触发超时异常;

4、数据处理业务过载,线程资源耗尽,导致数据丢失或软件宕机;

5、短时内大量数据读写,导致数据库连接资源耗尽,降低读写性能;

6、数据处理过程产生大量无效的中间数据,长期占用存储资源导致系统崩溃。

7、传统的解决上述问题的方法通常只是对单一的、局部的具体软件进行优化设计,例如用消息队列实现并发请求的“削峰填谷”;用缓存技术提高持久化层的读写性能;部署服务器资源监控工具,靠人工执行磁盘清理和软件重启等操作。这些方法都仅能实现局部个别软件的最优,但实际可能是将该软件的性能瓶颈转移到了其他软件,无法实现系统的整体最优。另外,传统的软件系统一般为“开环”系统,缺少必要的反馈控制机制,尽管系统短期内运行稳定,但是仍然可能受环境扰动的影响而失稳。

技术实现思路

1、本发明提供了一种物联网软件系统的高可靠性架构设计方法,能够解决现有技术中在网络数据高并发场景下的软件系统可靠性较低的技术问题。

2、根据本发明的一方面,提供了一种物联网软件系统的高可靠性架构设计方法,所述方法包括:

3、s10、在“数据接入”环节,设定设备上报平台的数据流量为f,基于数据流量f和“请求分发”环节的安全阈值获取“数据接入”环节可以被“请求分发”环节接收的可接入流量;判断数据流量f是否超过“请求分发”环节的安全阈值,若是,转至s20;否则,转至s60;

4、s20、将数据流量与可接入流量作差,得到被拦截部分的流量;

5、s30、将被拦截部分的流量暂存到缓冲队列;

6、s40、后台线程对被拦截部分的流量进行分割,得到若干分割后的流量,并依次重新处理各个分割后的流量;

7、s50、按照预设周期定期清理未能重新处理的过期流量,并转至s60;

8、s60、在“请求分发”环节,基于实际业务需要和数据流量f获取请求分发量q,基于请求分发量q和“数据处理”环节的安全阈值获取“请求分发”环节可以被“数据处理”环节接收的可接入请求量;判断请求分发量q是否超过“数据处理”环节的安全阈值,若是,转至s70;否则,转至s110;

9、s70、将请求分发量q与可接入请求量作差,得到被拦截部分的请求量;

10、s80、将被拦截部分的请求量暂存到缓冲队列;

11、s90、后台线程对被拦截部分的请求量进行分割,得到若干分割后的请求量,并依次重新处理各个分割后的请求量;

12、s100、按照预设周期定期清理未能重新处理的过期请求量,并转至s110;

13、s110、在“数据处理”环节,基于实际业务需要和请求分发量q获取业务处理量p,基于业务处理量p和“数据读写”环节的安全阈值获取“数据处理”环节可以被“数据读写”环节接收的可接入业务量;判断业务处理量p是否超过“数据读写”环节的安全阈值,若是,转至s120;否则,转至s160;

14、s120、将业务处理量p与可接入业务量作差,得到被拦截部分的业务量;

15、s130、将被拦截部分的业务量暂存到缓冲队列;

16、s140、后台线程对被拦截部分的业务量进行分割,得到若干分割后的业务量,并依次重新处理各个分割后的业务量;

17、s150、按照预设周期定期清理未能重新处理的过期业务量,并转至s160;

18、s160、在“数据读写”环节,基于实际业务需要和业务处理量p获取事务读写量s,基于事务读写量s和“数据持久化”环节的安全阈值获取“数据读写”环节可以被“数据持久化”环节接收的可接入事务量;判断事务读写量s是否超过“数据持久化”环节的安全阈值,若是,转至s170;否则,转至s210;

19、s170、将事务读写量s与可接入事务量作差,得到被拦截部分的事务量;

20、s180、将被拦截部分的事务量暂存到缓冲队列;

21、s190、后台线程对被拦截部分的事务量进行分割,得到若干分割后的事务量,并依次重新处理各个分割后的事务量;

22、s200、按照预设周期定期清理未能重新处理的过期事务量,并转至s210;

23、s210、在“数据持久化”环节,基于实际业务需要和事务读写量s得到数据存储量e,并将数据存储量e永久写入物理磁盘。

24、优选的,通过下式得到可接入流量:

25、

26、式中,为流量拦截的安全系数,为“请求分发”环节的容量上限。

27、优选的,通过下式得到若干分割后的流量:

28、

29、式中,为流量补发系数,为重新处理的总流量,i1为流量补发次数,n1为流量补发总数。

30、优选的,通过下式得到可接入请求量:

31、

32、式中,为请求拦截的安全系数,为“数据处理”环节的容量上限。

33、优选的,通过下式得到若干分割后的请求量:

34、

35、式中,为请求量补发系数,为重新处理的总请求量,i2为请求量补发次数,n2为请求量补发总数。

36、优选的,通过下式得到可接入业务量:

37、

38、式中,为业务拦截的安全系数,为“数据读写”环节的容量上限。

39、优选的,通过下式得到若干分割后的业务量:

40、

41、式中,为业务量补发系数,为重新处理的总业务量,i3为业务量补发次数,n3为业务量补发总数。

42、优选的,通过下式得到可接入事务量:

43、

44、式中,为事务拦截的安全系数,为“数据持久化”环节的容量上限。

45、优选的,通过下式得到若干分割后的事务量:

46、

47、式中,为事务量补发系数,为重新处理的总事务量,i4为事务量补发次数,n4为事务量补发总数。

48、根据本发明的又一方面,提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任一所述方法。

49、应用本发明的技术方案,通过在物联网软件系统的五个典型过程之间增加其交互界面的容错能力和反馈限流机制,一方面保证了在数据高峰时段或流量异常时,可以触发保护机制,避免高并发请求引起的数据拥塞或软件崩溃;另一方面可以保证在数据低谷时段,可以快速完成所有数据处理任务。