一种针对集装箱租赁业务数据的智能弹性处理系统及方法与流程

摘要: 本发明涉及数据处理,尤其涉及一种针对集装箱租赁业务数据的智能弹性处理系统及方法。背景技术:1、目前,在集装箱租赁业务场景中,通常是按照指定时间周期(比如每月),...
一种针对集装箱租赁业务数据的智能弹性处理系统及方法与流程

本发明涉及数据处理,尤其涉及一种针对集装箱租赁业务数据的智能弹性处理系统及方法。

背景技术:

1、目前,在集装箱租赁业务场景中,通常是按照指定时间周期(比如每月),从业务数据库中获取集装箱租赁业务数据(比如租赁账单数据),并对集装箱租赁业务数据进行处理,以完成指定业务(比如账单结算)。但是,由于该种方式是按照指定时间周期进行数据获取和处理,导致数据大量积累,用于数据处理的服务器会受到海量数据冲击,资源利用率低下,响应延迟高,进而降低服务器的使用寿命。

2、基于此,本说明书提供一种针对集装箱租赁业务数据的智能弹性处理系统及方法。

技术实现思路

1、为了解决现有技术中处理集装箱租赁业务数据的服务器在海量数据冲击下资源利用率低、响应延迟高的技术问题,本发明提出了一种针对集装箱租赁业务数据的智能弹性处理系统及方法,以解决上述现有技术中存在的技术问题。

2、本说明书提供一种针对集装箱租赁业务数据的智能弹性处理系统,所述系统包括:

3、数据采集与流处理层:用于实时捕获业务数据库的变更事件并转换为json格式的数据消息,发送至kafka消息队列;

4、计算与存储层:部署基于kubernetes集群构建的各数据处理模块,所述各数据处理模块用于消费所述kafka消息队列中的数据消息,基于所述数据消息进行消息解析与数据处理,并将处理结果存储至结果数据库;

5、监控与日志采集层:用于实时采集所述各数据处理模块的负载指标和容器日志;

6、ai综合分析层:用于定期从所述监控与日志采集层中查询指定时段、预设日志级别的容器日志作为目标日志,并将预设规则、所述目标日志和所述负载指标输入到集装箱租赁业务ai大模型,得到各集装箱租赁业务的分析结果;

7、扩缩容执行层包括在线扩缩容api服务模块,所述在线扩缩容api服务模块用于根据所述分析结果,动态调整所述各数据处理模块的数量,对所述kubernetes集群进行扩容或者缩容。

8、可选地,所述数据采集与流处理层包括各连接器、业务数据库和kafka消息队列,所述业务数据库包括各复制槽和各数据块,每个数据块存储不同业务维度的数据表,每个连接器、每个复制槽和所述每个数据块存在一一对应的关系;

9、所述连接器:用于向业务数据库发送复制连接请求;

10、所述业务数据库:用于在接收到复制连接请求后,从所述连接器对应的复制槽记录的指定位点开始,流式推送所述连接器对应的数据块的wal日志中的变更事件;

11、所述连接器还用于,将所述变更事件转换为统一的sourcerecord结构,将所述结构序列化为json格式的数据消息,并发送至所述kafka消息队列。

12、可选地,所述kafka消息队列包括各消息主题,每个消息主题存储不同数据标识的变更事件对应的数据消息。

13、可选地,所述负载指标包括cpu使用率、内存使用率、kafka消费者滞后、消息处理吞吐量、所述指定时段内的数据处理模块的重启次数。

14、可选地,所述监控与日志采集层包括:

15、prometheus组件:用于采集所述各数据处理模块的负载指标;

16、日志采集工具:用于采集所述各数据处理模块的容器日志并发送至elasticsearch组件;

17、所述elasticsearch组件:用于存储所述日志采集工具采集的容器日志。

18、可选地,所述ai综合分析层包括:

19、日志查询模块:用于定期从所述elasticsearch组件中查询指定时段、预设日志级别的容器日志作为目标日志;

20、异常分类模块:用于将所述目标日志输入集装箱租赁业务ai大模型,通过所述集装箱租赁业务ai大模型对所述目标日志进行语义分类,确定所述目标日志对应的异常类型;

21、综合分析模块:用于将预设规则、所述异常类型和所述负载指标输入到所述集装箱租赁业务ai大模型,得到各集装箱租赁业务的分析结果。

22、可选地,所述kubernetes集群还包括资源控制器;所述在线扩缩容api服务模块包括:

23、配额检查单元:用于在所述分析结果中的决策为紧急扩容时,查询当前所述kubernetes集群中的命名空间的剩余配额,并判断所述剩余配额是否满足所述分析结果中的目标副本数;

24、字段修改单元:用于在所述剩余配额满足所述目标副本数时,使用已授权的身份令牌,调用扩缩容api,基于所述目标副本数,修改所述资源控制器中的指定字段;

25、所述资源控制器:用于在检测到所述指定字段变更时,基于修改后的指定字段,动态调整所述各数据处理模块的数量,对所述kubernetes集群进行扩容。

26、可选地,所述kubernetes集群还包括资源控制器;所述扩缩容执行层还包括消息发送模块;

27、所述消息发送模块:用于在所述分析结果中的决策为建议扩容时,基于所述负载指标和所述分析结果,生成建议扩容消息,并显示给运维人员,所述建议扩容消息包括一键式可执行链接;

28、所述在线扩缩容api服务模块包括:

29、身份认证单元:用于在所述运维人员点击所述一键式可执行链接后,对所述运维人员进行身份认证;

30、配额检查单元:用于在身份认证通过后,查询当前所述kubernetes集群中的命名空间的剩余配额,并判断所述剩余配额是否满足所述分析结果中的建议副本数;

31、字段修改单元:用于在所述剩余配额满足所述建议副本数时,使用已授权的身份令牌,调用扩缩容api,基于所述建议副本数,修改所述资源控制器中的指定字段。

32、可选地,所述kubernetes集群还包括资源控制器;所述扩缩容执行层还包括消息发送模块和缩容判定模块;

33、所述缩容判定模块:用于基于所述分析结果、所述负载指标和当前数据处理模块的数量,判断是否满足预设缩容条件;所述缩容条件包括:所述分析结果中的决策为缩容、所述当前数据处理模块的数量大于预设最小副本数、所述负载指标中的kafka消费者滞后处于预设范围、所述分析结果中的决策为缩容的持续时间达到预设时间阈值;

34、所述消息发送模块:用于在满足所述缩容条件时,基于所述负载指标和所述分析结果,生成缩容消息,并显示给运维人员,所述缩容消息包括一键式可执行链接;

35、所述在线扩缩容api服务模块包括:

36、身份认证单元:用于在所述运维人员点击所述一键式可执行链接后,对所述运维人员进行身份认证;

37、缩容检查单元:用于在身份认证通过后,判断所述分析结果中缩容后的副本数是否小于所述最小副本数;

38、字段修改单元:用于在所述缩容后的副本数不小于所述最小副本数时,使用已授权的身份令牌,调用扩缩容api,基于所述缩容后的副本数,修改所述资源控制器中的指定字段。

39、本说明书提供一种针对集装箱租赁业务数据的智能弹性处理方法,所述方法包括:

40、s1:数据采集与处理:实时捕获业务数据库的变更事件并转换为json格式的数据消息,发送至kafka消息队列;

41、s2:业务处理:消费所述kafka消息队列中的数据消息,基于所述数据消息进行消息解析与数据处理,并将处理结果存储至结果数据库;

42、s3:采集用于数据处理的服务器的负载指标和容器日志;

43、s4:目标日志查询及分析:定期从采集到的容器日志中查询指定时段、预设日志级别的容器日志作为目标日志,并将预设规则、所述目标日志和所述负载指标输入到集装箱租赁业务ai大模型,得到各集装箱租赁业务的分析结果;

44、s5:根据所述分析结果,动态调整所述服务器的计算资源。

45、有益效果:

46、本说明书采用的上述至少一个技术方案能够达到以下有益效果:

47、本说明书提供的一种针对集装箱租赁业务数据的智能弹性处理系统,该系统包括数据采集与流处理层、计算与存储层、监控与日志采集层、ai综合分析层和扩缩容执行层。数据采集与流处理层可实时捕获业务数据库的变更事件并转换为json格式的数据消息,发送至kafka消息队列,通过实时捕获业务数据库的变更事件并进行后续的数据处理,无需按照指定时间周期获取数据并处理,避免积累大量数据,减小用于数据处理的服务器受海量数据冲击的可能性。上述计算与存储层部署基于kubernetes集群构建的各数据处理模块,各数据处理模块用于消费所述kafka消息队列中的数据消息,基于数据消息进行消息解析与数据处理,并将处理结果存储至结果数据库。监控与日志采集层可采集各数据处理模块的负载指标和容器日志。ai综合分析层可定期从监控与日志采集层中查询指定时段、预设日志级别的容器日志作为目标日志,并将预设规则、目标日志和负载指标输入到集装箱租赁业务ai大模型,得到各集装箱租赁业务的分析结果。扩缩容执行层包括的在线扩缩容api服务模块可根据分析结果,动态调整各数据处理模块的数量,对kubernetes集群进行扩容或者缩容。通过实时采集kubernetes集群各数据处理模块的负载指标和容器日志,并通过集装箱租赁业务ai大模型综合分析,以基于分析结果动态调整计算资源(即kubernetes集群中的数据处理模块),实现数据高峰期自动扩容保延迟,数据低峰期自动缩容降成本,从而实现数据处理全流程的性能优化,有效应对海量数据突发冲击,显著提升资源利用率和稳定性,降低响应延迟时间,同时降低了人工运维成本和服务器故障风险。

48、本发明中的在线扩缩容api服务模块包括配额检查单元,该配额检查单元可在分析结果中的决策为紧急扩容或者决策为建议扩容且身份认证通过时,查询当前kubernetes集群中的命名空间的剩余配额,并判断剩余配额是否满足分析结果中的目标副本数或者建议副本数,通过配额检查单元在扩容前自动检查剩余配额是否满足目标副本数或者建议副本数,避免无效扩容。并且,扩缩容执行层还包括缩容判定模块,该缩容判定模块可基于分析结果、负载指标和当前数据处理模块的数量,判断是否满足预设缩容条件。在线扩缩容api服务模块还包括缩容检查单元,该缩容检查单元可在身份认证通过后,判断分析结果中缩容后的副本数是否小于最小副本数,通过上述缩容判定模块和缩容检查单元的双重判断,避免出现因过度缩容导致服务不可用的情况。

49、本发明中的在分析结果中的决策为建议扩容或者缩容时,均会触发人工干预,即消息发送模块会生成建议扩容消息或者缩容消息给运维人员,并且建议扩容消息或者缩容消息中均包括一键式可执行链接,便于运维人员点击链接确认,并且是在运维人员点击链接确认后才进行对应的扩容或者缩容,兼顾了自动化效率与安全性。

50、本说明书提供的一种针对集装箱租赁业务数据的智能弹性处理方法,该方法可实时捕获业务数据库的变更事件并转换为json格式的数据消息,发送至kafka消息队列,通过实时捕获业务数据库的变更事件并进行后续的数据处理,无需按照指定时间周期获取数据并处理,避免积累大量数据,减小用于数据处理的服务器受海量数据冲击的可能性。之后,消费kafka消息队列中的数据消息,基于数据消息进行消息解析与数据处理,并将处理结果存储至结果数据库。采集用于数据处理的服务器的负载指标和容器日志,定期从采集到的容器日志中查询指定时段、预设目标日志级别的容器日志作为目标日志,并将预设规则、目标日志和负载指标输入到集装箱租赁业务ai大模型,得到各集装箱租赁业务的分析结果。根据分析结果,动态调整服务器的计算资源。通过实时采集用于数据处理的服务器的负载指标和容器日志,并通过集装箱租赁业务ai大模型综合分析,以基于分析结果动态调整服务器的计算资源,实现数据高峰期自动扩容保延迟,数据低峰期自动缩容降成本,从而实现数据处理全流程的性能优化,有效应对海量数据突发冲击,显著提升资源利用率和稳定性,降低响应延迟时间,同时降低了人工运维成本和服务器故障风险。