国产混合云环境下的运价搜索数据收集及统计方法及系统与流程

本技术属于客票查询服务领域，特别涉及一种国产混合云环境下的运价搜索数据收集及统计方法及系统。

背景技术：

1、随着航空行业的快速发展，运价信息的实时性和准确性对企业决策和用户体验至关重要。运价搜索系统需要处理来自多个渠道的海量数据。这些数据具有来源多样、格式异构、更新频繁等特点，给数据的收集、存储和分析带来了巨大挑战。目前，大多数运价搜索系统采用传统的集中式数据处理架构或基于国外云平台的解决方案，存在国产化适配不足、数据同步效率低、安全合规性差、扩展性不足等技术缺陷。

技术实现思路

1、为解决现有运价搜索系统国产化适配不足（依赖国外组件）、跨云传输效率低（全量同步占带宽）、安全与实时性失衡（加密即降效）、统计维度有限（缺乏实时-离线协同）的问题，本技术提供了一种国产混合云环境下的运价搜索数据收集及统计方法及系统，通过“安全 + 实时 + 可扩展” 的技术实现，解决了国产混合云环境下运价数据 “采集难、安全弱、统计慢” 的痛点，既满足政企对 “自主可控” 的要求，又能为运价搜索系统提供精准、实时的数据支撑。

2、本技术提供了一种国产混合云环境下的运价搜索数据收集及统计方法，包括：

3、在公有云网关层，接收多源运价搜索数据，并将所述多源运价搜索数据分为核心数据与非核心数据；

4、在跨云协同层，通过功能组件对所述核心数据与所述非核心数据分别采用差异化传输策略传输至私有云业务层；

5、在私有云业务层，对传输的数据进行解密，并通过功能组件采集私有云侧内部运行数据，将解密后的传输数据与私有云侧内部运行数据汇聚，对汇聚后的全部数据进行统计处理，生成统计指标存储至国产内存数据库，同时将业务操作产生的明细数据转发至国产时序数据库进行聚合存储。

6、可选的，将所述多源运价搜索数据按敏感程度分级为核心数据与非核心数据，包括：

7、将含航司运价策略、用户支付信息及未公开舱位库存的数据划分为加密传输级核心数据；

8、将含公开航线列表、历史查询统计及用户地域分布的数据划分为常规传输级非核心数据。

9、可选的，所述功能组件包括云节点适配组件、国密加密传输组件、多源数据采集组件及实时统计处理组件；

10、所述云节点适配组件部署于跨云协同层，用于根据数据是否敏感选择对应的传输通道及处理方式；

11、所述国密加密传输组件部署于私有云业务层，用于加密；

12、所述多源数据采集组件部署于私有云业务层，用于采集api数据和lot设备数据并发送；

13、所述实时统计处理组件部署于私有云业务层，基于国产流计算框架实现统计指标的计算。

14、可选的，所述对所述核心数据采用差异化传输策略，包括：

15、通过混合云专线采用对称加密算法对所述核心数据进行对称加密传输；

16、调用文件块比对工具计算本地与云端数据块的哈希值，仅传输哈希值不一致的差异数据块；

17、将每笔传输操作日志实时写入国产区块链服务，生成不可篡改的存证哈希。

18、可选的，所述对所述非核心数据采用差异化传输策略，包括：

19、通过国产消息队列的发布-订阅模式传输所述非核心数据；

20、启用安全通信协议加密功能，并配置至少三节点的集群冗余。

21、可选的，

22、所述对汇聚后的全部数据进行统计处理，生成统计指标存储至国产内存数据库，包括：

23、通过实时统计处理组件基于国产流计算框架对汇聚后的全部数据进行实时统计，生成包括运价波动率指标、api 调用成功率指标、tps 指标及访问量指标的统计指标；

24、将所述统计指标以键值对形式写入国产内存数据库，用于实时展示高频数据。

25、可选的，所述将业务操作产生的明细数据转发至国产时序数据库进行聚合存储，包括：

26、将业务操作产生的明细数据写入本地日志文件，并经国产日志服务解析本地日志文件并提取字段，按航线与时间维度聚合后写入国产时序数据库。

27、可选的，

28、接收多源运价搜索数据之后，并将所述多源运价搜索数据分为核心数据与非核心数据之前，还包括：对多源运价搜索数据进行校验；

29、通过密码杂凑算法验证请求签名以防止数据篡改；

30、限制单 ip 请求频率不超过预设阈值；

31、对格式错误请求返回错误码。

32、基于同一发明构思，本技术还提供了一种国产混合云环境下的运价搜索数据收集及统计系统，包括：

33、公有云网关层，用于接收多源运价搜索数据，并将所述多源运价搜索数据分为核心数据与非核心数据；

34、跨云协同层，用于通过功能组件对所述核心数据与所述非核心数据分别采用差异化传输策略，传输至私有云业务层；

35、私有云业务层，用于对传输的数据进行解密，并通过功能组件采集私有云侧内部运行数据，将解密后的传输数据与私有云侧内部运行数据汇聚，对汇聚后的全部数据进行统计处理，生成统计指标存储至国产内存数据库，同时将业务操作产生的明细数据转发至国产时序数据库进行聚合存储。

36、再一方面，本技术还提供了一种电子设备，包括：至少一个处理器和存储器；

37、所述存储器，用于存储一个或多个程序；

38、当所述一个或多个程序被所述一个或多个处理器执行时，实现如上述所述的一种国产混合云环境下的运价搜索数据收集及统计方法。

39、再一方面，本技术还提供了一种计算机可读存储介质，其上存有计算机程序，所述计算机程序被执行时，实现如上述所述的一种国产混合云环境下的运价搜索数据收集及统计方法。

40、与现有技术相比，本技术具有如下优点：

41、本技术提供了一种国产混合云环境下的运价搜索数据收集及统计方法及系统，包括：在公有云网关层，接收多源运价搜索数据，并将所述多源运价搜索数据分为核心数据与非核心数据；在跨云协同层，通过功能组件对所述核心数据与所述非核心数据分别采用差异化传输策略传输至私有云业务层；在私有云业务层，对传输的数据进行解密，并通过功能组件采集私有云侧内部运行数据，将解密后的传输数据与私有云侧内部运行数据汇聚，对汇聚后的全部数据进行统计处理，生成统计指标存储至国产内存数据库，同时将业务操作产生的明细数据转发至国产时序数据库进行聚合存储。

42、利用公有云-跨云-私有云三级国产架构+功能组件代码依赖，及全流程技术设计的模式，本技术方案的优点并非单一技术突破，而是通过国产组件协同、分级效率设计、安全合规落地、统计能力闭环、成本可控优化的组合，精准解决航空物流运价系统国产化不足、传输慢、不安全、统计粗和成本高的五大核心痛点。

43、本技术的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术而了解。本技术的目的和其他优点可通过在说明书、权利要求书以及附图中所指出的结构来实现和获得。