一种基于单项数据流的云原生数据API构建方法与流程

一种基于单项数据流的云原生数据api构建方法
技术领域
1.本发明涉及网络技术领域，具体为一种基于单项数据流的云原生数据api构建方法。


背景技术：

2.在数据分析利用的过程中，数据本身、基于数据的分析模型、基于数据本身和分析模型的数据应用都有开放共享的巨大价值。传统的数据开放共享手段是数据导出，例如导出到本地磁盘、ftp服务器、分布式文件系统等。这种方式适合临时的、大量数据的交换场景，但平台会失去导出数据的任何信息收集能力，不能做到对数据使用者的信息收集与审计，也不能做到模型和数据应用的导出，极大限制了数据服务的功能边界。于是在打造应用生态的场景中，接口，尤其是restful接口成为了更流行的服务提供形式，数据、模型、应用均可通过restful接口开放，用户调用接口时平台也能采集到调用者基本信息，方便进行权限管理和流量并发控制，从而提供更好更稳定的数据服务。
3.但目前很多厂商的restful接口提供是需要客户提前明确需求，而后研发力量投入，直接在平台交付时完成的，这种方式显然不够灵活，投入也大。针对数据api，某些开源技术以及平台厂商可以实现声明式的数据api订制功能，使得用户可以定义数据需求，平台即可以api的形式提供数据开放服务。但当前大部分这种技术均是使用一套服务运营所有接口，无法细粒度地针对每个接口动态调整资源，而且某些api异常导致服务崩溃时，所有数据api均无法使用，无法做到故障隔离。
4.因此需要一种基于单项数据流的云原生数据api构建方法对上述问题做出改善。


技术实现要素：

5.本发明的目的在于提供一种基于单项数据流的云原生数据api构建方法，以解决上述背景技术中提出的问题。
6.为实现上述目的，本发明提供如下技术方案：
7.一种基于单项数据流的云原生数据api构建方法，包括以下步骤：
8.10：多源异构数据交换框架搭建
9.20：流批一体数据加工框架搭建；
10.30：采用apachehudi数据湖进行数据存储；
11.40：基于faas平台的api搭建；
12.50：基于presto平台进行数据查询。
13.作为本发明优选的方案，所述步骤30还可采用alluxio存储系统以降低i/o开销。
14.作为本发明优选的方案，所述步骤10包括以下步骤：
15.101：数据源抽象，对jdbc、文件系统、消息队列等通用数据源的读取和写入，提供开发框架与集成方法，方便用户自行开发其他数据源驱动：
16.102：交换行为抽象：针对每个数据源，抽象出交换任务运行时间策略、新旧数据写
入策略、脏数据过滤策略、任务运行配置等自定义行为，不同数据源可根据其底层技术支撑情况自行实现；
17.103：外部元数据导入：若数据源侧存储了导入数据的元数据，例如字段备注、主外键关系等，则提供开发框架实现这些元数据的导入功能；
18.104：支持页面化的采集数据源管理、任务监控告警、采集数据编目、数据集关系管理功能，支持使用低代码开发框架扩展管理控制台的功能。
19.作为本发明优选的方案，所述步骤20的具体步骤包括以下：
20.201：流批一体数据加工任务构建；
21.202：加工任务调度；
22.203：加工数据分层管理；
23.204：udf管理，将用户自行编写的udf数据处理函数上传至平台，以备加工任务调用。
24.作为本发明优选的方案，所述步骤201支持通过sql语言、spark程序、flink程序进行数据加工，在底层框架支持的情况下，同一种加工任务代码可以在流和批两种运行方式中切换，所述步骤202还支持定时调度、依赖调度、调度任务上线下线功能，形成加工任务工作流，同时支持超出时间预警告警功能。
25.作为本发明优选的方案，所述步骤40包括以下步骤：
26.401：基于faas的数据开放接口引擎，基于faas技术的数据即席查询接口引擎，每个即席查询服务对应一个容器集群，并提供统一的接口访问、负载均衡和故障隔离；
27.402：数据推送服务，将数据以消息队列的形式推送给用户；
28.403：数据脱敏管理，针对数据服务调用者具有的权限，配置数据对象在数据服务中的脱敏规则，当前除了身份证号、手机号等常见字段脱敏方式外，提供字符填充式的脱敏方式；
29.404：基于sla的存储调度。
30.所述步骤404对于不同的数据存储与查询框架可以提供的api的sla不同，该框架可提供不同类型的数据存储，分别对应不同sla类型的数据api，同时根据现有数据api调用情况和数据集成速度预测新数据api sla是否可以满足，进而扩容缩容底层存储。
31.与现有技术相比，本发明的有益效果是：
32.本发明通过采用最全能的数据存储和查询方式(apache hudi数据湖 presto基于mpp架构的olap查询引擎)，必要时可使用alluxio降低i/o开销，可以应对大多数数据查询请求，相对于目前多数使用的restful接口而言，能够有效满足各种用户的数据需求，并且api基于faas平台搭建，能够有效解决api异常导致服务崩溃时所有数据api均无法使用且无法做到故障隔离的问题。
附图说明
33.图1为本发明api构建的流程框图；
34.图2为本发明多源异构数据交换框架搭建流程框图；
35.图3为本发明流批一体数据加工框架搭建流程框图；
36.图4为本发明基于faas平台的api搭建流程框图。
具体实施方式
37.下面将结合本发明实施例，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例,基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.为了便于理解本发明，下面将参照相关对本发明进行更全面的描述。给出了本发明的若干实施例。但是，本发明可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
39.需要说明的是，当元件被称为“固设于”另一个元件，它可以直接在另一个元件上或者也可以存在居中的元件。当一个元件被认为是“连接”另一个元件，它可以是直接连接到另一个元件或者可能同时存在居中元件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
40.除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
41.实施例，参照图1-4，
42.一种基于单项数据流的云原生数据api构建方法，包括，包括以下步骤：
43.10：多源异构数据交换框架搭建；可以提供高度抽象、功能灵活可扩展的数据交换技术框架，支撑数据采集、导出、开放共享时转换数据存储支撑等功能，
44.20：流批一体数据加工框架搭建；
45.30：采用apache hudi数据湖进行数据存储；
46.40：基于faas平台的api搭建，平台内的数据除了可以使用多源异构数据交换框架导出之外，也可以直接生成api供其他系统调用或使用消息队列推送到下游业务系统；
47.50：基于presto平台进行数据查询，步骤30还可采用alluxio存储系统以降低i/o开销。
48.步骤10包括以下步骤：
49.101：数据源抽象，对jdbc、文件系统、消息队列等通用数据源的读取和写入，提供开发框架与集成方法，方便用户自行开发其他数据源驱动：
50.102：交换行为抽象：针对每个数据源，抽象出交换任务运行时间策略、新旧数据写入策略、脏数据过滤策略、任务运行配置等自定义行为，不同数据源可根据其底层技术支撑情况自行实现，例如，任务运行时间上，可支持立即执行、定时执行、周期化、流式执行；新旧数据处理策略上，可支持全量替换、忽略更新、存储为新数据版本等策略；任务运行配置上，可支持不同任务执行器(单机单线程、spark集群、flink集群等)、限速、断点续传等；
51.103：外部元数据导入：若数据源侧存储了导入数据的元数据，例如字段备注、主外键关系等，则提供开发框架实现这些元数据的导入功能；
52.104：支持页面化的采集数据源管理、任务监控告警、采集数据编目、数据集关系管理功能，支持使用低代码开发框架扩展管理控制台的功能。
53.步骤20的具体步骤包括以下：
54.201：流批一体数据加工任务构建；
55.202：加工任务调度；
56.203：加工数据分层管理；
57.204：udf管理，将用户自行编写的udf数据处理函数上传至平台，以备加工任务调用。
58.步骤201支持通过sql语言、spark程序、flink程序进行数据加工，在底层框架支持的情况下，同一种加工任务代码可以在流和批两种运行方式中切换，步骤202还支持定时调度、依赖调度、调度任务上线下线功能，形成加工任务工作流，同时支持超出时间预警告警功能。
59.步骤40包括以下步骤：
60.401：基于faas的数据开放接口引擎，基于faas技术的数据即席查询接口引擎，每个即席查询服务对应一个容器集群，并提供统一的接口访问、负载均衡和故障隔离，能够有效解决restful接口存在的某些api异常导致服务崩溃时，所有数据api均无法使用，无法做到故障隔离的问题；
61.402：数据推送服务，将数据以消息队列的形式推送给用户；
62.403：数据脱敏管理，针对数据服务调用者具有的权限，配置数据对象在数据服务中的脱敏规则，当前除了身份证号、手机号等常见字段脱敏方式外，提供字符填充式的脱敏方式；
63.404：基于sla的存储调度，对于不同的数据存储与查询框架可以提供的api的sla不同，该框架可提供不同类型的数据存储，分别对应不同sla类型的数据api，同时根据现有数据api调用情况和数据集成速度预测新数据api sla是否可以满足，进而扩容缩容底层存储。
64.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。