数据服务系统的服务方法、装置、电子设备及存储介质与流程

1.本技术涉及数据服务技术领域，特别涉及一种数据服务系统的服务方法、装置、电子设备及存储介质。


背景技术：

2.随着数据量的快速增长，数据体量指数增长，面对海量数据必将出现数据难理解、难获取、难处理和难组织等四个难题。大数据处理技术其中涉及数据管理、数据治理、数据组织和数据服务等，其中，数据服务是大数据中台与业务系统数据交换的中间件，统一为各种业务系统提供数据支撑，是大数据中台重要部分系统。
3.相关技术中提供一种基于微服务的数据中台的设计方法，能克服现有数据中台新增数据服务无法实现以及第三方服务生产者提供的数据服务无法接入的问题。
4.然而，相关技术并未对大数据中台数据服务系统提供详细设计方法。


技术实现要素：

5.本技术提供一种数据服务系统的服务方法、装置、电子设备及存储介质，以解决大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，能够整合大数据中台各种数据服务，实现大数据中台的数据服务统一管理，丰富调用。
6.本技术第一方面实施例提供一种数据服务系统的服务方法，包括以下步骤：基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务；基于服务注册中心，对所述大数据数据服务进行注册，得到注册的大数据数据服务；以及在所述服务注册中心注册服务消费者，并通过所述服务消费者消费所述注册的大数据数据服务。
7.根据上述技术手段，本技术可以解决大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，能够整合大数据中台各种数据服务，实现大数据中台的数据服务统一管理，丰富调用。
8.可选地，在一些实施例中，上述的数据服务系统的服务方法，还包括：获取所述注册的大数据数据服务中的热点数据服务；对所述热点服务数据部署多个节点，并使用数据服务网关对所述多个节点进行服务代理。
9.根据上述技术手段，本技术可以对热点数据服务可部署多节点，对不同业务服务用户可迭代封装用户权限功能，保障服务的安全性，还可对服务调用频率限流，增加服务调用熔断限流保障服务可靠性。
10.可选地，在一些实施例中，在得到所述注册的大数据数据服务之后，还包括：使用预设的rest api服务接口对所述注册的大数据数据服务进行服务管理。
11.根据上述技术手段，本技术可以通过rest api服务调用既可以实现大数据数据服务功能，又可以降低开发人员对大数据服务组件的技术要求，提高开发效率避免大数据服务和服务功能的重复开发，提高开发效率。
12.可选地，在一些实施例中，所述大数据数据服务包括spark数据服务，hbase数据服务，iotdb数据服务，hdfs数据服务和yarn数据服务中的至少一种。
13.根据上述技术手段，本技术可以可实现丰富的大数据数据服务，对不同的大数据服务组件灵活开发。
14.本技术第二方面实施例提供一种数据服务系统的服务装置，包括：数据开发模块，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务；数据注册模块，基于服务注册中心，对所述大数据数据服务进行注册，得到注册的大数据数据服务；以及数据服务模块，在所述服务注册中心注册服务消费者，并通过所述服务消费者消费所述注册的大数据数据服务。
15.可选地，在一些实施例中，上述的数据服务系统的服务装置，还用于：获取所述注册的大数据数据服务中的热点数据服务；对所述热点服务数据部署多个节点，并使用数据服务网关对所述多个节点进行服务代理。
16.可选地，在一些实施例中，在得到所述注册的大数据数据服务之后，所述数据注册模块，还用于：使用预设的rest api服务接口对所述注册的大数据数据服务进行服务管理。
17.可选地，在一些实施例中，所述大数据数据服务包括spark数据服务，hbase数据服务，iotdb数据服务，hdfs数据服务和yarn数据服务中的至少一种。
18.本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的数据服务系统的服务方法。
19.本技术第四方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的数据服务系统的服务方法。
20.由此，本技术实施例的数据服务系统的服务方法具有以下优点：
21.(1)可以统一rest api管理。
22.本技术实施例可以提供统一的大数据中台数据服务的rest api管理，rest api可灵活更新和扩展。微服务注册既可以自动更新rest api文档，并且不用手动编写rest api文档，使rest api文档使用与维护更加简单和清晰。
23.(2)提供大数据服务复用性，提高开发效率。
24.本技术实施例基于微服务的大数据中台数据服务的系统设计，为业务服务开发提供数据服务保障。业务服务开发人员可以专注业务逻辑开发，通过rest api服务调用既可以实现大数据数据服务功能，又可以降低开发人员对大数据服务组件的技术栈要求，提高开发效率，避免大数据服务和服务功能的重复开发。
25.(3)可实现丰富的大数据数据服务。
26.本技术实施例基于微服务的大数据中台数据服务的系统设计，可对大数据服务多种组件实现服务开发，其中可以包括spark sql服务、spark livy服务、impala服务、hive sql服务、yarn服务、hdfs服务、hbase服务和图数据库服务等。可以实现对不同的大数据服务组件的灵活开发。
27.(4)以服务消费者注册和rest api方式提供数据服务灵活快捷。
28.本技术实施例在业务服务开发中可在服务中心注册服务消费者消费注册的大数据数据服务，还可以使用rest api接口实现服务调用，使服务调用更加灵活。
29.(5)可实现高可用，可扩展。
30.多种大数据数据服务灵活扩展，还可以使用服务代理实现高可用功能，对热点数据服务可部署多节点，对不同业务服务用户可迭代封装用户权限功能，保障服务的安全性，还可对服务调用频率限流，增加服务调用熔断限流保障服务可靠性。
31.(6)可实现大数据中台组件灵活升级。
32.基于微服务的大数据中台数据服务可对多种及多版本大数据服务组件经行服务开发，不受相同大数据服务组件版本冲突影响，灵活对大数据服务的服务组件升级，在业务服务中无感知切换，不影响业务服务生产环境。
33.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
34.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
35.图1为相关技术中的大数据数据服务常用系统的示意图；
36.图2为根据本技术实施例提供的数据服务系统的服务方法的流程图；
37.图3为根据本技术一个实施例提供的数据服务系统的服务方法的示意图；
38.图4为根据本技术一个实施例提供的数据服务系统的服务方法的流程图；
39.图5为根据本技术一个实施例提供的数据服务系统的示意图；
40.图6为根据本技术实施例提供的数据服务系统的服务装置的方框示意图；
41.图7为根据本技术实施例提供的电子设备的示意图。
具体实施方式
42.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
43.下面参考附图描述本技术实施例的数据服务系统的服务方法、装置、电子设备及存储介质。针对上述背景技术中心提到的大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，本技术提供了一种数据服务系统的服务方法，在该方法中，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务，并基于服务注册中心，对大数据数据服务进行注册，得到注册的大数据数据服务，并在服务注册中心注册服务消费者，并通过服务消费者消费注册的大数据数据服务。由此，解决了大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，能够整合大数据中台各种数据服务，实现大数据中台的数据服务统一管理，丰富调用。
44.在介绍本技术实施例的数据服务系统的服务方法之前，介绍一下相关技术中的大数据数据服务常用设计，如图1所示，不同业务需求整合一个或多个大数据服务，大数据服务存在重复开发，重复依赖等问题，没有对业务服务与大数据数据服务进行明显分层划分。
45.具体而言，图2为本技术实施例所提供的一种数据服务系统的服务方法的流程示
意图。
46.如图2所示，该数据服务系统的服务方法包括以下步骤：
47.在步骤s201中，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务。
48.可选地，在一些实施例中，如图3所示，大数据数据服务包括spark数据服务，hbase数据服务，iotdb数据服务，hdfs数据服务和yarn数据服务中的至少一种。
49.其中，数据开发可以包括服务网关开发和服务开发。
50.具体地，服务网关开发可以基于微服务架构，可使用spring cloud gateway开发服务网关，路由一级路径为服务组件名，二级路径为接口名，列如：/hbase/query hbase组件查询服务接口、/hbase/insert hbase组件插入服务接口。使用服务网关作为服务调用统一入口，可以扩展predicate断言，判断不同用户对不同数据服务的路由路径，同时使用filter过滤器判断不同用户对不同数据服务的权限，还可以使用spring cloud hystrix对服务请求实现管理。
51.服务开发可以根据业务服务需求使用spring cloud开发大数据组件服务，对不同发行版本，不同组件开发单独微服务，例如对hbase服务组件1.3版本和2.0版本开发微服务，分别命名服务名hbase1.3-service、hbase2.0-service。针对不同的业务服务丰富大数据服务组件的功能接口，可开发基于spark sql的即时olap分析服务，yarn管理服务，hdfs文件管理服务，sparklivyspark任务提交服务，hbase查询服务，图数据库服务等，灵活开发业务服务需求大数据组件微服务。
52.在步骤s202中，基于服务注册中心，对大数据数据服务进行注册，得到注册的大数据数据服务。
53.具体地，在本技术实施例中，如图3所示，本技术实施例可以使用nacos1.3.3作为服务注册中心，配置nacos服务，server-addr、namespace向服务中心注册服务，在服务中心可以管理已经注册服务状态和监控服务调用情况。
54.可选地，在一些实施例中，在得到注册的大数据数据服务之后，还包括：使用预设的rest api服务接口对注册的大数据数据服务进行服务管理。
55.具体地，第三方业务服务调用可以使用rest api进行服务管理，使用统一的rest api接口文档服务，了解数据中台数据服务具体请求参数参数列表与请求路径，网关服务对第三方rest api请求进行路径路由、权限管理、服务降级、服务熔断、线程隔离、请求缓存、请求合并以及实时故障监控等服务调用管理，从而调用数据大数据中台数据服务。内部业务服务开发调用，通过@enablefeignclients注解开启feign功能，向nacos服务中心注册消费者，配置服务中心地址，获取服务中心已注册服务列表。
56.rest api接口文档服务使用sringboot整合knife4j编写微服务服务接口以注解方式描述接口，在网关服务中配置服务中心地址，knife4j通过服务中心获取已注册服务与文档路径，通过网关服务路由，在knife4j-ui可切换查看已经注册的微服接口文档，实现统一的rest api服务接口文档管理。
57.在步骤s203中，在服务注册中心注册服务消费者，并通过服务消费者消费注册的大数据数据服务。
58.具体地，在服务注册中心注册服务消费者，并依据服务消费者需要消费注册的大
数据数据服务。
59.可选地，在一些实施例中，上述的数据服务系统的服务方法，还包括：获取注册的大数据数据服务中的热点数据服务；对热点服务数据部署多个节点，并使用数据服务网关对多个节点进行服务代理。
60.具体地，如图3所示，本技术实施例可以设置服务网关路由使用数据服务网关，对多种微服务实现请求路径代理，对多种、多节点大数据数据服务微服务进行代理，使用唯一域名或ip，不同路径为多种服务路由。
61.为使得本领域技术人员进一步了解本技术的数据服务系统的服务方法，下面结合具体实施例进行详细阐述。
62.如图4所示，图4为根据本技术实施例提供的数据服务系统的服务方法的流程图。
63.s401，微数据数据服务与开发。
64.基于微服务对多种大数据组件数据开发，其中包括spark数据服务，hbase数据服务，iotdb数据服务，hdfs数据服务和yarn数据服务等。
65.s402，数据注册服务。
66.基于服务注册中心，对开发的大数据数据服务进行注册。
67.s403，数据服务获取。在服务注册中心注册服务消费者，或使用统一rest api服务管理数据服务。
68.s404，网关路由。使用数据服务网关，对多种微服务实现请求路径代理，对多种、多节点大数据数据服务微服务进行代理，使用唯一域名或ip,不同路径为多种服务路由。
69.综上，如图5所示，经过本技术设计后，基于微服务的大数据中台数据服务系统与业务服务分层明显，能够整合大数据中台各种数据服务，具有大数据中台数据服务
‘
高内聚、低耦合’特性，和准确贯彻系统开发中
‘
敏捷开发、快速迭代’的开发理念，以及实现大数据中台的数据服务统一管理，丰富调用服务间服务依赖清晰，同时可基于服务中心实现大数据数据服务微服务的高可用，可扩展，可监控和统一reat api管理。
70.根据本技术实施例提出的数据服务系统的服务方法，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务，并基于服务注册中心，对大数据数据服务进行注册，得到注册的大数据数据服务，并在服务注册中心注册服务消费者，并通过服务消费者消费注册的大数据数据服务。由此，解决了大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，能够整合大数据中台各种数据服务，实现大数据中台的数据服务统一管理，丰富调用。
71.其次参照附图描述根据本技术实施例提出的数据服务系统的服务装置。
72.图6是本技术实施例的数据服务系统的服务装置的方框示意图。
73.如图6所示，该数据服务系统的服务装置10包括：数据开发模块100、数据注册模块200和数据服务模块300。
74.其中，数据开发模块100，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务；数据注册模块200，基于服务注册中心，对大数据数据服务进行注册，得到注册的大数据数据服务；以及数据服务模块300，在服务注册中心注册服务消费者，并通过服务消费者消费注册的大数据数据服务。
75.可选地，在一些实施例中，上述的数据服务系统的服务装置10，还用于：获取注册
的大数据数据服务中的热点数据服务；对热点服务数据部署多个节点，并使用数据服务网关对多个节点进行服务代理。
76.可选地，在一些实施例中，在得到注册的大数据数据服务之后，数据注册模块200，还用于：使用预设的rest api服务接口对注册的大数据数据服务进行服务管理。
77.可选地，在一些实施例中，大数据数据服务包括spark数据服务，hbase数据服务，iotdb数据服务，hdfs数据服务和yarn数据服务中的至少一种。
78.需要说明的是，前述对数据服务系统的服务方法实施例的解释说明也适用于该实施例的数据服务系统的服务装置，此处不再赘述。
79.根据本技术实施例提出的数据服务系统的服务装置，基于微服务架构，对多种大数据组件进行数据开发，得到大数据数据服务，并基于服务注册中心，对大数据数据服务进行注册，得到注册的大数据数据服务，并在服务注册中心注册服务消费者，并通过服务消费者消费注册的大数据数据服务。由此，解决了大数据服务存在重复开发，重复依赖，没有对业务服务与大数据数据服务进行明显分层划分问题，能够整合大数据中台各种数据服务，实现大数据中台的数据服务统一管理，丰富调用。
80.图7为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
81.存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序。
82.处理器702执行程序时实现上述实施例中提供的数据服务系统的服务方法。
83.可选地，电子设备还包括：
84.通信接口703，用于存储器701和处理器702之间的通信。
85.存储器701，用于存放可在处理器702上运行的计算机程序。
86.存储器701可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
87.如果存储器701、处理器702和通信接口703独立实现，则通信接口703、存储器701和处理器702可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构(industry standard architecture，简称为isa)总线、外部设备互连(peripheral component，简称为pci)总线或扩展工业标准体系结构(extended industry standard architecture，简称为eisa)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
88.可选的，在具体实现上，如果存储器701、处理器702及通信接口703，集成在一块芯片上实现，则存储器701、处理器702及通信接口703可以通过内部接口完成相互间的通信。
89.处理器702可能是一个中央处理器(central processing unit，简称为cpu)，或者是特定集成电路(application specific integrated circuit，简称为asic)，或者是被配置成实施本技术实施例的一个或多个集成电路。
90.本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的数据服务系统的服务方法。
91.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不
必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
92.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
93.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
94.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或n个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
95.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
96.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
97.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
98.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。