一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种数据服务的处理方法、装置、计算设备及存储介质与流程

2021-11-30 21:50:00 来源:中国专利 TAG:


1.本公开涉及计算机技术领域,尤其涉及一种数据服务的处理方法、装置、计算设备及存储介质。


背景技术:

2.目前,随着大数据技术和云计算技术的应用和普及,许多数据平台都可以向业务方提供基于大数据的数据服务,具体地,数据平台中设置有数据服务对应的处理程序并向用户提供数据服务对应的调用接口,其中,数据服务对应的调用接口用于触发数据服务对应的处理程序运行,调用接口例如是应用程序接口(application programming interface,api)。
3.现有的数据平台为业务系统提供数据服务的调用接口都是弱类型接口,业务系统通过这些调用接口所获得的业务数据也都是弱类型的描述方式,在利用这些数据处理业务时,业务系统还需要对弱类型的数据进行解析等特定处理之后才能使用,这样处理业务的效率较低,并且在解析数据的过程中容易出错,使得执行业务的基础数据不准确,导致业务处理的有效性较低。


技术实现要素:

4.本公开提供一种数据服务的处理方法、装置、计算设备及存储介质,用以提供强类型的业务数据的调用,提高业务接入效率。
5.本公开的技术方案如下:
6.第一方面,提供一种数据服务的处理方法,所述方法包括:
7.接收服务使用方通过调用数据服务接口所发起的调用请求,其中,所述数据服务接口为预先创建的强类型的调用接口,所述数据服务接口对应的关联数据是强类型的描述方式,所述调用请求中包括目标请求参数;
8.响应所述调用请求,从所述关联数据中确定与所述目标请求参数对应的目标数据;
9.将所述目标数据发送给所述服务使用方,以使所述服务使用方根据所述目标数据执行业务。
10.可选的,所述数据服务接口是通过以下方式创建的:
11.获取针对接口创建界面输入的接口创建信息,所述接口创建信息包括数据源标识和转换参数配置信息,所述转换参数配置信息用于指示待转换的请求参数和/或返回参数所对应的目标字段;
12.调用强类型生成服务,将所述数据源标识所指示的源数据中与所述目标字段对应的数据转换成强类型的数据,以获得数据转换结果;
13.根据接口创建代码和所述数据转换结果,创建所述数据服务接口。
14.可选的,所述接口创建信息还包括接口查询参数阈值,所述方法还包括:
15.根据所述接口查询参数阈值,确定目标缓存类型;
16.从缓存集群中选择缓存类型为所述目标缓存类型的目标存储单元;
17.将转换得到的强类型的数据存储至所述目标存储单元。
18.可选的,从缓存集群中选择缓存类型为所述目标缓存类型的目标存储单元,包括:
19.从所述缓存集群中确定缓存类型为所述目标缓存类型的候选存储单元,并从所述候选存储单元中选择存储容量能够存储所述强类型的数据的存储单元作为所述目标存储单元;或者,
20.若所述缓存集群中确定的缓存类型为所述目标缓存类型的初始存储单元的容量不足以存储所述强类型的数据,则将所述初始存储单元进行扩容处理,并将扩容处理后的初始存储单元确定为所述目标存储单元。
21.可选的,所述接口创建信息还包括接口重要等级指示信息,在根据接口创建代码和所述数据转换结果,创建所述数据服务接口之后,所述方法还包括:
22.根据所述接口重要等级指示信息所指示的接口重要等级,从多个接口分组中确定对应的目标分组,其中,各个接口分组的接口重要等级不同;
23.将新创建的所述数据服务接口划分到所述目标分组中。
24.可选的,响应所述调用请求,包括:
25.确定所述数据服务接口在预定时长内的调用频率是否小于预定阈值;
26.若所述数据服务接口在所述预定时长内的调用频率小于所述预定阈值,确定所述调用请求的优先级是否高于等待处理的其它请求;
27.若所述调用请求的优先级高于所述其它请求,则处理所述调用请求,并在处理所述调用请求之后处理所述其它请求。
28.可选的,所述调用请求中还包括使用方标识,响应所述调用请求,包括:
29.确定所述使用方标识有调用权限的调用接口集合,若所述数据服务接口属于所述调用接口集合,则响应所述调用请求;或者,
30.确定对所述数据服务接口具有调用权限的使用方集合,若所述使用方标识属于所述使用方集合,则响应所述调用请求。
31.第二方面,提供一种数据服务的处理装置,所述装置包括:
32.接收单元,被配置为执行监测服务使用方通过调用数据服务接口所发起的调用请求,其中,所述数据服务接口为预先创建的强类型的调用接口,所述数据服务接口对应的关联数据是强类型的描述方式,所述调用请求中包括目标请求参数;
33.响应单元,被配置为执行响应所述调用请求,从所述关联数据中确定与所述目标请求参数对应的目标数据;
34.发送单元,被配置为执行将所述目标数据发送给所述服务使用方,以使所述服务使用方根据所述目标数据执行业务。
35.可选的,所述装置还包括创建单元,所述创建单元被配置为执行:
36.获取针对接口创建界面输入的接口创建信息,所述接口创建信息包括数据源标识和转换参数配置信息,所述转换参数配置信息用于指示待转换的请求参数和/或返回参数所对应的目标字段;
37.调用强类型生成服务,将所述数据源标识所指示的源数据中与所述目标字段对应
的数据转换成强类型的数据,以获得数据转换结果;
38.根据接口创建代码和所述数据转换结果,创建所述数据服务接口。
39.可选的,所述接口创建信息还包括接口查询参数阈值,所述装置还包括存储单元,所述存储单元被配置为执行:
40.根据所述接口查询参数阈值,确定目标缓存类型;
41.从缓存集群中选择缓存类型为所述目标缓存类型的目标存储单元;
42.将转换得到的强类型的数据存储至所述目标存储单元。
43.可选的,所述存储单元被配置为执行:
44.从所述缓存集群中确定缓存类型为所述目标缓存类型的候选存储单元,并从所述候选存储单元中选择存储容量能够存储所述强类型的数据的存储单元作为所述目标存储单元;或者,
45.若所述缓存集群中确定的缓存类型为所述目标缓存类型的初始存储单元的容量不足以存储所述强类型的数据,则将所述初始存储单元进行扩容处理,并将扩容处理后的初始存储单元确定为所述目标存储单元。
46.可选的,所述接口创建信息还包括接口重要等级指示信息,所述创建单元被配置为执行:
47.根据所述接口重要等级指示信息所指示的接口重要等级,从多个接口分组中确定对应的目标分组,其中,各个接口分组的接口重要等级不同;
48.将新创建的所述数据服务接口划分到所述目标分组中。
49.可选的,所述响应单元被配置为执行:
50.确定所述数据服务接口在预定时长内的调用频率是否小于预定阈值;
51.若所述数据服务接口在所述预定时长内的调用频率小于所述预定阈值,确定所述调用请求的优先级是否高于等待处理的其它请求;
52.若所述调用请求的优先级高于所述其它请求,则处理所述调用请求,并在处理所述调用请求之后处理所述其它请求。
53.可选的,所述调用请求中还包括使用方标识,所述响应单元被配置为执行:
54.确定所述使用方标识有调用权限的调用接口集合,若所述数据服务接口属于所述调用接口集合,则响应所述调用请求;或者,
55.确定对所述数据服务接口具有调用权限的使用方集合,若所述使用方标识属于所述使用方集合,则响应所述调用请求。
56.第三方面,提供一种计算设备,包括:
57.处理器,以及用于存储处理器可执行指令的存储器;其中,处理器被配置为执行指令以实现第一方面中任一项的数据服务的处理方法。
58.第四方面,提供一种存储介质,当存储介质中的指令由计算设备的处理器执行时,使得计算设备能够执行第一方面中任一项的数据服务的处理方法。
59.第五方面,提供一种包含指令的计算机程序产品,当所述计算机程序产品在计算机上运行时,使得计算机执行上述各种可能的实现方式中所描述的数据服务的处理方法包括的步骤。
60.本公开的实施例提供的技术方案至少带来以下有益效果:
61.可以在数据平台中预先创建强类型的数据服务接口,即可以创建强类型的调用接口,而该强类型的调用接口所关联的数据也是强类型的描述方式,这样,服务使用方(例如业务系统)在调用这样的数据服务接口向数据平台请求数据时,可以获得强类型的返回数据,也就是说,数据平台可以根据服务使用方的调用请求直接提供强类型的返回数据,这样,服务使用方在获得强类型的业务数据后可以直接使用,而无需再进行解析等处理,可以尽量避免数据出错,提高业务处理的有效性,同时也可以节约处理时间,提高业务处理效率。
62.基于本公开实施例中的技术方案,数据平台可以动态创建强类型的数据服务接口,基于创建的强类型的数据服务决口,可以提供强类型的数据调用,在传统的支持弱类型数据的调用基础上,新增了调用数据的类型,丰富了数据平台的数据化服务,增强了数据平台的数据服务能力。
63.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
64.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。
65.图1是根据一示例性实施例示出的一种应用场景的示意图;
66.图2根据一示例性实施例示出的数据服务架构的示意图;
67.图3根据一示例性实施例示出的数据服务架构的另一示意图;
68.图4根据一示例性实施例示出的创建强类型的数据服务接口的流程图;
69.图5a是根据一示例性实施例示出的数据服务接口的创建界面的示意图;
70.图5b是根据一示例性实施例示出的数据服务接口的创建界面的另一示意图;
71.图5c是根据一示例性实施例示出的数据服务接口的创建界面的另一示意图;
72.图6根据一示例性实施例示出的创建强类型的数据服务接口的另一流程图;
73.图7根据一示例性实施例示出的数据服务的处理方法的流程图;
74.图8a是根据一示例性实施例示出的数据服务的处理装置的结构示意图;
75.图8b是根据一示例性实施例示出的数据服务的处理装置的另一结构示意图;
76.图9是根据一示例性实施例示出的计算设备的结构示意图。
具体实施方式
77.为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。
78.本公开涉及的用户设备信息(如,用户设备信息、设备上存储的信息等)、用户个人信息(如用户生物信息、用户姓名、昵称、地理位置等)、与第三方软件交互的信息、以及用户的操作行为信息等,均是经用户授权而采集并进行后续处理或分析的。
79.需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或
描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
80.其中,在本公开的描述中,除非另有说明,“多个”、“若干个”的含义是指两个或两个以上。
81.如前所述的,相关技术中的数据平台只能提供弱类型数据的数据调用服务,对于某些业务来说,可能无法满足业务高处理效率的要求。鉴于此,本公开提供一种支持强类型数据的调用服务的技术方案,在该方案中,数据平台可以动态创建强类型的数据服务接口(例如api接口),基于创建的强类型的api,可以提供强类型的数据调用,在传统支持弱类型数据的调用基础上,新增了调用数据的类型,丰富了数据平台的数据化服务,增强了数据平台的数据服务能力,进而提高业务方的业务处理效率。
82.为更好地理解本公开实施例提供的技术方案,下面对本公开实施例提供的技术方案适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本公开实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本公开实施例提供的技术方案。
83.参见图1所示的应用场景,该应用场景中包括数据平台和包括多个业务方的业务系统,数据平台例如是大数据平台,数据平台提供数据服务接口,例如api类型的调用接口,业务系统(具体是业务系统中的各个业务方)可以通过调用这些数据服务接口向数据平台请求数据,从而完成业务的处理。也就是说,数据平台可以为业务系统提供数据服务,而数据服务化是数据平台的重要出口,数据是服务化以api接口的形式,向业务系统开放大数据平台生产的数据,为业务系统赋能,形成数据链路闭环。
84.具体来说,原始数据可以从业务系统进入到数据平台,然后经过一系列加工后产生很多结果数据,业务系统可以通过调用的数据平台提供的api接口来请求调用这些结果数据,进而完成业务的处理。例如,one service(一种数据服务方式)就是以远程过程调用协议(remote procedure call protocol,rpc)接口的形式向业务系统开放数据读取服务,one service对应的数据服务是构建在one data和one entity之上的开放数据服务接口。整体来说,one service致力于实现数据统一服务,让数据复用而非复制,one data致力于实现数据的标准与统一,让数据成为资产而非成本,one entity致力于实现实体统一,让数据融通而非以孤岛存在。
85.基于图1的应用场景,数据平台提供强类型的数据服务接口,各个业务方可以调用这种类型的数据服务接口向数据平台请求强类型的数据,在获得数据平台返回的强类型的结果数据之后,可以直接利用这些结果数据执行业务,进而提高业务处理效率。
86.其中,数据平台可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network,cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。业务方可以是客户端设备,或者也可以理解为是用于处理业务的客户端程序,本公开实施例不做限制。
87.为进一步说明本公开实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本公开实施例提供了如下述实施例或附图所示的方法操作步骤,
但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本公开实施例提供的执行顺序。所述方法在实际的处理过程中或者装置执行时,可按照实施例或者附图所示的方法顺序执行或者并行执行。
88.为便于理解本公开实施例中的数据服务方案,以下先结合图2和图3对数据服务的整体架构进行说明。
89.请参见图2所示,图2为数据服务的整体业务架构的示意图,在该架构中,包括业务层、数据服务、数据实体、数据建模/开发和数据存储这几部分。其中的业务层,也可以理解为应用层,用户直接通过业务层的数据平台进行数据交互,业务层例如可以包括短视频业务、直播业务、游戏业务、电商业务和社交业务等;数据服务层可以提供智能取数、资产访问、元数据访问等服务;数据实体层是一些具体的数据,例如用户画像数据、用户分群数据、内容画像数据、行为数据、联合指标、特征数据以及其它数据;数据建模/开发层是通过不同的数据处理工具进行数据服务的建模和开发等;数据存储用于对数据服务过程中产生的数据进行存储,提供数据存储能力,数据存储中可以包括多种存储类型的存储介质,例如可以按照缓存效率分为低速缓存、中速缓存和高速缓存,可以根据数据存储的不同需求选择不同存储类型的存储区域。
90.再参见图3所示,图3为本公开实施例中的数据服务的整体结构。其中,在线业务可以理解为是图2中的业务层;数据访问层用于为业务系统提供数据服务接口,具体地,可以提供强类型的访问接口,还可以提供弱类型的访问接口,另外还可以支持结构化查询语言(structured query language,sql)读取,以sql方式作为取数接口,满足非常灵活的取数需求,以及还支持流式(streaming)数据读取,此外还可以进行资源和流量管理以及对业务方进行鉴权和审计,等等;数据交换层用于实现不同存储介质之间的数据交换,以实现数据在不同存储介质之间的迁移;数据存储与图2中的数据存储理解相同,例如低速缓存可以包括hive、分布式文件系统(hadoop distributed file system,hdfs),中速缓存可以包括pika、hbase、clickhouse、druid、es,高速缓存可以包括redis、memcached,等等;schema service是一个独立的服务,不仅仅one service会调用,还有其它的服务也会调用,例如:data exchange和streaming service也会基于schema service开发自己的服务,本公开实施例中就是通过调用该schema service来动态创建强类型的数据服务接口的。
91.上述图2和图3是对本公开中的数据服务的整体架构进行说明。进一步地,以下对本公开中的数据服务方法进行介绍,如前所述的,本公开中的数据平台可以提供强类型数据的数据调用服务,基于此,以下先介绍强类型的数据服务接口的创建过程,然后再介绍基于创建的强类型的数据服务接口的接口调用和数据请求过程。
92.请参见图4所示的,图4为本公开实施例中的创建强类型的数据服务接口的流程图,图4的流程描述如下。
93.步骤401:获取针对接口创建界面输入的接口创建信息,该接口创建信息包括数据源标识和转换参数配置信息,该转换参数配置信息用于指示待转换的请求参数和/或返回参数所对应的目标字段。
94.以创建的数据服务接口是api类型的接口为例,在创建api接口时,创建者可以打开创建界面,例如将该创建界面称作接口创建界面,接口创建界面的示意请结合图5a、图
5b、图5c理解。如图5a所示的,创建者可以在接口创建界面中填写api创建人、业务第二负责人、api中文名、api的重要程度、接口每秒查询率(query per second,qps)峰值等信息,以及如图5b中的可以选择数据源以及选择数据源中需要转换的字段,例如在图5b中,选择的数据源是“hive”,以及设为请求参数的字段是uid、name、address,设为返回参数的字段是phone、age和clicks,以及如图5c中的需要设置同步数据量预估值和api的生命周期。
95.如图5a、图5b、图5c中在接口创建界面中输入的信息均可以理解为是接口创建信息,接口创建信息包括数据源标识例如是图5b中用户选择的数据源、数据库和数据表的相关信息,转换参数配置信息指示的是例如图5b中选择设置为请求参数和返回参数的相关字段,即需要将哪些字段设置为请求参数,以及需要将哪些字段设置为返回参数。
96.步骤402:调用强类型生成服务,将数据源标识所指示的源数据中与目标字段对应的数据转换成强类型的数据,以获得数据转换结果。
97.创建者按照创建流程,在多个接口创建界面输入相关的api创建信息之后,如图5c所示的可以点击“提交申请”,进一步地,创建设备(例如是服务器)可以调用强类型生成服务,将为前述的转换参数配置信息所指示的请求参数和返回参数生成强类型的描述方式,具体来说,可以将这些参数所对应字段所包括的数据转换为强类型的数据,进而得到这些字段对应的数据转换结果。其中的强类型生成服务,例如是前述图3中提到的schema service,或者还可以是其它能够将数据转换为强类型数据类型的服务。
98.步骤403:根据接口创建代码和数据转换结果,创建数据服务接口。
99.在获得数据转换结果之后,可以再调用接口创建代码(例如api创建代码),结合到数据转换结果自动生成api的代码逻辑,进而得到新创建的api,即数据服务接口。
100.具体地,例如可以按照以下代码流程自动生成强类型api的核心逻辑:
101.1、one service向schema service提交schema元信息(包含请求参数、返回参数等)。
102.2、schema service自动生成proto描述文件和descriptor描述符。
103.3、schema service自动编译.proto文件,生成代码,该代码例如可以是java/python/c /...等格式。
104.4、schema service将生成的代码发布到nexus私服。
105.5、one service引用schema service自动生成的代码,自动生成api客户端代码。
106.6、one service发布api客户端的软件开发软件包(software development kit,sdk)到nexus私服。
107.7、业务系统通过nexus私服引用api客户端,完成对大数据服务的访问。在将目标字段对应的数据通过调用schema service转换为强类型的数据之后,需要将这些数据进行存储。具体来说,可以根据接口创建信息中包括的接口查询参数阈值(例如图5a中的接口qps峰值)来确定用于存储这些数据的缓存类型,例如称作目标缓存类型,再从缓存集群中选择缓存类型为该目标缓存类型的目标存储单元,进而将转换得到的强类型的数据存储至选择的目标存储单元中。也就是说,可以根据创建者设置的接口查询参数阈值来选择对应合适类型的存储介质,这样可以满足数据后期的读取需求。
108.从缓存集群中选择缓存类型为目标缓存类型的目标存储单元,一种可选的方式是,从缓存集群中确定缓存类型为目标缓存类型的候选存储单元,并从候选存储单元中选
择存储容量能够存储转换的强类型的数据的存储单元作为目标存储单元;另一种可选的方式是,若缓存集群中确定的缓存类型为目标缓存类型的初始存储单元的容量不足以存储转换的强类型的数据,则将初始存储单元进行扩容处理,并将扩容处理后的初始存储单元确定为目标存储单元。也就是说,在选择出的类型符合的存储单元的容量满足存储转换的强类型数据时,可以随机或者采用其它排序策略来进行选择,这样可以提高存储单元的使用率,而在选择出的类型符合的存储单元的容量满足存储转换的强类型数据时,可以先扩容再进行存储,根据数据评估缓存容量,合理申请资源,减少浪费,同时满足必须的存储需求。
109.在具体实施时,还可以根据接口创建信息中包括的接口重要等级指示信息(例如图5a中的“重要程度”)所指示的接口重要等级,从多个接口分组中确定对应的目标分组,各个接口分组的接口重要等级不同,再将新创建的所述数据服务接口划分到对应的目标分组中。也就是说,在创建api之后,可以根据api的重要等级进行合理分组,例如,将非常重要的api划分为一组,将重要的api划分另一组,以及将一般重要的api再划分为另一组,通过将不同重要程度的api划分为同一组的方式,可以根据重要程度对各个api进行统筹管理,同时也可以将不同重要程度的api部署在不同的机器上,即可以为不同重要程度的api配置不同的硬件资源,例如将非常重要的api组部署在硬件资源较好的机器上,实现api之间的硬隔离,这样可以保证非常重要的api能够随时被大量且无阻塞地调用,以满足非常重要的api的调用需求,提高数据调用服务的有效性。
110.请参见图6所示的另一创建强类型api的流程示意图,图6所示的是后台调用schema服务自动创建强类型的api的过程,以下结合图6说明。
111.1、用户在界面提交新增(即创建)api申请后,对参数做基本校验通过后,可以将作业状态设置为new。
112.2、后台线程扫描用户新申请的api创建任务,新增或关联部署服务器,根据用户填入的qps值,更新该服务器承载的qps值,并检查是否需要执行扩容。
113.3、当服务确定之后,根据qps值智能选择存储引擎,一个部门可能对应多个集群,具体地,可以根据数据量决定选择哪个集群,如果集群容量不合适,则可以重新申请集群或者申请扩容。
114.4、在步骤2和3完成之后,作业进入approving状态,等待审核,审核完成之后更改作业状态为approved,例如主要是审核qps值特别高、占用存储特别大的api。
115.5、后台线程扫描approved状态的api作业,可以获取proto类以调用schema服务,为请求参数和返回结果生成强类型描述,然后引用强类型描述,自动生成客户端代码,再根据客户端代码自动生成api。
116.6、调用数据交换服务转存数据(低速存储系统转存到高速存储系统),同时获取样本数据,生成测试代码,并执行api测试,如果测试为通过,记录状态为test_api_done。如果测试未通过,则可也进行报警并更新作业状态。
117.7、在测试通过之后,等待数据写入完成,具体来说,可以根据api的数据量预估的写入时间,间断查询数据是否写入完成,等待数据写完。
118.8、当数据导入后,依赖鉴权服务对api进行鉴权,例如通过token服务进行api鉴权。
119.9、提交客户端代码,自动发布客户端,设置作业状态published,通知用户接口已
创建成功,例如向用户发送通知信息或者直接在创建界面显示。
120.在上述介绍为强类型的数据服务接口的创建过程之后,以下结合图7说明调用强类型的数据服务接口以实现数据请求的过程。
121.请参见图7所示,图7是根据本公开实施例示出的一种数据服务的处理方法的流程示意图,该方法可以由数据平台执行,该数据平台例如是大数据平台对应的服务器,该数据平台能够提供数据服务。本公开中的数据服务的处理方法的流程描述如下。
122.步骤701:接收服务使用方通过调用数据服务接口所发起的调用请求,其中,该数据服务接口为预先创建的强类型的调用接口,该数据服务接口对应的关联数据是强类型的描述方式,该调用请求中包括目标请求参数。
123.其中的服务使用方是需要使用数据服务的主体,例如是图1中的任意业务方,而调用请求中所包括的目标请求参数例如是图5b中的用于指示字段uid的请求参数,或者是用于指示字段uid和address的请求参数。
124.步骤702:响应调用请求,从关联数据中确定与目标请求参数对应的目标数据。
125.如前介绍的,在数据服务接口的创建过程中,即关联了对应的源数据,而创建的强类型的数据服务接口即有对应的关联数据,并且这些数据是强类型的描述方式,而服务使用方调用该数据服务接口所请求的数据就包括在这些关联数据中,所以数据平台从关联数据中确定出的与目标请求参数对应的目标数据自然也是强类型的数据。
126.步骤703:将目标数据发送给服务使用方。
127.进一步地,服务使用方可以接收强类型描述的目标数据,再直接对目标数据进行处理,以执行对应的业务,由于服务使用方无需再解析目标数据而是可以直接使用,这样可以提高服务使用方的业务处理效率。
128.数据平台在接收到服务使用方发起的调用请求之后,可以先判断数据服务接口在预定时长内的调用频率是否小于预定阈值,若数据服务接口在预定时长内的调用频率并不小于预定阈值,则可以暂时停止响应调用请求,以此对接口的调用进行限流,实现对api的软隔离,如此,可以尽量确保多个调用请求之间不相互影响,以确保接口调用的有效性和安全性。若数据服务接口在预定时长内的调用频率小于预定阈值,则可以进一步地判断调用请求的优先级是否高于等待处理的其它请求,若该调用请求的优先级高于其它请求,则可以优先响应该调用请求,即先处理该调用请求,并在处理该调用请求之后再处理其它请求,若该调用请求的优先级比待处理的其它请求的优先级低,则可以先响应其它优先级高的请求。也就是说,在处理调用请求的过程中,可以根据调用请求的优先级的高低来选择处理这些调用请求的顺序,这样可以确保优先级较高的调用请求较早地优先被处理,确保重要业务能够优先尽快执行,以此提高业务处理的有效性。
129.在可能的实施中,调用请求中还包括服务使用方的使用方标识,数据平台在接收到该调用请求之后,可以确定使用方标识有调用权限的调用接口集,若服务使用方调用的数据服务接口属于该调用接口集合,则可以响应该调用请求,反之,若服务使用方调用的数据服务接口不属于该调用接口集合,则可以拒绝响应该调用请求。
130.或者,调用请求中还包括服务使用方的使用方标识,数据平台在接收到该调用请求之后,可以确定对服务使用方调用的数据服务接口具有调用权限的使用方集合,若使用方标识属于该使用方集合,则响应调用请求,反之,若使用方标识不属于该使用方集合,则
可以拒绝响应该调用请求。
131.上述两种方式,是通过服务使用方的使用方标识对服务使用方进行鉴权处理,这样是为了确保具有调用权限的服务使用方才可以调用数据服务接口以请求数据,这样可以确保数据平台的安全性,以此提高业务系统的可靠性。
132.本公开实施例中,数据平台可以动态创建强类型的数据服务接口,基于创建的强类型的数据服务决口,可以提供强类型的数据调用,在传统的支持弱类型数据的调用基础上,新增了调用数据的类型,丰富了数据平台的数据化服务,增强了数据平台的数据服务能力。
133.基于上述本公开实施例的相同构思,图8a是根据一示例性实施例示出的一种数据服务的处理装置的结构框图,如图8a所示,该数据服务的处理装置包括监测单元801、响应单元802和发送单元803。其中:
134.接收单元801,被配置为执行接收服务使用方通过调用数据服务接口所发起的调用请求,其中,数据服务接口为预先创建的强类型的调用接口,数据服务接口对应的关联数据是强类型的描述方式,调用请求中包括目标请求参数;
135.响应单元802,被配置为执行响应调用请求,从关联数据中确定与目标请求参数对应的目标数据;
136.发送单元803,被配置为执行将目标数据发送给服务使用方,以使服务使用方根据目标数据执行业务。
137.在一种可能的实施方式中,请参见图8b所示,本公开实施例中的数据服务的处理装置还包括创建单元804,创建单元804被配置为执行:
138.获取针对接口创建界面输入的接口创建信息,接口创建信息包括数据源标识和转换参数配置信息,转换参数配置信息用于指示待转换的请求参数和/或返回参数所对应的目标字段;
139.调用强类型生成服务,将数据源标识所指示的源数据中与目标字段对应的数据转换成强类型的数据,以获得数据转换结果;
140.根据接口创建代码和数据转换结果,创建数据服务接口。
141.在一种可能的实施方式中,接口创建信息还包括接口查询参数阈值,请参见图8b所示,本公开实施例中的数据服务的处理装置还包括存储单元805,存储单元805被配置为执行:
142.根据接口查询参数阈值,确定目标缓存类型;
143.从缓存集群中选择缓存类型为目标缓存类型的目标存储单元;
144.将转换得到的强类型的数据存储至目标存储单元。
145.在一种可能的实施方式中,存储单元805被配置为执行:
146.从缓存集群中确定缓存类型为目标缓存类型的候选存储单元,并从候选存储单元中选择存储容量能够存储强类型的数据的存储单元作为目标存储单元;或者,
147.若缓存集群中确定的缓存类型为目标缓存类型的初始存储单元的容量不足以存储强类型的数据,则将初始存储单元进行扩容处理,并将扩容处理后的初始存储单元确定为目标存储单元。
148.在一种可能的实施方式中,接口创建信息还包括接口重要等级指示信息,创建单
元804被配置为执行:
149.根据接口重要等级指示信息所指示的接口重要等级,从多个接口分组中确定对应的目标分组,其中,各个接口分组的接口重要等级不同;
150.将新创建的数据服务接口划分到目标分组中。
151.在一种可能的实施方式中,响应单元802被配置为执行:
152.确定数据服务接口在预定时长内的调用频率是否小于预定阈值;
153.若数据服务接口在预定时长内的调用频率小于预定阈值,确定调用请求的优先级是否高于等待处理的其它请求;
154.若调用请求的优先级高于其它请求,则处理调用请求,并在处理调用请求之后处理其它请求。
155.在一种可能的实施方式中,调用请求中还包括使用方标识,响应单元802被配置为执行:
156.确定使用方标识有调用权限的调用接口集合,若数据服务接口属于调用接口集合,则响应调用请求;或者,
157.确定对数据服务接口具有调用权限的使用方集合,若使用方标识属于使用方集合,则响应调用请求。
158.关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
159.本公开实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,另外,在本公开各个实施例中的各功能模块可以集成在一个处理器中,也可以是单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
160.基于上述本公开实施例相同构思,本技术实施例还提供一种计算设备,该计算设备例如图1中的数据平台中部署的服务器,该计算设备能够执行如前述图4、图6、图7所示方法包括的步骤。如图9所示,本公开实施例中的计算设备包括至少一个处理器901,以及与至少一个处理器901连接的存储器902和通信接口903,本技术实施例中不限定处理器901与存储器902之间的具体连接介质,图9中是以处理器901和存储器902之间通过总线900连接为例,总线900在图9中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线900可以分为地址总线、数据总线、控制总线等,为便于表示,图9中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
161.在本技术实施例中,存储器902存储有可被至少一个处理器901执行的指令,至少一个处理器901通过执行存储器902存储的指令,可以执行前述的数据服务的处理方法中所包括的步骤。
162.其中,处理器901是计算设备的控制中心,可以利用各种接口和线路连接整个计算设备的各个部分,通过运行或执行存储在存储器902内的指令以及调用存储在存储器902内的数据,计算设备的各种功能和处理数据,从而对计算设备进行整体监控。可选的,处理器901可包括一个或多个处理单元,处理器901可集成应用处理器和调制解调处理器,其中,处理器901主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器901中。在一些实施例中,处理
器901和存储器902可以在同一芯片上实现,在一些实施例中,它们也可以在独立的芯片上分别实现。
163.处理器901可以是通用处理器,例如中央处理器(cpu)、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本技术实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
164.存储器902作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器902可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(random access memory,ram)、静态随机访问存储器(static random access memory,sram)、可编程只读存储器(programmable read only memory,prom)、只读存储器(read only memory,rom)、带电可擦除可编程只读存储器(electrically erasable programmable read-only memory,eeprom)、磁性存储器、磁盘、光盘等等。存储器902是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本技术实施例中的存储器902还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
165.通信接口903是能够用于进行通信的传输接口,例如可以通过通信接口903接收数据或者发送数据。
166.参见图9所示的计算设备的进一步地的结构示意图,该计算设备还包括帮助计算设备内的各个器件之间传输信息的基本输入/输出系统(i/o系统)904、用于存储操作系统905、应用程序906和其他程序模块907的大容量存储设备908。
167.基本输入/输出系统904包括有用于显示信息的显示器909和用于用户输入信息的诸如鼠标、键盘之类的输入设备910。其中显示器909和输入设备910都通过连接到系统总线900的基本输入/输出系统904连接到处理器901。所述基本输入/输出系统904还可以包括输入输出控制器以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地,输入输出控制器还提供输出到显示屏、打印机或其他类型的输出设备。
168.所述大容量存储设备908通过连接到系统总线900的大容量存储控制器(未示出)连接到处理器901。所述大容量存储设备908及其相关联的计算机可读介质为该服务器包提供非易失性存储。也就是说,大容量存储设备908可以包括诸如硬盘或者cd-rom驱动器之类的计算机可读介质(未示出)。
169.根据本发明的各种实施例,该计算设备包还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即该计算设备可以通过连接在所述系统总线900上的通信接口903连接到网络911,或者说,也可以使用通信接口903来连接到其他类型的网络或远程计算机系统(未示出)。
170.基于同一发明构思,本公开还提供一种存储介质,该存储介质可以是计算机可读存储介质,该存储介质中存储有计算机指令,当该计算机指令在计算机上运行时,使得计算机执行如前述的数据服务的处理方法的步骤。
171.基于同一发明构思,本公开还提供一种芯片系统,该芯片系统包括处理器,还可以
包括存储器,用于实现如前述的数据服务的处理方法的步骤。该芯片系统可以由芯片构成,也可以包含芯片和其他分立器件。
172.在一些可能的实施方式中,本公开提供的数据服务的处理方法的各个方面还可以实现为一种程序产品的形式,其包括程序代码,当所述程序产品在计算设备上运行时,所述程序代码用于使所述计算设备执行前文所描述的根据本公开各种示例性实施方式的数据服务的处理方法中的步骤。
173.本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。
174.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献