一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种维度数据处理方法、装置、存储介质及电子设备与流程

2022-04-02 05:34:11 来源:中国专利 TAG:
1.本技术涉及维度数据处理
技术领域
:,更具体地说,涉及一种维度数据处理方法、装置、存储介质及电子设备。
背景技术
::2.客户关系管理系统(customerrelationshipmanagement,crm)在各期货公司得到了广泛运用,crm系统承担着数据查询与数据分析的工作。3.部分公司使用crm系统已有十余年,并有着大量的客户,且随着时间的推移,crm系统中的数据库所保存的历史数据也越来越多,当历史数据达到一定体量时,会对查询效率造成影响,且在数据查询过程中会对数据库有较大的负担。4.因此,现有通过crm系统的数据库进行数据查询的效率低。技术实现要素:5.有鉴于此,本技术公开了一种维度数据处理方法、装置、存储介质及电子设备,旨在降低数据库的负担,在查询数据维度表中的指标数据时提高查询的效率。6.为了实现上述目的,其公开的技术方案如下:7.本技术第一方面公开了一种维度数据处理方法,所述方法包括:8.通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果;所述各个原始维度数据为未分类前的维度数据;所述分类结果用于表征对各个原始维度数据的维度类型进行类型分类后的结果;9.对分类结果进行汇总,得到数据维度表;所述数据维度表为分类汇总后的各类型维度的数据表;10.当接收到查询请求时,获取所述查询请求在所述数据维度表中对应的指标数据。11.优选的,所述通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果,包括:12.从各个事实表中获取原始维度数据;13.确定所述原始维度数据对应的各个维度类型;14.通过预先构建的维度数据模型对所述各个维度类型进行分类,得到分类结果。15.优选的,构建维度数据模型的过程,包括:16.通过范式建模法和维度建模法构建维度数据模型。17.优选的,所述对分类结果进行汇总,得到数据维度表,包括:18.通过所述维度数据模型的维度数据指标层,确定所述分类结果的汇总维度;19.通过所述汇总维度对所述分类结果进行汇总,得到数据维度表。20.优选的,所述当接收到查询请求时,获取所述查询请求在所述数据维度表中对应的指标数据,包括:21.当接收到查询请求时,解析所述查询请求,得到查询维度数据;22.将所述查询维度数据与所述数据维度表中的预设维度数据进行匹配;23.若所述查询维度数据与所述数据维度表中的预设维度数据一致,则得到所述查询请求在所述数据维度表中对应的指标数据。24.优选的,还包括:25.配置所述数据维度表;26.所述配置所述数据维度表的过程如下:27.获取各个业务需求;所述业务需求为各个公司的业务类型对应的需求;28.从所述业务需求中提取出预设业务指标;所述预设业务指标为在不同维度下具有相同业务类型的业务指标;29.将所述预设业务指标配置所述数据维度表。30.本技术第二方面公开了一种维度数据的处理装置,所述方法包括:31.分类单元,用于通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果;所述各个原始维度数据为未分类前的维度数据;所述分类结果用于表征对各个原始维度数据的维度类型进行类型分类后的结果;32.汇总单元,用于对分类结果进行汇总,得到数据维度表;所述数据维度表为分类汇总后的各类型维度的数据表;33.获取单元,用于当接收到查询请求时,获取所述查询请求在所述数据维度表中对应的指标数据。34.优选的,所述分类单元,包括:35.第一获取模块,用于从各个事实表中获取原始维度数据;36.第一确定模块,用于确定所述原始维度数据对应的各个维度类型;37.分类模块,用于通过预先构建的维度数据模型对所述各个维度类型进行分类,得到分类结果。38.本技术第三方面公开了一种存储介质,所述存储介质包括存储的指令,其中,在所述指令运行时控制所述存储介质所在的设备执行如第一方面任意一项所述的维度数据处理方法。39.本技术第四方面公开了一种电子设备,包括存储器,以及一个或者一个以上的指令,其中一个或者一个以上指令存储于存储器中,且经配置以由一个或者一个以上处理器执行如第一方面任意一项所述的维度数据处理方法。40.经由上述技术方案可知,通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果,各个原始维度数据为未分类前的维度数据,分类结果用于表征对各个原始维度数据的维度类型进行类型分类后的结果,对分类结果进行汇总,得到数据维度表,数据维度表为分类汇总后的各类型维度的数据表,当接收到查询请求时,若所述查询请求符合预设查询条件,则得到所述查询请求在数据维度表中对应的指标数据。通过上述方案,按照日期、客户等维度类型,对各个事实表中的原始维度数据进行汇总得到数据维度表,减少其他无用的数据,降低数据库的负担,且无需再次进行数据维度表的汇总,在查询数据维度表中的指标数据时提高查询的效率。table)中,因此需要对各个原始维度数据进行分类,以便于提高读取效率。56.具体通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果的过程,如下:57.首先,从各个事实表中获取原始维度数据。58.其中,事实表即为事实数据表,事实表主要特点是含有大量的数据,并且这些数据是可以汇总,并被记录的。59.然后,确定原始维度数据对应的各个维度类型。60.最后,通过预先构建的维度数据模型对各个维度类型进行分类,得到分类结果。61.其中,构建维度数据模型的过程如下:62.通过范式建模法和维度建模法构建维度数据模型。63.维度数据模型对各个维度类型进行分类,具体如图2所示。64.图2中,维度数据模型(业务系统数据模型)包括主题域逻辑模型和主题域模型。65.通过主题域模型将不同类型的数据分成不同主题,用于数据的分类,能够更加直观方便地寻找到相关数据和对数据维护处理,通过主题域逻辑模型执行主题域逻辑,主题域逻辑为如下,例如客户相关的数据就是账户主题,公共类型的数据比如字典数据就是公共主题,客户的交易相关数据就是交易主题,客户的资金相关数据就是资金主题等。66.将维度数据模型进行分类,得到数据仓库域模型和逻辑模型。67.业务数据是数据仓库模型的组成部分,将原始数据通过维度数据模型来建立各种维度的数据模型,这种方式能够始数据高度集成,易于维护,可以减少过多的数据交互,提高系统的响应速度。68.维度建模法以分析决策的需求出发构建模型,构建的数据模型为分析需求服务,构建完成后的维度数据指标层(dm层),集中了在不同需求情况下所需的各类数据,即取即用,因此它重点解决用户如何更快速完成分析需求,同时还有较好的大规模复杂查询的响应性能。69.维度数据指标层作用为汇总常用字段在不同决策下的数据,用以提高查询响应,的搭建采用了范式建模法以及维度建模法。范式建模法主要解决关系型数据库的数据存储,利用的一种技术层面上的方法。目前,在关系型数据库中的建模方法,大部分采用的是三范式建模法。范式是符合某一种级别的关系模式的集合。构造数据库必须遵循一定的规则,而在关系型数据库中这种规则就是范式,这一过程也被称为规范化。目前关系数据库有六种范式:第一范式(1nf)、第二范式(2nf)、第三范式(3nf)、boyce-codd范式(bcnf)、第四范式(4nf)和第五范式(5nf)。在数据仓库的模型设计中,一般采用第三范式。一个符合第三范式的关系必须具有三个条件:每个属性值唯一,不具有多义性;每个非主属性必须完全依赖于整个主键,而非主键的一部分;每个非主属性不能依赖于其他关系中的属性,这种非主属性应该归到其他关系中去。70.典型的代表包括星形模型(star-schema),以及在一些特殊场景下适用的雪花模型(snow-schema)。71.维度数据模型的构建过程中,涉及到事实表和维度表(dimensiontable),按照事实表、维度表来构建数据仓库、数据集市。72.具体事实表和维度表之间的关系如图3所示。73.图3中,通过事实表来生成多个维度表(维度表1、维度表2、维度表3、维度表4、维度表5和维度表6等)。74.例如,依靠事实表:资金对账表、持仓汇总表、交割表、行权表、成交明细表、平仓明细表、出入金明细表,按照每日和客户的维度互相关联,汇总数据,生成维度表:日客户维度表。75.s102:对分类结果进行汇总,得到数据维度表;数据维度表为分类汇总后的各类型维度的数据表。76.其中,由多个维度表等数据构成数据维度表。77.具体数据维度表如表1所示。78.分类名称分类代码英文名称日资金账号维度99dayfundacc日客户品种维度98dayclientpro日客户维度97dayclient日品种维度96daypro日分支机构维度95daybranch日交易所维度94daymarket月资金账号维度93monfundacc月客户品种维度92monclientpro月客户维度91monclient月品种维度90monpro月分支机构维度89monbranch月交易所维度88monmarket月营销人员客户维度87moncspclient月营销人员维度86moncsp79.表180.表1中,分类名称中每个维度各自对应一张映射表。映射表中存储着与各个维度相关的数据,如日交易所维度对应的映射表,该映射表中存储着日交易所维下的成交数据,资金数据,出入金数据,持仓数据等。81.具体对分类结果进行汇总,得到数据维度表的过程如下:82.首先,通过维度数据模型的维度数据指标层,确定分类结果的汇总维度。83.其中,汇总维度包括抽取日期(日),币种,营业部,客户号等维度。具体如图4所示。84.图4中,通过客户需求获取汇总维度中的各个维度,汇总维度包括日维度和月维度。维度可拓展,添加新指标数据。85.日维度包括日客户、日营业部、日客户类、日客户品种、日品种和日交易所。日客户包括日期、币种、客户号和营业部;日营业部包括日期、币种和营业部;日客户类包括日期、币种和客户类;日客户品种包括日期、币种、客户号、营业部、交易类型、交易所和品种;日品种包括日期、币种、交易类型和品种。86.月维度包括月客户、月营业部、月客户类、月客户品种、月品种和月交易所;月客户为同日客户;月营业部为同日营业部;月客户类为同日客户类;月客户品种为同日客户品种;月品种为同日品种;月交易所为同日交易所。87.然后,通过汇总维度对分类结果进行汇总,得到数据维度表。88.在汇总数据维度表中各个维度下的成交数据,资金数据,出入金数据,持仓数据,行权数据以及交割数据等数据,并在每日采集完盘后数据后,执行日客户维度逻辑。89.为了方便理解通过汇总维度对分类结果进行汇总,得到数据维度表的过程,这里举例进行说明:90.例1,以日客户维度为例,抽取日期(日),币种,营业部,客户号作为汇总维度的维度指标,汇总该维度下的成交数据,资金数据,出入金数据,持仓数据,行权数据以及交割数据,并在每日采集完盘后数据后,盘后数据即市场停止交易后的结算数据,执行日客户维度逻辑(统计客户维度相关的当天维度数据),生成当天的日客户维度数据。91.例2,以月品种维度为例,抽取日期(月),币种,交易类型,品种作为汇总维度的维度指标,汇总该维度下的成交数据,持仓数据,行权数据以及交割数据,并在每日采集完盘后数据后,执行月客户维度逻辑(统计客户维度相关的月份维度数据),生成从月初到当天的月品种维度数据。92.可选的,配置数据维度表。93.具体配置数据维度表的过程如下:94.首先,获取各个业务需求;业务需求为各个公司的业务类型对应的需求。95.然后,从业务需求中提取出预设业务指标;预设业务指标为在不同维度下具有相同业务类型的业务指标。96.其中,收集各个期货公司的业务需求,提取出业务需求所需要的共有业务字段。97.最后,将预设业务指标配置数据维度表。98.其中,在数据库中设计各个维度所需要的指标和指标逻辑(例如净入金指标的指标逻辑为出金减入金),最后根据每个维度指标,进行逻辑开发和数据落地,而且维度指标支持扩展和修改。99.落地数据是被持久化的数据,这种数据一般放在硬盘或是其他的持久化存储设备里,例如:图片、系统日志、在页面上显示的数据以及保存在关系数据库里的数据等等,落地数据会有一个固定的载体,他们不会瞬时消失。100.s103:当接收到查询请求时,获取查询请求在数据维度表中对应的指标数据。101.例如查询请求的是客户维度的交易数据,则指标数据为查询“日客户维度”的相关数据,如果查询的客户的品种交易数据,则指标数据为查询“日客户品种维度”的相关数据。102.根据业务需求,数据库中设计了不同维度指标的落地逻辑,并通过任务每天执行,生成最新的各维度的指标数据,以供前端报表生成过程中的使用,历史数据(历史交易日期的数据)生成亦可使用该逻辑。103.当接收到查询请求时,通过查询相应的指标数据,避免从明细数据汇总计算,加快报表查询效率,减少数据库负担,增加客户的使用体验。104.为了方便理解指标数据,这里结合图5举例进行说明,图5为通过公式配置对各个指标数据中的字段进行配置的示意图。105.图5中,为持仓的当日盈亏,通过公式配置对各个指标数据中的字段进行配置,例如如果需要修改该指标的计算逻辑,则可以选择运算符里的按钮,添加不同指标间运算逻辑,或者选择扩展方案里的其它运算方案,比如取期末值的方案,可以增加一个判断是否是取期末数据等。106.具体当接收到查询请求时,若查询请求符合预设查询条件,则得到查询请求在数据维度表中对应的指标数据的过程如a1-a3所示。107.a1:当接收到查询请求时,解析查询请求,得到查询维度数据。108.a2:将查询维度数据与数据维度表中的预设维度数据进行匹配。109.其中,预设维度数据为预先存储至数据库中的维度数据。预设维度数据可拓展。110.a3:若查询维度数据与数据维度表中的预设维度数据一致,则得到查询请求在数据维度表中对应的指标数据。111.各维度的指标数据适用于不同的业务场景,保证利用率。112.报表开发时可使用已汇总好的指标数据,提高报表开发效率,减少数据误差。113.本技术实施例中,按照日期、客户等维度类型,对各个事实表中的原始维度数据进行汇总得到数据维度表,减少其他无用的数据,降低数据库的负担,且无需再次进行数据维度表的汇总,在查询数据维度表中的指标数据时提高查询的效率。114.基于上述实施例图1公开的一种维度数据处理方法,本技术实施例还对应公开了一种维度数据处理装置,如图6所示,该维度数据处理装置包括分类单元601、汇总单元602和获取单元603。115.分类单元601,用于通过预先构建的维度数据模型对获取到的各个原始维度数据进行分类,得到分类结果;各个原始维度数据为未分类前的维度数据;分类结果用于表征对各个原始维度数据的维度类型进行类型分类后的结果。116.汇总单元602,用于对分类结果进行汇总,得到数据维度表;数据维度表为分类汇总后的各类型维度的数据表。117.获取单元603,用于当接收到查询请求时,获取查询请求在数据维度表中对应的指标数据。118.进一步的,分类单元包括第一获取模块、第一确定模块和分类模块。119.第一获取模块,用于从各个事实表中获取原始维度数据。120.第一确定模块,用于确定原始维度数据对应的各个维度类型。121.分类模块,用于通过预先构建的维度数据模型对各个维度类型进行分类,得到分类结果。122.进一步的,构建维度数据模型的过程的分类单元601,具体用于通过范式建模法和维度建模法构建维度数据模型。123.进一步的,汇总单元602,包括:第二确定模块和汇总模块。124.第二确定模块,用于通过维度数据模型的维度数据指标层,确定分类结果的汇总维度。125.汇总模块,用于通过汇总维度对分类结果进行汇总,得到数据维度表。126.进一步的,获取单元603,包括解析模块、匹配模块和第二获取模块。127.解析模块,用于当接收到查询请求时,解析查询请求,得到查询维度数据;128.匹配模块,用于将查询维度数据与所述数据维度表中的预设维度数据进行匹配。129.第二获取模块,用于若查询维度数据与数据维度表中的预设维度数据一致,则得到查询请求在数据维度表中对应的指标数据。130.可选的,维度数据处理装置还包括配置单元。131.配置单元,用于配置数据维度表。132.配置单元包括第三获取模块、提取模块和配置模块。133.第三获取模块,用于获取各个业务需求;业务需求为各个公司的业务类型对应的需求。134.提取模块,用于从业务需求中提取出预设业务指标;预设业务指标为在不同维度下具有相同业务类型的业务指标。135.配置模块,用于将预设业务指标配置数据维度表。136.本技术实施例中,按照日期、客户等维度类型,对各个事实表中的原始维度数据进行汇总得到数据维度表,减少其他无用的数据,降低数据库的负担,且无需再次进行数据维度表的汇总,在查询数据维度表中的指标数据时提高查询的效率。137.本技术实施例还提供了一种存储介质,存储介质包括存储的指令,其中,在指令运行时控制存储介质所在的设备执行上述维度数据处理方法。138.本技术实施例还提供了一种电子设备,其结构示意图如图7所示,具体包括存储器701,以及一个或者一个以上的指令702,其中一个或者一个以上指令702存储于存储器701中,且经配置以由一个或者一个以上处理器703执行一个或者一个以上指令702执行上述维度数据处理方法。139.对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。140.需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。141.本技术各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。142.最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。143.对所公开的实施例的上述说明,使本领域技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下,在其它实施例中实现。因此,本技术将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。144.以上所述仅是本技术的优选实施方式,应当指出,对于本
技术领域
:的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献