基于时间序列特征的基础数据模型处理方法以及相关装置与流程

1.本技术属于数据处理技术领域，尤其涉及一种基于时间序列特征的基础数据模型处理方法以及相关装置。


背景技术：

2.软件服务化(software as a service，saas)是指：saas提供商为用户搭建信息系统所需要的所有网络基础设施及软件、硬件运作平台，并负责信息系统所有前期的实施以及后期的维护等一系列服务，用户无需购买软硬件、建设机房、招聘it人员，即可通过互联网使用该信息系统实现业务的信息化服务。
3.现有技术中，大部分金融领域的金融企业都需要saas提供商提供saas业务服务，随着金融企业的逐步发展壮大，saas提供商为金融企业搭建的用于金融风险防控的基础数据模型的数据呈爆炸性增长，每一家金融企业都面临数据量累积增加与业务快速增长带来的高成本低效率问题。而金融风险防控领域的基础数据模型中，通常出于保证数据安全的考虑，将业务数据与针对业务数据不同的分析服务之间相互隔离，导致大量数据孤岛的出现，数据竖井问题严重，金融企业对saas业务服务的使用好感体验逐步减低。
4.saas提供商希望能通过对基础数据模型的改造来实现对金融大数据的高效灵活运用，提高金融企业对saas业务服务的使用体验。


技术实现要素：

5.本技术的目的在于提供一种基于时间序列特征的基础数据模型处理方法以及相关装置，旨在解决现有技术中用于风险防控的基础数据模型的竖井问题，提高对金融大数据的利用效率，进而提高金融企业对saas业务服务的使用体验。
6.第一方面，本技术提供一种基于时间序列特征的基础数据模型处理方法，包括：
7.确定目标业务过程，所述目标业务过程为金融风险防控数据中的一个业务过程；
8.声明所述目标业务过程的常用粒度，所述常用粒度包括时间粒度，所述时间粒度为所述金融风险防控数据中涉及的时间序列特征；
9.在业务事实数据中确定与所述时间粒度对应的统计维度特征；
10.在所述业务事实数据中确定与所述统计维度特征对应的业务事实，构建基础数据模型。
11.可选的，所述构建基础数据模型包括：
12.对所述基础数据模型进行分层，得到数据引入层、数据仓库层以及数据应用层；
13.所述数据引入层对所述金融风险防控数据进行同步存储；
14.所述数据仓库层对所述金融风险防控数据进行维度建模与分析；
15.所述数据应用层存放与所述时间序列特征相关的统计指标数据。
16.可选的，所述数据仓库层包括：数据明细层、数据服务层；
17.所述数据明细层以所述目标业务过程构建最细的时间粒度对应的明细事实表；
18.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表。
19.可选的，所述数据仓库层还包括：数据中间层；
20.所述数据中间层对所述数据明细层的所述明细事实表进行轻度聚合，生成可复用的中间表；
21.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表包括：
22.所述数据服务层以所述时间序列特征为指标需求，依据所述中间表构建所述时间粒度的汇总指标表。
23.可选的，所述基础数据模型还包括：数据应用层；
24.所述数据应用层对数据服务层中的汇总指标表进行缓存。
25.可选的，所述统计维度特征包括：观察窗口期、观察时点以及表现行为，在所述业务事实数据中确定与所述统计维度特征对应的业务事实包括：
26.根据所述观察窗口期在所述业务事实数据中确定发生的目标业务事实；
27.从所述目标业务事实中确定在所述观察时点发生的具体表现行为；
28.将所述观察时点发生的所述具体表现行为记录在基础数据模型的数据服务层。
29.第二方面，一种基于时间序列特征的基础数据模型处理装置，包括：
30.确定单元，用于确定目标业务过程，所述目标业务过程为金融风险防控数据中的一个业务过程；
31.声明单元，用于声明所述目标业务过程的常用粒度，所述常用粒度包括时间粒度，所述时间粒度为所述金融风险防控数据中涉及的时间序列特征；
32.确定单元，还用于在业务事实数据中确定与所述时间粒度对应的统计维度特征；
33.确定单元，还用于在所述业务事实数据中确定与所述统计维度特征对应的业务事实，构建基础数据模型。
34.可选的，所述确定单元在构建基础数据模型时，具体包括：
35.对所述基础数据模型进行分层，得到数据引入层、数据仓库层以及数据应用层；
36.所述数据引入层对所述金融风险防控数据进行同步存储；
37.所述数据仓库层对所述金融风险防控数据进行维度建模与分析；
38.所述数据应用层存放与所述时间序列特征相关的统计指标数据。
39.可选的，所述数据仓库层包括：数据明细层、数据服务层；确定单元还用于：
40.所述数据明细层以所述目标业务过程构建最细的时间粒度对应的明细事实表；
41.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表。
42.可选的，所述数据仓库层还包括：数据中间层；确定单元还用于：
43.所述数据中间层对所述数据明细层的所述明细事实表进行轻度聚合，生成可复用的中间表；
44.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表包括：
45.所述数据服务层以所述时间序列特征为指标需求，依据所述中间表构建所述时间
粒度的汇总指标表。
46.可选的，所述基础数据模型还包括：数据应用层；确定单元还用于：
47.所述数据应用层对数据服务层中的汇总指标表进行缓存。
48.可选的，所述统计维度特征包括：观察窗口期、观察时点以及表现行为，确定单元在所述业务事实数据中确定与所述统计维度特征对应的业务事实时，具体用于：
49.根据所述观察窗口期在所述业务事实数据中确定发生的目标业务事实；
50.从所述目标业务事实中确定在所述观察时点发生的具体表现行为；
51.将所述观察时点发生的所述具体表现行为记录在基础数据模型的数据服务层。
52.第三方面，本技术提供一种计算机设备，包括：
53.处理器、存储器、总线、输入输出接口、无线网络接口；
54.所述处理器通过总线与所述存储器、所述输入输出接口、所述无线网络接口相连；
55.所述存储器中存储有程序；
56.所述处理器执行所述存储器中存储的所述程序时，实现前述第一方面所述基于时间序列特征的基础数据模型处理方法。
57.本技术第四方面提供一种计算机可读存储介质，所述计算机存储介质中存储有指令，所述指令在计算机上执行时，使得所述计算机执行如前述第一方面所述基于时间序列特征的基础数据模型处理方法。
58.本技术第五方面提供一种计算机程序产品，所述计算机程序产品在计算机上执行时，使得所述计算机执行如前述第一方面所述基于时间序列特征的基础数据模型处理方法。
59.以上技术方案可以看出，本技术实施例具有以下优点：
60.本技术基于时间序列特征的基础数据模型处理方法将金融风险防控数据中需要关注的每一个业务过程作为目标业务过程，并声明该目标业务过程的常用粒度，其中常用粒度包括所述金融风险防控数据中涉及的时间序列特征为时间粒度，然后在业务事实数据中确定与该时间粒度对应的统计维度特征，再在所述业务事实数据中确定与该统计维度特征对应的业务事实，进而构建基础数据模型。由于金融风险防控数据中各种统计维度特征都与时间序列特征具有不可分割的关联关系，上述基础数据模型具有对金融大数据时间粒度上的高效灵活运用，基础数据模型可以满足金融企业对客户进行特定观察时点上的各种统计维度特征的分析，提高金融企业对saas业务服务的使用体验。
附图说明
61.图1为本技术基于时间序列特征的基础数据模型处理方法的一个实施例流程示意图；
62.图2为本技术基于时间序列特征的基础数据模型处理装置的一个实施例结构示意图；
63.图3为本技术计算机设备的一个实施例结构示意图；
64.图4为本技术现有技术对金融风险防控数据的一个实施例处理流程示意图；
65.图5为本技术对金融风险防控数据的一个实施例处理流程示意图；
66.图6为本技术基础数据模型与金融风险防控数据之间的一个处理流程示意图。
具体实施方式
67.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
68.为了使得saas提供商能通过对基础数据模型的改造来实现对金融大数据的高效灵活运用，提高金融企业对saas业务服务的使用体验，本实施例提供一种基于时间序列特征的基础数据模型处理方法，解决现有技术中用于风险防控的基础数据模型的竖井问题，提高对金融大数据的利用效率。
69.为了说明现有技术，请参阅图4，图4展示一种对金融风险防控数据处理的一个现有实施例。现有技术大量运用搜索引擎、大数据、社交网络和云计算等技术来降低市场信息不对称程度，大幅节省信息处理的成本，让支付结算变得更便捷，达到同资本市场直接融资、银行间接融资一样高的资源配置效率。但由于我国互联网金融出现的时间短，发展快，目前还没有形成完善的监控机制和信用体系，一旦现有互联网金融体系失控，将存在着巨大的风险。为了对金融风险进行管控，就需要对用户涉及金融的各项数据进行分析，以判断用户是否具备还款能力、是否信用良好等。用户涉及金融的各项数据汇总起来就是金融风险防控数据，金融风险防控数据主要来源于网络的各种渠道对用户的行为记录，例如渠道包括：电商平台(淘宝、京东、美团等)、信用卡平台、社交网络平台(微信、钉钉等)、第三方支付平台(支付宝、微信等)、小额贷款平台、生活服务平台(水、电、煤气等)等。为此，金额企业需要借助基础数据模型对用户的行为进行分析，以便及时对用户的贷款风险进行有效把控，减少贷款坏账率。
70.从图4中可知，现有技术中为了不同的目的需要对从各种渠道获取的用户金融风险防控数据进行不同维度的分析，例如第一维度为用户的还款记录、第二维度为用户的借款记录、
……
；现有技术中为了对用户不同维度的分析就需要建立不同维度的基础数据模型，并且就每一个维度的分析需要单独在金融风险防控数据中获取目标时长的数据，目标时长的数据包括有7天数据集、30天数据集、
……
等，目标时长根据维度分析的需要来获取，然后通过每一个维度提前预设好的过滤层对目标时长的数据进行过滤，得到每一个维度对应的7天指标集、30天指标集、
……
等。可见，金融风险防控领域的基础数据模型将业务数据与针对业务数据不同的分析服务之间相互隔离，导致大量数据孤岛的出现，数据竖井问题严重，金融企业对saas业务服务的使用好感体验逐步减低。
71.为解决上述技术问题，本实施例结合kimball的维度建模理论将现有技术中的基础数据模型构建为数据仓库，该维度建模理论专门针对灵活多变的商业智能状况与敏捷开发需求，它的架构可以称之为“总线体系结构”，通过分析业务过程，编写总线矩阵，在此基础上申明粒度并构建多维模型-星型模型。其模型构建方式能从业务出发，构建出符合业务需求的简单底层数据结构，灵活支撑需求变化。
72.请参阅图1，本技术基于时间序列特征的基础数据模型处理方法的一个实施例，包括：
73.101、确定目标业务过程，目标业务过程为金融风险防控数据中的一个业务过程。
74.众所周知，数据仓库的维度建模可分为四步：1、选择业务过程；2、声明粒度；3、确认维度；4、确认事实。本步骤则是进行维度建模的第一步确定目标业务过程，由于本实施例
针对金融风险防控数据进行，所以目标业务过程为金融风险防控数据中的一个业务过程。例如，目标业务过程为：“近30天银行类app打开天数”、“近30天银行类app平均每天打开时长(秒)”、“近360天贷款类app总打开时长(秒)”等中的一个。
75.102、声明目标业务过程的常用粒度，常用粒度包括时间粒度，时间粒度为金融风险防控数据中涉及的时间序列特征。
76.金融企业通常更加关心金融风险防控领域的时间问题，因为金融企业的用户进行金融业务都是与时间周期相关的，例如用户贷款涉及贷款时间、还款涉及还款时间、逾期涉及逾期时间、
……
等。所以本步骤声明目标业务过程的常用粒度，常用粒度必须包括时间粒度，时间粒度表示步骤101中目标业务过程涉及的最小时间单位。例如目标业务过程为“近30天银行类app平均每天打开时长(秒)”，时间粒度为“秒”。
77.103、在业务事实数据中确定与时间粒度对应的统计维度特征。
78.可以理解的是，现实中从各种渠道获取的用户金融风险防控数据应该是真实发生的业务事实数据，通常将这些业务事实数据记载在事实表中，本步骤则从业务事实数据中确定与步骤102时间粒度对应的统计维度特征。统计维度特征可以大致包括：观察窗口期、观察时点以及表现行为，其中观察窗口期表示要关注的时间范围，观察时点表示观察窗口期内的具体时间点，表现行为表示观察时点发生的行为。例如，目标业务过程为“近30天银行类app平均每天打开时长(秒)”，时间粒度为“秒”，那么本步骤的银行类app包含的种类、近30天的时间范围(精确到秒)、银行类app包含所有种类对应的打开次数总和、
……
等。
79.104、在业务事实数据中确定与统计维度特征对应的业务事实，构建基础数据模型。
80.本步骤则从业务事实数据中确定与步骤103中统计维度特征对应的业务事实，进而可以构建成基础数据模型。
81.具体的，请结合参阅图6，在构建该基础数据模型过程中需要对基础数据模型进行分层为数据引入层、数据仓库层以及数据应用层。其中数据引入层(operational data store，ods)，又称数据基础层，将原始数据几乎无处理地存放在数据仓库中，结构上与源系统(原渠道)基本保持一致，是数据仓库的数据准备区，这一层的主要职责是将基础数据同步、存储。
82.数据仓库层对金融风险防控数据进行维度建模与分析，具体存放明细事实数据、维表数据及公共指标汇总数据，其中明细事实数据、维表数据一般根据数据引入层数据加工生成；公共指标汇总数据一般根据维表数据和明细事实数据加工生成，数据仓库层又细分为明细数据层(data warehouse detail，dwd)和数据服务层(data warehouse summary，dws)。例如数据明细层以目标业务过程构建最细的时间粒度对应的明细事实表，数据服务层以时间序列特征为指标需求构建时间粒度的汇总指标表。数据仓库层还可以包括数据中间层，数据中间层对数据明细层的明细事实表进行轻度聚合，生成可复用的中间表，使得数据服务层以时间序列特征为指标需求，依据中间表构建时间粒度的汇总指标表。可知，采用维度模型方法作为理论基础，可以定义维度模型主键与事实模型中外键关系，减少数据冗余，也提高明细数据表的易用性。在汇总数据层同样可以关联复用统计粒度中的维度，例如本案中涉及到时间维度的特征都可以复用时间汇总粒度表的逻辑，这使以后的业务增长带来的数据存储增长与计算资源的增长都呈现出分数幂函数增长。
83.数据应用层(application data store，ads)可以对数据仓库层中数据服务层的汇总指标表进行缓存，以方便快速响应对个性化分析的需求，通常用于存放数据产品个性化的统计指标数据，根据数据仓库层与数据引入层加工生成。
84.基于上述对本技术的基础数据模型了解，相比于现有技术图4实施例，旧的基础数据模型结构重复对时间特征进行计算，并且在指标集中也可以发现大量重复的计算口径，部分数据的过滤也存在滞后的问题，图4中只画出了两个项目存在的状态，当客户增加，不同分析维度的项目增多时，如省略号所代表的一样，数据和任务都面临着无止尽的线型增长。
85.在构建基础数据模型过程中，将每一个分析维度的项目指标统一进行了收集分析，并根据风控模型特征工程的三种维度(观察窗口、观察时点以及表现窗口)，结合分析维度的项目已有指标，对指标逻辑进行了统一与沉淀，将可复用逻辑下沉，避免各个项目单独计算形成竖井结果，降低这部分逻辑的开发效率，节省重复计算的资源浪费。同时，结合数据仓库分层思想，按照原始数据层，明细数据层，汇总层以及应用层对结构进行了重新梳理。请参阅图5，本技术对金融风险防控数据的一个实施例，从图5可以看出，基础数据模型已经明显根据不同特性划分了层次，由上到下的数据过程形成了统一规范的通路，丰富的数据明细层及数据服务层可以承接各种类型的特征计算，涉及到时间维度的特征都可以复用时间粒度表的逻辑，这使以后的业务增长带来的数据存储增长与计算资源的增长都呈现出分数幂函数增长。
86.上述实施例对本技术基于时间序列特征的基础数据模型处理方法进行了描述下面对本技术基于时间序列特征的基础数据模型处理装置进行描述，请参阅图2，一种基于时间序列特征的基础数据模型处理装置，包括：
87.确定单元201，用于确定目标业务过程，所述目标业务过程为金融风险防控数据中的一个业务过程；
88.声明单元202，用于声明所述目标业务过程的常用粒度，所述常用粒度包括时间粒度，所述时间粒度为所述金融风险防控数据中涉及的时间序列特征；
89.确定单元201，还用于在业务事实数据中确定与所述时间粒度对应的统计维度特征；
90.确定单元201，还用于在所述业务事实数据中确定与所述统计维度特征对应的业务事实，构建基础数据模型。
91.可选的，所述确定单元201在构建基础数据模型时，具体包括：
92.对所述基础数据模型进行分层，得到数据引入层、数据仓库层以及数据应用层；
93.所述数据引入层对所述金融风险防控数据进行同步存储；
94.所述数据仓库层对所述金融风险防控数据进行维度建模与分析；
95.所述数据应用层存放与所述时间序列特征相关的统计指标数据。
96.可选的，所述数据仓库层包括：数据明细层、数据服务层；确定单元还用于：
97.所述数据明细层以所述目标业务过程构建最细的时间粒度对应的明细事实表；
98.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表。
99.可选的，所述数据仓库层还包括：数据中间层；确定单元201还用于：
100.所述数据中间层对所述数据明细层的所述明细事实表进行轻度聚合，生成可复用的中间表；
101.所述数据服务层以所述时间序列特征为指标需求，构建所述时间粒度的汇总指标表包括：
102.所述数据服务层以所述时间序列特征为指标需求，依据所述中间表构建所述时间粒度的汇总指标表。
103.可选的，所述基础数据模型还包括：数据应用层；确定单元201还用于：
104.所述数据应用层对数据服务层中的汇总指标表进行缓存。
105.可选的，所述统计维度特征包括：观察窗口期、观察时点以及表现行为，确定单元201在所述业务事实数据中确定与所述统计维度特征对应的业务事实时，具体用于：
106.根据所述观察窗口期在所述业务事实数据中确定发生的目标业务事实；
107.从所述目标业务事实中确定在所述观察时点发生的具体表现行为；
108.将所述观察时点发生的所述具体表现行为记录在基础数据模型的数据服务层。
109.本技术实施例基础数据模型处理装置所执行的操作与前述图1实施例中所执行的操作类似，在此不再进行赘述。
110.由于金融风险防控数据中各种统计维度特征都与时间序列特征具有不可分割的关联关系，上述基础数据模型具有对金融大数据时间粒度上的高效灵活运用，基础数据模型可以满足金融企业对客户进行特定观察时点上的各种统计维度特征的分析，提高金融企业对saas业务服务的使用体验。
111.下面对本技术实施例的计算机设备进行描述，请参阅图3，本技术实施例中计算机设备的一个实施例包括：
112.该计算机设备300可以包括一个或一个以上处理器(central processing units，cpu)301和存储器302，该存储器302中存储有一个或一个以上的应用程序或数据。其中，存储器302是易失性存储或持久存储。存储在存储器302的程序可以包括一个或一个以上模块，每个模块可以包括对计算机设备中的一系列指令操作。更进一步地，处理器301可以设置为与存储器302通信，在计算机设备300上执行存储器302中的一系列指令操作。计算机设备300还可以包括一个或一个以上无线网络接口303，一个或一个以上输入输出接口304，和/或，一个或一个以上操作系统，例如windows server，mac os，unix,linux，freebsd等。该处理器301可以执行前述图1实施例中所执行的操作，具体此处不再赘述。
113.在本技术实施例所提供的几个实施例中，本领域技术人员应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
114.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取
存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
115.以上所述仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内所作的任何修改、等同替换或改进等，均应包含在本技术的保护范围之内。