业务数据管理方法及装置、电子设备、存储介质与流程

1.本技术涉及技术领域，特别涉及一种业务数据管理方法及装置、电子设备、计算机可读存储介质。


背景技术：

2.企业级客户信息整合系统(enterprise customer information facility，ecif)可以对企业的客户信息进行整合，以形成全面、集中的客户信息。现有技术中，传统ecif系统采用跑批的方式更新客户的业务信息，故数据处理时效性低，无法满足业务处理需求，无法做到实时掌握客户动向，导致业务服务产生滞后性。同时，传统ecif系统中按照传统的三范式建模方式进行数据建模与加工，因此数据处理效率低。


技术实现要素：

3.本技术实施例的目的在于提供一种业务数据管理方法及装置、电子设备、计算机可读存储介质，提高了ecif系统的数据时效性，且极大地提升了数据处理效率。
4.一方面，本技术提供了一种业务数据管理方法，包括：
5.从目标数据源，实时获取目标用户的目标业务数据；
6.将目标业务数据写入基于宽表模型的信息整合系统，以更新信息整合系统中目标用户的综合业务数据；其中，信息整合系统中存储有多个用户的综合业务数据，综合业务数据包括多个数据源的业务数据；
7.接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据。
8.在一实施例中，在从目标数据源，实时获取目标用户的目标业务数据之前，业务数据管理方法还包括：
9.从多个指定数据源，批量获取与每一指定数据源对应的历史目标业务数据；
10.通过消息中间件将历史目标业务数据发送至分布式流计算引擎中，触发分布式流计算引擎对历史目标业务数据进行合并处理；
11.处理后获得对应于若干用户的综合业务数据，将综合业务数据写入信息整合系统。
12.在一实施例中，从多个指定数据源，批量获取与每一指定数据源对应的历史目标业务数据，包括：
13.通过批量数据导入工具，从多个指定数据源，批量获取与每一指定数据源对应的历史目标业务数据。
14.在一实施例中，从目标数据源，实时获取目标用户的目标业务数据，包括：
15.通过实时数据导入工具，从目标数据源，实时获取目标用户的目标业务数据。
16.在一实施例中，数据查询指令包括若干筛选条件；
17.接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数
据，包括：
18.根据筛选条件，从信息整合系统筛选出符合筛选条件的综合业务数据。
19.在一实施例中，筛选条件对应于若干业务标签；
20.在根据筛选条件，从信息整合系统筛选出符合筛选条件的综合业务数据之前，方法还包括：
21.接收标签添加指令，根据标签添加指令中的标签添加信息为若干用户的综合业务数据添加业务标签；
22.根据筛选条件，从信息整合系统筛选出符合筛选条件的综合业务数据，包括：
23.根据对应于若干业务标签的筛选条件，从信息整合系筛选出业务标签符合筛选条件的综合业务数据。
24.在一实施例中，数据查询指令包括目标用户的业务标识；
25.接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据，包括：
26.根据目标用户的业务标识，从信息整合系统获取目标用户对应于业务标识的综合业务数据。
27.另一方面，本技术还提供了一种业务数据管理装置，包括：
28.第一获取模块，用于从目标数据源，实时获取目标用户的目标业务数据；
29.更新模块，用于将目标业务数据写入基于宽表模型的信息整合系统，以更新信息整合系统中目标用户的综合业务数据；其中，信息整合系统中存储有多个用户的综合业务数据，综合业务数据包括多个数据源的业务数据；
30.第二获取模块，用于接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据。
31.进一步的，本技术还提供了一种电子设备，电子设备包括：
32.处理器；
33.用于存储处理器可执行指令的存储器；
34.其中，处理器被配置为执行上述业务数据管理方法。
35.另外，本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器执行以完成上述业务数据管理方法。
36.本技术方案中，在从目标数据源，实时获取目标用户的目标业务数据之后，将目标业务数据写入基于宽表模型的信息整个系统中，以实时更新信息整合系统中目标用户的综合业务数据；其中，信息整合系统中存储有多个用户的综合业务数据；在接收到数据查询指令时，从信息整合系统中获取与数据查询指令匹配的综合业务数据。因此，本技术方案可以实时更新ecif系统中的业务数据，提升ecif系统的数据时效性，可以做到实时掌握客户动向，满足业务处理需求，提升业务服务质量；同时，本技术方案中ecif系统采用宽表模型进行数据存储，提升了数据处理效率。
附图说明
37.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍。
38.图1为本技术一实施例提供的电子设备的结构示意图；
39.图2为本技术一实施例提供的业务数据管理方法的应用场景示意图；
40.图3为本技术一实施例提供的业务数据管理方法的流程示意图；
41.图4为本技术一实施例提供的业务数据管理方法的流程示意图；
42.图5为本技术一实施例提供的综合业务数据示意图；
43.图6为本技术一实施例提供的查询页面的页面示意图；
44.图7为本技术一实施例提供的数据查询结果的示意图；
45.图8为本技术一实施例提供的数据查询结果的示意图；
46.图9为本技术一实施例提供的数据查询结果的示意图；
47.图10为本技术一实施例提供的业务数据管理装置的框图。
具体实施方式
48.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行描述。
49.相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
50.如图1所示，本实施例提供一种电子设备1，包括：至少一个处理器11和存储器12，图1中以一个处理器11为例。处理器11和存储器12通过总线10连接，存储器12存储有可被处理器11执行的指令，指令被处理器11执行，以使电子设备1可执行下述的实施例中方法的全部或部分流程。在一实施例中，电子设备1可以搭载有信息整合系统，用于执行下述的业务数据管理方法。
51.存储器12可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read only memory，简称eprom)，可编程只读存储器(programmable red-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。
52.本技术还提供了一种计算机可读存储介质，存储介质存储有计算机程序，计算机程序可由处理器11执行以完成本技术提供的业务数据管理方法。
53.本技术提供的业务数据管理方法由电子设备基于ecif系统运行。ecif系统可以对用户信息进行整合，因此，可以为若干业务系统提供数据支持。本技术为描述方便，以ecif系统为某一金融业务系统提供数据支持为例，详细描述本技术实施例提供的业务数据管理方法。更具体的，某一金融业务系统可以为银行业务系统。信息整合系统及银行业务系统可以分别搭载在不同的电子设备上。为区分，搭载有信息整合系统的电子设备用于执行下述实施例中的提供的业务数据管理方法。为描述方便，下面将搭载有信息整合系统的电子设备简称为电子设备。
54.参见图2，其为本技术一实施例提供的业务数据管理方法的应用场景示意图。如图2所示，电子设备可以从多个数据源获取用户的业务数据，并通过相应的数据处理工具对数据进行处理分析，以形成用户的综合业务数据，并将综合业务数据存储在ecif系统中。业务
系统中可以根据ecif系统所支持的功能选项配置对应的服务页面，服务页面上可以具有多个业务标识按钮，业务人员可以通过相应的业务标识按钮请求ecif系统提供相应的数据支持服务，或者业务人员可以通过数据接口请求ecif系统提供相应的数据支持服务。此外，ecif系统也可以支持离线数据支持服务。
55.参见图3，其为本技术一实施例提供的业务数据管理方法的流程示意图。如图3所示，业务数据管理方法可以包括以下步骤s210-步骤s230。
56.步骤s210：从目标数据源，实时获取目标用户的目标业务数据。
57.其中，目标数据源可以为提供目标业务数据的业务系统。举例来说，目标数据源可以为金融业务系统。目标用户可以为在金融业务系统中办理业务的用户。目标业务数据为目标用户在金融业务系统办理业务后产生的相应业务数据。
58.举例来说，当某一用户在金融业务系统办理保险业务后，金融业务系统可以根据业务办理情况，实时生成该用户的保险业务数据。此时，电子设备可以实时从保险业务系统中获取到该用户的保险业务数据。
59.步骤s220：将目标业务数据写入基于宽表模型的信息整合系统，以更新信息整合系统中目标用户的综合业务数据；其中，信息整合系统中存储有多个用户的综合业务数据，综合业务数据包括多个数据源的业务数据。
60.其中，信息整合系统即为ecif系统。综合业务数据包括从多个数据源获取的用户的业务数据。
61.电子设备可以将从多个数据源获取的用户的业务数据进行整理，形成一份集中、全面的综合业务数据，并将综合业务数据存储在信息整合系统中。综合业务数据中记录用户办理业务的详细业务信息及个人属性信息等。综合业务数据可以满足相应的数据支持需求，便于业务人员开展相应业务服务。举例来说，综合业务数据可以包括用户姓名、电话、保险保单情况、业务变更情况等。信息整合系统中预先存储有多个用户的综合业务数据。
62.在获取到目标用户的目标业务数据之后，电子设备可以将该目标业务数据写入信息整合系统中，实时更新目标用户的综合业务数据。
63.举例来说，电子设备在获取到某一用户的保险业务数据后，可以根据该用户的用户名称等信息，将该用户的保险业务数据写入信息整合系统中的相应位置，实时更新该用户的综合业务数据。
64.通过上述措施，当用户在业务系统办理业务后，可以实时获取用户的业务数据，并根据上述业务数据实时更新ecif系统中用户的业务数据。以便于银行业务人员能够实时掌握客户动向，提升服务质量及服务效率。
65.现有技术中的ecif系统采用关系型数据库进行数据存储，数据耦合性高，数据聚合方式繁琐。因此，此种方式导致数据处理时效长，数据处理效率低。
66.本技术中的ecif系统采用宽表模型进行数据存储，此种方式数据耦合性低，数据聚合方式简单。因此，此种方式可以极大地降低数据处理时效，提高数据处理效率。
67.步骤s230：接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据。
68.ecif系统可以提供多种数据支持服务，具体的，银行的业务人员可以通过业务系统下发数据查询指令。举例来说，数据查询指令可以为查询某一用户的保单信息，也可以为
查询某一用户的基本属性信息等。
69.电子设备在接收到上述数据查询指令后，可以从信息整合系统中获取与数据查询指令匹配的相应业务数据。举例来说，电子设备可以根据数据查询指令，从信息整合系统中获取到相应的某一用户的保单信息及某一用户的基本属性信息等。其中，基本属性信息可以包括用户姓名、性别、家庭住址及联系方式等。
70.本技术方案可以实时更新ecif系统中的业务数据，提升ecif系统的数据时效性，可以做到实时掌握客户动向，满足业务处理需求，提升业务服务质量；同时，本技术方案中ecif系统采用宽表模型进行数据存储，提升了数据处理效率。
71.电子设备在执行步骤s210，获取目标用户的目标业务数据之前，还可以通过图4中的步骤s310-步骤s330，将用户的业务数据导入到信息整合系统中，以形成用户的综合业务数据，便于信息整合系统提供数据支持服务。
72.步骤s310：从多个指定数据源，批量获取与每一指定数据源对应的历史目标业务数据。
73.其中，多个数据源可以包括外部数据源、业务数据源及渠道数据源等。多个数据源中均存储有用户的历史业务数据。举例来说，外部数据源可以包括携程、京东及淘宝等应用软件。外部数据源中可以存储有用户的基本属性信息，如名称、家庭住址等。业务数据源可以为银行业务系统，银行业务系统中可以存储有用户的保单信息、业务变更信息等业务信息。外部数据源可以包括公司官方网站、电话中心等。渠道数据源中可以存储有用户的基本属性信息，如联系方式等。
74.历史目标业务数据指从某一指定数据源获取到的用户的历史业务数据。历史业务数据可以反映在获取用户历史目标数据的时间节点之前，用户的业务办理情况。因此，从多个数据源中可以获得用户的多个相应历史目标业务数据。
75.举例来说，当指定数据源为业务数据源时，历史目标业务数据可以为从业务数据源中获取到的用户历史业务数据。
76.用户在某一数据源中的业务数据可能并不完整，因此，可以从多个数据源中获取相应历史业务数据。并根据多个数据源中的历史业务数据，形成一份全面的能够集中存储用户业务信息的综合业务数据。
77.步骤s320：通过消息中间件将历史目标业务数据发送至分布式流计算引擎中，触发分布式流计算引擎对历史目标业务数据进行合并处理。
78.电子设备在从多个数据源，批量获取到用户的目标历史业务数据后，可以通过消息中间件系统分别将每一历史目标业务数据，发送到分布式流计算引擎中，触发分布式流计算引擎对历史目标业务数据进行合并处理。具体的，合并处理可以为对某一用户的所有历史目标业务数据进行合并，并删除掉相应的重复内容，以使得形成该用户的综合业务数据。以此类推，可以形成若干用户的综合业务数据。综合业务数据的体系参见图5。如图5所示，综合业务数据可以包括用户的基本信息、联系信息、接触信息、经济信息、教育职业信息、业务信息及偏好信息等。
79.举例来说，消息中间件可以为kafka分布式消息系统。其中，kafka分布式消息系统支持消息的产生和发布，支持多种形式的消息缓存。分布式流计算引擎可以对数据进行实时快速处理。举例来说，分布式流计算引擎可以为sparkstreaming，sparkstreaming支持秒
以内的流处理分析。因此，此种方式可以提高数据处理效率。
80.通过上述措施，综合业务数据可以只保留用户的必要业务数据，使得用户在银行业务系统中有一份统一的及唯一的用户基础档案。用户基础档案可以为银行业务系统提供更好的数据支持服务。
81.步骤s330：处理后获得对应于若干用户的综合业务数据，将综合业务数据写入信息整合系统。
82.在分布式流计算引擎对历史目标业务数据进行合并处理后，可以获得若干用户的综合业务数据，电子设备可以将该综合业务数据写入信息整合系统中。具体的，可以将综合业务数据写入信息整合系统的本地数据库中，具体的，数据库可以为hbase es数据库、kudu数据库及oracle数据库等，其中，hbase es数据库满足实时数据查询，可以存储用户的全部信息、交易数据明细信息及客户标签信息等；kudu支持实时指标计算等。上述数据库可以为业务系统提供不同的数据支持。hbase es支持大范围查询，即搜索条件较少的情况下，可以快速获取综合业务数据。kudu支持精准查询，即搜索条件较多的情况下，可以精准筛选出符合搜索条件的业务数据。
83.通过上述措施，使得信息整合系统预先存储有若干用户的综合业务数据，则此时信息整合系统可以为业务人员提供相应的数据支持服务，提升业务人员的服务质量。
84.在一实施例中，电子设备在执行步骤s310，获取历史目标业务数据时，可以通过批量数据导入工具，从多个指定数据源，批量获取与每一指定数据源对应的历史目标业务数据。
85.举例来说，批量数据导入工具可以为sqoop工具。sqoop可以分别从外部数据源、业务数据源及渠道数据源等，获取用户的相应历史目标业务数据。
86.在一实施例中，电子设在执行步骤s210，从目标数据源，实时获取目标用户的目标业务数据时，可以通过实时数据导入工具，从目标数据源，实时获取目标用户的目标业务数据。
87.举例来说，实时数据导入工具可以为ogg工具。ogg工具可以在目标用户在业务系统办理业务后，将目标用户的新增业务信息实时导入到信息整合系统中，以更新信息整合系统中目标用户的综合业务数据。
88.在一实施例中，查询指令可以包括若干筛选条件，则此时电子设备在执行步骤s230，接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据时，可以根据筛选条件，从信息整合系统筛选出符合筛选条件的综合业务数据。
89.举例来说，银行业务系统需要开展一营销活动，则此时需要筛选出适合该营销活动的用户信息。则此时可以通过信息整合系统筛选出该营销活动的面向对象。具体的，业务人员可以通过信息整合系统对用户进行分析，即输入相应的筛选条件，根据筛选条件对用户的综合业务数据进行整体分析，最后根据分析结果筛选出营销活动的面向对象，并根据上述筛选结果生成营销用户名单。举例来说，筛选条件可以为资产数值、保单信息等。
90.在得到营销用户名单后，电子设备可以通过业务系统将营销用户名单下发到相应的营销部门，以便于展开营销活动。具体的，可以通过邮箱将用户名单下发到相应的营销部门。具体的，业务系统可以保留名单下发历史信息。
91.在一实施例中，在营销活动结束后，电子设备可以基于信息整合系统中的营销业
务数据生成营销活动结果，并将营销活动结果发送业务系统，由业务系统所在的电子设备对营销活动结果进行展示。具体的，营销活动结果可以报表的方式呈现，为业务部门提供完善的分析服务，便于业务人员直观了解活动结果。
92.在一实施例中，筛选条件对应于若干业务标签，则此时电子设备在执行根据筛选条件，从信息整合系统筛选出符合筛选条件的综合业务数据之前，还可以接收标签添加指令，并根据标签添加指令中的标签添加信息为若干用户的综合业务数据添加业务标签。
93.信息整合系统中存储有开源规则引擎。举例来说，规则引擎可以为drools。业务人员可以通过业务系统发起针对于用户的标签添加指令。电子设备在接收到上述标签添加指令后，可以调取对应的开源规则引擎，并根据上述指令中所携带的标签添加信息，为用户的综合业务数据添加相应的业务标签。
94.举例来说，业务人员可以根据数据整合系统中用户的资产情况为用户的综合业务数据添加业务标签，此时标签添加信息可以为“普通用户”、“会员用户”及“高级用户”等。此标签信息可以代表综合业务数据所对应的用户的服务级别。此时，业务人员可以发起一携带有上述标签添加信息的标签添加指令。开源规则引擎可以根据上述标签添加信息，为用户的综合业务数据添加上述标签信息。
95.在一实施例中，业务人员为用户添加的业务标签可以为业务编码，业务编码为用户在银行业务系统的编码信息。添加业务编码便于对用户进行集中管理。
96.在一实施例中，信息整合系统支持外部程序调用接口，当接收到标签添加指令后，电子设备可以通过外部程序调用接口计算具体的标签数值，并将计算结果返回到业务系统中。业务人员可以根据计算结果为业务项目添加相应的业务标签。
97.举例来说，当业务人员向计算某一业务项目的流失风险度时，可以发起一标签添加指令，标签添加指令中携带有调用接口标识。电子设备可以根据调用接口标识调用对应的业务标签计算接口，根据接口中所集成的标签计算模型计算业务项目的流式风险度。计算完毕后电子设备将流式风险度返回到业务系统中，业务人员根据计算结果为业务项目添加相应的标签信息。标签信息可以为“流式风险高”及“流式风险低”等。
98.在一实施例中，电子设备在执行上述步骤，根据标签添加指令中的标签添加信息为若干用户的综合业务数据添加业务标签之后，还可以根据对应于业务标签的筛选条件，从信息整合系统中筛选出业务标签符合所述筛选条件的综合业务数据。
99.具体的，筛选条件中可以包括业务人员为用户添加的业务标签，当电子设备接收到包含若干业务标签的筛选条件时，可以在信息整合系统筛选出用户的业务标签符合上述筛选条件的相应业务数据。
100.举例来说，当筛选条件中包含业务人员添加的“普通用户”业务标签时，电子设备在接收到该筛选条件时，可以从信息整合系统中筛选出业务标签为“普通用户”的综合业务数据。
101.在一实施例中，数据查询指令包括目标用户的业务标识，电子设备在执行步骤s230，接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据时，还可以根据目标用户的业务标识，从信息整合系统获取目标用户对应于业务标识的综合业务数据。
102.信息整合系统中的每一用户的综合业务数据中包括多个业务数据项，每一数据项
均对应一个业务标识，业务标识可以代表用户的属性信息。举例来说，业务标识可以为“性别”、“名称”、“用户业务编码”等。
103.举例来说，业务人员根据业务需要可以通过查询页面，查询某一用户的具体业务数据情况，则此时业务人员可以通过业务系统中的查询页面发送一数据查询指令，数据查询指令中可以携带有查询用户的名称“张三”及用户业务编码“xy”等信息。此时，电子设备在接收到数据查询指令后，可以从信息整合系统中获取“张三”的综合业务数据。如图6所示，其为本技术一实施例提供的查询页面的页面示意图。
104.电子设备获取到“张三”的综合业务数据后，可以将上述综合业务数据返回到业务系统，由业务系统显示上述查询结果。
105.在一实施例中，业务标识可以为“用户所属机构”及“用户资产账户”等，根据上述业务标识，电子设备可以从信息整合系统中获取到上述业务标识所对应的若干目标用户的综合业务数据。以便于业务人员对若干目标用户的资产情况进行分析。
106.如图7所示，其为本技术一实施例提供的数据查询结果的示意图。如图8所示，其为本技术一实施例提供的数据查询结果的示意图。如图9所示，其为本技术一实施例提供的数据查询结果的示意图。可以看出，数据查询结果中可以包括基本信息、保单信息、资产信息、保障信息、理赔信息、业务办理信息即接触历史、家庭信息及客户画像信息。上述信息均为综合业务数据的组成部分。
107.参见图10，其为本技术一实施例提供的业务数据管理装置的框图。如图10所示，业务数据管理装置400可以模块第一获取模块410、更新模块420及第二获取模块430，各模块用法为：
108.第一获取模块410，用于从目标数据源，实时获取目标用户的目标业务数据；
109.更新模块420，用于将目标业务数据写入基于宽表模型的信息整合系统，以更新信息整合系统中目标用户的综合业务数据；其中，信息整合系统中存储有多个用户的综合业务数据，综合业务数据包括多个数据源的业务数据；
110.第二获取模块430，用于接收到数据查询指令，从信息整合系统中获取与数据查询指令匹配的综合业务数据。
111.上述装置中各个模块的功能和作用的实现过程具体详见上述业务数据管理方法中对应步骤的实现过程，在此不再赘述。
112.在本技术所提供的几个实施例中，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
113.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部
分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
114.功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。