基于规则转换的客户标签查询方法、装置、设备及介质与流程
本发明涉及计算机,特别涉及一种基于规则转换的客户标签查询方法、装置、设备及介质。
背景技术:
1、目前,随着银行零售业务的数字化转型,客户标签系统已成为精准营销、风险控制的核心基础设施。现有客户标签平台通常采用t+1离线批处理架构:上游数据源每日将客户基础数据推送至mpp数据库;随后数据交换平台将数据转换为文件并传输至数仓服务器,再上传至hdfs(hadoop distributed file system,hadoop分布式文件系统);最后由flink计算引擎配合基于aviator二次开发的标签引擎完成标签规则匹配,结果写入elasticsearch集群供查询使用。
2、然而,上述方案存在以下技术缺陷:
3、第一,aviator规则引擎不支持聚合函数。aviator是一门轻量级表达式求值器,其语法功能有限,不支持sql(structured query language,结构化查询语言)标准中的聚合函数(如sum、avg、max、min、count等),导致业务人员无法开发“近30天消费总额大于5000元”这类聚合标签,严重制约了业务场景的拓展。
4、第二,flink计算引擎计算资源有限,标签计算耗时较长。在现有方案中,标签计算任务完全由flink承担,千万级客户数据处理时标签计算环节耗时占比高达65%,成为系统性瓶颈,严重影响t+1离线数据处理的时效性。
5、第三,标签规则与flink作业耦合度较高。标签规则以硬编码或配置文件形式与flink作业绑定,规则一旦变化需修改代码、重新打包部署、重启作业,运维复杂度高,难以满足业务快速迭代需求。
6、目前,业内存在一种基于规则引擎的标签加工方法及kafka消息队列的实时标签计算方法,该方法通过aviator规则引擎结合kafka实现实时标签计算,但批处理部分仍使用flink加载规则执行计算。
7、由上可见,如何在客户标签查询过程中提高对客户标签进行查询的效率是目前亟待解决的问题。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于规则转换的客户标签查询方法、装置、设备及介质,能够通过独立于数据处理链路的规则转换器将用户配置的标签规则自动转换为mpp数据库可执行的存储过程,从而在数据库内完成标签数据的批量计算,有效提升标签计算效率并降低系统耦合度。其具体方案如下:
2、第一方面,本技术提供了一种基于规则转换的客户标签查询方法,应用于包括规则配置模块、规则转换器、mpp数据库、flink计算引擎以及elasticsearch集群的银行客户标签确定系统,所述方法包括:
3、利用所述规则配置模块接收标签配置信息,并基于所述标签配置信息生成规则配置参数;所述标签配置信息包括标签类型、数据源表、字段信息、聚合函数、时间窗口、过滤条件以及阈值;
4、通过所述规则转换器对所述规则配置参数进行解析,得到解析结果,并基于预设模板与所述解析结果生成对应的mpp存储过程,以将所述mpp存储过程存储至所述mpp数据库中的规则存储表中;
5、基于所述mpp数据库与所述规则存储表中的mpp存储过程对客户基础数据进行标签计算,然后将标签计算结果写入标签结果表;所述标签结果表包括标签编号、客户编号、标签值以及数据处理时间;
6、利用所述flink计算引擎对所述标签结果表中的所述标签计算结果进行数据格式转换,得到elasticsearch索引格式的标签数据;
7、利用所述elasticsearch集群存储所述标签数据,以利用所述标签数据进行客户标签数据查询。
8、可选的,所述利用所述规则配置模块接收标签配置信息,并基于所述标签配置信息生成规则配置参数,包括:
9、获取用户对应的标签配置信息,并确定与所述标签配置信息对应的标签类型,并基于所述标签类型确定对应的数据计算方式;
10、基于所述标签配置信息中的数据源表以及字段信息确定待计算数据范围,并基于所述标签配置信息中的聚合函数、时间窗口、过滤条件以及阈值生成对应的计算约束条件;
11、基于所述数据计算方式、所述待计算数据范围以及所述计算约束条件确定规则配置参数。
12、可选的,所述通过所述规则转换器对所述规则配置参数进行解析,得到解析结果,并基于预设模板与所述解析结果生成对应的mpp存储过程,包括:
13、确定所述规则配置参数对应的标签计算字段、聚合计算方式、计算时间范围以及计算条件;
14、基于所述标签计算字段、所述聚合计算方式、所述计算时间范围以及所述计算条件确定解析结果;
15、将所述解析结果写入所述预设模板对应的位置,以基于写入结果生成mpp存储过程。
16、可选的,所述将所述mpp存储过程存储至所述mpp数据库中的规则存储表中,包括:
17、确定所述mpp存储过程对应的预设规则标识,并将所述预设规则标识与所述mpp存储过程的存储地址建立映射关系;
18、将所述映射关系写入所述规则存储表,并将所述规则存储表下发至所述mpp数据库;所述映射关系用于调用与所述预设规则标识对应的mpp存储过程。
19、可选的,所述基于所述mpp数据库与所述规则存储表中的mpp存储过程对客户基础数据进行标签计算,然后将标签计算结果写入标签结果表,包括:
20、基于所述映射关系确定所述规则存储表对应的mpp存储过程,并读取预设上游数据源下发至所述mpp数据库中的客户基础数据;
21、调用所述mpp存储过程对所述客户基础数据进行聚合计算以及条件判断,得到标签计算结果;
22、基于标签编号、客户编号、标签值以及数据处理时间生成标签结果记录,然后将所述标签结果记录写入所述标签结果表中,并将所述标签结果表下发至所述flink计算引擎。
23、可选的,所述利用所述flink计算引擎对所述标签结果表中的所述标签计算结果进行数据格式转换,得到elasticsearch索引格式的标签数据,包括:
24、获取所述标签结果表中的标签计算结果,并利用预设elasticsearch索引字段结构对所述标签计算结果进行字段映射,得到字段映射结果;
25、将所述标签结果表中的所述标签编号、所述客户编号、所述标签值以及所述数据处理时间分别转换为对应的索引字段信息,然后基于所述索引字段信息生成elasticsearch索引格式的标签数据,并将所述标签数据下发至所述elasticsearch集群。
26、可选的,所述利用所述elasticsearch集群存储所述标签数据,以利用所述标签数据进行客户标签数据查询,包括:
27、获取flink计算引擎下发的elasticsearch索引格式的标签数据,并基于所述标签编号以及所述客户编号建立标签索引;
28、将所述标签数据写入所述elasticsearch集群,然后基于所述标签索引与客户标签查询请求进行客户标签数据查询,得到对应客户的标签数据。
29、第二方面,本技术提供了一种基于规则转换的客户标签查询装置,应用于包括规则配置模块、规则转换器、mpp数据库、flink计算引擎以及elasticsearch集群的银行客户标签确定系统,所述装置包括:
30、规则配置参数生成模块,用于利用所述规则配置模块接收标签配置信息,并基于所述标签配置信息生成规则配置参数;所述标签配置信息包括标签类型、数据源表、字段信息、聚合函数、时间窗口、过滤条件以及阈值;
31、配置参数解析模块,用于通过所述规则转换器对所述规则配置参数进行解析,得到解析结果,并基于预设模板与所述解析结果生成对应的mpp存储过程,以将所述mpp存储过程存储至所述mpp数据库中的规则存储表中;
32、标签计算模块,用于基于所述mpp数据库与所述规则存储表中的mpp存储过程对客户基础数据进行标签计算,然后将标签计算结果写入标签结果表;所述标签结果表包括标签编号、客户编号、标签值以及数据处理时间;
33、标签数据生成模块,用于利用所述flink计算引擎对所述标签结果表中的所述标签计算结果进行数据格式转换,得到elasticsearch索引格式的标签数据;
34、客户标签数据查询模块,用于利用所述elasticsearch集群存储所述标签数据,以利用所述标签数据进行客户标签数据查询。
35、第三方面,本技术提供了一种电子设备,包括:
36、存储器,用于保存计算机程序;
37、处理器,用于执行所述计算机程序,以实现前述的基于规则转换的客户标签查询方法。
38、第四方面,本技术提供了一种计算机可读介质,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现前述的基于规则转换的客户标签查询方法。
39、由上可见,本技术在进行基于规则转换的客户标签查询之前,需要利用规则配置模块接收标签配置信息并生成规则配置参数,然后通过独立于数据处理链路的规则转换器对规则配置参数进行解析并生成对应的mpp存储过程,将mpp存储过程存储至mpp数据库的规则存储表中。在进行标签计算时,基于mpp数据库与规则存储表中的mpp存储过程对客户基础数据进行标签计算,然后将标签计算结果写入标签结果表,利用flink计算引擎进行数据格式转换后存储至elasticsearch集群以供查询。
40、由此可见,本技术首先需要通过规则转换器将用户配置的标签规则(包括聚合函数、时间窗口等复杂逻辑)自动转换为mpp数据库可执行的存储过程,然后利用mpp数据库自身的并行处理能力在数据库内完成标签数据的批量计算,flink计算引擎仅负责将计算结果写入elasticsearch集群。这样一来,在客户标签确定的过程中突破了aviator规则引擎不支持聚合函数的限制,大幅提升了标签计算效率,同时实现了标签规则与计算引擎的解耦,进而提升了系统的可维护性和用户体验。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com