数据处理方法、装置、计算机设备及存储介质与流程
本申请涉及人工智能,可应用于金融科技领域,尤其涉及数据处理方法、装置、计算机设备及存储介质。
背景技术:
1、在传统保险再保计算场景中,保单业务数据与相关配置数据的匹配处理主要依赖全表遍历关联方式,导致保单业务数据的匹配效率较低。具体的,现有方法通常直接基于分布式计算引擎对全量配置大表执行通用join关联操作,每一笔待处理保单都需要扫描全量配置表完成字段匹配,这种粗放式的关联方式在保单批量处理时会产生大量无效性能开销,难以支撑高吞吐、低时延的实时再保计算需求。
2、例如,在金融保险领域的重疾险再保月度结算场景中,某寿险公司单日需要完成超120万笔生效保单的费率回溯匹配,全量再保配置表包含近40万条不同合约、不同责任的费率明细数据,现有全表关联方案需要近4小时才能完成全量数据匹配,完全无法满足t+1日结算的时效要求,甚至会出现计算任务长时间挂起、集群算力资源耗尽的运行异常。这种匹配效率短板不仅拖慢了再保业务的全流程结算进度,也大幅提升了分布式集群的算力资源投入成本。
3、因此,亟需一种智能化的数据匹配方法,以避免全表扫描带来的性能损耗,大幅提升保单与配置数据的匹配效率。
技术实现思路
1、本申请实施例的目的在于提出一种数据处理方法、装置、计算机设备及存储介质,以解决现有的单业务数据与相关配置数据的匹配处理存在匹配效率较低的技术问题。
2、第一方面,提供了一种数据处理方法,包括:
3、接收待处理的业务数据;
4、从预设的上下文内存区中读取出与所述业务数据对应的中间维度字段;
5、从所述中间维度字段中读取出与第一字段类型对应的多个第一字段,并基于预设的第一拼接策略对所有所述第一字段进行拼接处理得到对应的第一阶主键;
6、基于本地内存中的双层嵌套映射结构对所述第一阶主键进行定位处理,得到对应的第一配置数据;
7、从所述中间维度字段中读取出与第二字段类型对应的多个第二字段,并基于预设的第二拼接策略对所有所述第二字段进行拼接处理得到对应的第二阶主键;
8、基于所述第一配置数据与所述双层嵌套映射结构对所述第二阶主键进行定位处理,得到对应的第二配置数据;
9、对所述第二配置数据进行数量统计,并基于得到的数量值确定出与所述业务数据匹配的目标配置数据。
10、第二方面,提供了一种数据处理装置,包括:
11、接收模块,用于接收待处理的业务数据;
12、读取模块,用于从预设的上下文内存区中读取出与所述业务数据对应的中间维度字段;
13、第一处理模块,用于从所述中间维度字段中读取出与第一字段类型对应的多个第一字段,并基于预设的第一拼接策略对所有所述第一字段进行拼接处理得到对应的第一阶主键;
14、第一定位模块,用于基于本地内存中的双层嵌套映射结构对所述第一阶主键进行定位处理,得到对应的第一配置数据;
15、第二处理模块,用于从所述中间维度字段中读取出与第二字段类型对应的多个第二字段,并基于预设的第二拼接策略对所有所述第二字段进行拼接处理得到对应的第二阶主键;
16、第二定位模块,用于基于所述第一配置数据与所述双层嵌套映射结构对所述第二阶主键进行定位处理,得到对应的第二配置数据;
17、确定模块,用于对所述第二配置数据进行数量统计,并基于得到的数量值确定出与所述业务数据匹配的目标配置数据。
18、第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现上述数据处理方法的步骤。
19、第四方面,提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述数据处理方法的步骤。
20、上述数据处理方法、装置、计算机设备及存储介质所实现的方案中,首先接收待处理的业务数据;然后从预设的上下文内存区中读取出与所述业务数据对应的中间维度字段;之后从所述中间维度字段中读取出与第一字段类型对应的多个第一字段,并基于预设的第一拼接策略对所有所述第一字段进行拼接处理得到对应的第一阶主键;进而基于本地内存中的双层嵌套映射结构对所述第一阶主键进行定位处理,得到对应的第一配置数据;后续从所述中间维度字段中读取出与第二字段类型对应的多个第二字段,并基于预设的第二拼接策略对所有所述第二字段进行拼接处理得到对应的第二阶主键;进一步基于所述第一配置数据与所述双层嵌套映射结构对所述第二阶主键进行定位处理,得到对应的第二配置数据;最后对所述第二配置数据进行数量统计,并基于得到的数量值确定出与所述业务数据匹配的目标配置数据。基于以上的自动化处理流程,本申请提供了一种智能化的数据匹配方法,通过从上下文内存区定向读取与待处理的业务数据对应的预生成的中间维度字段,基于双层嵌套映射结构先后完成第一阶主键、第二阶主键的两级哈希直接寻址,将全量配置表的全表扫描关联转化为两级递进式的局部定向定位,先通过第一阶主键直接排除全量配置中与第一字段维度无关的绝大多数冗余数据,再通过第二阶主键在第一配置数据的极小范围内进一步缩小待匹配集合规模,最终基于第二配置数据的数量统计结果定向完成目标配置的筛选输出,使得全程无需遍历全量配置表,大幅降低了无效性能开销与计算资源占用,显著提升了业务数据与配置数据的匹配效率,可以稳定支撑高吞吐、低时延的实时再保计算需求。
1.一种数据处理方法,其特征在于,包括下述步骤:
2.根据权利要求1所述的数据处理方法,其特征在于,所述基于本地内存中的双层嵌套映射结构对所述第一阶主键进行定位处理,得到对应的第一配置数据的步骤,具体包括:
3.根据权利要求1所述的数据处理方法,其特征在于,所述对所述第二配置数据进行数量统计,并基于得到的数量值确定出与所述业务数据匹配的目标配置数据的步骤,具体包括:
4.根据权利要求3所述的数据处理方法,其特征在于,所述基于预设的兜底优先级规则对所述指定配置数据进行筛选处理,以从所述指定配置数据确定出目标配置数据的步骤,具体包括:
5.根据权利要求1所述的数据处理方法,其特征在于,所述基于预设的第一拼接策略对所有所述第一字段进行拼接处理得到对应的第一阶主键的步骤,具体包括:
6.根据权利要求1所述的数据处理方法,其特征在于,在所述从预设的上下文内存区中读取出与所述业务数据对应的中间维度字段的步骤之前,还包括:
7.根据权利要求1所述的数据处理方法,其特征在于,在所述对所述第二配置数据进行数量统计,并基于得到的数量值确定出与所述业务数据匹配的目标配置数据的步骤之后,还包括:
8.一种数据处理装置,其特征在于,包括:
9.一种计算机设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机可读指令,所述处理器执行所述计算机可读指令时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如权利要求1至7中任一项所述的数据处理方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com