面向金融业的数据分类分级处理方法、装置、电子设备及计算机可读存储介质与流程
本技术涉及金融数据处理,尤其涉及一种面向金融业的数据分类分级处理方法、装置、电子设备及计算机可读存储介质。
背景技术:
1、随着金融业务数字化转型的推进,银行等金融机构每日产生海量业务数据。为满足金融行业监管合规要求,金融机构需对数据资产进行分类分级管理,以实施差异化安全保护。
2、目前,金融行业数据分类分级方案主要分为以下几类:
3、基于人工操作的传统方法,由管理人员依据监管规则和业务经验进行人工标注和分级。该方式处理效率极低(仅数条/分钟),无法应对千万级甚至亿级的数据处理需求,且易受个人经验和主观判断影响,分类分级的一致性和规范性难以保障;
4、基于通用规则引擎的半自动化系统,通过预设规则进行数据匹配和分级,部分系统搭载通用ai模型辅助识别。然而,通用规则引擎对非标准化、复杂关联的金融数据识别能力弱,通用ai模型未针对金融场景优化,精准度较低。此外,现有方案各环节相互独立,数据流转断层,缺乏统一的数据管理台账和全流程追溯机制,难以满足高频、高量金融数据处理对效率和精准度的要求;
5、基于ai算法的单点分类分级方案,其聚焦于“单点分类算法”的改进,侧重于从算法层面提升分类分级准确性,但未构建从数据源接入到合规上报的全流程一体化管理平台,无法适配金融机构多层级组织架构下的精细化管控需求。
技术实现思路
1、本技术的目的在于提出了一种面向金融业的数据分类分级处理方法,旨在解决现有金融数据处理方案存在效率低、精准度差的问题。
2、本技术提供了一种面向金融业的数据分类分级处理方法,方法包括:
3、获取金融业务数据源,对金融业务数据源进行数据规范化处理,并将处理后的数据同步至数据资产库;
4、对数据资产库中的金融数据按金融业务维度进行归类编目,生成标准化数据资产清单;
5、基于标准化数据资产清单中的标准化数据资产,构建训练数据集,并基于训练数据集对预设大语言模型进行训练,得到分类分级模型;
6、响应于针对目标数据资产的分类分级任务,调用分类分级模型对目标数据资产进行处理,确定目标数据资产对应的分类分级结果;
7、对分类分级结果进行人工复核修正,将修正后的数据反馈至训练数据集,以迭代更新分类分级模型;
8、根据分类分级结果,识别目标数据资产中的重要数据和核心数据,按照预设格式生成重要数据目录,并将重要数据目录报送至监管平台。
9、可选地,基于标准化数据资产清单中的标准化数据资产,构建训练数据集,并基于训练数据集对预设大语言模型进行训练,得到分类分级模型,包括:
10、获取预设分类分级规则,根据预设分类分级规则以及预设标注维度,对标准化数据资产进行标注,得到标注数据,其中,预设标注维度至少包括分类标签和分级标签;
11、对标注数据进行清洗和脱敏处理,生成训练数据集;
12、将训练数据集输入预设大语言模型,采用小样本微调方式对预设大语言模型进行训练,得到初始训练后模型;
13、获取测试数据并输入初始训练后模型,得到测试分类分级结果,将测试分类分级结果与对应的参考分类分级结果进行比对,并基于比对结果计算精度指标;
14、若精度指标低于预设阈值,则补充训练样本并重新执行训练,直至精度指标达到预设阈值,得到分类分级模型。
15、可选地,对分类分级结果进行人工复核修正,将修正后的数据反馈至训练数据集,以迭代更新分类分级模型,包括:
16、对分类分级结果进行抽检复核;
17、响应于针对分类分级结果的修正操作,获取修正后的分类分级结果,并将修正后的分类分级结果同步至数据资产库,以更新目标数据资产的分类分级属性;
18、将修正后的分类分级结果作为新增训练样本关联至训练数据集,以迭代更新分类分级模型;
19、以及,响应于分类分级标准的更新操作,获取更新后的分类分级标准,根据更新后的分类分级标准对训练数据集中的标注数据进行更新,并基于更新后的训练数据集对分类分级模型进行迭代训练。
20、可选地,方法还包括:
21、对分类分级任务进行全流程管控;
22、对分类分级任务进行全流程管控,包括:
23、为分类分级任务分配任务编号,并记录分类分级任务的任务属性信息,任务属性信息包括任务名称、处理数据范围、发起人员、执行状态和预设完成时间中的至少一项;
24、响应于模式选择指令,根据选定的任务执行模式执行分类分级任务;其中,任务执行模式为手动执行模式或自动执行模式;
25、在分类分级任务执行完成后,生成任务执行报告,并将任务执行报告与标准化数据资产清单关联存储。
26、可选地,方法还包括:
27、在分类分级任务的执行过程中,监测任务执行状态;
28、当监测到任务执行异常时,生成告警信息并推送至对应负责人员,以及记录异常信息;
29、响应于针对异常任务的恢复指令,对异常任务执行重试、回滚或断点续传操作,以恢复任务执行流程。
30、可选地,方法还包括:
31、响应于分类分级任务,根据发起分类分级任务的操作人员的角色信息,校验操作人员是否具备调用分类分级模型对目标数据资产进行处理的权限;
32、若不具备权限,则拒绝执行分类分级任务;
33、若具备权限,则调用分类分级模型对目标数据资产进行处理,获取分类分级模型输出的分类分级结果;
34、当分类分级结果中涉及核心数据时,触发审批流程,并在审批通过后允许对分类分级结果进行修改或输出;
35、记录对分类分级结果进行修正过程中的操作日志,根据操作日志对分类分级模型的调用状态进行监测,并在监测到异常时生成告警信息。
36、可选地,方法还包括:
37、获取数据源接入信息、数据资产总量及分布信息、分类分级结果分布信息、任务执行进度信息和系统运行状态信息中的至少一种;
38、根据获取到的信息生成可视化展示数据,并按图表形式展示可视化展示数据。
39、相应的,本技术还提供了一种面向金融业的数据分类分级处理装置,包括:
40、第一获取单元,用于获取金融业务数据源,对金融业务数据源进行数据规范化处理,并将处理后的数据同步至数据资产库;
41、生成单元,用于对数据资产库中的金融数据按金融业务维度进行归类编目,生成标准化数据资产清单;
42、训练单元,用于基于标准化数据资产清单中的标准化数据资产,构建训练数据集,并基于训练数据集对预设大语言模型进行训练,得到分类分级模型;
43、确定单元,用于响应于针对目标数据资产的分类分级任务,调用分类分级模型对目标数据资产进行处理,确定目标数据资产对应的分类分级结果;
44、更新单元,用于对分类分级结果进行人工复核修正,将修正后的数据反馈至训练数据集,以迭代更新分类分级模型;
45、识别单元,用于根据所述分类分级结果,识别所述目标数据资产中的重要数据和核心数据,按照预设格式生成重要数据目录,并将所述重要数据目录报送至监管平台。
46、相应的,本技术还提供了一种电子设备,包括存储器,处理器及存储在存储器上并在处理器上运行的计算机程序,其中,处理器执行程序时实现如上的面向金融业的数据分类分级处理方法。
47、相应的,本技术还提供了一种计算机可读存储介质,计算机可读存储介质存储有多条指令,指令适于处理器进行加载,以执行如上的面向金融业的数据分类分级处理方法。
48、本技术通过获取金融业务数据源,对金融业务数据源进行数据规范化处理,并将处理后的数据同步至数据资产库;对数据资产库中的金融数据按金融业务维度进行归类编目,生成标准化数据资产清单;基于标准化数据资产清单中的标准化数据资产,构建训练数据集,并基于训练数据集对预设大语言模型进行训练,得到分类分级模型;响应于针对目标数据资产的分类分级任务,调用分类分级模型对目标数据资产进行处理,确定目标数据资产对应的分类分级结果;对分类分级结果进行人工复核修正,将修正后的数据反馈至训练数据集,以迭代更新分类分级模型;根据分类分级结果,识别目标数据资产中的重要数据和核心数据,按照预设格式生成重要数据目录,并将重要数据目录报送至监管平台。由此,本方案通过生成标准化数据资产清单将分散的金融数据整合为统一数据基础,解决流程碎片化问题;通过基于金融数据训练的分类分级模型进行自动化识别,解决了人工和规则匹配效率低、精准度差的问题;通过人工复核修正结果反馈至训练数据集并迭代更新模型,形成闭环优化,解决了任务管控粗放、无法适配动态变化的问题。从而实现了金融数据分类分级全流程的自动化、智能化处理,有效提升了处理效率和识别精准度,能够适配金融业务高频、高量的数据处理需求,并实现模型的动态自学习和持续迭代优化,能够快速适配业务规则及监管要求的动态变化。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com