数据处理方法、装置、设备、存储介质及程序产品与流程

本申请属于数据处理，尤其涉及一种数据处理方法、装置、设备、存储介质及程序产品。

背景技术：

1、交易系统作为金融交易的核心枢纽，与资金清算机构、交易发起方以及服务提供方紧密协作，共同完成支付、结算、风控等全链路服务流程。出于开展交易系统稳定性检测、支撑支付垂域金融大模型训练的双重服务考虑，行业需要海量真实交易数据作为基础素材。然而，真实交易数据承载用户个人敏感信息，受相关法律的严格限制，难以跨机构流通共享，无法直接用于模型训练与系统测试，因此，构建高保真仿真交易数据的技术方案应运而生。

2、在相关技术中，主流仿真报文生成方案分为两类，一是依靠固定模板批量生成仿真交易数据，二是依托人工梳理服务场景手动配置交易参数。但上述两种方案存在明显短板，生成的仿真交易数据场景覆盖范围有限，无法完整覆盖境外交易、营销大促、报错超时等各类极端长尾场景，大幅降低交易系统探测测试的精准度。同时，仿真交易数据保真度不足，无法输出高质量训练数据集难以满足金融垂域大模型的训练要求。

技术实现思路

1、本申请实施例提供一种数据处理方法、装置、设备、存储介质及程序产品，能够解决现有仿真交易数据的场景覆盖不全且仿真精度低的问题。

2、第一方面，本申请实施例提供一种数据处理方法，该方法包括：

3、获取真实交易报文的结构化数据集和字段映射信息，结构化数据集包括真实交易报文拆解后得到的多个交易字段、每个交易字段对应的字段特征以及每个交易字段的字段值，字段映射信息用于记录真实交易报文的报文域标识与结构化数据集的交易字段之间的双向映射关系；

4、基于每个交易字段对应的字段特征和服务语义信息，对结构化数据集进行横向字段分隔处理，得到m个数据块，每个数据块包括至少两个交易字段，且不同数据块中的交易字段互不重合；

5、根据每个数据块内各交易字段的字段值在结构化数据集中的出现频次，对每个数据块进行纵向频段拆分，得到每个数据块对应的n数据子块；

6、通过与每个数据子块对应的数据合成器，生成每个数据子块的仿真数据子块；

7、根据字段映射信息，对所有数据子块的仿真数据子块进行融合，得到真实交易报文对应的仿真交易报文。

8、第二方面，本申请实施例提供了一种数据处理装置，该装置包括：

9、获取模块，用于获取真实交易报文的结构化数据集和字段映射信息，结构化数据集包括真实交易报文拆解后得到的多个交易字段、每个交易字段对应的字段特征以及每个交易字段的字段值，字段映射信息用于记录真实交易报文的报文域标识与结构化数据集的交易字段之间的双向映射关系；

10、处理模块，用于基于每个交易字段对应的字段特征和服务语义信息，对结构化数据集进行横向字段分隔处理，得到m个数据块，每个数据块包括至少两个交易字段，且不同数据块中的交易字段互不重合；

11、拆分模块，用于根据每个数据块内各交易字段的字段值在结构化数据集中的出现频次，对每个数据块进行纵向频段拆分，得到每个数据块对应的n数据子块；

12、生成模块，用于通过与每个数据子块对应的数据合成器，生成每个数据子块的仿真数据子块；

13、融合模块，用于根据字段映射信息，对所有数据子块的仿真数据子块进行融合，得到真实交易报文对应的仿真交易报文。

14、第三方面，本申请实施例提供了一种计算机设备，该计算机设备包括：处理器以及存储有计算机程序指令的存储器；处理器执行计算机程序指令时实现如第一方面所示的数据处理方法。

15、第四方面，本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序指令，该计算机程序指令被处理器执行时实现如第一方面至第五方面中任意一方面所示的数据处理方法。

16、第十一方面，本申请实施例提供了一种计算机程序产品，该计算机程序产品被存储在存储介质中，该计算机程序产品被至少一个处理器执行以实现如第一方面至第五方面中任意一方面所示的数据处理方法。

17、本申请实施例的数据处理方法、装置、设备、存储介质及程序产品，获取真实交易报文的结构化数据集和字段映射信息，结构化数据集包括真实交易报文拆解后得到的多个交易字段、每个交易字段对应的字段特征以及每个交易字段的字段值，字段映射信息用于记录真实交易报文的报文域标识与结构化数据集的交易字段之间的双向映射关系；基于每个交易字段对应的字段特征和服务语义信息，对结构化数据集进行横向字段分隔处理，得到m个数据块，每个数据块包括至少两个交易字段，且不同数据块中的交易字段互不重合；根据每个数据块内各交易字段的字段值在结构化数据集中的出现频次，对每个数据块进行纵向频段拆分，得到每个数据块对应的n数据子块；通过与每个数据子块对应的数据合成器，生成每个数据子块的仿真数据子块；根据字段映射信息，对所有数据子块的仿真数据子块进行融合，得到真实交易报文对应的仿真交易报文。这样，可通过对真实交易报文解析得到包括完整交易字段、字段特征及字段值的结构化数据集，并依托字段特征和服务语义信息完成横向字段分隔，将服务语义与数学关联度匹配的交易字段归集为独立数据块，避免不同服务维度的交易字段混杂建模导致的字段关联关系失真问题，再通过对各数据块按字段组合频次进行纵向分层拆分，精准区分高频常规交易样本与低频长尾交易样本，实现差异化细粒度数据划分，随后利用各数据子块专属的数据合成器独立生成对应仿真数据子块，能够针对性拟合常规交易场景与稀缺长尾交易场景的数据分布特征，有效弥补传统仿真模型对小众、低频交易场景覆盖缺失的缺陷，最后结合字段映射信息对多仿真数据子块进行融合复原，完整保留真实交易报文的字段关联规则与报文结构特征，大幅提升仿真交易数据与真实交易数据的分布一致性、字段关联准确性与场景适配度，有效解决了现有仿真交易数据场景覆盖不全且仿真精度低的技术问题。

1.一种数据处理方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述字段特征至少包括数据类型；所述基于每个所述交易字段对应的字段特征和服务语义信息，对所述结构化数据集进行横向字段分隔处理，得到m个数据块，包括：

3.根据权利要求2所述的方法，其特征在于，所述根据每个所述交易字段的字段特征所指示的数据类型，分别计算所述结构化数据集中任意两个交易字段之间的统计关联度，包括：

4.根据权利要求2所述的方法，其特征在于，所述根据所述任意两个交易字段之间的统计关联度对应的图邻接矩阵，确定与所述图邻接矩阵对应的拉普拉斯矩阵的特征值序列，包括：

5.根据权利要求2所述的方法，其特征在于，所述基于所述特征值序列，确定分组数量m，包括：

6.根据权利要求2所述的方法，其特征在于，所述根据每个所述初始交易字段组中每个交易字段的服务语义信息，对所述m个初始交易字段组进行校验和修正，得到所述m个数据块，包括：

7.根据权利要求1所述的方法，其特征在于，所述根据每个所述数据块内各交易字段的字段值在所述结构化数据集中的出现频次，对每个所述数据块进行纵向频段拆分，得到每个所述数据块对应的n数据子块，包括：

8.根据权利要求7所述的方法，其特征在于，所述根据所述频次排序序列，构建字段值频率与排名曲线，包括：

9.根据权利要求7所述的方法，其特征在于，所述根据所述拐点的拐点数量，确定每个所述数据块对应的n数据子块，包括：

10.根据权利要求1所述的方法，其特征在于，所述根据所述字段映射信息，对所有数据子块的仿真数据子块进行融合，得到所述真实交易报文对应的仿真交易报文，包括：

11.根据权利要求10所述的方法，其特征在于，所述方法还包括：

12.根据权利要求1所述的方法，其特征在于，所述方法还包括：

13.根据权利要求12所述的方法，其特征在于，所述方法还包括：

14.根据权利要求12所述的方法，其特征在于，所述根据所述震荡指数和所述收敛斜率，按照预设映射规则调整所述生成对抗网络的训练超参数，包括：

15.根据权利要求1所述的方法，其特征在于，所述获取真实交易报文的结构化数据集和字段映射信息之前，所述方法还包括：

16.一种数据处理装置，其特征在于，包括：

17.一种计算机设备，其特征在于，所述计算机设备包括：处理器以及存储有计算机程序指令的存储器；

18.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如权利要求1-15任意一项所述的数据处理方法。

19.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序被处理器执行时实现如权利要求1-15任意一项所述的数据处理方法。