一种数据生成方法、设备及产品与流程

本申请涉及数据处理，尤其涉及一种数据生成方法、设备及产品。

背景技术：

1、在基于大语言模型生成运营商用户标签等结构化数据时，通常需要生成结果字段逻辑自洽、整体分布与真实数据一致，并充分覆盖稀有场景，以满足用户画像建模、精准营销、流失预警等下游任务的训练样本需求。

2、相关技术中，为保证字段约束和分布合理性，常采用基于规则约束、统计建模或大语言模型可控生成等路线，并通过配额、重采或分布约束等手段对生成过程进行控制。然而，在面向运营商用户标签这类多字段、长尾分布明显的数据时，相关手段在稀有场景覆盖与整体分布保持之间往往难以取得平衡，容易在补采稀有场景时影响整体分布合理性，或在保持整体分布时弱化对稀有场景的覆盖。

3、上述情况使结构化用户标签数据合成容易产生稀有场景覆盖不足或整体分布失真等问题，影响下游模型在长尾场景上的训练效果。因此，如何在数据生成过程中兼顾稀有场景覆盖与整体分布合理性，成为需要解决的技术问题。

技术实现思路

1、基于上述技术现状，本申请提供一种数据生成方法、设备及产品，能够在数据生成过程中兼顾稀有场景覆盖与整体分布合理性。

2、为了达到上述技术目的，本申请具体提出如下技术方案：

3、根据本申请实施例的第一方面，提供了一种数据生成方法，包括：获取第一数据表和第二数据表；所述第一数据表用于记录运营商用户数据生成场景的不同业务场景和不同业务需求类型下，各个数据桶所需生成的目标数据量；所述各个数据桶分别以多个关键字段的取值组合作为桶编码；所述第二数据表用于记录与所述各个数据桶的各关键字段取值对应的目标数据分布比例；所述第一数据表和所述第二数据表共享同一数据桶索引空间；针对每个数据桶、每个业务场景和每个业务需求类型组成的数据生成单元，根据其当前已生成的数据量和所述第一数据表中记录的目标数据量，确定该数据桶需生成的剩余数据量，以及针对每个数据桶的多个关键字段，根据每个关键字段的每个取值对应的当前数据分布比例和所述第二数据表中记录的目标数据分布比例，确定该数据桶的分布比例偏差；根据所述每个数据桶的所述剩余数据量和所述分布比例偏差，确定待进行数据生成的目标数据桶，并对所述目标数据桶进行运营商用户数据生成，直至所述每个数据桶的生成数据的数据量和/或数据分布比例达到预设条件。

4、根据本申请实施例的第二方面，提供了一种电子设备，包括存储器和处理器；所述存储器与所述处理器连接，用于存储程序；所述处理器用于通过运行所述存储器中的程序，实现如第一方面所述的数据生成方法。

5、根据本申请实施例的第三方面，提供了一种计算机程序产品，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行：如第一方面所述的数据生成方法。

6、本申请实施例提供的一种数据生成方法、设备及产品，该方法的技术方案通过获取第一数据表和第二数据表；第一数据表用于记录运营商用户数据生成场景的不同业务场景和不同业务需求类型下，各个数据桶所需生成的目标数据量；各个数据桶分别以多个关键字段的取值组合作为桶编码；第二数据表用于记录与所述各个数据桶的各关键字段取值对应的目标数据分布比例；第一数据表和第二数据表共享同一数据桶索引空间；针对每个数据桶、每个业务场景和每个业务需求类型组成的数据生成单元，根据其当前已生成的数据量和第一数据表中记录的目标数据量，确定该数据桶需生成的剩余数据量，以及针对每个数据桶的多个关键字段，根据每个关键字段的每个取值对应的当前数据分布比例和所述第二数据表中记录的目标数据分布比例，确定该数据桶的分布比例偏差；根据所述每个数据桶的所述剩余数据量和所述分布比例偏差，确定待进行数据生成的目标数据桶，并对所述目标数据桶进行运营商用户数据生成，直至所述每个数据桶的生成数据的数据量和/或数据分布比例达到预设条件。由于第一数据表中记录有不同数据桶、不同业务场景（包括稀有业务场景）和不同业务需求类型构成的数据生成单元对应的目标数据量，因此，可以显式地为稀有业务场景设置目标数据量。例如，某个稀有套餐、高价值客户保留场景或长尾组合，即使真实数据中稀疏，也可以在第一数据表中设定较高的目标数据量。因此稀有场景也会获得补充采样的机会。而第二数据表中记录有每个数据桶的多个关键字段中，每个关键字段的每个取值对应的目标数据分布比例，因此，覆盖补采与分布对齐能够基于同一桶索引空间和联合调度进行协同收敛，避免因两套独立机制而产生的相互冲突和串行震荡，提高稀有业务场景数据量覆盖的同时保持整体数据分布与目标分布一致。

1.一种数据生成方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，每个所述业务场景对应有场景卡片，所述场景卡片中包括第一类型槽位、第二类型槽位和第三类型槽位，所述第一类型槽位对应字段的取值通过从所述第一数据表写入json模板的方式实现，所述第二类型槽位对应字段的取值通过大语言模型根据预设的取值集合和禁止列表生成，所述第三类型槽位为禁止出现的字段取值或取值组合；所述预设的取值集合根据运营商用户的画像数据中所包括各原始标签字段的取值统计得到；所述方法还包括：

3.根据权利要求1所述的方法，其特征在于，所述生成数据包括多条生成数据，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述至少一个级别的校验器包括第一级别校验器、第二级别校验器、第三级别校验器和第四级别校验器；

5.根据权利要求4所述的方法，其特征在于，针对所述多条生成数据中每条生成数据，将其输入至少一个级别的校验器中进行校验，得到校验结果，包括：

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

7.根据权利要求6所述的方法，其特征在于，所述方法还包括：

8.根据权利要求7所述的方法，其特征在于，所述第二修复数据包括第一子修复数据、第二子修复数据、第三子修复数据或第四子修复数据；

9.根据权利要求8所述的方法，其特征在于，所述方法还包括：

10.根据权利要求1所述的方法，其特征在于，所述根据所述每个数据桶的所述剩余数据量和所述分布比例偏差，确定待进行数据生成的目标数据桶，包括：

11.根据权利要求1所述的方法，其特征在于，所述桶编码采用如下步骤确定：

12.根据权利要求1所述的方法，其特征在于，所述获取第一数据表，包括：

13.根据权利要求1所述的方法，其特征在于，所述获取第二数据表，包括：

14.根据权利要求1所述的方法，其特征在于，所述获取第二数据表，包括：

15.一种电子设备，其特征在于，包括存储器和处理器；

16.一种计算机程序产品，其特征在于，包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器实现如权利要求1至14中任意一项所述的方法。