表格数据合成方法、装置、设备及存储介质与流程
本技术涉及数据处理,尤其涉及一种表格数据合成方法、装置、设备及存储介质。
背景技术:
1、表格数据合成是指根据真实表格数据生成在统计特性上与之相似的合成数据,所生成的合成数据可替代真实数据用于数据共享、模型开发及系统测试验证等场景,在金融、医疗、生物医药、自动驾驶、具身智能、工业制造等领域具有广泛的应用需求。
2、目前的表格数据合成方法生成的合成数据与真实数据之间仍然存在明显差异,尤其体现在数据分布以及列相关性的差异上。而且现有的方法需要花大量的时间来学习或拟合真实数据,数据合成的效率低。此外,现有方法会在模型训练或图模型构建过程中引入差分隐私技术,但现有差分隐私机制中的噪声扰动会影响合成数据的生成效果。因此,如何在表格数据合成时保证合成数据质量,同时兼顾隐私保护和合成效率,成为本领域亟待解决的技术问题。
技术实现思路
1、本技术的主要目的在于提供了一种表格数据合成方法、装置、设备及存储介质,旨在解决如何在表格数据合成时保证合成数据质量,同时兼顾隐私保护和合成效率的技术问题。
2、为实现上述目的,本技术提供了一种表格数据合成方法,所述方法包括以下步骤:
3、获取原始表格数据,所述原始表格数据中包含若干列真实数据;
4、构建各所述列真实数据对应的列分布表,并构建各所述列真实数据对应的排序表;
5、在所述列分布表和所述排序表的构建过程中添加差分隐私噪声,得到满足差分隐私的列分布表和满足差分隐私的排序表;
6、生成各所述列真实数据分别对应的随机数序列,根据所述满足差分隐私的列分布表将各所述随机数序列转换为对应的初始合成列数据;
7、根据所述满足差分隐私的排序表对各所述初始合成列数据进行重新排列,得到合成表格数据。
8、在一实施例中,所述构建各所述列真实数据对应的列分布表的步骤,包括:
9、根据各所述列真实数据的最大值、最小值和预设区间数量,将各所述列真实数据的值域划分为若干取值区间;
10、遍历各所述列真实数据,统计各所述列真实数据在每个所述取值区间内出现的第一频数;
11、按照各所述取值区间的先后顺序,累加每个所述取值区间及其之前所有取值区间的第一频数,得到每个所述取值区间的累积频数;
12、将各所述累积频数除以对应列真实数据的数据总数量,得到每个所述取值区间的累积频率,将各所述取值区间与对应的累积频率关联存储为各所述列真实数据对应的列分布表。
13、在一实施例中,所述构建各所述列真实数据对应的排序表的步骤,包括:
14、统计各所述列真实数据中每个不同取值数据在对应列中出现的第二频数;
15、对于各所述列真实数据中的每个不同取值数据,将对应列中所有小于当前不同取值数据的所述第二频数的和值作为当前不同取值数据在升序排列时的最小位序;
16、对于各所述列真实数据中具有相同取值的各数据元素,从对应的所述最小位序开始,按照每次增加一个位序的方式依次为各所述数据元素分配位序,将各所述数据元素分配到的位序与所述原始表格数据中对应的原始行号关联存储为各所述列真实数据对应的排序表。
17、在一实施例中,所述在所述列分布表和所述排序表的构建过程中添加差分隐私噪声,得到满足差分隐私的列分布表和满足差分隐私的排序表的步骤,包括:
18、在所述列分布表的构建过程中,为每个所述取值区间的所述第一频数添加第一拉普拉斯噪声,并对添加噪声后的第一频数进行取整处理,将小于零的第一频数修正为零,利用修正后的第一频数构建满足差分隐私的列分布表;
19、在所述排序表的构建过程中,为每个所述不同取值数据的所述第二频数添加第二拉普拉斯噪声,并对添加噪声后的第二频数进行取整处理,将小于零的第二频数修正为零,利用修正后的第二频数构建满足差分隐私的排序表。
20、在一实施例中,所述生成各所述列真实数据分别对应的随机数序列,根据所述满足差分隐私的列分布表将各所述随机数序列转换为对应的初始合成列数据的步骤,包括:
21、为各所述列真实数据分别生成一组个数与对应列真实数据数量相同且服从0-1均匀分布的随机数序列;
22、遍历各所述随机数序列中的每个随机数,在对应列的所述满足差分隐私的列分布表中查找第一个累积频率大于等于当前随机数的目标取值区间;
23、从所述目标取值区间中随机抽取一个数值作为初始合成数据,将遍历所有随机数后得到的初始合成数据按序组合为所述初始合成列数据。
24、在一实施例中,所述根据所述满足差分隐私的排序表对各所述初始合成列数据进行重新排列,得到合成表格数据的步骤,包括:
25、将各所述初始合成列数据分别按升序排列,得到升序合成列数据;
26、遍历所述升序合成列数据中的每个合成数据元素,确定当前合成数据元素在当前列中的当前位序,在所述满足差分隐私的排序表中查找位序与所述当前位序相同的目标行,将所述当前合成数据元素放置于所述目标行中;
27、在完成所述升序合成列数据中全部合成数据元素的放置后,对所述升序合成列数据各行中的数据元素按照列顺序进行组合,得到合成表格数据。
28、在一实施例中,所述获取原始表格数据的步骤之后,还包括:
29、确定所述原始表格数据的应用场景类型;
30、若所述应用场景类型为隐私敏感场景,则在所述列分布表和所述排序表的构建过程中添加差分隐私噪声;
31、若所述应用场景类型为非隐私敏感场景,则基于未添加差分隐私噪声的列分布表和排序表生成合成表格数据。
32、此外,为实现上述目的,本技术还提出一种表格数据合成装置,所述表格数据合成装置包括:
33、数据获取模块,用于获取原始表格数据,所述原始表格数据中包含若干列真实数据;
34、构建模块,用于构建各所述列真实数据对应的列分布表,并构建各所述列真实数据对应的排序表;
35、噪声添加模块,用于在所述列分布表和所述排序表的构建过程中添加差分隐私噪声,得到满足差分隐私的列分布表和满足差分隐私的排序表;
36、数据转换模块,用于生成各所述列真实数据分别对应的随机数序列,根据所述满足差分隐私的列分布表将各所述随机数序列转换为对应的初始合成列数据;
37、数据合成模块,用于根据所述满足差分隐私的排序表对各所述初始合成列数据进行重新排列,得到合成表格数据。
38、此外,为实现上述目的,本技术还提出一种表格数据合成设备,所述设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的表格数据合成程序,所述表格数据合成程序配置为实现如上文所述的表格数据合成方法的步骤。
39、此外,为实现上述目的,本技术还提出一种存储介质,所述存储介质为计算机可读存储介质,所述存储介质上存储有表格数据合成程序,所述表格数据合成程序被处理器执行时实现如上文所述的表格数据合成方法的步骤。
40、此外,为实现上述目的,本技术还提供一种计算机程序产品,所述计算机程序产品包括表格数据合成程序,所述表格数据合成程序被处理器执行时实现如上文所述的表格数据合成方法的步骤。
41、本技术提出的一个或多个技术方案,至少具有以下技术效果:本技术的表格数据合成方法,所述方法包括:获取原始表格数据,所述原始表格数据中包含若干列真实数据;构建各所述列真实数据对应的列分布表,并构建各所述列真实数据对应的排序表;在所述列分布表和所述排序表的构建过程中添加差分隐私噪声,得到满足差分隐私的列分布表和满足差分隐私的排序表;生成各所述列真实数据分别对应的随机数序列,根据所述满足差分隐私的列分布表将各所述随机数序列转换为对应的初始合成列数据;根据所述满足差分隐私的排序表对各所述初始合成列数据进行重新排列,得到合成表格数据。
42、本技术通过构建各列真实数据对应的列分布表,并基于满足差分隐私的列分布表将随机数序列转换为初始合成列数据,使合成数据能够继承真实数据的列分布特性,从而在数据分布层面上缩小合成数据与真实数据之间的差异。同时,本技术通过构建各列真实数据对应的排序表,并依据满足差分隐私的排序表对各初始合成列数据进行重新排列,使得合成数据能够保留真实数据列之间的秩相关关系,从而在列相关性层面上提升合成数据与真实数据的一致性。本技术在列分布表和排序表的构建过程中添加差分隐私噪声,相较于在深度学习模型训练过程中引入噪声的方式,能够减少隐私保护操作对数据特征的破坏程度,在保障隐私安全的同时维持合成数据对真实数据统计特性的拟合准确度。并且,本技术无需进行复杂的神经网络迭代训练或高维图模型构建,仅需利用列分布表和排序表完成数据转换与重排,即可高效生成合成数据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com