一种半结构化数据的安全表征与建模系统及方法与流程

本发明属于计算机数据处理，具体涉及一种半结构化数据的安全表征与建模系统及方法。

背景技术：

1、在水利、能源、金融、政务等领域，半结构化数据通常包含工程参数、经营数据、位置信息等敏感内容，原始数据的外部传输受到数据安全相关规范的约束。目前基于大语言模型的半结构化数据建模主要包括三类技术方案：

2、第一类为全量数据直输方案，将半结构化数据转换为文本格式后全量输入大语言模型。该方案存在两方面技术问题：一是原始数据直接传输至外部大语言模型服务，存在敏感数据泄露风险，无法满足数据安全传输要求；二是大规模半结构化数据转换为文本后token数量较大，受大语言模型上下文窗口长度限制，无法完整输入，且数据传输量较大。

3、第二类为schema-only方案，仅向大语言模型提供列名、基础数据类型等表结构信息，不传输数据内容。该方案存在两方面技术问题：一是仅提供表结构信息时，缺少数据分布、字段关联关系、业务语义等统计信息，导致主外键识别、字段语义推断、业务规则提取的准确率较低；二是对于包含多级表头、深层嵌套结构、跨表引用的半结构化数据，仅依靠表结构信息无法完成结构识别。

4、第三类为采样脱敏方案，对原始数据进行随机采样、泛化匿名处理后，将采样得到的样本输入大语言模型。该方案存在三方面技术问题：一是随机采样得到的样本仍可能包含可识别的敏感记录，无法提供可量化的隐私保护边界；二是随机采样过程会丢失长尾分布特征和低频关联模式，导致低频业务规则无法被识别；三是采样粒度固定，无法根据建模任务的信息需求动态调整采样范围，易出现信息冗余或关键信息缺失。

5、现有技术方案未解决以下技术问题：在原始数据不向外传输的前提下，无法同时满足大语言模型建模所需的信息密度要求、token长度限制要求以及建模准确率要求；具体包括：无法在不传输原始数据的前提下为大语言模型提供足够的建模信息；无法在token长度限制下实现信息密度最大化；无法在对统计信息添加隐私噪声后，消除噪声对大语言模型推断结果的影响；无法自动识别半结构化数据中的多级嵌套结构、跨表隐式引用关系；无法在不传输全量数据的前提下完成大语言模型建模结果的验证与修正。

6、有鉴于此，特提出本发明。

技术实现思路

1、为了解决现有技术中存在的上述技术问题，本发明提供一种半结构化数据的安全表征与建模系统及方法，解决现有半结构化数据大模型建模无法同时兼顾隐私安全、传输效率与建模准确率：全量数据直输存在泄露风险，仅传输结构信息建模准确率不足，采样脱敏隐私保护边界不可量化，且建模结果缺乏零数据暴露的验证修正机制。

2、为实现上述目的，本发明的技术方案如下：

3、第一方面，一种半结构化数据的安全表征与建模系统，包括本地处理器和与本地处理器通信连接的大语言模型服务端；所述本地处理器包括：

4、数据解析与结构识别层，用于接收待处理的半结构化数据，对所述半结构化数据进行结构解析与识别，得到数据结构信息；

5、元数据与统计计算模块，用于从所述数据结构信息中抽取结构元数据，并分层计算各数据字段对应的统计信息；

6、差分隐私扰动模块，用于对所述统计信息进行差分隐私扰动，得到加噪统计信息；

7、自适应压缩编码模块，用于根据预设token预算对所述结构元数据和加噪统计信息进行自适应压缩编码，生成双模态安全表征并发送至大语言模型服务端；

8、所述大语言模型服务端包括：

9、噪声感知建模模块，用于接收所述双模态安全表征及预设的噪声感知提示，生成初始数据模型并返回本地处理器；

10、所述本地处理器还包括：

11、假设验证与反馈模块，用于从所述初始数据模型中提取可验证假设，基于最小暴露抽样策略在本地对所述可验证假设进行验证，根据验证结果生成反馈信息并发送至大语言模型服务端，驱动大语言模型服务端迭代修正得到最终数据模型。

12、进一步地，所述数据解析与结构识别层具体用于：

13、对电子表格类半结构化数据，遍历所有工作表并采用从外向内收缩法定位各工作表的有效数据区域，标记合并单元格并解析公式抽象语法树，将公式中的单元格坐标替换为语义占位符；

14、通过规则层筛选结合轻量级分类器识别多级表头，根据合并区域包含关系、缩进层级和字体大小构建表头树结构，输出表头路径序列；

15、检测跨工作表引用、命名区域，构建工作表间依赖图；

16、对嵌套类半结构化数据，识别嵌套层级并生成路径序列。

17、进一步地，所述元数据与统计计算模块具体用于：

18、将统计信息分为四个层级进行计算，具体包括：

19、l1层为基础描述统计，包括数值型字段的均值、中位数、标准差、最小值、最大值、四分位数，文本型字段的平均长度、唯一值基数、高频模式，日期型字段的时间跨度、时间粒度，分类型字段的类别数、分布比例；

20、l2层为分布形态统计，包括偏度、峰度、分箱边界、分布拟合类型、熵、基尼系数；

21、l3层为关系统计，包括列间相关系数矩阵、互信息、函数依赖强度、跨表关联度；

22、l4层为质量与隐私统计，包括空值率、异常值比例、重复记录比例、敏感字段识别结果、k-匿名性估计值；

23、根据字段的敏感等级控制统计计算范围：机密级字段仅计算l1层统计，敏感级字段计算l1层及可选l2层统计，内部级及以下字段计算l1-l3层统计。

24、进一步地，所述差分隐私扰动模块具体用于：

25、针对不同类型统计量计算对应敏感度：对计数类统计量取全局敏感度为1，对均值类统计量采用平滑敏感度机制计算局部敏感度；

26、根据隐私预算参数计算噪声尺度，从对应分布中采样噪声并加入统计量；

27、对加噪后的统计量进行逻辑一致性校验，对不满足单调性约束的统计量通过约束投影算法调整噪声值。

28、更进一步地，所述差分隐私扰动模块对分位数类统计量采用指数机制进行加噪，具体用于：

29、以分位数目标秩与候选值秩的差值绝对值的负数作为得分函数，从候选分位数值中按得分函数对应的概率分布采样得到加噪后的分位数值。

30、进一步地，所述自适应压缩编码模块具体用于：

31、从总token预算中预留固定数量token用于系统提示和输出格式约束，得到可用token预算；

32、按预设优先级比例将可用token预算分配至结构元数据、l1层统计信息、语义与关系元数据、l2-l3层统计信息，其中l2-l3层统计信息按信息增益排序选取；

33、对分配后的各部分内容进行紧凑编码，包括列名语义压缩、统计量精度截断、稀疏矩阵坐标格式存储、枚举值按token预算动态截断、表头路径点分编码；

34、生成json格式的mds-code双模态安全表征，包含元数据版本、隐私预算、token预算、各工作表结构信息、加噪统计信息、表间关系信息和全局统计信息。

35、进一步地，所述噪声感知建模模块具体用于：

36、基于噪声感知提示执行噪声感知推断：对双模态安全表征中标记为加噪的统计量，根据噪声尺度计算对应置信区间，采用区间估计替代点估计；根据噪声尺度与统计量量级的比值，通过置信度衰减函数调整对应推断结果的置信度；

37、输出包含概念模型、逻辑模型、业务规则、不确定项标注的结构化初始数据模型，各推断结果附带置信度评分。

38、进一步地，所述假设验证与反馈模块具体用于：

39、从初始数据模型中提取不同类型的可验证假设，包括约束类假设、关系类假设、规则类假设，根据假设类型和置信度要求计算最小样本量；

40、针对不同类型假设采用对应定向抽样策略：约束类假设采用异常值优先抽样，关系类假设采用哈希分桶冲突检测抽样，规则类假设采用残差排序抽样；

41、在本地对抽样得到的样本执行验证，得到验证结果和异常模式摘要。

42、更进一步地，所述假设验证与反馈模块还用于：

43、将验证结果编码为包含假设内容、验证结果、通过率、异常证据、修正建议的结构化反馈信息，发送至大语言模型服务端；

44、根据验证通过率和迭代轮次控制迭代终止：当所有可验证假设的验证通过率大于预设阈值或达到最大迭代轮次时，停止迭代得到最终数据模型；

45、每轮验证完成后立即销毁抽样得到的样本数据，仅保留验证结果统计量。

46、进一步地，所述数据解析与结构识别层还用于主外键关系推断，具体用于：

47、计算各列的唯一值率和空值率，将唯一值率为1且空值率为0的列标记为候选主键，结合列名语义匹配结果确认主键；

48、计算跨列的值重叠率和列名语义相似度，结合跨表引用频率，将值重叠率大于预设阈值且名称相似度大于预设阈值的列对标记为候选外键。

49、第二方面，一种半结构化数据的安全表征与建模方法，包括：

50、s1、本地处理器接收待处理的半结构化数据，对所述半结构化数据进行结构解析与识别，得到数据结构信息；

51、s2、本地处理器从解析后的半结构化数据中抽取结构元数据，并分层计算各数据字段对应的统计信息；

52、s3、本地处理器对计算得到的统计信息进行差分隐私扰动，得到加噪统计信息；

53、s4、本地处理器根据预设token预算对所述结构元数据和加噪统计信息进行自适应压缩编码，生成双模态安全表征并发送至大语言模型服务端；

54、s5、大语言模型服务端接收所述双模态安全表征及预设的噪声感知提示，生成初始数据模型并返回至本地处理器；

55、s6、本地处理器从所述初始数据模型中提取可验证假设，基于最小暴露抽样策略在本地对所述可验证假设进行验证，根据验证结果生成反馈信息并发送至大语言模型服务端，驱动大语言模型服务端迭代修正得到最终数据模型。

56、本发明至少具有如下有益效果：

57、（1）保证数据隐私安全：原始半结构化数据全程仅在本地处理器侧处理，仅传输经过差分隐私保护的聚合统计信息，提供可量化、可证明的隐私保护边界，满足敏感数据零出域的合规要求，避免全量数据直输带来的隐私泄露风险；

58、（2）提升token利用效率：采用结构元数据结合分层统计信息的双模态表征替代原始数据，配合token自适应压缩编码策略，在有限token预算内最大化信息密度，大幅降低数据传输量与推理成本，突破大语言模型上下文窗口的长度限制；

59、（3）保障建模准确率：通过分层统计信息补充表结构缺失的业务语义与数据分布特征，结合噪声感知机制校准差分隐私噪声带来的推断偏差，再经本地最小暴露抽样验证与迭代修正闭环，在零原始数据出域的前提下保证建模准确率，解决仅传输schema信息导致的建模效果差的问题；

60、（4）适配复杂半结构化场景：支持多工作表、合并单元格、多级表头、跨表公式引用、深层嵌套等非规范半结构化结构的自动识别与结构化表征，解决现有方案无法处理复杂格式半结构化数据的缺陷，适用场景更广泛；

61、（5）增强结果可解释性：大语言模型输出的每项推断均附带置信度评分与不确定性说明，明确标注高噪声字段的风险等级，便于使用者判断结果可信度，为后续数据治理提供清晰的决策依据。