一种基于数据沙箱的基建业务数据处理方法及设备与流程
本技术涉及数据安全,特别是涉及一种基于数据沙箱的基建业务数据处理方法及设备。
背景技术:
1、全球基础设施建设行业正经历深刻的数字化转型,智慧电网、数字孪生城市、智能交通等项目日益普及。这一进程催生了海量的、高维度的业务数据,涵盖了从项目前期的地理勘察、设计图纸,到中期的招投标信息、供应链数据、成本核算,再到后期的运营维护参数。这些数据不仅是企业的核心资产,更因涉及关键基础设施,其安全性和保密性具有重要意义。
2、与此同时,为了提升工程效率、优化资源配置、进行风险预测和智能决策,对这些数据进行深度分析和跨部门、跨主体的协同共享已成为行业刚需。例如,利用大数据分析优化电网布局、通过机器学习预测材料成本波动,或向合作伙伴开放部分数据进行协同设计。
3、然而,数据的价值利用与安全保障之间存在着天然且尖锐的矛盾。一方面,基建数据具有高度敏感性,一旦泄露,可能导致重大的经济损失、关键技术曝光甚至公共安全风险;另一方面,传统的数据安全防护措施,如基于物理隔离的网络边界、静态的数据加密存储或严格的访问权限控制,在现代数据共享分析场景中显得捉襟见肘,这些方法往往过于刚性,难以实现对数据使用过程的精细化管控。在数据被合法访问后,传统技术很难防止其被复制、截屏或通过分析结果反推出原始敏感信息,也无法有效追踪数据的具体流转和使用行为。
4、已有数据安全技术方案在应对基建业务数据共享分析场景时,普遍存在以下缺陷:
5、其一,安全保障存在固有短板。该类方案依赖动态脱敏规则的配置,但这些规则可能存在配置失误或被高级分析查询绕过的风险,导致原始敏感数据泄露。数据在沙箱环境中实质上仍以明文或轻度脱敏形态存在,一旦隔离边界被突破,安全风险极高。
6、其二,数据可用性与安全性矛盾尖锐。为了保障安全,脱敏策略通常较为严格,例如对关键数值进行泛化处理或直接遮蔽,这导致分析师无法获取精确的统计结果,数据保真度严重损失。同时,这种低保真数据也无法支持机器学习、ai模型训练等复杂分析任务,极大地限制了数据的应用场景和价值释放。
7、其三,操作行为的可追溯性不足。传统的日志系统缺乏不可篡改的特性,难以满足关键基础设施领域对数据操作全流程的严格审计要求。在发生数据安全事件时,难以对数据摄入、权限分配、分析过程及结果出口等关键环节进行透明且可信的追溯。
8、因此,有必要提供一种基于数据沙箱的基建业务数据处理方法,以解决上述问题。
技术实现思路
1、本技术的目的是提供一种基于数据沙箱的基建业务数据处理方法及设备,旨在解决现有技术中数据安全管控与数据价值释放难以兼顾的技术问题,提高基建业务数据在共享与分析过程中的安全性、可用性与可追溯性。
2、为实现上述目的,本技术提供了如下方案:
3、第一方面,本技术提供了一种基于数据沙箱的基建业务数据处理方法,包括:
4、获取包括非结构化数据和结构化数据的基建业务数据;
5、对非结构化数据语义解耦,得到结构拓扑数据和敏感标量数据,将结构拓扑数据明文存储,以及对敏感标量数据和结构化数据的敏感字段加密,得到加密敏感数据,将非敏感字段明文存储,并构建沙箱视图;
6、基于沙箱视图为用户创建隔离沙箱并授权,接收用户分析请求并识别意图;
7、若意图为聚合统计,对沙箱视图中的加密敏感数据执行同态运算,得到加密聚合结果,解密后返回单一数值;
8、若意图为自定义分析或模型训练,调用隐私生成模型生成合成数据供用户在隔离沙箱内开发分析模型,将分析模型提交至可信执行环境,并调用基建业务数据执行分析模型,得到分析结果并生成零知识证明,零知识证明验证通过后放行分析结果;
9、操作日志上链存证。
10、在一实施方式中,对非结构化数据语义解耦,得到结构拓扑数据和敏感标量数据,将结构拓扑数据明文存储,具体包括:
11、调用与非结构化数据类型对应的解析引擎,遍历非结构化数据的内部结构,将非结构化数据分解为结构拓扑数据和附着于结构拓扑数据上的敏感标量数据;
12、其中,结构拓扑数据以明文形式存储,敏感标量数据为附着于结构拓扑数据上的属性数据。
13、在一实施方式中,敏感标量数据包括:数字型敏感标量数据和文本型敏感标量数据,结构化数据中的敏感字段包括数字型敏感字段和文本型敏感字段;
14、对敏感标量数据和结构化数据的敏感字段加密,得到加密敏感数据,将非敏感字段明文存储,具体包括:
15、对敏感标量数据中的数字型敏感标量数据执行同态加密,对敏感标量数据中的文本型敏感标量数据执行对称加密或非对称加密;
16、对结构化数据的数字型敏感字段执行同态加密,对结构化数据的文本型敏感字段执行对称加密或非对称加密,并将结构化数据中的非敏感字段以明文形式保留。
17、在一实施方式中,构建沙箱视图的过程,具体包括:
18、基于基建业务数据中结构拓扑数据与敏感标量数据之间的原始关联关系,将明文存储的结构拓扑数据与对应的加密敏感数据重新挂接;
19、同时,将结构化数据中的明文存储的非敏感字段与加密敏感字段按原表结构重新组合,形成由明文组件和加密组件共同构成的沙箱视图。
20、在一实施方式中,基于沙箱视图为用户创建隔离沙箱并授权,接收用户分析请求并识别意图,具体包括:
21、基于容器技术或虚拟机技术,为用户动态创建隔离的沙箱计算环境实例;
22、对用户进行身份认证,并在认证通过后向用户授予访问沙箱视图的权限以及选择计算路径的权限;计算路径为聚合统计路径、自定义分析或模型训练路径;
23、接收用户在沙箱视图中提交的分析请求,并解析分析请求的操作类型;
24、当操作类型为数据查询语句时,判定对应意图为聚合统计;
25、当操作类型为代码文件提交或模型训练指令时,判定对应意图为自定义分析或模型训练;
26、根据意图的判定结果,将分析请求路由至对应的计算路径。
27、在一实施方式中,采用开放id连接对用户进行身份认证;
28、采用基于属性的访问控制策略,向用户授予访问沙箱视图的权限。
29、在一实施方式中,若意图为聚合统计,对沙箱视图中的加密敏感数据执行同态运算,得到加密聚合结果,解密后返回单一数值,具体包括:
30、若意图为聚合统计,接收用户提交的聚合统计查询语句;
31、对聚合统计查询语句进行解析,提取对应的加密敏感数据字段及运算类型;
32、将聚合统计查询语句转译为同态运算操作序列,以对加密敏感数据字段执行对应运算类型的密文运算,得到加密聚合结果;
33、将加密聚合结果发送至独立的密钥管理服务进行解密,得到解密后的单一数值并返回给用户。
34、在一实施方式中,若意图为自定义分析或模型训练,调用隐私生成模型生成合成数据供用户在隔离沙箱内开发分析模型,将分析模型提交至可信执行环境,并调用基建业务数据执行分析模型,得到分析结果并生成零知识证明,零知识证明验证通过后放行分析结果,具体包括:
35、当意图为自定义分析或模型训练时,调用隐私生成模型,并以随机噪声向量为输入,对隐私生成模型进行前向推理或迭代采样,输出与历史基建业务数据统计特征一致且不含任何真实个体信息的合成数据;隐私生成模型是基于历史基建业务数据,采用差分隐私训练技术对初始生成模型进行预训练得到的;
36、将合成数据提供给用户,以供用户在隔离沙箱内利用合成数据开发分析模型;
37、接收用户提交的开发完成的分析模型,并将开发完成的分析模型作为不可更改的程序提交至可信执行环境;
38、由可信执行环境在硬件级隔离的安全飞地内部调用基建业务数据,对分析模型执行一次推理计算,得到与意图匹配的分析结果,并在计算过程中同步生成零知识证明;
39、验证零知识证明,并在验证通过后确认分析结果是由用户提交的分析模型在基建业务数据上以隐私保护方式合规计算得出,予以放行。
40、在一实施方式中,操作日志上链存证,具体包括:
41、将基建业务数据的摄入哈希、用户授权记录、意图判定结果、计算路径以及出口结果中的至少一种操作日志,生成不可篡改的交易并写入区块链;出口结果为解密后的单一数值或验证通过后的分析结果。
42、第二方面,本技术提供了一种计算机设备,包括:存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序以实现上述所述的基于数据沙箱的基建业务数据处理方法。
43、根据本技术提供的具体实施例,本技术具有以下技术效果:
44、本技术公开了一种基于数据沙箱的基建业务数据处理方法及设备,通过语义解耦将非结构化数据拆分为明文拓扑与敏感标量,并对敏感标量及结构化敏感字段执行加密,使敏感数据以密文形态存储和计算且明文不落地,杜绝数据泄露风险;通过双路径安全计算,聚合统计路径采用同态加密在密文域执行精确运算,自定义分析或模型训练路径提供合成数据供用户开发模型并在可信执行环境中调用真实数据执行推理,使系统在保障安全的同时支持高精度统计与复杂模型开发,兼顾数据可用性与安全性;通过自动化出口验证,聚合结果经密钥管理服务自动解密返回数值,分析结果经零知识证明验证后自动放行,以数学验证取代人工审批,提升审核效率;通过区块链存证将关键操作日志以不可篡改的交易形式上链,确保全流程可追溯,最终解决了已有的数据安全管控与数据价值释放难以兼顾的技术问题,提高了基建业务数据在共享与分析过程中的安全性、可用性与可追溯性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com