一种基于隐私计算的数据资产抵押前置审计方法及系统与流程
本发明涉及数据安全与金融风控,尤其涉及一种基于隐私计算的数据资产抵押前置审计方法及系统。
背景技术:
1、随着数据要素市场的快速发展,企业在经营过程中积累的客户数据、交易数据、设备数据、行为数据和经营数据已逐渐成为可评估、可流转并可用于融资增信的数据资产。在数据资产抵押、质押或授信审查等场景中,资金授信方通常需要在授信决策、放款审批、资产估值或联合建模准入之前,确认相关数据资产是否满足完整性、唯一性、稳定性、业务一致性和统计可用性等质量要求。若待审计数据中存在大量缺失值、重复值、异常值、越界值、非法枚举值或格式不一致记录,将导致数据资产估值失真、信用评分偏差、风险模型训练效果下降,进而严重影响资金授信决策的可靠性和数据资产融资业务的健康发展。
2、现有数据资产抵押前审计主要采用明文抽样、离线文件提交、人工核查或由数据持有人自行生成质量报告等方式完成。该类方式在跨主体协同场景下面临着难以调和的核心矛盾:资产提供方需要将原始明细数据或样本数据暴露给资金授信方或第三方审计机构,这容易引发数据安全、个人信息保护和商业秘密泄露风险;同时,资金授信方难以确认数据提供方本地生成的质量报告是否基于统一的审计规则、统一的字段口径和统一的计算逻辑得出,导致审计结果的公信力和可验证性不足。
3、上述矛盾严重制约了数据资产抵押融资业务在隐私保护前提下的规模化发展,亟需一种能够在原始资产明细数据不离开资产提供方本地安全边界的前提下,由资金授信方统一编排并加密下发审计规则,由资产提供方在本地可信执行环境或安全沙盒内执行多维度质量核验,并仅将字段级聚合统计结果作为脱敏报告数据流返回的前置审计方法,同时,还需要一种能够将前置审计结果与后续联合建模准入控制以及跨节点前端结果展示相结合的安全协同验证系统,以保证审计规则、执行边界、结果回传、结果展示和流程拦截之间形成可验证闭环。
技术实现思路
1、本发明的目的在于提供一种基于隐私计算的数据资产抵押前置审计方法及安全协同验证系统,用以解决现有技术中数据资产抵押前审计依赖明文数据暴露、审计规则难以统一、数据质量核验难以适配隐私协同计算环境、审计结果难以与联合建模准入控制联动以及跨主体结果展示难以一致验证的问题。
2、为实现上述目的,本发明提供的技术方案包括:
3、本发明所述系统包括第一数据节点与第二数据节点,二者通过安全通信信道形成隐私协同网络;所述第一数据节点为资金授信方主机,包括风控编排模块、规则序列化及公钥加密模块、网络通信模块、前置门控判定模块和组件元数据配置模块;所述第二数据节点为资产提供方主机,包括解密及反序列化模块、网络通信模块、可信执行环境或安全沙盒、结果封装模块、前端容器、前端可视化组件和结果管理页;
4、在规则下发阶段,所述第一数据节点的风控编排模块基于资产抵押风控模型,构建包含多个维度的数据质量前置审计规则集合。所述审计规则集合至少包括极值边界字典、分类枚举字典、正则表达式匹配模板以及与缺失、重复、异常、范围、枚举和一致性相关的核验参数。所述第一数据节点的规则序列化及公钥加密模块将所述审计规则集合序列化为结构化配置字符串,并利用所述第二数据节点的公钥进行加密,生成审计配置密文包。所述第一数据节点的网络通信模块通过安全通信信道将前置审计任务的工作流调度指令和所述审计配置密文包发送至所述第二数据节点。
5、在本地映射阶段,所述第二数据节点的解密及反序列化模块接收审计配置密文包,利用本地私钥进行解密并调用反序列化函数解析出结构化的审计规则集合。所述第二数据节点在本地分配的可信执行环境或安全沙盒内部挂载原始资产明细数据集,底层隐私计算引擎将所述数据集声明为分布式虚拟数据帧对象。所述第二数据节点的逻辑原生矩阵映射模块在数据进程不离开本地安全沙盒的条件下,将所述分布式虚拟数据帧对象映射加载为分布式计算框架下的逻辑原生矩阵,所述逻辑原生矩阵在物理上分布于本地安全沙盒内的多个工作计算节点中,各工作节点承载一个或多个行方向局部分片,各分片对应map-reduce架构中的独立工作单元。
6、在统计核验阶段,所述第二数据节点的map-reduce并发计算引擎针对所述逻辑原生矩阵中的第j个目标特征列向量,其中j取值为从1至m的整数,从所述结构化审计规则集合中提取对应配置参数后,基于本地安全沙盒内的多个工作节点并发执行多维度数据质量核验。所述多维度数据质量核验包括完整性与唯一性核验、基于z-score算法的异常偏移检测、基于iqr算法的异常极值检测、自定义极值边界核验、分类枚举合法性核验以及正则表达式一致性核验。
7、所述完整性与唯一性核验在map阶段由各工作节点并行扫描本地分片,计算局部空值数量与局部非空独立值集合;在reduce阶段由聚合节点汇总各工作节点的局部状态量,计算全局缺失值比率和全局重复值比率。所述全局缺失值比率为空值总数除以样本总数,所述全局重复值比率为非空独立值集合补集的基数除以样本总数。
8、所述基于z-score算法的异常偏移检测执行三轮map-reduce异步协同计算:第一轮各工作节点map输出局部标量和,聚合节点reduce输出全局均值;第二轮各工作节点基于全局均值并行计算局部中心化方差和,聚合节点reduce计算得出全局标准差;第三轮各工作节点基于全局均值和全局标准差提取规则集合中的阈值,局部统计满足偏差条件的偏移离群点数量,聚合节点reduce汇总输出全局离群点比率。
9、所述基于iqr算法的异常极值检测调用分布式近似分位数算法以规避分布式全量排序产生的通信开销:各工作节点在map阶段构建局部数据草图,聚合节点在reduce阶段通过合并算子构建全局草图分布模型,据此近似计算得出全局下四分位数与上四分位数,计算四分位距并构建系统边界下限与上限,聚合节点汇总越界元素数量并计算全局离群极值比率。
10、所述自定义极值边界核验提取所述规则集合中针对该特征列的业务区间,各工作节点在map阶段并行计算局部超出该区间限制的失效记录数,聚合节点汇总计算全局失效记录比率;所述分类枚举合法性核验提取所述规则集合中针对该特征列的合法枚举项集合,各工作节点在map阶段逐行执行集合从属测试,统计局部非法分类记录数,聚合节点汇总计算全局非法分类记录比率。所述正则表达式一致性核验提取所述规则集合中预设的模式匹配字符串,各工作节点调用正则匹配引擎并发执行局部运算,统计局部不符合格式规范的脏数据数量,聚合节点汇总计算全局脏数据比率。
11、在聚合输出阶段,所述第二数据节点将针对第j个目标特征列向量计算得到的各项统计比率按序拼接,构建单列特征的评估分量向量。遍历所述逻辑原生矩阵的所有资产特征列后,将各列评估分量向量进行聚合,生成综合审计结果向量。所述第二数据节点触发本地沙盒内的内存快照销毁协议,擦除所述逻辑原生矩阵及其衍生明细记录,包括临时分片、局部统计中间量以及可能还原原始资产明细的衍生明细记录。所述第二数据节点的结果封装模块将所述综合审计结果向量封装为脱敏报告数据流,经所述安全通信信道返回所述第一数据节点。
12、在前置拦截与协同验证阶段,所述第一数据节点的前置门控判定模块接收所述综合审计结果向量,基于风控容忍度阈值执行前置门控判定:若评估未达标,则阻断进入后续联合建模流程;若评估达标,则允许进入后续联合建模流程。所述第一数据节点的组件元数据配置模块提取本节点编译打包好的组件元数据配置文件,该配置文件包含算子前端能力列表。系统通过跨节点热更新机制将所述组件元数据配置文件注入所述第二数据节点的前端容器,该前端容器独立于底层计算沙盒。所述第二数据节点利用更新后的前端可视化组件解析并渲染所述综合审计结果向量,在结果管理页展示数据质量检查报告,实现所述第一数据节点与所述第二数据节点之间的双向协同验证。
13、进一步地,本发明所述安全通信信道基于tls/ssl协议实现物理与逻辑双重隔离,采用非对称加密算法进行密钥协商,并支持双向身份认证和传输数据完整性校验。所述可信执行环境支持intelsgx、armtrustzone或amdsev中的至少一种。所述map-reduce并发计算引擎进一步包括聚合节点,用于汇总各工作节点的局部状态量并生成字段级统计比率;所述前端容器独立于底层计算沙盒,所述跨节点热更新机制在不影响底层计算任务的前提下更新前端展示组件。
14、有益效果:与现有技术相比,本发明具有以下特点:
15、原始资产明细数据始终保留在第二数据节点的本地可信执行环境或安全沙盒内,第一数据节点仅接收脱敏聚合结果,降低了数据资产抵押审查过程中的隐私泄露风险;
16、审计规则由第一数据节点统一构建、序列化并加密下发,使跨主体数据质量审计具有一致的规则口径和字段口径;
17、分布式虚拟数据帧到逻辑原生矩阵的本地映射,使隐私协同计算环境中的密态对象能够进入本地map-reduce并发统计流程,提高了大规模资产数据质量核验的执行效率;
18、完整性、唯一性、异常偏移、异常极值、业务范围、分类枚举和格式一致性等多维度核验共同构成数据资产抵押前置审计指标体系,提高了审计结果对资产可用性和建模适配性的表达能力;
19、通过内存快照销毁、脱敏报告回传、前置门控判定和跨节点前端热更新,使数据质量审计、结果展示和联合建模准入控制形成安全闭环,提升了数据资产融资场景下的自动化、可验证性和安全性。
20、本发明适用于由资金授信方、资产评估方、数据资产提供方或数据持有人共同参与的数据资产融资、数据资产评估、数据要素流通、联合风险建模和隐私协同计算场景。本发明的方法可部署于支持多方安全计算、可信执行环境、安全沙盒或等效安全隔离机制的隐私计算系统中,也可作为数据资产进入后续联合建模流程之前的数据质量前置审计算子使用。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com