一种区块链环境下的多源异构数据可信融合方法与流程

本发明涉及区块链数据融合，具体是涉及一种区块链环境下的多源异构数据可信融合方法。

背景技术：

1、随着金融风控、大数据分析等领域的业务持续深化，风控模型的决策精度与业务适配能力高度依赖多源跨平台的数据支撑，所需数据覆盖业务系统内部结构化数据、第三方平台半结构化数据、文本与图像类非结构化数据等多种形态。当前，多模态数据融合技术已实现对不同格式异构数据的特征提取与统一处理，为跨形态数据的协同应用奠定了基础，区块链技术凭借不可篡改、可追溯的技术特性，也被逐步应用于数据可信管控环节，二者的结合成为多源异构数据融合领域的重要发展方向。

2、现有技术方案在实际应用中仍存在诸多待优化的方面，多模态数据融合方案多聚焦于特征语义关联的权重分配，未充分结合数据可信等级对融合权重进行适配优化，难以规避低可信数据对融合结果的干扰。现有区块链与数据融合的组合方案，多仅在数据输入、输出环节实现基础的身份核验与结果存证，未将区块链可信能力深度融入数据预处理、特征融合的核心流程，无法实现数据全链路的可信管控与逆向溯源，同时在异构数据的差异化校验适配、处理效率与业务场景落地适配性上，仍有较大的提升空间。对此，我们提出了一种区块链环境下的多源异构数据可信融合方法。

技术实现思路

1、为解决上述技术问题，提供一种区块链环境下的多源异构数据可信融合方法，本技术方案解决了上述的现有多模态融合方案未结合数据可信等级优化融合权重，易受低可信数据干扰；区块链与数据融合结合较浅，仅实现首尾环节基础存证，缺乏全链路可信管控与溯源能力，同时在异构数据校验适配、处理效率与场景落地适配性上仍有提升空间的问题。

2、为达到以上目的，本发明采用的技术方案为：

3、一种区块链环境下的多源异构数据可信融合方法，包括以下步骤：

4、s1、通过区块链联盟链节点，对多源异构数据源进行身份认证，对通过身份认证的多源异构数据进行完整性校验，根据校验结果进行分级过滤，所有操作与结果上链存证；

5、s2、对经过分级过滤后未被拦截的多源异构数据进行预处理，得到标准化的特征数据，所有预处理规则与操作记录哈希上链，同时关联对应数据的链上可信评分；

6、s3、通过基于注意力机制的特征级融合模型，对预处理后的特征数据进行融合处理，将区块链上的可信评分融入注意力权重计算，生成统一的融合特征向量，融合过程核心参数上链存证；

7、s4、对融合特征向量进行上链存证，将融合特征向量标准化输出至风控模型，同时提供融合数据的全链路溯源与核验能力。

8、优选地，所述s1中，对多源异构数据源进行身份认证具体为：

9、通过区块链联盟链的管理节点对申请接入的数据源进行资质审核，审核通过后为每个数据源生成链上唯一的分布式数字身份did标识，并配套生成非对称公私钥对；

10、将公钥与did标识绑定写入区块链的did注册表完成链上备案，私钥由数据源自行保管；

11、数据源发送数据批次时，使用自身私钥对该批次数据的唯一批次编号进行数字签名，联盟链校验节点获取数据后，通过链上did注册表对应的公钥完成验签，验签通过则确认数据源身份合法。

12、优选地，所述s1中，对通过身份认证的数据进行完整性校验具体为：

13、针对单条数据，采用sha-256算法生成唯一哈希值并随数据同步传输，校验节点重新计算接收数据的哈希值，与传输哈希值比对完成单条数据完整性校验；

14、针对同一批次的异构数据，按数据形态定制化构建merkle树，将生成的merkle根哈希同步上链存证，批次数据传输完成后，校验节点重构merkle树并比对链上merkle根哈希，完成批次数据完整性校验。

15、优选地，所述s1中，根据校验结果进行分级过滤具体为：

16、基于校验流程的先后顺序，设置递进式的三级异常拦截机制：

17、首先执行数据源身份认证，若身份校验不通过则判定为一级异常，直接拦截该批次全部数据，禁止进入后续流程，同步生成链上异常告警记录并触发数据源资质复核；

18、若身份校验通过，则执行数据完整性校验，若完整性校验不通过则判定为二级异常，将对应异常数据打回数据源要求重传，同一数据源单批次数据重传次数超限后，触发数据源白名单临时冻结机制；

19、若完整性校验通过，则执行数据格式与质量检查，若存在格式异常、缺失值超标或值域异常则判定为三级异常，对异常数据标记链上异常标签并同步记录异常类型，禁止其直接进入特征融合流程。

20、优选地，所述s2中，对经过分级过滤后未被拦截的多源异构数据进行预处理具体为：

21、针对结构化数据，依次完成元数据统一映射、数据清洗与特征归一化处理，生成标准化的结构化特征矩阵；

22、针对半结构化数据，通过schema自适应解析引擎完成嵌套结构识别与扁平化处理，将解析后的核心业务字段映射至统一元数据标准，生成标准化的半结构化特征矩阵；

23、针对非结构化数据，通过对应预训练模型完成高维特征提取，再经降维处理生成与结构化数据维度匹配的特征向量；所有预处理规则与操作记录的哈希值同步上链，并与对应数据的链上可信评分绑定。

24、优选地，所述s3中，在对预处理后的特征数据进行融合处理前，先完成多源异构数据的特征统一表示与维度对齐，将预处理完成的结构化、半结构化、非结构化数据，分别通过embedding层生成维度统一的初始特征向量，再通过线性变换层将所有初始特征向量映射至同一特征空间，生成维度一致的特征矩阵。

25、优选地，所述s3中，将区块链上的可信评分融入注意力权重计算具体为：

26、从区块链上获取对应数据的数据源did可信评分、数据完整性校验评分、历史数据质量评分，经sigmoid函数归一化处理后，生成可信先验权重；

27、采用多头自注意力机制对维度对齐后的特征矩阵进行计算，捕捉特征间的语义关联与业务价值，生成语义关联权重；

28、将可信先验权重与语义关联权重进行加权融合，生成最终的融合注意力权重，通过融合注意力权重对特征矩阵进行加权处理。

29、优选地，所述s3中，生成统一的融合特征向量具体为：

30、采用融合注意力权重对维度对齐后的特征矩阵进行加权求和，得到加权优化后的融合特征矩阵；

31、将融合特征矩阵输入全连接层，经非线性变换生成固定维度的统一融合特征向量；

32、融合过程中的权重系数、模型参数与计算过程的核心哈希值，同步上链存证。

33、优选地，所述s4中，对融合特征向量进行上链存证具体为：

34、采用链上链下协同的分布式存储架构，链上存储融合特征向量的sha-256哈希值、融合过程全参数哈希、对应数据源did列表、数据批次编号、时间戳与操作节点签名，所有链上存储内容经联盟链全节点共识后写入区块；

35、链下存储原始融合特征向量、全流程明细数据与原始数据备份，链下数据通过链上哈希值唯一锚定。

36、优选地，所述s4中，将融合特征向量标准化输出至风控模型，同时提供融合数据的全链路溯源与核验能力具体为：

37、设计两类标准化接口对接风控模型，所述标准化接口包括：可信数据同步接口和全链路可信核验接口；

38、所述可信数据同步接口，采用标准化通信协议将融合特征向量推送至风控模型，同步附带对应链上存证哈希值、区块高度与可信核验凭证；

39、所述全链路可信核验接口，支持风控模型通过数据批次编号或哈希值，查询对应数据的全链路可信信息；

40、基于链上did标识与哈希锚定机制进行从融合结果到原始数据源的全链路逆向溯源，并生成溯源报告。

41、与现有技术相比，本发明的有益效果在于：

42、本发明提出的区块链环境下的多源异构数据可信融合方法，通过区块链技术与多源异构数据融合的深度结合，实现了数据全链路可信管控与逆向溯源，构建了从数据源身份认证、传输完整性校验到融合过程黑箱化破解的全流程可信体系，通过分布式数字身份标识与非对称加密确保数据源真实性，结合sha-256算法和merkle树技术实现数据未篡改验证，将链上可信评分融入多模态融合算法的注意力权重计算，使高可信数据在特征融合中占据更大权重，有效抑制低可信异常数据对结果的干扰，链上链下协同存储架构通过哈希值锚定链上链下数据，保证了数据不可篡改性，解决了全量上链的效率瓶颈。