一种大规模动态数据登记的自动化公证与实时跟进方法与流程

摘要: 本发明涉及数据资产管理及数据安全存证领域,具体而言,涉及一种大规模动态数据登记的自动化公证与实时跟进方法。背景技术:1、随着数据要素市场的发展,数据资产在登记、...
一种大规模动态数据登记的自动化公证与实时跟进方法与流程

本发明涉及数据资产管理及数据安全存证领域,具体而言,涉及一种大规模动态数据登记的自动化公证与实时跟进方法。

背景技术:

1、随着数据要素市场的发展,数据资产在登记、交易、流通以及应用过程中会持续发生内容变化、属性调整、权属变更等动态变化。现有数据资产公证及存证技术通常针对某一时间节点的数据状态进行完整登记和公证,通过生成数据摘要或数据快照实现数据真实性证明。

2、然而,上述方式主要面向静态数据状态确认,当数据资产后续持续发生变化时,通常需要重新提交完整数据并再次执行公证流程,导致公证频率受限,计算和存储成本较高,难以满足大规模动态数据资产实时跟踪需求。

3、现有部分基于区块链的数据存证技术虽然能够记录数据变化过程,但通常仅记录离散的数据变更信息,缺少针对连续变化过程的关联验证机制,难以保证数据变动链条的完整性;同时,在高频动态变化场景下,若对所有数据变动均执行同等强度的存证或公证处理,容易造成资源浪费。此外,现有技术对于动态数据状态变化后的真实性验证通常需要重新计算完整数据摘要,验证效率较低。

4、因此,如何针对动态数据资产的持续变化过程,建立连续可信的状态记录机制,在降低公证及存证资源消耗的同时,实现数据资产状态变化过程的自动跟踪、完整性验证以及可信溯源,成为亟需解决的技术问题。

技术实现思路

1、本技术提出了一种大规模动态数据登记的自动化公证与实时跟进方法,以解决上述技术问题之一。

2、本技术所采用的技术方案为:

3、第一方面,本技术实施例提供了一种大规模动态数据登记的自动化公证与实时跟进方法,所述方法包括:

4、生成数据资产的初始全量数据特征指纹,基于获取的与所述数据资产对应的电子公证文书生成初始公证基准锚点,计算所述初始公证基准锚点的整体哈希值并将对应的存证信息写入第一存证介质,以所述初始公证基准锚点作为所述数据资产对应存证链的初始信任根;

5、持续捕获所述数据资产的动态变动事件,针对每一次动态变动事件生成增量特征指纹节点,读取当前存证链的尾节点哈希值并写入所述增量特征指纹节点的接续字段,将所述增量特征指纹节点对应的存证信息写入第二存证介质,以使各增量特征指纹节点按照动态变动事件的发生顺序形成由公证基准锚点起始的增量特征指纹链;

6、监听数据资产业务系统的事件流,当从所述事件流中提取的目标事件满足预设的关键节点匹配规则时,触发锚定更新流程;

7、在所述锚定更新流程中,获取上一个公证基准锚点之后的全部增量特征指纹节点,按照链式顺序校验各增量特征指纹节点的接续字段与对应前一节点的哈希值是否一致;当链条连续性校验通过时,将所述全部增量特征指纹节点构建为默克尔树并生成增量链默克尔根哈希,基于与所述上一个公证基准锚点对应的全量指纹数据,按照本周期内与改变数据资产当前实质状态的动态变动事件对应的数据变动记录中已记录的变更内容,对所述全量指纹数据对应的数据状态进行增量更新,生成当前时点的预测全量指纹;独立获取当前数据资产的实际全量状态并生成实际全量指纹,将所述预测全量指纹与所述实际全量指纹进行一致性比对;

8、当所述链条连续性校验和所述一致性比对均通过后,基于新获取的电子公证文书生成新的公证基准锚点,在所述新的公证基准锚点中记录所述当前时点的实际全量指纹、所述上一个公证基准锚点的哈希值、本周期增量特征指纹链的链尾节点哈希值以及所述增量链默克尔根哈希,并将所述新的公证基准锚点对应的存证信息写入所述第一存证介质,使所述新的公证基准锚点成为新的链尾节点,并进入下一存证周期。

9、优选地,持续捕获所述数据资产的动态变动事件,包括:

10、通过多个捕获通道并行捕获所述数据资产对应的变动事件,所述多个捕获通道包括通过读取数据库底层二进制交易日志识别数据行变更的数据库捕获通道、通过应用程序接口链路中的拦截指令提取请求信息的接口捕获通道以及通过监听文件系统事件获取文件变动信息的文件捕获通道;

11、在预设时间窗口内,优先将业务系统生成的操作流水号作为关联键,对多个捕获通道获取的变动事件进行归并和去重;当捕获的变动事件未携带所述操作流水号时,将至少包括数据资产标识、操作主体身份哈希、操作时间戳和变更对象标识的组合特征标识作为备用关联键进行归并和去重;

12、获取去重后的各变动事件对应的可信时间戳,按照所述可信时间戳对各变动事件进行时序排序,生成时序对齐的动态变动事件序列。

13、优选地,针对每一次动态变动事件生成增量特征指纹节点,包括:

14、根据所述动态变动事件是否改变数据资产的当前实质状态,将所述动态变动事件划分为数据状态变更类事件和操作行为存证类事件;

15、当所述动态变动事件为数据状态变更类事件时,判断对应的数据类型;当对应的数据为结构化数据时,提取发生变动的数据行主键标识、变更字段名以及变更后字段值,并基于所述数据行主键标识、变更字段名和变更后字段值生成增量内容哈希;当对应的数据为非结构化文件时,按照预设分块规则对所述非结构化文件进行分块,通过差分处理确定发生变动的数据块,并对发生变动的数据块计算哈希;

16、将生成的哈希、操作类型标识、操作主体身份哈希以及可信时间戳封装为所述数据状态变更类事件对应的增量特征指纹节点,并将变更对象标识、变更类型以及在动态变动事件发生时获取的用于表征变更后状态的更新信息与对应的数据变动记录关联保存,以作为后续预测全量指纹计算的状态更新依据;

17、当所述动态变动事件为操作行为存证类事件时,将至少包括操作对象标识、操作类型标识、操作主体身份哈希以及可信时间戳的操作信息封装为对应的增量特征指纹节点,将所述增量特征指纹节点作为操作日志存证,且不将对应的操作记录纳入所述预测全量指纹的重新计算。

18、优选地,读取当前存证链的尾节点哈希值并写入所述增量特征指纹节点的接续字段,包括:

19、按照各动态变动事件对应的可信时间戳确定相应增量特征指纹节点的写入先后次序,并按照所述写入先后次序依次执行同一数据资产对应的增量特征指纹节点接续写入;

20、以数据资产唯一标识为索引维护链尾定位表,在所述链尾定位表中记录对应数据资产当前存证链的链尾节点哈希值及单调递增的版本号;

21、在待写入的增量特征指纹节点生成后,从所述链尾定位表读取当前链尾节点哈希值以及当前版本号,将所述当前链尾节点哈希值写入所述增量特征指纹节点的接续字段,并将所述当前版本号确定为本次写入对应的预期版本号;

22、在执行所述增量特征指纹节点的写入时,将所述预期版本号与所述链尾定位表中的实时版本号进行原子比较,当二者一致时,执行节点写入并更新所述链尾定位表中的链尾节点哈希值和版本号;

23、当所述预期版本号与所述实时版本号不一致时,拒绝当前写入,重新读取更新后的链尾节点哈希值和版本号并执行写入重试;当重试次数达到预设次数仍未完成写入时,将对应的动态变动事件置入异常重试队列;

24、当所述新的公证基准锚点生成并完成存证后,计算所述新的公证基准锚点的整体哈希值,将所述链尾定位表中的链尾节点哈希值更新为所述新的公证基准锚点的整体哈希值,并对所述版本号进行递增更新,以使下一存证周期生成的首个增量特征指纹节点从所述新的公证基准锚点开始接续。

25、优选地,当从所述事件流中提取的目标事件满足预设的关键节点匹配规则时,触发锚定更新流程,包括:

26、从所述目标事件的事件报文中提取至少包括事件类型字段、操作主体标识字段、数据资产等级字段以及接口标识字段中的一项核心字段;

27、读取预先存储于规则数据库中的关键节点匹配规则,其中,每一关键节点匹配规则包括针对一个或多个所述核心字段配置的一组布尔判断条件;

28、将所述目标事件对应的核心字段值与所述关键节点匹配规则中的布尔判断条件进行匹配,当同一关键节点匹配规则中的各布尔判断条件均满足时,判定所述目标事件为关键节点事件,并生成用于启动所述锚定更新流程的触发指令;

29、当各关键节点匹配规则均未被满足时,将所述目标事件确定为普通变动事件,并保持当前存证周期。

30、优选地,当所述链条连续性校验或所述一致性比对未通过时,阻断所述新的公证基准锚点的生成,其中:

31、当所述链条连续性校验未通过时,确定增量特征指纹链中的链条断裂位置,根据所述链条断裂位置对应的前序节点信息重新获取相应时段的数据变动记录,并根据重新获取的数据变动记录补录缺失的增量特征指纹节点,在补录完成后重新执行所述链条连续性校验;

32、当所述一致性比对未通过时,对所述预测全量指纹与所述实际全量指纹对应的内容层哈希、元数据层哈希和权属层哈希进行分层比对,以确定存在差异的数据状态层;当内容层存在差异时,进一步基于对应的叶节点哈希及叶节点索引确定异常数据位置,并从所述上一个公证基准锚点开始,对本周期内与改变数据资产当前实质状态的动态变动事件对应的数据变动记录所形成的指纹更新记录与当前实际数据状态进行比对,以定位导致所述差异的异常增量特征指纹节点或数据源;

33、对定位到的异常增量特征指纹节点或数据源对应的原始变动记录进行重新获取和核验;当确定异常来源于数据变动记录缺失或记录错误时,补录对应的数据变动记录或者形成与原异常记录关联的补正记录,并重新计算所述预测全量指纹;当确定异常来源于当前实际数据状态异常时,对相应实际数据进行异常标记或修复,并重新计算所述实际全量指纹;在完成相应处理后重新执行所述一致性比对。

34、优选地,基于与所述上一个公证基准锚点对应的全量指纹数据以及本周期内与改变数据资产当前实质状态的动态变动事件对应的数据变动记录,重新计算当前时点的预测全量指纹,包括:

35、读取本地维护的与所述上一个公证基准锚点对应的全量指纹叶节点哈希序列及叶节点索引;

36、按照可信时间戳顺序获取所述数据变动记录,并从各数据变动记录中提取变更对象标识、变更类型以及事件发生时记录的变更后状态信息;

37、对于内容层数据变更,根据所述变更对象标识从所述叶节点索引中确定目标叶节点;当变更类型为修改时,根据对应数据变动记录中记录的变更后状态信息重新计算目标叶节点哈希值并替换原哈希值;当变更类型为新增时,根据对应数据变动记录中记录的新增对象信息生成新的叶节点哈希值并按照预设排序规则插入所述叶节点哈希序列;当变更类型为删除时,从所述叶节点哈希序列中移除对应的目标叶节点;

38、基于更新后的叶节点哈希序列,通过相邻叶节点哈希值拼接并逐层进行哈希聚合计算,生成预测内容层根哈希;

39、根据所述数据变动记录中记载的元数据变更信息和权属变更信息,分别生成预测元数据层哈希和预测权属层哈希,对于本周期内未发生变化的对应层沿用上一个公证基准锚点对应的层哈希;

40、将所述预测内容层根哈希、预测元数据层哈希以及预测权属层哈希组合生成所述预测全量指纹;

41、在所述预测全量指纹与所述实际全量指纹的一致性比对通过并生成新的公证基准锚点后,将更新后的全量指纹叶节点哈希序列及叶节点索引与所述新的公证基准锚点建立对应关系并进行本地维护,以作为下一存证周期重新计算预测全量指纹的基准数据。

42、优选地,在所述新的公证基准锚点中记录所述当前时点的实际全量指纹、所述上一个公证基准锚点的哈希值、本周期增量特征指纹链的链尾节点哈希值以及所述增量链默克尔根哈希,包括:

43、在所述新的公证基准锚点的数据结构中设置全量指纹字段、第一关联字段、第二关联字段和第三关联字段;

44、将所述当前时点的实际全量指纹写入所述全量指纹字段,以固定经过一致性比对验证后的当前数据资产全量状态;

45、将所述上一个公证基准锚点的整体哈希值写入所述第一关联字段,以在不同公证基准锚点之间形成纵向链式关联;

46、将本周期内最后生成的增量特征指纹节点的整体哈希值写入所述第二关联字段,以使所述新的公证基准锚点与本周期增量特征指纹链的链尾节点建立直接关联;

47、将所述增量链默克尔根哈希写入所述第三关联字段,以通过所述新的公证基准锚点固定本周期全部增量特征指纹节点形成的整体摘要。

48、优选地,所述方法还包括:

49、接收包含目标数据资产标识以及目标节点哈希值或目标时间信息的溯源验证请求;

50、根据所述目标数据资产标识确定对应的存证链,并根据所述目标节点哈希值或目标时间信息定位对应的目标增量特征指纹节点;

51、从所述目标增量特征指纹节点开始,根据各增量特征指纹节点的接续字段逐级获取前序节点哈希值,直至追溯至距离所述目标增量特征指纹节点最近的公证基准锚点;

52、获取所述最近的公证基准锚点对应的电子公证文书信息和存证凭证,以及从所述最近的公证基准锚点至所述目标增量特征指纹节点之间的增量特征指纹节点序列、节点间哈希关联信息和对应的存证凭证;

53、将获取的信息封装形成与所述溯源验证请求对应的证据包并输出。

54、第二方面,本技术实施例提供了一种大规模动态数据登记的自动化公证与实时跟进系统,包括:

55、基准锚点生成模块,用于生成数据资产的初始全量数据特征指纹,基于获取的与所述数据资产对应的电子公证文书生成初始公证基准锚点,计算所述初始公证基准锚点的整体哈希值并将对应的存证信息写入第一存证介质,以所述初始公证基准锚点作为所述数据资产对应存证链的初始信任根;

56、增量指纹接续模块,用于持续捕获所述数据资产的动态变动事件,针对每一次动态变动事件生成增量特征指纹节点,读取当前存证链的尾节点哈希值并写入所述增量特征指纹节点的接续字段,将所述增量特征指纹节点对应的存证信息写入第二存证介质,以使各增量特征指纹节点按照动态变动事件的发生顺序形成由公证基准锚点起始的增量特征指纹链;

57、关键节点判定模块,用于监听数据资产业务系统的事件流,并在从所述事件流中提取的目标事件满足预设的关键节点匹配规则时,生成用于启动锚定更新流程的触发指令;

58、增量链校验模块,用于在所述锚定更新流程中获取上一个公证基准锚点之后的全部增量特征指纹节点,按照链式顺序执行链条连续性校验,在所述链条连续性校验通过后将全部增量特征指纹节点构建为默克尔树并生成增量链默克尔根哈希,基于与所述上一个公证基准锚点对应的全量指纹数据,按照本周期内与改变数据资产当前实质状态的动态变动事件对应的数据变动记录中已记录的变更内容对对应数据状态进行增量更新,生成当前时点的预测全量指纹,并独立获取当前数据资产的实际全量状态生成实际全量指纹,将所述预测全量指纹与所述实际全量指纹进行一致性比对;

59、锚点更新模块,用于在所述链条连续性校验和所述一致性比对均通过后,基于新获取的电子公证文书生成新的公证基准锚点,在所述新的公证基准锚点中记录所述当前时点的实际全量指纹、所述上一个公证基准锚点的哈希值、本周期增量特征指纹链的链尾节点哈希值以及所述增量链默克尔根哈希,并将所述新的公证基准锚点对应的存证信息写入所述第一存证介质,使所述新的公证基准锚点成为新的链尾节点并进入下一存证周期。

60、与现有技术相比,本技术至少具有以下有益效果:

61、本技术通过构建“公证基准锚点+增量特征指纹链”的双层存证架构,在关键节点生成具备公证效力的基准锚点,并针对数据资产动态变动事件生成增量特征指纹节点,通过节点间哈希关联形成连续存证链,实现了数据资产全生命周期状态变化过程的持续跟踪,提高了动态数据资产存证的连续性和可信性。

62、本技术通过在关键节点触发锚定更新流程,并对增量特征指纹链执行链条连续性校验、默克尔树聚合以及预测全量指纹与实际全量指纹的一致性比对,在无需频繁执行全量公证的情况下,实现对数据资产当前状态真实性和完整性的有效验证,降低了动态数据资产持续公证过程中的计算及存证成本。

63、本技术通过根据预设关键节点匹配规则自动识别需要进行公证更新的业务事件,并基于校验结果生成新的公证基准锚点,实现数据登记、公证更新以及状态跟进过程的自动联动,提高了动态数据资产管理过程的自动化程度。

64、本技术通过在增量特征指纹节点写入过程中维护链尾节点信息并执行版本一致性校验,保证多个动态变动事件在并发环境下能够按照正确顺序接入存证链,避免链条分叉或节点关联异常,提高了动态数据存证过程的稳定性。

65、本技术通过在新的公证基准锚点中关联上一公证基准锚点信息、本周期增量特征指纹链链尾信息以及增量链默克尔根信息,使不同存证周期之间建立关联关系,并支持基于目标节点或目标时间进行历史状态追溯,提高了数据资产证据链验证和溯源能力。