面向边缘计算场景的轻量化分布式备份同步方法与流程

本发明涉及边缘计算。更具体地，本发明涉及面向边缘计算场景的轻量化分布式备份同步方法。

背景技术：

1、随着物联网与5g通信技术的蓬勃发展，边缘计算作为一种将计算、网络和存储能力下沉至靠近数据源侧的新型架构，缓解了中心云的传输压力并降低了业务延迟。在分布式的边缘计算网络中，为了保障各项服务的高可用性以及防止单点故障导致的数据丢失，通常需要在多个地理位置分散的边缘节点之间进行持续的数据备份与状态同步。与资源充沛的传统云计算数据中心不同，边缘节点普遍面临计算性能薄弱、存储容量受限以及节点间网络带宽波动大等约束。随着边缘侧接入设备数量的激增以及业务数据的频繁写入、更新与删除，如何在这种资源高度受限且变化的环境中，维持海量分布式节点间的数据一致性，成为了当前边缘计算数据管理领域亟待解决的问题。

2、现有的分布式数据同步方案大多依赖于扁平化的全网节点交互或粗放的全局状态比对机制，在处理大量数据或局部数据高频变更时，无法快速锁定数据差异区域，还会引发无效的探查计算与冗余的数据传输。特别是在规模庞大的边缘网络中，由于不具备基于节点逻辑关系或拓扑结构的层次化同步管理手段，以及不具备能够适应不同数据差异程度的轻量化增量同步策略，导致数据同步过程易挤占本就紧张的边缘带宽与计算资源，甚至引发网络拥塞和同步延迟激增。需要一种面向边缘计算的轻量化分布式备份同步方法，通过协同机制与低开销差异定位手段，削减不必要的网络交互与计算负荷，在受限的边缘环境中实现敏捷、可靠的数据同步。

技术实现思路

1、为解决边缘网络中传统同步机制冗余传输导致延迟激增的技术问题，本发明提出了面向边缘计算场景的轻量化分布式备份同步方法。

2、本发明提供了面向边缘计算场景的轻量化分布式备份同步方法，包括：s1、将待同步数据集合切分为数据块，以数据块哈希作为叶子节点构建默克尔树，非叶子节点哈希值由其子节点值和内嵌布隆过滤器级联得出，内嵌布隆过滤器基于非叶子节点覆盖的数据块元数据生成，数据块删除时，叶子节点置为墓碑值，父节点哈希级联删除标识；s2、数据变更时重构默克尔树，生成包含时序标识、新根哈希及差异路径指令集的索引链单元，差异路径指令集由新旧默克尔树的根节点出发，至各变更叶子节点的前缀优化路径指令构成；s3、将边缘节点划分为同步组，组内同步时，节点间交互索引链单元，根据差异路径指令集定位不一致分支进行增量同步，组间同步由代表节点交换包含根哈希和组内数据simhash值的状态文摘，计算simhash海明距离，若根哈希一致则中止同步，若根哈希不一致且海明距离为0或大于全量阈值，则全树校验，若海明距离大于0且不大于全量阈值，接收方发送基于本地数据元数据生成的且和内嵌布隆过滤器同维度的查询布隆过滤器，发送方遍历默克尔树，向下探查内嵌布隆过滤器和查询布隆过滤器按位与运算结果不一致的子树，锁定差异区域并同步。

3、本发明通过构建融合内嵌布隆过滤器的默克尔树并利用前缀优化后的索引链单元传递数据变更，结合simhash海明距离与同维度布隆过滤器的多层级比对机制，解决了资源受限以及网络波动环境下的数据同步瓶颈问题，削减了冗余的深层哈希遍历和无效网络报文传输，提高了边缘节点间分布式状态一致性的同步效率与网络带宽利用率。

4、优选地，所述将待同步数据集合切分为数据块，以数据块哈希作为叶子节点构建默克尔树，包括：根据预设的固定长度阈值将数据集合切分为相同长度的多个数据块，若最后一个数据块不足固定长度阈值则在尾部进行零值填充；利用sha-256算法分别计算各个数据块的内容哈希值，并将内容哈希值作为默克尔树最底层的叶子节点值进行存储。

5、优选地，所述非叶子节点的哈希值由非叶子节点子节点值和内嵌布隆过滤器级联计算得出，包括：提取非叶子节点覆盖的底层数据块的创建时间、文件类型和字节大小作为元数据属性集；将元数据属性集输入至多个独立哈希函数中，映射至初始全为0的同维固定长度位数组，生成非叶子节点的内嵌布隆过滤器；将非叶子节点的所有子节点的哈希值按拓扑顺序拼接，再结合内嵌布隆过滤器的位数组进行二进制序列级联，若覆盖的子树中发生数据块删除，则在级联序列末尾级联删除标识，对级联后的数据流进行哈希运算得到非叶子节点的最终哈希值。

6、本发明通过将底层数据块的元数据属性集映射为布隆过滤器并结合节点哈希实施二进制级联，实现了分支拓扑结构、底层真实数据与元数据特征的轻量化绑定，提升了差异区域探查阶段分支剪枝的准确性。

7、优选地，所述差异路径指令集由新旧默克尔树的根节点出发，至各变更叶子节点的前缀优化路径指令构成，包括：通过自顶向下同步遍历新旧两棵默克尔树，从根节点向下遍历至所有已变更的叶子节点，使用二进制位表示分支方向，生成多条原始导航路径；提取所有原始导航路径的最长公共前缀作为基准指令段，将去除基准指令段后的剩余分支路径拼接入基准指令段，生成前缀优化的二进制差异路径指令集。

8、本发明通过提取最长公共前缀重构二进制差异路径指令集，剔除了根节点至分叉点之间的寻址位流冗余，有效压缩了增量同步时的网络通信载荷体积。

9、优选地，所述将边缘节点划分为同步组，包括：通过边缘网络控制平面收集当前拓扑内各节点的可用内存和cpu核心主频参数；将各节点的可用内存和cpu核心主频进行归一化后加权求和，计算得出各节点的算力综合指标；选取算力综合指标排名前预设百分比的节点作为组间同步的代表节点，并将网络拓扑中距离代表节点通信跳数在预设范围内的其余普通节点划归至代表节点名下，构成独立的同步组。

10、本发明通过对边缘节点的可用内存和cpu核心主频进行归一化加权求和，能够准确评估并筛选出算力更优的边缘节点作为代表节点承担组间同步任务，避免了弱计算节点成为全网同步性能瓶颈。

11、优选地，所述发送方遍历默克尔树，向下探查内嵌布隆过滤器和查询布隆过滤器按位与运算结果不一致的子树，锁定差异区域并同步，包括：发送方接收到同维度查询布隆过滤器后，从本地默克尔树的根节点开始逐层向下遍历；将当前非叶子节点内嵌布隆过滤器的位数组和查询布隆过滤器的位数组进行按位与逻辑运算；若按位与运算结果和内嵌布隆过滤器的位数组不一致，则判定子树分支存在差异并继续向子节点深入探查；若按位与运算结果和内嵌布隆过滤器的位数组一致，则剪去子树分支停止探查，直至锁定具体的差异叶子节点并触发点对点的数据块拉取请求。

12、优选地，所述组间同步由代表节点交换包含根哈希和组内数据simhash值的状态文摘，包括：代表节点遍历组内存储记录，收集同步组内当前所有未标记为删除状态的有效数据块；提取各个有效数据块的内容哈希并按预设固定位宽截断，作为数据块的特征向量；将特征向量中位值为0的位置的值映射为-1，对组内所有数据块映射后的特征向量进行按位累加，并根据累加结果的正负性执行二值化降维处理，生成代表组内宏观数据状态的simhash值；将simhash值打包入当前组内默克尔树的根哈希中并附带代表节点的数字签名，生成用于组间广播的组状态文摘。

13、本发明通过对有效数据块的特征向量进行按位累加和二值化降维处理生成simhash值，将海量离散的微观数据特征映射为定长的宏观状态指纹，有效降低了组间状态交换比对时的计算开销与网络传输代价。

14、优选地，所述根据差异路径指令集定位不一致分支进行增量同步，包括：接收节点提取索引链单元中的时序标识并和本地最新同步时间戳进行比对；若时序标识晚于本地最新同步时间戳，则更新本地最新同步时间戳并按照差异路径指令集的跳转方向标志位快速寻址到自身默克尔树的对应底层分支发起数据块拉取；若时序标识早于或等于本地最新同步时间戳，则丢弃索引链单元。

15、优选地，所述锁定差异区域并同步，包括：发送方锁定具体的差异叶子节点后，根据差异叶子节点的标识哈希获取映射的差异数据块；发送方调用基于用户数据报协议的可靠传输协议的数据流多路复用技术，将差异数据块并发传输给接收方完成跨组同步。

16、优选地，所述将待同步数据集合切分为数据块，包括：采用基于内容设定分块算法中的拉宾指纹算法，计算数据滑动窗口的多项式哈希；当多项式哈希满足预设十六进制掩码边界条件时，进行数据截断切分，得到变长数据块。

17、本发明的有益效果为：

18、本发明提供了面向边缘计算场景的轻量化分布式备份同步方法，降低了数据同步过程中的计算开销与网络传输负担。在构建默克尔树时，将布隆过滤器内嵌于非叶子节点中，并结合墓碑值与删除标识机制，简化了数据删除操作并提升了数据块检索与比对的效率。当数据发生变更时，通过生成包含前缀优化路径指令的索引链单元，记录数据变更轨迹，减小了增量同步时的元数据传输体积。

19、进一步地，针对边缘网络特征采用分组同步架构，在同步组内通过交互索引链单元完成增量同步，在同步组间则利用simhash海明距离表示数据差异程度，执行恰当的校验策略。在探查同步组间数据差异时，通过查询布隆过滤器与内嵌布隆过滤器之间的按位与运算及哈希比对，能够锁定不一致的数据子树，削减了冗余的全树遍历与无效的数据交互，提升了边缘计算环境下分布式备份数据的同步效率与网络资源利用率。