基于文件清单差量与局域网镜像的软件分发方法及系统与流程
本发明涉及软件分发,尤其涉及基于文件清单差量与局域网镜像的软件分发方法及系统。
背景技术:
1、软件分发技术涉及软件程序、应用文件、配置文件及相关数据在服务器、网络节点与终端设备之间的发布、传输、更新和同步,其主要研究内容包括软件版本管理、文件清单管理、差量更新、文件分块、内容寻址、数据去重、缓存分发、局域网镜像、边缘节点协同以及传输完整性校验等技术。
2、现有软件分发在多版本客户端并存的实际环境中,常由中心服务器持续维护多个版本对应的更新内容,或者由终端直接获取较完整的软件数据,随着客户端版本数量、文件数量及更新频率增加,中心侧需要重复执行版本判定、差异组织和数据下发,容易形成计算任务集中、广域网重复传输量增长及高峰期响应排队等问题,例如同一园区内数百台终端分别处于多个历史版本时,中心侧可能面向不同起始版本重复准备更新内容,即使局域网内部存在可共享的数据,仍可能跨广域网络多次传输。现有局域网镜像在实际部署中也常以缓存既有安装包或固定版本更新包为主要工作模式,客户端请求与缓存版本不完全对应时,缓存命中率随版本碎片化程度下降,镜像节点只能转发中心侧内容或重新获取目标数据,局域网就近分发优势难以充分发挥。文件差异处理若主要依据文件路径、固定块位置或整文件摘要判断,文件中少量插入、删除与位置迁移可能使后续大量数据被判定为变化内容,导致差量包体积扩大。因此,需要进行改进。
技术实现思路
1、本发明的目的是解决现有技术中存在的缺点,而提出的基于文件清单差量与局域网镜像的软件分发方法及系统。
2、为了实现上述目的,本发明采用了如下技术方案,基于文件清单差量与局域网镜像的软件分发方法,包括以下步骤:
3、中心服务器生成最新版软件基础文件清单、最新版文件块、动态merkle哈希树和merkle验证数据,将所述基础文件清单、所述最新版文件块和所述merkle验证数据发送至局域网镜像节点;
4、所述局域网镜像节点接收客户端本地文件特征清单,基于历史版本状态有向无环图确定客户端版本状态;
5、所述局域网镜像节点利用rabin指纹滑动窗口和双级指纹匹配确定差量文件块集合;
6、所述局域网镜像节点根据所述差量文件块集合生成客户端专属差量包,对所述merkle验证数据进行证明路径聚合,得到聚合验证数据,将所述客户端专属差量包和所述聚合验证数据发送至所述客户端;
7、所述客户端利用旧版文件块和所述客户端专属差量包重构merkle分支,根据所述聚合验证数据校验重构根哈希,校验通过后合并所述客户端专属差量包。
8、较佳地,中心服务器生成最新版软件基础文件清单、最新版文件块、动态merkle哈希树和merkle验证数据,将所述基础文件清单、所述最新版文件块和所述merkle验证数据发送至局域网镜像节点的步骤具体为:
9、所述中心服务器遍历所述最新版软件,获取文件路径、文件长度和软件版本标识,按预设文件块长度切分各文件得到所述最新版文件块,在所述基础文件清单中记录所述软件版本标识、所述文件路径、所述文件长度、块偏移量;
10、所述中心服务器按预设微区块长度切分所述最新版文件块得到微区块,计算所述微区块的sha-256哈希值,按所述文件路径、所述块偏移量和切分顺序排列为叶子节点,逐层计算父节点哈希值得到所述动态merkle哈希树,所述最新版软件变化时仅重算受影响叶子节点至根节点的节点哈希值;
11、所述中心服务器记录所述动态merkle哈希树的节点位置和节点哈希值,对根节点哈希值与所述软件版本标识的组合摘要签名得到签名根哈希信息,将所述节点位置、所述节点哈希值和所述签名根哈希信息组成所述merkle验证数据,并将所述基础文件清单、所述最新版文件块和所述merkle验证数据发送至所述局域网镜像节点。
12、较佳地,所述局域网镜像节点接收客户端本地文件特征清单,基于历史版本状态有向无环图确定客户端版本状态的步骤具体为:
13、所述局域网镜像节点向所述客户端发送特征窗口长度,所述客户端按所述特征窗口长度切分本地软件得到本地文件块,生成所述本地文件特征清单,所述本地文件特征清单记录软件版本标识、文件路径及所述本地文件块的块偏移量、rabin指纹和sha-256摘要,并发送至所述局域网镜像节点;
14、所述局域网镜像节点将已缓存的软件版本和客户端历史版本建立为所述历史版本状态有向无环图的版本顶点,将直接更新关系建立为有向边,在所述版本顶点记录软件版本标识,在所述有向边记录变更文件路径集合;
15、所述局域网镜像节点确定与所述最新版软件对应的最新版版本顶点,根据所述本地文件特征清单中的软件版本标识查询对应的所述版本顶点,将查询到的所述版本顶点确定为所述客户端版本状态。
16、较佳地,所述局域网镜像节点利用rabin指纹滑动窗口和双级指纹匹配确定差量文件块集合的步骤具体为:
17、所述局域网镜像节点检索所述客户端版本状态至所述最新版版本顶点的更新路径,合并所述更新路径中各所述有向边记录的变更文件路径集合,得到待比对文件路径集合;
18、所述局域网镜像节点针对所述待比对文件路径集合中同时存在于所述本地文件特征清单和所述基础文件清单的文件路径,基于对应所述本地文件块的rabin指纹建立第一级指纹索引,按所述特征窗口长度滑动所述最新版软件对应文件数据并递推计算rabin指纹,递推公式为:,其中、分别为右移后、右移前的指纹余式,、分别为移出字节、移入字节的二元域多项式,为形式变量,为窗口字节数,为预设不可约多项式,为二元域加法;
19、所述局域网镜像节点查询所述第一级指纹索引,命中后计算当前窗口sha-256摘要,与命中的所述本地文件块的sha-256摘要进行第二级校验,校验一致时记录源偏移量和目标偏移量形成复用映射并将窗口前移所述特征窗口长度,否则将所述窗口前移1字节,将连续未匹配数据记录为待传输差量数据段,将所述基础文件清单独有文件的全部数据并入所述待传输差量数据段,将所述本地文件特征清单独有文件记录为删除文件记录,根据所述复用映射、所述待传输差量数据段和所述删除文件记录生成所述差量文件块集合。
20、较佳地,所述局域网镜像节点根据所述差量文件块集合生成客户端专属差量包,对所述merkle验证数据进行证明路径聚合,得到聚合验证数据,将所述客户端专属差量包和所述聚合验证数据发送至所述客户端的步骤具体为:
21、所述局域网镜像节点解析所述差量文件块集合得到复用操作项、传输操作项和删除操作项,所述复用操作项记录源位置和目标位置,所述传输操作项记录所述目标位置和差量数据,所述源位置包括源文件路径和源偏移量,所述目标位置包括目标文件路径和目标偏移量,所述删除操作项记录删除文件路径,将各所述操作项和从所述基础文件清单读取的目标文件长度写入内存缓冲区,得到所述客户端专属差量包;
22、所述局域网镜像节点根据所述传输操作项以及源偏移量与目标偏移量不一致的所述复用操作项的目标位置确定待校验叶子节点集合,从所述merkle验证数据提取所述待校验叶子节点至根节点的证明路径,剔除可由所述待校验叶子节点重构的内部节点,对节点位置相同的证明节点去重得到共享证明节点集合;
23、所述局域网镜像节点记录所述待校验叶子节点的节点位置、所述共享证明节点的节点位置和重构顺序,读取所述merkle验证数据中的签名根哈希信息,将所述待校验叶子节点的节点位置、所述共享证明节点集合、所述共享证明节点的节点位置、所述重构顺序和所述签名根哈希信息组成所述聚合验证数据,并将所述客户端专属差量包和所述聚合验证数据发送至所述客户端。
24、较佳地,所述客户端利用旧版文件块和所述客户端专属差量包重构merkle分支,根据所述聚合验证数据校验重构根哈希,校验通过后合并所述客户端专属差量包的步骤具体为:
25、所述客户端从所述聚合验证数据读取所述签名根哈希信息、所述待校验叶子节点的节点位置、所述共享证明节点集合、所述共享证明节点的节点位置和所述重构顺序,使用预置公钥验证所述签名根哈希信息中的数字签名,验证通过后将所述签名根哈希信息中的根节点哈希值确定为目标根哈希;
26、所述客户端解析所述客户端专属差量包,根据所述复用操作项从所述旧版文件块读取源位置数据,根据所述传输操作项取得差量数据,按所述待校验叶子节点的节点位置和所述目标偏移量组合目标数据,计算所述目标数据的sha-256哈希值得到叶子节点哈希值,根据所述共享证明节点集合和所述重构顺序逐层计算得到所述重构根哈希;
27、所述客户端比较所述重构根哈希和所述目标根哈希,二者一致时按所述复用操作项和所述传输操作项将对应数据写入所述目标文件路径中所述目标偏移量对应的位置,根据所述目标文件长度完成文件截断并执行所述删除操作项,完成所述客户端专属差量包的合并。
28、本发明还提供一种系统,包括:
29、基础数据生成与镜像同步模块:中心服务器生成最新版软件基础文件清单、最新版文件块、动态merkle哈希树和merkle验证数据,将所述基础文件清单、所述最新版文件块和所述merkle验证数据发送至局域网镜像节点;
30、版本状态识别模块:所述局域网镜像节点接收客户端本地文件特征清单,基于历史版本状态有向无环图确定客户端版本状态;
31、差量文件块确定模块:所述局域网镜像节点利用rabin指纹滑动窗口和双级指纹匹配确定差量文件块集合;
32、差量包生成与验证数据聚合模块:所述局域网镜像节点根据所述差量文件块集合生成客户端专属差量包,对所述merkle验证数据进行证明路径聚合,得到聚合验证数据,将所述客户端专属差量包和所述聚合验证数据发送至所述客户端;
33、重构校验与差量合并模块:所述客户端利用旧版文件块和所述客户端专属差量包重构merkle分支,根据所述聚合验证数据校验重构根哈希,校验通过后合并所述客户端专属差量包。
34、与现有技术相比,本发明的优点和积极效果在于:
35、本发明中,通过中心服务器围绕最新版软件统一生成基础文件清单、最新版文件块、动态merkle哈希树和merkle验证数据,再由局域网镜像节点依据客户端本地文件特征清单和历史版本状态有向无环图识别客户端版本状态,使中心侧职责集中于目标版本构建与可信基准发布,镜像侧则结合局域网内客户端实际版本执行差量计算,可减少中心服务器针对大量碎片化客户端版本反复组织差量数据的计算与传输负担,并缩短更新数据在广域网络中的往返路径。基于rabin指纹滑动窗口对文件内容进行滚动特征匹配,并通过双级指纹匹配对候选数据实施进一步确认,可在文件内容发生插入、删除或偏移变化时继续识别可复用数据区段,降低仅依赖固定位置比较造成的大范围重复传输概率,使差量文件块集合更贴近客户端真实缺失内容。基于所述差量文件块集合在局域网镜像节点侧形成客户端专属差量包,可针对不同版本状态按需组织复用内容与新增内容,提升同一局域网中多版本客户端并行更新时的数据利用效率。围绕差量内容对应的merkle验证数据执行证明路径聚合,可合并多个受影响分支间重复出现的证明节点,减少随差量数据附带的验证信息规模,同时客户端结合旧版文件块和接收的客户端专属差量包重构受影响merkle分支,并以聚合验证数据校验重构根哈希,可在差量合并阶段将局部更新内容与中心服务器发布的最新版可信根状态建立一致性约束,使篡改、传输错误或错误复用能够在最终软件状态形成前被识别,从而兼顾差量分发效率、局域网并发适应能力与更新数据完整性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com