一种面向分布式云存储的数据访问调度方法及数据服务系统与流程
本发明属于云计算和分布式存储,具体为一种面向分布式云存储的数据访问调度方法及数据服务系统。
背景技术:
1、分布式云存储通常将数据对象以完整副本或者数据分片的形式保存于多个存储节点,并通过数据服务入口处理客户端读取请求,现有读取调度一般先根据数据位置索引确定可读取的副本或者分片位置,再结合存储节点负载、链路时延、节点可用性等状态选择访问资源,对于具有一致性要求的读取请求,系统还会通过版本管理信息记录数据对象的提交版本、可见版本、同步进度和副本修复状态,以判断相关数据是否具备对外读取条件。
2、在实际运行中,数据版本状态、节点服务状态和链路传输状态并不总是同步变化,同一数据对象的不同副本可能处于不同提交版本,数据分片组合中的各分片也可能具有不同提交水位;同时,存储节点可能处于限流、重建、迁移或者异常状态,访问链路也可能出现时延升高、探测失败或者临时隔离。
3、现有调度方式多将副本位置、节点负载和链路时延作为独立判断因素,版本约束与执行状态之间缺少连续关联,调度对象也容易停留在单一副本、单一节点或者单一链路层面,对于分片组合读取场景,如果没有将数据分片组合、承载节点集合和访问链路集合作为一次读取访问的整体判断对象,可能出现单个分片或单个节点状态可用,但组合后不能满足访问范围、版本要求或者执行条件的情况。
4、此外,读取过程中发生响应超时、链路异常或者返回版本低于本次访问要求时,现有重试处理通常重新选择副本、节点或者链路,但原读取请求对应的一致性约束未必能够贯穿重试过程,由此,在副本同步滞后、分片提交水位不一致、节点负载波动和链路异常并存的情况下,容易选中响应较快但版本不满足要求的数据单元,或者在异常重试后出现前后读取版本边界不一致的问题,导致读取结果一致性、调度可追溯性和访问响应稳定性下降。
技术实现思路
1、本发明要解决的技术问题在于:在分布式云存储中,目标数据对象可能以完整副本或者数据分片组合的形式分布在不同存储节点上,现有访问调度方式通常根据节点负载、链路时延或者副本位置选择访问资源,当副本同步滞后、节点状态变化和访问链路异常同时存在时,容易选中版本不满足本次一致性策略的数据单元;并且,在访问失败后重新调度时,如果重新选择的数据单元未沿用原访问请求的版本约束,容易造成同一次访问请求前后版本约束不一致,为解决上述问题,本发明提出一种面向分布式云存储的数据访问调度方法及数据服务系统。
2、为解决上述技术问题,本发明采用如下技术方案。
3、一种面向分布式云存储的数据访问调度方法,应用于数据服务系统,所述数据服务系统包括数据服务入口和多个存储节点,并维护有版本管理信息、数据位置索引和存储拓扑信息,所述方法包括如下步骤。
4、接收用于读取目标数据对象的数据访问请求,解析得到对象标识、访问范围、一致性策略和服务约束信息。
5、依据对象标识从版本管理信息中取得目标数据对象的当前提交版本,并按照一致性策略确定本次访问允许返回的数据版本下限,所述一致性策略包括强一致访问策略、限定陈旧访问策略和最终一致访问策略,当一致性策略为强一致访问策略时,将当前提交版本确定为数据版本下限;当一致性策略为限定陈旧访问策略时,根据当前提交版本和预设允许陈旧版本范围确定数据版本下限;当一致性策略为最终一致访问策略时,将版本管理信息中记录的最近可见版本确定为数据版本下限。
6、依据服务约束信息确定目标响应时长阈值。所述服务约束信息包括响应时长阈值或者访问服务等级,当服务约束信息包括响应时长阈值时,将该响应时长阈值确定为目标响应时长阈值;当服务约束信息包括访问服务等级时,根据服务等级映射表将访问服务等级转换为目标响应时长阈值,所述服务等级映射表记录访问服务等级与响应时长阈值之间的对应关系。
7、依据对象标识和访问范围从数据位置索引中取得可访问数据单元,并依据存储拓扑信息确定承载可访问数据单元所需的存储节点集合及对应访问链路集合。
8、目标数据对象采用副本存储时,将包含访问范围内数据的完整副本确定为一个可访问数据单元,目标数据对象采用分片存储时,根据访问范围确定覆盖该访问范围的数据分片,并将覆盖该访问范围且满足分片读取规则的数据分片组合确定为一个可访问数据单元。
9、所述数据分片组合记录数据分片标识、分片所在存储节点标识、分片对应访问链路标识和分片读取顺序,当可访问数据单元为数据分片组合时,数据版本下限用于约束数据分片组合中各数据分片的分片版本标识或者分片提交水位。
10、采集可访问数据单元的数据单元状态、存储节点集合中各存储节点的节点服务状态以及访问链路集合中各访问链路的链路传输状态,将同一可访问数据单元、承载该可访问数据单元的存储节点集合以及对应访问链路集合绑定为候选访问单元。
11、所述数据单元状态来源于版本管理信息、数据同步日志或者副本修复记录,数据单元状态包括数据单元版本标识、提交水位、同步滞后量和修复标记中的至少两项。
12、所述节点服务状态来源于存储节点心跳信息、节点读写队列信息或者节点限流记录,节点服务状态包括节点请求队列长度、节点读写等待时长、节点限流标记和节点异常标记中的至少两项。
13、所述链路传输状态来源于链路探测记录或者数据服务入口的访问统计记录,链路传输状态包括链路往返时延、链路丢包标记、链路队列占用状态和链路隔离标记中的至少两项。
14、按照数据版本下限和数据单元状态对候选访问单元进行版本筛选,版本筛选时,将候选访问单元中的数据单元版本标识与数据版本下限进行比较,剔除返回版本低于数据版本下限的候选访问单元;剔除包含修复标记的数据单元对应的候选访问单元;剔除同步滞后量超过一致性策略对应允许范围的数据单元对应的候选访问单元。
15、当候选访问单元中的可访问数据单元为数据分片组合时,若该数据分片组合中任一必要数据分片的分片版本标识或者分片提交水位低于数据版本下限,则剔除该候选访问单元。
16、按照节点服务状态和链路传输状态对版本筛选后的候选访问单元进行执行筛选,执行筛选时,若节点服务状态包含节点限流标记、节点异常标记、重建状态或者迁移状态,则剔除包含对应存储节点的候选访问单元;若链路传输状态包含链路隔离标记、故障探测状态或者不可通达状态,则剔除包含对应访问链路的候选访问单元。
17、当候选访问单元包括多个存储节点或者多条访问链路时,若被剔除的存储节点或者访问链路使该候选访问单元不能满足分片读取规则,则剔除该候选访问单元。
18、对执行筛选后的候选访问单元计算访问完成代价值及预计完成时长,具体地,根据节点请求队列长度和节点读写等待时长生成节点服务代价值;根据链路往返时延和链路队列占用状态生成链路传输代价值;根据访问范围对应的数据量、数据分片数量和返回版本校验处理量生成数据读取准备代价值;按照预设代价权重,将节点服务代价值、链路传输代价值和数据读取准备代价值合成为访问完成代价值;根据访问完成代价值和访问范围对应的数据量确定预计完成时长。
19、将预计完成时长不大于目标响应时长阈值的候选访问单元确定为可选访问单元,若存在可选访问单元,则从可选访问单元中确定目标访问单元,生成访问执行令牌。
20、所述访问执行令牌记载目标数据单元、目标存储节点集合、目标访问链路集合、数据版本下限和令牌有效条件,所述令牌有效条件包括令牌有效期、请求序列号和最大重试次数中的一项或者多项。
21、数据服务执行侧依据访问执行令牌访问目标数据单元,并按照数据版本下限校验返回版本,若不存在可选访问单元,则生成延迟访问结果或者重试访问结果。
22、在数据服务执行侧依据目标访问单元执行访问时,若出现响应超时、返回版本低于数据版本下限或者目标访问链路集合中的访问链路异常,则保留本次数据访问请求对应的数据版本下限,并从已经通过版本筛选和执行筛选的其他候选访问单元中确定替代访问单元,替代访问单元对应的访问执行令牌继续携带该数据版本下限。
23、依据实际响应时长、访问完成结果、返回版本信息和链路异常信息更新数据单元状态、节点服务状态和链路传输状态。
24、其中,根据返回版本信息更新数据单元版本标识、提交水位或者同步滞后量;根据实际响应时长和访问完成结果更新节点请求队列长度、节点读写等待时长或者节点异常标记;根据链路异常信息更新链路往返时延、链路队列占用状态或者链路隔离标记。
25、本发明还提出一种面向分布式云存储的数据服务系统。
26、所述数据服务系统包括访问接入模块、版本边界处理模块、服务约束处理模块、资源映射模块、候选筛选模块、目标确定模块、令牌处理模块、数据服务执行模块和反馈更新模块。
27、访问接入模块用于接收用于读取目标数据对象的数据访问请求,解析得到对象标识、访问范围、一致性策略和服务约束信息。
28、版本边界处理模块用于依据对象标识从版本管理信息中取得当前提交版本,并按照一致性策略确定本次访问允许返回的数据版本下限。
29、服务约束处理模块用于依据服务约束信息确定目标响应时长阈值。
30、资源映射模块用于依据对象标识和访问范围从数据位置索引中取得可访问数据单元,并依据存储拓扑信息确定承载可访问数据单元所需的存储节点集合及对应访问链路集合。
31、候选筛选模块用于采集数据单元状态、节点服务状态和链路传输状态,将同一可访问数据单元、承载该可访问数据单元的存储节点集合以及对应访问链路集合绑定为候选访问单元,并依次进行版本筛选和执行筛选。
32、目标确定模块用于对执行筛选后的候选访问单元计算访问完成代价值及预计完成时长,将预计完成时长不大于目标响应时长阈值的候选访问单元确定为可选访问单元,并在存在可选访问单元时从可选访问单元中确定目标访问单元。
33、令牌处理模块用于生成访问执行令牌,并向数据服务执行侧下发访问执行令牌,访问执行令牌记载目标数据单元、目标存储节点集合、目标访问链路集合、数据版本下限和令牌有效条件。
34、数据服务执行模块用于依据访问执行令牌访问目标数据单元,并按照数据版本下限校验返回版本。
35、反馈更新模块用于依据实际响应时长、访问完成结果、返回版本信息和链路异常信息更新数据单元状态、节点服务状态和链路传输状态。
36、反馈更新模块包括数据单元状态更新单元、节点状态更新单元、链路状态更新单元和重调度控制单元。
37、数据单元状态更新单元用于根据返回版本信息更新数据单元版本标识、提交水位或者同步滞后量;
38、节点状态更新单元用于根据实际响应时长和访问完成结果更新节点请求队列长度、节点读写等待时长或者节点异常标记;
39、链路状态更新单元用于根据链路异常信息更新链路往返时延、链路队列占用状态或者链路隔离标记;
40、重调度控制单元用于在数据服务执行侧依据目标访问单元执行访问时出现响应超时、返回版本低于数据版本下限或者目标访问链路集合中的访问链路异常的情况下,保留本次数据访问请求对应的数据版本下限,并从已经通过版本筛选和执行筛选的其他候选访问单元中确定替代访问单元,使替代访问单元对应的访问执行令牌继续携带数据版本下限。
41、本发明的有益效果如下:
42、1、本发明通过将读取请求中的一致性策略转换为本次访问允许返回的数据版本下限,并将该数据版本下限依次用于候选访问单元的版本筛选、访问执行令牌的生成、数据服务执行侧的返回版本校验以及异常重调度过程。通过上述处理,版本约束不再只是读取前的静态判断条件,而是贯穿一次读取访问的调度、执行和重试过程,使同一数据访问请求在初次访问和替代访问时始终使用同一版本边界,对于完整副本场景,可以先剔除版本低于数据版本下限或者带有修复标记的完整副本;对于数据分片组合场景,可以对必要数据分片的分片版本标识或者分片提交水位逐一校验,避免部分分片版本满足而整体组合不满足一致性要求的情况。由此,在副本同步滞后、分片提交水位不一致的情况下,能够减少因单纯选择低负载节点或者低时延链路而返回旧版本数据的风险,达到提高读取结果一致性和版本约束可追溯性的技术效果。
43、2、本发明不是将副本位置、节点负载和链路时延作为彼此独立的调度参数进行简单排序,而是将可访问数据单元、承载该可访问数据单元的存储节点集合以及对应访问链路集合绑定为候选访问单元,并以候选访问单元作为版本筛选、执行筛选、代价值计算和目标访问单元确定的基本对象。通过上述处理,完整副本读取和数据分片组合读取能够在同一调度框架下处理;对于完整副本,候选访问单元对应完整副本、所在存储节点及访问链路;对于数据分片组合,候选访问单元对应必要数据分片组合、承载节点集合及访问链路集合,这样可以避免现有调度中只判断单一副本、单一节点或单一链路而忽略组合读取条件的问题,尤其在分片读取场景中,只有当数据分片组合满足访问范围、版本要求、分片读取规则、节点服务状态和链路传输状态时,才进入后续代价计算和目标选择过程,由此达到提升调度对象完整性、减少无效访问路径和提高分片组合读取可靠性的技术效果。
44、3、本发明通过在目标访问单元确定后生成访问执行令牌,并在访问执行令牌中记载目标数据单元、目标存储节点集合、目标访问链路集合、数据版本下限和令牌有效条件,使数据服务执行侧能够按照调度阶段确定的访问对象和版本边界执行读取,并在返回数据前校验返回版本是否满足数据版本下限,同时,本技术依据实际响应时长、访问完成结果、返回版本信息和链路异常信息更新数据单元状态、节点服务状态和链路传输状态;当出现响应超时、返回版本低于数据版本下限或者目标访问链路异常时,保留原数据版本下限并从已经通过筛选的其他候选访问单元中确定替代访问单元,通过上述闭环处理,调度结果、执行结果和状态反馈之间形成连续关联,后续访问能够使用更新后的版本状态、节点状态和链路状态,避免反复选择异常节点、异常链路或者版本滞后的数据单元,由此达到提高异常重试稳定性、降低重复失败概率并增强分布式云存储读取服务连续性的技术效果。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com