一种分布式数据库的海量信息智能搜索系统的制作方法
本发明涉及分布式数据库与智能存储,具体为一种分布式数据库的海量信息智能搜索系统。
背景技术:
1、分布式数据库处理海量数据存储与检索时,通常采用分层架构:计算层执行向量相似度检索等索引算法,分布式文件系统层负责数据分片与元数据维护,存储控制层将逻辑数据块映射至物理存储介质,并执行数据预取、缓存替换及冷热数据分层迁移;
2、现有底层存储预取机制主要依赖空间局部性原理与时间局部性原理,即认为逻辑块地址相邻的数据块在近期会被连续访问,或依据历史访问频次与访问时间将高频数据保留在缓存中,现有冷热数据分层机制通常基于数据创建时间、最近访问时间或访问计数阈值等统计规则,在检测到冷数据被访问时才同步发起跨节点数据拉取,此外,现有可计算存储设备将过滤、聚合等计算任务下推至存储设备本地计算单元执行,但其调度策略多为先来先服务或简单轮询,未针对多租户场景的服务等级差异进行资源隔离;
3、与本发明最接近的现有技术方案为:分布式数据库存储引擎依据逻辑块地址是否连续判断是否触发预取,地址连续时预取后续逻辑块,地址不连续时逐块发起同步读请求,并依据最近最少使用队列维护缓存,在检测到冷数据被命中时同步发起跨节点数据拉取;
4、上述方案依赖物理地址局部性或历史访问统计进行调度,难以适应语义检索场景下地址高度离散、热度突变频繁及多租户资源争抢的特点,存在预取失效、迁移滞后及资源隔离不足的问题。
技术实现思路
1、本发明要解决的技术问题是:现有分布式数据库存储控制层的预取机制主要依据逻辑块地址连续性或历史访问频次进行调度,而语义检索请求在物理存储介质上呈现高度离散的访问模式,导致预取机制失效、缓存命中率下降、读写放大严重;
2、现有冷热数据分层机制仅依据历史访问统计进行迁移决策,与语义检索场景下由用户意图演化决定的热度突变规律无关,无法在语义热点发生突变前完成数据迁移,导致同步跨节点拉取引发查询长尾延迟;
3、现有计算下推调度策略未针对多租户的服务等级差异进行资源隔离,导致高优先级租户的请求被低优先级租户的密集请求阻塞,本发明旨在提供一种分布式数据库的海量信息智能搜索系统,以解决上述技术问题。
4、为解决上述技术问题,本发明采用的技术方案是:
5、一种分布式数据库的海量信息智能搜索系统,包括应用检索层、分布式元数据管理层、语义感知存储控制层和物理存储介质层,所述应用检索层用于接收检索请求,输出候选数据块的逻辑地址列表以及与所述检索请求对应的查询语义向量,所述分布式元数据管理层用于维护物理数据块的逻辑地址、语义质心向量标签及物理位置映射关系,所述语义感知存储控制层与所述分布式元数据管理层及所述物理存储介质层连接,其包括语义映射预取引擎、语义热度分层调度引擎和多租户联合调度引擎,所述语义映射预取引擎用于根据所述查询语义向量与预先获得的多个语义质心向量之间的语义距离,从所述多个语义质心向量对应的多个数据块聚簇中选取语义距离最近的预设数量个数据块聚簇,将所选取的数据块聚簇对应的物理数据块从所述物理存储介质层预取至存储级缓存,所述语义热度分层调度引擎用于根据历史语义热度值与由查询语义向量序列计算得到的语义热度增量,得到位于所述物理存储介质层中冷存储介质的数据区块的当前语义热度值,并在所述当前语义热度值达到预设迁移阈值时,将该数据区块由所述冷存储介质迁移至所述物理存储介质层中的热存储介质,所述多租户联合调度引擎用于根据接入所述系统的多个租户各自的服务等级协议优先级权重,按照所述优先级权重的比例,分别为所述多个租户分配闪存通道带宽时间片和计算单元算力时间片。
6、采用上述技术方案,与现有技术相比,本发明的有益效果在于:
7、1.本发明通过依据查询语义向量与语义质心向量间的语义距离选取待预取数据块聚簇,使预取范围与数据的语义相似性而非物理地址连续性相关联,提高了语义检索场景下的预取命中率,降低了随机读写引发的读写放大;
8、2.本发明通过在数据区块被真实语义热点命中之前,依据历史热度衰减值与语义热度增量的叠加结果提前判断并触发冷热存储介质间的数据迁移,减少了同步跨节点拉取导致的查询长尾延迟,实现了应用层无感知的分层调度;
9、3.本发明通过依据租户服务等级协议优先级权重联合分配闪存通道带宽时间片与计算单元算力时间片,实现了多租户环境下底层存储硬件资源的隔离,降低了低优先级租户请求对高优先级租户请求造成的干扰,提升了多租户场景下的服务质量保障能力。
1.一种分布式数据库的海量信息智能搜索系统,包括应用检索层、分布式元数据管理层、语义感知存储控制层和物理存储介质层;
2.根据权利要求1所述的系统,其特征在于,所述语义映射预取引擎还用于:对已写入所述物理存储介质层的物理数据块按照内容特征向量进行聚类,得到多个数据块聚簇,计算每个所述数据块聚簇的语义质心向量,并将所述语义质心向量与该数据块聚簇所包含物理数据块的逻辑地址列表记录于语义质心索引库中;
3.根据权利要求2所述的系统,其特征在于,所述语义映射预取引擎还用于:将所述应用检索层输出的候选数据块的逻辑地址列表与预取至所述存储级缓存中的物理数据块的逻辑地址列表进行比对,对比对命中的物理数据块由所述存储级缓存返回,对比对未命中的物理数据块发起同步读取,并将未命中信息反馈至所述语义质心索引库用于对相应语义质心向量进行校正。
4.根据权利要求1所述的系统,其特征在于,所述语义热度分层调度引擎还用于:按照预设的衰减系数对所述数据区块的历史语义热度值进行指数衰减,得到衰减后的历史语义热度值;
5.根据权利要求1所述的系统,其特征在于,所述语义热度分层调度引擎还用于:在数据区块由所述冷存储介质迁移至所述热存储介质之后,持续监测该数据区块的语义热度值,若该数据区块的语义热度值回落至所述预设迁移阈值与预设回落系数的乘积以下,则将该数据区块由所述热存储介质迁移回所述冷存储介质,所述预设回落系数大于零且小于一。
6.根据权利要求1所述的系统,其特征在于,所述多租户联合调度引擎还用于:为接入所述系统的每个租户维护独立的输入输出与计算请求队列,记录各租户的服务等级协议等级、历史时延违约次数及当前队列积压长度;
7.根据权利要求6所述的系统,其特征在于,所述多租户联合调度引擎还用于:若某一租户在连续多个调度周期内的实际响应时延超出该租户对应的服务等级协议约定阈值,则在计算该租户的优先级权重时给予补偿性权重提升,直至该租户的实际响应时延恢复至所述服务等级协议约定阈值范围内。
8.根据权利要求1所述的系统,其特征在于,所述分布式元数据管理层维护的元数据条目包括物理数据块的逻辑地址字段、所属语义聚簇编号字段、当前语义热度值字段、所属租户标识字段及对应服务等级协议等级字段、当前所在存储介质类型字段和最近一次迁移时间戳字段,所述元数据条目供所述语义映射预取引擎、所述语义热度分层调度引擎及所述多租户联合调度引擎共同读写调用。
9.一种分布式数据库的海量信息智能搜索方法,应用于包括应用检索层、分布式元数据管理层、语义感知存储控制层和物理存储介质层的分布式数据库系统,其特征在于,所述方法包括:
10.根据权利要求9所述的方法,其特征在于,在根据所述查询语义向量与预先获得的多个语义质心向量之间的语义距离,从所述多个语义质心向量对应的多个数据块聚簇中选取语义距离最近的预设数量个数据块聚簇的步骤之前,还包括:对已写入所述物理存储介质层的物理数据块按照内容特征向量进行聚类,得到所述多个数据块聚簇,并计算每个所述数据块聚簇的语义质心向量。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com