基于统一查询参数的缓存数据库双通道访问方法与流程

摘要: 本技术涉及计算机数据存储与缓存领域,尤其涉及一种基于统一查询参数的缓存数据库双通道访问方法。背景技术:1、在计算机数据存储与缓存技术领域,应用系统通常需要同时处...
基于统一查询参数的缓存数据库双通道访问方法与流程

本技术涉及计算机数据存储与缓存领域,尤其涉及一种基于统一查询参数的缓存数据库双通道访问方法。

背景技术:

1、在计算机数据存储与缓存技术领域,应用系统通常需要同时处理缓存查询和数据库查询,但两者在查询语言和参数格式上存在显著差异。超文本传输协议查询字符串、对象标记格式查询参数以及缓存索引路径之间格式不一致,导致应用层引入多层格式转换逻辑,增加维护成本。现有查询参数解析器大多仅支持简单键值对,缺乏对与或逻辑组合和操作符前缀的识别能力,难以表达复杂查询条件。同时,解析结果与缓存索引结构脱节,缓存查询基于键值对,数据库查询基于结构化查询语言,二者无法直接复用,需要开发人员手动编写缓存键拼接和回源逻辑。此外,缓存未命中时的回源策略通常硬编码于应用代码中,缺乏统一管理,导致不同输入格式但语义相同的查询条件无法共享缓存节点,缓存命中率受到影响。

2、上述问题使得查询转换流程复杂、开发工作量大,且系统扩展性受限。因此,需要一种基于统一查询参数的缓存数据库双通道访问方法,以简化查询处理流程,提升数据查询的响应性能。

技术实现思路

1、本技术的目的旨在至少能解决上述的技术缺陷之一,特别是现有技术中查询处理流程复杂,数据查询的响应性能不高的技术缺陷。

2、第一方面,本技术提供一种基于统一查询参数的缓存数据库双通道访问方法,所述方法包括:

3、获取查询请求中的原始查询参数;

4、对所述原始查询参数进行统一解析,构建统一查询参数结构;

5、其中,所述统一查询参数结构包括查询条件树和元参数;

6、根据所述统一查询参数结构生成缓存索引路径;

7、其中,所述缓存索引路径包括过滤令牌集合、排序规则和范围区间;

8、根据所述缓存索引路径访问缓存索引,当所述缓存索引中与所述缓存索引路径对应的数据项集合中包含数据项时,返回缓存数据;

9、当所述缓存索引中与所述缓存索引路径对应的数据项集合中所述数据项数量为空时,根据所述缓存索引路径生成数据库查询语句并执行数据库查询,获得查询结果,并更新缓存。

10、作为一种可行的实施方式,所述对所述原始查询参数进行统一解析,构建统一查询参数结构,包括:

11、识别所述原始查询参数的输入格式;

12、当所述输入格式为超文本传输协议查询字符串时,按分隔符解析键值对,并识别嵌套的逻辑组合标记,当所述输入格式为对象标记格式时,遍历对象属性并解析对应的参数值;

13、根据元参数键名注册表检测当前参数名是否为元参数;

14、其中,所述元参数键名注册表预先定义参数名与元参数类型的映射关系;

15、若当前参数名为元参数,根据注册类型将参数值存入统一查询参数结构的元参数区域;

16、其中,所述元参数区域包括排序规则、范围区间和原样透传参数集合;

17、若当前参数名不为元参数,将当前参数名对应的参数值作为普通查询参数解析为查询条件树节点。

18、作为一种可行的实施方式,所述普通查询参数通过操作符前缀识别方式和/或逻辑组合方式解析为查询条件树,具体包括:

19、扫描字段名,识别字段名前缀对应的操作符类型;

20、其中,所述操作符类型包括等于操作符、不等于操作符、大于操作符、小于操作符、模糊匹配操作符和非匹配操作符;

21、根据识别出的操作符类型,提取去除前缀后的字段名与对应的参数值,将所述字段名,将所述操作符类型和所述参数值构建为键值查询参数节点,作为所述查询条件树的叶子节点;

22、检测所述原始查询参数中的逻辑组合标记,当检测到与逻辑标记时,将多个键值查询参数节点或子逻辑节点作为与逻辑节点的子节点;当检测到或逻辑标记时,将多个键值查询参数节点或子逻辑节点作为或逻辑节点的子节点;

23、递归形成多层级查询条件树;

24、其中,所述叶子节点为键值查询参数节点,非叶子节点为与逻辑节点或或逻辑节点;

25、以及,所述元参数包括范围参数、排序参数或原样透传参数,所述根据注册类型将参数值存入所述统一查询参数结构的元参数区域,包括:

26、当注册类型为排序类型时,解析排序字段和升降序方向,将解析结果存入所述排序规则;

27、当注册类型为范围类型时,根据偏移量和限制数量,或根据页码和每页数量,构建并存入所述范围区间;

28、当注册类型为原样透传类型时,将参数名和参数值原样存入所述原样透传参数集合。

29、作为一种可行的实施方式,所述根据所述统一查询参数结构生成缓存索引路径,包括:

30、遍历所述查询条件树中的键值查询参数节点,将每个键值查询参数节点的操作符标识与参数值以预设分隔符连接,形成令牌值,以字段名作为键,所述令牌值作为值,生成所述过滤令牌集合;

31、从所述元参数中提取排序规则,生成所述排序规则对应的索引路径组件;

32、从所述元参数中提取范围区间,生成所述范围区间对应的索引路径组件;

33、以及,在生成所述过滤令牌集合之前,根据预设场景机制确定字段对应的数据类型,当字段值需要进行类型转换时,根据所述字段对应的数据类型对参数值进行转换,将转换后的参数值作为令牌值中的参数值部分;

34、其中,所述数据类型包括字符串类型、数值类型和布尔类型。

35、作为一种可行的实施方式,所述根据所述缓存索引路径访问缓存索引,包括:

36、创建缓存索引路径访问者,所述缓存索引路径访问者根据所述过滤令牌集合和排序规则初始化未编排令牌池、已编排令牌池、未编排排序池和已编排排序池;

37、接收字段编排指令,将指定字段从所述未编排令牌池或所述未编排排序池移入对应的已编排集合;

38、按照缓存索引树的层次顺序,根据所述已编排集合中的字段逐层访问缓存索引节点;

39、所述缓存索引树包括首层、匿名层和叶子层,在首层根据已编排的字段访问根节点下的对应分支,在匿名层依次访问未编排令牌池中的字段,在叶子层访问叶子节点对应的数据集合;

40、当访问至叶子节点后,判断所述已编排令牌池、所述未编排令牌池和所述未编排排序池是否均为空,当各集合均为空时,确定索引路径遍历完成;

41、根据所述已编排排序池中的排序字段对叶子节点对应的数据集合进行排序,根据所述范围区间对叶子节点对应的数据集合进行截取,获得匹配的数据记录;

42、其中,所述范围区间的起始值包含在内,结束值不包含在内,当结束值为预设空值时,截取从起始值至数据集合末尾的全部数据。

43、作为一种可行的实施方式,所述根据所述缓存索引路径生成数据库查询语句并执行数据库查询,包括:

44、将所述过滤令牌集合中各字段对应的令牌值解析为数据库查询条件,并将多个数据库查询条件以逻辑与关系合并为条件子句;

45、将所述排序规则映射为排序子句,所述排序子句包括排序字段和排序方向;

46、将所述范围区间映射为限制子句,所述限制子句包括偏移量和限制数量;

47、组合所述条件子句、所述排序子句和所述限制子句,生成数据库查询语句,并执行所述数据库查询语句;

48、以及,所述获得查询结果,并更新缓存,包括:

49、在数据库查询成功后,异步调用缓存索引的插入接口,将查询结果插入缓存索引中对应缓存索引路径的节点;

50、当插入接口返回成功时,完成缓存更新;

51、当插入接口返回失败或发生异常时,记录错误日志,并返回所述查询结果;

52、对缓存查询错误和数据库查询错误进行统一封装,向调用方返回统一格式的错误响应。

53、作为一种可行的实施方式,所述方法还包括缓存更新策略的配置,具体包括:

54、确定缓存更新策略为写回策略、写穿策略或旁路缓存策略中的至少一种;

55、当采用写回策略时,先写入缓存并延迟写入数据库;

56、当采用写穿策略时,同时写入缓存和数据库;

57、当采用旁路缓存策略时,写入数据库后更新或失效缓存。

58、第二方面,本技术提供一种基于统一查询参数的缓存数据库双通道访问装置,包括:

59、处理模块,用于获取查询请求中的原始查询参数;

60、所述处理模块,还用于对所述原始查询参数进行统一解析,构建统一查询参数结构;

61、其中,所述统一查询参数结构包括查询条件树和元参数;

62、所述处理模块,还用于根据所述统一查询参数结构生成缓存索引路径;

63、其中,所述缓存索引路径包括过滤令牌集合、排序规则和范围区间;

64、所述处理模块,还用于根据所述缓存索引路径访问缓存索引,当所述缓存索引中与所述缓存索引路径对应的数据项集合中包含数据项时,返回缓存数据;

65、所述处理模块,还用于当所述缓存索引中与所述缓存索引路径对应的数据项集合中所述数据项数量为空时,根据所述缓存索引路径生成数据库查询语句并执行数据库查询,获得查询结果,并更新缓存。

66、第三方面,本技术提供一种计算机设备,包括一个或多个处理器,以及存储器,所述存储器中存储有计算机可读指令,所述计算机可读指令被所述一个或多个处理器执行时,执行如第一方面所述的方法的步骤。

67、第四方面,本技术提供一种存储介质,所述存储介质中存储有计算机可读指令,所述计算机可读指令被一个或多个处理器执行时,使得一个或多个处理器执行如第一方面所述的方法的步骤。

68、从以上技术方案可以看出,本技术实施例具有以下优点:

69、基于上述任一实施例,本技术所提供的方法,首先通过获取原始查询参数并进行统一解析,将不同输入格式的查询条件构建为包含查询条件树和元参数的统一查询参数结构,在此基础上根据统一查询参数结构生成缓存索引路径,缓存索引路径同时包含过滤令牌集合、排序规则和范围区间,使查询条件在缓存查询和数据库查询之间得以统一表达,避免了多套格式转换和缓存键手工拼接。在数据访问阶段,先根据缓存索引路径访问缓存索引,缓存存在对应数据时直接返回,缓存不存在对应数据时自动生成数据库查询语句并执行,查询完成后更新缓存。由此实现了缓存优先的双通道访问,简化了查询处理逻辑,提高了缓存命中率,减少了数据库重复访问,使查询转换和回源流程更加统一和高效。