数据页的获取方法、装置、设备及介质与流程

摘要: 本申请涉及数据查询,尤其涉及一种数据页的获取方法、装置、设备及存储介质。背景技术:1、在基于软件即服务的企业级应用集成场景中,业务系统通常需要从salesfor...
数据页的获取方法、装置、设备及介质与流程

本申请涉及数据查询,尤其涉及一种数据页的获取方法、装置、设备及存储介质。

背景技术:

1、在基于软件即服务的企业级应用集成场景中,业务系统通常需要从salesforce等saas平台定期或不定期地拉取业务数据,以支撑本地的数据分析、报表生成或数据同步等业务功能。上述saas平台一般提供基于结构化查询语言的数据查询接口,并支持通过分页参数对查询结果进行分段返回。

2、目前主流的分页实现方式包括两种,第一种是基于偏移量的分页方式,通过在查询语句中指定跳过的记录行数来确定返回数据的起始位置。该方式支持直接跳转到任意页码,但saas平台普遍对该偏移量设置了严格的上限,通常为2000行,当数据总量超过该阈值时,后续页码的数据无法通过偏移量方式获取。第二种是基于游标的分页方式,通过记录上一页最后一条记录的排序字段值作为下一页的起始条件来逐页遍历。该方式能够突破偏移量上限,遍历全部数据,但翻页过程必须严格遵循从第一页到最后一页的顺序,无法直接跳转到任意指定页码。当业务人员需要查看中间某一页的数据以进行抽样检查或异常排查时,游标分页方式需要从首页开始逐步翻页直至目标位置,操作繁琐且响应迟缓。上述两种方式均未能将任意页码的直接跳转与数据总量的完整遍历整合于同一分页请求中,尤其当数据量跨越偏移量阈值时,这一功能缺失对分页拉取操作的便利性和效率造成了显著影响。

3、因此,如何在突破偏移量上限的前提下仍能支持任意页码的直接跳转,成为当前saas数据分页拉取场景中亟待解决的技术问题。

技术实现思路

1、鉴于以上内容,本申请提供一种数据页的获取方法、装置、设备及存储介质,其目的在于解决上述技术问题。

2、第一方面,本申请提供一种数据页的获取方法,所述方法包括:

3、根据解析数据页获取请求得到的过滤条件、排序字段、目标页码和每页记录数,建立查询上下文;

4、根据所述查询上下文向数据源获取所述排序字段在当前过滤条件下的全局最大值和全局最小值,得到有效键值总区间;

5、根据所述有效键值总区间的跨度、所述每页记录数以及所述目标页码进行等比例键空间切片计算,得到所述目标页码在所述排序字段上对应的理论起始键值;

6、以所述理论起始键值为锚点向数据源提交单条记录定位查询,获得所述排序字段的实际值最接近且不小于所述理论起始键值的真实锚点记录,并从所述真实锚点记录中提取所述排序字段的实际值作为当前页的有效起始游标;

7、以所述有效起始游标为下限构造动态键值窗口,向数据源抓取落在所述动态键值窗口内的实体记录,得到当前页的初始结果集以及所述初始结果集的末端键值,并将所述动态键值窗口存入所述查询上下文;

8、以所述初始结果集的末端键值为起点,根据所述初始结果集的记录数与所述每页记录数的差异,向后扩展所述查询上下文中的所述动态键值窗口进行补充抓取,得到记录数达标且满足所述过滤条件的目标结果集作为所述目标页码对应的数据页。

9、第二方面,本申请提供一种数据页的获取装置,该数据页的获取装置包括:

10、建立模块:用于根据解析数据页获取请求得到的过滤条件、排序字段、目标页码和每页记录数,建立查询上下文;

11、获取模块:用于根据所述查询上下文向数据源获取所述排序字段在当前过滤条件下的全局最大值和全局最小值,得到有效键值总区间;

12、计算模块:用于根据所述有效键值总区间的跨度、所述每页记录数以及所述目标页码进行等比例键空间切片计算,得到所述目标页码在所述排序字段上对应的理论起始键值;

13、提取模块:用于以所述理论起始键值为锚点向数据源提交单条记录定位查询,获得所述排序字段的实际值最接近且不小于所述理论起始键值的真实锚点记录,并从所述真实锚点记录中提取所述排序字段的实际值作为当前页的有效起始游标;

14、第一抓取模块:用于以所述有效起始游标为下限构造动态键值窗口,向数据源抓取落在所述动态键值窗口内的实体记录,得到当前页的初始结果集以及所述初始结果集的末端键值,并将所述动态键值窗口存入所述查询上下文;

15、第二抓取模块:用于以所述初始结果集的末端键值为起点,根据所述初始结果集的记录数与所述每页记录数的差异,向后扩展所述查询上下文中的所述动态键值窗口进行补充抓取,得到记录数达标且满足所述过滤条件的目标结果集作为所述目标页码对应的数据页。

16、第三方面,本申请提供一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

17、存储器,用于存放计算机程序;

18、处理器,用于执行存储器上所存放的程序时,实现第一方面任一项实施例所述的数据页的获取方法的步骤。

19、第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如第一方面任一项实施例所述的数据页的获取方法的步骤。

20、本申请实施例提供的上述技术方案与现有技术相比具有如下优点:

21、通过利用排序字段的全局最大值和全局最小值构建有效键值总区间,对该区间进行等比例切片计算得到目标页码对应的理论起始键值,实现了对任意页码的直接数学定位,从而在无需偏移量参数的情况下完成任意页面的跳转定位,彻底摆脱了偏移量上限对分页深度的限制,使大数据量下的全量数据遍历成为可能。同时,以理论起始键值为锚点通过单条记录定位查询获得实际存在的有效起始游标,有效弥合了理论计算值与真实数据分布之间的偏差,确保了后续抓取操作的可行性。在此基础上,以有效起始游标为下限构造动态键值窗口进行抓取,并在抓取数量不足时以末端键值为起点向后扩展窗口进行补充抓取,直至记录数量达标,使得即使排序字段的数值分布不均匀或存在键值空缺,仍能自动补全至页满,无需预先获知数据分布情况。上述机制协同作用,使得本申请在单次请求中同时实现了任意页码的直接跳转和全量数据的完整遍历,兼顾了偏移量分页的灵活性和游标分页的无上限遍历能力,且整个过程中无需执行计数查询,也无需维护游标链表,仅依赖基础算术运算和少量键值范围查询,即可在低计算资源消耗下稳定运行。

1.一种数据页的获取方法,其特征在于,所述方法包括:

2.如权利要求1所述的数据页的获取方法,其特征在于,所述根据所述查询上下文向数据源获取所述排序字段在当前过滤条件下的全局最大值和全局最小值,得到有效键值总区间,包括:

3.如权利要求1所述的数据页的获取方法,其特征在于,所述根据所述有效键值总区间的跨度、所述每页记录数以及所述目标页码进行等比例键空间切片计算,得到所述目标页码在所述排序字段上对应的理论起始键值,包括:

4.如权利要求1所述的数据页的获取方法,其特征在于,所述以所述理论起始键值为锚点向数据源提交单条记录定位查询,获得所述排序字段的实际值最接近且不小于所述理论起始键值的真实锚点记录,并从所述真实锚点记录中提取所述排序字段的实际值作为当前页的有效起始游标,包括:

5.如权利要求1所述的数据页的获取方法,其特征在于,所述以所述有效起始游标为下限构造动态键值窗口,向数据源抓取落在所述动态键值窗口内的实体记录,得到当前页的初始结果集以及所述初始结果集的末端键值,包括:

6.如权利要求1所述的数据页的获取方法,其特征在于,所述以所述初始结果集的末端键值为起点,根据所述初始结果集的记录数与所述每页记录数的差异,向后扩展所述查询上下文中的所述动态键值窗口进行补充抓取,得到记录数达标且满足所述过滤条件的目标结果集,包括:

7.如权利要求1所述的数据页的获取方法,其特征在于,所述方法还包括:

8.一种数据页的获取装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的数据页的获取方法。