一种搜索聚合请求中的成员判定结构预算安全切换方法与流程

摘要: 本发明属于搜索引擎、分布式数据分析、内存资源控制及近似集合判定,具体涉及一种搜索聚合请求中的成员判定结构预算安全切换方法、电子设备及计算机可读存储介质。背景技术...
一种搜索聚合请求中的成员判定结构预算安全切换方法与流程

本发明属于搜索引擎、分布式数据分析、内存资源控制及近似集合判定,具体涉及一种搜索聚合请求中的成员判定结构预算安全切换方法、电子设备及计算机可读存储介质。

背景技术:

1、在搜索引擎的聚合分析中,稀缺词聚合用于发现文档集合中的低频项。例如,在日志分析、异常标签发现、低频错误码统计等场景中,系统需要维护一个候选非稀有项集合,用于存储和判断哪些项已经被确认为非稀有项。对于每个遇到的项,系统需要快速判断其是否已存在于该集合中,以决定是增加计数还是将其标记为稀有项。

2、在分布式搜索架构中,多个分片会分别产生局部聚合结果,协调节点在reduce阶段(是指在分布式聚合场景下,对多个数据分片分别计算得到的局部聚合结果进行汇总合并的过程)合并这些结果。对于某个候选term(指聚合过程中用于统计和分组的数据项),若其在多个分片合并后的文档数超过最大文档数阈值,则该term不应再作为低频项输出。为了避免重复处理这些“已确定非低频”的term,系统通常需要维护一个成员判定集合。

3、现有技术中常见做法包括:

4、使用精确集合,例如hashset。该方式判断准确,不存在误判,但当term基数较大时,内存占用随元素数量线性增长,容易导致单次聚合请求占用过多内存。

5、使用传统布隆过滤器。布隆过滤器空间效率较高,但通常需要预估容量;当实际插入数量超过预估容量时,误判率会持续恶化。若采用可扩展布隆过滤器,则需要维护多层字节数组,查询时可能需要访问多层结构,且容量扩展与请求级内存预算之间通常缺少细粒度联动。

6、使用固定近似集合结构。该方式在小基数场景下也会承担近似结构的固定成本,并引入不必要误判;在大基数场景下,如果容量不足,有可能导致误判率升高或插入失败难以被内存治理机制感知。

7、上述方案存在以下问题:

8、1、集合结构固定,无法兼顾小基数准确性和大基数内存可控性。

9、2、近似结构容量增长与聚合请求内存预算脱节,容易在复杂聚合请求中造成请求级内存溢出。

10、3、传统布隆过滤器在未知基数、动态扩容、分片reduce合并等场景下不够灵活。

11、4、聚合reduce阶段缺少一种可根据实际term基数在线切换、扩容并实时登记内存变化的高效过滤集合结构。

12、针对这些问题需要一种有效的解决方法。

技术实现思路

1、发明目的:本发明提供一种搜索聚合请求中的成员判定结构预算安全切换方法,解决搜索聚合请求中成员判定集合在小基数场景下不应引入误判、大基数场景下内存不能无限增长、近似集合扩容过程难以被请求级内存预算感知的问题。

2、技术方案:一种搜索聚合请求中的成员判定结构预算安全切换方法,包括以下步骤:

3、创建自适应集合结构,并初始化运行参数,所述自适应集合结构初始处于精确模式并在精确模式下维护精确集合;

4、接收待处理聚合项,根据待处理聚合项生成成员标识,在精确模式下将成员标识写入精确集合,当精确集合中的成员基数达到指定基数阈值时,触发集合结构转换流程;

5、在集合结构转换流程中,通过请求级内存回调函数将预估内存变化提交给当前搜索聚合请求对应的请求级内存断路器,校验通过后创建近似集合,所述近似集合为概率型数据结构,用于以可配置的误判率执行成员标识的存在性判定;将精确集合中的成员标识插入近似集合,将自适应集合结构切换为近似模式;

6、在近似模式下,通过近似集合对新增聚合项的成员标识进行存在性判定,若判定不存在则将其写入近似集合,并在写入失败时新建近似集合以完成写入;

7、在分布式聚合的reduce阶段,根据近似集合主动识别高频词并进行动态剪枝。

8、进一步地,自适应集合结构的运行参数包括基数阈值、误判率参数、请求级内存回调函数和预算阈值,其中,基数阈值用于判断自适应集合结构是否需要由精确模式切换为近似模式;误判率参数用于确定近似集合结构的配置参数,从而控制近似集合结构的误判概率;请求级内存回调函数用于将预计内存占用同步反馈给请求级内存断路器,以便实时进行内存保护;预算阈值用于限定当前聚合请求允许使用的最大内存,当预计内存占用超过预算阈值时,提前触发集合结构切换或者执行相应的内存保护策略。

9、进一步地,所述成员标识通过对待处理聚合项进行哈希运算、编码转换或指纹提取得到。

10、进一步地,所述精确集合为哈希集合;自适应集合结构的运行参数还包括哈希种子,所述哈希种子用于保证成员标识哈希值及近似集合结构指纹生成过程的一致性,使同一成员在整个请求生命周期内能够生成稳定一致的哈希结果。

11、进一步地,所述近似集合为布谷鸟过滤器。

12、进一步地,通过近似集合对新增聚合项的成员标识进行存在性判定,若判定不存在则将其写入近似集合,并在写入失败时新建近似集合以完成写入,包括:

13、根据新增聚合项对应的成员标识生成指纹;

14、根据哈希规则确定指纹对应的两个候选桶;

15、若任一候选桶中存在指纹,则判定成员标识已存在,不作写入;若两个候选桶中均不存在指纹,则将指纹写入当前布谷鸟过滤器;

16、若写入当前布谷鸟过滤器失败,则创建新的布谷鸟过滤器并加入过滤器列表,并将指纹写入新的布谷鸟过滤器。

17、进一步地,在近似模式下,通过过滤器列表中的多个布谷鸟过滤器共同参与新增聚合项的成员判定。

18、进一步地,在分布式聚合的reduce阶段,根据近似集合主动识别高频词并进行动态剪枝,包括:

19、合并各分片返回的自适应集合结构,对相同成员标识的聚合桶进行合并计数;若合并后的计数不大于低频阈值,且对应成员标识不存在于布谷鸟过滤器中,则将该成员标识作为低频候选输出;若合并后的计数大于低频阈值,则将该成员标识加入布谷鸟过滤器,以对后续相同成员标识进行剪枝。

20、进一步地,自适应集合结构的生命周期与当前搜索聚合请求的生命周期一致;当前搜索聚合请求结束后,自适应集合结构被释放,并在后续搜索聚合请求中重新创建。

21、本发明还提供一种电子设备,包括:一个或多个处理器;存储器;以及一个或多个程序,其中一个或多个程序被存储在存储器中,并且被配置为由一个或多个处理器执行,程序被处理器执行时实现上述的搜索聚合请求中的成员判定结构预算安全切换方法。

22、本发明还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的搜索聚合请求中的成员判定结构预算安全切换方法。

23、本发明还提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现上述的搜索聚合请求中的成员判定结构预算安全切换方法。

24、有益效果:

25、(1)本发明在搜索聚合请求执行期间创建请求级的自适应集合结构,在小基数阶段维护精确集合进行成员判定,能够避免误判,保证成员判定的准确性。当成员基数达到基数阈值时,将精确集合中的成员标识迁移至近似集合,将自适应集合结构切换为近似模式,避免精确集合随聚合项数量增加而持续膨胀,提高大基数聚合场景下的内存可控性。

26、(2)本发明通过将自适应集合结构的模式转换与请求级内存断路器相关联,使成员判定结构的内存开销纳入搜索聚合请求的全局内存预算管控体系,在内存占用达到危险阈值时及时触发请求级保护,有效避免因个别聚合请求内存超限而导致整个节点崩溃,提升系统的内存安全性和运行稳定性。

27、(3)在分布式聚合reduce阶段,本发明合并多个数据分片返回的自适应集合结构,并结合合并计数和成员判定结果筛选低频候选项,对超过低频阈值的聚合项进行记录,使后续相同聚合项能够被剪枝,从而降低重复处理开销,提高分布式稀缺词聚合的执行稳定性。