对象集合匹配方法、电子设备、存储介质及程序产品与流程
本公开涉及计算机,本公开尤其涉及对象集合匹配方法、电子设备、存储介质及程序产品。
背景技术:
1、在现有的集合匹配方案中,往往采用单一的数据结构来构建位图索引,如基于连续内存存储的稠密位图(如bitset)或基于分块压缩的稀疏位图(如roaringbitmap)来进行数据的存储与运算。当面对属性数据密度差异极大或动态变化的复杂匹配需求时,对于基于连续存储的稠密位图而言,在处理极度稀疏的数据(如低频特征属性)时,会产生海量的无效零位存储,内存浪费极其严重;而对于基于分块压缩的稀疏位图,在面对高密度数据时,其内部的分块管理、容器编码与压缩/解压缩逻辑反而引入了额外的内存开销与计算损耗,计算性能不及原生的稠密位图。因此,需要一种自适应数据密度的集合匹配方案。
技术实现思路
1、本公开提供了对象集合匹配方法、电子设备、存储介质及程序产品。
2、根据本公开的第一方面,提供了一种对象集合匹配方法。该方法包括:对目标对象按照多个属性维度进行分层解析,由得到的属性维度和属性值构建位图数据块的位集合;根据位集合中各个位图数据块的数据密度,选择对应的异构位图容器进行存储;响应于包含至少一个属性条件的集合匹配请求,确定匹配请求关联的目标位图数据块;利用根据目标位图数据块所属的目标异构位图容器类型确定对应的位运算策略,对归属于不同异构位图容器类型的目标位图数据块执行混合位运算,得到目标位集合。
3、根据上述公开,通过分层解析构建独立管理的位图数据块,并在同一系统内引入并存且可根据数据密度动态选择的异构位图容器体系,使稀疏数据和稠密数据都能获得最优的存储结构和运算效率,兼顾了高压缩比与高访问性能;通过执行跨容器类型的混合位运算,使得异构存储的位图数据块之间能够直接进行协同计算,无需预先进行全量数据格式统一转换。该方案有效解决由统一数据结构带来的存储开销高、计算延迟大、高并发场景下吞吐量不足的问题,实现了在海量对象集合中对任意属性条件组合的快速精确匹配。
4、在本公开的至少一个实施方式中,根据位集合中各个位图数据块的数据密度,选择对应的异构位图容器进行存储,包括:计算位图数据块的非零位数据密度;若数据密度大于预设密度阈值,则选择基于连续位存储的稠密位图容器作为异构位图容器进行存储;其中,稠密位图容器为连续内存数组结构的位图容器。
5、在本公开的至少一个实施方式中,根据位集合中各个位图数据块的数据密度特征,选择对应的异构位图容器进行存储,包括:计算位图数据块的非零位数据密度;若数据密度不大于预设密度阈值,则选择基于分块压缩的稀疏位图容器作为异构位图容器,对位图数据块进行分块压缩后存储;其中,稀疏位图容器为按预设数据块大小划分,并对稀疏数据块采用容器内编码压缩的位图容器。
6、在本公开的至少一个实施方式中,利用根据目标位图数据块所属的目标异构位图容器类型确定对应的位运算策略,对归属于不同异构位图容器类型的目标位图数据块执行混合位运算,得到目标位集合,包括:识别目标位图数据块所属的异构位图容器类型;若目标位图数据块归属于基于分块压缩的稀疏位图容器,则采用与分块压缩规则适配的第一位运算逻辑,在压缩态下直接进行位匹配计算;若目标位图数据块归属于基于连续位存储的稠密位图容器,则采用第二位运算逻辑,对目标位图数据块进行位匹配计算;根据集合匹配请求中包含的逻辑运算关系,对不同异构位图容器类型分别对应的位匹配计算结果进行组合运算,得到目标位集合。
7、在本公开的至少一个实施方式中,当逻辑运算关系为交集运算时,组合运算方式包括:确定归属于基于分块压缩的稀疏位图容器的目标位图数据块作为查询索引源;遍历查询索引源,并提取其中的置位位索引;根据提取的置位位索引,在归属于基于连续位存储的稠密位图容器的目标位图数据块中对应位置进行匹配查找;将在基于连续位存储的稠密位图容器中匹配查找到的置位位索引的集合,作为交集运算结果。
8、在本公开的至少一个实施方式中,对目标对象按照多个属性维度进行分层解析,由得到的属性维度和属性值构建位图数据块的位集合,包括:按照预设的属性层级关系,对目标对象的多个属性维度进行逐层解析,确定各层级的属性维度的属性值;针对每一层级的属性维度,利用对应的属性值为索引构建位图数据块;由同一层级或不同层级的多个位图数据块构建位集合。
9、在本公开的至少一个实施方式中,响应于包含至少一个属性条件的集合匹配请求,确定匹配请求关联的目标位图数据块,包括:对集合匹配请求进行语义解析,确定至少一个目标属性维度及对应的目标属性值;根据目标属性维度和目标属性值,在已存储的异构位图容器中进行查找,确定与目标属性值对应的目标位图数据块。
10、在本公开的至少一个实施方式中,在目标对象数据更新时,方法还包括:监控已存储的位图数据块的数据密度变化;若位图数据块的数据密度由大于预设密度阈值变为不大于预设密度阈值,则将位图数据块从基于连续位存储的稠密位图容器迁移至基于分块压缩的稀疏位图容器;若位图数据块的数据密度由不大于预设密度阈值变为大于预设密度阈值,则将位图数据块从基于分块压缩的稀疏位图容器迁移至基于连续位存储的稠密位图容器。
11、根据本公开的第二方面,提供了一种电子设备,包括:存储器,所述存储器存储执行指令;以及处理器,所述处理器执行所述存储器存储的执行指令,使得所述处理器执行本公开任一个实施方式的第一方面所述的方法。
12、根据本公开的第三方面,提供了一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行时用于实现本公开任一个实施方式的第一方面所述的方法。
13、根据本公开的第四方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现本公开任一个实施方式的第一方面所述的方法。
1.一种对象集合匹配方法,其特征在于,所述方法包括:
2.根据权利要求1所述的对象集合匹配方法,其特征在于,所述根据所述位集合中各个位图数据块的数据密度,选择对应的异构位图容器进行存储,包括:
3.根据权利要求1所述的对象集合匹配方法,其特征在于,所述根据所述位集合中各个位图数据块的数据密度特征,选择对应的异构位图容器进行存储,包括:
4.根据权利要求1所述的对象集合匹配方法,其特征在于,所述利用根据所述目标位图数据块所属的目标异构位图容器类型确定对应的位运算策略,对归属于不同所述异构位图容器类型的所述目标位图数据块执行混合位运算,得到目标位集合,包括:
5.根据权利要求4所述的对象集合匹配方法,其特征在于,当所述逻辑运算关系为交集运算时,所述组合运算方式包括:
6.根据权利要求1所述的对象集合匹配方法,其特征在于,所述对目标对象按照多个属性维度进行分层解析,由得到的属性维度和属性值构建位图数据块的位集合,包括:
7.根据权利要求1所述的对象集合匹配方法,其特征在于,所述响应于包含至少一个属性条件的集合匹配请求,确定所述匹配请求关联的目标位图数据块,包括:
8.根据权利要求1所述的对象集合匹配方法,其特征在于,在目标对象数据更新时,所述方法还包括:
9.一种电子设备,其特征在于,包括:
10.一种可读存储介质,所述可读存储介质中存储有执行指令,所述执行指令被处理器执行权利要求1至8中任一项所述的方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com