基于国标语义知识图谱的二进制序列化方法及装置与流程

摘要: 本技术涉及数据处理领域,具体涉及一种基于国标语义知识图谱的二进制序列化方法及装置。背景技术:1、pdv标准(gb/t45405-2025)定义了三维产品数据的可...
基于国标语义知识图谱的二进制序列化方法及装置与流程

本技术涉及数据处理领域,具体涉及一种基于国标语义知识图谱的二进制序列化方法及装置。

背景技术:

1、pdv标准(gb/t 45405-2025)定义了三维产品数据的可视化格式,并提供了“事物-部件-特征-属性-关系”的产品数据模式。基于该模式构建的rdf(resource descriptionframework,资源描述框架)语义知识图谱,能够有效表达复杂产品结构及其语义关系,在工业设计、制造协同和产品数据管理中具有重要应用价值。

2、当前,这类rdf知识图谱通常以文本格式进行存储与交换。然而,文本格式在实际工程应用中暴露出显著不足:其一,文件体积庞大,uri(uniform resource identifier,统一资源标识符)、命名空间和标签的重复冗余导致存储膨胀,百万级三元组可达数gb,不利于网络传输与长期归档;其二,解析效率低下,文本解析需逐字符扫描、词法及语法分析,cpu(central processing unit,中央处理器)开销高,大型装配体加载延迟可达数十秒甚至分钟级;其三,不支持内存映射(memory map,mmap),必须完整加载至内存后方可使用,造成额外拷贝与内存浪费;其四,缺乏内置索引结构,特定三元组的查找需全文件扫描,无法快速定位。

3、基于上述不足,现有的通用二进制序列化方案虽具备一定压缩能力,但未针对pdv模式下的rdf图结构进行优化,仍难以满足大规模工业语义数据对高加载速度、低内存占用和随机访问的需求,因此,亟需一种基于国标语义知识图谱的二进制序列化方法,能够提高基于国标语义知识图谱的加载效率和查询性能。

技术实现思路

1、针对现有技术中的问题,本技术提供一种基于国标语义知识图谱的二进制序列化方法及装置,能够提高基于国标语义知识图谱的加载效率和查询性能。

2、为了解决上述问题中的至少一个,本技术提供以下技术方案:

3、第一方面,本技术提供一种基于国标语义知识图谱的二进制序列化方法,包括:

4、获取基于国家标准构建的语义知识图谱,所述语义知识图谱由rdf三元组构成,所述rdf三元组包括主语、谓语以及宾语;

5、构建全局字典将所述rdf三元组映射为全局数字编码,确定对应的主语数组、谓语数组以及宾语数组,以所述谓语数组为分组键,将主语数组和宾语数组按照谓语进行聚集分组,确定对应的谓词列,将所述谓词列写入预设二进制存储文件的数据页区域;

6、在所述二进制存储文件中构建索引页区域,包括谓语索引、主语-谓语邻接索引以及宾语-谓语邻接索引,并将所述全局字典写入所述二进制存储文件的字典页区域,根据所述字典页区域、所述数据页区域以及所述索引页区域生成文件头,并确定对应的二进制存储序列,响应于数据加载请求或数据查询请求,基于所述二进制存储序列进行反序列操作,返回对应的rdf三元组数据。

7、进一步地,所述构建全局字典将所述rdf三元组映射为全局数字编码,确定对应的主语数组、谓语数组以及宾语数组,包括:

8、构建全局字典,包括命名空间前缀字典和局部名称字典;

9、根据所述全局字典将所述rdf三元组中的主语、谓语以及宾语分别映射为全局数字编码,确定对应的主语数组、谓语数组以及宾语数组,其中,全局数字编码由命名空间前缀编码和局部编码复合构成。

10、进一步地,所述以所述谓语数组为分组键,将主语数组和宾语数组按照谓语进行聚集分组,确定对应的谓词列,包括:

11、以所述谓语数组为分组键,将主语数组和宾语数组按照谓语进行聚集分组;

12、聚集分组时,将所述主语数组和所述宾语数组分别提取为独立的连续数组,并按照所述主语数组或所述宾语数组的数组编码进行排序,以支持顺序访问和局部聚集,确定对应的谓词列。

13、进一步地,所述将所述谓词列写入预设二进制存储文件的数据页区域,包括:

14、将每个谓词列中的主语数组和宾语数组分别划分为多个固定大小的数据页;

15、对各所述数据页,根据预设压缩算法分别进行独立压缩,并将压缩后的数据页写入二进制存储文件的数据页区域。

16、进一步地,所述在所述二进制存储文件中构建索引页区域,包括:

17、构建谓语索引,用于记录每个谓语全局数字编码对应的谓词列在所述数据页区域的起始文件偏移;

18、构建主语-谓语邻接索引,用于记录主语数组-谓语数组组合键到对应的三元组所在数据页及行号的映射;

19、构建宾语-谓语邻接索引,用于记录宾语数组-谓语数组组合键到对应三元组所在数据页及行号的映射。

20、进一步地,所述根据所述字典页区域、所述数据页区域以及所述索引页区域生成文件头,并确定对应的二进制存储序列,包括:

21、构建文件头,包括魔数字段、版本号字段、页大小字段、字典页偏移字段、字典页长度字段、索引页偏移字段、索引页长度字段、数据页偏移字段以及数据页数量字段;

22、根据所述字典页区域、所述数据页区域以及所述索引页区域,动态确定对应的偏移字段,并回填至所述文件头;

23、根据回填数据后的文件头、所述字典页区域、所述数据页区域以及所述索引页区域,确定对应的二进制存储序列。

24、进一步地,所述响应于数据加载请求或数据查询请求,基于所述二进制存储序列进行反序列操作,返回对应的rdf三元组数据,包括:

25、当接收到数据加载请求时,通过mmap系统调用所述二进制存储序列的全部数据区域映射到进程地址空间,从所述文件头获取字典页偏移字段和索引页偏移字段,将所述字典页区域解析为id到字符串的内存指针数组,并构建所述索引页区域映射,确定对应的可查询环境;

26、当基于所述可查询环境接收到数据查询请求时,根据查询条件中的谓语全局数字编码查询谓语索引定位该谓语对应的数据页偏移;若查询条件还包含主语全局数字编码或宾语全局数字编码,则进一步查询主语-谓语邻接索引或宾语-谓语邻接索引,确定对应的目标行号范围;

27、根据所述数据页偏移和所述目标行号范围在映射内存中定位目标数据页,仅对该数据页进行解压,并从解压后的数据页中提取对应行号的主语全局数字编码和宾语全局数字编码,经过还原后返回对应的rdf三元组数据。

28、第二方面,本技术提供一种基于国标语义知识图谱的二进制序列化装置,包括:

29、数据获取模块,用于获取基于国家标准构建的语义知识图谱,所述语义知识图谱由rdf三元组构成,所述rdf三元组包括主语、谓语以及宾语;

30、编码与数据组织模块,用于构建全局字典将所述rdf三元组映射为全局数字编码,确定对应的主语数组、谓语数组以及宾语数组,以所述谓语数组为分组键,将主语数组和宾语数组按照谓语进行聚集分组,确定对应的谓词列,将所述谓词列写入预设二进制存储文件的数据页区域;

31、索引构建与内存映射模块,用于在所述二进制存储文件中构建索引页区域,包括谓语索引、主语-谓语邻接索引以及宾语-谓语邻接索引,并将所述全局字典写入所述二进制存储文件的字典页区域,根据所述字典页区域、所述数据页区域以及所述索引页区域生成文件头,并确定对应的二进制存储序列,响应于数据加载请求或数据查询请求,基于所述二进制存储序列进行反序列操作,返回对应的rdf三元组数据。

32、第三方面,本技术提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现所述的基于国标语义知识图谱的二进制序列化方法的步骤。

33、第四方面,本技术提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现所述的基于国标语义知识图谱的二进制序列化方法的步骤。

34、第五方面,本技术提供一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现所述的基于国标语义知识图谱的二进制序列化方法的步骤。

35、由上述技术方案可知,本技术提供一种基于国标语义知识图谱的二进制序列化方法及装置,通过获取符合国家标准的rdf语义知识图谱,构建全局字典,将知识图谱中所有主语、谓语和宾语映射为全局唯一的数字编码,生成对应的主语、谓语和宾语数组,以谓语为分组键,将三元组按谓语聚集划分成语义连贯的谓词列,并将各谓词列存储至二进制文件的数据页区域,在二进制文件中构建索引页区域,并设置独立的字典页区域,生成包含文件头、字典页、数据页和索引页的二进制存储序列,当收到数据加载或查询请求时,通过反序列化机制直接从二进制序列中定位并返回所需的rdf三元组数据,由此能够提高基于国标语义知识图谱的加载效率和查询性能。