一种基于可信数据空间的跨域联邦知识库构建与检索方法与流程

摘要: 本发明涉及数据安全与智能信息检索,尤其是涉及一种基于可信数据空间的跨域联邦知识库构建与检索方法。背景技术:1、随着大语言模型及检索增强生成技术的发展,海洋产业、...
一种基于可信数据空间的跨域联邦知识库构建与检索方法与流程

本发明涉及数据安全与智能信息检索,尤其是涉及一种基于可信数据空间的跨域联邦知识库构建与检索方法。

背景技术:

1、随着大语言模型及检索增强生成技术的发展,海洋产业、远洋航运、科研机构等垂直领域对专业化知识库的需求日益增长,现有知识库通常采用中心化汇聚模式,即将各业务单位保存的原始数据统一上传至中心平台,并在中心平台完成数据清洗、文本切分、向量化及存储。然而,垂直领域数据往往涉及商业机密、科研数据及敏感业务信息,原始数据的物理集中容易引发数据泄露和合规风险,导致数据持有方不愿或不敢共享数据,进而形成数据孤岛。

2、在知识库构建方面,现有技术多采用固定字数或固定长度的机械切分方式对文本进行处理,如申请号为cn120915579a的申请文件,公开了一种超联接跨域可信数据空间实现方法,其通过数据标识、接入登记凭证、传输登记凭证及传输存证完成跨域数据传输,但仍需向数据需求方传输数据本身,难以解决联邦知识库构建过程中原始数据出域、知识切片语义断裂等问题,另外,在联邦检索方面,现有中心平台通常无法准确掌握各边缘节点的数据分布,如申请号为cn121056156a的申请文件,公开了一种基于隐私计算与区块链的多式联运可信数据空间建设方法,其利用隐私计算和区块链实现数据可用不可见及操作过程审计,该方案主要面向多式联运数据的可信共享与审计,未针对轻量化知识目录、跨域精准路由、边缘动态脱敏以及多源结果语义去重机制,现阶段需要一种基于可信数据空间的跨域联邦知识库构建与检索方法。

技术实现思路

1、为了解决现有跨域知识库构建与检索方法难以在原始数据不出域的前提下兼顾数据安全、知识检索准确性和跨域检索效率的技术问题,本发明提供一种基于可信数据空间的跨域联邦知识库构建与检索方法。

2、本发明提供的一种基于可信数据空间的跨域联邦知识库构建与检索方法,采用如下的技术方案:

3、一种基于可信数据空间的跨域联邦知识库构建与检索方法,包括:

4、可信数据空间tds枢纽向各边缘节点下发统一计算容器,各边缘节点基于统一计算容器在本地对多源异构数据进行语义自适应切片和特征提取,构建本地私有向量数据库,并提取本地知识目录特征;

5、各边缘节点对本地知识目录特征进行权重筛选,生成轻量化知识目录并上报至tds枢纽,所述tds枢纽基于各轻量化知识目录构建全局路由注册表;

6、利用tds枢纽对外部查询请求进行意图解析,基于全局路由注册表对各边缘节点进行匹配筛选,确定目标边缘节点,并向目标边缘节点下发联邦查询指令包;

7、所述目标边缘节点基于联邦查询指令包在本地私有向量数据库中进行混合检索,对检索结果在出域前进行权限核准和动态脱敏,得到安全检索结果并回传至tds枢纽;

8、通过tds枢纽汇聚各目标边缘节点回传的安全检索结果,对安全检索结果进行语义去重和全局排序,输出跨域检索结果。

9、进一步地,所述对多源异构数据进行语义自适应切片,包括调用所述统一计算容器中的知识抽取模型,将多源异构数据对应的文本序列中的相邻句子和分别转换为句子向量和;

10、根据句子向量在滑动窗口内计算相邻句子之间的语义连贯性得分,并计算当前相邻句子相较于上一组相邻句子的语义变化梯度;

11、当语义变化梯度大于预设梯度骤降阈值,且语义连贯性得分小于预设语义突变阈值时,判定当前位置为语义断层,并在语义断层处对文本序列进行切断,生成知识切片,所述语义连贯性得分和语义变化梯度分别为:

12、,

13、,

14、其中,为句子与句子之间的语义连贯性得分,和分别表示句子与句子对应的句子向量,为相邻语境之间的语义变化梯度,为上一组相邻句子之间的语义连贯性得分。

15、进一步地,所述提取本地知识目录特征,包括调用知识抽取模型中的embedding模型对知识切片进行整体向量化,得到切片向量;

16、调用文本分类算子基于知识切片的上下文语义,生成知识切片对应的宏观领域标签;

17、提取知识切片对应的涉密等级和数据所有者标识,并将涉密等级、数据所有者标识和宏观领域标签封装为元数据;

18、将知识切片、切片向量和元数据写入部署在边缘节点内网的本地私有向量数据库;

19、调用命名实体识别算子对本地私有向量数据库中的知识切片进行实体识别,提取本地专业实体集合,并将本地专业实体集合和宏观领域标签作为本地知识目录特征。

20、进一步地,所述对本地知识目录特征进行权重筛选,包括遍历本地专业实体集合,统计各实体在本地知识切片中的出现频次以及包含各实体的知识切片数量;

21、基于各实体的出现频次和知识切片分布,计算各实体对应的局部权重得分;

22、将全部实体按照所述局部权重得分进行降序排列,并按照预设数量或预设分位对排序后的实体进行动态截断,得到高权重微观实体列表,所述局部权重得分的表达式为:

23、,

24、其中,为实体的局部权重得分,为实体在本地知识切片中出现的总频次,为本地专业实体集合中全部实体频次的总和,为本地私有向量数据库中知识切片的总数量,为包含实体的知识切片数量。

25、进一步地,所述基于各轻量化知识目录构建全局路由注册表,包括边缘节点将宏观领域标签、高权重微观实体列表和节点权限策略封装为轻量化知识目录,并通过加密通道上报至tds枢纽;

26、所述tds枢纽对轻量化知识目录进行身份鉴权和签名校验,并在校验通过后,以边缘节点唯一标识node_id为主键,对不同边缘节点上报的轻量化知识目录进行汇聚;

27、基于各边缘节点的高权重微观实体列表构建倒排索引,并将倒排索引写入全局路由注册表,所述倒排索引为:

28、,

29、其中,为实体对应的倒排索引结果,为第j个边缘节点的唯一标识,为第j个边缘节点的高权重微观实体列表。

30、进一步地,所述利用tds枢纽对外部查询请求进行意图解析,包括对外部查询请求进行分词和标准化处理,并将处理后的外部查询请求并行输入语义编码分支和多任务抽取分支;

31、在语义编码分支中,通过与边缘侧同源的embedding基座对外部查询请求进行全局语义编码,生成查询特征向量;

32、在多任务抽取分支中,通过textcnn意图分类器提取外部查询请求的局部关键词特征,并输出所述外部查询请求对应的宏观领域标签;

33、复用命名实体识别架构从外部查询请求中提取查询实体集合,将查询特征向量、宏观领域标签和查询实体集合作为查询特征。

34、进一步地,所述对各边缘节点进行匹配筛选,包括提取外部查询请求对应的宏观领域标签,并从全局路由注册表中筛选符合预设条件的边缘节点,形成初筛候选池;

35、针对初筛候选池中的边缘节点,利用查询实体集合查询倒排索引,确定查询实体集合与各边缘节点的高权重微观实体列表之间的实体交集;

36、基于宏观领域匹配结果和实体交集对应的实体权重覆盖率,计算各边缘节点的全局路由匹配度得分;

37、将满足的边缘节点剔除,将满足的边缘节点确定为目标边缘节点,所述全局路由匹配度得分为:

38、,

39、其中,为第j个边缘节点的全局路由匹配度得分,为外部查询请求对应的宏观领域标签,为第j个边缘节点上报的宏观领域标签,为宏观领域匹配函数,为查询实体集合,为第j个边缘节点的高权重微观实体列表,为实体e在第j个边缘节点中的局部权重得分,为查询实体集合中的实体总数,和分别为实体权重覆盖率与宏观领域匹配结果的调节系数,为激活阈值。

40、进一步地,所述联邦查询指令包,包括对当前外部查询请求生成全局唯一的全局流水号task_id,提取查询特征向量和查询实体集合,生成查询特征载荷;

41、基于请求用户的业务级别和目标边缘节点上报的节点权限策略,采用jsonwebtoken机制构造动态权限令牌auth_token的载荷;

42、采用sm3杂凑算法对载荷生成消息摘要,并采用tds枢纽的sm2私钥对消息摘要进行数字签名,将载荷与数字签名拼接生成动态权限令牌auth_token;

43、将全局流水号task_id、查询特征载荷和动态权限令牌auth_token组装为联邦查询指令包,并通过加密通道并发下发至各目标边缘节点。

44、进一步地,所述对检索结果在出域前进行权限核准和动态脱敏,包括通过目标边缘节点解析联邦查询指令包,提取查询特征向量、查询实体集合、全局流水号task_id和动态权限令牌auth_token;

45、基于查询特征向量在本地私有向量数据库中进行语义匹配,并根据查询实体集合进行实体匹配,融合语义匹配结果和实体匹配结果得到各知识切片的局部相似度得分;

46、根据局部相似度得分召回知识切片及其元数据,并将召回的知识切片在出域前输入本地脱敏沙箱;

47、通过本地脱敏沙箱对所述动态权限令牌auth_token进行校验,并将动态权限令牌auth_token中的访问密级门槛与所述元数据中的涉密等级进行比对;

48、根据比对结果对知识切片进行放行或动态脱敏,得到安全文本切片。

49、进一步地,对安全检索结果进行语义去重和全局排序,包括根据各安全检索结果中的全局流水号task_id,将属于同一外部查询请求的安全文本切片和局部相似度得分汇聚为全局候选集;

50、对全局候选集中的安全文本切片进行两级语义去重,其中,基于文本签名相似度进行粗筛,并基于语义向量相似度对粗筛得到的疑似同质化切片进行复判;当判定不同安全文本切片互为冗余切片时,保留局部相似度得分最高的安全文本切片;

51、对语义去重后的安全文本切片按照局部相似度得分进行全局降序排列,并截取前n个安全文本切片作为跨域检索结果输出。

52、综上所述,本发明具有如下的有益技术效果:

53、1、本发明通过向边缘节点下发统一计算容器,并在边缘节点本地执行语义自适应切片、特征抽取和向量入库,实现了原始数据不出域情况下的跨域联邦知识库构建,提高了知识切片的语义完整性,并降低了原始数据集中存储带来的泄露风险。

54、2、本发明通过对本地知识目录特征进行权重筛选,仅向tds枢纽上报由宏观领域标签和高权重微观实体构成的轻量化知识目录,使tds枢纽能够在不接触原始明文的情况下构建全局路由注册表,实现了跨域知识资源的可信注册和精准寻址。

55、3、本发明通过基于宏观领域标签和微观实体权重对边缘节点进行匹配筛选,并向目标边缘节点并发下发联邦查询指令包,避免了传统联邦检索中的全网广播,实现了跨域查询请求的按需分发,降低了网络带宽消耗和边缘算力浪费。

56、4、本发明通过在目标边缘节点出域前对检索结果进行权限核准和动态脱敏,将权限控制与脱敏执行部署在数据本地,实现了不同权限用户对同一数据的差异化安全访问,保障了敏感数据的可用不可见。

57、5、本发明通过全局流水号汇聚多源安全检索结果,并对安全文本切片进行语义去重和全局排序,实现了跨域异步检索结果的统一聚合,减少了多源结果中的重复内容和知识冲突,提高了跨域检索结果的准确性和信息密度。