语义检索方法、装置、设备、介质及程序产品与流程

摘要: 本技术涉及检索,具体而言,涉及一种语义检索方法、装置、设备、介质及程序产品。背景技术:1、随着网络的不断发展,数据拥有终端拥有大量的数据,在ai、智能体等场景中...
语义检索方法、装置、设备、介质及程序产品与流程

本技术涉及检索,具体而言,涉及一种语义检索方法、装置、设备、介质及程序产品。

背景技术:

1、随着网络的不断发展,数据拥有终端拥有大量的数据,在ai、智能体等场景中,在接收查询请求后,需要在大量的数据中进行“语义”级别检索而非精准内容检索来满足ai以及人类活动中对模糊性的接纳,但是数据拥有终端并没有服务和运算能力,检索的功能需要委托云服务器来执行,这样,一些隐私数据就有泄露,网络数据传输的安全性不高。

技术实现思路

1、本技术实施例的目的在于提供一种语义检索方法、装置、设备、介质及程序产品,用以提高语义检索的安全性。

2、第一方面,本技术实施例提供了一种语义检索方法,包括:

3、接收查询用户终端发送的查询向量和隐私掩码,其中,所述查询向量是数据拥有终端根据查询用户终端发送的查询请求确定的,所述隐私掩码是所述数据拥有终端根据lwe算法的计算参数、第一随机误差值和所述查询向量确定的,所述第一随机误差值是根据所述lwe算法的计算参数确定的;

4、根据所述查询向量、密文数据和所述隐私掩码,计算与所述密文数据对应的相似度值,其中,所述密文数据是数据拥有终端采用lwe算法的计算参数对原始数据集进行加密确定的;

5、根据所述相似度值和相似度阈值,确定与所述查询向量对应的目标查询结果,并将所述目标查询结果返回至查询用户终端。

6、在本技术实施例中,在语义检索的过程中,将lwe引入微量噪声和高维向量相似度对微量噪声的容错特性结合起来,在隐私加密场景下保证语义检索精度与明文检索基本一致,不解密情况下完成相似度计算,从而避免隐私泄露,提高语义检索的安全性。

7、可选地,所述密文数据通过如下方式获得:

8、数据拥有终端预先生成lwe算法的计算参数,所述计算参数包括模数、维度参数、高斯误差分布和公开系数,并生成lwe私钥和公共矩阵公钥;

9、数据拥有终端获取所述原始数据集,其中,所述原始数据集中包含多条数据,每条数据携带有数据标识;

10、采用向量化提取模块,确定与所述数据对应的第一语义向量,向量化提取模块为用于将文本或多模态数据转换为高维语义向量的嵌入模型;

11、采用预处理方式对所述第一语义向量进行处理,所述预处理方式包括归一化处理方式、模q运算和零填充方式,确定与所述第一语义向量对应的第二语义向量;

12、根据所述高斯误差分布,确定第二随机误差值;

13、根据所述公共矩阵公钥、所述lwe私钥、所述第二随机误差值和所述公开系数,确定与所述第二语义向量对应的密文数据;

14、将所述数据标识和与所述数据标识对应的密文数据发送至所述云服务器。

15、在本技术实施例中,数据拥有终端基于lwe计算参数,对于每一条数据,生成语义向量,进而基于lwe计算参数,确定随机误差值,并对语义向量进行加密处理,生成密文数据,并将密文数据存储到云服务器上。

16、可选地,所述根据所述公共矩阵公钥、所述lwe私钥、所述第二随机误差值和所述公开系数,确定与所述第二语义向量对应的密文数据,包括:

17、根据所述公共矩阵公钥和所述私钥,计算第一乘积;

18、根据所述公开系数和所述第二语义向量,计算第二乘积 ;

19、将所述第一乘积、所述第二随机误差值和所述第二乘积的和,确定为与所述第二语义向量对应的密文数据。

20、在本技术实施例中,在不解密情况下计算密文内积的运算机制,采用加密机制融合lwe噪声特性与语义向量参数,实现语义向量隐私加密且保留线性计算特性。

21、可选地,所述隐私掩码通过如下方式获得:

22、数据拥有终端采用预先建立的向量化提取模块,确定与所述查询请求对应的查询向量;

23、根据基于lwe的计算参数、所述lwe私钥、所述查询向量和第一随机误差值,确定与所述查询向量对应的隐私掩码,所述第一随机误差值是根据所述lwe的计算参数确定的。

24、可选地,所述根据基于lwe的计算参数和所述查询向量,确定与所述查询向量对应的隐私掩码,包括:

25、计算所述公共矩阵公钥和查询向量的第三乘积;

26、计算所述第三乘积和所述私钥的第一内积;

27、根据所述第一内积和模q运算,确定第一模结果;

28、将所述第一模结果和所述第一随机误差值的和确定为所述隐私掩码。

29、在本技术实施例中,高斯分布中采样独立标量误差、公共矩阵公钥和私钥,计算隐私掩码,设置掩码缓存机制,相同查询向量u复用掩码,不同查询向量重新采样误差生成新掩码,掩码mask包含动态标量误差,使云服务器或攻击者无法通过高斯消元法得出密钥,从而有效保证数据权益和隐私安全。

30、可选地,所述根据所述查询向量、密文数据和所述隐私掩码,计算与所述密文数据对应的相似度值,包括:

31、根据所述查询向量、所述隐私掩码和预先存储的密文数据,确定与所述密文数据对应的查询分值;

32、根据所述查询分值和所述公开系数,计算与所述密文数据对应的相似度值。

33、可选地,所述根据所述相似度值和相似度阈值,确定与所述查询向量对应的目标查询结果,包括:

34、若所述相似度值大于所述相似度阈值,则将相似度值大于所述相似度阈值的密文数据或与所述密文数据对应的数据标识,确定为所述目标查询结果。

35、在本技术实施例中,云服务器仅执行普通向量内积线性运算,大幅度降低算力开销,有效缩短检索延迟时间,能够支撑大规模rag知识库、高并发实时查询场景。

36、第二方面,本技术实施例提供了一种语义检索装置,包括:

37、接收模块,用于接收查询用户终端发送的查询向量和隐私掩码,其中,所述查询向量是数据拥有终端根据查询用户终端发送的查询请求确定的,所述隐私掩码是所述数据拥有终端根据lwe算法的计算参数、第一随机误差值和所述查询向量确定的,所述第一随机误差值是根据所述lwe算法的计算参数确定的;

38、计算模块,用于根据所述查询向量、密文数据和所述隐私掩码,计算与所述密文数据对应的相似度值,其中,所述密文数据是数据拥有终端采用lwe算法的计算参数对原始数据集进行加密确定的;

39、比较模块,用于根据所述相似度值和相似度阈值,确定与所述查询向量对应的目标查询结果,并将所述目标查询结果返回至查询用户终端。

40、在本技术实施例中,在语义检索的过程中,将lwe引入微量噪声和高维向量相似度对微量噪声的容错特性结合起来,在隐私加密场景下保证语义检索精度与明文检索基本一致,不解密情况下完成相似度计算,从而避免隐私泄露,提高语义检索的安全性。

41、可选地,所述数据拥有终端还包括建立模块,所述建立模块用于:

42、预先生成lwe算法的计算参数,所述计算参数包括模数、维度参数、高斯误差分布和公开系数,并生成lwe私钥和公共矩阵公钥;

43、获取所述原始数据集,其中,所述原始数据集中包含多条数据,每条数据携带有数据标识;

44、采用向量化提取模块,确定与所述数据对应的第一语义向量,向量化提取模块为用于将文本或多模态数据转换为高维语义向量的嵌入模型;

45、采用预处理方式对所述第一语义向量进行处理,所述预处理方式包括归一化处理方式、模q运算和零填充方式,确定与所述第一语义向量对应的第二语义向量;

46、根据所述高斯误差分布,确定第二随机误差值;

47、根据所述公共矩阵公钥、所述lwe私钥、所述第二随机误差值和所述公开系数,确定与所述第二语义向量对应的密文数据;

48、将所述数据标识和与所述数据标识对应的密文数据发送至所述云服务器。

49、在本技术实施例中,数据拥有终端基于lwe计算参数,对于每一条数据,生成语义向量,进而基于lwe计算参数,确定随机误差值,并对语义向量进行加密处理,生成密文数据,并将密文数据存储到云服务器上。

50、可选地,所述建立模块用于:

51、根据所述公共矩阵公钥和所述私钥,计算第一乘积;

52、根据所述公开系数和所述第二语义向量,计算第二乘积 ;

53、将所述第一乘积、所述第二随机误差值和所述第二乘积的和,确定为与所述第二语义向量对应的密文数据。

54、在本技术实施例中,在不解密情况下计算密文内积的运算机制,采用加密机制融合lwe噪声特性与语义向量参数,实现语义向量隐私加密且保留线性计算特性。

55、可选地,所述建立模块用于:

56、数据拥有终端采用预先建立的向量化提取模块,确定与所述查询请求对应的查询向量;

57、根据基于lwe的计算参数、所述lwe私钥、所述查询向量和第一随机误差值,确定与所述查询向量对应的隐私掩码,所述第一随机误差值是根据所述lwe的计算参数确定的。

58、可选地,所述建立模块用于:

59、计算所述公共矩阵公钥和查询向量的第三乘积;

60、计算所述第三乘积和所述私钥的第一内积;

61、根据所述第一内积和模q运算,确定第一模结果;

62、将所述第一模结果和所述第一随机误差值的和确定为所述隐私掩码。

63、在本技术实施例中,高斯分布中采样独立标量误差、公共矩阵公钥和私钥,计算隐私掩码,设置掩码缓存机制,相同查询向量u复用掩码,不同查询向量重新采样误差生成新掩码,掩码mask包含动态标量误差,使云服务或攻击者无法通过高斯消元得出密钥信息,能够有效保证数据权益和隐私安全。

64、可选地,所述计算模块,用于:

65、根据所述查询向量、所述隐私掩码和预先存储的密文数据,确定与所述密文数据对应的查询分值;

66、根据所述查询分值和所述公开系数,计算与所述密文数据对应的相似度值。

67、可选地,所述比较模块,用于:

68、若所述相似度值大于所述相似度阈值,则将相似度值大于所述相似度阈值的密文数据或与所述密文数据对应的数据标识,确定为所述目标查询结果。

69、在本技术实施例中,云服务器仅执行普通向量内积线性运算,大幅度降低算力开销,有效缩短检索延迟时间,能够支撑大规模rag知识库、高并发实时查询场景。

70、第三方面,本技术实施例提供了一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其中,所述处理器执行所述程序时可实现第一方面任一实施例所述的方法。

71、第四方面,本技术实施例提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器运行时可实现第一方面任一实施例所述的方法。

72、第五方面,本技术实施例提供了一种计算机程序产品,所述的计算机程序产品包括计算机程序,其中,所述的计算机程序被处理器执行时可实现第一方面任一实施例所述的方法。