数据检索方法、装置、终端及系统与流程
本技术涉及语义检索,特别涉及一种数据检索方法、装置、终端及系统。
背景技术:
1、向量数据库是一种用于存储、管理和查询高维向量数据的数据库系统,其核心功能是通过向量化技术处理非结构化数据(如图像、音频、文本等),将非结构化数据转化为高维向量表示,进而实现高效的相似性搜索与数据分析。因此,高维向量在语义检索技术领域被广泛应用。
2、基于此,相关技术提供的数据检索方法包括:1)终端将文本、图像或音频等查询数据发送给云服务器,云服务器将查询数据转换为高维向量,或者2)终端直接将查询数据处理成高维向量,再将该向量与向量数据库中的向量进行比较,通过比较向量之间的“距离”找到与查询数据最相似的数据,但是,这样用户的查询数据/维向量会被揭示给云服务器,用户隐私会被泄露。
技术实现思路
1、本技术提供了一种数据检索方法、装置、终端及系统,有效提高数据检索的安全性,技术方案如下。
2、第一方面,提供了一种数据检索方法,方法应用于终端,方法包括:获取第一数据的特征向量对应的第一哈希值;在第一哈希值与哈希表中的目标哈希值的相似度大于或等于第一阈值的情况下,确定第一数据属于目标哈希值对应的第二数据,哈希表是从云服务器获取的。
3、在本技术中,通过云服务器生成哈希表,并将哈希表部署在终端上,有效保护了哈希表对应的数据,确保数据的安全性。另外,在终端上进行数据检索,有效防止数据泄露给云服务器的风险与数据传输过程中存在的数据泄露风险,提高了数据检索的安全性。另外,终端通过第一哈希值在哈希表中查找到相似度大于或等于第一阈值,来确定第一数据相同或相似的第二数据,以便于后续,如果第二数据为敏感数据,则可以分析得到第一数据为敏感数据,有效提高数据分析的精准性。
4、在一种可能的实现方式中,方法还包括:在第一哈希值与哈希表中的各哈希值的相似度均小于第一阈值的情况下,生成未检索到数据的检索结果。终端通过第一哈希值查找哈希表,在哈希表中查找到相似度均小于第一阈值,来确定不存在与第一数据相同或相似的第二数据,以便于后续,如果哈希表对应的数据为敏感数据,则可以分析得到第一数据为非敏感数据,有效提高数据分析的精准性。
5、在一种可能的实现方式中,确定第一数据属于目标哈希值对应的第二数据之前,方法还包括:将第一哈希值与哈希表中各哈希值进行相似度比对,检索到目标哈希值。可见,比对步骤可以是终端实现的,通过终端实现第一哈希值与哈希表中各哈希值的比对,可以减少云服务器的计算负担。当然,比对步骤也可以并不局限于终端实现,也可以是云服务器实现的。通过云服务器实现第一哈希值与哈希表中各哈希值的比对,可以减少终端的计算负担。
6、在一种可能的实现方式中,对哈希值采用基于哈希的消息验证码hmac盲化处理,得到盲化后的哈希值。通过对各哈希值采用哈希的消息验证码hmac进行盲化处理,有效提升哈希值的安全性,使得数据检索过程更安全,进一步提高数据检索的安全性。
7、在一种可能的实现方式中,哈希表还包括各哈希值对应的多个哈希值分块;获取第一数据的特征向量对应的第一哈希值之后,方法还包括:按照参考块数对第一哈希值进行分块处理,得到第一哈希值对应的多个哈希值分块;将第一数据的哈希值与哈希表中各哈希值进行相似度比对,包括:将第一哈希值对应的多个哈希值分块与哈希表中多个哈希值分块进行相似度比对,目标哈希值对应的多个哈希值分块与第一哈希值对应的多个哈希值分块相等块数大于或等于第二阈值。
8、由于哈希表中还包含各哈希值对应的多个哈希值分块,那么,终端也对第一数据的第一哈希值进行分块处理得到第一哈希值的多个哈希值分块。终端将第一哈希值的多个哈希值分块与哈希表中各哈希值的多个哈希值分块进行比对,确定目标哈希值对应的多个哈希值分块与第一哈希值对应的多个哈希值分块相等块数大于或等于阈值,则确定目标哈希值对应的数据为第一数据的检索数据。可见,哈希值分块是将部敏感哈希值分块,一块一块的进行比较,使得比较更精细,确保检索到的数据更全面。同时,由于参考块数是可调的,因此,极大地增强了在不同应用场景中的适应性和灵活性。
9、在一种可能的实现方式中,哈希表中多个哈希值分块均采用哈希的消息验证码hmac进行盲化处理;按照参考块数对第一哈希值进行分块处理,得到第一哈希值对应的多个哈希值分块,包括:按照参考块数对第一哈希值进行分块处理,得到多个初始哈希值分块;对多个初始哈希值分块采用hmac盲化处理,hmac密钥使用白盒密码进行混淆保护,得到第一哈希值对应的多个哈希值分块。通过对各初始哈希值分块采用哈希的消息验证码hmac进行盲化处理,有效提升哈希值的安全性,使得数据检索过程更安全,进一步提高数据检索的安全性。
10、在一种可能的实现方式中,对多个初始哈希值分块采用hmac盲化处理,得到第一哈希值对应的多个哈希值分块,包括:在终端的可信执行空间内,对多个初始哈希值分块采用hmac盲化处理,得到第一哈希值对应的多个哈希值分块。通过在终端的可信执行空间内对第一数据对应的初始哈希值采用hmac进行盲化处理,进一步提升哈希值的安全性。
11、在一种可能的实现方式中,将第一哈希值与哈希表中各哈希值进行相似度比对之前,方法还包括:接收云服务器发送的哈希表。通过云服务器将哈希表下发给终端,可见,云服务器将样本数据以哈希表的形式下发给终端,有效保护数据的安全。另外,哈希表的生成是在云服务器上实现的,有效减轻了终端的计算和存储负担。
12、在一种可能的实现方式中,哈希表中各哈希值是云服务器基于lsh模型得到的,lsh模型是云服务器训练的。
13、在一种可能的实现方式中,云服务器训练lsh模型,包括:基于参考数量的样本数据,得到参考数量的样本数据的特征向量集合;基于特征向量集合和第一指定余弦相似度,得到无关向量集合;基于特征向量集合和第二指定余弦相似度,得到相似向量集合,第二指定余弦相似度大于第一指定余弦相似度;对特征向量集合、无关向量集合和相似向量集合进行编码,得到特征向量集合对应的第一哈希值集合、无关向量集合对应的第二哈希值集合和相似向量集合对应的第三哈希值集合;对第一哈希值集合、第二哈希值集合和第三哈希值集合进行比对,得到第一哈希值集合与第二哈希值集合或第三哈希值集合的汉明距离;示例性地,基于无关向量集合与相似向量集合对lsh模型进行训练,具体来说,训练需要最大化第一哈希值集合与第二哈希值之间的汉明距离,最小化第一哈希值集合与第三哈希值之间的汉明距离;在汉明距离满足阈值区间的情况下,得到lsh模型。
14、由于通过参考数量的样本数据的特征向量集合,衍生出无关向量集合和相似向量集合,再对特征向量集合、无关向量集合和相似向量集合进行编码,得到各向量集合对应的哈希值集合,这些哈希值集合作为lsh模型的训练数据,可以使得训练数据更全面,进而提升lsh模型的精确性。
15、在一种可能的实现方式中,获取第一数据的特征向量对应的第一哈希值之前,方法还包括:接收云服务器发送的lsh模型的参考时间段内的参数,调整lsh模型,调整后的lsh模型用于基于第一数据的特征向量输出第一哈希值。参考时间段可以理解为距当前时间最近的一段时间。就是说,云服务器可以实时将lsh模型的最新参数发送给终端,使得终端可以实时更新lsh模型,有效确保查询数据转换成哈希值的准确性,为后续检索到精准的数据奠定夯实基础。
16、第二方面,提供了一种数据检索方法,方法应用于云服务器,方法包括:向终端发送哈希表,哈希表中各哈希值是云服务器基于局部敏感哈希lsh模型得到的,lsh模型是云服务器训练的;哈希表用于在第一数据的特征向量对应的第一哈希值与哈希表中的目标哈希值的相似度大于或等于第一阈值的情况下,辅助终端确定第一数据属于目标哈希值对应的第二数据。
17、在本技术中,通过云服务器生成哈希表,并将哈希表发送给终端,有效保护了哈希表对应的数据,确保数据的安全性。另外,在终端上进行数据检索,有效防止数据泄露给云服务器的风险与数据传输过程中存在的数据泄露风险,提高了数据检索的安全性。
18、在一种可能的实现方式中,云服务器训练lsh模型,包括:基于参考数量的样本数据,得到参考数量的样本数据的特征向量集合;基于特征向量集合和第一指定余弦相似度,得到无关向量集合;基于特征向量集合和第二指定余弦相似度,得到相似向量集合,第二指定余弦相似度大于第一指定余弦相似度;对特征向量集合、无关向量集合和相似向量集合进行编码,得到特征向量集合对应的第一哈希值集合、无关向量集合对应的第二哈希值集合和相似向量集合对应的第三哈希值集合;对第一哈希值集合、第二哈希值集合和第三哈希值集合进行比对,得到第一哈希值集合与第二哈希值集合或第三哈希值集合的汉明距离;在汉明距离满足阈值区间的情况下,得到lsh模型。
19、由于通过参考数量的样本数据的特征向量集合,衍生出无关向量集合和相似向量集合,再对特征向量集合、无关向量集合和相似向量集合进行编码,得到各向量集合对应的哈希值集合,这些哈希值集合作为lsh模型的训练数据,可以使得训练数据更全面,进而提升lsh模型的精确性。
20、第三方面,提供了一种数据检索装置,装置应用于终端,装置包括:
21、获取模块,用于获取第一数据的特征向量对应的第一哈希值;
22、确定模块,用于在第一哈希值与哈希表中的目标哈希值的相似度大于或等于第一阈值的情况下,确定第一数据属于目标哈希值对应的第二数据,哈希表是从云服务器获取的。
23、在一种可能的实现方式中,装置还包括:生成模块,用于在第一哈希值与哈希表中的各哈希值的相似度均小于阈值的情况下,生成未检索到数据的检索结果。
24、在一种可能的实现方式中,装置还包括:比对模块,用于将第一哈希值与哈希表中各哈希值进行相似度比对,检索到目标哈希值。
25、在一种可能的实现方式中,哈希表还包括各哈希值对应的多个哈希值分块;装置还包括:分块模块,用于按照参考块数对第一哈希值进行分块处理,得到第一哈希值对应的多个哈希值分块;对比模块用于:将第一哈希值对应的多个哈希值分块与哈希表中多个哈希值分块进行相似度比对,目标哈希值对应的多个哈希值分块与第一哈希值对应的多个哈希值分块相等块数大于或等于第二阈值。
26、在一种可能的实现方式中,哈希表中多个哈希值分块均采用哈希的消息验证码hmac进行盲化处理;分块模块,用于按照参考块数对第一哈希值进行分块处理,得到多个初始哈希值分块;对多个初始哈希值分块采用hmac盲化处理,得到第一哈希值对应的多个哈希值分块。
27、在一种可能的实现方式中,分块模块,用于在终端的可信执行空间内,对多个初始哈希值分块采用hmac盲化处理,得到第一哈希值对应的多个哈希值分块。
28、在一种可能的实现方式中,装置还包括:接收模块,用于接收云服务器发送的哈希表。
29、在一种可能的实现方式中,哈希表中各哈希值是云服务器基于lsh模型得到的,lsh模型是云服务器训练的。
30、在一种可能的实现方式中,云服务器用于:基于参考数量的样本数据,得到参考数量的样本数据的特征向量集合;基于特征向量集合和第一指定余弦相似度,得到无关向量集合;基于特征向量集合和第二指定余弦相似度,得到相似向量集合,第二指定余弦相似度大于第一指定余弦相似度;对特征向量集合、无关向量集合和相似向量集合进行编码,得到特征向量集合对应的第一哈希值集合、无关向量集合对应的第二哈希值集合和相似向量集合对应的第三哈希值集合;对第一哈希值集合、第二哈希值集合和第三哈希值集合进行比对,得到第一哈希值集合与第二哈希值集合或第三哈希值集合的汉明距离;在汉明距离满足阈值区间的情况下,得到lsh模型。
31、在一种可能的实现方式中,接收模块,还用于接收云服务器发送的lsh模型的参考时间段内的参数,调整lsh模型,调整后的lsh模型用于基于第一数据的特征向量输出第一哈希值。
32、第四方面,提供了一种数据检索装置,装置应用于云服务器,装置包括:
33、发送模块,用于向终端发送哈希表,哈希表中各哈希值是云服务器基于lsh模型得到的,lsh模型是云服务器训练的;哈希表用于在第一数据的特征向量对应的第一哈希值与哈希表中的目标哈希值的相似度大于或等于第一阈值的情况下,辅助终端确定第一数据属于目标哈希值对应的第二数据。
34、在一种可能的实现方式中,装置还包括:训练模块,用于基于参考数量的样本数据,得到参考数量的样本数据的特征向量集合;基于特征向量集合和第一指定余弦相似度,得到无关向量集合;基于特征向量集合和第二指定余弦相似度,得到相似向量集合,第二指定余弦相似度大于第一指定余弦相似度;对特征向量集合、无关向量集合和相似向量集合进行编码,得到特征向量集合对应的第一哈希值集合、无关向量集合对应的第二哈希值集合和相似向量集合对应的第三哈希值集合;对第一哈希值集合、第二哈希值集合和第三哈希值集合进行比对,得到第一哈希值集合与第二哈希值集合或第三哈希值集合的汉明距离;在汉明距离满足阈值区间的情况下,得到lsh模型。
35、第五方面,提供了一种数据检索系统,所述系统包括:
36、终端,用于执行第一方面所述的方法;
37、云服务器,用于执行第二方面所述的方法。
38、第六方面,提供了一种终端,所述终端包括处理器,所述处理器与存储器耦合;所述存储器中存储有至少一条指令,所述至少一条指令由所述处理器加载并执行,以使所述终端实现第一方面所述的方法。
39、第七方面,提供了一种计算机程序(产品),计算机程序(产品)包括:计算机程序代码,当计算机程序代码被计算机运行时,使得计算机执行上述各方面中的方法。
40、第八方面,提供了一种计算机可读存储介质,计算机可读存储介质存储程序或指令,当程序或指令在计算机上运行时,上述各方面中的方法被执行。
41、第九方面,提供了一种芯片,包括处理器,用于从存储器中调用并运行存储器中存储的指令,使得安装有芯片的计算机执行上述各方面中的方法。
42、第十方面,提供另一种芯片,包括:输入接口、输出接口、处理器和存储器,输入接口、输出接口、处理器以及存储器之间通过内部连接通路相连,处理器用于执行存储器中的代码,当代码被执行时,安装有芯片的计算机执行上述各方面中的方法。
43、应当理解的是,本技术的第三方面至第十方面的技术方案及对应的可能的实现方式所取得的有益效果,可以参见上述对第一方面和第二方面及其对应的可能的实现方式的技术效果,此处不再赘述。此外,上述第三方面提及的数据检索装置可以为第九方面或第十方面提及的芯片,或者数据检索装置还可以为第六方面提及的设备。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com