一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

特征向量的处理方法、目标对象的检索方法与流程

2022-03-19 12:13:27 来源:中国专利 TAG:


1.本技术涉及数据处理领域,具体而言,涉及一种特征向量的处理方法、目标对象的检索方法。


背景技术:

2.相关技术中,对于特征向量的近邻检索,一种常用方法是先聚类,再根据聚类中心点来构建倒排索引。这种常用方法在检索时,采用扫描距离检索向量query最近n个中心点的倒排表来查找近邻点。
3.上述方法存在的问题是由于采用固定比例或数量执行扫描操作,即使未扫描完已查找出了相关最近邻点,但还依然会比较剩余未扫描的节点,导致浪费不必要的计算,无法根据不同的检索向量采取不同的扫描量。
4.针对上述的问题,目前尚未提出有效的解决方案。


技术实现要素:

5.本技术实施例提供了一种特征向量的处理方法、目标对象的检索方法,以至少解决相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
6.根据本技术实施例的一个方面,提供了一种特征向量的处理方法,包括:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
7.根据本技术实施例的另一方面,还提供了一种目标对象的检索方法,包括:接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
8.根据本技术实施例的另一方面,还提供了一种目标对象的检索方法,包括:向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
9.根据本技术实施例的另一方面,还提供了一种目标对象的检索方法,包括:获取检
索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,终端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并显示上述目标对象。
10.根据本技术实施例的另一方面,还提供了一种特征向量的处理装置,包括:划分模块,用于将待扫描的多个特征向量划分为多个批次特征向量;处理模块,用于从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
11.根据本技术实施例的另一方面,还提供了一种目标对象的检索装置,包括:接收模块,用于接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;转化模块,用于将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;扫描模块,用于对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;还原模块,用于将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
12.根据本技术实施例的另一方面,还提供了一种目标对象的检索装置,包括:请求模块,用于向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;响应模块,用于接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
13.根据本技术实施例的另一方面,还提供了一种非易失性存储介质,上述非易失性存储介质包括存储的程序,其中,在上述程序运行时控制上述非易失性存储介质所在设备执行任意一项上述的特征向量的处理方法,或者上述的目标对象的检索方法。
14.根据本技术实施例的另一方面,还提供了一种特征向量的处理设备,包括:处理器;以及存储器,与上述处理器连接,用于为上述处理器提供处理以下处理步骤的指令:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
15.在本技术实施例中,采用设定终止扫描条件的方式,通过将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
16.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
17.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
附图说明
18.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
19.图1是根据本技术实施例的一种用于实现特征向量的处理方法的计算机终端(或移动设备)的硬件结构框图;
20.图2是根据本技术实施例的一种特征向量的处理方法的流程图;
21.图3是根据本技术实施例的一种可选的拟合概率的分布示意图;
22.图4是根据本技术实施例的一种可选的两种拟合概率的连线示意图;
23.图5是根据本技术实施例的一种目标对象的检索方法的流程图;
24.图6是根据本技术实施例的另一种目标对象的检索方法的流程图;
25.图7是根据本技术实施例的又一种目标对象的检索方法的流程图;
26.图8是根据本技术实施例的一种特征向量的处理装置的结构示意图;
27.图9是根据本技术实施例的一种目标对象的检索装置的结构示意图;
28.图10是根据本技术实施例的另一种目标对象的检索装置的结构示意图;
29.图11是根据本技术实施例的一种特征向量的处理设备的结构示意图;
30.图12是根据本技术实施例的另一种计算机终端的结构框图。
具体实施方式
31.为了使本技术领域的人员更好地理解本技术方案,下面将结合本技术实施例中的附图,对本技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本技术一部分的实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本技术保护的范围。
32.需要说明的是,本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
33.首先,在对本技术实施例进行描述的过程中出现的部分名词或术语适用于如下解释:
34.最近邻检索(nearest neighbor search,nns):又称为“最近点搜索”(closest point search),是一个在尺度空间中寻找最近点的优化问题,其问题描述如下:在尺度空
间m中给定一个点集s和一个目标点q∈m,在s中找到距离q最近的点。很多情况下,m为多维的欧几里得空间,距离由欧几里得距离或曼哈顿距离决定。
35.特征向量:是指从原始数据提取的单个属性,一般是一个数,原始数据必须转化成一个特征向量才可以进一步分析,例如,在对图片转为特征向量后,则可使用近邻检索方法,在海量图片中查找出相似图片。
36.聚类:一般采用无监督的kmeans聚类方法,可得到n个中心点。
37.中心点倒排表:将数据集中每个特征向量与n个中心点计算距离,选取距离最近的中心点,作为该特征向量所属链表,从而建立n个倒排表,每个中心点一个。
38.中心倒排表扫描:将检索向量与中心点倒排表中的每个特征向量计算距离,选取距离最近的k个向量作为最近邻点,常用计算距离为欧式距离。
39.召回率:即查全率(recall ratio),是指从索引中内检出的相关的近邻与真实近邻的比率,例如topk=200时,通过近邻检索算法得到的200个向量中,有180个在全文档中最近的200文档内,则召回率为90%。
40.扫描:是指将检索向量与某个特征向量集合中每一个向量进行距离计算,例如,与某中心点倒排表内所有向量计算欧式距离,选择最近的k个向量。
41.实施例1
42.根据本技术实施例,还提供了一种特征向量的处理方法的实施例,需要说明的是,在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行,并且,虽然在流程图中示出了逻辑顺序,但是在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤。
43.本技术实施例1所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。图1示出了一种用于实现特征向量的处理方法的计算机终端(或移动设备)的硬件结构框图,如图1所示,计算机终端10(或移动设备10)可以包括一个或多个(图中采用102a、102b,
……
,102n来示出)处理器102(处理器102可以包括但不限于微处理器mcu或可编程逻辑器件fpga等的处理装置)、用于存储数据的存储器104、以及用于通信功能的传输模块106。除此以外,还可以包括:显示器、输入/输出接口(i/o接口)、通用串行总线(usb)端口(可以作为bus总线的端口中的一个端口被包括)、网络接口、电源和/或相机。本领域普通技术人员可以理解,图1所示的结构仅为示意,其并不对上述电子装置的结构造成限定。例如,计算机终端10还可包括比图1中所示更多或者更少的组件,或者具有与图1所示不同的配置。
44.应当注意到的是上述一个或多个处理器102和/或其他数据处理电路在本文中通常可以被称为“数据处理电路”。该数据处理电路可以全部或部分的体现为软件、硬件、固件或其他任意组合。此外,数据处理电路可为单个独立的处理模块,或全部或部分的结合到计算机终端10(或移动设备)中的其他元件中的任意一个内。如本技术实施例中所涉及到的,该数据处理电路作为一种处理器控制(例如与接口连接的可变电阻终端路径的选择)。
45.存储器104可用于存储应用软件的软件程序以及模块,如本技术实施例中的特征向量的处理方法对应的程序指令/数据存储装置,处理器102通过运行存储在存储器104内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的特征向量的处理方法。存储器104可包括高速随机存储器,还可包括非易失性存储器,如一个或者多个磁
性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器104可进一步包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
46.传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括计算机终端10的通信供应商提供的无线网络。在一个实例中,传输装置106包括一个网络适配器(network interface controller,nic),其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中,传输装置106可以为射频(radio frequency,rf)模块,其用于通过无线方式与互联网进行通讯。
47.显示器可以例如触摸屏式的液晶显示器(lcd),该液晶显示器可使得用户能够与计算机终端10(或移动设备)的用户界面进行交互。
48.在上述运行环境下,本技术提供了如图2所示的一种特征向量的处理方法,图2是根据本技术实施例的一种特征向量的处理方法的流程图,如图2所示,上述特征向量的处理方法包括:
49.步骤s202,将待扫描的多个特征向量划分为多个批次特征向量;
50.步骤s204,从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
51.在本技术实施例中,采用设定终止扫描条件的方式,通过将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
52.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
53.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
54.本技术实施例所提供的特征向量的处理方法可以但不限于应用在向量检索领域,例如,应用于采用倒排索引算法进行向量最近邻检索的场景中。作为一种可选的实施例,本技术实施例可以根据获取已扫描特征向量的分布规律,来推测当前是否已接近检索到待召回特征向量。
55.需要说明的是,本技术实施例的执行主体为服务端,服务端在接收客户端的检索请求之后,将检索请求中携带的检索对象,例如图片、文档、音频、视频等转化为检索向量,并将服务端本地待扫描的候选对象转化为多个特征向量;对上述多个特征向量进行分批次扫描,获取基于上述检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作,将上述第一特征向量还原为目标对象,并向上述客户端反馈携带有上述目标对象的检索响应。
56.在一种可选的实施例中,上述方法还包括:
57.步骤s302,获取第一数量和第二数量,其中,上述第一数量为每个批次特征向量中第二特征向量的数量,上述第二数量为每个批次特征向量的数量,上述第二特征向量用于替换第三特征向量中的部分向量,上述第三特征向量依据上述检索向量与上述第三特征向量之间的距离来确定,上述第三特征向量的数量大于或等于上述第一特征向量的数量;
58.步骤s304,基于上述第一数量和上述第二数量确定上述终止扫描条件。
59.在上述可选的实施例中,通过获取每个批次特征向量中第二特征向量的数量,得到第一数量;通过获取每个批次特征向量的数量,得到第二数量;并基于上述第一数量和上述第二数量确定上述终止扫描条件。
60.其中,上述第二特征向量用于替换第三特征向量中的部分向量,依据上述检索向量与上述第三特征向量之间的距离来确定上述第三特征向量,上述第三特征向量的数量大于或等于上述第一特征向量的数量。
61.在一种可选的实施例中,上述方法还包括:
62.步骤s402,采用大顶堆数据结构对上述检索向量与上述第三特征向量之间的距离进行存储和排序。
63.其中,上述大顶堆数据结构利用完全二叉树结构维护一维数组,上述大顶堆数据结构中的结点数量由上述第三特征向量的数量确定,且上述大顶堆数据结构中每个结点的取值均大于或等于该结点的左孩子与右孩子结点的取值。
64.在一种可选的实施例中,上述方法还包括:
65.步骤s502,获取第一距离和第二距离。
66.其中,上述第一距离为上述检索向量与当前扫描到的上述第二特征向量之间的实际距离,上述第二距离为上述大顶堆数据结构中存储的上述检索向量与上述第三特征向量之间的最大距离;
67.步骤s504,当上述第一距离小于上述第二距离时,采用上述第二特征向量替换与上述最大距离对应的上述第三特征向量。
68.作为一种可选的实施例,上述大顶堆数据结构中每个结点的取值为topn,例如,可以采用一个n个元素的大顶堆来保存距离最近的topn个特征向量(n》=k);并在扫描各中心特征向量下的倒排表(即中心倒排表)时,每比较一个特征向量,就将检索向量与该特征向量的第一距离与大顶堆数据结构中存储的上述检索向量与上述第三特征向量之间的第二距离比较,如果上述第一距离小于上述第二距离,则将该第二特征向量入堆,并采用第二特征向量替换掉上述最大距离对应的上述第三特征向量,相应的概率称为入堆概率(即拟合概率)。
69.在依据检索向量查找倒排表(即中心倒排表扫描)时,如果是随机中心特征向量顺序进行扫描,则p(i)应该服从下图的p1分布,随着比较向量的增多,第二特征向量的入堆概率越来越低但相对缓和。如果是按距离由近至远的中心特征向量来扫描,则p(i)应该服从如图3所示的p2的分布情况,即随着比较向量的增多,第二特征向量的入堆概率下降较快。
70.作为一种可选的实施例,假如遇到检索向量query为目标点q1的情况,即刚开始比较的特征向量已经是最近的待召回特征向量,则入堆概率应该服从如图3所示的p3分布情况,比p2的分布更陡峭,因此在遇到p3这种情况时,如果发现入堆概率的下降速率非常快,
例如,当检测到入堆概率已低于预设阈值,则可终止扫描操作,这样有很大概率已经基于检索向量确定待召回特征向量。通过本技术实施例可以根据检索向量,自动判断合适的扫描量,当大概率找到相关近邻点之后,可以自动停止扫描搜索后续节点,从而可以减少计算量,降低计算延迟时间。
71.在一种可选的实施例中,将上述待扫描的多个特征向量划分为上述多个批次特征向量包括:
72.步骤s602,基于上述第一特征向量的数量确定上述多个批次特征向量中每个批次特征向量所包含特征向量的数量;
73.步骤s604,按照每个批次特征向量所包含特征向量的数量将上述多个特征向量划分为上述多个批次特征向量。
74.作为一种可选的实施例,由于单个特征向量的入堆概率并不方便计算,为了高效准确的获得入堆概率,本技术实施例中的计算方式是将一批数据对应计算一次入堆概率,可选的,可以基于上述第一特征向量的数量确定上述多个批次特征向量中每个批次特征向量所包含特征向量的数量;并按照每个批次特征向量所包含特征向量的数量,将上述多个特征向量划分为上述多个批次特征向量。
75.例如,如果一次扫描1k个向量,如果其中有10次入堆,则认为对应的入堆概率是0.01。
76.在一种可选的实施例中,基于上述第一数量和上述第二数量确定上述终止扫描条件包括:
77.步骤s702,获取第一权重、第二权重和第一拟合概率,其中,上述第一权重为当前批次特征向量的当前扫描权重,上述第二权重为前一个批次特征向量的前序扫描权重,上述第一拟合概率为上述前一个批次特征向量的拟合概率;
78.步骤s704,采用上述第一数量和上述第二数量计算当前批次特征向量的实际概率,以及采用上述第一权重、上述第二权重、上述第一拟合概率和上述实际概率计算得到第二拟合概率,其中,上述第二拟合概率为上述当前批次特征向量的拟合概率;
79.步骤s706,基于上述第二拟合概率与预设概率的比较结果确定上述终止扫描条件。
80.可选的,在本技术实施例中,如果用户是确定top k的待召回特征向量,在选取堆时所采用的n》=k是为了扩大入堆概率,以便接入真实值。例如,如果用户如果k=10,采用topn=10的话则表明入堆概率非常低,不易计算。因此,通常情况下可以擦药n在1000以上比较适合。
81.另外,在实际扫描时,入堆概率可能是不完全平滑的,可能类似如图4中所示的波折线的情况作为一种可选的实施例,为了获得如图4所示的直线,即一个相对平滑的特征向量的分布,则需要叠加第二拟合概率和预设概率的比较结果确定终止条件。
82.在一种可选的实施例中,从上述多个批次特征向量的上述至少一个批次特征向量中扫描上述第一特征向量包括:
83.步骤s802,基于上述检索向量从上述多个批次特征向量随机选取上述至少一个批次特征向量,并从上述至少一个批次特征向量中扫描上述第一特征向量;或者,
84.步骤s804,基于上述检索向量按照向量距离由近至远的顺序从上述多个批次特征
向量选取上述至少一个批次特征向量,并从上述至少一个批次特征向量中扫描上述第一特征向量。
85.作为一种可选的实施例,本技术实施例中可以通过如下计算公式计算当前扫描向量的入堆概率pi(pi越小,说明距离越远):
86.pi=λ1p
i-1
λ2pi;
87.其中,p0=1,λ1=1/e,λ2=1-λ1。具体的,上述pi为实际概率,即为第i次入堆实际计算的概率(第i批向量入堆的量/第i批总的扫描量);pi为拟合概率,p0=1,λ1为前序扫描权重,取为数学自然对数e=2.718281828459045;λ2为当前扫描权重。
88.作为一种可选的实施例,本技术实施例中设定终止条件参数p,当拟合概率i小于p时,说明此时扫描向量距离已经较远,很小概率能被选为top k,即终止扫描操作;p默认可设置为0.01,越小则需要扫描更多的点,召回率越高。
89.需要说明的是,本技术实施例提供的计算当前扫描向量的入堆概率的计算公式以及参数取值并非唯一确定,可根据实际数据进行训练来选取,以可以实现本技术实施例为准。
90.通过本技术实施例,可以根据检索向量的实际情况来动态调整扫描数量,当发现已扫描向量已经是距离较近的待召回特征向量时,可提前终止扫描操作,从而在召回率不变情况下,可降低整体扫描量,从而提升检索性能。
91.本技术实施例提供提出一种根据检索向量扫描倒排表时,可根据检索向量与倒排索引中文档距离的分布情况,来动态调整扫描数量进行自适应检索的方式,并且,在事先无法准确知道距离最近事件的情况下,设计了一种利用大顶堆数据结构和入堆概率,来判断当前向量是否距离检索向量越来越远的实现方法,还可以利用入堆概率,设计一种判断终止条件的计算公式,以及对应的参数取值。
92.在上述运行环境下,本技术实施例还提供了如图5所示的一种目标对象的检索方法,图5是根据本技术实施例的一种目标对象的检索方法的流程图,如图5所示,上述目标对象的检索方法包括:
93.步骤s902,接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;
94.步骤s904,将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;
95.步骤s906,对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;
96.步骤s908,将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
97.本技术实施例所提供的上述目标对象的检索方法,可以但不限于应用在向量检索领域,例如,应用于采用倒排索引算法进行向量最近邻检索的场景中。
98.需要说明的是,本技术实施例的执行主体为服务端,在本技术实施例中,采用设定终止扫描条件的方式,服务端在接收客户端的检索请求之后,将检索请求中携带的检索对象,例如图片、文档、音频、视频等转化为检索向量,并将服务端本地待扫描的候选对象转化
为多个特征向量;对上述多个特征向量进行分批次扫描,获取基于上述检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作,将上述第一特征向量还原为目标对象,并向上述客户端反馈携带有上述目标对象的检索响应。
99.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
100.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
101.在上述运行环境下,本技术实施还提供了如图6所示的另一种目标对象的检索方法,图6是根据本技术实施例的另一种目标对象的检索方法的流程图,如图6所示,上述目标对象的检索方法包括:
102.步骤s1002,向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;
103.步骤s1004,接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
104.本技术实施例所提供的上述目标对象的检索方法,可以但不限于应用在向量检索领域,例如,应用于采用倒排索引算法进行向量最近邻检索的场景中。
105.需要说明的是,本技术实施例的执行主体为客户端,在本技术实施例中,采用设定终止扫描条件的方式,客户端向服务端发送检索请求,服务端在接收客户端的检索请求之后,将检索请求中携带的检索对象,例如图片、文档、音频、视频等转化为检索向量,并将服务端本地待扫描的候选对象转化为多个特征向量;对上述多个特征向量进行分批次扫描,获取基于上述检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作,将上述第一特征向量还原为目标对象,并向上述客户端反馈携带有上述目标对象的检索响应。
106.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
107.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
108.在上述运行环境下,本技术实施还提供了如图7所示的另一种目标对象的检索方
法,图7是根据本技术实施例的又一种目标对象的检索方法的流程图,如图7所示,上述目标对象的检索方法包括:
109.步骤s1102,获取检索请求,其中,上述检索请求中携带的信息包括:检索对象;
110.步骤s1104,将检索对象转化为检索向量,其中,终端本地待扫描的候选对象为多个特征向量;
111.步骤s1106,对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;
112.步骤s1108,将上述第一特征向量还原为目标对象,并显示上述目标对象。
113.本技术实施例所提供的上述目标对象的检索方法,可以但不限于应用在向量检索领域,例如,应用于采用倒排索引算法进行向量最近邻检索的场景中。
114.需要说明的是,本技术实施例的执行主体为终端,即可以单机实现上述目标对象的检索方法,在本技术实施例中,采用设定终止扫描条件的方式,终端通过获取客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,终端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并显示上述目标对象。
115.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
116.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
117.需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本技术并不受所描述的动作顺序的限制,因为依据本技术,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本技术所必须的。
118.通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个非易失性存储介质(如rom/ram、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本技术各个实施例上述的方法。
119.实施例2
120.根据本技术实施例,还提供了一种用于实施上述特征向量的处理方法的装置实施
例,图8是根据本技术实施例的一种特征向量的处理装置的结构示意图,如图8所示,该装置包括:划分模块70和处理模块72,其中:
121.划分模块70,用于将待扫描的多个特征向量划分为多个批次特征向量;处理模块72,用于从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
122.此处需要说明的是,上述划分模块70和处理模块72对应于实施例1中的步骤s202至步骤s204,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
123.根据本技术实施例,还提供了一种用于实施上述目标对象的检索方法的装置实施例,图9是根据本技术实施例的一种目标对象的检索装置的结构示意图,如图9所示,该装置包括:接收模块80、转化模块82、扫描模块84和还原模块86,其中:
124.接收模块80,用于接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;转化模块82,用于将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;扫描模块84,用于对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;还原模块86,用于将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
125.此处需要说明的是,上述接收模块80、转化模块82、扫描模块84和还原模块86对应于实施例1中的步骤s902至步骤s908,四个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
126.根据本技术实施例,还提供了另一种用于实施上述目标对象的检索方法的装置实施例,图10是根据本技术实施例的另一种目标对象的检索装置的结构示意图,如图10所示,该装置包括:请求模块90和响应模块92,其中:
127.请求模块90,用于向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;响应模块92,用于接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
128.此处需要说明的是,上述请求模块90和响应模块92对应于实施例1中的步骤s1002至步骤s1004,两个模块与对应的步骤所实现的实例和应用场景相同,但不限于上述实施例1所公开的内容。需要说明的是,上述模块作为装置的一部分可以运行在实施例1提供的计算机终端10中。
129.还需要说明的是,本实施例的优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
130.实施例3
131.根据本技术实施例,还提供了一种特征向量的处理设备的实施例,该特征向量的处理设备可以是计算设备群中的任意一个计算设备。图11是根据本技术实施例的一种特征向量的处理设备的结构示意图,如图11所示,该特征向量的处理设备包括:处理器1000和存储器1002,其中:
132.处理器1000;以及存储器1002,与上述处理器1000连接,用于为上述处理器提供处理以下处理步骤的指令:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
133.在本技术实施例中,采用设定终止扫描条件的方式,通过将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
134.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
135.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
136.还需要说明的是,本实施例的优选实施方式可以参见实施例1中的相关描述,此处不再赘述。
137.实施例4
138.根据本技术的实施例,还提供了一种计算机终端的实施例,该计算机终端可以是计算机终端群中的任意一个计算机终端设备。可选地,在本实施例中,上述计算机终端也可以替换为移动终端等终端设备。
139.可选地,在本实施例中,上述计算机终端可以位于计算机网络的多个网络设备中的至少一个网络设备。
140.在本实施例中,上述计算机终端可以执行特征向量的处理中以下步骤的程序代码:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
141.在本实施例中,上述计算机终端可以执行特征向量的处理中以下步骤的程序代码:接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包
括:上述目标对象。
142.在本实施例中,上述计算机终端可以执行特征向量的处理中以下步骤的程序代码:向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
143.可选地,图12是根据本技术实施例的另一种计算机终端的结构框图,如图12所示,该计算机终端可以包括:一个或多个(图中仅示出一个)处理器1102、存储器1104、以及外设接口1106。
144.其中,存储器可用于存储软件程序以及模块,如本技术实施例中的特征向量的处理和装置对应的程序指令/模块,处理器通过运行存储在存储器内的软件程序以及模块,从而执行各种功能应用以及数据处理,即实现上述的特征向量的处理方法。存储器可包括高速随机存储器,还可以包括非易失性存储器,如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中,存储器可进一步包括相对于处理器远程设置的存储器,这些远程存储器可以通过网络连接至计算机终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
145.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
146.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
147.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
148.处理器可以通过传输装置调用存储器存储的信息及应用程序,以执行下述步骤:获取检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,终端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次
扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并显示上述目标对象。
149.采用本技术实施例,采用设定终止扫描条件的方式,通过将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
150.容易注意到的是,本技术实施例通过设定终止扫描条件,在对待扫描的多个特征向量进行扫描时,将待扫描的多个特征向量划分为多个批次特征向量,并从上述多个批次特征向量的至少一个批次特征向量中,扫描得到基于检索向量确定的待召回特征向量,并在满足终止扫描条件时,停止扫描操作。
151.由此,本技术实施例达到了在检索特征向量时在满足终止扫描条件时停止扫描操的目的,从而实现了避免浪费不必要的计算资源,降低延迟处理时间的技术效果,进而解决了相关技术中在检索特征向量时采用固定比例或数量执行扫描操作,导致浪费计算资源的技术问题。
152.本领域普通技术人员可以理解,图12所示的结构仅为示意,计算机终端也可以是智能手机(如android手机、ios手机等)、平板电脑、掌声电脑以及移动互联网设备(mobile internet devices,mid)、pad等终端设备。图12其并不对上述电子装置的结构造成限定。例如,计算机终端11还可包括比图12中所示更多或者更少的组件(如网络接口、显示装置等),或者具有与图12所示不同的配置。
153.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成,该程序可以存储于一计算机可读非易失性存储介质中,非易失性存储介质可以包括:闪存盘、只读存储器(read-only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
154.实施例5
155.根据本技术的实施例,还提供了一种非易失性存储介质的实施例。可选地,在本实施例中,上述非易失性存储介质可以用于保存上述实施例1所提供的任意一项上述的特征向量的处理方法,或者上述的目标对象的检索方法所执行的程序代码。
156.可选地,在本实施例中,上述非易失性存储介质可以位于计算机网络中计算机终端群中的任意一个计算机终端中,或者位于移动终端群中的任意一个移动终端中。
157.可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:将待扫描的多个特征向量划分为多个批次特征向量;从上述多个批次特征向量的至少一个批次特征向量中扫描第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于检索向量确定的待召回特征向量。
158.可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:接收来自于客户端的检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,服务端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征
向量还原为目标对象,并向上述客户端反馈检索响应,其中,上述检索响应中携带的信息包括:上述目标对象。
159.可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:向服务端发送检索请求,其中,上述检索请求中携带的信息包括:检索对象;接收上述服务端反馈的检索响应,其中,上述检索响应中携带的信息包括:目标对象,上述目标对象由第一特征向量还原得到,上述第一特征向量是基于检索向量确定的待召回特征向量,上述检索向量由上述检索对象转化得到,上述第一特征向量由上述服务端将本地待扫描的候选对象转化为多个特征向量并对上述多个特征向量进行分批次扫描后所得到,并在满足终止扫描条件时,由上述服务端停止扫描操作。
160.可选地,在本实施例中,非易失性存储介质被设置为存储用于执行以下步骤的程序代码:获取检索请求,其中,上述检索请求中携带的信息包括:检索对象;将检索对象转化为检索向量,其中,终端本地待扫描的候选对象为多个特征向量;对上述多个特征向量进行分批次扫描,获取第一特征向量,并在满足终止扫描条件时,停止扫描操作,其中,上述第一特征向量是基于上述检索向量确定的待召回特征向量;将上述第一特征向量还原为目标对象,并显示上述目标对象。
161.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
162.在本技术的上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
163.在本技术所提供的几个实施例中,应该理解到,所揭露的技术内容,可通过其它的方式实现。其中,以上所描述的装置实施例仅仅是示意性的,例如所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,单元或模块的间接耦合或通信连接,可以是电性或其它的形式。
164.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
165.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
166.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取非易失性存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个非易失性存储介质中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的非易失性存储介质包括:u盘、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
167.以上所述仅是本技术的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本技术原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本技术的保护范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献