一种Milvus数据库参数确定方法、设备及存储介质与流程

一种milvus数据库参数确定方法、设备及存储介质
技术领域
1.本发明涉及信息检索领域，特别是涉及一种milvus数据库参数确定方法、设备及存储介质。


背景技术：

2.milvus数据库为一种数据向量库，旨在解决数据向量在普通关系型数据库中检索效率太低的问题。milvus数据库通过使用多种索引来实现数据向量的高效率检索，但使用索引进行数据向量的检索虽提升了效率，但还存在召回率降低的问题。
3.目前使用较多的为ivf-sq8索引，在建立索引和检索时，需要用到的主要参数为nlist和nprobe，nlist为在进行数据向量检索时所有向量的组数，nprobe为在进行数据向量检索时相似向量的组数。经实验证明，nlist和nprobe对召回率和检索时间有着很大的影响。虽然milvus官方给出了nlist的推荐设置值，但多种实验证明推荐值并不能适配所有场景。nprobe的设置也没有确切的值，需要大量实验才可得出，会耗费大量测试时间。且现有的nlist和nprobe参数值与召回率的对应参数表也不为准确，在数据向量检索时会产生误差。


技术实现要素：

4.针对上述技术问题，本发明提供一种milvus数据库参数确定方法、设备及存储介质，至少部分解决现有技术中存在的技术问题，本发明采用的技术方案为：根据本技术的一个方面，提供一种milvus数据库参数确定方法，应用于参数确定系统，参数确定系统通信连接有milvus数据库和外部矢量数据库，外部矢量数据库存储有与milvus数据库节点相同的若干数据向量；milvus数据库和外部矢量数据库的数据库类型不同，且milvus数据库和外部矢量数据库的数据向量的比对方法不同。
5.所述milvus数据库参数确定方法，包括如下步骤：s100、获取输入的目标召回率s0；s200、确定初始nprobe值l1和初始nlist值l2；s300、从外部矢量数据库中随机取出一数据向量，并将其确定为第一待比对向量；s400、根据第一待比对向量、l1和l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第一召回率s1；s500、将第一待比对向量放回外部矢量数据库，从外部矢量数据库中随机取出一数据向量，并将其确定为第二待比对向量；根据第二待比对向量、s0、s1、l1和l2，确定出l1对应的目标nprobe值l3；s600、根据第二待比对向量、s0、l3和l2，确定出l2对应的目标nlist值l4；s700、输出l3、l4和s3；其中，s3为根据第二待比对向量、l3和l4分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对后得到的第三召回率；s3≥s0。
6.在本技术的一种示例性实施例中，步骤s500，包括：
s510、获取l3=l1；s520、若s0＜s1，则执行步骤s530；若s0≥s1，则执行步骤s532；s530、将数值调整方向确定为第一方向，并执行步骤s531；s531、获取l3=l3*α，并执行步骤s540；其中，α＞1，α为第一预设系数；s532、将数值调整方向确定为第二方向，并执行步骤s533；其中，第二方向与第一方向互为反方向；s533、获取l3=l3/α，并执行步骤s540；s540、根据第二待比对向量、l3和l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第二召回率s2；s550、若|s
2-s1|＞β，则执行步骤s560；若|s
2-s1|≤β，则执行步骤s600；其中，β为预设的召回率阈值；s560、在当前的数值调整方向为第一方向时，若s2＜s0，则执行步骤s531；若s2≥s0，则执行步骤s600；在当前的数值调整方向为第二方向时，若s2≥s0，则执行步骤s533；若s2＜s0，则执行步骤s600。
7.在本技术的一种示例性实施例中，步骤s600，包括：s610、获取l4=l2；s620、若s2＜s0，则执行步骤s630；若s2≥s0，则执行步骤s632；s630、将数值调整方向确定为第二方向，并执行步骤s631；s631、获取l4=l4*γ，并执行步骤s640；其中，γ＜1，γ为第二预设系数；s632、将数值调整方向确定为第一方向，并执行步骤s633；s633、获取l4=l4/γ，并执行步骤s640；s640、根据第二待比对向量、l3和l4，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第三召回率s3；s650、在当前的数值调整方向为第二方向时，若s3＜s0，则执行步骤s631；若s3≥s0，则执行步骤s700；在当前的数值调整方向为第一方向时，若s3≥s0，则执行步骤s633；若s3＜s0，则执行步骤s660；s660、获取l4=l4*γ，并执行步骤s700。
8.在本技术的一种示例性实施例中，初始nlist值l2=4m
1/2
，其中，m为milvus数据库的数据存储层的数据段中实体的最大存储容量。
9.在本技术的一种示例性实施例中，初始nprobe值l1，通过以下步骤确定：s210、获取l0=l2*b；其中，b为预设的参数系数，b＜1；s220、若l0＜d，则确定l1=d；若l0≥d，则确定l1=l0；其中，d为预设的参数阈值。
10.在本技术的一种示例性实施例中，步骤s400，包括：s410、根据l1和l2，将第一待比对向量与milvus数据库中每一数据向量进行向量比对处理，获取第一待比对向量与milvus数据库中每一数据向量之间的相似度，得到第一相似度集q={q1,q2,
……
,qi,
……
,qn}；其中，i=1,2,
……
,n；n为milvus数据库中数据向量的数量；qi为第一待比对向量与milvus数据库中第i个数据向量之间的相似度；s420、根据l1和l2，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，获取第一待比对向量与外部矢量数据库中除第一待比对向量以外的每一数据向
量之间的相似度，得到第二相似度集e={e1,e2,
……
,ej,
……
,e
n-1
}；其中，j=1,2,
……
,n-1；ej为第一待比对向量与外部矢量数据库中第j个数据向量之间的相似度；s430、按照数值递减，对q1,q2,
……
,qi,
……
,qn进行排序，以得到第一排序列表w={w1,w2,
……
,wi,
……
,wn}；其中，wi为w中第i个相似度；s440、按照数值递减，对e1,e2,
……
,ej,
……
,e
n-1
进行排序，以得到第二排序列表f={f1,f2,
……
,fj,
……
,f
n-1
}；其中，fj为f中第j个相似度；s450、将w1,w2,
……
,wg,
……
,wk对应的数据向量确定为第一匹配向量，获取每一第一匹配向量，得到第三相似度集y={y1,y2,
……
,yg,
……
,yk}；其中，g=1,2,
……
,k；k为y中相似度的数量；k≤n-1；wg为w中第g个相似度；yg为y中第g个相似度；w1,w2,
……
,wg,
……
,wk为w中前k个相似度；s460、将f1,f2,
……
,fg,
……
,fk对应的数据向量确定为第二匹配向量，获取每一第二匹配向量，得到第四相似度集z={z1,z2,
……
,zg,
……
,zk}；其中，fg为f中第g个相似度；zg为z中第g个相似度；f1,f2,
……
,fg,
……
,fk为f中前k个相似度；s470、确定第一召回率s1=a/k；其中，a为y和z的交集中的相似度的数量。
11.在本技术的一种示例性实施例中，步骤s200，包括：s201、获取输入的原始nprobe值nl1和原始nlist值nl2；s202、若nl1≥d，且nl1≤nl2*b；则确定l1=nl1，l2=nl2。
12.在本技术的一种示例性实施例中，在步骤s300之后，该方法还包括：s310、进行与milvus数据库的数据连通测试；若数据连通成功，则执行步骤s320；若数据连通失败，则发送连通失败提示；s320、进行与外部矢量数据库的数据连通测试；若数据连通成功，则执行步骤s400；若数据连通失败，则发送连通失败提示。
13.根据本技术的一个方面，提供一种非瞬时性计算机可读存储介质，所述存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现所述milvus数据库参数确定方法。
14.根据本技术的一个方面，提供一种电子设备，包括处理器和所述非瞬时性计算机可读存储介质。
15.本发明至少具有以下有益效果：本发明的milvus数据库参数确定方法，根据第一待比对向量、初始nprobe值l1和初始nlist值l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，得到第一召回率s1，对比s1和s0，确定nprobe值的数值调整方向，并对l3赋值，根据第二待比对向量、l3和l2，得到第二召回率s2，若s2与s1的差值不大于召回率阈值，则将l3确定为目标nprobe值；再对比s2和s0，确定nlist值的数值调整方向，并对l4赋值，根据第二待比对向量、l3和l4，得到第三召回率s3，若s3不小于s0，则将l4确定为目标nlist值。以每次得出的召回率与目标召回率做比较，来确定nprobe值和nlist值的枚举方向，使得可在短时间内获取准确的nprobe值和nlist值，较现有技术需用大量数据递归遍历nprobe值和nlist值并计算召回率的枚举实验相比，本发明的枚举实验次数少且获得的nprobe值和nlist值更为精确，实验人员无需制定复杂的实验方案即可确定nprobe值和nlist值并立即进行milvus数据库的使用，用户在使用milvus数据库进行数据向量检索时也无需输入nprobe值和nlist值，简便了
用户的处理过程。且通过确定的nprobe值和nlist值与对应得到的召回率做参数记录表，便于在用户输入目标召回率时，即可通过查询参数记录表得知对应的nprobe值和nlist值，而不用再次进行参数实验。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1为本发明实施例提供的milvus数据库参数确定方法的流程图；图2为本发明实施例提供的参数确定系统的连接示意图；图3为本发明实施例提供的nprobe参数和召回率之间的关系图；图4为本发明实施例提供的nlist参数和召回率之间的关系图；图5为本发明实施例提供的nprobe参数和实验所用时长之间的关系图。
具体实施方式
18.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.milvus数据库为一种数据向量库，旨在解决人工智能和深度学习大发展环境下数据向量在普通关系型数据库中检索效率太低的问题。milvus数据库通过使用多种索引来实现数据向量的高效率检索，其中，包括ivf-flat（倒序索引）、ivf-sq8（特征索引）、hnsw（结构索引）等索引手段。使用索引检索避免了全表查询，极大的提升了检索效率。
20.但使用索引进行数据向量的检索虽提升了效率，但还存在召回率降低的问题。目前使用较多的为ivf-sq8索引，在建立索引和检索时，需要用到的主要参数为nlist和nprobe，nlist为在进行数据向量检索时所有向量的组数，nprobe为在进行数据向量检索时相似向量的组数。经实验证明，nlist和nprobe对召回率和检索时间有着很大的影响。虽然milvus官方给出了nlist的推荐设置值，但多种实验证明推荐值并不能适配所有场景。nprobe的设置也没有确切的值，需要大量实验才可得出，会耗费大量时间。另外，召回率作为评判检索效果的量值。目前的一些计算方法无法准确反映索引在多种数据上的表现，所以，就需提供一种可以通过不同的枚举规则来精确获得数据向量的检索参数（nlist和nprobe）的方法。
21.具体的，milvus数据库参数确定方法，如图2所示，应用于参数确定系统，参数确定系统通信连接有milvus数据库和外部矢量数据库，外部矢量数据库为矢量数据库，外部矢量数据库存储有与milvus数据库节点相同的若干数据向量；milvus数据库和外部矢量数据库的数据库类型不同，且milvus数据库和外部矢量数据库的数据向量的比对方法不同。
22.参数确定系统为根据不同的nlist和nprobe的取值来确定输出的目标nlist和目标nprobe的测试系统，外部矢量数据库为milvus数据库的对比数据库，其作用为根据不同
取值的nlist和nprobe来输出不同的召回率，通过输出的召回率和用户输入的召回率之间的比较来确定nlist和nprobe的目标取值。
23.所述milvus数据库参数确定方法，如图1所示，包括如下步骤：s100、获取输入的目标召回率s0；目标召回率s0为用户或测试员输入的召回率值，为最终要确定的nlist和nprobe对应的召回率值或最接近的召回率值；s200、确定初始nprobe值l1和初始nlist值l2；初始nprobe值l1和初始nlist值l2有两种方法确定，一种为用户输入的初始值，一种为根据milvus数据库的结构特性得到的初始值。
24.进一步，步骤s200，包括：s201、获取输入的原始nprobe值nl1和原始nlist值nl2；s202、若nl1≥d，且nl1≤nl2*b；则确定l1=nl1，l2=nl2；其中，b为预设的参数系数，b＜1；d为预设的参数阈值。
25.步骤s201和s202即为初始nprobe值l1和初始nlist值l2的第一种确定方法，原始nprobe值nl1和原始nlist值nl2即为用户输入的初始值，但为了保证用户输入的初始值为正确参数，或符合数据向量检索的参数，就需对nl1和nl2进行判断比较。只有同时满足nl1≥d且nl1≤nl2*b两个条件，才能将nl1确定为l1，将nl2确定为l2，b为nl1和nl2之间的关联系数，一般取1/32，d为参数阈值，一般取8，因为要进行数据向量检索的nprobe参数值不能小于参数阈值，所以，通过nl1≥d这个条件来确定用户输入的nl1是否满足条件，若nl1和nl2同时满足此两个条件，则优先选用用户输入的nl1和nl2，若用户输入的nl1和nl2不满足上述其中一个条件，则返回输入参数不满足条件提示，以告知用户其输入的nl1和nl2不满足数据向量检索条件，需重新输入，若用户选择不再输入，或用户在开始阶段也未输入nl1和nl2，则参数确定系统选用第二种初始nprobe值l1和初始nlist值l2的确定方法。
26.第二种初始nprobe值l1和初始nlist值l2的确定方法为：s203、初始nlist值l2=4m
1/2
，其中，m为milvus数据库的数据存储层的数据段中实体的最大存储容量；s210、获取l0=l2*b；s220、若l0＜d，则确定l1=d；若l0≥d，则确定l1=l0；初始nprobe值l1和初始nlist值l2的第二种确定方法中，是在用户未输入原始nprobe值nl1和原始nlist值nl2的情况下进行的，先获取milvus数据库的数据存储层的数据段中实体的最大存储容量m，再将m取根号乘4，得到初始nlist值l2，再将l2乘关联系数b得到l0，判断l0是否小于预设的参数阈值d，若是，则表示得到的l0不符合数据向量检索的nprobe参数值的要求，则将l1取参数阈值d；若否，则表示得到的l0符合数据向量检索的nprobe参数值的要求，则将l0确定为l1；s300、从外部矢量数据库中随机取出一数据向量，并将其确定为第一待比对向量；因为外部矢量数据库为milvus数据库的对比数据库，所以，从中随机取出一个数据向量作为第一待比对向量，用于做后续的向量比对工作。
27.s400、根据第一待比对向量、l1和l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第一召回率s1；
由于已经确定出了l1和l2，就需以第一待比对向量作为输入向量，以l1和l2作为初始的数据向量检索参数，分别与milvus数据库和外部矢量数据库中每一数据向量进行向量比对，再根据向量比对的结果得到第一次向量检索的召回率s1。
28.具体的，步骤s400，包括：s410、根据l1和l2，将第一待比对向量与milvus数据库中每一数据向量进行向量比对处理，获取第一待比对向量与milvus数据库中每一数据向量之间的相似度，得到第一相似度集q={q1,q2,
……
,qi,
……
,qn}；其中，i=1,2,
……
,n；n为milvus数据库中数据向量的数量；qi为第一待比对向量与milvus数据库中第i个数据向量之间的相似度；s420、根据l1和l2，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，获取第一待比对向量与外部矢量数据库中除第一待比对向量以外的每一数据向量之间的相似度，得到第二相似度集e={e1,e2,
……
,ej,
……
,e
n-1
}；其中，j=1,2,
……
,n-1；ej为第一待比对向量与外部矢量数据库中第j个数据向量之间的相似度；s430、按照数值递减，对q1,q2,
……
,qi,
……
,qn进行排序，以得到第一排序列表w={w1,w2,
……
,wi,
……
,wn}；其中，wi为w中第i个相似度；s440、按照数值递减，对e1,e2,
……
,ej,
……
,e
n-1
进行排序，以得到第二排序列表f={f1,f2,
……
,fj,
……
,f
n-1
}；其中，fj为f中第j个相似度；s450、将w1,w2,
……
,wg,
……
,wk对应的数据向量确定为第一匹配向量，获取每一第一匹配向量，得到第三相似度集y={y1,y2,
……
,yg,
……
,yk}；其中，g=1,2,
……
,k；k为y中相似度的数量；k≤n-1；wg为w中第g个相似度；yg为y中第g个相似度；w1,w2,
……
,wg,
……
,wk为w中前k个相似度；s460、将f1,f2,
……
,fg,
……
,fk对应的数据向量确定为第二匹配向量，获取每一第二匹配向量，得到第四相似度集z={z1,z2,
……
,zg,
……
,zk}；其中，fg为f中第g个相似度；zg为z中第g个相似度；f1,f2,
……
,fg,
……
,fk为f中前k个相似度；s470、确定第一召回率s1=a/k；其中，a为y和z的交集中的相似度的数量；步骤s400中，先根据l1和l2，将第一待比对向量与milvus数据库中每一数据向量进行向量比对处理，得到第一待比对向量与milvus数据库中每一数据向量做向量比对的相似度集q，再根据l1和l2，将第一待比对向量与外部矢量数据库中每一数据向量进行向量比对处理，得到第一待比对向量与外部矢量数据库中每一数据向量做向量比对的相似度集e，再分别对q和e中的所有相似度根据数值由大到小进行排序，各选择排序后的前k个相似度，由于外部矢量数据库与milvus数据库的向量比对方法不同，所以，同一个数据向量在两个数据库中所得到的相似度的值也可能不同，选两个排序后的相似度集合中各前k个相似度做相交处理，得到相交后的相似度的数量a，再将a与k做比值，得到第一召回率s1。
29.如图5所示，由于nprobe值对召回率和耗时的影响较大，且改变nlist值需要重建索引，耗时较高，因此，优先考虑枚举nprobe值，先确定目标nprobe值，再确定目标nlist值。
30.s500、将第一待比对向量放回外部矢量数据库，从外部矢量数据库中随机取出一数据向量，并将其确定为第二待比对向量；根据第二待比对向量、s0、s1、l1和l2，确定出l1对应的目标nprobe值l3；得出第一召回率s1后，将s1和s0做数值比较，再根据比较结果和不同的枚举方向，确定出目标nprobe值l3。
31.具体的，步骤s500，包括：s510、获取l3=l1；s520、若s0＜s1，则执行步骤s530；若s0≥s1，则执行步骤s532；s530、将数值调整方向确定为第一方向，并执行步骤s531；s531、获取l3=l3*α，并执行步骤s540；其中，α＞1，α为第一预设系数；α根据现有技术中nprobe参数测试的枚举规则而定，从大于1的最小整数开始枚举，α越大，则l3也对应越大；s532、将数值调整方向确定为第二方向，并执行步骤s533；其中，第二方向与第一方向互为反方向；s533、获取l3=l3/α，并执行步骤s540；s540、根据第二待比对向量、l3和l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第二召回率s2；s550、若|s
2-s1|＞β，则执行步骤s560；若|s
2-s1|≤β，则执行步骤s600；其中，β为预设的召回率阈值；β根据现有技术中召回率测试的阈值而定；s560、在当前的数值调整方向为第一方向时，若s2＜s0，则执行步骤s531；若s2≥s0，则执行步骤s600；在当前的数值调整方向为第二方向时，若s2≥s0，则执行步骤s533；若s2＜s0，则执行步骤s600；步骤s500为目标nprobe值l3的确定方法步骤，先将l1赋值给l3，再对比s0和s1的数值大小，若s0＜s1，则将第一方向确定为数值调整方向，即枚举方向为第一方向，再将l3*α赋值给新的l3；若s0≥s1，则将第二方向确定为数值调整方向，即枚举方向为第二方向，再将l3/α赋值给新的l3，再根据当前的l3、l2，将第二待比对向量与milvus数据库和外部矢量数据库中的每一数据向量分别进行向量比对，得到第二召回率s2。
32.如图3所示，通过现有的数据向量比对实验可知，随着nprobe值的增大，召回率增长率会逐渐减小，最终会接近某一个值，因此，当枚举nprobe值时，只要上一轮的召回率与本轮的召回率相差在一个阈值内时，就结束nprobe值的枚举，将当前nprobe值确定为目标nprobe值，也加快了实验速度，缩小了参数确定的时间。所以，在得到第二召回率s2后，将s2与s1做差值，并取绝对值，将差值与召回率阈值β做比较，若大于β，则说明该轮数据向量比对得到的召回率与上轮数据向量比对得到的召回率的差值偏大，可以继续按照原数值调整方向来对nprobe值进行数值大小调整，直到某一轮数据向量比对的召回率和其上轮数据向量比对的召回率的差值小于等于β或某一轮数据向量比对的召回率高于或低于目标召回率为止，高于或低于目标召回率的判断条件以步骤s560中所述为判断依据；若差值不大于β，则说明该轮数据向量比对得到的召回率与上轮数据向量比对得到的召回率的差值较小，说明再继续调整nprobe值，对召回率的影响也不大，所以，将此时的l3确定为目标nprobe值。
33.第一方向为召回率减小方向，目的是为了调小召回率；第二方向为召回率增大方向，目的是为了增大召回率，以使每轮数据向量比对得到的召回率更接近目标召回率。
34.s600、根据第二待比对向量、s0、l3和l2，确定出l2对应的目标nlist值l4；确定出目标nprobe值l3后，将s2和s0做数值比较，再根据比较结果和不同的枚举方向，确定出目标nlist值l4。
35.具体的，步骤s600，包括：
s610、获取l4=l2；s620、若s2＜s0，则执行步骤s630；若s2≥s0，则执行步骤s632；s630、将数值调整方向确定为第二方向，并执行步骤s631；s631、获取l4=l4*γ，并执行步骤s640；其中，γ＜1，γ为第二预设系数；γ根据现有技术中nlist参数测试的枚举规则而定，γ越小，得到的下一个l4越小；s632、将数值调整方向确定为第一方向，并执行步骤s633；s633、获取l4=l4/γ，并执行步骤s640；s640、根据第二待比对向量、l3和l4，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，以得到第三召回率s3；s650、在当前的数值调整方向为第二方向时，若s3＜s0，则执行步骤s631；若s3≥s0，则执行步骤s700；在当前的数值调整方向为第一方向时，若s3≥s0，则执行步骤s633；若s3＜s0，则执行步骤s660；s660、获取l4=l4*γ，并执行步骤s700；步骤s600为目标nlist值l4的确定方法步骤，其与目标nprobe值l3的确定方法相同，先将l2赋值给l4，再对比s2和s0的数值大小，若s2＜s0，则将第一方向确定为数值调整方向，即枚举方向为第一方向，再将l4*γ赋值给新的l4；若s2≥s0，则将第二方向确定为数值调整方向，即枚举方向为第二方向，再将l4/γ赋值给新的l4，再根据当前的l4、l3，将第二待比对向量与milvus数据库和外部矢量数据库中的每一数据向量分别进行向量比对，得到第三召回率s3。
36.在确定目标nprobe值l3和目标nlist值l4时，所进行的每轮向量比对的待比对向量可以采用上一轮的待比对向量，即第二待比对向量，也可将第二待比对向量放回外部矢量数据库中，再从外部矢量数据库中重新随机取出一个待比对向量作为第三待比对向量，进行新一轮的向量比对，确保每轮向量比对所产生的召回率之间没有关联，保证得到的召回率和nprobe、nlist参数的准确性。且目标nprobe值l3和目标nlist值l4的确定方法在实际测试时是同时进行的，即确定目标nprobe值时，随即也确定了目标nlist值，但为了说明两个参数的不同测试步骤，本发明的参数确定方法特将其分开说明。
37.如图4所示，通过现有的数据向量比对实验可知，随着nlist值的增大，召回率会逐渐减小，nlist参数和召回率为负相关。因此，当数值调整方向为第一方向，即召回率减小方向时，就要增大nlist值，反之，数值调整方向为第二方向，即召回率增大方向时，就要减小nlist值。再根据当前的l3和l4，将第二待比对向量与milvus数据库和外部矢量数据库中的每一数据向量进行向量比对，得到第三召回率s3。再判断s3和s0的数值大小，若当前数值调整方向为第二方向，且s3＜s0，则表示此时的召回率还未达到目标召回率的标准或高于目标召回率，还需要对nlist值继续减小，直至得到的召回率高于或等于目标召回率时，将当前的召回率对应的l4确定为目标nlist值；若当前数值调整方向为第二方向，且s3≥s0，则表示此时的召回率已经达到目标召回率的标准（等于或高于目标召回率），则将此时的l4确定为目标nlist值；若当前数值调整方向为第一方向，且s3≥s0，则表示此时的召回率还未接近目标召回率，还需要对nlist值继续增大，使得到的召回率继续降低，直至得到的召回率低于目标召回率时，将上一轮的召回率对应的l4确定为目标nlist值；若当前数值调整方向为第一方向，且s3＜s0，则表示此时的召回率已经不满足目标召回率的标准，则将上一轮的召回
率对应的l4确定为目标nlist值。
38.步骤s500和步骤s600中的向量比对的方法与步骤s400相同，只是做向量比对的nprobe参数和nlist参数不同，其召回率的获得方法是相同的。
39.s700、输出l3、l4和s3；其中，s3为根据第二待比对向量、l3和l4分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对后得到的第三召回率；s3≥s0。
40.此外，在步骤s300之后，还需对milvus数据库和外部矢量数据库做数据向量比对前的数据连通测试方法，具体为：s310、进行与milvus数据库的数据连通测试；若数据连通成功，则执行步骤s320；若数据连通失败，则发送连通失败提示；s320、进行与外部矢量数据库的数据连通测试；若数据连通成功，则执行步骤s400；若数据连通失败，则发送连通失败提示。
41.本发明的milvus数据库参数确定方法，根据第一待比对向量、初始nprobe值l1和初始nlist值l2，分别对milvus数据库和外部矢量数据库中的数据向量进行向量比对，得到第一召回率s1，对比s1和s0，确定nprobe值的数值调整方向，并对l3赋值，根据第二待比对向量、l3和l2，得到第二召回率s2，若s2与s1的差值不大于召回率阈值，则将l3确定为目标nprobe值；再对比s2和s0，确定nlist值的数值调整方向，并对l4赋值，根据第二待比对向量、l3和l4，得到第三召回率s3，若s3不小于s0，则将l4确定为目标nlist值。以每次得出的召回率与目标召回率做比较，来确定nprobe值和nlist值的枚举方向，使得可在短时间内获取准确的nprobe值和nlist值，较现有技术需用大量数据递归遍历nprobe值和nlist值并计算召回率的枚举实验相比，本发明的枚举实验次数少且获得的nprobe值和nlist值更为精确，实验人员无需制定复杂的实验方案即可确定nprobe值和nlist值并立即进行milvus数据库的使用，用户在使用milvus数据库进行数据向量检索时也无需输入nprobe值和nlist值，简便了用户的处理过程。且通过确定的nprobe值和nlist值与对应得到的召回率做参数记录表，便于在用户输入目标召回率时，即可通过查询参数记录表得知对应的nprobe值和nlist值，而不用再次进行参数实验。
42.本发明的实施例还提供了一种非瞬时性计算机可读存储介质，该存储介质可设置于电子设备之中以保存用于实现方法实施例中一种方法相关的至少一条指令或至少一段程序，该至少一条指令或该至少一段程序由该处理器加载并执行以实现上述实施例提供的方法。
43.本发明的实施例还提供了一种电子设备，包括处理器和前述的非瞬时性计算机可读存储介质。
44.本发明的实施例还提供一种计算机程序产品，其包括程序代码，当所述程序产品在电子设备上运行时，所述程序代码用于使该电子设备执行本说明书上述描述的根据本发明各种示例性实施方式的方法中的步骤。
45.虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员还应理解，可以对实施例进行多种修改而不脱离本发明的范围和精神。本发明开的范围由所附权利要求来限定。