一种搜索方法和相关装置与流程

1.本技术涉及数据处理技术领域，特别是涉及一种搜索方法和相关装置。


背景技术：

2.数据湖作为一种在系统或者存储库中以自然格式存储数据的方法，被广泛用于数据分析领域。
3.在数据湖中，通常以各种模式和结构形式配置数据，主要用于实现数据的统一存储，能够将原始数据(比如源系统数据的精确副本)转换为用于报告、可视化、分析和机器学习等各种任务的转换数据。可见，数据湖中存储有丰富的数据，为了方便数据分析师进行数据搜索完成数据分析等工作，一般为数据湖构建有标签体系来代表源数据的表字段等。
4.然而，随着数据湖存储数据的增多，数据湖标签也越来越多，标签体系也越来越复杂，这将导致基于字符匹配的数据搜索的效率以及准确性都不尽如意，影响数据分析效率。


技术实现要素：

5.为了解决上述技术问题，本技术提供了一种搜索方法和相关装置，能够提高基于数据湖的数据分析效率。
6.本技术实施例公开了如下技术方案：
7.一方面，本技术实施例提供了一种搜索方法，所述方法包括：
8.获取目标搜索内容；
9.对所述目标搜索内容进行标签提取处理，得到所述目标搜索内容对应的n个搜索标签；
10.在数据湖的标签体系中，分别对所述n个搜索标签进行搜索，获得n个结果标签；所述n个结果标签与所述n个搜索标签一一对应；
11.分别计算所述n个结果标签中的每一个结果标签与所述每一个结果标签对应的搜索标签之间的相似度得分，获得n个相似度得分；
12.根据所述n个相似度得分确定目标搜索结果标签。
13.可选的，所述根据所述n个相似度得分确定目标搜索结果标签，包括：
14.将相似度得分最大值对应的结果标签确定为所述目标搜索结果标签。
15.可选的，所述根据所述n个相似度得分确定目标搜索结果标签，包括：
16.将相似度得分最大值对应的搜索标签作为主标签；
17.分别计算待定搜索标签中的每一个待定搜索标签与所述主标签的关联度得分；所述待定搜索标签为所述n个搜索标签中除所述主标签外的搜索标签；
18.根据所述每一个待定搜索标签的相似度得分和所述关联度得分确定所述每一个待定搜索标签的加权得分；
19.将加权得分最大值对应的待定搜索标签作为辅助标签；
20.将所述主标签对应的结果标签和所述辅助标签对应的结果标签，确定为所述目标
搜索结果标签。
21.可选的，还包括：
22.根据预设标签维度对所述数据湖进行标签梳理，得到所述数据湖的标签体系。
23.可选的，还包括：
24.获取训练样本集；所述训练样本集中的每一个训练样本包括搜索内容样本和样本标签，所述样本标签为所述搜索内容样本对应的预设标签维度下的搜索标签；
25.根据所述训练样本集对初始语言模型进行模型训练，得到标签提取模型；
26.所述对所述目标搜索内容进行标签提取处理，得到所述目标搜索内容对应的n个搜索标签，包括：
27.通过所述标签提取模型对所述目标搜索内容进行标签提取处理，得到所述n个搜索标签。
28.可选的，还包括：
29.从所述数据湖中调用所述目标搜索结果标签对应的源数据；
30.对所述源数据进行数据分析，得到数据分析结果。
31.另一方面，本技术实施例提供了一种搜索装置，所述装置包括获取单元、提取单元、搜索单元、计算单元和确定单元：
32.所述获取单元，用于获取目标搜索内容；
33.所述提取单元，用于对所述目标搜索内容进行标签提取处理，得到所述目标搜索内容对应的n个搜索标签；
34.所述搜索单元，用于在数据湖的标签体系中，分别对所述n个搜索标签进行搜索，获得n个结果标签；所述n个结果标签与所述n个搜索标签一一对应；
35.所述计算单元，用于分别计算所述n个结果标签中的每一个结果标签与所述每一个结果标签对应的搜索标签之间的相似度得分，获得n个相似度得分；
36.所述确定单元，用于根据所述n个相似度得分确定目标搜索结果标签。
37.可选的，所述确定单元还用于：
38.将相似度得分最大值对应的结果标签确定为所述目标搜索结果标签。
39.可选的，所述确定单元还用于：
40.将相似度得分最大值对应的搜索标签作为主标签；
41.分别计算待定搜索标签中的每一个待定搜索标签与所述主标签的关联度得分；所述待定搜索标签为所述n个搜索标签中除所述主标签外的搜索标签；
42.根据所述每一个待定搜索标签的相似度得分和所述关联度得分确定所述每一个待定搜索标签的加权得分；
43.将加权得分最大值对应的待定搜索标签作为辅助标签；
44.将所述主标签对应的结果标签和所述辅助标签对应的结果标签，确定为所述目标搜索结果标签。
45.可选的，还包括梳理单元：
46.所述梳理单元，用于根据预设标签维度对所述数据湖进行标签梳理，得到所述数据湖的标签体系。
47.可选的，还包括训练单元，所述训练单元用于：
48.获取训练样本集；所述训练样本集中的每一个训练样本包括搜索内容样本和样本标签，所述样本标签为所述搜索内容样本对应的预设标签维度下的搜索标签；
49.根据所述训练样本集对初始语言模型进行模型训练，得到标签提取模型；
50.所述提取单元，还用于通过所述标签提取模型对所述目标搜索内容进行标签提取处理，得到所述n个搜索标签。
51.可选的，还包括调用单元和分析单元：
52.所述调用单元，用于从所述数据湖中调用所述目标搜索结果标签对应的源数据；
53.所述分析单元，用于对所述源数据进行数据分析，得到数据分析结果。
54.又一方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器以及存储器：
55.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
56.所述处理器用于根据所述程序代码中的指令执行以上方面所述的搜索方法。
57.又一方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行以上方面所述的搜索方法。
58.又一方面，本技术实施例提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得所述计算机执行以上方面所述的搜索方法。
59.由上述技术方案可以看出，当需要基于数据湖进行数据分析时，可以首先获取目标搜索内容，该目标搜索内容能够表征此次数据分析需求，并对目标搜索内容进行标签提取处理以得到其所对应的n个搜索标签，然后在数据湖的标签体系中，分别对该n个搜索标签进行搜索，得到n个结果标签，其中，n个结果标签与n个搜索标签一一对应，进而分别计算每一个结果标签与其对应的搜索标签之间的相似度得分，得到n个相似度得分，最后根据n个相似度得分确定目标搜索结果标签。由于n个搜索标签均为目标搜索内容对应的，而目标搜索结果标签是基于相似度得分确定出的，因此目标搜索结果标签与目标搜索内容相匹配，进而可以利用该目标搜索结果标签从数据湖中调用源数据以完成此次数据分析，基于此，能够提高对数据湖标签体系的搜索结果的准确度，从而提高数据分析效率。
附图说明
60.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
61.图1为本技术实施例提供的一种搜索方法的流程图；
62.图2为本技术实施例提供的一种搜索装置的结构图。
具体实施方式
63.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
64.数据湖作为一种在系统或者存储库中以自然格式存储数据的方法，被广泛用于数据分析领域。在数据湖中，存储有丰富的数据，为了方便数据分析师进行数据搜索完成数据分析等工作，一般为数据湖构建有标签体系来代表源数据的表字段等。
65.然而，随着数据湖存储数据的增多，数据湖标签也越来越多，标签体系也越来越复杂，这将导致基于字符匹配的数据搜索的效率以及准确性都不尽如意，影响数据分析效率。
66.为了解决上述技术问题，本技术提供了一种搜索方法和相关装置，能够提高基于数据湖的数据分析效率。
67.本技术实施例所提供的搜索方法可以通过计算机设备实施，该计算机设备可以是终端设备或服务器，其中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。终端设备包括但不限于手机、电脑、智能语音交互设备、智能家电、车载终端等。终端设备以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本技术对此不做任何限制。
68.需要说明的是，本技术提供的一种搜索方法和相关装置可用于大数据领域或金融领域。上述仅为示例，并不对本技术提供的一种搜索方法和相关装置的应用领域进行限定。
69.具体通过如下实施例进行说明：
70.图1为本技术实施例提供的一种搜索方法的流程图，在本实施例中，以终端设备作为前述计算机设备为例进行说明，所述方法包括s101-s105：
71.s101：获取目标搜索内容。
72.s102：对目标搜索内容进行标签提取处理，得到目标搜索内容对应的n个搜索标签。
73.当数据分析师需要基于数据湖进行数据分析时，可以首先获取目标搜索内容，该目标搜索内容能够表征此次数据分析的需求，进而对目标搜索内容进行标签提取处理，得到该目标搜索内容对应的n个搜索标签，以便于进行后续的搜索步骤。
74.在一种可能的实现方式中，s102可以包括以下步骤：
75.通过标签提取模型对目标搜索内容进行标签提取处理，得到n个搜索标签。
76.具体的，可以通过标签提取模型对目标搜索内容进行标签提取处理以得到其所对应的n个搜索标签；标签提取模型是预先训练得到的，基于此，能够快速确定出目标搜索内容所对应的搜索标签。其中，标签提取模型是通过如下方式训练得到的：
77.获取训练样本集；训练样本集中的每一个训练样本包括搜索内容样本和样本标签，样本标签为搜索内容样本对应的预设标签维度下的搜索标签；
78.根据训练样本集对初始语言模型进行模型训练，得到标签提取模型。
79.具体的，可以首先获取训练样本集，该训练样本集中的每一个训练样本包括搜索内容样本和样本标签，其样本标签是搜索内容样本对应的预设标签维度下的搜索标签，具体可以通过人工打标的方式确定；进而根据训练样本集对初识语言模型进行训练得到标签提取模型。需要说明的是，初始语言模型可以根据实际情况选择，本技术对此不做任何限定。比如可以是语义模型。
80.s103：在数据湖的标签体系中，分别对n个搜索标签进行搜索，获得n个结果标签。
81.当确定出目标搜索内容对应的n个搜索标签后，可以在数据湖的标签体系中，分别对n个搜索标签进行所述，以得到n个结果标签；其中，n个结果标签与n个搜索标签一一对
应。
82.一般的，数据湖的标签体系较为复杂，从而导致基于数据湖标签体系的搜索效率较低以及搜索结果准确度较低。为了能够提高基于数据湖标签体系的搜索结果准确度，在一种可能的实现方式中，可以根据预设标签维度对数据湖进行标签梳理，得到数据湖的标签体系。
83.具体的，可以根据预设标签维度对数据湖进行标签梳理以得到数据湖的标签体系。其中，预设标签维度可以是基于当前数据湖对应的实际业务内容确定的，基于此，根据预设标签维度对其进行标签梳理之后得到的标签体系具有与业务内容相匹配的层级结构，以便于后续搜索等。比如，对于实际业务内容为银行交易时，相应的，可以将预设标签维度设置为区间、业务、操作以及属性的层级结构；其中，区间可以表示银行交易对应的交易时间范围(如2022年间等)，业务可以表示银行交易对应的具体业务类型(如信用卡业务等)，操作可以表示银行交易对应的具体交易类型(如消费、逾期等)，属性可以表示银行交易对应的具体交易情况(如交易额、交易标签值等)。
84.s104：分别计算n个结果标签中的每一个结果标签与每一个结果标签对应的搜索标签之间的相似度得分，获得n个相似度得分。
85.s105：根据n个相似度得分确定目标搜索结果标签。
86.进而可以分别计算n个结果标签中的每一个结果标签与其对应的搜索标签之间的相似度得分，以获得n个相似度得分，以便于进行后续步骤。
87.在一种可能的实现方式中，可以对每一个标签进行向量化处理，通过向量余弦距离计算相似度得分。需要说明的是，由于数据湖的标签体系是基于预设标签维度建立的多级标签，因此每一个结果标签是具有预设标签维度的多级标签，进而，可以分别计算每一维度标签与其对应的搜索标签的相似度得分，最后累加多维度的相似度得分作为其对应的搜索标签的相似度得分。
88.最后，可以根据n个相似度得分确定目标搜索结果标签，该目标搜索结果标签是与目标搜索内容相匹配的，即，是与当次数据分析需求相匹配的，以便于进行后续的搜索以及数据分析等处理。
89.在一种可能的实现方式中，可以将相似度得分最大值对应的结果标签确定为目标搜索结果标签。由于n个结果标签是基于n个搜索标签在数据湖标签体系中搜索获得的，而n个搜索标签是目标搜索内容相对应的，因此，相似度得分最大值对应的结果标签是与目标搜索内容相匹配的，故可以直接将其作为目标搜索结果标签，以便于进行后续的搜索以及数据分析等处理。
90.在又一种可能的实现方式中，s105还可以包括以下步骤：
91.将相似度得分最大值对应的搜索标签作为主标签；
92.分别计算待定搜索标签中的每一个待定搜索标签与主标签的关联度得分；待定搜索标签为n个搜索标签中除主标签外的搜索标签；
93.根据每一个待定搜索标签的相似度得分和关联度得分确定每一个待定搜索标签的加权得分；
94.将加权得分最大值对应的待定搜索标签作为辅助标签；
95.将主标签对应的结果标签和辅助标签对应的结果标签，确定为目标搜索结果标
签。
96.具体的，可以首先将相似度得分最大值所对应的搜索标签作为主标签，进而通过计算待定搜索标签与主标签的关联度得分，以便从待定搜索标签中确定出辅助标签；其中，待定搜索标签是指n个搜索标签中除主标签外的搜索标签，待定搜索标签与主标签的关联度得分能够表示待定搜索标签与主标签之间的关联程度，故关联度得分最大值对应的待定搜索标签是与主标签关联程度最大，进而可以将其作为辅助标签，从而将主标签与辅助标签分别对应的结果标签确定为目标搜索结果标签。基于此，根据目标搜索结果标签能够从数据湖中调用更为丰富的源数据，以便于更好地进行数据分析。
97.可见，辅助标签是与主标签最为关联的，作为搜索辅助，以便于获得更为丰富的源数据。需要说明的是，每一个标签都对应于数据湖中的表里的某个字段，因此在一种可能的实现方式中，可以记录每个数据分析师的历史分析情况，进而可以统计数据分析师统计申请的表次数以及表字段次数c1、表之间关联次数c2以及表字段共同出现次数c3，进而可以通过如下公式确定关联度得分：
98.s2＝α*c1 β*c2 γ*c399.其中，s2表示关联度得分，α、β、γ分别表示c1、c2、c3对应的权重。
100.需要说明的是，相似度得分s1与c1、c2、c3成正比关系，即相似度得分越高的待定搜索标签与主标签对应的c1、c2、c3越高。具体的，对于某字段，其被统计申请的次数越多，和主标签在分析时的关联次数越高，和主标签被同时用于数据分析的次数越高，则其对应的s2越高。
101.进而，可以根据相似度得分和关联度得分确定每一个待定搜索标签的加权得分，该加权得分综合了相似度以及与主标签的关联程度这两个层面，能够更为全面地评估待定搜索标签，从而可以将加权得分最大值对应的待定搜索标签作为辅助标签，最后，将主标签与辅助标签分别对应的结果标签确定为目标搜索结果标签。
102.需要说明是的，对于根据相似度得分和关联度得分确定每一个待定搜索标签的加权得分的确定方式，可以根据实际情况选择，本技术对此不做任何限定。比如，可以对相似度得分和关联度得分进行加权求和得到加权得分。此外，对于各项权重，可以根据实际的搜索效果进行调整。
103.基于此，能够在基于数据湖进行数据分析时，可以有限考虑每个数据分析师自身的历史分析统计情况作为辅助搜索，以便于能够更好地进行数据分析。此外，当数据量较少时，还可以采用全部数据分析师的历史分析统计情况作为辅助搜索。
104.当确定出目标搜索结果标签后，可以从数据湖中调用目标搜索结果标签对应的源数据，进而对源数据进行数据分析，得到数据分析结果。
105.即，对于基于数据湖的数据分析而言，当确定出与当次数据分析需求对应的目标搜索结果标签相匹配的目标搜索结果标签后，可以直接从数据湖中调用目标搜索结果标签对应的源数据，此源数据即为与此次数据分析相匹配的原始数据，可以包括表数据、字段数据等，进而对这部分源数据进行数据分析，得到数据分析结果，基于此，完成此次数据分析。
106.由上述技术方案可以看出，当需要基于数据湖进行数据分析时，可以首先获取目标搜索内容，该目标搜索内容能够表征此次数据分析需求，并对目标搜索内容进行标签提取处理以得到其所对应的n个搜索标签，然后在数据湖的标签体系中，分别对该n个搜索标
签进行搜索，得到n个结果标签，其中，n个结果标签与n个搜索标签一一对应，进而分别计算每一个结果标签与其对应的搜索标签之间的相似度得分，得到n个相似度得分，最后根据n个相似度得分确定目标搜索结果标签。由于n个搜索标签均为目标搜索内容对应的，而目标搜索结果标签是基于相似度得分确定出的，因此目标搜索结果标签与目标搜索内容相匹配，进而可以利用该目标搜索结果标签从数据湖中调用源数据以完成此次数据分析，基于此，能够提高对数据湖标签体系的搜索结果的准确度，从而提高数据分析效率。
107.图2为本技术实施例提供的一种搜索装置的结构图，所述装置包括获取单元201、提取单元202、搜索单元203、计算单元204和确定单元205：
108.所述获取单元201，用于获取目标搜索内容；
109.所述提取单元202，用于对所述目标搜索内容进行标签提取处理，得到所述目标搜索内容对应的n个搜索标签；
110.所述搜索单元203，用于在数据湖的标签体系中，分别对所述n个搜索标签进行搜索，获得n个结果标签；所述n个结果标签与所述n个搜索标签一一对应；
111.所述计算单元204，用于分别计算所述n个结果标签中的每一个结果标签与所述每一个结果标签对应的搜索标签之间的相似度得分，获得n个相似度得分；
112.所述确定单元205，用于根据所述n个相似度得分确定目标搜索结果标签。
113.可选的，所述确定单元还用于：
114.将相似度得分最大值对应的结果标签确定为所述目标搜索结果标签。
115.可选的，所述确定单元还用于：
116.将相似度得分最大值对应的搜索标签作为主标签；
117.分别计算待定搜索标签中的每一个待定搜索标签与所述主标签的关联度得分；所述待定搜索标签为所述n个搜索标签中除所述主标签外的搜索标签；
118.根据所述每一个待定搜索标签的相似度得分和所述关联度得分确定所述每一个待定搜索标签的加权得分；
119.将加权得分最大值对应的待定搜索标签作为辅助标签；
120.将所述主标签对应的结果标签和所述辅助标签对应的结果标签，确定为所述目标搜索结果标签。
121.可选的，还包括梳理单元：
122.所述梳理单元，用于根据预设标签维度对所述数据湖进行标签梳理，得到所述数据湖的标签体系。
123.可选的，还包括训练单元，所述训练单元用于：
124.获取训练样本集；所述训练样本集中的每一个训练样本包括搜索内容样本和样本标签，所述样本标签为所述搜索内容样本对应的预设标签维度下的搜索标签；
125.根据所述训练样本集对初始语言模型进行模型训练，得到标签提取模型；
126.所述提取单元，还用于通过所述标签提取模型对所述目标搜索内容进行标签提取处理，得到所述n个搜索标签。
127.可选的，还包括调用单元和分析单元：
128.所述调用单元，用于从所述数据湖中调用所述目标搜索结果标签对应的源数据；
129.所述分析单元，用于对所述源数据进行数据分析，得到数据分析结果。
130.由上述技术方案可以看出，当需要基于数据湖进行数据分析时，可以首先获取目标搜索内容，该目标搜索内容能够表征此次数据分析需求，并对目标搜索内容进行标签提取处理以得到其所对应的n个搜索标签，然后在数据湖的标签体系中，分别对该n个搜索标签进行搜索，得到n个结果标签，其中，n个结果标签与n个搜索标签一一对应，进而分别计算每一个结果标签与其对应的搜索标签之间的相似度得分，得到n个相似度得分，最后根据n个相似度得分确定目标搜索结果标签。由于n个搜索标签均为目标搜索内容对应的，而目标搜索结果标签是基于相似度得分确定出的，因此目标搜索结果标签与目标搜索内容相匹配，进而可以利用该目标搜索结果标签从数据湖中调用源数据以完成此次数据分析，基于此，能够提高对数据湖标签体系的搜索结果的准确度，从而提高数据分析效率。
131.又一方面，本技术实施例提供了一种计算机设备，所述计算机设备包括处理器以及存储器：
132.所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
133.所述处理器用于根据所述程序代码中的指令执行上述实施例提供的搜索方法。
134.该计算机设备可以包括终端设备或服务器，前述的搜索装置可以配置在该计算机设备中。
135.又一方面，本技术实施例还提供了一种存储介质，所述存储介质用于存储计算机程序，所述计算机程序用于执行上述实施例提供的搜索方法。
136.另外，本技术实施例还提供了一种包括指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例提供的搜索方法。
137.本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令硬件来完成，前述程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质可以是下述介质中的至少一种：只读存储器(英文：read-only memory，缩写：rom)、ram、磁碟或者光盘等各种可以存储程序代码的介质。
138.对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
139.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
140.以上对本技术实施例提供的一种搜索方法和相关装置进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理
解本技术的方法。同时，对于本领域的一般技术人员，依据本技术的方法，在具体实施方式及应用范围上均会有改变之处。
141.综上所述，本说明书内容不应理解为对本技术的限制，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本技术的保护范围之内。而且本技术在上述各方面提供的实现方式的基础上，还可以进行进一步组合以提供更多实现方式。