应用于海洋领域垂直大模型的向量数据库检索方法与流程
本发明涉及语义处理,具体涉及应用于海洋领域垂直大模型的向量数据库检索方法。
背景技术:
1、随着海洋观测技术、卫星遥感监测及海洋科研体系的快速发展,海洋领域已积累海量多源异构数据,涵盖水文时序观测、遥感影像、地质勘探、科研文献、海域监测报文等多类型信息,是海洋智能分析、海域环境研判、海洋防灾减灾及海洋科学研究的核心数据支撑。
2、海洋领域垂直大模型是聚焦海洋水文、海洋气象、海洋生态、海洋工程、海洋灾害预警等细分场景的专用大语言模型,相较于通用大模型,具备更强的领域专业性、数据适配性和场景落地能力。向量数据库检索的核心是将非结构化数据(如:文本、图像)通过嵌入模型(embedding model)转化为高维向量,并存储。检索时,将查询输入同样转化为向量,然后在向量空间中计算其与库中所有向量的相似度(如:余弦相似度、欧氏距离),返回最相似的几个结果。
3、现有的问题:传统海洋领域垂直大模型的向量数据库检索仅依赖语义相似度计算,未结合用户行为反馈与历史检索经验:仅适配通用语义逻辑,未针对海洋领域术语专业性、复杂语义性优化;仅按向量匹配度排序,无法识别用户真实需求;未挖掘历史检索与当前需求的关联性,导致历史数据价值浪费,检索精准度与用户体验不足。
技术实现思路
1、本发明提供应用于海洋领域垂直大模型的向量数据库检索方法,以解决现有的问题。
2、本发明的应用于海洋领域垂直大模型的向量数据库检索方法采用如下技术方案:
3、本发明一个实施例提供了应用于海洋领域垂直大模型的向量数据库检索方法,该方法包括以下步骤:
4、获取海洋领域垂直大模型的向量数据库中每个文档向量的每次有效检索召回的使用向量,以及每个历史检索向量召回的若干个有效匹配文档向量;
5、从历史检索向量中筛选出当前检索向量对应的若干个匹配历史检索向量;根据不同文档向量之间的相似性,以及不同文档向量的每次有效检索召回的使用向量之间的相似性,确定每个文档向量的权重向量;根据每个匹配历史检索向量召回的每个有效匹配文档向量的使用向量和权重向量,确定相对于当前检索的信息有效性;
6、在所有匹配历史检索向量召回的全部有效匹配文档向量中,根据属于同一文档向量的全部有效匹配文档向量相对于当前检索的信息有效性的大小,确定相对于当前检索的综合信息有效性,结合属于同一文档向量的全部有效匹配文档向量的数量,确定相对于当前检索的参考有效性;
7、根据所述相对于当前检索的参考有效性的大小,确定每个文档向量相对于当前检索的相似度修正系数;根据所述相对于当前检索的相似度修正系数,对当前检索向量与文档向量之间的相似性进行修正,得到有效相似性;根据所述有效相似性的大小,筛选出当前检索向量召回的匹配文档向量。
8、进一步地,所述从历史检索向量中筛选出当前检索向量对应的若干个匹配历史检索向量,包括的具体步骤如下:
9、在当前检索向量分别与所有历史检索向量之间的余弦相似度中,获取余弦相似度大于预设高相似阈值的所有历史检索向量,均记为匹配历史检索向量。
10、进一步地,所述确定每个文档向量的权重向量,包括的具体步骤如下:
11、获取每个文档向量的所有次有效检索召回的使用向量的均值向量,记为平均使用向量;
12、计算任意两个文档向量之间的余弦相似度,记为文档内容相似性,再计算所述任意两个文档向量的平均使用向量之间的余弦相似度,记为应用相似性,将文档内容相似性与应用相似性的均值的归一化值的补数,作为所述任意两个文档向量的聚类距离,对所有文档向量进行聚类操作,得到若干类文档聚类簇;
13、获取每类文档聚类簇中所有文档向量的平均使用向量的均值向量,记为标准使用向量;
14、根据所述平均使用向量与所述标准使用向量,以及每个文档向量的有效检索召回次数,确定每个文档向量的权重向量。
15、进一步地,所述根据所述平均使用向量与所述标准使用向量,以及每个文档向量的有效检索召回次数,确定每个文档向量的权重向量,包括的具体步骤如下:
16、以每个文档向量的有效检索召回次数的归一化值,作为每个文档向量的平均使用向量的权重,以每个文档向量的有效检索召回次数的归一化值的补数,作为每个文档向量所属文档聚类簇的标准使用向量的权重,加权求和得到每个文档向量的权重向量。
17、进一步地,所述确定相对于当前检索的信息有效性,包括的具体步骤如下:
18、对于每个匹配历史检索向量召回的每个有效匹配文档向量,根据权重向量中的所有元素,对使用向量中的所有元素进行加权平均,得到相对于当前检索的信息有效性。
19、进一步地,所述确定相对于当前检索的综合信息有效性,包括的具体步骤如下:
20、在所有匹配历史检索向量召回的全部有效匹配文档向量中,将属于同一文档向量的全部有效匹配文档向量,构成一类有效匹配文档向量集合;
21、在每类有效匹配文档向量集合中,将每个有效匹配文档向量对应的匹配历史检索向量与当前检索向量之间的余弦相似度的归一化值,记为检索一致性,将每个有效匹配文档向量在对应的匹配历史检索向量召回中的使用向量中全部元素的和值的归一化值,记为用户关注度,将检索一致性与用户关注度的均值,记为每个有效匹配文档向量的应用权重,用以对全部有效匹配文档向量相对于当前检索的信息有效性进行加权平均,得到每类有效匹配文档向量集合对应的同一文档向量相对于当前检索的综合信息有效性。
22、进一步地,所述确定相对于当前检索的参考有效性,包括的具体步骤如下:
23、获取每类有效匹配文档向量集合中的有效匹配文档向量数量与匹配历史检索向量数量的比值,记为每类有效匹配文档向量集合对应的同一文档向量在同一检索场景下的当前出现频率;
24、根据预设信息权重与预设频率权重,对每类有效匹配文档向量集合对应的同一文档向量相对于当前检索的综合信息有效性以及同一文档向量在同一检索场景下的当前出现频率进行加权求和,得到每类有效匹配文档向量集合对应的同一文档向量相对于当前检索的参考有效性。
25、进一步地,所述确定每个文档向量相对于当前检索的相似度修正系数,包括的具体步骤如下:
26、将每类有效匹配文档向量集合对应的同一文档向量,记为当前检索向量对应的目标文档向量;
27、将除当前检索向量对应的目标文档向量之外的所有文档向量,均记为当前检索向量对应的非目标文档向量;
28、将当前检索向量对应的每个非目标文档向量相对于当前检索的相似度修正系数设置为预设基准常数;
29、将当前检索向量对应的每个目标文档向量相对于当前检索的参考有效性与预设基准常数的和值,记为当前检索向量对应的每个目标文档向量相对于当前检索的相似度修正系数。
30、进一步地,所述得到有效相似性,包括的具体步骤如下:
31、获取当前检索向量与每个文档向量的余弦相似度的归一化值与每个文档向量相对于当前检索的相似度修正系数的乘积,记为有效相似性。
32、进一步地,所述筛选出当前检索向量召回的匹配文档向量,包括的具体步骤如下:
33、在当前检索向量分别与所有文档向量的有效相似性中,取有效相似性最大的前预设召回数量个文档向量,作为当前检索向量召回的匹配文档向量。
34、本发明的技术方案的有益效果是:
35、在本发明实施例中,从历史检索向量中筛选出当前检索向量对应的若干个匹配历史检索向量,确定每个匹配历史检索向量召回的每个有效匹配文档向量相对于当前检索的信息有效性,从而确定相对于当前检索的参考有效性,用以确定每个文档向量相对于当前检索的相似度修正系数,对当前检索向量与文档向量之间的相似性进行修正,得到有效相似性,筛选出当前检索向量召回的匹配文档向量。本发明实现了历史检索经验的动态复用,检索效果随用户使用持续优化,通过挖掘历史检索与当前检索的关联性,复用同场景用户行为经验动态优化检索结果,即结合用户行为反馈与历史检索经验,解决了海洋领域术语专业性、复杂语义性导致的检索精准度不足问题,并避免高语义相似度但非用户需求的内容前置,提高了海洋领域检索精准度,检索结果贴合真实需求。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com