一种基于混合模型架构的海量文本检索方法与流程

摘要: 本申请涉及数据处理,尤其涉及一种基于混合模型架构的海量文本检索方法。背景技术:1、在电子取证及事件检索等大量的非结构化文本数据处理场景下,当前系统主要面对以下问...
一种基于混合模型架构的海量文本检索方法与流程

本申请涉及数据处理,尤其涉及一种基于混合模型架构的海量文本检索方法。

背景技术:

1、在电子取证及事件检索等大量的非结构化文本数据处理场景下,当前系统主要面对以下问题:第一,日增文本量达十亿级以上,需在24小时内完成全量检索,传统方法(即仅使用关键词匹配或者仅使用大模型处理)无法兼顾处理速度与实时性要求;第二,若采用关键词检索的方式,虽具备高速处理能力,但缺乏语义理解,导致多义词、变体词的误匹配;若采用大模型处理的方式,虽支持深度语义分析,准确率高,但处理速度极慢,无法直接应对十亿级数据规模;第三,现有的小模型受限于输入长度与算力,对于超长文本难以提取有效数据,效率低下。

2、因此,如何对电子取证过程中的海量数据进行高效与精准的处理,实现文本精准检索,成为了待解决的问题。

技术实现思路

1、本申请提供了一种基于混合模型架构的海量文本检索方法,通过计算到小模型处理再到大模型处理的过程,首先以召回率为优先从而确保关键信息的完整,再通过重复度计算和小模型的处理提升了百万级文本和万级文本的信噪比,使得最终的大模型能够拥有高质量的输入,增强了系统数据处理的稳定性,提高了海量文本的检索效率和检索精度;并且能够进行各个层级的独立优化,提高了系统的可迭代能力;此外,相较于传统的单一模型处理或是串联的过滤方法,本申请能够在保持准确率的同时降低电子取证过程中的大规模数据的计算成本,实现了效率与精度的平衡。

2、第一方面,本申请实施例提供了一种基于混合模型架构的海量文本检索方法,应用于电子取证场景,该方法包括:

3、获取目标文本,根据大语言模型对目标文本进行处理,得到派生词库;

4、根据派生词库对目标文本进行正则过滤,得到亿级文本;

5、基于机器学习算法对亿级文本进行重复度计算,得到百万级文本;

6、基于小模型对百万级文本进行语义向量提取,得到万级文本;

7、基于大语言模型对万级文本进行语义分析,得到文本检索结果。

8、进一步的,根据大语言模型对目标文本进行处理,得到派生词库,包括:

9、基于目标文本的语义特征,根据大语言模型对目标文本进行处理,得到初始关键词集;

10、根据大语言模型对初始关键词集进行预设维度的扩展,得到派生词库;

11、基于目标文本的语义特征,根据大语言模型对目标文本进行处理,得到初始关键词集,包括:

12、基于目标文本的语义特征,构建大语言模型的初始提示参数;初始提示参数包括目标任务、输入格式、输出格式和约束条件;

13、处理步骤,根据初始提示参数将目标文本输入大语言模型并进行处理,得到第一关键词集;

14、对第一关键词集进行评估,得到第一评估结果;

15、修正步骤,根据第一评估结果对初始提示参数进行修正,得到更新提示参数;

16、重复处理步骤至修正步骤直至达到预设重复次数,得到修正提示参数;

17、根据修正提示参数将目标文本输入大语言模型并进行处理,得到初始关键词集。

18、进一步的,根据派生词库对目标文本进行正则过滤,得到亿级文本,包括:

19、根据派生词库构建正则表达式;

20、将目标文本加载至分布式计算框架,根据预设块进行分区,得到多个数据分片;

21、基于正则表达式对多个数据分片进行并行正则匹配,得到亿级文本。

22、进一步的,该方法还包括:

23、判断文本的token数是否大于预设数量;

24、若是,则将当前文本作为长文本;

25、若否,则将当前文本作为短文本。

26、进一步的,基于机器学习算法对亿级文本进行重复度计算,得到百万级文本,包括:

27、基于levenshtein距离的编辑重复度算法对短文本进行计算,得到短文本重复度得分;

28、基于tf-idf加权词频算法对长文本构建词频向量,根据余弦相似度计算词频向量,得到长文本重复度得分;

29、根据短文本重复度得分和长文本重复度得分进行筛选,得到百万级文本。

30、进一步的,基于小模型对百万级文本进行语义向量提取,得到万级文本,包括:

31、基于小模型对百万级文本进行语义向量提取,得到百万级候选文本;

32、计算百万级候选文本与目标文本的余弦相似度,得到余弦相似度得分;

33、根据余弦相似度得分对百万级候选文本进行筛选,得到万级文本。

34、进一步的,该方法还包括:

35、获取第一长文本和第二长文本,比较第一长文本的token数和第二长文本的token数;

36、若第一长文本的token数小于第二长文本的token数,则对第一长文本进行提取,得到第一片段;

37、基于预设窗口宽度和预设步长对第二长文本进行提取,得到第二片段;

38、基于小模型分别对第一片段和第二片段进行提取,得到第一特征向量和第二特征向量;

39、根据第一特征向量和第二特征向量进行计算,得到重复度得分;

40、其中,预设窗口宽度为预设数量;预设步长为预设数量的一半;第一片段包括第一长文本开头的预设数量token数的片段和第一长文本尾部的预设数量token数的片段。

41、进一步的,该方法还包括:

42、判断第一长文本的token数是否小于预设数量;

43、若是,则基于小模型对第一长文本进行提取,得到第一特征向量。

44、综上,与现有技术相比,本申请实施例提供的技术方案带来的有益效果至少包括:

45、本申请实施例提供的一种基于混合模型架构的海量文本检索方法,通过计算到小模型处理再到大模型处理的过程,首先以召回率为优先从而确保关键信息的完整,再通过重复度计算和小模型的处理提升了百万级文本和万级文本的信噪比,使得最终的大模型能够拥有高质量的输入,增强了系统数据处理的稳定性,提高了海量文本的检索效率和检索精度;并且能够进行各个层级的独立优化,提高了系统的可迭代能力;此外,相较于传统的单一模型处理或是串联的过滤方法,本申请能够在保持准确率的同时降低大规模数据的计算成本,实现了效率与精度的平衡。

1.一种基于混合模型架构的海量文本检索方法,其特征在于,所述方法包括:

2.根据权利要求1所述的基于混合模型架构的海量文本检索方法,其特征在于,所述根据大语言模型对所述目标文本进行处理,得到派生词库,包括:

3.根据权利要求1所述的基于混合模型架构的海量文本检索方法,其特征在于,所述根据所述派生词库对所述目标文本进行正则过滤,得到亿级文本,包括:

4.根据权利要求3所述的基于混合模型架构的海量文本检索方法,其特征在于,所述方法还包括:

5.根据权利要求4所述的基于混合模型架构的海量文本检索方法,其特征在于,所述基于机器学习算法对所述亿级文本进行重复度计算,得到百万级文本,包括:

6.根据权利要求1所述的基于混合模型架构的海量文本检索方法,其特征在于,所述基于小模型对所述百万级文本进行语义向量提取,得到万级文本,包括:

7.根据权利要求4所述的基于混合模型架构的海量文本检索方法,其特征在于,所述方法还包括:

8.根据权利要求7所述的基于混合模型架构的海量文本检索方法,其特征在于,所述方法还包括: