一种知识库同步方法、装置、电子设备及存储介质与流程
本技术涉及知识库,特别是涉及一种知识库同步方法、装置、电子设备及存储介质。
背景技术:
1、大语言模型能够利用rag(retrieval-augmented generation,检索增强生成)技术结合rag知识库中的知识来回答问题,以提高回答的准确性。因此,随着大语言模型的普及,rag知识库也变得越来越重要。
2、在边缘计算场景下,rag知识库分别部署在中心节点和边缘节点,且中心节点和边缘节点需要保持两者rag知识库中记录内容的一致性,然而中心节点和边缘节点的工作人员均可能对各自rag知识库中的文档进行独立修改,因此,如何对中心节点和边缘节点的rag知识库进行准确、高效地同步是亟待解决的问题。
技术实现思路
1、本技术实施例的目的在于提供一种知识库同步方法、装置、电子设备及存储介质,以实现对不同节点的知识库进行准确、高效地同步。具体技术方案如下:
2、本技术实施例首先提供了一种知识库同步方法,所述方法包括:
3、获取待同步的两个节点各自的版本信息;其中,每一节点的版本信息记录有:自身知识库的当前更新次数,和上一次同步时所述两个节点中另一节点的知识库的历史更新次数;
4、若所述两个节点中的第一节点的当前更新次数大于所述两个节点中的第二节点记录的所述第一节点的历史更新次数,则从所述第一节点的更新记录中获取第一目标条数的第一更新记录,根据所述第一更新记录对所述两个节点的知识库进行同步;其中,每一节点在每一次更新后记录一条表示所更新的内容的更新记录;所述第一目标条数为:所述第一节点的当前更新次数与所述第二节点记录的所述第一节点的历史更新次数之差。
5、可选地,所述根据所述第一更新记录对所述两个节点的知识库进行同步,包括:
6、基于所述第一更新记录确定所述第一节点中更新的第一文档;
7、从所述第一文档对应的变更记录中确定所述第一文档发生变更的第一文本块;
8、基于所述第一文本块对所述两个节点的知识库进行同步。
9、可选地,所述方法还包括:
10、若所述第一节点的当前更新次数大于所述第二节点记录的所述第一节点的历史更新次数,且所述第二节点的当前更新次数大于所述第一节点记录的所述第二节点的历史更新次数,从所述第二节点的更新记录中获取第二目标条数的第二更新记录;其中,所述第二目标条数为:所述第二节点的当前更新次数与所述第一节点记录的所述第二节点的历史更新次数之差;
11、基于所述第二更新记录确定所述第二节点中更新的第二文档;
12、从所述第二文档对应的变更记录中确定所述第二文档发生变更的第二文本块;
13、所述基于所述第一文本块对所述两个节点的知识库进行同步,包括:
14、基于所述第一文本块和所述第二文本块对所述两个节点的知识库进行同步。
15、可选地,所述基于所述第一文本块和所述第二文本块对所述两个节点的知识库进行同步,包括:
16、若所述第一文档和所述第二文档不属于同一文档,则基于所述第一文本块对所述第二节点中所述第一文档对应的同一文档进行更新,以及基于所述第二文本块对所述第一节点中所述第二文档对应的同一文档进行更新;
17、若所述第一文档和所述第二文档属于同一文档,则执行预设的冲突处理流程;其中:
18、所述冲突处理流程包括:
19、若所述第一文本块和所述第二文本块不属于同一文本块,则基于所述第一文本块对所述第二节点的该同一文档中对应的文本块进行更新,以及基于所述第二文本块对所述第一节点的该同一文档中对应的文本块进行更新;若所述第一文本块和所述第二文本块属于同一文本块,则在所述第一节点中创建所述第二文本块的分支版本,和/或在所述第二节点中创建所述第一文本块的分支版本;
20、或,
21、每一节点的版本信息还记录有:自身的知识库中的文档的更新次数;所述冲突处理流程包括:
22、若所述第一节点和所述第二节点最近一次变更该同一文档的时间戳差异大于预设时长,则确定所述第一节点和所述第二节点中该同一文档的更新次数增量较大的节点,基于该节点中的该同一文档对另一节点中的同一文档进行更新;若所述第一节点和所述第二节点最近一次变更该同一文档的时间戳差异不大于预设时长,则触发人工处理。
23、可选地,文档对应的变更记录中记录有发生变更的文本块在变更后的摘要信息;所述基于所述第一文本块对所述两个节点的知识库进行同步,包括:
24、若在上一次同步之后所述第二节点未对所述第一文档进行更新,则确定所述第二节点中与所述第一文档属于同一文档的待更新文档;
25、确定所述待更新文档中与所述第一文本块对应的文本块的摘要信息,作为待比对摘要信息;
26、若所述待比对摘要信息与所述第一文本块的摘要信息不同,则利用所述第一文本块更新所述待更新文档中对应的文本块。
27、可选地,所述方法还包括:
28、基于所述第一节点的当前更新次数,对所述第二节点记录的所述第一节点的历史更新次数进行更新。
29、可选地,所述两个节点包含中心节点和边缘节点,所述方法还包括:
30、将所述中心节点创建的知识库的索引数据同步至所述边缘节点。
31、本技术实施例还提供了一种知识库同步装置,所述装置包括:
32、版本信息获取模块,用于获取待同步的两个节点各自的版本信息;其中,每一节点的版本信息记录有:自身知识库的当前更新次数,和上一次同步时所述两个节点中另一节点的知识库的历史更新次数;
33、同步模块,用于若所述两个节点中的第一节点的当前更新次数大于所述两个节点中的第二节点记录的所述第一节点的历史更新次数,则从所述第一节点的更新记录中获取第一目标条数的第一更新记录,根据所述第一更新记录对所述两个节点的知识库进行同步;其中,每一节点在每一次更新后记录一条表示所更新的内容的更新记录;所述第一目标条数为:所述第一节点的当前更新次数与所述第二节点记录的所述第一节点的历史更新次数之差。
34、本技术实施例还提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
35、存储器,用于存放计算机程序;
36、处理器,用于执行存储器上所存放的程序时,实现上述任一所述的知识库同步方法。
37、本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述的知识库同步方法步骤。
38、本技术实施例还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述的知识库同步方法。
39、本技术实施例有益效果:
40、本技术实施例提供的知识库同步方法,获取待同步的两个节点各自的版本信息;每一节点的版本信息记录有:自身知识库的当前更新次数,和上一次同步时两个节点中另一节点的知识库的历史更新次数;若两个节点中的第一节点的当前更新次数大于两个节点中的第二节点记录的第一节点的历史更新次数,则从第一节点的更新记录中获取第一目标条数的第一更新记录,根据第一更新记录对两个节点的知识库进行同步;每一节点在每一次更新后记录一条表示所更新的内容的更新记录;第一目标条数为:第一节点的当前更新次数与第二节点记录的第一节点的历史更新次数之差。可见,本技术实施例提供的方案中,由于两个节点在每一个更新后记录一条表示所更新的内容的更新记录,且版本信息记录自身的更新次数和上一次同步时另一节点的历史更新次数,因此,在同步知识库时只需要获取两个节点的版本信息,并获取对应数目的更新记录,就可以实现对两个节点的知识库同步,从而实现对知识库进行准确、高效的同步。
41、当然,实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com