一种基于真实业务数据源的RAG知识源直接构建与增量同步方法、系统、设备及存储介质与流程
本发明涉及检索增强生成及知识库构建,具体涉及一种基于真实业务数据源的rag知识源直接构建与增量同步方法、系统、设备及存储介质。
背景技术:
1、检索增强生成(retrieval-augmented generation,rag)是一种将外部知识检索与大语言模型生成过程相结合的技术。通常情况下,可以对知识内容进行解析、分块和向量化处理,并基于形成的知识片段进行检索,以将与用户查询相关的知识内容提供给大语言模型,从而使大语言模型能够结合外部知识生成相应结果。
2、现有rag知识源较多采用静态文档、人工上传文件或者离线导入的知识材料进行构建。对于内容变化频率较低的数据,上述方式能够形成相对稳定的知识内容。然而,在企业业务系统中,可供检索和问答使用的知识往往存在于持续运行的在线业务数据中,例如业务工作表中的结构化记录、记录字段、附件以及讨论内容等,并且这些业务数据会随着业务过程持续发生新增、修改、删除或者字段结构变化。
3、由于同一业务对象可能同时包含结构化字段、非结构化附件以及讨论内容,不同知识内容之间还可能具有共同的业务对象来源。当采用面向静态文件的方式对该类业务数据进行知识构建时,业务数据与形成的知识内容之间的关联关系容易弱化,业务对象后续发生变化时,也难以及时使已经形成的知识片段及相关索引与当前业务数据保持对应,从而可能出现知识内容滞后、已失效内容仍被检索或者检索结果难以回溯至原始业务对象等情况。
4、进一步地,对于数据量较大的在线业务数据源,初始知识构建通常需要持续一定时间,而在该过程中业务系统本身仍可能继续产生新的业务数据变化。当知识源的全量构建过程与业务数据的持续变化同时发生时,不同处理过程可能针对相同业务对象产生交叉影响,容易出现知识内容重复处理、业务数据变化未被及时反映、已失效索引数据残留或者知识源状态不一致等问题。
5、因此,如何面向持续变化的真实业务数据源完成rag知识源构建,并使已经形成的知识片段及索引能够与业务数据的后续变化保持一致,是动态业务数据应用于rag知识构建过程中需要解决的技术问题。
技术实现思路
1、本发明的目的在于提供一种基于真实业务数据源的rag知识源直接构建与增量同步方法、系统、设备及存储介质,以解决在线业务数据持续变化过程中,知识源全量构建与业务数据增量变化并存时容易出现知识内容重复处理、增量变化未及时反映、失效索引数据残留以及知识内容与原始业务对象对应关系不稳定的问题。
2、本发明的上述技术目的是通过以下技术方案得以实现的:
3、一种基于真实业务数据源的rag知识源直接构建与增量同步方法,包括:
4、获取业务数据源对应的知识源配置,并维护与所述业务数据源对应的知识源的运行状态,所述运行状态至少包括全量构建状态和可增量同步状态;
5、在所述全量构建状态下,通过业务系统接口读取同一业务记录关联的结构化字段内容以及与所述业务记录关联的附件解析内容和/或讨论内容,将所读取的内容转换为同一份统一知识文档,并按照所述知识源配置对所述统一知识文档进行分块,得到多个知识片段;
6、对所述知识片段生成向量表示并写入向量索引,同时建立并存储来源映射关系,所述来源映射关系分别记录所述知识片段所对应的业务记录标识,以及所述知识片段的正文内容来源于记录字段、附件对象或者讨论对象时的对应对象标识;
7、接收所述业务数据源产生的增量变更事件;所述增量变更事件至少携带业务对象标识、事件类型以及用于判定事件新旧的时序信息,而不携带所述业务对象的数据内容;
8、在所述全量构建状态下,将所述增量变更事件按照知识源标识与业务对象标识的组合作为唯一键写入事件缓冲区,同一业务对象在所述事件缓冲区中任一时刻仅保留一条记录,并在事件到达时依次比较新到达事件与既有记录的版本号、事件时间和本地入站顺序号,仅在新到达事件较既有记录为新时更新该记录,以就地合并为该业务对象的最终待处理状态; 在所述全量构建完成后,对所述事件缓冲区中的每条记录,依据所述来源映射关系确定受影响的知识片段并清理所述受影响的知识片段及其在向量索引中的对应条目,依据所述业务对象标识回源获取所述业务对象的当前状态,并根据所述当前状态确定是否重新生成所述业务对象对应的知识片段和向量表示并写入,以执行追平处理;
9、在所述追平处理完成后,将所述知识源的运行状态由所述全量构建状态切换为所述可增量同步状态。
10、进一步设置,所述知识源配置包括字段范围、附件解析配置、讨论同步配置、过滤条件、分块配置和索引配置。
11、进一步设置,所述统一知识文档包括正文内容和元数据;
12、所述元数据包括知识库标识、知识源标识和业务记录标识,并根据所述正文内容的来源进一步包括字段标识、附件标识、讨论标识和内容类型中的至少一种;
13、所述知识片段按照其正文内容的实际来源被标记为记录类型、记录附件类型、讨论类型或者讨论附件类型;
14、所述来源映射关系基于所述元数据建立,以使所述知识片段与对应的原始业务对象相关联。
15、进一步设置,所述增量变更事件包括记录新增事件、记录修改事件、记录删除事件、附件变更事件和讨论变更事件中的至少一种。
16、进一步设置,当所述知识源处于可增量同步状态时,根据所述增量变更事件的事件类型,对与所述增量变更事件对应的知识片段和向量索引执行新增、更新或删除处理。
17、进一步设置,所述依次比较新到达事件与既有记录的版本号、事件时间和本地入站顺序号,包括:
18、先比较所述新到达事件与所述既有记录的版本号;当二者的版本号相同时,比较二者的事件时间;当二者的版本号和事件时间均相同时,比较二者的本地入站顺序号。
19、进一步设置,在执行所述追平处理时,当回源获取的当前状态表明所述业务对象存在时,读取所述业务对象的当前内容,根据所述当前内容重新生成相应的知识片段和向量表示,并将所述向量表示写入向量索引;
20、当回源获取的当前状态表明所述业务对象已删除或者不存在时,不再重新生成所述业务对象对应的知识片段和向量表示,并删除所述业务对象对应的来源映射关系。
21、进一步设置,还包括:
22、接收知识源删除请求,将所述知识源的运行状态切换为删除状态;
23、在所述删除状态下,拒绝针对所述知识源发起新的全量构建任务、分块任务、向量化任务和增量同步任务,并拒绝或忽略对应于所述知识源的增量变更事件;
24、清理所述知识源对应的知识片段、所述知识片段在向量索引中的对应条目、统一知识文档、来源映射关系、事件缓冲区数据、任务运行占位以及与任务执行关联的状态数据;
25、在完成所述清理后,删除所述知识源实体或者将所述知识源标记为已删除。
26、进一步设置,还包括:
27、接收任务请求,并根据所述任务请求对应的请求标识进行幂等判断;
28、当存在与所述请求标识对应的已有任务实例或已有执行结果时,返回所述已有任务实例或已有执行结果;
29、当不存在与所述请求标识对应的已有任务实例或已有执行结果时,根据所述任务请求所作用的业务对象生成业务键;
30、当所述业务键已经存在运行占位时,拒绝新的任务请求或返回与所述业务键对应的已有任务实例;
31、当所述业务键不存在运行占位时,创建对应的运行占位并执行所述任务请求,并在对应任务执行完成后释放所述运行占位。
32、进一步设置,还包括:
33、接收用户查询;
34、基于所述知识片段和向量索引执行向量检索,或者基于所述知识片段执行关键词检索,或者组合所述向量检索和所述关键词检索执行混合检索,得到候选知识片段;
35、根据所述来源映射关系对所述候选知识片段进行过滤、排序或组装;
36、将所述候选知识片段作为上下文输入大语言模型,得到生成结果;
37、返回所述生成结果以及所述候选知识片段对应的来源信息。
38、进一步设置,所述来源映射关系还包括业务数据源标识;所述根据所述来源映射关系对所述候选知识片段进行过滤,包括:
39、依据所述候选知识片段的来源映射关系提取其对应的业务数据源标识与业务记录标识,并按照业务数据源对所述候选知识片段进行分组;
40、对每一分组,通过业务系统接口校验发起所述用户查询的用户对该分组内业务记录的访问权限;保留具有访问权限的业务记录所对应的候选知识片段。
41、本发明还提供一种基于真实业务数据源的rag知识源直接构建与增量同步系统,包括:
42、知识源管理模块,用于获取业务数据源对应的知识源配置,并维护与所述业务数据源对应的知识源的运行状态,所述运行状态至少包括全量构建状态和可增量同步状态;
43、全量构建模块,用于在所述全量构建状态下,通过业务系统接口读取同一业务记录关联的结构化字段内容以及与所述业务记录关联的附件解析内容和/或讨论内容,将所读取的内容转换为同一份统一知识文档,并按照所述知识源配置对所述统一知识文档进行分块,得到多个知识片段;
44、向量索引模块,用于对所述知识片段生成向量表示,并将所述向量表示写入向量索引;
45、来源映射模块,用于建立并存储来源映射关系,所述来源映射关系分别记录所述知识片段所对应的业务记录标识,以及所述知识片段的正文内容来源于记录字段、附件对象或者讨论对象时的对应对象标识;
46、增量事件处理模块,用于接收所述业务数据源产生的增量变更事件,所述增量变更事件至少携带业务对象标识、事件类型以及用于判定事件新旧的时序信息,而不携带所述业务对象的数据内容;
47、事件缓冲模块,用于在所述全量构建状态下,将所述增量变更事件按照知识源标识与业务对象标识的组合作为唯一键写入事件缓冲区,使同一业务对象在所述事件缓冲区中任一时刻仅保留一条记录,并在事件到达时依次比较新到达事件与既有记录的版本号、事件时间和本地入站顺序号,仅在所述新到达事件较所述既有记录为新时更新该记录,以就地合并为该业务对象的最终待处理状态;
48、追平处理模块,用于在所述全量构建完成后,对所述事件缓冲区中的每条记录,依据所述来源映射关系确定受影响的知识片段并清理所述受影响的知识片段及其在向量索引中的对应条目,依据所述业务对象标识回源获取所述业务对象的当前状态,并根据所述当前状态确定是否重新生成所述业务对象对应的知识片段和向量表示并写入,以执行追平处理;
49、所述知识源管理模块还用于在所述追平处理完成后,将所述知识源的运行状态由所述全量构建状态切换为所述可增量同步状态。
50、进一步设置,还包括任务治理模块,用于根据任务请求的请求标识进行幂等判断,并根据任务所作用的业务对象生成业务键,通过在任务占位数据表中以所述业务键作为唯一索引插入占位记录的方式创建运行占位,以限制作用于相同业务对象的并发任务。
51、进一步设置,还包括检索模块,用于基于所述知识片段和向量索引执行向量检索、关键词检索或者混合检索,依据所述来源映射关系对候选知识片段进行权限过滤,并将过滤后的候选知识片段提供给大语言模型。
52、本发明还提供一种电子设备,包括处理器和存储器,所述存储器存储有计算机程序,所述计算机程序被所述处理器执行时,实现上述基于真实业务数据源的rag知识源直接构建与增量同步方法。
53、本发明还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时,实现上述基于真实业务数据源的rag知识源直接构建与增量同步方法。
54、综上所述,本发明具有以下有益效果:
55、通过业务系统接口直接访问在线业务数据源,并将同一业务记录关联的结构化字段内容以及根据知识源配置获取的附件解析内容和/或讨论内容转换为同一份统一知识文档后统一分块和向量化,使同一业务对象下的异构内容能够按同一套规则处理和维护,无需为每一类内容分别维护独立的处理链路和索引结构,也减少了依赖人工上传或者离线导入知识文件所造成的数据滞后。
56、通过将知识片段与原始业务对象之间的来源映射关系细化到业务记录、记录字段、附件对象和讨论对象四级粒度,并对其建立双向可查的索引,使业务对象发生变化时能够以业务对象为入口精确定位受影响的知识片段及其在向量索引中的对应条目,既避免了全量扫描,也为检索结果的来源追溯提供了关联基础。
57、通过使增量变更事件仅携带业务对象标识、事件类型以及用于判定事件新旧的时序信息,而不携带业务对象的数据内容,并在处理时依据业务对象标识回源获取该业务对象的当前状态和当前内容,可以避免直接采用事件携带的历史业务内容进行知识构建;同时,事件的传输与缓冲开销不随业务对象的数据内容规模增长。
58、通过在增量变更事件写入事件缓冲区时即按业务对象就地合并为最终待处理状态,使事件缓冲区所占用的存储规模由全量构建期间产生的事件总数降低为发生变更的业务对象数量,追平所需时间与发生变更的业务对象数量成正比而与事件次数无关;并使同一业务对象无需针对全量构建期间产生的各个中间修改状态分别生成向量表示,而可以针对合并后的最终待处理状态执行追平处理,从而减少对向量表示生成模型的重复调用。
59、通过在写入知识片段之前先依据来源映射关系按业务对象清理既有知识片段及其在向量索引中的对应条目,使全量构建失败后的批次重试、知识源的重新构建以及业务对象内容修改所触发的增量更新,其结果均以最近一次处理为准,不产生重复片段,也不会因分块结果减少而遗留失效内容被后续检索召回。
60、通过在全量构建状态下对增量变更事件进行缓冲和就地合并,在全量数据构建完成后继续保持全量构建状态并执行追平处理,并在事件缓冲区中的待处理记录完成追平后切换为可增量同步状态,可以减少全量构建期间产生的增量变化被遗漏,并降低全量构建与增量同步交叉执行产生的状态竞争风险。
61、通过在知识源进入删除状态后先阻断针对该知识源的新的构建、分块、向量化及增量同步任务,再清理知识片段、向量索引、事件缓冲数据及相关任务状态,采用先阻断、后清理的处理顺序,可以减少知识源删除过程中继续写入数据的情况。
62、通过请求标识进行任务幂等判断,并通过业务键及运行占位限制作用于相同业务对象的并发任务,可以降低重复任务执行以及多个任务同时作用于同一知识源所产生的状态竞争和索引覆盖风险。
63、通过向量检索、关键词检索或者混合检索获取候选知识片段,并依据来源映射关系回源至业务系统对候选知识片段实施实时权限校验,使大语言模型既能够利用真实业务数据形成的知识内容生成结果、返回可追溯的原始业务来源信息,又能够使业务侧的访问权限变更即时生效而无需重建知识数据。
64、本发明能够面向持续变化的真实业务数据源建立rag知识源,并通过统一知识文档、多级来源映射、知识源运行状态、增量事件缓冲与合并、追平处理及任务治理等机制,使知识片段及向量索引能够随业务数据变化进行同步维护,从而提高动态业务数据场景下知识源构建及持续同步过程的数据一致性和运行稳定性。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com