一种企业多源数据的生命记忆构建、演化与可追溯检索方法、系统、电子设备及存储介质与流程
本发明涉及人工智能、企业数据处理、知识工程、计算机安全及信息检索,尤其涉及一种企业多源数据的生命记忆构建、演化与可追溯检索方法、系统、电子设备及存储介质。
背景技术:
1、企业在经营管理过程中会持续产生文档、表格、图片、录音、视频、网页、会议纪要、设备记录、客户记录、项目文件以及人工智能交互记录等多源异构数据。上述数据通常分散在文件系统、业务系统、个人终端及网络服务中。
2、现有企业知识库一般通过目录管理、全文检索、向量数据库、知识图谱或检索增强生成技术对资料进行处理。这些技术能够提高资料检索和问答效率,但在企业长期运行场景中仍存在以下技术问题。
3、第一,原始资料、模型分析结果和模型生成内容容易混合存储。模型生成的知识页面在多次更新后可能脱离原始证据,系统难以确定某一答案具体使用了哪一来源、哪一版本和哪一时点的数据。
4、第二,现有知识库多将文档更新理解为索引更新或内容替换。当同一客户、设备、产品、项目或制度在不同时点产生不同状态时,旧状态可能被覆盖,不能形成对象连续演化的记忆链,也不能按照历史时点恢复当时有效的知识状态。
5、第三,多源资料可能被重复导入。系统异常中断、文件重命名、目录迁移或重新扫描均可能引起重复解析、重复向量化和重复生成,造成计算资源浪费以及多份相互冲突的知识内容。
6、第四,关键词检索、向量检索和知识图谱检索各自具有局限。关键词检索难以处理同义表达,向量检索难以准确表示显式业务关系,知识图谱检索依赖已建立的实体关系。单一通道难以稳定获得与企业对象、时间状态和原始证据均匹配的结果。
7、第五,企业人员的岗位、项目成员关系和密级授权会发生变化。即使检索时进行了权限判断,旧缓存、旧索引结果或先前生成的上下文仍可能在权限变化后被复用,从而导致无权数据进入人工智能模型上下文。
8、因此,需要一种能够把企业持续产生的数据转换为具有来源、时间、版本、关系和权限状态的企业生命记忆,并且能够在查询和人工智能生成过程中保持版本有效性、权限一致性和证据可追溯性的技术方案。
技术实现思路
1、要解决的技术问题
2、本发明的目的在于解决企业多源数据在长期积累过程中产生的重复摄入、中断恢复困难、历史状态覆盖、来源不可追溯、混合检索不稳定以及权限变化后缓存越权复用等问题。;技术方案
3、为实现上述目的,本发明第一方面提供一种企业多源数据的生命记忆构建、演化与可追溯检索方法,由计算设备执行。
4、获取企业运行过程中产生的多源数据,基于多源数据的来源类型、来源定位信息和所属企业项目生成源身份标识,并基于多源数据的内容生成内容指纹。
5、将携带源身份标识和内容指纹的数据处理任务写入持久化任务队列,根据源身份标识对应的历史内容指纹确定数据处理任务为跳过任务、新增任务、更新任务或失效任务。
6、对需要处理的多源数据执行相互分离的分析处理和记忆生成处理。分析处理根据多源数据、企业对象上下文和记忆模式约束生成结构化分析结果;记忆生成处理根据结构化分析结果和多源数据中的原始证据生成至少一个记忆单元。
7、为记忆单元写入企业对象标识、原始证据指针、内容指纹、相互独立的事件时间和摄入时间、版本标识、生命周期状态和权限标签,并根据新记忆单元与既有记忆单元之间的内容关系和时间关系建立补充、替代、冲突或失效的演化关系。
8、响应于包含查询内容、访问主体和查询时点的记忆调用请求,分别通过关键词索引、向量索引和由记忆单元之间的关系构成的知识图谱获得候选记忆单元,并对不同检索通道获得的候选记忆单元进行融合。
9、根据访问主体的当前权限状态生成权限快照,并在候选记忆单元进入人工智能模型的输入上下文之前,利用权限快照、查询时点和生命周期状态对融合后的候选记忆单元进行过滤和重排。
10、基于过滤和重排后的候选记忆单元生成记忆调用结果,计算记忆调用结果的输出指纹,并将输出指纹与所采用的记忆单元版本、原始证据指针、权限快照标识及检索配置关联存储,形成调用证据链。
11、优选地,多源数据至少包括文档、表格、图片、录音、视频、网页内容、业务系统记录及人工智能交互记录中的两种。
12、优选地,内容指纹采用sha-256算法生成。源身份标识可由项目标识、来源命名空间、来源类型、规范化路径或业务主键组合生成。源身份与内容指纹分离,使系统能够区分“同一来源内容发生变化”和“不同来源具有相同内容”。
13、优选地,持久化任务队列保存任务标识、源身份标识、内容指纹、任务类型、处理阶段、任务状态、重试次数和阶段检查点。处理阶段可包括解析、分析、记忆生成、关系写入和索引更新。
14、优选地,分析处理的输入包括规范化内容、企业项目目的、记忆模式、已有记忆摘要以及访问允许的关联记忆;输出包括候选企业对象、候选事实、时间信息、候选关系、冲突信息、原始证据位置和建议记忆类型。
15、优选地,记忆生成处理的输入包括结构化分析结果和原始证据;输出包括记忆单元、关系边、人工审核项和索引更新指令。分析处理和记忆生成处理分别保存处理状态,使任一阶段失败时能够独立重试。
16、优选地,演化关系至少包括新增、补充、修正、替代、冲突、失效和删除标记。当新记忆单元与既有记忆单元描述同一企业对象且内容互斥,并且不能依据事件时间或来源优先级确定有效状态时,建立冲突关系并生成审核项。
17、优选地,系统不物理删除被替代或失效的记忆单元,而是保存其生命周期状态和有效时间范围。查询时点位于某记忆单元的有效时间范围内时,该记忆单元才参与有效状态排序。
18、优选地,系统设置原始证据层、演化记忆层、规则控制层和操作日志层。原始证据层采用不可变存储或只追加存储;演化记忆层存储记忆单元、关系边、版本信息和向量引用;规则控制层存储记忆模式、模型路由、项目目的和权限策略;操作日志层存储摄入、修改、恢复、检索和生成操作。
19、优选地,关键词检索对标题、正文、标签和来源定位信息进行匹配;向量检索根据查询内容的向量表征在向量索引中获得语义候选;知识图谱以关键词候选和向量候选为种子执行至少一跳关系扩展。
20、优选地,通过倒数排序融合方法合并不同检索通道的候选记忆单元,并根据直接关系、来源重叠、共同邻居、对象类型、版本有效性和证据完整度中的至少两项调整候选得分。
21、优选地,权限标签包括组织标签、岗位标签、项目标签、数据类别标签、密级标签或访问期限标签。权限快照记录访问主体在记忆调用时的有效权限集合及其快照标识。
22、优选地,权限快照标识、候选记忆单元的版本标识和检索配置共同构成记忆调用缓存的复用条件。访问主体的组织、岗位、项目成员关系、密级授权或访问期限发生变化时生成新的权限快照标识,并禁止直接复用旧权限快照对应的候选上下文或生成结果。
23、优选地,人工智能模型生成的输出中的陈述与一个或多个记忆单元标识关联。系统可以将记忆单元标识进一步解析为原始证据的位置、内容指纹和版本信息。
24、优选地,当候选记忆之间存在未解决冲突、证据完整度低于阈值或访问主体无权访问必要证据时,输出冲突提示、证据不足状态或拒绝结果,不将未经验证的模型输出直接写入演化记忆层。
25、本发明第二方面提供一种企业人工智能生命记忆系统,包括数据采集与身份模块、任务控制模块、记忆生成模块、记忆演化模块、混合检索模块、权限控制模块和可追溯生成模块,各模块用于执行第一方面的方法。
26、本发明第三方面提供一种电子设备,包括处理器和存储器,存储器中存储有计算机程序,计算机程序被处理器执行时实现第一方面的方法。
27、本发明第四方面提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现第一方面的方法。
28、本发明第五方面提供一种计算机程序产品,包括计算机程序,计算机程序被处理器执行时实现第一方面的方法。;有益效果
29、本发明通过源身份和内容指纹的组合区分数据来源与内容变化,并通过持久化队列和阶段检查点执行幂等摄入,减少重复解析、重复向量化和重复模型调用,提高中断后的恢复能力。
30、本发明将原始证据、模型分析和正式记忆写入相互分离,避免模型生成内容覆盖原始证据,并通过原始证据指针和内容指纹提高知识生成结果的可验证性。
31、本发明为记忆单元设置事件时间和摄入时间,并通过补充、替代、冲突和失效关系保留历史状态,使系统能够分别回答当前状态问题和历史时点问题。
32、本发明联合使用关键词、向量和知识图谱通道检索记忆,并结合版本有效性和证据完整度进行融合排序,能够在字面表达、语义表达和关系表达不一致时提高候选记忆的召回稳定性。
33、本发明在候选记忆进入人工智能模型上下文之前使用当前权限快照进行过滤,并将权限快照纳入缓存复用条件,从而降低权限变化后旧上下文或旧生成结果被越权复用的风险。
34、本发明把输出指纹、记忆版本、原始证据、权限快照和检索配置绑定为调用证据链,使生成结果能够反向定位至实际使用的企业记忆和原始证据。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com