一种多模态问答检索鉴权方法与流程

摘要: 本发明涉及检索增强生成,具体涉及一种多模态问答检索鉴权方法。背景技术:1、随着企业数字化转型的不断深入,知识管理水平已成为衡量企业核心竞争力的重要指标。在企业知...
一种多模态问答检索鉴权方法与流程

本发明涉及检索增强生成,具体涉及一种多模态问答检索鉴权方法。

背景技术:

1、随着企业数字化转型的不断深入,知识管理水平已成为衡量企业核心竞争力的重要指标。在企业知识管理和智能问答系统中,越来越多的多模态内容--包括文本文件、图像文件、ocr扫描件、表格文件以及图文混排文档等--被纳入统一的知识库进行集中管理与智能利用。

2、针对此类多模态内容,相关系统通常先通过文字识别、表格结构抽取、图像语义描述生成、版面分析和阅读顺序恢复等处理,将其解析为统一文本表示,再进行切片和向量化处理,随后从向量数据库或混合索引中按语义相似度召回相关内容切片,并将召回结果提供给生成模型以生成问答结果。

3、这种基于检索增强生成(rag)的技术架构,结合多路召回、智能排序与提示词工程,能够大幅提升复杂查询的精准度,为企业提供"问有所答、答有所据"的智能服务。

4、然而,在企业实际应用中,知识库内容通常包含组织权限、岗位权限、角色权限、地域权限及员工个人权限等约束信息,不同用户可访问的内容范围存在明显差异。

5、为保障知识资产安全合规,企业往往建立分级权限管控机制,精细化划分不同角色的访问权限,明确个人级、部门级、条线级、公司级知识库的操作范围与共享边界。但在将上述权限管控机制应用于多模态问答检索链路时,现有技术普遍存在以下不足:

6、第一,缺少面向多模态问答链路的实时鉴权机制。

7、部分方案仅在内容管理阶段设置静态访问控制,而未在检索和生成链路中执行与当前请求对应的动态鉴权。静态访问控制通常只在内容入库、文档打开或页面查看时判断用户是否有权访问该内容本身。由于问答检索链路中系统会把文档拆成内容切片并写入索引,后续按语义相似度召回切片,若召回阶段不重新带入当前用户身份和授权范围,索引中已有的未授权切片仍可能因语义相关而被命中。

8、例如,用户无权查看"华南区域经营复盘",但其提问"某区域毛利下降原因"时,向量检索仍可能命中该复盘中的相似段落,因此仅靠内容管理阶段的静态访问控制不能约束每一次问答检索请求的召回范围,导致检索结果可能超出用户实际可访问范围。

9、第二,缺少切片级细粒度权限控制能力。

10、部分方案仅支持内容级授权,难以处理同一内容中部分区域可访问、部分区域受限的场景。当一份文档整体可访问,但其内部某些局部区域(如薪酬列、身份证号区域或客户联系方式区域)具有独立的敏感属性时,仅依赖内容级权限无法有效阻断局部敏感内容参与生成,从而引发数据泄露和合规风险。

11、第三,缺少检索与生成链路之间的一致授权约束。

12、部分方案即使在检索阶段进行了结果过滤,也未将鉴权结果以统一约束对象传递至重排、上下文组装和生成过程。若过滤结果只停留在检索模块,后续重排模块又复用历史缓存中的高相关切片,或者异步处理、结果重排时未再次校验,则未授权切片仍可能被排入候选结果并进入模型输入。

13、例如,用户甲仅具有某经营分析文档中华东区域销售表的访问权限,检索阶段可以据此过滤掉华南区域销售表和薪酬明细表;但若上下文组装模块不再校验本次请求的授权边界,薪酬明细表中的"员工奖金"切片仍可能在缓存复用或重排过程中混入,最终生成结果中可能出现用户甲无权查看的奖金信息。

14、第四,缺少与权限变更联动的版本更新和失效机制。

15、当标签规则、用户主数据或内容切片发生变化时,现有方案难以及时更新授权范围和缓存结果。若缓存复用、异步处理或结果重排时仍沿用旧的授权结果,容易造成旧授权结果继续生效,影响权限控制的一致性,造成权限变更与系统实际鉴权之间的"时间差"漏洞。

16、为了便于理解,现结合实际应用场景说明现有技术的缺陷:

17、假设一家大型集团公司有一个名为“2024年度各区域经营分析报告”的多模态pdf文档,里面包含了全国各区域的详细数据。

18、这份文档里有几部分内容:

19、华东区域销售业绩表(一张表格):包含各门店销售额、毛利率。

20、华南区域成本分析报告(一段文本):包含详细的供应链成本和人力成本。

21、全集团高管薪酬汇总表(一张表格,位于文档末尾的附录页):包含所有总监级以上人员的姓名和年薪。

22、现在,公司有两个员工:

23、张明:华东区域销售总监,负责华东业务。

24、李华:华南区域财务专员,负责华南成本核算。

25、按照公司规定:

26、张明只能看华东区域的数据,不能看华南的,更不能看全集团的高管薪酬。

27、李华只能看华南区域的数据,不能看华东的,也不能看高管的薪酬。

28、如果使用传统的、只有静态访问控制的问答系统,会发生什么?

29、文档入库:管理员把这份pdf文档导入系统。系统在文档级别设置了权限:“仅限集团vp及以上级别查看”。(这就是“静态访问控制”)

30、张明提问:张明登录系统,问:“我们华东区去年哪个门店销售额最高?”

31、系统处理:

32、系统检查文档权限:张明是销售总监,不是vp,所以他连打开这份文档的权限都没有。系统直接返回:“您无权访问此文档。” -- 这就导致了“过度防御”,明明华东的数据他完全有权看,却因为整份文档的权限设置太粗,他被拒之门外。

33、另一种更糟的情况:如果管理员为了方便,给这份文档开了“全员可检索”的权限。那张明问同样的问题,系统会怎么做?

34、系统会把整个文档切成很多小切片(包括华东表格、华南文本、高管薪酬表)。

35、系统根据语义相似度,会召回与“销售额”最相关的切片,这很可能包括了“华东销售业绩表”和...... “全集团高管薪酬汇总表”(因为薪酬也跟“业绩”有关联)。

36、系统把这些切片一股脑地塞给大模型,生成答案。结果,张明不仅看到了华东的销售额,还在答案的某个角落里看到了“ceo年薪500万”的信息!-- 这就是严重的数据泄露事故。

37、因此,传统方案要么“一刀切”不让看,导致可用性差;要么“全放开”,导致高风险。

38、综上所述,现有多模态问答检索方案在权限控制与检索、生成链路的衔接上存在脱节,权限粒度不足,且权限变更后授权结果更新不及时,难以满足企业在数据隐私与信息安全方面的严苛要求。

39、因此,亟需一种检索鉴权方案,使多模态内容解析、双层标签关联、授权范围确定、检索执行和安全上下文组装使用同一授权约束,在检索前和上下文组装前均执行鉴权处理,防止未授权内容进入问答结果,从而确保敏感知识仅对授权人员开放。

技术实现思路

1、有鉴于此,本发明的目的在于提供一种多模态问答检索鉴权方法,以解决现有技术多模态问答检索场景中因权限控制粒度不足、鉴权时机滞后,导致未授权内容可能泄露,存在数据安全风险的问题。

2、根据本发明实施例的第一方面,提供一种多模态问答检索鉴权方法,包括:

3、接收多模态内容,为所述多模态内容分配内容标识;

4、对所述多模态内容进行解析处理,生成统一文本表示,并对所述统一文本表示进行切片处理,得到多个内容切片;

5、为每个内容切片建立内容级权限标签和切片级权限标签,及所述内容级权限标签与所述内容标识的关联关系,及所述切片级权限标签与所述内容切片的关联关系;

6、对所述内容切片进行向量化处理,并将内容切片向量以及与所述内容切片对应的切片元数据写入向量数据库;

7、接收用户发起的问答检索请求,所述问答检索请求至少包括用户身份信息和检索内容;

8、基于所述检索内容生成与本次问答检索请求对应的检索查询条件,所述检索查询条件至少包括查询向量、查询关键词、查询语义约束和检索过滤表达中的一种;

9、基于所述用户身份信息对应的用户主数据、标签规则图谱、所述关联关系,确定所述用户身份信息对应的授权标签集合、授权内容范围和授权切片范围,并生成与本次问答检索请求对应的授权快照;

10、在检索执行前,基于所述授权快照对与所述检索查询条件对应的待检索内容执行内容级前置鉴权,以从所述向量数据库中确定允许参与检索的候选内容集合;

11、基于所述授权快照和所述检索查询条件,在所述授权内容范围和授权切片范围限定下,在所述候选内容集合中执行受限检索,得到候选内容切片集合;

12、在上下文组装前,基于所述授权快照对所述候选内容切片集合执行切片级二次鉴权,以确定授权内容切片集合;

13、基于所述授权内容切片集合组装安全上下文,并仅基于所述安全上下文生成问答结果。

14、本发明的实施例提供的技术方案可以包括以下有益效果:

15、通过将文本、图像、表格、扫描件等多模态内容统一转化为文本表示并进行切片,使不同形态的内容在同一框架下完成检索与鉴权,无需为每种模态设计独立流程。

16、通过内容级权限标签和切片级权限标签的双层设计,既支持文档级的粗粒度授权,又支持文档内局部区域的细粒度管控,解决了传统方案“一刀切”或“全放开”的困境。

17、将授权标签集合、授权内容范围和授权切片范围固化为授权快照,在内容级前置鉴权、受限检索、切片级二次鉴权和安全上下文组装过程中统一传递,确保同一请求的各个处理阶段使用同一授权边界,避免因缓存复用或异步处理导致的越权混入。

18、在检索执行前进行内容级前置鉴权,过滤掉无权访问的整篇内容;在上下文组装前进行切片级二次鉴权,剔除内容内部的局部受限切片。两道防线确保未授权内容无法进入检索结果和模型输入。

19、采用“先过滤、后召回”策略,在检索执行前通过权限过滤条件缩小搜索范围,既从源头杜绝未授权切片被召回,又减少了无效计算,提升了检索效率。

20、仅将通过双重鉴权的内容切片组装为安全上下文送入大模型,从根本上防止未授权内容参与答案生成,保障问答结果的安全合规。

21、本方案通过多模态统一处理、双层标签、授权快照、双阶段鉴权和受限检索的有机组合,实现了从内容入库到问答生成的全链路权限控制,解决了多模态问答场景中权限粒度不足、鉴权时机滞后、链路脱节的问题,在保障数据安全的同时提升了系统的可用性和检索效率。

22、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。