一种Markdown图片链接加密替换与安全存储方法与流程
本发明涉及文档安全存储与检索增强生成,尤其涉及一种markdown图片链接加密替换与安全存储方法。
背景技术:
1、在rag(检索增强生成)知识库系统的文档处理流程中,解析引擎将pdf、word等异构文档转换为markdown格式。解析过程中,文档中的图片被提取为独立文件,markdown中通过相对路径或url引用这些图片。
2、现有方案主要有三类:原始路径直存方案中,markdown直接引用图片的明文存储路径,图片文件通过公开url或临时链接直接访问,不做任何加密或访问控制;签名url方案中,图片上传至对象存储后生成带时效的预签名url存入markdown,访问时由存储服务校验签名有效期;独立图片服务方案中,部署图片代理服务,markdown存储代理服务api路径,每次请求由代理服务校验身份后从存储服务获取图片。
3、上述方案存在以下缺陷:
4、第一,图片url直接暴露,缺乏安全防护。原始路径直存方案中,markdown文件内的图片url以纯文本形式存在,攻击者可通过遍历或猜测url路径直接访问图片,造成合同签章、财务报表等敏感信息泄露。
5、第二,链接时效性不可控,与知识库长期可用需求矛盾。签名url方案中,预签名url过期后图片失效,而知识库中的markdown内容需要在数月甚至数年内保持可访问。缩短有效期则图片频繁失效,延长有效期则安全性降低,且批量刷新过期链接成本高昂。
6、第三,图片引用与存储路径强耦合,缺乏独立于存储位置的持久标识。markdown直接绑定图片的物理存储路径,当存储迁移、路径规则调整时,需批量修改所有markdown文件中的图片引用,极易遗漏且无法通过简单的路径重定向解决。
7、第四,加密仅保护路径不保护内容,图片可被篡改且无法感知。即便对存储路径做了加密,加密标识仅与路径相关而与图片内容无关。攻击者一旦获得合法访问通道,即可用任意图片替换存储服务中的原图,渲染侧无法识别篡改。
8、第五,权限回收滞后,无法实时撤销已下发的访问权限。签名url在有效期内无法撤销,当用户离职或发生泄密事件时,已下发的图片访问权限无法实时收回,只能等待链接过期。
9、第六,图片访问脱离rag溯源上下文,缺乏可追溯性。在企业rag场景中,图片url一旦生成即与检索上下文解耦,无法将图片访问与“哪次检索、哪个用户、哪篇文档”的溯源链路关联,导致访问审计维度单一。
技术实现思路
1、为解决现有技术中markdown图片的存储路径暴露、访问权限无法实时控制、内容可被篡改且访问脱离rag溯源上下文的问题,本发明提出一种markdown图片链接加密替换与安全存储方法。
2、具体技术方案如下:一种markdown图片链接加密替换与安全存储方法,包括:
3、确定markdown文件所引用的图片文件,将所述图片文件上传至存储服务,获取所述图片文件在所述存储服务中的存储标识;
4、对所述存储标识进行加密,生成加密标识;
5、将所述markdown文件中所述图片文件的原始引用替换为所述加密标识;
6、响应于携带所述加密标识的访问请求,对所述加密标识进行解密,还原所述存储标识;
7、校验当前请求是否具有对所述存储标识对应图片文件的访问权限,若校验通过,则从所述存储服务获取所述图片文件并返回。通过将图片的存储标识加密后替换markdown中的原始引用,使markdown文件中不包含任何可直连的明文url,攻击者即使获取markdown文件也无法还原真实存储路径,从根本上杜绝了图片url泄露导致的数据暴露风险;同时,加密标识作为持久化的存储标识替代方案,其有效性不依赖于签名url的时效性,无需在签名过期后批量刷新markdown链接,兼顾了长期可用性与访问安全性;此外,解密后执行独立的权限校验,使访问授权机制与存储标识本身解耦,即使加密标识被泄露,未通过权限校验的请求仍被拒绝,形成了加密隐藏路径结合权限控制访问的双重安全保障。
8、进一步的,所述对所述存储标识进行加密,生成加密标识,具体包括:
9、采用对称加密算法对所述存储标识进行加密,得到密文;在所述密文前添加预设的前缀标识,形成所述加密标识。
10、进一步的,还包括:
11、计算所述图片文件的第一哈希值;
12、将所述存储标识与所述第一哈希值组合后进行加密,所述加密标识解密后同时还原出所述存储标识和所述第一哈希值;
13、在基于所述存储标识获取所述图片文件后,计算所获取图片文件的第二哈希值,将所述第二哈希值与所述第一哈希值比对,若不一致则拒绝返回。将图片内容的哈希值与存储标识一同加密,使加密标识成为存储位置结合内容指纹的双重绑定标识,由于第一哈希值被加密保护而不可伪造,访问时通过比对第一哈希值与对实际获取图片计算的第二哈希值,任何对图片内容的替换或篡改均可被可靠检测并拒绝,从机制上保障了图片内容的完整性,且完整性校验与解密流程深度融合,无需额外的安全存储或可信执行环境,降低了系统复杂度。
14、进一步的,所述校验当前请求是否具有对所述存储标识对应图片文件的访问权限,具体包括:
15、由访问网关接收所述访问请求,所述访问请求包含一次性令牌,所述一次性令牌中编码有所述加密标识及访问上下文信息;
16、所述访问网关解析所述一次性令牌,解密所述加密标识还原所述存储标识,并根据所述访问上下文信息执行权限校验;
17、校验通过后,所述访问网关向所述存储服务申请临时访问凭证,通过所述临时访问凭证从所述存储服务获取所述图片文件并返回;
18、所述访问网关的权限校验在每次访问请求时执行,访问策略变更后,所述访问网关在后续访问请求中立即执行变更后的策略。通过前置访问网关并下发一次性令牌,使系统外部永远无法获得绕过网关的存储服务直连凭证,所有图片访问均强制经过网关的权限校验,与现有签名url方案中将存储服务凭证直接下发给客户端、有效期内无法回收的架构形成本质区别,在此基础上,由于每次访问请求均独立执行权限校验且不依赖签名url的有效期,访问策略变更后下一次请求即生效,从而彻底消除了从权限变更到策略生效之间的安全窗口,实现了实时撤销能力。
19、进一步的,所述访问上下文信息包括以下至少一种:租户标识、文档标识、用户标识以及检索会话标识;
20、所述权限校验基于动态访问策略进行匹配评估,所述动态访问策略支持以下至少一种维度的条件匹配:用户角色、部门、ip范围、时间窗口、文档密级、检索会话活跃状态;
21、所述动态访问策略的评估采用拒绝优先原则,未匹配任何允许策略的请求默认被拒绝。
22、进一步的,所述访问上下文信息还包括rag检索溯源上下文,所述rag检索溯源上下文在rag检索返回包含所述加密标识的溯源片段时生成,并在所述溯源片段中携带;所述rag检索溯源上下文至少包含文档标识、检索会话标识和片段标识;
23、所述权限校验包括:基于所述rag检索溯源上下文中的检索会话活跃状态进行判定;
24、所述访问网关将对所述访问请求的允许或拒绝判定记录为审计日志,并将所述审计日志关联到所述检索会话标识。将图片访问授权嵌入rag检索溯源链路,使溯源上下文贯穿从检索结果返回、图片访问授权到审计日志记录的完整链条,通过溯源上下文的贯穿,使访问控制可基于检索会话活跃状态等溯源维度条件进行精细化判定,同时使每一次图片访问均可追溯到具体的检索会话和溯源片段,满足了企业内部对文档访问行为可追溯、可审计的合规要求,有效支撑了安全事件的溯源取证。
25、进一步的,所述对所述存储标识进行加密,包括:
26、获取当前生效的密钥版本号,将所述密钥版本号与加密后的密文组合形成所述加密标识;
27、所述对所述加密标识进行解密时,从所述加密标识中解析出所述密钥版本号,根据所述密钥版本号选择对应的解密密钥进行解密。
28、进一步的,所述确定markdown文件所引用的图片文件,具体包括:
29、解析所述markdown文件中的图片引用,得到被引用的图片文件路径集合;
30、扫描所述markdown文件所在目录及其子目录下的图片文件,将文件路径属于所述集合的图片文件确定为所述markdown文件所引用的图片文件。
31、进一步的,所述将所述markdown文件中所述图片文件的原始引用替换为所述加密标识,具体包括:
32、使用预设的markdown图片引用匹配规则,匹配所述markdown文件中的图片引用;
33、对匹配到的每一处图片引用,提取所引用图片文件的路径;
34、以所述路径为键,在映射表中查询对应的加密标识,若命中则替换为该加密标识,若未命中则保持原引用不变;
35、所述映射表在单次markdown文件处理过程中以内存临时结构存在,替换完成后的markdown文件中包含所述加密标识,作为所述加密标识的持久化存储形式。将markdown文件本身作为加密标识的持久化载体,映射表仅在构建过程中以内存临时结构存在,构建完成后其语义被直接写入markdown文本,每处图片引用即为该图片的加密标识,下游访问时直接解密标识即可获取存储标识,无需额外查询映射表或数据库。
36、进一步的,所述以所述路径为键在映射表中查询对应的加密标识,具体包括:
37、优先以所述路径的完整相对路径为键进行查询;
38、若未命中,则以所述完整相对路径中的文件名为键再次查询。
39、上述技术方案具有以下优点或技术效果:
40、1. 本发明通过将图片存储标识加密后替换markdown原始引用,使加密标识替代明文路径成为markdown中的持久引用,兼具路径隐藏和长期可用性,同时通过独立权限校验实现加密隐藏路径结合权限控制访问的双重安全保障。
41、2. 本发明通过将图片内容的第一哈希值与存储标识一同加密,使加密标识成为存储位置结合内容指纹的双重绑定标识,访问时比对第二哈希值与第一哈希值,实现了对图片内容篡改的可靠检测与拒绝。
42、3. 本发明通过前置访问网关、下发一次性令牌并在每次访问时独立执行权限校验,使访问策略变更后下一次请求即生效,彻底消除了权限回收滞后造成的安全窗口,实现了真正意义上的实时撤销。
43、4. 本发明通过将图片访问授权嵌入rag检索溯源链路,使溯源上下文贯穿从检索结果返回到图片访问授权再到审计日志记录的完整链条,实现了基于溯源维度的精细化访问控制和图片访问行为的可追溯审计。
44、5. 本发明通过将映射表设计为构建过程中的内存临时结构、以替换完成后的markdown文件本身作为加密标识的持久化形态,消除了独立映射表存储和查询的开销,避免了映射表与markdown内容不一致的问题,降低了系统复杂度。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com