一种本地知识问答隐私保护方法与流程

摘要: 本发明涉及数据安全,尤其涉及一种本地知识问答隐私保护方法。背景技术:1、本地知识库问答系统是一种在个人计算机或企业内部服务器上部署的智能化信息检索应用,用户以自...
一种本地知识问答隐私保护方法与流程

本发明涉及数据安全,尤其涉及一种本地知识问答隐私保护方法。

背景技术:

1、本地知识库问答系统是一种在个人计算机或企业内部服务器上部署的智能化信息检索应用,用户以自然语言提问时,系统检索相关文本片段并发送给大语言模型,由模型基于检索结果生成回答。

2、然而,现有实现方式在隐私和安全层面存在以下不足:

3、第一,本地文件绝对路径可能泄露敏感信息。windows环境下文件完整路径通常包含当前用户名、部门名称、项目代号或客户名称等具有业务含义的信息,现有系统将检索命中文件的绝对路径直接拼入模型提示词发送至云端模型服务,导致本地目录结构和用户身份信息随每次问答外泄。

4、第二,外部网页url的查询参数和片段标识可能携带访问令牌、会话标识、跟踪参数及内部业务编号等敏感信息,现有系统将完整url作为来源标识和模型输入,造成上述参数被发送至外部服务。

5、第三,网页抓取过程中默认自动跟随重定向,若初始为公网地址的url经多次重定向最终指向本机地址或内网地址,系统将间接访问用户本机端口或企业内网未授权资源,现有技术仅校验初始url而无法防范重定向链引入的安全风险。

6、第四,http错误响应页常包含服务端软件名称、版本号、文件路径或堆栈跟踪等调试信息,超大响应体亦可能造成本地资源消耗,现有系统未对响应体大小和错误内容加以有效限制。

7、第五,本地索引中不存在相关片段时,现有系统仍将用户问题发送给模型,模型可能基于自身参数化知识生成无依据回答(即幻觉),既降低回答可信度,又造成不必要的数据外发。

8、公开号为cn118296654a的中国专利公开了一种知识检索增强的隐私保护方法,该方法无法防范本地知识库场景中因本机文件路径、url敏感参数和重定向内网访问导致的信息泄露,也不涉及检索无命中时的模型调用抑制,其权限管控依赖于用户身份认证体系和预先配置的数据访问权限分级,无法适用于无用户身份体系的纯本地桌面应用环境。

9、公开号为cn118069803a的中国专利公开了一种知识库隐私保护方法,该方法仅关注文本内容中命名实体类隐私数据的匿名化替换,无法防范本地文件系统路径结构、url查询参数中隐含的上下文语义型敏感信息泄露,也不涉及网页抓取过程中重定向导致的内网访问风险,且其匿名化处理依赖于对隐私数据类型的预先识别和分类,对非结构化路径信息、参数型敏感数据无法有效识别和处理。

10、公开号为cn121786272a的中国专利公开了一种基于隐私保护的个人与企业知识库协同搜索与回流方法,该方法不适用于纯本地、无企业后端服务的单机知识问答场景,且其隐私保护侧重于通过“数据不离本地”和“传输加密”防止原始文档上传,但未涉及对本地文件路径信息、url参数、网页抓取重定向等知识采集环节的隐私裁剪与安全校验,无法防止本地路径通过模型提示词泄露,也无法防范外部url重定向导致的内网资源访问。

11、因此,如何提供一种贯穿全流程的保护方法,实现在知识采集、索引构建和模型调用环节的隐私与安全防护,成为亟待解决的技术问题。

技术实现思路

1、有鉴于此,为了克服现有技术的不足,本发明旨在提供一种本地知识问答隐私保护方法。

2、本发明提供一种本地知识问答隐私保护方法,该方法包括:

3、获取本地知识库的来源配置,对不同来源类型的知识来源进行读取,获得正文文本;

4、对不同来源类型的知识来源进行隐私裁剪,获得公开来源显示路径;

5、将正文文本切分为文本片段,与裁剪获得的公开来源显示路径以及标题写入本地索引;

6、在用户提问时,将用户问题与本地索引中的文本片段进行匹配,匹配成功则基于公开来源路径和匹配的文本片段构造模型提示词。

7、可选地,本发明的本地知识问答隐私保护方法,按以下方式对不同来源类型的知识来源进行读取:

8、当来源类型为本地文件夹来源时,扫描文件夹内可索引文件,解析文件内容提取正文文本;

9、当来源类型为统一资源定位符来源时,根据统一资源定位符抓取网页内容,解析网页正文提取正文文本;

10、其中,可索引文件包括纯文本格式文件、标记语言格式文件、便携式文档格式文件、字处理文档格式文件、富文本格式文件和图片格式文件。

11、可选地,本发明的本地知识问答隐私保护方法,对于统一资源定位符来源,在抓取网页内容之前按以下方式执行协议与地址安全校验:解析统一资源定位符的协议部分,仅允许超文本传输协议或超文本传输安全协议,拒绝文件传输协议及本地文件协议;将统一资源定位符的主机部分解析为网络地址,若解析所得地址属于本机回环地址、本机网卡地址、站点本地地址、内网私有地址段、链路本地地址或因特网协议版本6私有地址中的任意一种,则判定为不安全地址并拒绝抓取。

12、可选地,本发明的本地知识问答隐私保护方法,对于统一资源定位符来源,在抓取网页内容过程中按以下方式对重定向进行逐跳校验:执行针对预设状态码的手动重定向处理,从服务器返回的响应头中提取位置字段中的目标统一资源定位符,对该目标统一资源定位符重新执行协议与地址安全校验,仅当重新校验通过后方继续请求,每次重定向累计计数,超过预设最大次数阈值时终止抓取并拒绝该统一资源定位符来源纳入索引。

13、可选地,本发明的本地知识问答隐私保护方法,对于统一资源定位符来源,在抓取网页内容过程中,按以下方式执行响应体大小限制和错误响应截断:检查响应头中的内容长度字段,若该字段指示的响应体大小超过预设字符上限则丢弃响应并拒绝索引,若响应头未包含内容长度字段则在读取响应体过程中累计实际读取长度,超过预设字符上限时停止读取并拒绝索引;当返回的超文本传输协议状态码大于或等于预设值时,不对完整响应体进行保存或展示,对响应体中的空白字符进行归一化处理,截取预设长度内的文本作为错误预览信息,该错误预览信息不写入本地全文索引。

14、可选地,本发明的本地知识问答隐私保护方法,对于统一资源定位符来源,解析网页正文提取正文文本时,对于超文本标记语言页面,使用超文本标记语言解析器解析页面结构,从文档对象模型中移除脚本节点、样式节点、无脚本节点、导航节点和页脚节点后提取剩余正文文本作为可索引文本,并优先提取页面标题标签中的文本作为文档标题,若标题标签为空则使用统一资源定位符作为标题。

15、可选地,本发明的本地知识问答隐私保护方法,对不同来源类型的知识来源进行隐私裁剪,获得公开来源显示路径,包括:对于本地文件夹来源,以本地文件夹的根目录作为相对路径计算基准,将可索引文件的绝对路径转换为相对于该根目录的相对路径字符串作为公开来源显示路径,当可索引文件的绝对路径与本地文件夹的根目录不在同一逻辑卷或无法建立相对路径关系时,放弃相对路径转换,仅以可索引文件的文件名作为公开来源显示路径的兜底值。

16、可选地,本发明的本地知识问答隐私保护方法,对不同来源类型的知识来源进行隐私裁剪,获得公开来源显示路径,还包括:对于统一资源定位符来源,在抓取统一资源定位符时使用包含查询参数和片段标识的完整统一资源定位符发起网络请求,在生成用于展示和模型输入的公开统一资源定位符时,重新构造仅包含协议名称、主机名称和路径部分的统一资源定位符字符串,将查询参数部分和片段标识部分置空,以该重新构造后的统一资源定位符作为公开来源显示路径。

17、可选地,本发明的本地知识问答隐私保护方法,将用户问题与本地索引中的文本片段进行匹配,包括:通过对用户问题进行分词处理生成查询条件,将查询条件与本地索引中存储的所有文本片段进行全文检索匹配,按相关度排序后返回匹配结果;若匹配返回的命中片段列表为空则判定为匹配失败并返回空来源列表和依据不足提示,不发起任何向外部模型的请求;若匹配返回的命中片段列表非空则判定为匹配成功,构造的模型提示词包括用户原始问题、按编号排列的命中文本片段及各命中文本片段对应的文档标题和公开来源显示路径,并附加约束指令要求模型仅基于所提供的命中片段回答,信息不足时明确说明。

18、可选地,本发明的本地知识问答隐私保护方法,公开来源显示路径和匹配的文本片段被保存为问答引用片段快照,用于历史问答回放。

19、本发明的本地知识问答隐私保护方法,具有以下有益技术效果:

20、通过获取来源配置并对不同来源类型的知识来源分别进行读取和隐私裁剪,获得公开来源显示路径后连同文本片段写入本地索引,在用户提问时仅在匹配成功时构造模型提示词,形成从知识采集、索引写入到问答输出的全链路隐私保护机制。将“用于本地定位的内部信息”与“允许发送给模型的公开来源信息”相分离,同时通过匹配成功才调用模型的机制抑制无依据回答,能够在保持本地知识问答功能可用性的前提下,有效降低本地路径泄漏、敏感参数外传和无依据模型调用等多重风险,显著提升本地知识库问答系统的安全性和可信度。