一种基于密点的生成式人工智能大模型RAG安全检索与派生涉密属性自动检验方法及系统与流程

摘要: 本发明涉及信息安全与人工智能交叉领域,尤其涉及一种基于密点的生成式人工智能大模型rag安全检索与派生涉密属性自动检验方法及系统。背景技术:1、检索增强生成(ra...
一种基于密点的生成式人工智能大模型RAG安全检索与派生涉密属性自动检验方法及系统与流程

本发明涉及信息安全与人工智能交叉领域,尤其涉及一种基于密点的生成式人工智能大模型rag安全检索与派生涉密属性自动检验方法及系统。

背景技术:

1、检索增强生成(rag)是一种通过从外部知识库检索相关信息来增强大语言模型(llm)输出质量的技术,可有效避免模型幻觉。随着rag技术的普及,许多组织开始部署覆盖全组织的水平rag系统。

2、在涉密信息管理领域,密点--即决定一个事项具备国家秘密本质属性的关键内容,是能与非密内容及其他密点明确区分的最小独立信息单元--已被引入作为细粒度访问控制的基本单元。现有技术中,已有基于密点标注的细粒度访问控制方法,通过标注密点的密级、有效时间域、有效空间域,生成分级密钥对文件中各密点进行分级加密。另有方法能够基于文档中不同内容的敏感程度,设定文档的密级和访问权限,使同一份文档中不同段落的内容对不同密级的使用者具有不同的阅读权限。

3、在rag安全领域,已有方案提出了基于chunk的访问控制与血缘追踪方法,通过维护文档访问权限,在检索时排除用户无权访问的文档块。另有方案提出了基于用户角色权限的rag数据安全管理方法,根据角色权限查询用户可访问的向量索引。还有方案提出了基于知识权限掩码的rag内容生成方法,通过在内容生成过程中屏蔽无权知识来实现安全管控。

4、现有技术仍存在以下不足:

5、第一,rag检索的权限控制粒度不够精细。现有rag安全方案主要基于文档级或chunk级进行权限控制。一个chunk中可能包含多个不同职能领域、不同密级的信息片段,现有技术无法在同一chunk内部实现差异化访问控制。虽然密点标注技术已在文件访问控制领域得到应用,但尚未与rag检索技术结合,未将密点作为rag向量检索的基本单元。

6、第二,rag检索缺乏多维度的访问控制判定。现有方法通常仅基于文档级别的权限进行二元判断(允许/拒绝),或基于单一的角色权限维度进行控制。未将“业务职能边界”和“密级”作为独立的检索过滤维度,无法实现“职能原子×密级”的联合判定。

7、第三,rag生成内容的涉密属性缺乏自动检验机制。根据《派生国家秘密定密管理暂行办法》,机关、单位对执行或者办理已定密事项所产生的国家秘密,应当依法确定、变更和解除。派生事项涉及已定密事项密点的,应当确定为国家秘密;派生国家秘密的密级应当与已定密事项密级保持一致,涉及多个密点的,应当与所涉及密点的最高密级保持一致。然而,现有rag系统在用户基于检索到的密点生成新内容后,缺乏对新内容是否属于派生国家秘密的自动检测与判定机制,无法自动识别新内容是否因派生自涉密密点而具有涉密属性,也无法自动判定其密级、知悉范围等涉密属性。派生定密仍然依赖人工判断,存在较大的泄密风险和合规风险。

8、第四,rag场景下的密点血缘追踪缺失。现有技术中虽有chunk级别的数据血缘追踪,但未建立密点级别的血缘追踪机制。当用户基于多个密点生成新内容后,无法自动记录新内容与源密点之间的派生关系,也无法在源密点发生变更时自动触发派生内容的权限同步更新。

9、第五,rag检索与派生定密之间缺乏闭环。现有技术中,rag检索的权限控制、密点标注、派生定密三者相互独立,未形成“检索→生成→判定→标注”的自动化闭环。用户通过rag检索获取密点、基于密点生成新内容后,新内容无法自动获得密点标注和访问控制保护,存在“生成即失控”的安全隐患。

10、因此,需要一种基于密点的rag安全检索与派生涉密属性自动检验方法及系统,来解决上述提出的现有技术缺陷。

技术实现思路

1、发明目的:发明提供了一种基于密点的rag安全检索与派生涉密属性自动检验方法及系统,以解决现有技术中rag检索权限控制粒度粗、缺乏多维度判定、rag生成内容涉密属性无法自动检验、密点血缘追踪缺失、rag检索与派生定密之间缺乏闭环等技术问题,实现rag场景下涉密信息“检索→生成→判定→标注”的全链路安全管控。

2、技术方案:为解决上述技术问题,根据本发明的一个方面,更具体的说是一种基于密点的生成式人工智能大模型rag安全检索与派生涉密属性自动检验方法,包括如下步骤:

3、s1、密点级rag向量库构建

4、步骤1.1:密点识别与提取。对待入库文档,基于预训练的机器学习模型或大语言模型,从文档中自动识别候选密点--即决定一个事项具备国家秘密本质属性的关键内容,是能与非密内容及其他密点明确区分的最小独立信息单元(如一个涉密词句、一组涉密数据、一张涉密图表、一个涉密段落),或由定密责任人手动标注密点。

5、步骤1.2:密点多维标签绑定。对每个密点进行以下标注:

6、职能原子标签f:该密点所属的业务职能单元(如pol-hr表示人力资源、cmd-op表示作战);

7、密级标签c:绝密/机密/秘密;

8、密点类型标签:坐标型/数据型/词句型/图表型/段落型等。

9、步骤1.3:密点独立向量化与存储。将每个密点独立向量化,存入向量库,每个密点作为独立的向量条目,携带完整的多维标签。同一份文件中的不同密点在向量库中作为独立条目存储,实现物理隔离。

10、步骤1.4:密点级加密。按密级生成分级密钥体系,对每个密点独立使用国密sm4算法进行加密,密钥与密文分离存储。

11、s2、用户权限模型构建

12、为每个用户建立权限模型,至少包括:

13、职能原子集合:该用户岗位所隶属的一个或多个职能原子;

14、密级等级:该用户被授予的最高密级(秘密/机密/绝密)。

15、s3、三维访问控制的rag安全检索方法

16、用户发起rag检索请求时,系统执行以下步骤:

17、步骤3.1:获取用户权限信息。获取当前用户的职能原子集合和密级等级c_user。

18、步骤3.2:多维标签预过滤。系统根据用户权限,在向量库中预先过滤密点:

19、维度一(职能原子匹配):仅保留职能原子标签∈的密点;

20、维度二(密级匹配):仅保留密级≤的密点;

21、(可选)维度三(密点级精确授权):仅保留密点id在用户授权列表中的密点。

22、步骤3.3:语义相似度检索。在预过滤后的密点集合中,计算用户查询向量与各密点向量的相似度,按相似度排序召回top-k密点。

23、步骤3.4:二次权限校验。对召回的每个密点,再次执行三维访问控制判定,确保召回结果100%符合用户权限。

24、步骤3.5:结果合成与响应。将通过校验的密点作为上下文注入大语言模型,生成最终响应。响应内容中的所有信息均来源于用户有权访问的密点。

25、判定规则:access=true当且仅当∈且≤且(可选)密点id在授权列表中。

26、s4、基于密点血缘的派生涉密属性自动检验算法

27、用户基于rag检索结果生成新内容t后,系统自动执行以下三层递进的派生涉密属性检验:

28、第一层:派生关系检测算法(双通道校验)

29、算法目标:判断t是否派生自涉密密点集合m。

30、算法输入:

31、待检验文本t

32、涉密密点集合m={m1,m2,...,mn}

33、语义相似度阈值

34、指纹匹配阈值

35、算法输出:是否派生自m(boolean),候选派生密点列表candidate

36、算法步骤:

37、通道一(语义相似度粗筛):

38、步骤1:计算待检验文本t的语义向量v(t);

39、步骤2:对涉密密点集合m中每个密点mᵢ,计算语义相似度sim(v(t),v(mᵢ))。其中语义相似度采用余弦相似度计算,公式为:

40、sim(v(t),v(mᵢ))=(v(t)·v(mᵢ))/(||v(t)||×||v(mᵢ)||)

41、步骤3:若,将mᵢ加入候选列表。

42、通道二(密点指纹匹配精筛):

43、步骤4:提取待检验文本t的密点指纹fingerprint(t),具体包括:

44、关键术语集合k(t):基于保密事项范围构建的领域词典匹配提取;

45、命名实体集合e(t):基于命名实体识别模型提取的人名、地名、部队番号、装备型号等;

46、数值数据集合n(t):基于正则表达式和语义理解提取的坐标、数量、时间、距离等。

47、步骤5:对中每个密点mᵢ,提取其密点指纹fingerprint(mᵢ),包含同样的三个维度:k(mᵢ)、e(mᵢ)、n(mᵢ)。

48、步骤6:对中每个密点mᵢ,计算指纹匹配度:

49、

50、其中,为各指纹维度的权重系数(典型值:w1=0.4,w2=0.3,w3=0.3)。

51、步骤7:若,将mᵢ加入最终候选列表candidate。

52、步骤8:若candidate非空,返回“是派生”及candidate;否则返回“非派生”。

53、第二层:派生源识别与属性聚合算法

54、算法目标:识别t具体派生自哪些密点,并聚合其属性。

55、算法输入:候选派生密点列表candidate={m1,m2,...,mk}

56、算法输出:派生源属性聚合结果

57、算法步骤:

58、步骤1:对candidate中每个密点mᵢ,提取其属性:

59、职能原子标签:f(mᵢ)

60、密级:c(mᵢ)

61、密点id:id(mᵢ)

62、保密期限:duration(mᵢ)

63、知悉范围:scope(mᵢ)

64、步骤2:计算每个候选密点的派生权重w(mᵢ):

65、

66、步骤3:对派生权重进行归一化处理:

67、

68、使得。

69、步骤4:按职能原子标签分组聚合:

70、对每个职能原子fin{所有出现的职能原子}:

71、

72、步骤5:判定有效职能原子标签:

73、若≥阈值(典型值:0.15),则f为t的有效职能原子标签。

74、第三层:涉密属性合成与检验算法

75、算法目标:综合判定t的最终涉密属性,并生成检验报告。

76、算法输入:派生源属性聚合结果

77、算法输出:t的涉密属性判定结果

78、算法步骤:

79、步骤1:判定是否涉密:

80、步骤2:判定密级(若涉密):

81、

82、即:取所有派生源密点中的最高密级。依据《派生国家秘密定密管理暂行办法》,派生密件的密级不得低于所涉及密点的最高密级。

83、步骤3:判定保密期限(若涉密):

84、

85、即:取所有派生源密点中最长的保密期限。

86、步骤4:判定知悉范围(若涉密):

87、

88、即:取所有派生源密点知悉范围的交集,确保最小必要原则。当交集为空时,取各知悉范围的并集作为保守方案。

89、步骤5:判定职能原子标签(若涉密):

90、

91、即:t的职能原子标签为所有有效派生源密点职能原子标签的集合。

92、步骤6:计算综合置信度:

93、

94、当候选列表只有1个密点时,。

95、步骤7:生成密点血缘记录:

96、创建t的密点记录,包含:

97、密点id:自动生成(格式:mid-yyyymmdd-xxx)

98、派生来源列表:[id(m1),id(m2),...,id(mk)]

99、派生类型:“rag生成派生”

100、定密依据:各源密点的文件名称、文号、密级

101、创建时间、创建人、创建上下文(用户查询、rag检索记录等)

102、步骤8:输出检验报告:

103、{

104、  "is_classified": true/false,

105、  "security_level": "绝密/机密/秘密/非密",

106、  "function_atoms": [f1, f2, ...],

107、  "scope": [用户/角色列表],

108、  "duration": "yyyy-mm-dd",

109、  "derived_from": [id1, id2, ...],

110、  "confidence": 0.xx,

111、  "lineage": {

112、    "derived_from": [id1, id2, ...],

113、    "derivation_type": "rag_generation",

114、    "creation_context": {...}

115、  }

116、}

117、算法完整伪代码

118、class derivedclassificationalgorithm:

119、    """基于密点血缘的rag派生涉密属性自动检验算法"""

120、    def __init__(self, secret_rag_db, sim_threshold=0.75, fp_threshold=0.6):

121、        self.db = secret_rag_db          # 涉密rag库(密点集合)

122、        self.sim_threshold = sim_threshold   # 语义相似度阈值

123、        self.fp_threshold = fp_threshold     # 指纹匹配阈值

124、        self.weights = {'term': 0.4, 'entity': 0.3, 'number': 0.3}

125、        self.atom_threshold = 0.15           # 职能原子有效阈值

126、    def detect_derivation(self, text_t):

127、        """

128、        第一层:派生关系检测

129、        返回: (is_derived, candidate_list)

130、        """

131、        # 1. 计算语义向量

132、        vec_t = self.embed(text_t)

133、        # 2. 语义相似度粗筛

134、        candidates_sim = []

135、        for midian in self.db.get_all():

136、            sim = self.cosine_similarity(vec_t, midian.vector)

137、            if sim >= self.sim_threshold:

138、                candidates_sim.append((midian, sim))

139、        # 3. 密点指纹精筛

140、        fp_t = self.extract_fingerprint(text_t)

141、        candidates = []

142、        for midian, sim in candidates_sim:

143、            fp_m = self.extract_fingerprint(midian.content)

144、            fp_match = self.compute_fp_match(fp_m, fp_t,self.weights)

145、            if fp_match >= self.fp_threshold:

146、                candidates.append({

147、                    'midian': midian,

148、                    'sim': sim,

149、                    'fp_match': fp_match,

150、                    'weight': self.normalize(sim * fp_match)

151、                })

152、        return (len(candidates) > 0, candidates)

153、    def extract_fingerprint(self, text):

154、        """

155、        提取文本的密点指纹

156、        返回: { 'terms': set, 'entities': set, 'numbers': set }

157、        """

158、        return {

159、            'terms': self.extract_key_terms(text),       # 关键术语

160、            'entities': self.extract_named_entities(text), # 命名实体

161、            'numbers': self.extract_numeric_data(text)     # 数值数据

162、        }

163、    def compute_fp_match(self, fp1, fp2, weights):

164、        """计算指纹匹配度"""

165、        term_match = len(fp1['terms'] & fp2['terms']) / max(len(fp2['terms']), 1)

166、        entity_match = len(fp1['entities'] & fp2['entities']) / max(len(fp2['entities']), 1)

167、        number_match = len(fp1['numbers'] & fp2['numbers']) / max(len(fp2['numbers']), 1)

168、        return (weights['term'] * term_match +

169、                weights['entity'] * entity_match +

170、                weights['number'] * number_match)

171、    def classify_derived(self, text_t):

172、        """

173、        第二层 + 第三层:派生源聚合与涉密属性合成

174、        返回: classificationresult

175、        """

176、        is_derived, candidates = self.detect_derivation(text_t)

177、        if not is_derived:

178、            return classificationresult(

179、                is_classified=false,

180、                security_level='非密',

181、                confidence=1.0

182、            )

183、        # 1. 按职能原子分组聚合权重

184、        atom_weights = {}

185、        for c in candidates:

186、            atom = c['midian'].function_atom

187、            atom_weights[atom] = atom_weights.get(atom, 0) + c['weight']

188、        # 有效职能原子:权重超过阈值

189、        effective_atoms = [a for a, w in atom_weights.items() if w >=self.atom_threshold]

190、        # 2. 密级合成(取最高)

191、        max_level = max(c['midian'].security_level for c incandidates)

192、        # 3. 知悉范围合成(取交集)

193、        scopes = [set(c['midian'].scope) for c in candidates]

194、        common_scope = set.intersection(*scopes) if scopes else set()

195、        # 4. 保密期限(取最长)

196、        max_duration = max(c['midian'].duration for c in candidates)

197、        # 5. 计算综合置信度

198、        confidence = 1 - np.prod([1 - c['weight'] for c incandidates])

199、        # 6. 生成血缘记录

200、        lineage = {

201、            'derived_from': [c['midian'].id for c in candidates],

202、            'derivation_type': 'rag_generation',

203、            'creation_context': self.get_current_context()

204、        }

205、        return classificationresult(

206、            is_classified=true,

207、            security_level=max_level,

208、            function_atoms=effective_atoms,

209、            scope=list(common_scope),

210、            duration=max_duration,

211、            derived_from=[c['midian'].id for c in candidates],

212、            confidence=confidence,

213、            lineage=lineage

214、        )

215、s5、密点血缘追踪与联动更新机制

216、步骤5.1:血缘图谱构建。系统构建全局密点血缘图谱,每个密点记录其所有派生源密点,形成有向无环图结构。

217、步骤5.2:源密点变更联动。当源密点发生密级变更或解密时,系统自动执行:

218、在密点血缘图谱中检索所有直接或间接依赖于该源密点的派生密点;

219、生成影响范围报告(涉及的派生密点数量、密级、所属单位等);

220、根据预设规则自动决策或提请定密责任人审核;

221、自动更新所有受影响派生密点的密级标签和访问权限;

222、向相关用户和保密管理部门发送变更通知,记录完整的变更审计日志。

223、步骤5.3:血缘可视化查询。支持从源密点正向追溯所有派生密点(正向追溯),以及从派生密点逆向追溯其所有源密点(逆向追溯)。

224、s6、全流程审计日志记录

225、记录每次rag检索和派生检验的完整信息:

226、用户id及权限信息(,);

227、检索查询内容;

228、召回的密点列表及访问判定结果;

229、生成的新内容摘要;

230、派生检验结果(是否涉密、密级、职能原子等);

231、时间戳及异常行为标记(越权尝试、高频访问等)。

232、根据本发明的一个方面,更具体的说是一种基于密点的生成式人工智能大模型rag安全检索与派生涉密属性自动检验系统,由六大核心功能模块协同工作,各模块功能与前文方法步骤一一对应,各个功能模块具体如下:

233、密点级向量库构建模块:对应步骤s1密点向量库构建流程,负责文档密点自动/人工识别、多维标签绑定、密点独立向量化存储、国密sm4分级加密;

234、用户权限管理模块:对应步骤s2用户权限模型构建,存储所有用户职能原子集合、最高授权密级,提供权限实时查询接口;

235、三维安全检索控制模块:对应步骤s3三维权限检索流程,实现职能原子、密级、专属授权三维预过滤、语义相似度检索、召回密点二次权限校验,向大语言模型输出合规密点上下文;

236、派生涉密自动检验模块:对应步骤s4三层递进派生检验算法,内置双通道派生关系检测、派生源属性聚合、涉密属性合成逻辑;内置密点指纹提取子单元,包含关键术语提取单元、命名实体识别单元、数值数据解析单元;

237、密点血缘图谱管理模块:对应步骤s5密点血缘追踪与联动更新,构建全局有向无环血缘图谱,实现源密点变更联动派生密点权限更新、双向血缘追溯、链路可视化;内设变更审核子单元,接收定密责任人审核指令完成批量权限同步、推送变更通知;

238、全流程审计模块:对应步骤s6全流程日志记录,采集检索、生成、派生检验、密点变更全链路操作数据,持久化存储并标记越权访问、高频检索等异常行为。

239、各模块数据交互逻辑:用户权限管理模块向三维安全检索控制模块推送用户权限;三维安全检索控制模块将检索上下文送入大模型,生成文本后传入派生涉密自动检验模块;检验产生的派生密点数据同步至密点血缘图谱管理模块;全流程审计模块采集所有模块操作日志。本系统可部署于军事涉密办公系统、政府涉密知识库、企业商业秘密ai办公平台,实现“检索-生成-派生涉密判定-密点自动标注”自动化安全闭环管控

240、有益效果:

241、密点级检索精度:将rag检索的权限控制粒度从“文档级”“chunk级”下沉至“密点级”,实现了行业内最细粒度的rag检索权限控制。

242、三维精准管控:实现了“职能原子×密级×密点”三维联合判定,在传统的密级纵向管控基础上增加了业务职能的横向隔离。

243、派生涉密属性自动检验:通过“语义相似度+密点指纹匹配”的双通道派生关系检测算法,以及基于“取最高原则”“最小必要原则”的涉密属性自动合成算法,首次将《派生国家秘密定密管理暂行办法》的法定要求与rag技术相结合,实现了rag生成内容涉密属性的自动检测与自动定密,将“事后人工定密”转变为“事中自动定密”。

244、密点血缘全链路追踪:建立了从用户查询到密点召回到内容生成到派生判定的完整密点血缘链,支持全生命周期追溯和联动更新。

245、rag检索与派生定密的自动化闭环:实现了“检索→生成→判定→标注”的全链路自动化闭环,确保rag生成内容能够自动获得密点标注和访问控制保护。

246、物理+逻辑双重隔离:密点在向量库中作为独立条目物理隔离存储,检索时通过多维标签逻辑过滤,双重保障。