一种面向开放数据合规性验证的智能体系统的制作方法

摘要: 本发明涉及数据安全与合规审查领域,尤其涉及一种面向开放数据合规性验证的智能体系统。背景技术:1、随着数据开放共享的推进,确保对外开放数据的合规性与安全性成为数据...
一种面向开放数据合规性验证的智能体系统的制作方法

本发明涉及数据安全与合规审查领域,尤其涉及一种面向开放数据合规性验证的智能体系统。

背景技术:

1、随着数据开放共享的推进,确保对外开放数据的合规性与安全性成为数据管理的重要环节。在数据对外发布前,通常需要对数据目录及数据表进行合规性验证,以防范敏感数据泄露或违规发布风险。然而,现有的数据合规验证方案在实际应用中仍存在以下技术缺陷:

2、现有的验证系统通常采用单一维度的审查方式,或者各审查模块之间相互独立。面对数据中存在的实体敏感风险、行业政策风险和语义合规风险,现有技术缺乏有效的多维度结果融合机制,难以将离散的风险分级结果和文本格式的评估报告进行量化和统一汇总。同时,现有方法无法根据数据表所属的具体业务领域对各项风险评估结果进行动态的权重分配,导致系统在判定数据表整体风险等级时准确性受限。

3、在针对数据内容进行语义审查时,现有技术多依赖于表层的关键词匹配或固定规则校验。这种方式难以有效识别数据字段中隐含的政治敏感属性或商业涉密属性等隐性风险。由于缺乏对单一数据字段进行深层次量化风险等级评定的技术手段,现有系统无法通过计算得出针对整个数据表的综合语义风险评分,难以防范复杂文本中的隐蔽性合规风险。

4、当前的数据审查系统在识别出风险后,往往缺乏差异化的管控动作和完整的溯源机制。当发现高风险数据并实施拦截时,系统通常只能执行简单的阻断操作。由于缺少有效的数据溯源解析手段,系统无法在阻断后进一步提取原始数据提供方身份与时间戳信息,导致无法生成准确的责任主体定位信息,难以在数据流转的末端确立有效的安全管控闭环。

技术实现思路

1、为了弥补以上不足,本发明提供了一种面向开放数据合规性验证的智能体系统,旨在改善了现有技术中数据合规验证方案主要存在缺乏多维评估结果量化融合与动态权重分配、难以有效识别隐性语义风险,以及缺少数据溯源解析手段导致无法确立安全管控闭环的问题。

2、为了实现上述目的,本发明采用了如下技术方案:所述面向开放数据合规性验证的智能体系统包括数据目录预处理模块、结构化实体敏感识别模块、行业政策合规规则研判模块、内容语义合规风险研判模块和综合风险评估模块;

3、所述面向开放数据合规性验证的智能体系统被配置为接收待对外开放的数据目录,其中所述待对外开放的数据目录包括至少一个数据表,所述数据表包括至少一个数据字段;

4、所述数据目录预处理模块用于对所述待对外开放的数据目录进行处理生成标准化文本,提取所述标准化文本包含的核心语义与关键信息,并依据所述核心语义与关键信息确定所述数据表对应的行业属性与业务领域;

5、所述结构化实体敏感识别模块、所述行业政策合规规则研判模块和所述内容语义合规风险研判模块用于并行接收所述标准化文本,并根据所述行业属性与业务领域分别触发对应维度的合规研判操作,以分别输出字段级风险分级结果、合规评估报告和风险研判结果;

6、所述综合风险评估模块用于接收所述字段级风险分级结果、所述合规评估报告和所述风险研判结果,依据所述核心语义与关键信息执行权重分配与数据研判以判定所述数据表的整体风险等级,并生成针对所述数据表的分级闭环处置方案。

7、作为上述技术方案的进一步描述:

8、所述数据目录预处理模块包括数据目录前置识别研判单元、结构化文本融合拼接单元和深度语义解析单元;

9、所述数据目录前置识别研判单元用于依据预设的数据分级分类标签体系对所述待对外开放的数据目录包含的所述数据表与所述数据字段进行筛选,并针对所述数据字段执行敏感数据甄别操作,以剔除包含证件编码、通信联络信息、生物识别特征和资产涉密关键字段中任一特征的所述数据字段;

10、所述结构化文本融合拼接单元用于接收通过甄别的所述数据表,以每一所述数据表内的全量所述数据字段作为最小语义拼接单元,配置统一规范化描述前缀并挂载包含基础属性的前置属性信息以构建结构化文本,并对所述结构化文本执行数据清洗操作输出所述标准化文本;

11、所述深度语义解析单元用于利用自然语言处理技术提取所述标准化文本包含的所述核心语义与关键信息,并输出针对所述数据表的分类归属结果。

12、作为上述技术方案的进一步描述:

13、所述结构化实体敏感识别模块包括bert嵌入层、bilstm层和crf层;

14、所述bert嵌入层用于将所述标准化文本转化为字符序列,对所述字符序列中的每一个字符执行双重嵌入处理生成词嵌入向量与位置嵌入向量,对所述词嵌入向量与所述位置嵌入向量进行求和运算生成初始嵌入表示,并利用所述bert嵌入层包含的transformer编码器结构提取上下文关联特征,输出词向量矩阵;

15、所述bilstm层用于接收所述词向量矩阵,所述bilstm层包含前向长短期记忆网络结构和后向长短期记忆网络结构,所述前向长短期记忆网络结构与所述后向长短期记忆网络结构分别从相反的时序方向并行处理所述词向量矩阵,执行拼接融合生成双向特征向量,并输出由全体所述双向特征向量组成的序列特征向量集合。

16、作为上述技术方案的进一步描述:

17、所述crf层用于接收所述序列特征向量集合,进行序列标注与风险分级解码;

18、所述crf层构建标签转移矩阵,在所述标签转移矩阵中引入字段级标注统一性约束条件,通过配置转移约束得分限定所述标准化文本内属于同一所述数据字段对应的字符序列片段必须具有相同的敏感风险分级标签;

19、所述crf层定义针对潜在标签序列与所述序列特征向量集合的匹配度得分函数,依据所述匹配度得分函数计算条件概率,并采用维特比算法进行最优路径解码以输出最优标签序列;

20、所述crf层将所述最优标签序列与所述标准化文本内的字符序列进行对齐匹配,提取文本边界内统一的字符标签作为所述数据字段对应的所述字段级风险分级结果。

21、作为上述技术方案的进一步描述:

22、所述行业政策合规规则研判模块用于获取与所述待对外开放的数据目录对应的元数据、与所述数据表对应的业务标签以及与所述数据字段对应的基础属性,生成多维度检索词并扩展生成目标检索词集合;

23、所述行业政策合规规则研判模块依据所述目标检索词集合执行网络检索操作获取权威政策标准文档,利用自然语言处理技术对所述权威政策标准文档执行结构化解析以提取数据开放规则要素,并将提取的所述数据开放规则要素转化为包含具体条款内容的结构化合规条目;

24、所述行业政策合规规则研判模块依据所述结构化合规条目构建包含行业匹配模板、敏感数据管控模板和开放场景匹配模板的多维度规则模板,利用预训练的大语言模型的文本编码器将所述元数据和所述业务标签与所述结构化合规条目的条款内容分别映射为高维语义向量,并计算两组所述高维语义向量的余弦相似度。

25、作为上述技术方案的进一步描述:

26、所述行业政策合规规则研判模块被配置为执行融合判定操作以确立所述数据表与所述结构化合规条目的目标匹配关联,具体为:

27、在所述数据表与所述多维度规则模板成功匹配时直接确认匹配关系;

28、在所述数据表与所述多维度规则模板未成功匹配时,比对所述余弦相似度与预设的相似度阈值,当所述余弦相似度大于等于所述相似度阈值时确认匹配关系;

29、所述行业政策合规规则研判模块基于所述目标匹配关联对所述数据表执行综合合规评估,判定所述数据表对应的数据开放级别,并生成包含合规依据和所述数据开放级别的所述合规评估报告。

30、作为上述技术方案的进一步描述:

31、所述内容语义合规风险研判模块包含roberta-large语义编码模型和风险映射单元;

32、所述内容语义合规风险研判模块构建标签与风险前缀提示模板,所述标签与风险前缀提示模板包含掩码标记,将所述掩码标记与所述标准化文本拼接生成提示拼接序列;

33、所述roberta-large语义编码模型接收所述提示拼接序列,并在所述roberta-large语义编码模型包含的嵌入输入层中叠加用于标识边界位置的字段边界嵌入向量,对所述提示拼接序列执行特征编码,在所述掩码标记对应的位置输出包含敏感类别掩码嵌入向量和风险等级掩码嵌入向量的掩码嵌入向量。

34、作为上述技术方案的进一步描述:

35、所述风险映射单元接收所述掩码嵌入向量,通过所述风险映射单元包含的线性映射层将所述敏感类别掩码嵌入向量和所述风险等级掩码嵌入向量映射至对应的标签特征空间,执行非线性变换操作;

36、所述风险映射单元计算经过所述非线性变换操作后的特征向量与预先初始化的预设标签嵌入向量的余弦相似度,提取数值最高的所述余弦相似度对应的预设标签以确定每一个所述数据字段的隐性敏感类别与量化风险等级;

37、所述风险映射单元基于设定的风险权重系数,对全体所述数据字段的所述量化风险等级执行加权求和运算,生成表级综合语义风险评分,并将包含所述量化风险等级与所述表级综合语义风险评分的所述风险研判结果输出至所述综合风险评估模块。

38、作为上述技术方案的进一步描述:

39、所述综合风险评估模块包含合规规则引擎;

40、所述综合风险评估模块通过预设的风险映射表将离散的所述字段级风险分级结果和文本格式的所述合规评估报告转化为连续的标准化风险数值,基于所述核心语义与关键信息确定风险侧重维度执行动态权重分配,通过加权计算获得综合风险分值,判定所述数据表的整体风险等级,所述整体风险等级包括低风险等级、中风险等级和高风险等级;

41、所述综合风险评估模块调度所述合规规则引擎依据所述核心语义与关键信息执行匹配比对以提取专项规则库,将所述专项规则库配置为校验逻辑并依据所述校验逻辑对所述数据表执行针对性合规校验操作输出规则校验结果;

42、所述综合风险评估模块整合所述核心语义与关键信息、所述整体风险等级以及所述规则校验结果执行决策分析,生成针对所述数据表的所述分级闭环处置方案。

43、作为上述技术方案的进一步描述:

44、所述面向开放数据合规性验证的智能体系统还包括数字水印与溯源追踪模块和人工复核模块;

45、当所述整体风险等级为低风险等级时,所述综合风险评估模块触发快速通过规则链,调度所述数字水印与溯源追踪模块;所述数字水印与溯源追踪模块获取原始数据提供方身份与时间戳信息,并提取与所述待对外开放的数据目录对应的元数据以及与所述数据表对应的基础属性,利用加密算法将所述原始数据提供方身份、所述时间戳信息、所述元数据与所述基础属性融合计算生成加密序列作为水印标识,并将所述水印标识嵌入所述数据表生成数字水印,放行携带所述数字水印的所述数据表;

46、当所述整体风险等级为中风险等级时,所述综合风险评估模块触发预警复核规则链,冻结所述数据表的权限,从所述字段级风险分级结果、所述合规评估报告和所述风险研判结果中提取具体风险点并整合生成待复核任务推送至所述人工复核模块,依据返回的复核确认结果解除冻结或生成定向整改建议;

47、当所述整体风险等级为高风险等级时,所述综合风险评估模块触发强制管控规则链,阻断发布流程并执行隔离下线操作,生成详细告警报告,并调度所述数字水印与溯源追踪模块通过解析附带的数字水印提取原始数据提供方身份与时间戳信息,以生成责任主体定位信息。

48、本发明具有如下有益效果:

49、1.本发明通过面向开放数据合规性验证的智能体系统将标准化文本连同待对外开放的数据目录的元数据并行输入至结构化实体敏感识别模块、行业政策合规规则研判模块和内容语义合规风险研判模块,实现了多维度的同步合规研判操作,随后,综合风险评估模块通过预设的风险映射表将离散的字段级风险分级结果和文本格式的合规评估报告转化为连续的标准化风险数值,以量化并汇总字段级风险分级结果、合规评估报告和风险研判结果。结合基于风险侧重维度对汇总后的字段级风险分级结果、合规评估报告和风险研判结果执行动态权重分配,该机制有效提高了判定数据表的整体风险等级的准确性。

50、2.本发明的内容语义合规风险研判模块构建包含掩码标记的标签与风险前缀提示模板,将针对标准化文本的文档级语义审查任务转化为联合掩码预测任务。利用roberta-large语义编码模型在敏感类别掩码标记与风险等级掩码标记对应的位置输出掩码嵌入向量,风险映射单元提取数值最高的余弦相似度对应的预设标签,以确定每一个数据字段的隐性敏感类别与量化风险等级,此方案基于设定的风险权重系数,对全体数据字段的量化风险等级执行加权求和运算,生成针对数据表的表级综合语义风险评分,从而提升了系统识别隐蔽性内容语义合规风险的可靠度。

51、3.本发明的面向开放数据合规性验证的智能体系统解析分级闭环处置方案,并执行差异化管控操作,当综合风险评估模块判定数据表的整体风险等级为高风险等级时,综合风险评估模块触发强制管控规则链,面向开放数据合规性验证的智能体系统依据强制管控规则链阻断数据表的发布流程,判定数据表的审核状态为未通过,并对数据表执行隔离下线操作,在此基础上,数字水印与溯源追踪模块提取数据表附带的数字水印,执行数据溯源解析算法,通过解析数字水印提取原始数据提供方身份与时间戳信息,并依据身份与时间戳信息生成责任主体定位信息,从而确立针对数据表的安全管控闭环。