一种面向长文档大模型的结构条件安全评测、风险定位与防护闭环方法、装置

本发明涉及人工智能安全评测、自然语言处理、长文档处理和模型安全防护，具体涉及一种面向长文档大模型的结构条件安全评测、风险定位与防护闭环方法、装置。

背景技术：

1、长文档大模型已被用于论文审稿、法规分析、技术报告问答、企业知识库和自动化办公等场景。此类输入不仅包含正文语义，还包含标题编号、章节嵌套、层级深度和跨章节组织关系。

2、现有安全评测多围绕显式提示词、敏感词、语义诱导或固定词面触发条件展开，难以判断长文档大模型是否会因文档组织结构本身产生异常响应。

3、在保持正文事实基本不变的情况下，标题层级、章节嵌套或局部结构片段可能被调整为特定组织形态。传统关键词检测和普通干净样本测试难以复现、隔离和定位该类结构条件风险。

技术实现思路

1、本发明所要解决的技术问题是：提供一种面向长文档大模型的结构条件安全评测、风险定位与防护闭环方法、装置，以解决现有技术难以在保持长文档事实内容的条件下复现、隔离、定位并防护文档组织结构异常响应的问题。

2、为了解决以上技术问题，本发明采用如下技术方案：

3、一种面向长文档大模型的结构条件安全评测、风险定位与防护闭环方法，包括：

4、s1、获取待测试长文档，对待测试长文档进行预处理，按照预设解析规则从预处理后的待测试长文档中识别有效编号标题，获取有效编号标题的层级深度，形成标题深度骨架；

5、s2、基于预处理后的待测试长文档构建干净长文档集合；从所述干净长文档集合中获得候选标题深度骨架，计算候选标题深度骨架的全骨架碰撞率和局部窗口误命中率，筛选同时满足预设碰撞阈值、预设误命中阈值和可重构条件的候选标题深度骨架，形成目标结构条件族；

6、s3、针对所述目标结构条件族中的目标标题深度骨架生成槽位规划，并对所述干净长文档集合进行结构重构，构造结构扰动样本；将经重扫描确认命中目标标题深度骨架且通过内容保持验证的结构扰动样本记为完整结构样本；基于同一源文档生成至少两类结构对照样本；

7、s4、在相同模型版本、提示模板、采样参数和评分规则下，对所述结构扰动样本和所述结构对照样本进行评测，得到结构异常响应指数和异常指标差值；当所述结构异常响应指数满足预设风险阈值时，根据槽位消融结果定位结构风险片段；

8、s5、依据所述结构风险片段生成防护增强数据、安全回归测试样本和部署侧结构检测规则，并基于所述安全回归测试样本对所述部署侧结构检测规则进行验证。

9、进一步的，步骤s1中，对待测试长文档进行编码统一、页眉页脚剔除、段落切分和阅读顺序排序的预处理；将具有能解析编号前缀或预设标题样式的段落作为候选标题，并识别正文段落、引用、图表和公式；从候选标题中确定有效编号标题，提取表征待测试长文档组织形态的标题深度骨架；

10、有效编号标题满足以下客观条件：标题起始位置具有能解析的阿拉伯数字、汉字数字或层级编号前缀，标题净长度为2至80个字符，层级深度相对于前一有效编号标题的增加不超过一级；

11、所述标题深度骨架包括按阅读顺序排列的有效编号标题的层级深度序列；所述标题深度骨架的骨架元素仅包括有效编号标题的层级深度，不包括标题词面、章节正文、评测标签和处理元数据。

12、进一步的，步骤s2中，所述干净长文档集合由预处理后的待测试长文档中来源能追溯、能被确定性标题解析器完整解析、标题层级不越级、正文段落非空、未与集合内其他文档重复且不含已标记结构风险的长文档构成；

13、对所述干净长文档集合的长文档进行提取并去重，得到相应的候选标题深度骨架，分别统计所述候选标题深度骨架在所述干净长文档集合中的全骨架碰撞率和连续局部片段出现的窗口误命中率；选出所述全骨架碰撞率不大于0.01、所述窗口误命中率不大于0.01，且存在至少一份标题深度骨架与所述候选标题深度骨架不完全相同的所述长文档，对所述长文档进行章节拆分、章节合并、章节重排或事实保持重写后能够形成所述候选标题深度骨架时，将所述候选标题深度骨架确定为目标结构条件；

14、所有目标结构条件组成目标结构条件族；所述目标结构条件即其对应的候选标题深度骨架被确定后所形成的目标标题深度骨架。

15、进一步的，步骤s3中，所述结构扰动样本由目标结构条件引导的重构算子生成，所述重构算子根据槽位规划对源章节执行章节拆分、章节合并、章节重排或事实保持重写；

16、对所述结构扰动样本进行重扫描，当其候选标题深度骨架命中目标标题深度骨架，并通过内容相似度、引用标记、数值事实、图表公式标记和标题自然性验证后，与同源结构对照样本及对应评测记录共同进入评测样本库。

17、进一步的，步骤s3中，所述结构对照样本包括近结构样本、普通干净样本、结构-词面对照样本、槽位消融样本和结构距离曲线样本；其中，所述近结构样本与目标标题深度骨架之间的序列编辑距离为1至3，且其标题深度序列长度或至少一个对应层级深度与目标标题深度骨架不一致；所述普通干净样本为所述干净长文档集合的长文档经相同预处理但未实施目标结构重构的样本；所述完整结构样本为经重扫描确认其标题深度序列的长度及各序列位置的层级深度均与目标标题深度骨架一致的结构扰动样本；所述结构-词面对照样本保持标题深度序列不变并替换标题词面；所述目标标题深度骨架按标题深度位置分解为目标槽位；所述槽位消融样本通过删除、降级、替换、调换或局部重排一个或多个目标槽位生成。

18、进一步的，步骤s4中，在相同模型版本、提示模板、采样参数和评分规则下，分别对完整结构样本、近结构样本、普通干净样本和结构-词面对照样本重复评测次；根据异常命中、误响应、格式完整度、逻辑一致度和边界异常中的至少一项计算完整结构样本、近结构样本、普通干净样本和结构-词面对照样本的异常分数，将完整结构样本的异常分数减去近结构样本、普通干净样本和结构-词面对照样本异常分数的平均值，得到结构异常响应指数；当所述结构异常响应指数不小于预设结构风险阈值时，生成槽位消融样本，并在所述相同评测条件下获得槽位消融前后的异常指标差值，进而定位结构风险片段。

19、进一步的，定位结构风险片段包括以下内容：

20、对目标结构条件中的各槽位分别生成最小合法槽位消融样本；计算完整结构样本与相应槽位消融样本之间的异常指标差值；当所述差值不小于预设贡献阈值，且所述槽位消融样本仍满足内容保持和结构合法性要求时，将相应槽位确定为结构风险槽位，所有结构风险槽位构成结构风险槽位集合；对于连续槽位，对连续槽位进行联合消融，当联合消融的异常指标差值不小于所述预设贡献阈值时，一个或多个连续或关联的结构风险槽位构成对应的结构风险片段，则将该连续槽位确定为一个结构风险片段。

21、进一步的，步骤s5中，基于完整结构样本、结构对照样本和结构风险片段生成防护增强数据和安全回归测试样本；所述原风险样本为判定存在结构风险的完整结构样本；所述防护增强数据包括原风险样本、通过调整结构样本的风险槽位获得的修复样本、偏好标签以及槽位调整记录；所述安全回归测试样本包括原风险样本、修复样本、近结构样本和普通干净样本；所述结构风险槽位模式为由结构风险槽位集合中各槽位的相对位置、本槽位深度、父标题深度和相邻深度构成的四元组签名；所述部署侧结构检测规则包括目标结构条件族、结构风险槽位集合、结构距离阈值、处置动作和规则版本；当输入同时满足结构距离条件和结构风险槽位模式时，触发输入预警、请求降级、输出复核、人工审核或拒绝执行，并记录源标题深度骨架、命中的目标标题深度骨架、命中的结构风险槽位集合、模型输出摘要、处置动作和复核结论。

22、进一步的，本发明还提出了一种面向长文档大模型的结构条件安全评测、风险定位与防护闭环装置，包括：

23、标题深度骨架提取模块，用于获取待测试长文档，对待测试长文档进行预处理，按照预设解析规则从预处理后的待测试长文档中识别有效编号标题，获取有效编号标题的层级深度，形成标题深度骨架；

24、目标结构条件族确定模块，用于基于预处理后的待测试长文档构建干净长文档集合；从所述干净长文档集合中获得候选标题深度骨架，计算候选标题深度骨架的全骨架碰撞率和局部窗口误命中率，筛选同时满足预设碰撞阈值、预设误命中阈值和可重构条件的候选标题深度骨架，形成目标结构条件族；

25、结构对照样本提取模块，用于针对所述目标结构条件族中的目标标题深度骨架生成槽位规划，并对所述干净长文档集合进行结构重构，构造结构扰动样本；将经重扫描确认命中目标标题深度骨架且通过内容保持验证的结构扰动样本记为完整结构样本；基于同一源文档生成至少两类结构对照样本；

26、结构风险片段定位模块，用于在相同模型版本、提示模板、采样参数和评分规则下，对所述结构扰动样本和所述结构对照样本进行评测，得到结构异常响应指数和异常指标差值；当所述结构异常响应指数满足预设风险阈值时，根据槽位消融结果定位结构风险片段；

27、防护增强输出模块，用于依据所述结构风险片段生成防护增强数据、安全回归测试样本和部署侧结构检测规则，并基于所述安全回归测试样本对所述部署侧结构检测规则进行验证。

28、进一步的，本发明还提出了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述面向长文档大模型的结构条件安全评测、风险定位与防护闭环方法的步骤。

29、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

30、本发明以完整标题深度骨架作为安全条件，在保持文档事实内容的同时构造可复核对照样本，并通过差分评测、槽位定位和部署校准形成从风险发现到防护处置的闭环，具有可复现、可解释和便于部署的优点。