基于对齐自校验与两级间隙判定的GGUF篡改检测方法与流程

摘要: 本发明涉及人工智能与信息安全,具体为一种基于对齐自校验与两级间隙判定的gguf篡改检测方法。背景技术:1、gguf是llama.cpp生态广泛采用的一种大模型权...
基于对齐自校验与两级间隙判定的GGUF篡改检测方法与流程

本发明涉及人工智能与信息安全,具体为一种基于对齐自校验与两级间隙判定的gguf篡改检测方法。

背景技术:

1、gguf是llama.cpp生态广泛采用的一种大模型权重序列化格式,其加载过程不执行代码,常被认为“加载层面安全”,已在量化模型本地部署中广泛使用。gguf文件由文件头、kv元数据区、tensor信息区和tensor数据段构成。格式规范要求:数据段按general.alignment声明的对齐边界排布,每个tensor的偏移量须对齐,填充处须用0x00补齐。但该格式只约束了加载规则,并未要求加载器核验数据段是否封闭完整。攻击者可利用这一点,在不触发任何代码执行的前提下篡改文件结构:例如在tensor之间留出超规间隙藏payload、在合法填充区内以非零字节藏数据、声明一个巨大的general.alignment给隐藏数据腾空间、制造tensor声明与实际数据长度不匹配、引入可疑命名的tensor、在对话模板等元数据里注入恶意内容,或在文件尾追加未声明数据。这些手法共同利用了gguf“允许填充”的固有特性与加载器不校验整体性的实现缺口,使恶意间隙与合法填充在字节形态上难以区分。

2、现有应对方案主要包括两类。一类是基于哈希的指纹比对,能发现文件被改,但必须先有官方指纹库,对新模型、私有模型和自训练模型无法适用。另一类是部分安全扫描工具中集成的孤立检查项,例如单独的间隙检测、单独的关键字过滤或单独的头部校验。这些检查存在几个共性问题:一是间隙检测的对齐标准直接取自文件自身声明的general.alignment,攻击者只需改大该值就能让任何间隙都显得“合法”,检测随之失效;二是填充区的内容检查如果不与对齐边界的合理性校验绑定,就防不住攻击者先改对齐边界再藏数据;三是命名规则等启发式检查误报多,且攻击者绕过关键字也很容易。更关键的是,这些检查作用在不同数据结构上——间隙不在任何tensor范围内,元数据异常发生在kv区,尾部冗余又不对应任何条目——彼此之间缺乏关联对齐的机制,简单叠加结果只会让误报叠加,无法判定多个维度的异常是否指向同一处篡改,也就难以给出高置信度的判定结论和可回溯的定位信息。

技术实现思路

1、针对现有技术中所存在的不足,本发明的目的在于提供一种基于对齐自校验与两级间隙判定的gguf篡改检测方法以解决现有gguf权重文件篡改检测中,以文件自身声明的对齐边界为判定基准易被攻击者操控、合法对齐填充与恶意隐藏间隙在字节尺度上高度同形难以区分、各孤立检查项缺乏将分散于不同结构层的异常关联归因到同一可疑对象的机制,从而导致在对抗环境下检测失效且误报与漏报并存的问题。

2、为实现上述目的,本发明采用了如下的技术方案:

3、一种基于对齐自校验与两级间隙判定的gguf篡改检测方法,包括:

4、s1,解析目标gguf权重文件的结构信息,所述结构信息至少包括文件头信息、kv元数据区中的键值对、tensor信息区中各tensor的声明信息以及数据段的布局信息;

5、s2,从所述kv元数据区提取对齐边界声明值,对该对齐边界声明值实施合理性校验;当所述合理性校验未通过时,生成对齐声明证据,并以预设的默认对齐边界替代该声明值用于后续检测步骤;

6、s3,基于经所述合理性校验或经所述默认对齐边界替代后确定的对齐边界,对所述目标gguf权重文件实施至少两级结构一致性检测,所述至少两级结构一致性检测包括:

7、第一级检测,对数据段中相邻数据单元之间的间隙进行尺度判别,当所述间隙的尺寸超出基于所述对齐边界确定的合法填充范围时,生成可疑间隙证据;

8、第二级检测,对落入所述合法填充范围内的间隙或填充区间进行内容校验,当所述间隙或填充区间的内容违反预设的填充内容规范时,生成内容异常证据;

9、s4,将所述对齐声明证据、所述可疑间隙证据、所述内容异常证据,以及所述目标gguf权重文件的其他结构维度的证据进行关联分析,判断各证据是否指向同一可疑对象;

10、s5,根据所述关联分析的结果,对指向同一可疑对象的证据进行综合判定,生成所述目标gguf权重文件的检测结论,所述检测结论至少包括篡改、结构违规或存疑中的一种;

11、s6,输出所述综合判定的结果。

12、进一步,所述s2中的合理性校验包括:校验所述对齐边界声明值是否为2的整数次幂、以及是否落入预设的合理数值区间;所述合理性校验未通过的情形包括:所述对齐边界声明值不为2的整数次幂、或超出所述预设的合理数值区间。

13、进一步,所述s3中的合法填充范围为从零至所述对齐边界减一的闭区间;所述s3中的尺度判别中,当所述间隙的尺寸落入所述合法填充范围内时判别为合法间隙,当所述间隙的尺寸超出所述合法填充范围时判别为可疑间隙并生成所述可疑间隙证据。

14、进一步,所述s3中的填充内容规范为格式规范要求的全零填充;所述s3中的内容校验包括读取所述间隙或填充区间的实际字节内容,当出现非零字节时生成所述内容异常证据。

15、进一步,所述s4中的其他结构维度的证据包括以下至少一种:tensor偏移合法性证据、字节预算闭合性证据、tensor信息区与kv元数据区之间的交叉引用一致性证据、tensor命名卫生证据、具有可执行语义的元数据字段的可疑构造证据、文件尾部冗余证据。

16、进一步,所述s4中的关联分析包括:按照预设的归因规则将各证据映射到可疑对象,所述归因规则包括:将定位于数据段间隙或填充区间的证据归因于该字节区间本身并关联至紧随其后的tensor;将定位于文件尾部的证据归因于表示文件尾部的虚拟对象;将定位于kv元数据区的证据归因于表示元数据区的虚拟对象;将定位于特定tensor的证据归因于该tensor;两条证据被判定为指向同一可疑对象,当且仅当二者的归因对象相同、或二者的字节区间相交、或二者的字节区间首尾相邻。

17、进一步,所述s5中的综合判定包括:对指向同一可疑对象的证据按强弱级别进行分级融合;违反格式规范强制性约束或结构必然关系的证据定级为强证据,基于启发式规则产生的证据定级为弱证据;当同一可疑对象上存在多类强证据相互印证、或强证据与弱证据并发印证时,判定为高置信度篡改;当仅存在单类强证据时,判定为结构违规并保留告警;当仅存在弱证据且无任何强证据时,降级为存疑。

18、基于对齐自校验与两级间隙判定的gguf篡改检测装置,包括:

19、解析模块,解析目标gguf权重文件的文件头信息、kv元数据区中的键值对、tensor信息区中各tensor的声明信息以及数据段的布局信息;

20、对齐边界校验模块,从所述kv元数据区提取对齐边界声明值并实施合理性校验,所述合理性校验包括校验所述对齐边界声明值是否为2的整数次幂以及是否落入预设的合理数值区间,当校验未通过时以预设的默认对齐边界替代该声明值;

21、两级检测模块,基于经所述合理性校验或经所述默认对齐边界替代后确定的对齐边界,对所述目标gguf权重文件的数据段实施两级结构一致性检测,所述两级结构一致性检测包括对数据段中相邻数据单元之间的间隙进行尺度判别的第一级检测、以及对落入合法填充范围内的间隙或填充区间进行内容校验的第二级检测;

22、关联分析模块,将所述对齐边界校验模块与所述两级检测模块生成的各检测证据,以及所述目标gguf权重文件的其他结构维度的证据,按照预设的归因规则映射到可疑对象并进行关联对齐,判断各证据是否指向同一可疑对象;

23、综合判定模块,对指向同一可疑对象的证据按强弱级别进行分级融合判定,生成所述目标gguf权重文件的检测结论,所述检测结论至少包括篡改、结构违规或存疑中的一种;

24、输出模块,输出结构化的检测结果;

25、所述解析模块、所述对齐边界校验模块、所述两级检测模块、所述关联分析模块、所述综合判定模块与所述输出模块依次连接,协同执行上述的基于对齐自校验与两级间隙判定的gguf篡改检测方法。

26、一种计算机可读存储介质,所述介质上存储有计算机程序,所述程序被处理器执行时实现上述的基于对齐自校验与两级间隙判定的gguf篡改检测方法。

27、一种电子设备,包括一个或多个处理器以及与所述处理器耦合的存储器,所述存储器存储有可由所述处理器执行的指令,当所述指令被执行时使所述电子设备执行上述的基于对齐自校验与两级间隙判定的gguf篡改检测方法。

28、相比于现有技术,本发明具有如下有益效果:

29、本发明首先解析文件结构信息,从中提取对齐边界声明值并对其做合理性校验,校验不通过时以默认对齐边界替代原值继续检测,防止被检文件通过畸形声明操控后续判据。然后基于校验后的对齐边界实施两级结构一致性检测:第一级对数据段相邻单元间的间隙做尺度判别,超出合法填充范围的间隙被判为可疑;第二级对合法尺寸的填充区做内容校验,违反全零填充规范的生成异常证据。接着将对齐异常、间隙异常、内容异常及其他结构维度的证据进行关联分析,判断是否指向同一可疑对象,再依据证据的强弱级别做分级融合判定,最终输出包含篡改、结构违规或存疑的检测结论。该方法不依赖指纹库和深度学习框架,可独立运行;对齐边界自校验使检测基准不受文件自身操控;尺度判别与内容校验相结合解决了合法填充与恶意间隙难以区分的问题,也封堵了在填充区藏匿载荷的逃逸路径;多维度证据归因对齐与分级融合机制,让多维异常相互印证时给出高置信判定,孤立强证据保留告警,孤立弱证据降级抑制,在控制误报的同时避免漏报,并能回溯定位到具体字节区间和关联tensor,输出可审计的结构化结果。