一种多模态大语言模型指纹识别的方法及装置

本发明涉及人工智能模型安全与数字版权保护，尤其涉及一种多模态大语言模型指纹识别的方法及装置。

背景技术：

1、多模态大语言模型（multimodal large language model，mllm）能够联合理解图像与文本，并完成视觉问答、图表理解、视觉推理、图像描述和具身智能等任务。现有多模态大语言模型通常由视觉编码器、连接器和大语言模型组成，其开发需要大规模图像文本数据、昂贵的计算资源以及复杂的训练和对齐流程，具有较高的知识产权价值。多模态大语言模型发布后，可能面临两类典型侵权行为。第一类是针对开源模型的未经授权修改，攻击者可以对已发布模型进行全参数微调、参数高效微调、量化、模型合并或剪枝，并将修改后的模型包装为独立开发的模型。第二类是针对闭源模型的未经授权蒸馏，攻击者可以通过商业应用程序编程接口获取教师模型输出，并利用所述输出训练学生模型，使学生模型继承教师模型在目标任务上的行为特征。

2、现有模型版权保护技术主要包括模型水印和模型指纹，模型水印需要在模型训练或推理过程中预先嵌入可验证信号，可能影响模型原有性能，并可能被后续微调、剪枝或输出处理削弱。模型指纹则从模型已有的参数、内部表示、梯度或输出行为中提取内生特征，不需要修改受保护模型，更适合对已经发布或部署的模型进行被动审计。但现有模型指纹方法主要面向纯文本大语言模型，直接应用于多模态大语言模型时存在以下问题。

3、第一，现有白盒方法主要分析大语言模型侧的权重、激活或梯度，而多个多模态大语言模型可能复用相同或相近的语言骨干。例如，不同模型可以使用相同的大语言模型，但采用不同的视觉编码器、连接器、多模态预训练数据和对齐策略，仅依赖语言侧特征容易将这些独立训练的多模态模型误判为同一来源。

4、第二，模型微调、量化、模型合并和剪枝等操作会扰动模型的参数和中间表示，使直接从原始注意力或激活中提取的指纹不稳定，特别是在严格控制误报率的审计场景中，微小扰动也可能造成衍生模型漏检。

5、第三，模型蒸馏不会直接复制教师模型的参数和网络结构。学生模型通常具有不同的模型家族、参数规模和内部表示，现有基于参数相似度或表示相似度的指纹方法只能识别学生模型与其基础模型之间的关系，难以判断学生模型是否从某一特定教师模型获得了知识。

6、第四，在黑盒审计场景中，审计方只能通过接口获得模型生成文本和有限的令牌概率信息，无法访问模型参数和中间状态。同时简单查询或训练数据重叠也可能使候选教师模型对独立模型的输出给出较高置信度，造成蒸馏关系误报。

7、因此亟需一种能够提取多模态对齐特征、抵抗常见模型修改操作，并能够在有限黑盒查询条件下识别特定蒸馏来源的多模态大语言模型指纹方法。

8、有鉴于此，特提出本发明。

技术实现思路

1、本发明的目的是提供了一种多模态大语言模型指纹识别的方法及装置，以解决现有技术中存在的上述技术问题。本发明所述方法不需要在受保护模型中预先植入水印，能够同时适用于开源模型的白盒衍生关系审计和闭源接口的黑盒蒸馏关系审计。

2、本发明的目的是通过以下技术方案实现的：

3、一种多模态大语言模型指纹识别的方法，所述方法包括：

4、步骤1、接收受保护模型、可疑模型、候选教师模型、参考模型和多模态查询集；

5、步骤2、当具有白盒权限时，向受保护模型和可疑模型输入相同的图像文本查询，提取文本到视觉注意力向量；

6、步骤3、对注意力向量执行频域低通处理并计算逐层低频能量，构建层级指纹；

7、步骤4、利用余弦相似度和匈牙利算法对不同模型的层级指纹进行最优匹配，输出参数修改衍生关系；

8、步骤5、当具有黑盒权限或需要检测蒸馏关系时，向可疑模型和参考模型发送相同查询，并获取可疑输出和参考输出；

9、步骤6、利用候选教师模型对可疑输出和参考输出进行评分，构造查询级配对差值；

10、步骤7、对配对差值执行单侧威尔科克森符号秩检验，输出蒸馏来源判定；

11、步骤8、根据白盒和黑盒结果，生成包含判定依据和统计指标的模型版权审计报告。

12、一种多模态大语言模型指纹识别的装置，所述装置包括：

13、输入管理模块，用于接收受保护模型、可疑模型、候选教师模型、参考模型和多模态查询集；

14、白盒指纹提取模块，用于当具有白盒权限时，向受保护模型和可疑模型输入相同的图像文本查询，提取文本到视觉注意力向量；

15、频域处理模块，用于对注意力向量执行频域低通处理并计算逐层低频能量，构建层级指纹；

16、层级匹配模块，用于利用余弦相似度和匈牙利算法对不同模型的层级指纹进行最优匹配，输出参数修改衍生关系；

17、黑盒查询模块，用于当具有黑盒权限或需要检测蒸馏关系时，向可疑模型和参考模型发送相同查询，并获取可疑输出和参考输出；

18、置信度计算模块，用于利用候选教师模型对可疑输出和参考输出进行评分，构造查询级配对差值；

19、统计检验模块，用于对配对差值执行单侧 wilcoxon 符号秩检验，输出蒸馏来源判定；

20、审计报告模块，用于根据白盒和黑盒结果，生成包含判定依据和统计指标的模型版权审计报告。

21、与现有技术相比，本发明所提供的方法不需要在受保护模型中预先植入水印，能够同时适用于开源模型的白盒衍生关系审计和闭源接口的黑盒蒸馏关系审计；通过频域跨模态注意力指纹区分共享语言骨干的不同多模态模型，并通过参考模型校准和假设检验识别特定教师模型的蒸馏来源，从而提高多模态大语言模型版权验证的准确性、鲁棒性和适用范围。

1.一种多模态大语言模型指纹识别的方法，其特征在于，所述方法包括：

2.根据权利要求1所述多模态大语言模型指纹识别的方法，其特征在于，在步骤2中，模型包括当前执行白盒指纹提取的受保护模型和可疑模型；对于任一模型，设其包含层，第层包含个注意力头、个文本令牌和个视觉令牌；

3.根据权利要求2所述多模态大语言模型指纹识别的方法，其特征在于，在步骤3中，将每一个文本令牌对应的注意力向量作为一维信号，并进行离散傅里叶变换，对于注意力向量，其第k个频域系数记为，计算方式为：

4.根据权利要求1所述多模态大语言模型指纹识别的方法，其特征在于，在步骤4中，对于模型的第i层和模型的第j层，计算层级指纹向量与的余弦相似度，并构造代价矩阵；

5.根据权利要求1所述多模态大语言模型指纹识别的方法，其特征在于，在步骤5中，对第i个查询，令可疑模型生成可疑输出；

6.根据权利要求5所述多模态大语言模型指纹识别的方法，其特征在于，在步骤6中，由候选教师模型分别对可疑输出和参考输出进行评分，对于可疑输出中的第t个文本令牌，若接口返回令牌对数概率，则先计算，再计算第t个文本令牌的对数优势得分，表示为：

7.根据权利要求1所述多模态大语言模型指纹识别的方法，其特征在于，在步骤7中，根据全部n个查询得到配对差值集合；

8.根据权利要求7所述多模态大语言模型指纹识别的方法，其特征在于，在步骤8中，模型版权审计报告具体包括：模型标识、查询摘要、指纹分数、层级匹配结果、正秩和统计量、值和最终判定；

9.一种多模态大语言模型指纹识别的装置，其特征在于，所述装置包括：

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行权利要求1至8中任意一项所述方法。