一种水印生成方法及推测采样系统与流程
本说明书涉及人工智能领域,尤其涉及一种水印生成方法及推测采样系统。
背景技术:
1、随着大语言模型在实时对话、代码补全、内容生成等场景中的广泛部署,模型推理速度成为服务质量的核心指标。基于此,推测采样通过引入轻量草稿模型生成候选内容序列、再由目标模型并行验证的方式,显著降低了自回归解码的延迟,从而显著提升了推理速度。与此同时,为保护模型知识产权、追踪人工智能生成内容的来源与传播路径,文本水印技术已成为行业刚需。综上所述,业界普遍期望在推测采样系统的基础上集成水印功能,以同时满足实时性、安全性与可追溯性的要求。
2、在相关技术中,kgw式水印方案通过对推测采样的解码过程施加持续偏置来嵌入水印信号。然而,此类水印方案与推测采样存在根本性冲突:持续施加的水印偏置会破坏草稿模型与目标模型之间的分布对齐,将生成推入高不确定性区域,致使目标模型频繁拒绝草稿模型提出的候选内容,推测接受率大幅下降,最终丧失原有的速度优势。具体而言,在词元(token)级别的推测采样系统中,草稿模型逐token生成线性候选内容序列,目标模型并行验证,上述水印导致的分布偏移沿线性生成路径逐token累积放大,接受率呈几何级数衰减,单位有效token的验证开销急剧上升;而在medusa、eagle等特征级别的推测采样系统中,草稿模型生成树状多分支候选内容,并由目标模型并行评分排序以容错,但上述水印偏置使得验证器倾向于选取得分虚高但语义连贯性并非最优的异常路径,导致树状结构不稳定,多分支整体接受率同步降低。上述方案均因水印偏置破坏了推测采样系统原有的分布对齐机制,导致加速效果大幅下降,甚至因额外引入草稿模型的计算开销,整体效率低于不采用推测采样的情形。
技术实现思路
1、有鉴于此,本说明书提供一种水印生成方法及推测采样系统,以解决相关技术中存在的不足。
2、具体地,本说明书是通过如下技术方案实现的:
3、根据本说明书实施例的第一方面,提供了一种水印生成方法,应用于推测采样系统,所述推测采样系统包括草稿模型与目标模型;所述方法包括:
4、针对所述草稿模型的当前生成位置,判断所述当前生成位置是否满足水印干预触发条件;
5、在判断结果为是的情况下,通过所述草稿模型对所述当前生成位置生成的候选内容进行水印干预,以使得由所述候选内容构成的候选内容序列携带有水印内容;
6、将所述候选内容序列输入至目标模型进行验证,并将验证通过的候选内容序列作为携带有所述水印内容的输出内容序列。
7、根据本说明书实施例的第二方面,提供了一种推测采样系统,所述推测采样系统包括草稿模型与目标模型;其中:
8、所述草稿模型,用于针对当前生成位置,判断所述当前生成位置是否满足水印干预触发条件,并在判断结果为是的情况下,对所述当前生成位置生成的候选内容进行水印干预,以使得由所述候选内容构成的候选内容序列携带有水印内容;
9、所述目标模型,用于接收所述草稿模型生成的候选内容序列并进行验证,以及将验证通过的候选内容序列作为携带有所述水印内容的输出内容序列。
10、根据本说明书实施例的第三方面,提供了一种计算机可读存储介质,其上存储有计算机程序,所述程序被处理器执行时实现如第一方面所述的方法的步骤。
11、根据本说明书实施例的第四方面,提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如第一方面所述的方法的步骤。
12、根据本说明书实施例的第五方面,提供了一种计算机程序产品,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如第一方面所述的方法的步骤。
13、在本说明书所提供的技术方案中,通过在推测采样系统中仅在判定当前生成位置满足水印干预触发条件时才对该位置生成的候选内容施加水印干预,而非对每一生成位置持续施加水印偏置,从而显著降低了水印干预对草稿模型原始输出分布的累积干扰。由于上述干预方式仅作用于部分生成位置,其呈现出的稀疏性使得草稿模型生成的候选内容序列在大部分生成位置上保持了与目标模型输出分布的自然对齐,目标模型在验证过程中对候选内容的接受率得以维持在较高水平,避免了传统持续偏置方案因分布偏移累积而导致的接受率几何级数衰减问题。由此,本方法在将水印方案结合至推测采样流程的同时,有效保持了推测解码的加速效果,使得推测采样系统在保障输出内容可追溯性的前提下,维持与无水印情况下相近的推理速度,实现了模型实时性、安全性与可追溯性之间的平衡。
14、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本说明书。
1.一种水印生成方法,其特征在于,应用于推测采样系统,所述推测采样系统包括草稿模型与目标模型;所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述判断所述当前生成位置是否满足水印干预触发条件,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于预设的水印位置间隔,判断所述当前生成位置是否满足所述水印干预触发条件,包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述草稿模型在所述当前生成位置上对所述候选内容的预测熵值,判断所述当前生成位置是否满足所述水印干预触发条件,包括:
5.根据权利要求2所述的方法,其特征在于,还包括:
6.根据权利要求1所述的方法,其特征在于,所述通过所述草稿模型对所述当前生成位置生成的候选内容进行水印干预,包括:
7.根据权利要求1所述的方法,其特征在于,还包括:
8.根据权利要求7所述的方法,其特征在于,所述基于所述输出内容序列与所述水印内容的一致性,检测所述输出内容序列是否携带有所述水印内容,包括:
9.一种推测采样系统,其特征在于,所述推测采样系统包括草稿模型与目标模型;其中:
10.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1~8任一所述方法的步骤。
11.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1~8任一所述方法的步骤。
12.一种计算机程序产品,其特征在于,包括计算机程序/指令,该计算机程序/指令被处理器执行时实现如权利要求1-8中任一项所述方法的步骤。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com