基于多环频域密钥的扩散模型版权保护方法、系统及介质与流程
本发明涉及扩散模型版权保护,具体涉及一种基于多环频域密钥的扩散模型版权保护方法、系统及介质。
背景技术:
1、随着数字内容生态在技术与应用层面加速融合,内容安全与版权保护已成为不可或缺的核心环节。在这一背景下,数字水印技术作为保障内容可信性与可追溯性的关键手段,其重要性日益凸显。数字水印是指通过将身份、权限等认证信息嵌入多媒体数据内部,以实现来源确认、传播追踪与侵权防范的技术。该技术旨在应对海量内容在开放网络中实时生成与流转所导致的溯源困难、版权模糊及恶意滥用等复杂问题,是构建可信数字内容生态的基础。
2、数字内容生态对数字水印的这一需求在生成式人工智能,特别是扩散模型技术广泛应用的当下尤为突出。以stable diffusion、midjourney等为代表的模型能够高效生成高质量视觉内容,极大促进了相关领域的创作效率,同时也使得作品版权归属难以界定,并加剧了虚假信息传播等安全风险。因此,面向扩散模型生成内容,研发能够与生成流程深度结合、兼具强鲁棒性、高隐蔽性与防伪造性的数字水印方案,已成为跨领域的研究重点。
3、相关的扩散模型版权保护方法主要可分为传统后处理方法与基于生成过程的新型嵌入方法。传统后处理方法通常在图像生成后对其像素或频域进行修改,而新型嵌入方法则尝试将水印与扩散模型的生成机制深度结合。这些方法为版权保护提供了不同思路,但仍存在明显局限性。
4、具体而言,传统后处理方法主要包括在像素域或变换域的后处理嵌入。
5、像素域后处理水印是在生成完成的图像像素上直接添加水印,例如通过修改最低有效位(lsb)或叠加半透明标识。这种方法原理简单,但鲁棒性极差,常见的图像压缩、缩放、裁剪等操作极易破坏水印,且水印本身严重影响图像的视觉质量。
6、变换域后处理水印则是将图像转换至频域(如离散余弦变换dct、离散小波变换dwt域),通过调制系数来嵌入水印。例如,一种典型方法是在dct的中频系数中嵌入序列。这种方法相比像素域水印鲁棒性有所提升,能抵抗一定程度的压缩,但其本质仍是“后天粘贴”,无法抵抗针对性的去除攻击,且水印容量与不可感知性之间难以平衡,对高清生成图像的适用性有限。传统后处理方法与生成过程脱节,无法从根源上解决水印易被去除、伪造以及损害画质的问题。
7、近年来,研究者致力于将水印直接嵌入扩散模型的生成流程中,即采用新型嵌入方法,主要方向包括基于模型训练的方法和基于初始噪声的方法。
8、基于模型训练或微调的水印方法是通过微调或重新训练扩散模型,使其生成的所有或特定图像均携带某种内部特征作为水印。例如,有方法通过在训练目标中加入水印约束项,使模型学会在潜在空间中编码特定模式。这种方法实现了水印与内容的深度融合,难以被后处理简单去除。然而,其计算成本高昂,每次部署或更新水印都可能需要重新训练庞大规模模型,灵活性差,存在损害模型原始生成能力与多样性的风险。
9、基于初始噪声调制的水印方法则是通过在扩散过程的初始噪声中构造特定结构来实现水印,代表工作为“树环水印”。该方法在初始噪声的频域(傅里叶域)嵌入一个环形密钥,生成图像会携带该环的频域特征。其最大优点是无需修改模型,实现了“零训练”嵌入,且对旋转等几何变换具有鲁棒性。但其核心缺陷在于信息容量极低,通常仅能证明图像“是否来自某模型”,无法编码具体的用户身份、时间戳等丰富的溯源信息,难以满足大规模、细粒度的版权管理需求。
10、针对相关技术中扩散模型版权保护方法生成水印难以兼顾高灵活性、高信息容量和高鲁棒性的问题,目前尚未提出有效的解决方案。
技术实现思路
1、本发明创造实施例提供的一种基于多环频域密钥的扩散模型版权保护方法、系统及介质,至少解决相关技术中扩散模型版权保护方法生成水印难以兼顾高灵活性、高信息容量和高鲁棒性的问题。
2、本发明创造实施例提供一种基于多环频域密钥的扩散模型版权保护方法,包括水印嵌入过程和水印检测过程;上述水印嵌入过程包括下列步骤:将待嵌入的版权信息转换为编码序列;基于上述编码序列和预设调制方式构建二维频域的密钥模板,其中,上述密钥模板表征为多同心环结构,上述密钥模板的各环形区域分别承载上述编码序列的部分信息;将上述密钥模板按照预设强度系数嵌入初始噪声的原始幅度谱,结合上述初始噪声的原始相位谱重构频域信号;对上述频域信号进行调制处理,再输入预训练的扩散模型,生成携带版权水印信息的目标图像;上述水印检测过程包括下列步骤:对待测图像进行预处理与频域变换处理,得到目标幅度谱,其中,上述待测图像包括上述目标图像;基于上述密钥模板的密钥参数定位上述目标幅度谱中对应的环形区域,提取特征向量;基于预设编码规则对上述特征向量进行解码处理,得到上述版权水印信息。
3、作为一种可实施的方案,基于上述编码序列构建二维频域的密钥模板,包括:设置上述目标图像的尺寸,并基于上述目标图像的尺寸确定频谱中心坐标;基于上述编码序列和上述预设调制方式确定目标同心环的调制值,结合预设半径和预设宽度,确定上述目标同心环,其中,上述目标同心环为上述多同心环中的任一同心环;基于上述目标同心环的频域坐标到上述频谱中心坐标的距离,结合掩模函数,确定上述目标同心环的掩模值;基于各目标同心环的调制值和对应的掩模值确定密钥模板。
4、作为一种可实施的方案,在上述预设调制方式为二进制调制的情况下,每个目标同心环对应上述编码序列中的一个信息比特,第i个目标同心环的调制值为:
5、;
6、式中,表示基础幅值,表示调制深度,表示第i个信息比特;
7、在上述预设调制方式为多进制调制的情况下,每个目标同心环对应上述编码序列中的多个信息比特,第i个目标同心环的调制值为:
8、;
9、式中,
amin表示预设的最小调制幅值,
amax表示预设的最大调制幅值,表示第i个目标同心环对应的进制符号。
10、作为一种可实施的方案,基于上述目标同心环的频域坐标到上述频谱中心坐标的距离,结合掩模函数,确定上述目标同心环的掩模值,包括:在第i个目标同心环的频域坐标(u,v)到频谱中心坐标的距离满足预设条件的情况下,第i个目标同心环的掩模值为1;在上述距离不满足上述预设条件的情况下,第i个目标同心环的掩模值为0;上述预设条件为:
11、;
12、其中,表示第i个目标同心环的半径,表示第i个目标同心环的宽度,表示频域坐标(u,v)到频谱中心坐标的距离。
13、作为一种可实施的方案,将上述密钥模板按照预设强度系数嵌入初始噪声的原始幅度谱,结合上述初始噪声的原始相位谱重构频域信号之前,上述方法还包括:获取随机采样的初始噪声张量,其中,上述初始噪声张量的各元素服从标准正态分布,上述初始噪声张量的维度为,为上述目标图像的尺寸;对上述初始噪声张量的各颜色通道分别进行二维离散傅里叶变换,得到频域表示;基于上述频域表示计算上述初始噪声的原始幅度谱和原始相位谱。
14、作为一种可实施的方案,上述预设强度系数为,将上述密钥模板按照预设强度系数嵌入初始噪声的原始幅度谱,包括:基于上述密钥模板和上述预设强度系数对上述原始幅度谱进行缩放,得到上述频域信号的幅度谱;其中,上述频域信号的幅度谱表示为:
15、;
16、式中,表示上述原始幅度谱,表示上述密钥模板。
17、作为一种可实施的方案,上述密钥参数包括各目标同心环的半径和宽度,基于上述密钥模板的密钥参数定位上述目标幅度谱中对应的环形区域,提取特征向量,包括:基于各目标同心环的半径和宽度在上述目标幅度谱中定位对应的环形区域,对于任一目标同心环,计算对应区域内所有频率点幅度值的平均值和能量作为特征值;基于全部目标同心环的特征值确定特征向量,其中,在上述待测图像为彩色图像的情况下,对对应不同颜色通道的特征值进行平均处理后确定上述特征向量。
18、作为一种可实施的方案,基于预设编码规则对上述特征向量进行解码处理,得到上述版权水印信息,包括:在上述预设调制方式为二进制调制的情况下,上述预设编码规则为二进制编码规则,将上述特征向量中各目标同心环的第一特征值逐一与预设阈值进行比较,确定比特序列,其中,上述第一特征值对应目标同心环内所有频率点幅度值的平均值,在上述第一特征值大于上述预设阈值的情况下,对应的目标同心环表示的信息比特为1,在上述第一特征值小于等于上述预设阈值的情况下,对应的目标同心环表示的信息比特为0;在上述预设调制方式为多进制调制的情况下,上述预设编码规则为多进制编码规则,对上述特征向量进行最小距离判决处理,确定比特序列;对上述比特序列进行纠错解码处理,得到原始版权信息二进制串,其中,将待嵌入的版权信息转换为编码序列的步骤中,向上述编码序列嵌入纠错编码;计算上述原始版权信息二进制串与注册的原始信息之间的比特错误率;在上述比特错误率低于预设容错阈值的情况下,判定上述待测图像包含水印,版权水印信息为有效;在上述比特错误率大于等于上述预设容错阈值的情况下,判定上述待测图像不包含水印或者水印已被破坏,版权水印信息为无效。
19、本发明创造实施例还提供一种基于多环频域密钥的扩散模型版权保护系统,包括:水印嵌入模块,用于将待嵌入的版权信息转换为编码序列;基于上述编码序列和预设调制方式构建二维频域的密钥模板,其中,上述密钥模板表征为多同心环结构,上述密钥模板的各环形区域分别承载上述编码序列的部分信息;将上述密钥模板按照预设强度系数嵌入初始噪声的原始幅度谱,结合上述初始噪声的原始相位谱重构频域信号;对上述频域信号进行调制处理,再输入预训练的扩散模型,生成携带版权水印信息的目标图像;水印检测模块,用于对待测图像进行预处理与频域变换处理,得到目标幅度谱,其中,上述待测图像包括上述目标图像;基于上述密钥模板的密钥参数定位上述目标幅度谱中对应的环形区域,提取特征向量;基于预设编码规则对上述特征向量进行解码处理,得到上述版权水印信息。
20、本发明创造实施例还提供一种存储有计算机指令的非瞬时机器可读介质,上述计算机指令用于使上述计算机执行任一上述的方法。
21、本发明创造实施例提供的基于多环频域密钥的扩散模型版权保护方法,在初始噪声的频域中嵌入由多个同心环构成的复合密钥,支持高容量、多维度信息嵌入。仅对扩散模型输入的初始噪声进行频域调制,无需修改或重新训练模型结构及参数,能够降低水印部署、模型更新与维护成本,并增强水印对后处理攻击的抵抗能力,提升鲁棒性。支持在频域中对幅度、相位、环组合状态进行单维度或多维度联合调制,提高信息编码灵活性。水印检测无需原始图像或水印信息,仅依赖预定义的环参数与编码规则,鲁棒性高。能够解决相关技术中扩散模型版权保护方法生成水印难以兼顾高灵活性、高信息容量和高鲁棒性的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com