基于改进边界感知注意力机制的局部伪造语音检测方法

本发明涉及语音真伪检测、音频深度伪造识别和时序信号定位，尤其涉及一种基于改进边界感知注意力机制的局部伪造语音检测方法。

背景技术：

1、局部伪造语音检测是语音信号处理的研究分支，其定位任务重点关注对伪造语音的位置进行帧级定位，并以帧为单位精确判断音频的真实性。尽管该领域的研究已经取得了一定的进展，但当伪造痕迹隐蔽且分散、伪造特征与真实特征交织在一起时，传统的局部语音鉴伪系统往往无法适应这些复杂场景。

2、随着生成式人工智能技术的快速普及和发展，社交媒体领域充斥着大量由语音合成、语音转换等技术生成的深度伪造音频。这些高自然度的深度伪造音频为真伪媒体内容分辨带来了巨大挑战。为应对这些问题，深度伪造音频检测在过去几年受到广泛关注。迄今为止，已涌现出许多有效的应对方法，部分模型通过等错误率（eer）评估得出的性能甚至低于1%，这表明在防御完全深度伪造音频攻击方面取得了显著成效。但技术发展的每一步都伴随着新的挑战，部分深度伪造音频攻击作为一种更隐蔽的欺骗手段，再次引发关注。这类音频通常将真实音频片段与伪造音频片段，或来自其他语料库的真实音频片段拼接而成，增加了攻击识别的复杂性和难度。现有研究表明，人类和机器都容易被部分深度伪造音频欺骗。为了解决这一问题，国内外已经组织了多样化深度伪造音频检测挑战赛，以促进音频反欺骗领域的发展。

3、首届音频深度合成检测挑战赛add 2022于2022 年举办，在该竞赛中，部分伪造音频检测（pf）首次作为独立赛道推出，聚焦真实/伪造二分类任务。2023年，第二届音频深度伪造检测挑战赛add 2023正式启动。与 add 2022 不同，add 2023 的任务设置突破了“对整段语音进行真实 / 伪造二分类”的目标，首次将“定位部分伪造音频中的篡改区间”设为竞赛任务track 2，采用“语句级准确率与片段级 f1 分数的加权和”作为评估指标。目前，该竞赛排行榜上的系统已成为部分深度伪造音频篡改区域定位任务后续研究的重要基准。

4、近年来，针对部分伪造音频检测（partially spoofed audio detection, psad）的方法和数据集已得到广泛研究。张等人开发了名为 partialspoof 的数据集，该数据集包含片段级别的标签，并在多任务学习框架下研究了一种能够同时在片段级别和语音段级别检测伪造内容的方法。2023年add挑战赛引入了部分伪造音频定位赛道，其中，一种有效的方法通过融合边界检测、帧级伪造检测和语音段级伪造检测三个对抗系统的决策结果，取得了最佳的定位分数。最近，有研究提出了一种结合对比学习模块和时间卷积的方法，能够有效捕捉更优的定位特征。再后来，钟等人通过提取边界特征来精确定位伪造内容的具体位置，实现了可靠的帧级别真实性判断。

5、尽管上述的研究方法已经取得了一定的进展，但当伪造痕迹隐蔽且分散、伪造特征与真实特征交织在一起时，上述局部语音鉴伪系统往往无法适应这些复杂场景。同样的，伪造边界的稳定性也直接影响到系统注意力的分配与判别能力。攻击者可以将伪造语音片段插入真实语音，也可以将真实语音片段插入伪造语音，从而形成局部伪造语音。局部伪造语音的危害不仅在于整段语音真伪难以判断，还在于少量被篡改的词语、音节或短时片段可能改变语义。

6、局部伪造语音定位任务要求对语音的不同时间位置给出真伪判别结果。与整段语音检测相比，该任务需要处理更细粒度的时间边界，并且边界附近的语音帧常包含真实成分和伪造成分的过渡特征。已有帧级检测方法通常将语音划分为若干时间帧，提取每帧表征并分别进行分类。此类方法能够输出帧级结果，但在伪造片段较短、边界过渡平滑或者上下文相似度较高时，容易出现边界附近的误判。已有边界辅助方法尝试利用边界预测结果限制不同片段之间的信息交互。然而，若将边界预测直接二值化并用于硬性掩蔽，则边界预测中的小误差会被放大：漏检边界会使真实片段和伪造片段继续发生信息混合，误检边界会切断同一片段内部本应保留的上下文关联信息。

7、因此，需要一种适用于局部伪造语音定位的检测系统，使边界信息以连续置信度形式参与帧间信息控制，在抑制跨边界错误传播的同时保留不确定边界附近的必要上下文关联信息，从而提高语音鉴伪检测系统的泛化性和准确性。

技术实现思路

1、本发明所要解决的技术问题：为了克服现有技术的不足，本发明旨在解决局部伪造语音定位中硬边界掩蔽对边界预测误差敏感、帧间信息交互缺乏连续性的问题。为解决上述问题，提高语音鉴伪检测系统的泛化性和准确性，本发明提供一种基于软边界门控的局部伪造语音定位方法。该方法首先获取待检测语音信号并提取基础语音表征序列，再按照预设时间分辨率生成帧级语音特征序列；随后通过边界增强模块获得边界增强特征，并根据边界增强特征生成边界概率；进一步根据边界概率和温度参数生成软边界门控序列，利用该软边界门控序列构造帧间消息控制矩阵，对帧间注意力进行连续调制，最终输出各帧真伪判别结果。

2、在本发明中，边界概率不被直接转化为二值边界，而是通过温度化sigmoid映射转化为软边界门控值。该软边界门控值参与帧间消息控制矩阵的构造，使跨越高边界概率位置的帧间消息传递被连续削弱。

3、在优选实施方式中，边界增强模块包括帧间相关性建模分支和帧内上下文建模分支。帧间相关性建模分支用于获取不同时间帧之间的相似性和依赖关系；帧内上下文建模分支采用卷积增强自注意力conformer结构，用于同时捕获长程依赖和局部扰动。

4、在优选实施方式中，训练阶段引入跨段混合增强。该增强方式在两个训练语音样本之间执行后段替换，并同步更新帧级真伪标签和边界标签，从而增加训练数据中边界形态的多样性。

5、本发明还提供一种基于软边界门控的局部伪造语音定位系统以及一种计算机可读存储介质。

1.基于改进边界感知注意力机制的局部伪造语音检测方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述基础语音表征序列由自监督语音表征网络生成，所述自监督语音表征网络输出的多层表征中的至少一层用于形成所述基础语音表征序列；

3.根据权利要求1所述的方法，其特征在于，所述帧间相关性建模包括：对第帧和第帧的帧级语音特征进行逐元素乘积，形成对帧相关特征；对所述成对相关特征进行线性映射、非线性变换和可学习权重投影，得到帧间相关注意力；根据所述帧间相关注意力对帧级语音特征序列进行加权聚合；

4.根据权利要求1所述的方法，其特征在于，所述边界概率由所述边界增强特征经线性映射和sigmoid映射得到；所述软边界门控序列中的第个门控值按照以下公式确定：

5.根据权利要求1所述的方法，其特征在于，所述帧间消息控制矩阵m中第行第列的元素按照以下公式确定：

6.根据权利要求5所述的方法，其特征在于，利用所述帧间消息控制矩阵对帧间注意力进行连续调制包括：将帧间注意力分数与所述帧间消息控制矩阵的对应元素相乘，得到受控注意力分数；对所述受控注意力分数进行归一化；根据归一化结果对帧级语音特征序列进行聚合，。

7.根据权利要求1所述的方法，其特征在于，训练阶段采用帧级真伪损失和边界损失的加权和作为目标函数：

8.根据权利要求7所述的方法，其特征在于，所述边界损失采用正负样本均衡的二元交叉熵损失，或者采用边界聚焦损失；所述边界聚焦损失按照以下公式确定：

9.根据权利要求1所述的方法，其特征在于，训练阶段还包括跨段混合增强步骤：在同一训练批次中选取第一语音样本和第二语音样本；确定二者共同有效帧长；在所述共同有效帧长的20%至80%区间内选择切分帧；将第一语音样本自所述切分帧至共同有效帧长末端的语音片段替换为第二语音样本对应位置的语音片段；同步替换帧级真伪标签，并根据替换后的帧级真伪标签重新生成边界标签。

10.一种基于改进边界感知注意力机制的局部伪造语音检测系统，其特征在于，包括：语音表征提取模块、帧级聚合模块、边界增强模块、软边界门控模块、边界感知注意力模块和帧级判别模块；所述语音表征提取模块用于生成基础语音表征序列；所述帧级聚合模块用于形成帧级语音特征序列；所述边界增强模块用于形成边界增强特征并生成边界概率；所述软边界门控模块用于根据边界概率生成软边界门控序列并构造帧间消息控制矩阵；所述边界感知注意力模块用于根据所述帧间消息控制矩阵对帧间注意力进行连续调制；所述帧级判别模块用于输出各帧真伪判别结果。