应用于智能音箱的声纹防伪对抗方法、装置及存储介质

本发明涉及音频处理领域，尤其涉及一种应用于智能音箱的声纹防伪对抗方法、装置及存储介质。

背景技术：

1、声纹防伪对抗是在智能音箱的声纹验证过程中，识别并抵御录音重放、语音合成及声音转换等欺骗攻击，以确保仅合法用户能够通过身份认证的技术。现有技术中，智能音箱通常采集用户发出的语音信号，提取声纹特征并与预先注册的声纹模板进行相似度比对，同时辅以基于语音信号物理特性的活体检测手段，如分析语音中的信道失真痕迹或频谱异常特征，以判别是否为真实人声。然而，此类方法本质上仍依赖于语音信号本身的静态特征，当攻击者采用高保真设备或先进合成技术时，伪造语音在信号层面可与真实语音达到高度吻合，使得单纯依靠语音信号特征的分析难以有效区分，从而降低了声纹防伪的整体可靠性。因此，如何提升智能音箱声纹防伪对抗的有效性，成为亟待解决的问题。

技术实现思路

1、本发明提供了一种应用于智能音箱的声纹防伪对抗方法、装置及存储介质。

2、第一方面，本发明实施例提供了一种应用于智能音箱的声纹防伪对抗方法，包括：

3、接收声纹验证请求，根据声纹验证请求中携带的用户标识调取对应的已注册声纹模板，随机生成由音素序列覆盖多种声道构型的挑战文本序列，控制智能音箱的扬声器以设定音量播放挑战文本序列，并同步开启音频采集通道；

4、从音频采集通道获取包含用户跟读内容的响应语音信号，对响应语音信号进行端点检测以确定跟读发音的起始时刻，结合记录的挑战文本播放结束时刻计算响应间隔时长，该响应间隔时长表征用户从听到提示音结束到开始发音的反应耗时；并且，对响应语音信号进行有声段落与无声段落的切分，获得无声段落时间区间集合和有声段落时间区间集合，基于无声段落时间区间集合的时长分布和有声段落间的衔接间隔波动，生成发声节奏整合属性；

5、调用预先建立的声纹判别网络，对响应语音信号进行处理，提取话语级声纹嵌入表示，将该话语级声纹嵌入表示与已注册声纹模板对应的注册声纹嵌入表示进行相似度比对，生成声纹一致性度量信息；

6、对响应间隔时长进行生理可行性映射，得到时间约束符合度指示；对发声节奏整合属性进行自然度匹配分析，得到节奏自然度指示；将时间约束符合度指示、节奏自然度指示与声纹一致性度量信息输入联合判决逻辑，生成针对当前声纹验证请求的活体置信度指示；

7、当活体置信度指示处于不可信区间时，生成防伪对抗响应指令，防伪对抗响应指令用于触发声纹验证拒绝、安全日志记录以及下一轮挑战文本复杂度的提升操作，以控制智能音箱执行预设的安全应对操作。

8、第二方面，本发明实施例提供了一种声纹防伪对抗装置，包括：

9、请求接受模块，用于接收声纹验证请求，根据声纹验证请求中携带的用户标识调取对应的已注册声纹模板，随机生成由音素序列覆盖多种声道构型的挑战文本序列，控制智能音箱的扬声器以设定音量播放挑战文本序列，并同步开启音频采集通道；

10、信号处理模块，用于从音频采集通道获取包含用户跟读内容的响应语音信号，对响应语音信号进行端点检测以确定跟读发音的起始时刻，结合记录的挑战文本播放结束时刻计算响应间隔时长，该响应间隔时长表征用户从听到提示音结束到开始发音的反应耗时；并且，对响应语音信号进行有声段落与无声段落的切分，获得无声段落时间区间集合和有声段落时间区间集合，基于无声段落时间区间集合的时长分布和有声段落间的衔接间隔波动，生成发声节奏整合属性；

11、相似比对模块，用于调用预先建立的声纹判别网络，对响应语音信号进行处理，提取话语级声纹嵌入表示，将该话语级声纹嵌入表示与已注册声纹模板对应的注册声纹嵌入表示进行相似度比对，生成声纹一致性度量信息；

12、置信生成模块，用于对响应间隔时长进行生理可行性映射，得到时间约束符合度指示；对发声节奏整合属性进行自然度匹配分析，得到节奏自然度指示；将时间约束符合度指示、节奏自然度指示与声纹一致性度量信息输入联合判决逻辑，生成针对当前声纹验证请求的活体置信度指示；

13、指令生成模块，用于当活体置信度指示处于不可信区间时，生成防伪对抗响应指令，防伪对抗响应指令用于触发声纹验证拒绝、安全日志记录以及下一轮挑战文本复杂度的提升操作，以控制智能音箱执行预设的安全应对操作。

14、第三方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以上方法中的步骤。

15、本发明将声纹验证从静态特征比对转变为融合交互行为分析的防伪对抗过程。通过动态生成随机挑战文本并采集用户跟读的响应语音信号，在提取话语级声纹嵌入表示完成声纹一致性度量的同时，同步捕获响应间隔时长和发声节奏整合属性，使活体检测依据从语音声学特征延伸至用户对随机挑战的实时反应耗时以及跟读过程中有声与无声交替的自然节奏模式。响应间隔时长反映从听觉感知到发音执行的真实生理路径耗时，能够暴露离线预录或合成注入攻击无法模拟的延迟异常；发声节奏整合属性揭示真人交互中特有的犹豫停顿与音段过渡波动，与合成语音的机械性均匀停顿模式形成本质区别。时间约束符合度指示、节奏自然度指示与声纹一致性度量信息在联合判决中协同作用，即使攻击者在声纹相似度层面与真实用户接近，仍会因响应时间异常或发声节奏偏离而暴露攻击特征，从而在单一语音通道和纯软件处理条件下显著提升智能音箱对重放攻击、语音合成攻击及声音转换攻击的综合抵抗能力。

1.一种应用于智能音箱的声纹防伪对抗方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述从所述音频采集通道获取包含用户跟读内容的响应语音信号，对所述响应语音信号进行端点检测以确定跟读发音的起始时刻，结合记录的挑战文本播放结束时刻计算响应间隔时长，该响应间隔时长表征用户从听到提示音结束到开始发音的反应耗时；并且，对所述响应语音信号进行有声段落与无声段落的切分，获得无声段落时间区间集合和有声段落时间区间集合，基于无声段落时间区间集合的时长分布和有声段落间的衔接间隔波动，生成发声节奏整合属性，包括：

3.根据权利要求2所述的方法，其特征在于，所述提取无声段落时间区间集合中每个无声段落持续时长的分布直方图，并从分布直方图中抽取出最长持续时长、最短持续时长及持续时长分布的陡峭趋势，将最长持续时长与最短持续时长的跨度作为无声段时长分布跨度，将陡峭趋势作为无声段时长分布集中趋向，包括：

4.根据权利要求2所述的方法，其特征在于，所述利用预设的语音合成停顿模式库，对发声节奏整合属性进行合成模式轨迹重叠比对，得到合成停顿模式轨迹重叠度，将合成停顿模式轨迹重叠度作为发声节奏整合属性中的机器合成节奏倾向指示，包括：

5.根据权利要求1所述的方法，其特征在于，所述调用预先建立的声纹判别网络，对所述响应语音信号进行处理，提取话语级声纹嵌入表示，将该话语级声纹嵌入表示与所述已注册声纹模板对应的注册声纹嵌入表示进行相似度比对，生成声纹一致性度量信息，包括：

6.根据权利要求5所述的方法，其特征在于，所述将谱图序列输入至由堆叠的时延神经网络层构成的特征提炼网络中，逐层对每个时间片段进行上下文扩展处理，使得每一层的输出包含当前时间片段前后相邻时间片段的依赖信息，得到多层上下文感知的帧级声纹特征，包括：

7.根据权利要求1所述的方法，其特征在于，所述对所述响应间隔时长进行生理可行性映射，得到时间约束符合度指示；对所述发声节奏整合属性进行自然度匹配分析，得到节奏自然度指示；将所述时间约束符合度指示、所述节奏自然度指示与所述声纹一致性度量信息输入联合判决逻辑，生成针对当前声纹验证请求的活体置信度指示，包括：

8.根据权利要求7所述的方法，其特征在于，所述将发声节奏整合属性中携带的机器合成节奏倾向指示与预设的节奏自然倾向等级进行比较，若机器合成节奏倾向指示表征当前节奏模式落入合成节奏倾向区间，则生成节奏异常指示，若机器合成节奏倾向指示表征当前节奏模式落入真人节奏倾向区间，则生成节奏正常指示，包括：

9.一种声纹防伪对抗装置，其特征在于，包括：

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至8任一项所述方法中的步骤。