音频身份聚类的物理引导智能体神经架构搜索方法及系统

本发明涉及音频信号处理、无监督聚类、神经架构搜索和智能体决策，具体涉及音频身份聚类的物理引导智能体神经架构搜索方法及系统。

背景技术：

1、音频身份聚类是指在缺少人工标注或真实类别不可见的条件下，将具有相同音源身份、说话人身份、乐曲身份、设备指纹或声学内容来源的音频片段自动归为同一类别。该技术可应用于音频指纹检索、说话人归并、音乐曲目管理、音频内容去重、复杂录制环境下的身份识别等场景。由于实际采集过程常包含混响、噪声、切分位置差异、录制设备差异和数据划分差异，音频样本在时间结构、频谱包络和局部内容上存在显著扰动，导致同一身份样本间差异增大，且不同身份样本之间可能具有较高相似度。

2、传统音频聚类方法通常依赖人工设计的梅尔倒谱系数、频谱质心、色度、节奏、能量统计等声学特征，并结合kmeans、谱聚类或层次聚类等算法完成聚类。此类方法对特征组、归一化方式、降维方式、距离度量和聚类算法的组合高度敏感。在不同音频数据集之间，最佳流水线往往显著变化，人工经验难以及时适配，导致聚类结果存在簇塌缩、簇数偏离、簇大小失衡、过度受视图扰动影响等问题。

3、深度神经网络和自监督学习可用于音频表示学习，通过对同一音频的不同增强视图进行对比学习获得音频嵌入，并通过聚类级对比损失在无监督条件下学习适合聚类的特征空间。然而，深度编码器的网络结构、增强方式、损失项权重、训练轮次和后续聚类策略同样需要大量尝试，直接采用随机搜索或固定网格搜索会带来训练成本高、搜索效率低以及难以解释结构选择依据的问题。

4、现有智能体式自动机器学习方法虽然能够调用大语言模型或经验库提出候选配置，但候选设计容易将真实标签或事后评价结果泄漏进搜索过程；仅依据轮廓系数等单一内部指标筛选模型时，容易忽略音频片段时间一致性、采集视图不变性和声学物理邻域保持等领域约束；同时，智能体给出的理由多为自然语言解释，缺少与可观测无标签指标绑定的可验证预测，难以在候选方案执行后判断其推理是否可信，也难以将可信经验跨数据集迁移。

5、因此，需要一种在真实身份标签不参与搜索的前提下，将声学物理特征、无标签内部诊断、动态神经架构训练、可验证推理和跨数据集记忆结合起来的音频身份聚类智能架构搜索方法。

技术实现思路

1、针对现有技术中音频聚类流水线依赖人工经验、搜索成本高、真实标签易泄漏、无标签评价不充分以及智能体推理难以验证的问题，本发明提出音频身份聚类的物理引导智能体神经架构搜索方法及系统。

2、为实现以上目的，本发明通过以下技术方案予以实现：

3、对未标注的原始音频样本进行片段构建，得到全片段音频、第一子片段音频和第二子片段音频，提取声学物理特征并记录视图编码；

4、根据所述声学物理特征计算无标签数据集指纹和声学可信权重；

5、根据搜索停滞程度和聚类诊断异常程度计算搜索不确定性，并依据所述搜索不确定性按需检索证据；

6、由智能体根据所述无标签数据集指纹、声学可信权重和当前聚类诊断结果生成候选音频聚类方案和可验证预测，并在检索到证据时结合所述证据生成所述候选音频聚类方案；

7、执行所述候选音频聚类方案，得到音频嵌入和聚类结果，并基于所述音频嵌入、聚类结果、视图编码和声学物理特征计算无标签奖励；

8、比较当前候选音频聚类方案与上一轮方案的无标签奖励，验证所述可验证预测，根据奖励比较结果更新搜索结果，并将被确定为已验证的可验证预测用于记忆更新，输出当前搜索得到的最优音频聚类方案；

9、其中，真实身份标签不参与候选音频聚类方案生成、无标签奖励计算、智能体检索和记忆更新。

10、进一步地，所述片段构建以及声学物理特征的提取，包括：

11、将原始音频样本统一为固定采样率的单声道音频，截取固定长度的主音频片段作为全片段音频，并将所述全片段音频平均划分为第一子片段音频和第二子片段音频；

12、分别计算所述全片段音频、第一子片段音频和第二子片段音频的log-mel时频矩阵；

13、从所述全片段音频中提取手工声学特征组，并经拼接和标准化形成所述声学物理特征，所述手工声学特征组包括梅尔倒谱系数、色度特征和频谱质心特征。

14、进一步地，所述视图编码用于记录音频样本的来源条件或扰动条件，所述来源条件或扰动条件包括干净录音、加噪声录音、混响录音、不同录制设备、不同数据划分来源或不同切分位置；

15、所述无标签数据集指纹包括样本数量、期望聚类数量、声学物理特征维度、各组声学特征在全部声学特征中的占比、轮廓系数、calinski-harabasz指数和davies-bouldin指数。

16、进一步地，所述声学可信权重的计算，包括：

17、使用所述声学物理特征对全部音频样本进行初始聚类并计算轮廓系数；

18、根据轮廓系数下限参考值和轮廓系数上限参考值，对所述轮廓系数进行归一化，并将归一化结果限制在0至1区间，得到所述声学可信权重。

19、进一步地，所述搜索停滞程度按照预设轮数内无标签奖励未提高的轮数占所述预设轮数的比例计算；

20、所述聚类诊断异常程度根据当前候选聚类结果的轮廓系数是否低于轮廓系数阈值、实际非空簇数量是否等于期望簇数以及簇间分离比例是否低于簇间分离比例阈值确定；

21、根据所述搜索不确定性与对应检索阈值的比较结果，选择检索历史记忆、领域知识库或生成标签无关可视化结果；

22、当历史记忆和领域知识库均未返回证据且所述搜索不确定性达到外部技术资料检索阈值时，检索外部技术资料；

23、对检索到的证据分配证据编号，并记录证据来源、证据内容以及触发该证据检索的搜索停滞情况或聚类诊断结果。

24、进一步地，所述候选音频聚类方案包括预处理方法、特征选择方法、编码方法、损失函数和聚类算法，所述预处理方法包括标准化、l2归一化或白化，所述编码方法包括预训练音频编码器、动态神经网络或手工特征路径，所述聚类算法包括kmeans、高斯混合模型、谱聚类或层次聚类；

25、当检索到证据时，所述候选音频聚类方案记录所引用的证据编号、触发对应证据检索的搜索停滞情况或聚类诊断结果以及由该证据支持的配置修改；

26、所述可验证预测包括预计改善的无标签指标、改善方向和最小改善量。

27、进一步地，执行所述候选音频聚类方案，包括：

28、当所述编码方法选择预训练音频编码器时，读取所述预训练音频编码器生成的音频嵌入；

29、当所述编码方法选择动态神经网络时，根据所述智能体给出的网络层类型构建模型，并使用无监督损失在log-mel时频矩阵上训练以获得音频嵌入；

30、当所述编码方法选择手工特征路径时，使用所选手工声学特征经标准化和降维后得到音频嵌入；

31、对全片段音频嵌入执行聚类，并将第一子片段音频和第二子片段音频的嵌入分别分配到最近的全片段聚类中心，得到全片段聚类结果、第一子片段聚类结果和第二子片段聚类结果。

32、进一步地，所述无标签奖励包括聚类清晰度、聚类稳定性、时间一致性、视图不变性、簇平衡性和声学一致性；

33、所述聚类清晰度根据轮廓系数和davies-bouldin指数确定，所述聚类稳定性通过对同一音频嵌入采用不同随机种子重复聚类并计算不同聚类结果之间的调整兰德指数确定，所述时间一致性根据全片段聚类结果与第一子片段聚类结果、第二子片段聚类结果的一致情况确定，所述视图不变性根据同一聚类簇内视图编码的分布情况确定，所述簇平衡性根据各聚类簇的样本数量分布情况确定，所述声学一致性根据声学物理特征空间和音频嵌入空间中近邻样本的重合比例确定；

34、所述无标签奖励为各项指标的加权组合。

35、进一步地，将上一轮方案作为父试验、当前候选音频聚类方案作为子试验，比较所述父试验与子试验的无标签奖励；

36、当所述子试验的无标签奖励高于父试验的无标签奖励时接受所述子试验，当所述子试验的无标签奖励未提高时回滚至所述父试验；

37、将所述子试验中与可验证预测对应的无标签指标相对于父试验的提高量与所述可验证预测的最小改善量进行比较，当所述提高量达到所述最小改善量时将所述可验证预测确定为已验证，当所述提高量未达到所述最小改善量时确定为矛盾，当缺少父试验或对应无标签指标时确定为不可验证；

38、将被确定为已验证的可验证预测用于记忆更新。

39、进一步地，提出音频身份聚类的物理引导智能体神经架构搜索系统，用于实现如上述任一项的音频身份聚类的物理引导智能体神经架构搜索方法，包括：

40、数据构建模块，用于对未标注的原始音频样本进行片段构建，生成全片段音频、第一子片段音频和第二子片段音频，并记录视图编码；

41、特征计算模块，用于计算所述全片段音频、第一子片段音频和第二子片段音频的log-mel时频矩阵，提取手工声学特征，并将所述手工声学特征经拼接和标准化形成声学物理特征；

42、数据集指纹计算模块，用于根据所述声学物理特征计算无标签数据集指纹和声学可信权重；

43、智能体设计模块，用于根据搜索停滞程度和聚类诊断异常程度计算搜索不确定性，依据所述搜索不确定性按需检索证据，并根据所述无标签数据集指纹、声学可信权重和当前聚类诊断结果生成候选音频聚类方案和可验证预测，在检索到证据时结合所述证据生成所述候选音频聚类方案；

44、执行聚类模块，用于执行所述候选音频聚类方案，得到音频嵌入和聚类结果；

45、无标签评价模块，用于基于所述音频嵌入、聚类结果、视图编码和声学物理特征计算无标签奖励；

46、验证更新模块，用于比较当前候选音频聚类方案与上一轮方案的无标签奖励，验证所述可验证预测，并根据奖励比较结果更新搜索结果；

47、记忆管理模块，用于保存历史聚类方案、对应无标签奖励以及可验证预测的验证结果，并将被确定为已验证的可验证预测用于记忆更新；

48、输出模块，用于输出当前搜索得到的最优音频聚类方案、对应配置和无标签评价结果；

49、其中，真实身份标签不参与候选音频聚类方案生成、无标签奖励计算、智能体检索和记忆更新。

50、与现有技术相比具备以下有益效果：

51、本发明能够在不使用真实身份标签参与搜索的情况下，自动选择适合当前音频数据集的聚类流水线。真实标签仅用于最终评价，不进入智能体提示、奖励计算、候选方案生成和记忆更新过程，从而保持无监督聚类搜索过程的独立性和可信性。

52、本发明在三个音频身份聚类数据集上取得了实验结果：在nafp-500数据集上的acc、nmi、ari、recall@1和map分别为99.90%、99.96%、99.80%、99.75%和95.25%；在nafp-500+rirnoise数据集上分别为95.40%、98.68%、92.12%、99.25%和97.81%；在voxceleb2-15数据集上分别为66.00%、71.20%、47.50%、73.30%和54.20%。

53、相对于相应数据集上的最优或较强对比方法，在nafp-500数据集上，acc提高2.15个百分点、ari提高7.81个百分点；在nafp-500+rirnoise数据集上，acc、nmi、ari和map分别提高0.45、0.70、0.24和0.87个百分点；在voxceleb2-15数据集上，acc、nmi、ari、recall@1和map分别提高3.67、2.24、6.05、5.30和2.96个百分点。

54、对20次完整搜索中的200个候选方案进行分析时，无标签奖励排序与最终acc、nmi和ari排序之间的spearman相关系数分别为0.966、0.969和0.960，平均选择差距均为0.00个百分点，top-3命中率均为100%，表明所述无标签奖励能够用于搜索过程中的候选方案筛选。

55、通过可验证预测和记忆过滤机制，在nafp-500到nafp-500+rirnoise的跨数据集搜索中，采用执行结果过滤后的记忆相对于不使用记忆的方式使音频聚类acc提高5.93个百分点，并能够更快达到目标奖励水平。