样本生成、神经网络生成、音频信号生成方法及装置与流程

技术特征：
1.一种样本生成方法，其特征在于，包括：基于目标声源的位置信息，对所述目标声源的单声道音频信号进行转换处理，得到所述目标声源的双声道音频信号；基于所述双声道音频信号，生成目标双声道音频信号；基于所述目标双声道音频信号，生成目标单声道音频信号；基于所述目标双声道音频信号、以及所述目标单声道音频信号，生成样本数据；其中，所述目标双声道音频信号为所述样本数据中的监督数据，所述目标单声道音频信号为所述样本数据中的训练数据。2.根据权利要求1所述的样本生成方法，其特征在于，所述位置信息包括：所述目标声源在预设坐标系中的方位角和顶角。3.根据权利要求1或2所述的样本生成方法，其特征在于，所述目标声源的双声道音频信号，包括：所述目标声源的左声道音频信号、以及所述目标声源的右声道音频信号。4.根据权利要求3所述的样本生成方法，其特征在于，所述基于目标声源的位置信息，对所述目标声源的单声道音频信号进行转换处理，得到所述目标声源的双声道音频信号，包括：基于所述目标声源的位置信息，在多个通道上将所述单声道音频信号进行分解，得到所述多个通道中每个通道对应的子音频信号；基于所述多个通道分别对应的子音频信号，生成多个预设方向分别对应的左声道虚拟信号、以及右声道虚拟信号；基于多个预设方向分别对应的左声道虚拟信号，生成所述目标声源的左声道音频信号；以及基于所述多个预设方向分别对应的右声道虚拟信号，生成所述目标声源的右声道音频信号。5.根据权利要求4所述的样本生成方法，其特征在于，基于所述目标声源的位置信息，在多个通道上将所述单声道音频信号进行分解，得到所述多个通道中每个通道对应的子音频信号，包括：对所述单声道音频信号进行球谐函数分解，得到所述单声道音频信号在多个通道中的每个通道对应的子音频信号。6.根据权利要求4或5所述的样本生成方法，其特征在于，所述基于所述多个通道分别对应的子音频信号，生成多个预设方向分别对应的左声道虚拟信号、以及右声道虚拟信号，包括：基于所述多个通道分别对应的子音频信号，确定多个预设方向中每个预设方向对应的目标信号分解系数；基于所述多个预设方向分别对应的目标信号分解系数、以及多个通道分别对应的子音频信号，生成所述多个预设方向分别对应的虚拟音频信号；针对所述每个预设方向，基于所述每个预设方向对应的虚拟音频信号，生成与所述每个预设方向对应的左声道虚拟信号、以及右声道虚拟信号。7.根据权利要求6所述的样本生成方法，其特征在于，所述基于所述多个通道分别对应的子音频信号，确定多个预设方向中每个预设方向对应的目标信号分解系数，包括：基于所述多个通道分别对应的子音频信号，构建子音频信号向量；
基于所述子音频信号向量、以及所述目标声源的单声道音频信号，得到所述多个通道分别对应的音频分解系数；在所述多个预设方向上对所述多个通道分别对应的音频分解系数进行分解，得到所述多个预设方向中每个方向对应的目标音频分解系数。8.根据权利要求6或7所述的样本生成方法，其特征在于，所述基于所述多个预设方向分别对应的目标信号分解系数、以及多个通道分别对应的子音频信号，生成所述多个预设方向分别对应的虚拟音频信号，包括：基于所述多个预设方向分别对应的目标信号分解系数，构建分解系数矩阵；基于预先确定的约束条件、所述分解系数矩阵、以及多个通道分别对应的子音频信号，生成所述多个预设方向分别对应的虚拟音频信号。9.根据权利要求6或7所述的样本生成方法，其特征在于，所述基于所述每个预设方向对应的虚拟音频信号，生成与所述每个预设方向对应的左声道虚拟信号、以及右声道虚拟信号，包括：利用头相关冲激响应hrir对所述每个预设方向对应的虚拟音频信号进行分解，生成与所述每个预设方向对应的左声道虚拟信号、以及右声道虚拟信号。10.根据权利要求1
‑
9任一项所述的样本生成方法，其特征在于，所述基于所述双声道音频信号，生成目标双声道音频信号，包括：将至少两个目标声源分别对应的双声道音频信号进行叠加，生成所述目标双声道音频信号。11.根据权利要求1
‑
9任一项所述的样本生成方法，其特征在于，所述目标双声道音频信号，包括：目标左声道音频信号、以及目标右声道音频信号；所述基于所述目标双声道音频信号，生成目标单声道音频信号，包括：将所述目标左声道音频信号、以及所述目标右声道音频信号叠加，得到所述目标单声道音频信号。12.根据权利要求1
‑
11任一项所述的样本生成方法，其特征在于，所述训练数据还包括：生成所述目标双声道音频信号的双声道音频信号对应目标声源的位置信息。13.一种神经网络生成方法，其特征在于，包括：利用权利要求1
‑
12任一项所述的样本生成方法生成样本数据；利用所述样本数据对待训练的神经网络进行训练，得到目标神经网络。14.一种音频信号生成方法，其特征在于，包括：获取待处理视频、以及与所述待处理视频对应的单声道音频信号；基于所述待处理视频，确定所述待处理视频中声源对象的位置信息；利用基于权利要求13所述的神经网络生成方法生成的目标神经网络，对所述待处理视频中声源对象的位置信息、以及所述单声道音频信号进行处理，得到双声道音频信号。15.一种样本生成装置，其特征在于，包括：第一处理模块，用于基于目标声源的位置信息，对所述目标声源的单声道音频信号进行转换处理，得到所述目标声源的双声道音频信号；第一生成模块，用于基于所述双声道音频信号，生成目标双声道音频信号；第二生成模块，用于基于所述目标双声道音频信号，生成目标单声道音频信号；
第三生成模块，用于基于所述目标双声道音频信号、以及所述目标单声道音频信号，生成样本数据；其中，所述目标双声道音频信号为所述样本数据中的监督数据，所述目标单声道音频信号为所述样本数据中的训练数据。16.一种神经网络生成装置，其特征在于，包括：第四生成模块，用于利用权利要求1
‑
12任一项所述的样本生成方法生成样本数据；训练模块，用于利用所述样本数据对待训练的神经网络进行训练，得到目标神经网络。17.一种音频信号生成装置，其特征在于，包括：获取模块，用于获取待处理视频、以及与所述待处理视频对应的单声道音频信号；确定模块，用于基于所述待处理视频，确定所述待处理视频中声源对象的位置信息；第二处理模块，用于利用基于权利要求13所述的神经网络生成方法生成的目标神经网络，对所述待处理视频中声源对象的位置信息、以及所述单声道音频信号进行处理，得到双声道音频信号。18.一种计算机设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至12任一项所述的样本生成方法的步骤，或者执行如权利要求13所述的神经网络生成方法的步骤，或者执行如权利要求14所述的音频信号生成方法的步骤。19.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被计算机设备运行时，所述计算机设备执行如权利要求1至12任一项所述的样本生成方法的步骤，或者执行如权利要求13所述的神经网络生成方法的步骤，或者执行如权利要求14所述的音频信号生成方法的步骤。