波束形成方法、装置、电子设备及存储介质与流程

技术特征：
1.一种波束形成方法，其中，包括：对接收的语音信号进行预处理以获得对应的频域信号；将所述频域信号输入预先训练好的神经网络模型；利用所述神经网络模型中的n个卷积通道对所述频域信号进行处理，获得对应n个预设方向的n个固定波束，n为大于1的整数；利用所述神经网络模型中的注意力机制层计算所述n个固定波束中每个固定波束的权重，并根据计算结果判断所述语音信号的声源方向；将对应声源方向的固定波束进行输出。2.根据权利要求1所述的波束形成方法，其中对接收的语音信号进行预处理包括：将连续输入的所述语音信号进行分帧和加窗转换为短时平稳信号；将所述短时平稳信号通过短时傅里叶变换转换为所述频域信号。3.根据权利要求1所述的波束形成方法，其中，对神经网络模型的训练方法包括：基于超指向性波束形成器在相应方向上的权重向量确定所述神经网络模型的初始参数；将不同声源方向的语音信号对应的频域信号作为输入，将方向标签作为输出，对所述神经网络模型的初始参数进行训练。4.根据权利要求1所述的波束形成方法，其中，利用所述神经网络模型中的注意力机制层计算所述n个固定波束中每个固定波束的权重包括：将每个固定波束转换为嵌入向量；根据所述嵌入向量及训练得到的相应系数矩阵计算获得每个固定波束对应的query值、key值和value值；根据每个固定波束对应的query值和key值分别为每个固定波束配置权重系数，并根据权重系数对value值进行加权求和，以获得每个固定波束的权重。5.根据权利要求1-4任一项所述的波束形成方法，其中，所述n个预设方向包括：0
°
、30
°
、60
°
、90
°
、120
°
、150
°
和180
°
中的至少一个。6.根据权利要求1-4任一项所述的波束形成方法，其中，将权重最大的固定波束所对应的方向作为声源方向。7.一种波束形成装置，其中，包括：波束形成模块，用于利用预先训练好的神经网络模型中的n个卷积通道对接收的语音信号所对应的频域信号进行处理，以获得对应n个预设方向的n个固定波束；判断模块，用于利用预先训练好的神经网络模型中的注意力机制层计算所述n个固定波束中每个固定波束的权重，并根据计算结果判断所述语音信号的声源方向；输出模块，用于根据所述判断模块的判断结果将对应声源方向的固定波束进行输出。8.根据权利要求7所述的波束形成装置，其中，还包括：时频变换模块，用于将连续输入的所述语音信号进行分帧和加窗转换为短时平稳信号，并将所述短时平稳信号通过短时傅里叶变换转换为所述频域信号；训练模块，用于将不同声源方向的语音信号所对应的频域信号作为输入，将方向标签作为输出，对所述神经网络模型的初始参数进行训练，其中，所述神经网络模型的初始参数为基于超指向性波束形成器在相应方向上的权重
向量进行确定。9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序，所述程序被所述处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。10.一种存储介质，其特征在于，所述存储介质上存储有计算机程序或指令，所述计算机程序或指令被处理器执行时实现如权利要求1至6中任一项所述的方法的步骤。

技术总结
本发明公开了一种波束形成方法、装置、电子设备及存储介质，该方法包括：对接收的语音信号进行预处理以获得对应的频域信号；将频域信号输入预先训练好的神经网络模型；利用神经网络模型中的N个卷积通道对频域信号进行处理，获得对应N个预设方向的N个固定波束，N为大于1的整数；利用神经网络模型中的注意力机制层计算N个固定波束中每个固定波束的权重，并根据计算结果判断语音信号的声源方向；将对应声源方向的固定波束进行输出。本发明基于神经网络模型进行语音信号的固定波束形成及声源方向判断，能够在不需要DOA估计以及嘈杂环境下准确的提取说话人方向波束，准确度和鲁棒性更高。更高。更高。


技术研发人员：朱宸都
受保护的技术使用者：北京奕斯伟计算技术有限公司
技术研发日：2022.04.22
技术公布日：2022/7/15