人工现实系统中的音频样本相位对齐的制作方法

技术特征：
1.一种系统，包括：多个麦克风，其包括第一麦克风和第二麦克风；控制系统，其被配置为选择性地使所述第二麦克风在启用状态和禁用状态之间转变；和音频处理系统，其被配置为检测所述第二麦克风从所述禁用状态到所述启用状态的转变，并且响应于检测到所述转变，执行由所述第一麦克风收集的音频样本和由所述第二麦克风收集的音频样本之间的相位对齐，并且处理相位对齐后的音频样本。2.根据权利要求1所述的系统，其中，所述音频处理系统还被配置为：使用第一流水线处理由所述第一麦克风收集的音频样本，其中，所述第一流水线在多个启动时钟周期中的每一个处周期性地启动；和使用第二流水线处理由所述第二麦克风收集的音频样本；并且优选地，其中为了执行相位对齐，所述音频处理系统还被配置为：在所述多个启动时钟周期中的每一个期间启动所述第二流水线。3.根据权利要求2所述的系统，其中，为了在所述多个启动时钟周期中的每一个期间启动所述第二流水线，所述音频处理系统还被配置为：在检测到所述第二麦克风从所述禁用状态到所述启用状态的转变之后，在启动所述第二流水线时引入延迟，其中所述延迟是基于所述第一流水线的长度和直到所述启动时钟周期之一的时间量来计算的；并且优选地，其中所述第一流水线以第一采样频率操作，其中所述第二流水线以不同于所述第一采样频率的第二采样频率操作，并且其中为了在启动所述第二流水线时引入所述延迟，所述音频处理系统还被配置为：进一步基于所述第一采样频率和所述第二采样频率之间的差来计算所述延迟；并且优选地，其中所述第二采样频率高于所述第一采样频率。4.根据权利要求2所述的系统，其中，为了在所述多个启动时钟周期中的每一个期间启动所述第二流水线，所述音频处理系统还被配置为：检测与所述多个启动时钟周期相关联的同步信号；和在检测到所述同步信号时，启动所述第二流水线；并且优选地，其中所述第一流水线以第一采样频率操作，并且其中所述第二流水线以不同于所述第一采样频率的第二采样频率操作，并且其中为了启动所述第二流水线，所述音频处理系统还被配置为：在检测到所述同步信号之前，通过处理在检测到所述同步信号之前由所述第二麦克风收集的音频样本来生成第二流水线数据；和在检测到所述同步信号时，丢弃所述第二流水线数据中的至少一些。5.根据权利要求1至4中任一项所述的系统，其中，为了处理所述相位对齐后的音频样本，所述音频处理系统还被配置为执行以下至少一项：声源识别、方向对齐、定位、混合。6.根据权利要求1至5中任一项所述的系统，其中，所述系统是人工现实系统，并且其中控制系统被配置为：检测与所述人工现实系统相关联的需要更鲁棒的音频处理的状态变化；和响应于检测到所述状态变化，将所述第二麦克风从所述禁用状态转变到所述启用状态；并且优选地，其中所述状态变化是第一状态变化，并且其中所述音频处理系统还被配置
为：检测与所述人工现实系统相关联的第二状态变化；确定所述第二状态变化需要较不鲁棒的音频处理；和响应于检测到所述第二状态变化，进入低功率模式，其中为了进入所述低功率模式，所述音频处理系统还被配置为将所述第二麦克风从所述禁用状态转变到所述启用状态。7.根据权利要求1至6中任一项所述的人工现实系统，其中，所述人工现实系统还包括头戴式显示器(hmd)，并且其中所述hmd被配置为执行以下至少一项：检测输入；检测所述人工现实系统的模式的变化；检测与多个话音相关联的音频数据；检测向更嘈杂的物理环境的转变；和检测所述物理环境的变化。8.一种方法，包括：由具有第一麦克风和第二麦克风的人工现实系统中的音频处理系统接收由第一麦克风收集的音频样本；由所述音频处理系统检测所述第二麦克风从禁用状态到启用状态的转变；由所述音频处理系统响应于检测到所述转变，执行由所述第一麦克风收集的音频样本和由所述第二麦克风收集的音频样本之间的相位对齐；和由所述音频处理系统处理对齐后的音频样本。9.根据权利要求8所述的方法，还包括：由所述音频处理系统使用第一流水线处理由所述第一麦克风收集的音频样本，其中所述第一流水线在多个启动时钟周期中的每一个处周期性地启动；和由所述音频处理系统使用第二流水线处理由所述第二麦克风收集的音频样本。10.根据权利要求9所述的方法，其中，执行相位对齐包括：在所述多个启动时钟周期中的每一个期间启动所述第二流水线。11.根据权利要求10所述的方法，其中，在所述多个启动时钟周期中的每一个期间启动所述第二流水线包括：在检测到所述第二麦克风从所述禁用状态到所述启用状态的转变之后，在启动所述第二流水线时引入延迟，其中所述延迟是基于所述第一流水线的长度和直到所述启动时钟周期之一的时间量来计算的。12.根据权利要求11所述的方法，其中，所述第一流水线以第一采样频率操作，其中所述第二流水线以不同于所述第一采样频率的第二采样频率操作，并且其中在启动所述第二流水线时引入所述延迟包括：进一步基于所述第一采样频率和所述第二采样频率之间的差来计算所述延迟。13.根据权利要求12所述的方法，其中，所述第二采样频率高于所述第一采样频率。14.根据权利要求10至13中任一项所述的方法，其中，在所述多个启动时钟周期中的每一个期间启动所述第二流水线包括：检测与所述多个启动时钟周期相关联的同步信号；和在检测到所述同步信号时，启动所述第二流水线。
15.一种包括指令的计算机可读存储介质，所述指令在被执行时配置人工现实系统的音频处理系统执行操作，所述操作包括：接收由第一麦克风收集的音频样本；检测第二麦克风从禁用状态到启用状态的转变；由所述音频处理系统响应于检测到所述转变，执行由所述第一麦克风收集的音频样本和由所述第二麦克风收集的音频样本之间的相位对齐；和由所述音频处理系统处理对齐后的音频样本。

技术总结
本公开描述了包括将由多个音频传感器或麦克风收集的音频样本的处理进行对齐的技术。在一个示例中，本公开描述了一种方法，包括启用第一麦克风；由音频处理器并使用第一处理流水线来处理由第一麦克风收集的音频数据样本；在启用第一麦克风后的一段时间后启用第二麦克风；由音频处理器并使用第二处理流水线，通过同步第一处理流水线和第二处理流水线的启动时间来处理由第二麦克风收集的音频数据的样本。样本。样本。


技术研发人员：阿洛克
受保护的技术使用者：脸谱科技有限责任公司
技术研发日：2020.11.08
技术公布日：2022/7/9