一种音频处理方法、装置、电子设备及程序产品与流程

摘要: 本发明涉及音频处理,尤其涉及一种音频处理方法、装置、电子设备及程序产品。背景技术:1、随着语音交互、远场拾音、阵列降噪等音频技术的快速普及,多路数字麦克风阵列的...
一种音频处理方法、装置、电子设备及程序产品与流程

本发明涉及音频处理,尤其涉及一种音频处理方法、装置、电子设备及程序产品。

背景技术:

1、随着语音交互、远场拾音、阵列降噪等音频技术的快速普及,多路数字麦克风阵列的应用场景不断丰富,例如专业录音设备、智能家居、便携音频终端、安防监控等。

2、当前主流数字麦克风普遍采用单比特脉冲密度调制(pulse densitymodulation,pdm)位流作为输出形式,其工作依赖系统持续提供兆赫兹级的高精度采样时钟,数字麦克风通过时钟边沿完成位流数据锁存后,再经多级抽取滤波恢复为标准脉冲编码调制(pulse code modulation,pcm)音频数据。在中高端音频处理芯片中,通常会集成专用数字麦克风控制器,由硬件直接完成时钟输出、位流采样与前级抽取滤波等全流程操作,保障单路或少数几路音频采集的稳定性。但在大量面向低成本场景的资源受限型芯片中,出于面积与成本控制考量,往往未配置专用数字麦克风控制器,仅保留外部存储控制器、通用输入输出接口、串行接口等基础通用外设,难以直接适配多路pdm数字麦克风的采集需求。

3、针对无专用控制器芯片的多路数字麦克风采集方案,多采用通用输入输出接口软件翻转模拟时钟、串行接口轮询采样的方式实现pdm位流读取,这类方案受处理器实时调度能力与中断抖动影响极大,不仅难以稳定生成数字麦克风所需的兆赫兹级高频采样时钟,更无法保证多达16路的多通道在同一采样时刻完成同步锁存,极易出现通道间相位偏移、音频采样失真等问题。即便在集成了专用数字麦克风控制器的主流芯片中,受硬件通路数量限制,通常也仅支持2至4路音频采集通路,无法满足多路麦克风阵列的同步拾音需求。

技术实现思路

1、本发明实施例提供一种音频处理方法、装置、电子设备及程序产品。

2、第一方面,本发明实施例提供一种音频处理方法,所述方法包括:

3、配置外部存储控制器,使所述外部存储控制器内部的读状态机持续循环运行;所述读状态机每完成一次完整的读状态循环生成一个读周期,在对应读周期内输出读控制rd读脉冲,并执行一次多位宽度的读取操作;其中,所述rd读脉冲被复用为多路数字麦克风dmic的采样时钟;

4、在每个读周期内,并行获取多路数字麦克风dmic各自输出的脉冲密度调制pdm单比特,得到单个多位采样字;

5、获取连续多个读周期得到的多位采样字,按时间顺序组成采样字集合;

6、对所述采样字集合按照比特位对应关系进行通道拆解,得到各麦克风通道对应的pdm位流。

7、在一种可能的实施方式中,所述方法还包括:

8、对每一路麦克风通道的pdm位流进行抽取滤波处理和频响补偿处理,得到滤波后信号;

9、其中,所述对每一路麦克风通道的pdm位流进行抽取滤波处理和频响补偿处理,得到滤波后信号,包括:

10、对每一路麦克风通道的pdm位流,采用同一组抽取滤波参数以及同一组频响补偿参数;其中,所述抽取滤波参数用于级联积分梳状滤波,所述频响补偿参数用于有限冲激响应滤波;

11、通过级联积分梳状滤波对所述每一路麦克风通道的pdm位流执行抽取降采样,将高频pdm位流转换为具有预设音频采样率的中间音频信号;

12、通过有限冲激响应滤波对所述中间音频信号执行频响补偿,校正级联积分梳状滤波引入的通带衰减,获得所述每一路麦克风通道的滤波后信号。

13、在一种可能的实施方式中,所述方法还包括:

14、对所述滤波后信号进行直流分量抑制与增益调节处理,生成各麦克风通道对应的脉冲编码调制pcm样值。

15、在一种可能的实施方式中,所述对所述采样字集合按照比特位对应关系进行通道拆解,得到各麦克风通道对应的pdm位流,包括:

16、按照时间先后顺序遍历所述采样字集合中的每个多位采样字,从所述每个多位采样字中抽取对应同一麦克风通道的比特位,并将抽取到的比特位按时间顺序依次拼接,形成所述同一麦克风通道对应的pdm位流。

17、在一种可能的实施方式中,所述配置外部存储控制器,使所述外部存储控制器内部的读状态机持续循环运行,包括:

18、对所述外部存储控制器执行一次性寄存器配置,将读时序参数设置为与所述多路dmic的pdm时序相匹配;以及,

19、将所述外部存储控制器对应片选通道配置为,采用固定地址访问模式或者地址自动回绕的突发访问模式,使得所述读状态机在配置完成后,基于所配置的读时序参数自主且连续地生成读周期。

20、在一种可能的实施方式中,所述获取连续多个读周期得到的多位采样字,包括:

21、通过外部存储控制器每完成一个读周期产生的直接存储器访问dma请求,触发dma将所述读周期生成的单个多位采样字按时间顺序搬运至环形缓存区存储;

22、从所述环形缓存区中,读取连续多个读周期对应的采样字,以构成所述采样字集合。

23、在一种可能的实施方式中,所述生成各麦克风通道对应的pcm样值之后,所述方法还包括:

24、获取音频存储需求;

25、基于所述音频存储需求确定目标音频处理方式,并按照所述目标音频处理方式对所述各麦克风通道对应的pcm样值进行处理,获得音频数据;

26、其中,所述目标音频处理方式为对所述pcm样值执行wav格式封装处理,或者对所述pcm样值执行mp3压缩编码处理。

27、第二方面,本发明实施例提供一种音频处理装置,所述装置包括外部存储控制器以及多路数字麦克风dmic;

28、所述外部存储控制器包括读状态机;

29、所述外部存储控制器的rd输出端电连接至多路数字麦克风dmic的时钟输入端,以将rd读脉冲作为多路数字麦克风dmic的采样时钟;

30、所述多路数字麦克风dmic的数据输出端与所述外部存储控制器的数据总线一一对应电连接;

31、所述音频处理装置用于执行第一方面中任一方法包括的步骤。

32、第三方面,本发明实施例提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其所述处理器执行所述计算机程序时实现第一方面中任一方法包括的步骤。

33、第四方面,本发明实施例提供一种计算机可读存储介质,其包括程序代码,当所述程序代码在电子设备上运行时,所述程序代码用于使所述电子设备执行第一方面中任一方法包括的步骤。

34、第五方面,本发明实施例提供一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,当所述计算机程序代码在电子设备上运行时,使得所述电子设备执行第一方面中任一方法包括的步骤。

35、本发明的实施例提供的技术方案至少带来以下有益效果:

36、在本发明实施例中,创新性地复用外部存储控制器,通过配置使外部存储控制器的读状态机持续循环运行,利用硬件自主循环生成的读周期rd读脉冲作为多路数字麦克风的统一采样时钟,依靠硬件时序固有高精度、高稳定性的特点,稳定输出麦克风所需的兆赫兹级高频时钟,彻底摆脱了传统软件模拟时钟带来的抖动与不稳定问题,从硬件时序层面保证了pdm位流采样的准确性与稳定性。同时,本发明在单个读周期内通过外部存储控制器多位宽度读取机制,并行采集多路数字麦克风输出的pdm单比特数据并组合为多位采样字,再通过连续读周期采样构建采样字集合并结合比特位对应关系完成多通道拆解,得到各路独立的pdm位流,实现了真正意义上的多通道同时刻同步锁存采样,有效解决了传统多路采集方案存在的采样不同步、相位偏差大的缺陷,突破了专用控制器通道数量受限的使用瓶颈。

37、此外,本发明全程复用现有外部存储控制器完成多路麦克风同步采集,无需专用数字麦克风控制器、无需额外增加硬件成本,仅通过参数配置即可实现稳定连续的多路pdm数据采集,极大降低了资源受限芯片的音频采集实现成本与资源消耗,适配各类低成本嵌入式音频采集场景,大幅提升了多路麦克风阵列采集的同步性、稳定性与通用性。

38、本发明的其它特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或通过实施而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

39、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。