音频数据重建方法及系统与流程

1.本发明涉及音频，特别是涉及一种音频数据重建方法及系统。


背景技术：

2.数字音频数据常以一帧帧(frame)方式编码后经由有线或无线网络传送到接收端译码后播放。而传送过程中因为干扰或是网络壅塞造成音频封包丢失或迟到，使得接收端因缓冲区耗尽而中断播放。一个简单的方法是加大缓冲区，并在缓冲区耗尽前要求重送丢失的封包，但如此将增加播放延迟，不适用于一些需要低延迟的应用。
3.另一种方法是利用丢失封包前后的完好封包内的音频数据做内插(interpolation)运算，或是利用丢失封包前的完好封包内的音频数据做外推(extrapolation)运算，以运算出的音频数据取代丢失封包的音频数据，如此可保持播放不中断，也无需加大缓冲区。
4.目前已有多种重建丢失音频数据的方法被提出，先将音频数据由时域(time domain)转换到频域(frequency domain)，并以正弦波模型(sinusoidal model)来表示声音，利用丢失封包前后的完好封包正弦波来内插运算出丢失封包的正弦波频率(frequency)，振幅(amplitude)与相位(phase)，最后再做频域到时域转换得到重建的音频数据。


技术实现要素：

5.本发明所要解决的技术问题在于，针对现有技术的不足提供一种音频数据重建方法，包含以下步骤：由发送端将音频数据分成多个音频封包依序发送至接收端；利用接收端，对丢失或延迟送达音频封包的那一帧的前几帧的音频封包进行快速傅立叶变换运算，以将音频封包从时域转换到频域；利用接收端，依据丢失或延迟送达音频封包的那一帧的前一帧的音频封包计算阈值；利用接收端，比对丢失或延迟送达音频封包的那一帧之前的每一帧的每一频率片段的振幅与阈值，以进行筛选；利用接收端，对筛选出的振幅大于阈值的每一频率片段的振幅和相位进行线性预测，以外推丢失或延迟送达的音频封包；以及利用接收端，以外推出的频率片段进行快速傅立叶反转换运算，以将经由外推所取得的音频封包，从频域转换回时域。
6.在一实施方案中，所述音频数据重建方法还包含以下步骤：利用接收端，计算外推的音频封包的振幅和相位；利用接收端，在外推的音频封包中，振幅不大于阈值的频率片段的实部和虚部，填入噪声；以及利用接收端，进行快速傅立叶反转换运算，以将经由外推和填入噪声后所取得的音频封包，从频域转换回时域。
7.在一实施方案中，所述音频数据重建方法还包含以下步骤：利用接收端，计算筛选出进行快速傅立叶变换运算后的前一帧的每一频率片段的振幅；利用接收端加总前一帧的所有频率片段的振幅，以取得总振幅；以及利用接收端，基于总振幅计算出阈值。
8.在一实施方案中，所述音频数据重建方法还包含以下步骤：利用接收端将总振幅
除以信杂比，以取得阈值。
9.另外，本发明提供一种音频数据重建系统，包含发送端以及接收端。发送端配置以将一音频数据分成多个音频封包，并依序发送多个音频封包。接收端包含音频接收模块、音频转换模块、音频筛选模块以及外推运算模块。音频接收模块连接发送端，配置以依序接收发送端发送的多个音频封包。音频转换模块连接音频接收模块，配置以对丢失或延迟送达音频封包的那一帧的前几帧的音频封包进行快速傅立叶变换运算，以将音频封包从时域转换到频域。音频筛选模块连接音频转换模块。音频筛选模块配置以在经由快速傅立叶变换运算后，依据丢失或延迟送达音频封包的那一帧的前一帧的音频封包计算一阈值。音频筛选模块配置以比对丢失或延迟送达音频封包的那一帧之前的每一帧的每一频率片段的振幅与阈值，以进行筛选。外推运算模块连接音频筛选模块以及音频转换模块。外推运算模块对筛选出进行快速傅立叶变换运算的所有振幅进行线性预测，以外推丢失或延迟送达的音频封包。音频转换模块以外推出的频率片段进行快速傅立叶反转换运算，以将经由外推所取得的音频封包，从频域转换回时域。
10.在一实施方案中，接收端还包含相位计算模块，连接音频筛选模块。相位计算模块配置以计算外推的音频封包的振幅和相位。
11.在一实施方案中，接收端还包含噪声填充模块，连接相位计算模块、外推运算模块以及音频转换模块。噪声填充模块配置以在外推的音频封包中，振幅不大于阈值的频率片段的实部和虚部填入噪声。音频转换模块进行快速傅立叶反转换运算，以将经由外推和填入噪声后取得的音频封包，从频域转换回时域。
12.在一实施方案中，音频筛选模块配置以计算筛选出进行快速傅立叶变换运算后的前一帧的每一频率片段的振幅，加总前一帧的所有频率片段的振幅，以取得总振幅，并基于总振幅，计算出阈值。
13.在一实施方案中，音频筛选模块配置以将总振幅除以信杂比，以取得阈值。
14.如上所述，本发明提供一种音频数据重建方法及系统，其重建丢失或迟到的音波，主要优点如下：
15.1.只在接收端进行运算，发送端无需特别编码或运算；
16.2.使用单纯的pcm数据进行运算，跟音频数据的压缩方法无关；
17.3.运算简单，运算量低，适合低功耗低运算能力装置；
18.4.无需丢失或迟到的封包后的完好封包，只需要丢失或迟到的封包前的完好封包即可进行运算，适用于低延迟播放装置。
19.为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与图式，然而所提供的图式仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
20.图1为本发明第一实施例的音频数据重建方法的步骤流程图。
21.图2为本发明第二实施例的音频数据重建方法的步骤流程图。
22.图3为本发明第二实施例的依据丢失或延迟送达音频封包的那一帧的前一帧计算阈值的示意图。
23.图4为本发明第二实施例的丢失或延迟送达音频封包的那一帧的前一帧执行完快
速傅立叶变换运算后的频谱图。
24.图5为本发明第二实施例的重建的帧的频谱图。
25.图6为本发明第三实施例的音频数据重建系统的方块图。
26.图7为手机发送音源数据至采用第三实施例的音频数据重建系统的耳机的使用示意图。
27.图8为出现断音的波形图。
28.图9为音频数据透过本发明实施例的音频数据重建系统及方法重建丢失或迟到的音波后的波形图。
具体实施方式
29.以下是通过特定的具体实施例来说明本发明的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。另外，本文中所使用的术语“或”，应视实际情况可能包含相关联的列出项目中的任一个或者多个的组合。
30.[第一实施例]
[0031]
请参阅图1，其为本发明第一实施例的音频数据重建方法的步骤流程图。本实施例的音频数据重建方法可包含如图1所示的步骤s101～s107，具体说明如下。
[0032]
在步骤s101，由发送端将音频数据分成多个音频封包依序发送至接收端。在发送端依序发送多个音频封包至接收端的传输过程中，可能会丢失或延迟送达音频封包。在发生此情况时，利用接收端对丢失或延迟送达音频封包的那一帧或称为信框(frame)的前几帧的音频封包进行快速傅立叶变换(fast fourier transform,fft)运算，以将音频封包从时域转换到频域。
[0033]
在步骤s103，利用接收端依据丢失或延迟送达音频封包的那一帧的前一帧的音频封包计算阈值，比对丢失或延迟送达音频封包的那一帧之前的(多个帧)的每一帧的多个频率片段中的每一频率片段(fft bin)的振幅与阈值，以筛选出高于阈值的振幅，即筛选出高能量的频片。
[0034]
在步骤s105，利用接收端对筛选出的所有频率片段的振幅进行线性预测，以外推丢失或延迟送达的音频封包。
[0035]
在步骤s107，利用接收端进行快速傅立叶反转换运算，以将经由外推所取得的音频封包，从频域转换回时域，以取得脉冲编码调变(pulse code modulation,pcm)音频封包。
[0036]
[第二实施例]
[0037]
请参阅图2～图5，其中图2为本发明第二实施例的音频数据重建方法的步骤流程图；图3为本发明第二实施例的依据丢失或延迟送达音频封包的那一帧的前一帧计算阈值的示意图；图4为本发明第二实施例的丢失或延迟送达音频封包的那一帧的前一帧执行完快速傅立叶变换运算后的频谱图；图5为本发明第二实施例的重建的帧的频谱图。
[0038]
在发送端依序发送多个帧分别的多个音频封包至接收端的过程中，可能受到环境因素或网络壅塞等干扰，造成部分音频封包例如最后一帧的音频封包丢失或延迟送达至接收端，导致接收端未接收到最后一帧的音频封包(即丢失音频封包)，或未在一预定时间内接收到最后一帧的音频封包(即延迟送达音频封包)。其结果为，接收端在依序接收并播放多个帧后，发生断音，例如图3所示，接收端在依序接收并播放多个帧fr1～fr7后，出现断音区gap。为了解决断音的问题，本实施例的音频数据重建方法可包含如图2所示的步骤s201～s211，具体说明如下。
[0039]
在步骤s201，在发送端依序发送多个音频封包至接收端的传输过程中，利用接收端对丢失或延迟送达音频封包的那一帧的前几帧(例如图3所示的帧fr7)的音频封包进行快速傅立叶变换(fast fourier transform,fft)运算，以将音频封包从时域转换到频域，如图4所示为丢失或延迟送达音频封包的那一帧的前一帧执行完快速傅立叶变换运算后的频谱波形wave1。
[0040]
在步骤s203，利用接收端依据丢失或延迟送达音频封包的那一帧(例如图3所示的断音区gap)的前一帧(例如图3所示的帧fr7)的音频封包计算阈值。接着，利用接收端比对丢失或延迟送达音频封包的那一帧之前的多个帧的每一帧(例如图3所示的每个帧fr1～fr7)的每一频率片段的振幅与阈值(例如图4所示的阈值th例如噪声比)，以筛选出高于阈值的频率振幅，例如筛选出图4所示的所有高于阈值th的频率振幅，超过阈值th的频率片段才需要做振幅线性预测和相位计算。
[0041]
在步骤s205，利用接收端对筛选出的所有的振幅进行线性预测，以外推丢失或延迟送达的音频封包，如图5所示为重建的帧的频谱波形wave2。
[0042]
详言之，利用接收端计算筛选出进行快速傅立叶变换运算的前一帧(例如图3所示在断音区gap前的帧fr7)的每一频率片段的振幅，以下列方程式表示：
[0043][0044]
其中magnitude代表频率的振幅，real代表频率的实部，image代表频率的虚部。
[0045]
接着，利用接收端加总前一帧的所有频率片段的振幅，以取得总振幅。利用接收端基于总振幅，计算出阈值，以下列方程式表示：tm＝m1 m2 m3
…
mn，其中tm代表总振幅，m1～mn代表多个频率片段的振幅，n代表用于计算阈值的频率振幅的数量，n＝fftsize/2，其中fftsize代表可进行快速傅立叶变换运算的频率振幅的数量。
[0046]
举例而言，利用接收端将总振幅除以信杂比，以取得阈值，以下列方程式表示：
[0047][0048]
其中s代表阈值，tm代表总振幅，l代表信杂比，此信杂比可为任意适当值，例如1000。在利用接收端筛选出高能量的频率片段后，剩余筛掉的低能量噪声视为噪声，不作为后续步骤中外推丢失或延迟送达的音频封包的依据。
[0049]
在步骤s207，利用接收端计算外推的音频封包的相位，例如以下列方程式计算取得：
[0050][0051]
其中phase代表相位，image代表频率片段的虚部，real代表频率片段的实部。
[0052]
举例而言，利用接收端计算外推的帧(即丢失音频封包的那一帧，第n 1帧)的前一帧(第n帧)的相位，并计算前一帧(第n帧)的相位与更前一帧(第n-1帧)的相位之间的相位差，最后加总计算出的相位差与前一帧(第n帧)的相位，以取得外推的帧的相位，以下列方程式表示：
[0053]
phase[n 1]＝phase[n] (phase[n]-phase[n-1])；
[0054]
其中phase[n 1]代表外推的帧的相位，表示外推的帧的音频封包在发送端发送的多个音频封包中排列第n 1个传输，n可为大于1的任意适当整数值，而phase[n]代表外推的帧的前一帧的相位，phase[n-1]代表外推的帧的前一帧的更前一帧的相位。
[0055]
音频封包的音波的频率片段的实部与虚部可依下列方程式表示：
[0056]
real＝magnitude
×
cos(phase)
[0057]
image＝magnitude
×
sin(phase)
[0058]
其中real代表频率片段的实部，image代表频率片段的虚部，magnitude代表频率片段的振幅，phase代表频率片段的相位。
[0059]
在步骤s209，在外推的帧的音频封包的音波中，振幅不大于阈值的频率片段的实部和虚部，填入噪声。详言之，在外推的帧的音波中，不大于阈值的频率片段的实部和虚部填入小于阈值的噪声值。
[0060]
在步骤s211，利用接收端进行快速傅立叶反转换运算，以将经由外推所取得的音频封包，从频域转换回时域，以取得pcm音频封包。
[0061]
应理解，本发明不受限于本文实施例的举例，可依据实际需求，适当调整本文实施例的方法的步骤执行顺序和内容，或增减步骤的程序，若有需要，可适当重复执行本文实施例举例的一或多个步骤。
[0062]
[第三实施例]
[0063]
请参阅图6和图7，其中图6为本发明第三实施例的音频数据重建系统的方块图，而图7为手机发送音源数据至采用第三实施例的音频数据重建系统的耳机的使用示意图。
[0064]
本实施例的音频数据重建系统可包含如图6所示的发送端tx以及接收端rx。其中，接收端rx可包含音频接收模块10、音频转换模块20、音频筛选模块30以及外推运算模块40，可用以执行上述步骤s101～s109、s201～s205、s211。举例而言，如图7所示，发送端tx可为手机，而接收端rx可为耳机，在此仅举例说明，本发明不以此为限。
[0065]
音频接收模块10连接发送端tx以及音频接收模块10。发送端tx将音频数据au切割成多个音频封包后，向接收端rx发送多个音频封包。接收端rx的音频接收模块10经由有线或无线方式(例如但不限于采用蓝牙无线传输技术)依序接收发送端tx发送的音频封包。
[0066]
在发送端tx持续向接收端rx的音频接收模块10依序发送多个音频封包的过程中，音频转换模块20判断有音频封包丢失或延迟送达时，对丢失或延迟送达音频封包的那一帧的前几帧的音频封包进行快速傅立叶变换运算，以将音频封包从时域转换到频域。
[0067]
音频筛选模块30连接音频转换模块20。在进行快速傅立叶变换运算后，音频筛选模块30依据丢失或延迟送达音频封包的那一帧的前一帧的音频封包的系数或参数计算阈值。音频筛选模块30接着比对丢失或延迟送达音频封包的那一帧之前的每一帧的每一频率片段的振幅与阈值，以进行筛选。
[0068]
外推运算模块40连接音频筛选模块30以及音频转换模块20，配置以对筛选出的频
率片段的振幅进行线性预测，以外推丢失或延迟送达的音频封包。最后，音频转换模块20进行快速傅立叶反转换运算，以将经由外推所取得的音频封包，从频域转换回时域。
[0069]
若有需要，接收端rx可还包含相位计算模块50以及噪声填充模块60，可分别用以执行上述步骤s207、s209。相位计算模块50连接音频筛选模块30。噪声填充模块60连接相位计算模块50、外推运算模块40以及音频转换模块20。
[0070]
在外推运算模块40外推丢失或延迟送达的音频封包后，相位计算模块50计算外推丢失或延迟送达的音频封包的频率片段的相位。接着，噪声填充模块60在外推出的音频封包中，振幅不大于阈值的频率片段的实部和虚部填入噪声。
[0071]
最后，音频转换模块20进行快速傅立叶反转换运算，以将经由外推和填入噪声后取得的音频封包，从频域转换回时域。在接收端rx的音频播放模块(未图标)播放准时到达的音频封包之后，可接着播放此外推并加入噪声的音频封包(取代丢失或延迟的音频封包)。
[0072]
请参阅图8和图9，其中图8为出现断音的波形图；图9为音频数据透过本发明实施例的音频数据重建系统及方法重建丢失或迟到的音波后的波形图。
[0073]
在发送端向接收端依序发送多个音频封包的过程中，接收端接收到如图8所示的一音频封包的音波w1后，受到环境干扰或其他因素导致接续的下一音频封包丢失或迟到，并且缓冲区即将耗尽。在此情况下，必须启动音频数据重建运算，进行音频补偿，以避免接收端在播放到音波w1后出现断音，如图8所示的断音区gdp。
[0074]
因此，采用本发明上述实施例的音频数据重建系统及方法。接收端rx在接收到音波w1后，未接着接收到下一音波时，可依序执行上述步骤s201～s213，以依据音波w1外推如图9所示的音波w2，重建在音波w1后。如此，接收端rx在播放音波w1后，可接着播放重建的音波w2，接着播放接收到的音波w3，以避免在播放过程中出现断音。
[0075]
举例来说，接收端rx在预定时间内从发送端tx接收到的如图8所示的完整音波w1可包含如图3所示的帧fr1～fr7的音波，而如图8所示的断音区gdp可对应如图3所示的断音区gap。
[0076]
[实施例的有益效果]
[0077]
本发明的其中一有益效果在于，本发明所提供的音频数据重建方法及其系统，其重建丢失或迟到的音波，主要优点如下：
[0078]
1.只在接收端进行运算，发送端无需特别编码或运算；
[0079]
2.使用单纯的pcm数据进行运算，跟音频数据的压缩方法无关；
[0080]
3.运算简单，运算量低，适合低功耗低运算能力装置；
[0081]
4.无需丢失或迟到的封包后的完好封包，只需要丢失或迟到的封包前的完好封包即可进行运算，适用于低延迟播放装置。
[0082]
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求书，所以凡是运用本发明说明书及图式内容所做的等效技术变化，均包含于本发明的权利要求书内。