一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

一种音频处理方法、通信装置、芯片及其模组设备与流程

2021-06-04 13:43:00 来源:中国专利 TAG:模组 音频处理 装置 芯片 多媒体


1.本申请涉及多媒体技术领域,尤其涉及一种音频处理方法、通信装置、芯片及其模组设备。


背景技术:

2.录音在语音通话、声音采集等场合被广泛应用。但在不同的场景下,例如:演唱会的现场或者窃窃私语的场景,对录音设备的要求也会有所不同。若为了满足演唱会场景的音频录制,小音量声音便会非常微弱、清晰度差;若为了满足窃窃私语场景的音频录制,大音量声音便会破音。


技术实现要素:

3.本申请公开了一种音频处理方法、通信装置、芯片及其模组设备,有利于实现高保真录音。
4.第一方面,本申请提供了一种音频处理方法,应用于终端设备,该方法包括:通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
5.在一种实现方式中,根据上述第一音频信号对应的第一权重确定上述第二音频信号对应的第二权重。
6.在一种实现方式中,根据上述第一音频信号中每帧音频信号的能量,确定上述第一音频信号对应的第一权重。
7.在一种实现方式中,获取上述第一音频信号中每帧音频信号的能量;音频信号为语音信号或噪声信号,语音信号为正常语音信号或破音语音信号;根据上述第一音频信号中每帧音频信号的能量,确定第一数值;该第一数值为第一时长与第二时长之间的比值,第一时长为上述第一音频信号中破音语音信号的时长之和,第二时长为上述第一音频信号中语音信号的时长之和;根据上述第一数值,确定上述第一音频信号对应的第一权重。
8.在一种实现方式中,根据上述第一数值,确定第二数值;根据上述第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音频信号对应的权重。
9.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,上述第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
10.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预
设值的语音信号。
11.第二方面,本申请提供了一种通信装置,该通信装置用于实现上述第一方面及其任一种可能的实现方式中的方法的单元。
12.第三方面,本申请提供了一种通信装置,该通信装置包括处理器,上述处理器用于执行第一方面及其任一种可能的实现方式中的方法。
13.第四方面,本申请提供了一种通信装置,该通信装置包括处理器和存储器,上述存储器用于存储计算机执行指令;上述处理器用于从上述存储器调用程序代码执行第一方面及其任一种可能的实现方式中的方法。
14.第五方面,本申请提供了一种芯片,该芯片,用于通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;该芯片,还用于获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;该芯片,还用于对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
15.第六方面,本申请提供了一种模组设备,该模组设备包括通信模组、电源模组、存储模组以及芯片模组,其中:该电源模组用于为该模组设备提供电能;该存储模组用于存储数据和指令;该通信模组用于进行模组设备内部通信,或者用于该模组设备与外部设备进行通信;该芯片模组用于:通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
附图说明
16.为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
17.图1为扬声器的结构示意图;
18.图2为本申请实施例提供的通过麦克风和扬声器采集音频信号的示意图;
19.图3为本申请实施例提供的一种音频处理方法的流程图;
20.图4为本申请实施例提供的一种音频处理方法的示意图;
21.图5为本申请实施例提供的一种通信装置的结构示意图;
22.图6为本申请实施例提供的另一种通信装置的结构示意图;
23.图7为本申请实施例提供的一种模组设备的结构示意图。
具体实施方式
24.为了便于理解,首先介绍本申请涉及的背景概念。
25.1、麦克风的工作方式
26.麦克风作为声电转换器件,其工作方式是将声信号转换成电信号。在使用麦克风
进行录音时,对于小音量声音的采集有一定的优势。但对于大音量声音的采集,麦克风对其的还原度不够好,容易破音,从而导致失真。
27.2、扬声器的工作方式
28.图1所示为扬声器的结构示意图。扬声器作为电声转换器件,常规的工作方式是将电信号转换成声信号,例如从图1所示的左向右进行工作。但反过来,当声波激励扬声器振膜,图1中左边线圈在磁场中作切割磁感应线运动,也会产生感应电流。换言之,扬声器也可以从图1所示的右向左进行工作,即将声信号转换成电信号。但与传统的麦克风工作时所产生的电流相比,该电流更微弱。不过,也存在一定的优点,因为扬声器振幅位移有限,因此该电流信号不会产生失真。
29.鉴于此,本申请实施例提供的一种音频处理方法,应用于终端设备,有利于实现高保真录音。需要说明的是,上述终端设备可以配置扬声器和麦克风。该终端设备可以是接入终端、ue(user equipment,用户设备)、用户单元、用户站、移动站、移动台、远方站、远程终端、移动终端、用户终端、无线通信设备、用户代理或用户装置。接入终端可以是物联网中的终端设备、车载设备、可穿戴设备、虚拟现实设备、蜂窝电话、无绳电话、sip(session initiation protocol,会话发起协议)电话、wll(wireless local loop,无线本地环路)站、pda(personal digital assistant,个人数字处理)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、未来5g(the 5th generation,第五代移动通信技术)网络中的终端设备、未来演进的公共陆地移动网络(public land mobile network,plmn)中的终端设备或者nb

iot(narrow band internet of things,窄带物联网)终端设备等。移动终端可以是智能手机、平板电脑、pc(personal computer,个人计算机)、智能电视、智能手表等。
30.请参阅图2,图2为本申请实施例提供的通过麦克风和扬声器采集音频信号的示意图。由图2可以看出,声音信号从右侧的扬声器201和麦克风202输入,经过编解码器203,存储在预处理缓存204中。需要说明的是,上述编解码器负责模拟信号和数字信号之间的转换。该编解码器的上行通路分别连接麦克风和扬声器输入的两路信号,两路信号分别通过编解码器中的两个模数转换器,将模拟信号转换为数字信号,最后存储在预处理缓存中,以供后续使用。还需要说明的是,在录音场景时,扬声器的上行接收通路是下电,没有信号输入,所以不会对录音产生干扰。
31.在通过上述终端设备进行音频录制时,可以同时使用扬声器和麦克风,对某一场景下的声音进行采集,有利于同时获取到麦克风录制的优质的小音量声音,以及扬声器录制的优质的大音量声音。
32.请参阅图3,图3为本申请实施例提供的一种音频处理方法的流程图。该音频处理方法可以由上述配置了扬声器和麦克风的终端设备实现,或者可以由上述终端设备中的芯片实现。如图3所示,该音频处理方法包括但不限于如下步骤s301~步骤s303。
33.步骤s301,通过终端设备上配置的麦克风采集第一音频信号,并通过终端设备上配置的扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号。
34.需要说明的是,终端设备配置的麦克风和扬声器是在同一时间且在同一场景下对同一声音信号进行采集的,但是由于麦克风和扬声器内部结构的不同,会导致采集到的声
音信号也有所不同。因此,上述采集到的声音信号,分为两个通路接入终端设备。麦克风端采集到的声音信号为第一音频信号,扬声器端采集到的声音信号为第二音频信号。
35.还需要说明的是,上述第一音频信号和上述第二音频信号均包括n帧音频信号,其中,n为正整数。通常,麦克风通路原始信号的每帧长度可以为20ms,扬声器通路原始信号的每帧长度也可以为20ms;而预处理缓存可以存储的信号长度为2000ms,即预处理缓存可以存储100帧的数据。可选的,预处理缓存可以存储的信号长度为可调节参数,例如,可将预处理缓存可以存储的信号长度调整为4000ms,此时,预处理缓存可以存储200帧的数据。本申请实施例中以预处理缓存可以存储100帧数据(即n=100)为例进行说明,在此仅用于举例,并不对本申请其他实施例造成限制。
36.由于通常录音所采集到的音频信号的长度,会大于上述100帧数据的长度,即大于2s。因此,将预处理缓存可以存储的信号长度的值设置为100帧,就意味着需要将采集到的音频信号分为多个100帧数据来进行处理。由于,音频信号在不同的时段可能会有所变化,例如,在t1时间段内整体的声音偏大,而在t2时间段内整体的声音偏小。所以,本申请实施例选择将预处理缓存可以存储的信号长度的值设置为100帧,可以有利于处理后的音频信号能更好的衔接,有利于避免出现处理后的声音忽大忽小,或者不连续的情况。
37.步骤s302,终端设备获取第一音频信号对应的第一权重,以及获取第二音频信号对应的第二权重。
38.在一种实现方式中,上述获取第一音频信号对应的第一权重,包括:根据第一音频信号中每帧音频信号的能量,确定第一音频信号对应的第一权重。
39.具体的,上述根据第一音频信号中每帧音频信号的能量,确定第一音频对应的第一权重可以包括但不限于如下三个步骤。
40.第一步,终端设备获取第一音频信号中每帧音频信号的能量。
41.具体的,首先,终端设备将对预处理缓存中麦克风端采集到的音频信号进行维纳滤波处理,从而得到频域各个子带和时域各个信号帧的增益值;其次,终端设备将分别对频域中各个子带以及时域中各个信号帧,进行语音活动检测(voice activity detection,vad)能量估计。
42.其中,频域中的各个子带可以根据实际情况或者用户需要,来调整上述子带的个数以及各子带的带宽。比如,以录音文件采样率为48khz为例,在频域上可以将其分为如下多个子带:0~500hz,500hz~1250hz,1250hz~2250hz,2250hz~3500hz,3500hz~5khz,5khz~10khz,10khz~20khz,20khz~48khz。需要说明的是,上述拆分方法仅用于举例,不对本申请造成限制。
43.具体的,在本申请实施例中,可以根据上述计算方式所得到的音频信号的能量数据,将音频信号分为语音信号或者噪声信号,又可以进一步将语音信号分为正常语音信号或破音语音信号。可选的,还可以根据音频信号不同参数的能量值的大小,来对上述音频信号的其他类别进行区分,本申请对此不做限制。
44.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,该第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
45.通过前述vad能量估计所获取的每帧音频信号的能量值,对各个信号帧进行判断。
具体的,假设每帧音频信号在频域的子带数量为m个,其中,m为正整数。语音信号可以为第一子带的数量大于m/2的音频信号,噪声信号可以为第一子带数量小于m/2的音频信号;上述第一子带为能量值大于第一预设值的子带。其中,该第一预设值为可调节参数,可以根据用户的需要有针对性地进行调节。换言之,在对各个信号帧进行判断时,若该帧音频信号在频域中有大于一半数量的子带能量值大于第一预设值,则判定该帧音频信号为语音信号;若该帧音频信号在频域中有大于一半数量的子带能量值小于第一预设值,则判定该帧音频信号为噪声信号。
46.具体的,语音信号还可以为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。其中,该第二预设值也为可调节参数,也可以根据用户的需要有针对性地进行调节。换言之,若该帧音频信号在频域中大于第一预设值和小于第一预设值的子带数量相等时,则对该帧信号的时域能量和进行判断;若时域能量和大于第二预设值,则判定该帧音频信号为语音信号;若时域能量和小于第二预设值,则判定该帧音频信号为噪声信号。
47.其中,该时域能量和为该帧音频信号在该时域的能量和,即该帧音频在20ms内的能量和。由前述内容可知,每帧音频信号的长度为20ms,但在计算该帧能量和时,可以同样以20ms为该时域的长度,也可以以其他数值为该时域的长度,例如:10ms或者5ms。需要说明的是,上述数值仅用于举例,不对本申请造成限制。在通过时域能量和区分语音信号与噪声信号时,若以更小的单位进行细分,可以将语音信号与噪声信号区分得更细致。
48.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量值与低频子带的能量值之间的比值大于第四预设值的语音信号。其中,上述第三预设值和第四预设值也为可调节参数,也可以根据用户的需要有针对性地进行调节。
49.具体的,破音语音信号可以为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预设值的语音信号;正常语音信号可以为时域能量和小于第三预设值,和/或高频子带的能量与低频子带的能量之间的比值小于第四预设值的语音信号。
50.需要说明的是,上述高频子带和低频子带的范围为终端设备中预先设置的范围,例如:同样以录音文件采样率为48khz为例,可以假设5khz~48khz为高频子带的范围,假设0hz~1250hz为低频子带的范围。上述数据仅用于举例,并不对本申请实施例造成限制。
51.还需要说明的是,在利用上述时域能量和,区分破音语音信号与正常语音信号时,与区分语音信号与噪声信号时同理,可以采用更小的单位进行时域的细分。通过上述细分的方式,可以将破音语音信号与正常语音信号区分得更细致。
52.第二步,终端设备根据第一音频信号中每帧音频信号的能量,确定第一数值。
53.其中,上述第一数值为第一时长与第二时长之间的比值;上述第一时长为第一音频信号中破音语音信号的时长之和,上述第二时长为第一音频信号中语音信号的时长之和。
54.具体的,由上述第一步可以得知语音信号为哪些帧,语音信号中的破音语音信号为哪些帧。因此,将所有为语音信号的帧的时长相加,即为上述第二时长;将所有为破音语音信号的帧的时长相加,即为上述第一时长。该第一时长与第二时长之间的比值,即为上述第一数值。假设第一数值为q,可以理解的是,q即为破音语音信号的时长占总语音信号的时
长的比值。
55.第三步,终端设备根据该第一数值,确定第一音频信号对应的第一权重。具体的,可以利用公式计算第一权重w1=1

q。
56.在一种实现方式中,终端设备可以根据第一数值和权重系数,确定第一音频信号对应的第一权重。其中,权重系数也为可调节参数,也可以根据用户的需要有针对性地进行调节。需要说明的是,上述权重系数可以根据不同情况对通过第一数值计算出来的权重值进一步强化或者弱化,从而使得到的第一权重更符合用户的需要。
57.具体的,假设权重系数为a,可以利用公式计算第一权重w1=a*(1

q)。其中,a为正数,当a小于1时,该权重系数可以弱化上述第一音频信号的效果;当a大于1时,该权重系数可以强化上述第一音频信号的效果。可以理解的是,权重系数a也可以为1,在权重系数为1的情况下,用于确定第一权重的公式可以变化为第一权重w1=1*(1

q),即为上述根据第一数值确定第一权重的情况。
58.在一种实现方式中,上述根据该第一数值,确定第一音频信号对应的第一权重,包括:根据上述第一数值,确定第二数值;根据该第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音频信号对应的权重。
59.需要说明的是,由前述内容可知,采集到的音频信号将被分为多个100帧数据进行处理,预处理缓存每次将会处理一个100帧的音频信号。由于,第一音频信号可以为麦克风端音频信号中的任意一个100帧的音频信号,所以,第一音频信号之前可以存在另一个100帧的音频信号,同理,第一音频信号之后也可以存在又一个100帧的音频信号。
60.还需要说明的是,第一音频信号与第一音频信号之前的音频信号连续,同样,第一音频信号与第一音频信号之后的音频信号也连续。换言之,第一音频信号的第一帧音频信号,与第一音频信号之前的音频信号的最后一帧音频信号,为连续的音频信号。同理,第一音频信号的最后一帧音频信号,与第一音频信号之后的音频信号的第一帧音频信号,也为连续的音频信号。
61.由前述内容可知,预处理缓存每处理一个100帧的音频信号,将得到一个权重值。因此,第一音频信号之前的另一个100帧的音频信号也存在一个权重值,即上述第三权重。
62.需要说明的是,由于每个100帧的音频信号可以存在不同的特点,例如,上述第一音频信号的整体音量可能偏大,而上述第一音频信号的前一个音频信号的整体音量可能偏小。所以,上述第一音频信号对应的第一权重与上述第一音频信号的前一个音频信号对应的第三权重之间,可能存在很大的差异。
63.因此,为了避免前后两组音频信号分别经过上述音频处理方法处理之后会发生突变,可以对前后两组音频信号的两个权重值进行平衡。由前述内容可知,第一音频信号的前一个音频信号对应的权重为第三权重。而第一音频信号对应的权重可以通过上述第一数值来确定,即为上述第二数值。将上述第三权重与第二数值进行平衡,可以得到平衡后的第一权重。可选的,可以对上述第三权重和第二数值采取取平均值的处理方法,即将第三权重的值与第二数值相加再取平均值,从而得到平衡后的第一权重。
64.需要说明的是,若第一音频信号为第一个100帧音频信号,则该第一音频信号之前没有其他音频信号;此时,可以假设麦克风端的默认权重为1,扬声器端的默认权重为0,可以由上述默认权重与第一权重进行平衡。可选的,上述默认权重可以根据用户需要进行调
整,本申请对此不作限制。
65.在一种实现方式中,终端设备可以根据上述第二数值、第三权重以及平滑系数,确定第一权重。其中,平滑系数也为可调节参数,也可以根据用户的需要有针对性地进行调节。需要说明的是,假设平滑系数为b,可以利用公式计算得到经过平滑处理后的第一权重w1=b*第二数值 (1

b)*第三权重;其中,b的取值范围可以为0<b≤1;其中该第二数值可以理解为通过前述方法计算得到的第一权重。当b为1/2时,即为上述取平均值的情况;当b为1时,即为不需要进行平滑的情况。
66.通过上述第二数值、第三权重以及平滑系数的平衡,可以保证处理后的音频信号能更好地衔接,不会出现声音忽大忽小、或者发生突变的情况。
67.在一种实现方式中,上述获取第二音频信号对应的第二权重,包括:根据第一音频信号对应的第一权重确定第二音频信号对应的第二权重。
68.需要说明的是,本申请实施例通过计算麦克风端音频信号的能量,得到了麦克风端第一音频信号对应的第一权重;而扬声器端第二音频对应的第二权重是根据第一权重计算得出的。具体的,上述根据第一权重确定第二权重,可以利用公式计算得到第二权重w2=1

w1。
69.还需要说明的是,在某些场景下可以通过对扬声器端音频信号的能量计算,先获取扬声器端音频信号的权重,再通过该扬声器端的权重得到麦克风端音频信号的权重,本申请对此不作限制。
70.步骤s303,终端设备对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,第四音频信号由第二权重和第二音频信号确定。
71.将第三音频信号与第四音频信号进行混音处理之后,所得到的音频信号即为目标音频信号。换言之,该目标音频信号融合了处理之后的麦克风端的音频信号和处理之后的扬声器端的音频信号。由此,通过对上述两个通路处理后的音频信号进行混音,可以将两路信号的优势得到更充分的发挥,从而使目标音频信号实现高保真。
72.在一种实现方式中,第三音频信号和第四音频信号可以先分别进行相关的后续处理,再进行混音处理。其中,麦克风端的后续处理可以包括但不限于通过低切滤波器(也可以称为“高通滤波器”)(lcf,low cut filter)进行滤波处理、进行数字增益(dg,digital gain)处理和通过自动电平控制器(alc,automatic level controller)进行音频压缩处理,扬声器端的后续处理可以包含但不限于进行数字增益(dg,digital gain)处理和通过均衡器(eq,equalization)进行均衡处理。
73.请参见图4,图4为本申请实施例提供的一种音频处理方法的示意图。由图4可以看出,上述第一音频信号和第二音频信号通过权重计算后,分别确定了第一权重和第二权重;由第一音频信号和第一权重可以确定得到第三音频信号,由第二音频信号和第二权重可以确定得到第四音频信号;第三音频信号和第四音频信号分别通过上述后续处理后,混音得到目标音频信号。通过本申请实施例提供的音频处理方法,有利于实现高保真录音。
74.需要说明的是,本申请实施例中所提供的后续处理类别仅用于举例,在处理不同的音频信号时,可以存在其他不同类别的后续处理方式,本申请对此不作限制。
75.请参阅图5,图5为本申请实施例提供的一种通信装置的结构示意图。该装置可以
是终端设备,也可以是终端设备中的装置,或者是能够和终端设备匹配使用的装置。图5所示的通信装置可以包括处理单元501和获取单元502。其中,处理单元501,用于进行数据处理。获取单元502,用于获取数据。其中:
76.获取单元502,用于通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;
77.获取单元502,还用于获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;
78.该处理单元501,用于对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
79.在一种实现方式中,上述处理单元501还用于,根据上述第一音频信号对应的第一权重确定上述第二音频信号对应的第二权重。
80.在一种实现方式中,上述处理单元501还用于,根据上述第一音频信号中每帧音频信号的能量,确定上述第一音频信号对应的第一权重。
81.在一种实现方式中,上述获取单元502还用于,获取上述第一音频信号中每帧音频信号的能量;音频信号为语音信号或噪声信号,语音信号为正常语音信号或破音语音信号;上述处理单元501还用于,根据上述第一音频信号中每帧音频信号的能量,确定第一数值;该第一数值为第一时长与第二时长之间的比值,第一时长为上述第一音频信号中破音语音信号的时长之和,第二时长为上述第一音频信号中语音信号的时长之和;上述处理单元501还用于,根据上述第一数值,确定上述第一音频信号对应的第一权重。
82.在一种实现方式中,上述处理单元501还用于,根据上述第一数值,确定第二数值;上述处理单元501还用于,根据上述第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音频信号对应的权重。
83.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,上述第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
84.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预设值的语音信号。
85.根据本申请的实施例,图5所示的通信装置中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成,这可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述单元是基于逻辑功能划分的,在实际应用中,一个单元的功能也可以由多个单元来实现,或者多个单元的功能由一个单元实现。在本申请的其他实施例中,网络接入装置也可以包括其他单元,在实际应用中,这些功能也可以由其他单元协助实现,并且可以由多个单元协作实现。
86.上述通信装置例如可以是:芯片、或者芯片模组。关于上述实施例中描述的各个装置、产品包含的各个模块,其可以是软件模块,也可以是硬件模块,或者也可以部分是软件模块,部分是硬件模块。例如,对于应用于或集成于芯片的各个装置、产品,其包含的各个模
块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现;对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现;对于应用于或集成于终端的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于终端内同一组件(例如,芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于终端内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
87.本申请实施例和前述方法的实施例基于同一构思,其带来的技术效果也相同,具体原理请参照前述实施例的描述,在此不赘述。
88.请参阅图6,图6为本申请实施例提供的一种通信装置60。如图6所示,该通信装置可以包括处理器601。可选的,该通信装置还可以包括存储器602。其中,处理器601和存储器602可以通过总线603或其他方式连接。总线在图6中以粗线表示,其它部件之间的连接方式,仅是进行示意性说明,并不引以为限。总线可以分为地址总线、数据总线、控制总线等。为便于表示,图6中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
89.本申请实施例中的耦合是装置、单元或模块之间的间接耦合或通信连接,可以是电性,机械或其它的形式,用于装置、单元或模块之间的信息交互。本申请实施例中不限定上述处理器601和存储器602之间的具体连接介质。
90.存储器602可以包括只读存储器和随机存取存储器,并向处理器601提供指令和数据。存储器602的一部分还可以包括非易失性随机存取存储器。
91.处理器601可以是中央处理单元(central processing unit,cpu),该处理器601还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field

programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器,可选的,该处理器601也可以是任何常规的处理器等。其中:
92.存储器602,用于存储程序指令。
93.处理器601,用于调用存储器602中存储的程序指令,以用于:
94.通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;
95.获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;
96.对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
97.在一种实现方式中,处理器601用于根据上述第一音频信号对应的第一权重确定上述第二音频信号对应的第二权重。
98.在一种实现方式中,处理器601用于根据上述第一音频信号中每帧音频信号的能量,确定上述第一音频信号对应的第一权重。
99.在一种实现方式中,处理器601用于获取上述第一音频信号中每帧音频信号的能量;音频信号为语音信号或噪声信号,语音信号为正常语音信号或破音语音信号;处理器601用于根据上述第一音频信号中每帧音频信号的能量,确定第一数值;该第一数值为第一时长与第二时长之间的比值,第一时长为上述第一音频信号中破音语音信号的时长之和,第二时长为上述第一音频信号中语音信号的时长之和;处理器601用于根据上述第一数值,确定上述第一音频信号对应的第一权重。
100.在一种实现方式中,处理器601用于根据上述第一数值,确定第二数值;处理器601用于根据上述第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音频信号对应的权重。
101.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,上述第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
102.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预设值的语音信号。
103.在本申请实施例中,可以通过在包括中央处理单元(cpu)、随机存取存储介质(ram)、只读存储介质(rom)等处理元件和存储元件的例如计算机的通用计算装置上运行能够执行如图2、图3中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码),以及来实现本申请实施例的音频处理方法。计算机程序可以记载于例如计算机可读记录介质上,并通过计算机可读记录介质装载于上述计算装置中,并在其中运行。
104.基于同一发明构思,本申请实施例中提供的网络接入装置解决问题的原理与有益效果与本申请方法实施例中通信装置解决问题的原理和有益效果相似,可以参见方法的实施的原理和有益效果,为简洁描述,在这里不再赘述。
105.本申请实施例还提供一种芯片,该芯片可以执行前述方法实施例中终端设备的相关步骤。该芯片用于:通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
106.在一种实现方式中,根据上述第一音频信号对应的第一权重确定上述第二音频信号对应的第二权重。
107.在一种实现方式中,根据上述第一音频信号中每帧音频信号的能量,确定上述第一音频信号对应的第一权重。
108.在一种实现方式中,获取上述第一音频信号中每帧音频信号的能量;音频信号为语音信号或噪声信号,语音信号为正常语音信号或破音语音信号;根据上述第一音频信号中每帧音频信号的能量,确定第一数值;该第一数值为第一时长与第二时长之间的比值,第一时长为上述第一音频信号中破音语音信号的时长之和,第二时长为上述第一音频信号中
语音信号的时长之和;根据上述第一数值,确定上述第一音频信号对应的第一权重。
109.在一种实现方式中,根据上述第一数值,确定第二数值;根据上述第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音频信号对应的权重。
110.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,上述第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
111.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预设值的语音信号。
112.在一种可能的实现方式中,上述芯片包括至少一个处理器、至少一个第一存储器和至少一个第二存储器;其中,前述至少一个第一存储器和前述至少一个处理器通过线路互联,前述第一存储器中存储有指令;前述至少一个第二存储器和前述至少一个处理器通过线路互联,前述第二存储器中存储前述方法实施例中需要存储的数据。
113.对于应用于或集成于芯片的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
114.请参阅图7,图7为本申请实施例提供的一种模组设备的结构示意图。该模组设备70可以执行前述方法实施例中终端设备的相关步骤,该模组设备70包括:通信模组701、电源模组702、存储模组703以及芯片模组704。
115.其中,上述电源模组702用于为模组设备提供电能;上述存储模组703用于存储数据和指令;上述通信模组701用于进行模组设备内部通信,或者用于模组设备与外部设备进行通信;上述芯片模组704用于:
116.通过麦克风采集第一音频信号,并通过扬声器采集第二音频信号;上述第一音频信号和上述第二音频信号均包括n帧音频信号;获取上述第一音频信号对应的第一权重,以及获取上述第二音频信号对应的第二权重;对第三音频信号和第四音频信号进行混音处理,得到目标音频信号;其中,上述第三音频信号由第一权重和第一音频信号确定,上述第四音频信号由第二权重和第二音频信号确定。
117.在一种实现方式中,根据上述第一音频信号对应的第一权重确定上述第二音频信号对应的第二权重。
118.在一种实现方式中,根据上述第一音频信号中每帧音频信号的能量,确定上述第一音频信号对应的第一权重。
119.在一种实现方式中,获取上述第一音频信号中每帧音频信号的能量;音频信号为语音信号或噪声信号,语音信号为正常语音信号或破音语音信号;根据上述第一音频信号中每帧音频信号的能量,确定第一数值;该第一数值为第一时长与第二时长之间的比值,第一时长为上述第一音频信号中破音语音信号的时长之和,第二时长为上述第一音频信号中语音信号的时长之和;根据上述第一数值,确定上述第一音频信号对应的第一权重。
120.在一种实现方式中,根据上述第一数值,确定第二数值;根据上述第二数值以及第三权重,确定第一权重;其中,上述第三权重为通过麦克风采集的第一音频信号的前一个音
频信号对应的权重。
121.在一种实现方式中,音频信号在频域包括的子带数量为m个子带;语音信号为第一子带的数量大于m/2的音频信号,上述第一子带为能量值大于第一预设值的子带;或者,语音信号为第一子带的数量等于m/2且时域能量和大于第二预设值的音频信号。
122.在一种实现方式中,音频信号在频域包括高频子带和低频子带;破音语音信号为时域能量和大于第三预设值,且高频子带的能量与低频子带的能量之间的比值大于第四预设值的语音信号。
123.对于应用于或集成于芯片模组的各个装置、产品,其包含的各个模块可以都采用电路等硬件的方式实现,不同的模块可以位于芯片模组的同一组件(例如芯片、电路模块等)或者不同组件中,或者,至少部分模块可以采用软件程序的方式实现,该软件程序运行于芯片模组内部集成的处理器,剩余的(如果有)部分模块可以采用电路等硬件方式实现。
124.本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有一条或多条指令,一条或多条指令适于由处理器加载并执行上述方法实施例的网络接入方法。
125.本申请实施例还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述方法实施例的网络接入方法。
126.需要说明的是,对于前述的各个方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某一些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。
127.本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
128.本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。
129.本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,可读存储介质可以包括:闪存盘、只读存储器(read

only memory,rom)、随机存取器(random access memory,ram)、磁盘或光盘等。
130.以上所揭露的仅为本申请一种较佳实施例而已,仅仅是本发明一部分实施例,当然不能以此来限定本申请之权利范围。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文章

  • 日榜
  • 周榜
  • 月榜