异常回声延时识别方法、装置、终端及存储介质与流程

1.本技术实施例涉及通话技术领域，特别涉及一种异常回声延时识别方法、装置、终端及存储介质。


背景技术：

2.在通过音频终端设备进行语音通话过程中，扬声器播放出来的声音，特别是免提模式通过扬声器外放的声音比较大，容易被麦克风采集到；使得扬声器播放的声音经过麦克风采集之后又反馈至远端，则远端说话的人会听到自己的声音，形成回声并严重影响语音通话质量。
3.相关技术中，音频终端设备都会部署有软件或硬件的回声消除模块对麦克风采集到的回声进行消除。回声消除过程一般采用回波抵消方法，通过对比参考点信号和接收点信号，估计出从参考点信号到接收点信号之间的回声延时，并根据回声延时对参考点信号进行延时处理后，与接收点信号共同计算出传递函数，该传递函数用于预测回声副本，使得可以利用回声副本对接收点信号进行回声消除。
4.由上述回声消除过程可知，准确的回声延时估计是提高回声消除效果的前提条件。


技术实现要素：

5.本技术实施例提供了一种异常回声延时识别方法、装置、终端及存储介质。所述技术方案如下：
6.根据本技术的一方面，提供了一种异常回声延时识别方法，所述方法包括：
7.对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；
8.响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；
9.确定所述第二音频特征对应输出音频帧的回声延时；
10.响应于所述回声延时小于所述目标延时，确定存在异常回声延时。
11.根据本技术的另一方面，提供了一种异常回声延时识别装置，所述装置包括：
12.特征提取模块，用于对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；
13.第一确定模块，用于响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；
14.第二确定模块，用于确定所述第二音频特征对应输出音频帧的回声延时；
15.第三确定模块，用于响应于所述回声延时小于所述目标延时，确定存在异常回声延时。
16.根据本技术的另一方面，提供了一种终端，所述终端包括处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如上方面所述的异常回声延时识别方法。
17.根据本技术的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一段程序，所述至少一段程序由处理器加载并执行以实现如上方面所述的异常回声延时识别方法。
18.根据本技术的另一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述可选实现方式中提供的异常回声延时识别方法。
19.本技术实施例提供的技术方案带来的有益效果至少包括：
20.本技术实施例中，针对回声消除过程中出现负延时的情况，会使得在接收点接收到输入音频帧后，需要等待一段时间才可以查找到与其匹配的输出音频帧的特点，提出了一种检测回声消除过程中负延时的方式，通过在获取到输入音频帧对应的第一音频特征，并延时目标延时后，再基于第一音频特征进行特征匹配，使得在负延时的情况下仍然可以估计出回声延时；而延时特征匹配使得计算出的回声延时为目标延时和传递延时之和，则可以基于回声延时与目标延时的关系，确定出传递延时的正负性，从而可以及时确定出是否存在异常回声延时(负延时)，避免回声消除模块在错误回声延时下继续进行回声消除工作，或避免由于无法计算出回声延时而导致无法进行回声消除的情况，从而可以提高回声消除的准确性。
附图说明
21.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
22.图1示出了相关技术中回声消除系统的结构示意图；
23.图2示出了本技术一个示例性实施例示出的回声消除系统的结构示意图；
24.图3示出了本技术一个示例性实施例提供的异常回声延时识别方法的流程图；
25.图4示出了本技术一个示例性实施例示出的确定回声延时的过程示意图；
26.图5示出了本技术另一个示例性实施例提供的异常回声延时识别方法的流程图；
27.图6示出了本技术一个示例性示出的延时估计过程与异常延时检测过程的工作示意图；
28.图7示出了本技术一个示例性实施例示出的音频特征的提取过程示意图；
29.图8示出了本技术一个示例性实施例示出的特征存储区实现延时功能的原理示意图；
30.图9示出了本技术一个示例性实施例示出的延时特征匹配的过程示意图；
31.图10示出了本技术一个示例性实施例示出的特征匹配过程示意图；
32.图11示出了本申另一个示例性实施例示出的延时估计过程和异常延时检测过程
示意图；
33.图12示出了本技术一个示例性实施例示出的延时估计过程中音频特征提取的过程示意图；
34.图13示出了本技术另一个示例性实施例提供的异常回声延时识别方法的流程图；
35.图14是本技术一个示例性实施例提供的异常回声延时识别装置的结构框图；
36.图15示出了本技术一个示例性实施例提供的终端的结构框图。
具体实施方式
37.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
38.在通过音频终端设备进行语音通话过程中，通过扬声器(喇叭)播放出来的声音，尤其是扬声器以外放模式播放出来的声音较大，播放出来的声音容易被音频终端设备的麦克风重新采集到，使得扬声器播放出的声音经过麦克风采集之后又会送至远端，远端的说话人就会听到自己的声音，进而形成回声并严重影响通话质量。因此，一般音频终端设备(通话设备)都会包含软件或硬件的回声消除系统，并通过该回声消除系统对麦克风采集到的声音进行回声消除。图1示出了相关技术中回声消除系统的结构示意图。在语音通话过程中，终端从远端接收到的音频信号在送到扬声器播放之前需要经过一个参考点，参考点处采集到的音频信号一般称为参考点信号，参考点信号经过软硬件播放逻辑送到扬声器播放，通过空气等介质传播进入麦克风，再经过软硬件采集逻辑到达接收点位置，从接收点获取得到的音频信号称为接收点信号。可见，当参考点信号到达接收点位置的过程中，需要经过软硬件播放延时(从参考点传输到扬声器经过的时间)、声学路径延时(从扬声器通过空气等传输介质达到麦克风经过的时间)以及软硬件采集延时(从麦克风经过软硬件采集逻辑到达接收点的时间)。
39.如图1所示，为了实现回声消除，在音频终端设备(通话设备)中设置有延时估计模块101、延时对齐模块102以及回声消除模块103。其中，延时估计模块101用于对比参考点信号和接收点信号，从而估计出从参考点信号到接收点信号之间的回声延时(tde)，并将该tde传递至延时对齐模块102；延时对齐模块102用于根据延时估计模块101估计得到的tde，将参考点信号延时tde得到延时后的参考点信号，并将延时后的参考点信号送到回声消除模块103，由回声消除模块103基于延时后的参考点信号与接收点信号，估计出回声路径的传递函数，进而当参考点信号接收到新的参考点信号后，即可以基于新参考点信号和传递函数，预测得到参考点信号对应回声的回声副本，通过在接收点信号减去该回声副本，从而消除接收点信号中的回声信号。
40.从图1的回声消除系统可以看出，延时估计模块101是否可以准确估计出回声延时tde，会影响回声消除的准确性，而延时估计过程中可能会受到操作系统对麦克风采集线程、扬声器播放线程调度，以及应用程序稳定性等原因的影响，从参考点到接收点的回声延时并非固定不变的，比如，当接收点读取接收点信号的线程卡顿时，会导致接收点提前获取到新采集到的接收点信号，而无法从存储参考点信号对应音频特征的特征存储区中找到匹配的音频特征，从而无法估计或无法准确计算出回声延时tde，出现负延时的情况，从而严重影响回声消除的效果，或者无法实现回声消除。
41.可见，在回声消除过程中，如何有效且及时的检测出回声消除系统是否存在异常回声延，可以避免回声消除系统采用错误延时进行回声消除，或无法进行回声消除的情况，进而可以及时采取有效手段来消除异常延时，是提高回声消除准确性的关键。基于上述问题，如图2所示，其示出了本技术一个示例性实施例示出的回声消除系统的结构示意图。该回声消除系统主要包含异常监控模块201、延时估计模块202、延时对齐模块203以及回声消除模块204，相比于图1，本技术在回声消除系统中增加了异常监控模块201，异常监控模块201可以基于参考点信号和接收点信号，对可能出现的异常延时(负延时)进行监控，当检测到负延时时，可以向延时估计模块发送重置指令，以便延时估计模块202和延时对齐模块203均可以重置算法，清空缓存，以便后续回声消除过程可以正常进行回声延时估计。
42.请参考图3，其示出了本技术一个示例性实施例提供的异常回声延时识别方法的流程图。本技术实施例以该方法应用于终端为例进行说明，该方法包括：
43.步骤301，对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征。
44.其中，输入音频帧是由麦克风采集到的，在麦克风采集过程中，麦克风采集到的输入音频信号(输入音频帧)首先会存储在软硬件采集逻辑对应的buffer中，进而通过调用应用程序线程从该buffer中读取输入音频帧。
45.由图2所示，参考点信号需要经过软硬件播放逻辑、空气等介质传播、软硬件采集逻辑到达接收点，对应同一音频信号在参考点处和接收点处并非完全相同，但应该是最相似的，因此，在一种可能的实施方式中，为了从参考点信号中确定出与输入音频帧最相似的音频帧，可以采用音频特征匹配的方式，也即通过对输入音频帧进行音频特征提取，得到第一音频特征，进而基于该第一音频特征与历史输出音频帧(参考点信号)对应的音频特征进行特征匹配，以便从中确定出与第一音频特征最相似的音频特征，用于后续进行回声延时估计。
46.由于第一音频特征是用于做音频帧匹配的，为了提高音频匹配的准确性，则第一音频特征一般选择音频信号所独有的特征，示意性的，第一音频特征可以是梅尔频率倒谱系数(mel-frequency cepstral coefficients，mfcc)、傅里叶系数、线性预测系数(linear prediction coefficients，lpc)、基于频谱能量的音频特征等。
47.步骤302，响应于达到目标延时，基于第一音频特征，从候选音频特征中确定第二音频特征，候选音频特征是输出音频帧对应的音频特征，输出音频帧用于扬声器播放，第二音频特征与第一音频特征匹配。
48.在回声消除过程中，当调用应用程序线程从buffer(软硬件采集逻辑对应的buffer)中读取输入音频帧的过程出现卡顿时，buffer遵循先进先出的原理，且buffer中数据存储量有限，若数据读取线程卡顿，但是数据写入线程仍然持续进行，当buffer中数据存满后，新采集到的输入音频帧会覆盖掉历史存储在buffer中的输入音频帧，若后续卡顿恢复，会直接读取新的输入音频帧，使得新的输入音频帧提前到达接收点；同时卡顿过程也会导致历史输出音频帧对应候选音频特征停止写入历史特征存储区，从而使得无法在历史特征存储区中找到与当前输入音频帧匹配的输出音频帧，导致无法进行延时估计，或延时估计错误，也即出现负延时(当前输入音频帧对应输出音频帧的音频特征需要在接收当前输入音频帧之后一段时间才会写入历史特征存储区中)的情况；因此，基于出现负延时情况的特点，为了可以准确检测到负延时的情况，也即为了在出现负延时时仍然可以计算出回声
延时，在一种可能的实施方式中，当提取到输入音频帧对应的第一音频特征后，不会立即基于该第一音频特征进行特征匹配，而是延时目标延时后，再基于该第一音频特征进行特征匹配，以便可以查找到匹配的候选音频特征。
49.其中，目标延时可以由开发者设置，或由业务人员基于实际情况进行设置。由于目标延时是为了保证在出现负延时的情况下，仍然可以查找到与第一音频特征匹配的第二音频特征，对应的目标延时需要大于等于操作系统所能出现的最大负延时，示意性的，若最大负延时为100ms，则目标延时可以是120ms。本技术实施例对目标延时的具体数值不构成限定。
50.可选的，候选音频特征是输出音频帧对应的音频特征，该输出音频帧是送到扬声器播放之前获取到的，也即当输出音频信号经过参考点时，将其存储在buffer中，并在接收点接收到一帧输入音频帧时，从buffer中读取一帧历史输出音频帧，进行音频特征提取，并将提取得到的候选音频特征存储在历史特征存储区中，以便后续可以基于第一音频特征从该历史特征存储区中查找与之匹配的第二音频特征。
51.步骤303，确定第二音频特征对应输出音频帧的回声延时。
52.在一种可能的实施方式中，当从候选音频特征中确定出与第一音频特征匹配的第二音频特征后，表示输入音频帧是该第二音频特征对应输出音频帧经过回声路径到达接收点时所对应的音频信号，且在回声延时期间，第二音频特征在历史特征存储器中的存储位置随时间移动，对应的，可以基于第二音频特征在历史特征存储器中的存储位置，确定出第二音频特征对应输出音频帧的回声延时。
53.示意性的，如图4所示，其示出了本技术一个示例性实施例示出的确定回声延时的过程示意图。在参考点的输出音频帧q，经过传输延时td，到达接收点得到输入音频帧q＇，由于经过传输信道的失真以及噪声等影响，q和q＇是不同但相近的信号。通过在接收点对输入音频帧q＇进行音频特征提取，得到第一音频特征g；输出音频帧q假设是第80帧音频帧，对输出音频帧q进行音频特征提取得到的第二音频特征为f(80)，并将f(80)存储在历史特征存储器的尾部位置(tail)，在经过传输延时td之后，参考点新获取到31帧输出音频帧并计算得到31个候选音频特征依次放入历史特征存储区；因此，当接收点得到输入音频帧q＇对应的第一音频特征g的时候，历史特征存储器又新存入了从f(81)到f(111)共31个候选音频特征；由于存在目标延时，会在经过目标延时后，基于第一音频特征g与历史特征存储区中存储的候选音频特征进行特征匹配，而在经过目标延时后，历史特征存储器中又新存储了从f(111)到f(141)个候选音频特征；则此时的回声延时为从f(80)到f(141)等61个输出音频帧的长度，则对应可以基于每个输出音频帧的采样间隔和帧数，计算得到回声延时。
54.步骤304，响应于回声延时小于目标延时，确定存在异常回声延时。
55.由于本技术是在接收点接收到输入音频帧后，延时了目标延时之后再进行音频特征匹配，则操作系统正常运行的情况下(即不存在负延时的情况下)，估计得到的回声延时应该为传输延时和目标延时之和，传输延时为参考点信号到接收点信号经过的延时，正常情况下，传输延时为正整数，也就是说，回声延时一定是大于目标延时的；反之，若回声延时小于目标延时，则表示传输延时为负值，即存在负延时的情况，因此，在一种可能的实施方式中，当确定出回声延时小于目标延时时，表示系统存在线程调用异常而导致的负延时情况，即存在异常回声延时，对应延时估计模块无法准确估计出传输延时，需要重置延时估计
算法，并清空其缓存以消除负延时的情况。
56.综上所述，本技术实施例中，针对回声消除过程中出现负延时的情况，会使得在接收点接收到输入音频帧后，需要等待一段时间才可以查找到与其匹配的输出音频帧的特点，提出了一种检测回声消除过程中负延时的方式，通过在获取到输入音频帧对应的第一音频特征，并延时目标延时后，再基于第一音频特征进行特征匹配，使得在负延时的情况下仍然可以估计出回声延时；而延时特征匹配使得计算出的回声延时为目标延时和传递延时之和，则可以基于回声延时与目标延时的关系，确定出传递延时的正负性，从而可以及时确定出是否存在异常回声延时(负延时)，避免回声消除模块在错误回声延时下继续进行回声消除工作，或避免由于无法计算出回声延时而导致无法进行回声消除的情况，从而可以提高回声消除的准确性。
57.由于当接收点获取到输入音频帧对应的第一音频特征后，不会立即对其进行特征匹配，以避免在负延时情况下无法计算出回声延时，会在达到目标延时后，再对其进行特征匹配，而在目标延时过程中，接收点仍然会接收新的输入音频帧，并对其进行音频特征提取，则为了可以在目标延时后仍然可以使用历史第一音频特征进行特征匹配，在一种可能的实施方式中，增加有用于存储输入音频帧对应第一音频特征的特征存储器，通过该特征存储器来实现对特征匹配的延时功能。
58.在一个示例性的例子中，如图5所示，其示出了本技术另一个示例性实施例提供的异常回声延时识别方法的流程图。本技术实施例以该方法应用于终端为例进行说明，该方法包括：
59.步骤501，对麦克风采集到的输入音频帧进行时频转换和频带划分，确定出m个子带。
60.需要说明的是，本技术实施例是在原有回声消除系统中新增有异常监控模块(异常延时检测模块)，而异常监控模块与原有延时估计模块均需要进行音频特征提取，在一种可能的场景下，异常监控模块中提取的音频特征可以与原有延时估计模块中提取的音频特征相同；可选的，异常监控模块中提取的音频特征也可以与原有延时估计模块不同。
61.当异常监控模块与原有延时估计模块中所提取的音频特征不同时，就需要为音频特征分配不同的特征存储区，对应的，需要增加至少两个特征存储区用于存储音频特征，其中，第一特征存储区用于存储输入音频帧对应的音频特征，而第二特征存储区用于存储输出音频帧对应的音频特征。
62.示意性的，如图6所示，其示出了本技术一个示例性示出的延时估计过程与异常延时检测过程的工作示意图。由图6可知，延时估计过程601中所提取到音频特征的特征存储区，与异常延时检测过程602中所提取到音频特征的特征存储区不同，其中，延时估计过程对应特征存储区1，而异常延时检测过程602对应特征存储区3和特征存储区4。
63.在延时估计过程601中，通过特征提取模块1对参考点信号(输出音频帧)进行音频特征提取，并将提取到的候选音频特征存储在特征存储区1中；当获取到接收点信号后，通过特征提取模块2对接收点信号(输入音频帧)进行音频特征提取，并将提取到的第一音频特征送入特征匹配模块1中进行特征匹配，具体是基于第一音频特征从特征存储区1中查找相匹配的第二音频特征，进而基于延时确定策略1确定出传输延时tde。
64.在异常延时检测过程602中，通过特征提取模块3对参考点信号(输出音频帧)进行
音频特征提取，并将提取到的候选音频特征存储在特征存储区3中，并通过特征提取模块4对接收点信号(输入音频帧)进行音频特征提取，并将提取到的第一音频特征存储在特征存储区4中，进而在目标延时后通过特征匹配模块3从特征存储区4中读取第一音频特征，基于该第一音频特征从特征存储区3中查找匹配的第二音频特征，进而通过延时确定策略3计算得到回声延时tde3；在异常延时检测处判断回声延时tde3是否为异常回声延时，若是，则重置延时估计过程中的各个模块。
65.本实施例中提取到的音频特征为频域特征，在一种可能的实施方式中，首先对输入音频帧进行时频转换和频带划分，从中获取所需的m个子带，进而基于该m个子带提取对应的第一音频特征。
66.示意性的，m的取值可以由开发人员进行设置，由于第一音频特征需要存储在特征存储区中，为了提高计算效率，m可以是便于后续存储和计算的量。示意性的，m的取值为36，36个子带可以得到32个二元值的音频特征，32bit正好可以存放在一个32位整型变量中，便于提高存储和计算效率。
67.可选的，可以采用短时傅里叶变换将输入音频帧转换到频域，得到输入音频帧的频谱信号，再对频谱信号进行频带划分，频带划分方式可以采用线性划分或者根据心理声学理论进行梅尔频带划分，从而得到m个子带。
68.可选的，在语音通话场景中，参考点信号和接收点信号对应的采样率为16khz或者32khz等，以32khz为例，根据奈奎斯特采样定理，32khz采样率采集到的语音有效带宽为16khz；而提取音频特征所需要的语音带宽不需要很高，因为在实际语音通讯系统中，能够比较可靠表征语音的频率范围在300hz～3khz左右，因此所需实际带宽只要3khz左右即可，因此，为了减少计算量，音频特征提取过程中将参考点或者接收点高采样率的音频帧下采样到6khz左右(6khz采样率对应的有效音频带宽即为3khz)，进而进行后续音频特征提取过程。
69.示意性的，如图7所示，其示出了本技术一个示例性实施例示出的音频特征的提取过程示意图。将输入音频帧下采样之后的音频帧，经过时频域转换算法(例如短时傅里叶变换)转换到频域，得到输入音频帧的频谱信号；频谱信号经过频带划分，将频谱划分为36个子带(子带1～子带36)。
70.步骤502，通过对m个子带的子带能量进行频域能量比较，得到n个第一频域特征分值，n为正整数，且m-n为正整数。
71.在一种可能的实施方式中，当对输入音频帧进行时频转换和频带划分，得到m个子带后，分别计算每个子带对应的子带能量，进而对子带能量进行频域能量比较，从而得到n个频域特征分值。
72.其中，n的具体取值可以由开发人员进行设置，为了提高存储和计算效率，n的取值可以是32，因为32个bit正好可以存放在31位整形变量中；可选的，n的取值还可以是16、64等值。
73.可选的，计算频域特征分值的过程可以包括以下步骤，也即步骤502可以包括步骤502a和步骤502b。
74.步骤502a，响应于第j子带能量是第j-i子带至第j i子带对应子带能量中的最大值，将第一分值确定为第j子带对应的第一频域特征分值，第j子带能量为第j子带对应的子
带能量，其中，i为正整数，且j-i为正整数，j i小于等于m。
75.在一种可能的实施方式中，在计算频域特征分值时，将当前子带能量与和它相邻的上下各两个子带能量进行比较，如果当前子带能量具有最大值则输出二元值1，否则输出二元值0；也就是说，对于第j子带，若第j子带对应的第j子带能量是第j-i子带至第j i子带对应子带能量中的最大值，则将第一分值确定为第j子带对应的第一频域特征分值。示意性的，第一分值可以为1。
76.其中，i的取值可以由开发人员进行设置，示意性的，i的取值可以是1，对应将当前子带能量与和它相邻的上下各一个子带能量进行比较；若i的取值是2，对应的将当前子带能量与和它相邻的上下各两个子带能量进行比较。
77.步骤502b，响应于第j子带能量小于第j-i子带至第j i子带对应子带能量中的最大值，将第二分值确定为第j子带对应的第一频域特征分值。
78.反之，对于第j子带能量，若第j子带能量小于第j-i子带至第j i子带对应子带能量中的最大值，则将第二分值确定为第j子带对应的第一频域特征分值。示意性的，第二分值可以为0。
79.如图7所示，当获得m个子带后，分别对每个子带进行能量计算，得到36个子带能量(子带能量1～子带能量36)；i的取值为2，则比较器将当前子带能量与和它相邻的上下各两个子带能量进行比较；比如，比较器1对子带能量3与它相邻的上下各两个子带能量进行比较，也即若子带能量3在子带能量1～子带能量5中具有最大值，则比较器1将子带能量3对应的频域特征分值设置为1，也即比较器1输出g(n，1)，否则比较器1输出g(n，0)；由于子带能量4在子带能量2～子带能量6中具有最大值，则比较器2输出g(n，1)；其中n为第n帧音频帧。
80.步骤503，将n个第一频域特征分值的集合确定为第一音频特征。
81.在一种可能的实施方式中，对m个子带的子带能量进行能量比较，可以得到n个第一频域特征分值，则n个第一频域特征分值的集合即为输入音频帧对应的第一音频特征。
82.示例性的，若n为32，则第一音频特征为32位二元值的集合。
83.需要说明的是，输出音频帧的特征提取过程可以参考输入音频帧的特征提取过程，本实施例在此不做赘述。
84.步骤504，将第一音频特征存储在第一特征存储区的尾部存储位置，第一特征存储区的第一存储容量由目标延时确定，第一音频特征的存储位置随时间由尾部存储位置向头部存储位置移动。
85.在一种可能的实施方式中，设置有第一特征存储区，用于存储输入音频帧对应的第一音频特征，且该第一特征存储区为先进先出型存储区，也即新增音频特征会存储在第一特征存储区的尾部位置，而每新增一帧输入音频帧对应的第一音频特征，第一特征存储区会对应从头部删除一帧输入音频帧对应的第一音频特征。
86.为了使得第一特征存储区可以实现延时目标延时进行特征匹配的功能，在一种可能的实施方式中，第一特征存储区的第一存储容量需要由目标延时确定，也就是说，当第一音频特征从第一特征存储区的尾部存储位置随时间移动至头部存储位置时进行特征匹配，使得第一音频特征可以刚好延时目标延时后进行特征匹配。
87.可选的，第一存储容量由目标延时和相邻输入音频帧之间的采样时间间隔确定，示意性的，目标延时为120ms，每个输入音频帧经过4ms到达下一个音频帧，则表示第一特征
存储区需要使得第一音频特征延时30帧再进行特征匹配，对应的，第一特征存储区需要存储31帧音频输入帧对应的第一音频特征。
88.在一种可能的实施方式中，当提取到输入音频帧对应的第一音频特征后，并非直接基于第一音频特征进行特征匹配，而是将第一音频特征存储在第一特征存储区的尾部存储位置，在目标延时过程中，第一个存储区不断新增第一音频特征，且第一音频特征的存储位置会随着音频特征的增加，由尾部存储位置向头部存储位置移动，也即第一音频特征的存储位置会随着时间由尾部存储位置向头部存储位置移动，当第一音频特征移动至头部存储位置时，可以确定达到目标延时。
89.示意性的，如图8所示，其示出了本技术一个示例性实施例示出的特征存储区实现延时功能的原理示意图。若第一特征存储区在写入第130帧输入音频帧对应的第一音频特征g(130)之前，第一特征存储区中存储有g(99)～g(129)等31帧输入音频帧对应的第一音频特征；当获取到130帧对应的第一音频特征g(130)，将g(130)写入第一特征存储区的尾部存储区域(tail)，则此时第一特征存储区中存储的第一音频特征为：g(100)～g(130)；在目标延时过程中，g(130)随时间由尾部存储区域向头部存储区域位置移动，当g(130)移动至头部存储位置时，确定达到目标延时，此时，第一特征存储区中存储的第一音频特征为：g(130)～g(160)。
90.步骤505，响应于第一音频特征移动至第一特征存储区的头部存储位置，基于第一音频特征，从候选音频特征中确定第二音频特征。
91.在一种可能的实施方式中，当第一音频特征移动至第一特征存储区的头部存储位置时，基于第一特征存储区的第一存储容量与目标延时的关系，确定达到目标延时，进而可以基于第一音频特征，从候选音频特征中确定第二音频特征。
92.其中，基于第一音频特征从候选音频特征中确定第二音频特征的过程(特征匹配过程)可以包括步骤一和步骤二。
93.一、对第一音频特征和候选音频特征进行特征匹配，得到至少一个候选匹配分值，候选匹配分值用于指示第一音频特征和候选音频特征之间的匹配度，候选匹配分值与匹配度成负相关关系。
94.在一种可能的实施方式中，当经过目标延时后，基于第一音频特征和当前历史特征存储器(该历史特征存储器中存储有输出音频帧对应的候选音频特征)中存储的各个候选音频特征进行特征匹配，得到至少一个候选匹配分值，进而根据该候选匹配分值，从候选音频特征中确定与第一音频特征匹配的第二音频特征。
95.其中，候选匹配分值的数量由历史特征存储区的存储容量确定。示意性的，历史特征存储区中存储有75帧输出音频帧对应的候选音频特征，则将第一音频特征分别与75帧输出音频帧对应的各个候选音频特征进行特征匹配，从而可以得到75个候选匹配分值。
96.示意性的，如图10所示，其示出了本技术一个示例性实施例示出的特征匹配的过程示意图。当在目标延时后，基于第一音频特征g(80)从候选音频特征中查找匹配的第二音频特征时，此时历史特征存储器中存储有f(67)～f(141)等75个候选音频特征，对应将g(80)分别与75个候选音频特征进行特征匹配，得到75个候选匹配分值：s(1)～s(75)。
97.由上文实施例可知，每个音频特征中均包含n个频域特征分值，对应的，在进行特征匹配过程中，也需要分别对每个频域特征分值进行匹配运算，在一个示例性的例子中，步
骤一还可以包括步骤1和步骤2(即候选匹配分值的确定过程还可以包括步骤1和步骤2)。
98.1、对第k第一频域特征分值和第k第二频域特征分值进行匹配运算，得到第k子匹配分值，k为小于等于n的正整数，子匹配分值为第一音频特征和第二音频特征中第k个频域特征分值的匹配度。
99.为了可以进行特征匹配，则需要保证候选音频特征与第一音频特征是采用相同的特征提取方法提取到的，且候选音频特征中所包含的频域特征分值的数量，需要与第一音频特征中所包含的频域特征分值的数量相同，示意性的，第一音频特征中包含n个第一频域特征分值，对应候选音频特征中也包含有n个第二频域特征分值，n为正整数。示意性的，n为32时，则第一音频特征中包含32个二元值，候选音频特征中也包含32个二元值。
100.在一种可能的实施方式中，在匹配运算过程中，分别对n个第一频域特征分值和n个第二频域特征分值进行匹配运算，也就是说，对第k个第一频域特征分值和第k第二音频特征进行匹配运算，得到第k子匹配分值，进而将n个子匹配分值之和确定为第一音频特征和候选音频特征的匹配分值。
101.示意性的，若n为5，第一音频特征为：g 1
(n，0)、g 2
(n，1)、g 3
(n，1)、g4(n，0)、g 5
(n，1)，候选音频特征为：f1(n，1)、f2(n，0)、f3(n，0)、f4(n，1)、f5(n，0)；则对第一音频特征和候选音频特征进行匹配运算时，将g1(n，0)和f1(n，1)进行匹配运算，得到第一子匹配分值，对g 2
(n，1)和f2(n，0)进行匹配运算，得到第二子匹配分值，同理可以得到第三子匹配分值、第四子匹配分值和第五子匹配分值，进而将第一子匹配分值至第五子匹配分值之和确定为候选匹配分值。
102.可选的，匹配运算可以采用异或运算，或者其他匹配算法，本技术实施例对此不构成限定。
103.2、将n个子匹配分值之和确定为候选匹配分值。
104.在一种可能的实施方式中，将n个子匹配分值之和确定为候选匹配分值。示意性的，若匹配运算采用异或运算，则第一音频特征和候选音频特征越相似，其对应的候选匹配分值越低，也即候选匹配分值与匹配度成负相关关系。
105.二、基于至少一个候选匹配分值，从候选音频特征中确定出第二音频特征。
106.特征匹配的目的是为了从候选音频特征中找到与第一音频特征匹配的第二音频特征，而基于匹配度与候选匹配分值之间的关系，匹配度越高，则候选匹配分值越低，对应的，可以将候选匹配分值中最小值对应的候选音频特征确定为第二音频特征。
107.可选的，在其他可能的实施方式中，在计算得到候选匹配分值后，可以基于历史匹配结果对其进行平滑处理，得到特征匹配分值，进而基于特征匹配分值确定第二音频特征。在一个示例性的例子中，步骤二还可以包括步骤3～步骤5。
108.3、对至少一个候选匹配分值进行平滑处理，得到至少一个特征匹配分值。
109.在一种可能的实施方式中，对各个候选匹配分值进行平滑处理，得到至少一个特征匹配分值。
110.在一个示例性的例子中，特征匹配分值的计算过程可以表示为：
111.sm(n)＝s(n)*b sm(n)＇*(1-b)
112.其中，sm(n)表示特征匹配分值，s(n)表示候选匹配分值，b表示平滑系数，b为0～1之间的一个小数，b越小，则平滑程度越高，sm(n)＇表示之前的平滑结果。
113.示意性的，如图10所示，对75个候选匹配分值s(1)～s(75)进行平滑处理，得到75个特征匹配分值：sm(1)～sm(75)。
114.4、将特征匹配分值中的最小值确定为目标匹配分值。
115.由于候选匹配分值与匹配度呈负相关关系，则特征匹配分值与匹配度也呈负相关关系，也就是说，候选音频特征与第一音频特征越相似(越匹配)，候选音频特征与第一音频特征对应的特征匹配分值越小，因此，在一种可能的实施方式中，将特征匹配分值中的最小值确定为目标匹配分值，进而将目标匹配分值对应的候选音频特征确定第二音频特征。
116.5、将目标匹配分值对应的候选音频特征确定为第二音频特征。
117.在一种可能的实施方式中，由于目标匹配分值对应的候选音频特征即是与第一音频特征最匹配的音频特征，则可以直接将其确定为第二音频特征。
118.可选的，为了进一步提高特征匹配的准确性，在一种可能的实施方式中，设置有匹配分值阈值，当目标匹配分值小于该匹配分值阈值时，才会将其对应的候选音频特征确定为第二音频特征。
119.步骤506，获取第二音频特征在第二特征存储区中的目标存储位置。
120.在一种可能的实施方式中，当确定出第二音频特征后，由于第二音频特征也是存储在先进先出的第二特征存储区中，且第二音频特征的存储位置随时间由尾部存储位置向头部存储位置移动，因此，可以基于第二音频特征在第二特征存储区中所处的位置，确定目标回声延时。
121.步骤507，基于目标存储位置，确定第二音频特征对应输出音频帧的目标回声延时。
122.如图9所示，其示出了本技术一个示例性实施例示出的延时特征匹配的过程示意图。在参考点的输出音频帧q，经过传输延时td，到达接收点得到输入音频帧q＇。通过在接收点对输入音频帧q＇进行音频特征提取得到特征g(100)，并存储在第一特征存储区的尾部存储位置(图中g(130)所在位置)；输出音频帧q假设是第100帧音频帧，对输出音频帧q进行音频特征提取得到的第二音频特征为f(100)，并将f(100)存储在第二特征存储区的尾部存储位置(tail)，在经过传输延时td之后，参考点新获取到31帧输出音频帧并计算得到31个候选音频特征依次放入第二特征存储区中；因此，当接收点得到输入音频帧q＇对应的第一音频特征g(100)的时候，第二特征存储区中又新存入了从f(100)到f(131)的31个候选音频特征；由于存在目标延时，当g(100)由图中g(130)所在位置移动至第一特征存储区的head时，再基于第一音频特征g(100)与第二特征存储区中存储的候选音频特征进行特征匹配；而在经过目标延时后，第二特征存储区中又新存储了从f(131)到f(161)个候选音频特征；则此时的回声延时为从f(100)到f(161)等61个输出音频帧的长度，则对应可以基于每个输出音频帧的采样间隔，以及音频帧数，计算得到回声延时。
123.在一种可能的实施方式中，基于图9所示延时特征匹配过程，可以基于第二音频特征在第二特征存储区中的目标存储位置，确定第二音频特征对应输出音频帧的回声延时。
124.示意性的，如图10所示，第一音频特征g(80)与第二特征存储区中f(80)匹配，f(80)对应特征匹配分值中的sm(14)，则回声延时为从sm(14)～sm(75)等61个音频帧的长度；若每个音频帧经过4ms到达下一音频帧，则回声延时为61
×
4ms。
125.步骤508，响应于回声延时大于目标延时，基于回声延时估计得到的回声延时，对
输入音频帧进行回声消除处理。
126.在一种可能的实施方式中，若回声延时大于目标延时，则表示未出现负延时，可以基于原有延时估计过程得到的回声延时，对输入音频帧进行回声消除处理。
127.步骤509，响应于回声延时小于目标延时，确定存在异常回声延时。
128.步骤509的实施方式可以参考上文实施例，本实施例在此不做赘述。
129.步骤510，响应于存在异常回声延时，重新进行回声延时估计。
130.在一种可能的实施方式中，若存在异常回声延时，则认为原有延时估计过程中所生成的回声延时不可靠，对应生成重置指令，重置延时估计模块和延时对齐模块，清空它们的缓存以消除负延时的情况，以便延时估计模块重新进行回声延时估计。
131.本实施例中，通过为输入音频帧对应的第一音频特征设置第一特征存储区，以便通过将第一音频特征存储在第一特征存储区中，实现对第一音频特征的特征延时匹配功能；此外，通过在异常延时监控过程中，采用与原有延时估计过程不同的音频特征提取方式，可以提高异常延时监控过程中特征匹配的准确性，进而提高异常延时监控过程中回声延时的确定准确性，进而通过更准确的回声延时指导原有延时估计过程是否继续执行。
132.在另一种可能的应用场景中，为了节省计算量和数据存储空间，设置异常监控模块与原有延时估计模块均采用相同的特征提取方法，对应的，仅需要增加一个特征存储区，用于存储输入音频帧对应的第一音频特征即可。
133.对应图6，若采用相同的特征提取方法，对应的，异常延时检测过程可以不采用单独的特征提取模块，可以减少额外特征提取所产生的计算量；同时，参考点信号对应的候选音频特征也就不需要额外采用新的特征存储区来存储，仅需要增加用于存储第一音频特征的特征存储区即可，可以减少重复音频特征存储所占用的存储空间。
134.在图6的基础上，删除特征提取模块3、特征提取模块4以及特征存储区3之后，如图11所示，其示出了本申另一个示例性实施例示出的延时估计过程和异常延时检测过程示意图。在图11中，特征存储区1中存储的候选音频特征既可以用于特征匹配模块1进行特征匹配，以用于计算延时估计过程1101中所产生的回声延时tde；也可以用于特征匹配模块2进行特征匹配，以用于计算异常延时检测过程1102中所产生的回声延时tde2；而特征存储区2中存储的第一音频特征，可以在获取到第一音频特征是立即用于特征匹配模块1进行特征匹配，以用于估计回声延时tde；也可以在达到目标延时后，用于特征匹配模块2进行特征匹配，以用于估计回声延时tde2。
135.示意性的，在延时估计过程1101中，通过特征提取模块1对参考点信号(输出音频帧)进行音频特征提取，并将提取到的候选音频特征存储在特征存储区1中；当获取到接收点信号后，通过特征提取模块2对接收点信号(输入音频帧)进行音频特征提取，并将提取到的第一音频特征送入特征匹配模块1中进行特征匹配，具体是基于第一音频特征从特征存储区1中查找到匹配的第二音频特征，进而基于延时确定策略1确定出传输延时tde。
136.在异常延时检测过程1102中，当获取到输入音频帧对应的第一音频特征后，将第一音频特征存储在特征存储区2中，进而在目标延时后通过特征匹配模块2从特征存储区2中读取第一音频特征，基于该第一音频特征从特征存储区1中查找与其匹配的第二音频特征，进而通过延时确定策略2计算得到回声延时tde2；在异常延时检测处判断回声延时tde2是否为异常回声延时，若是，则重置延时估计过程中的各个模块。
137.由图11可知，延时估计过程与异常延时检测过程均采用相同的特征提取方式，图12示出了本技术一个示例性实施例示出的延时估计过程中音频特征提取的过程示意图。参考点或者接收点的音频帧经过下采样和时频域转换算法(例如短时傅里叶变换)转换到频域，得到音频帧的频谱信号；频谱信号经过频带划分，例如线性划分或者根据心理声学理论进行梅尔频带划分，将频谱划分为m个子带(m为32)，因为32个bit正好可以存放在一个32位整形变量中，便于提高计算效率，m也可以是16、64等便于存储和计算的量。对每一个子带计算子带能量e(m)，并通过平滑子带能量模块计算每个子带经过平滑后的平滑子带能量1，平滑子带能量ep(m)＝e(m)*a ep(m)＇*(1-a)，其中a为一个0到1之间的小数，a越小则平滑程度越高。比较器将子带能量与平滑子带能量进行比较，如果子带能量大于平滑子带能量则输出二元值1，否则输出二元值0。假设当前帧为第n帧，第一个子带的二值化输出存放在f的第n帧的第0位，即f(n，0)，同理第二个子带的二值化输出存放在f的第n帧的第1位，即f(n，1)，以此类推，得到m个二元值，即为提取到的音频特征。
138.在另一种可能的应用场景中，为了进一步减少特征匹配过程中的计算量，第二特征存储区的第二存储容量可以小于第一特征存储区对应的第一存储容量，在该设置情况下，若可以在第二特征存储区中查找到与输入音频帧匹配的输出音频帧，则表示出现了负延时的情况。
139.在图3的基础上，如图13所示，步骤302至步骤304可以被替换为步骤1301和步骤1302。
140.步骤1301，响应于达到目标延时，从第二特征存储区中查找与第一音频特征匹配的候选音频特征。
141.其中，第一特征存储区的第一存储容量由目标延时和相邻输入音频帧之间的采样时间间隔确定，则第二特征存储区中存储音频特征对应输入音频帧的帧数小于第一特征存储区中存储音频特征对应输出音频帧的帧数。示意性的，若第一特征存储区可用于存储31帧音频帧的音频特征，则第二特征存储区可以设置为可用于存储30帧音频帧的音频特征。
142.在一种可能的实施方式中，当提取到第一音频特征后，并在达到目标延时后，基于第一音频特征去第二特征存储区中进行查找，也即将第一音频特征与第二特征存储区中存储的各个候选音频特征进行匹配，并得到第一音频特征与各个候选音频特征对应的匹配分值。
143.需要说明的是，当第二特征存储区的第二存储容量小于第一特征存储区时，则异常延时检测过程和延时估计过程中不能共用第二特征存储区，也就是说，即使异常延时检测过程和延时估计过程中采用相同的音频特征提取方法，延时估计模块中所要使用的候选音频特征也需要存储在其他特征存储区中。
144.步骤1302，响应于查找到与第一音频特征匹配的候选音频特征，确定存在异常回声延时。
145.由于异常延时检测过程仅需要检测回声延时小于目标延时的情况，因此当第二特征存储区的第二存储容量小于第一存储容量时，正常情况下，基于第一音频特征进行特征匹配时，第二存储区中并不存在与其匹配的候选音频特征，反之，如果在第二特征存储区中可以搜索到匹配的候选音频特征，则可以获得小于目标延时的一个回声延时的值，因此可以说明出现了负延时的情况；因此，在一种可能的实施方式中，当在第二存储区中查找到与
第一音频特征匹配的候选音频特征，则确定存在异常回声延时。
146.本实施例中，通过设置第二特征存储区的存储容量，使得可以无需计算回声延时，仅需要确定第二特征存储区中是否有与第一音频特征匹配的候选音频特征，若存在，则确定存在异常回声延时，可以简化异常延时的检测逻辑，进一步提高异常回声延时的检测效率；此外，减少第二特征存储区的存储容量，还可以降低特征匹配的次数，建议不降低异常回声延时的检测效率。
147.以下为本技术的装置实施例，对于装置实施例中未详细描述的细节，可参考上述方法实施例。
148.图14是本技术一个示例性实施例提供的异常回声延时识别装置的结构框图。该装置包括：
149.特征提取模块1401，用于对麦克风采集到的输入音频帧进行音频特征提取，得到第一音频特征；
150.第一确定模块1402，用于响应于达到目标延时，基于所述第一音频特征，从候选音频特征中确定第二音频特征，所述候选音频特征是输出音频帧对应的音频特征，所述输出音频帧用于扬声器播放，所述第二音频特征与所述第一音频特征匹配；
151.第二确定模块1403，用于确定所述第二音频特征对应输出音频帧的回声延时；
152.第三确定模块1404，用于响应于所述回声延时小于所述目标延时，确定存在异常回声延时。
153.可选的，所述第一确定模块1402，包括：
154.存储单元，用于将所述第一音频特征存储在第一特征存储区的尾部存储位置，所述第一特征存储区的第一存储容量由所述目标延时确定，所述第一音频特征的存储位置随时间由尾部存储位置向头部存储位置移动；
155.第一确定单元，用于响应于所述第一音频特征移动至所述第一特征存储区的头部存储位置，基于所述第一音频特征，从所述候选音频特征中确定所述第二音频特征。
156.可选的，所述候选音频特征存储在第二特征存储区中，所述候选音频特征的存储位置随时间由尾部存储位置向头部存储位置移动；
157.所述第二确定模块1403，包括：
158.获取单元，用于获取所述第二音频特征在所述第二特征存储区中的目标存储位置；
159.第二确定单元，用于基于所述目标存储位置，确定所述第二音频特征对应输出音频帧的目标回声延时。
160.可选的，所述第二特征存储区的第二存储容量小于所述第一存储容量；
161.所述装置还包括：
162.查找模块，用于响应于达到所述目标延时，从所述第二特征存储区中查找与所述第一音频特征匹配的候选音频特征；
163.第四确定模块，用于响应于查找到与所述第一音频特征匹配的候选音频特征，确定存在异常回声延时。
164.可选的，所述第一存储容量由所述目标延时和相邻输入音频帧之间的采样时间间隔确定，所述第二特征存储区中存储音频特征对应输入音频帧的帧数小于所述第一特征存
储区中存储音频特征对应输出音频帧的帧数。
165.可选的，所述特征提取模块1401，包括：
166.第三确定单元，用于对所述麦克风采集到的所述输入音频帧进行时频转换和频带划分，确定出m个子带；
167.第四确定单元，用于通过对m个子带的子带能量进行频域能量比较，得到n个第一频域特征分值，n为正整数，且m-n为正整数；
168.第五确定单元，用于将n个第一频域特征分值的集合确定为所述第一音频特征。
169.可选的，所述第四确定单元，还用于：
170.响应于第j子带能量是第j-i子带至第j i子带对应子带能量中的最大值，将第一分值确定为所述第j子带对应的所述第一频域特征分值，所述第j子带能量为所述第j子带对应的子带能量，其中，i为正整数，且j-i为正整数，j i小于等于m；
171.响应于所述第j子带能量小于第j-i子带至第j i子带对应子带能量中的最大值，将第二分值确定为所述第j子带对应的所述第一频域特征分值。
172.可选的，所述第一确定模块1402，包括：
173.特征匹配单元，用于对所述第一音频特征和所述候选音频特征进行特征匹配，得到至少一个候选匹配分值，所述候选匹配分值用于指示所述第一音频特征和所述候选音频特征之间的匹配度，所述候选匹配分值与所述相似度成负相关关系；
174.第六确定单元，用于基于至少一个所述候选匹配分值，从所述候选音频特征中确定出所述第二音频特征。
175.可选的，所述第一音频特征中包含n个第一频域特征分值，所述候选音频特征中包含n个第二频域特征分值，n为正整数；
176.所述特征匹配单元，还用于：
177.对第k第一频域特征分值和第k第二频域特征分值进行匹配运算，得到第k子匹配分值，k为小于等于n的正整数，所述子匹配分值为所述第一音频特征和所述第二音频特征中第k个频域特征分值的匹配度；
178.将n个子匹配分值之和确定为所述候选匹配分值。
179.可选的，所述第五确定单元，还用于：
180.对至少一个所述候选匹配分值进行平滑处理，得到至少一个特征匹配分值；
181.将所述特征匹配分值中的最小值确定为目标匹配分值；
182.将所述目标匹配分值对应的所述候选音频特征确定为所述第二音频特征。
183.可选的，所述装置还包括：
184.重置模块，用于响应于存在异常回声延时，重新进行回声延时估计。
185.可选的，所述装置还包括：
186.回声消除模块，用于响应于所述回声延时大于所述目标延时，基于回声延时估计得到的回声延时，对输入音频帧进行回声消除处理。
187.综上所述，本技术实施例中，针对回声消除过程中出现负延时的情况，会使得在接收点接收到输入音频帧后，需要等待一段时间才可以查找到与其匹配的输出音频帧的特点，提出了一种检测回声消除过程中负延时的方式，通过在获取到输入音频帧对应的第一音频特征，并延时目标延时后，再基于第一音频特征进行特征匹配，使得在负延时的情况下
仍然可以估计出回声延时；而延时特征匹配使得计算出的回声延时为目标延时和传递延时之和，则可以基于回声延时与目标延时的关系，确定出传递延时的正负性，从而可以及时确定出是否存在异常回声延时(负延时)，避免回声消除模块在错误回声延时下继续进行回声消除工作，或避免由于无法计算出回声延时而导致无法进行回声消除的情况，从而可以提高回声消除的准确性。
188.图15示出了本技术一个示例性实施例提供的终端1500的结构框图。该终端1500可以是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端1500还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其它名称。
189.通常，终端1500包括有：处理器1501和存储器1502。
190.处理器1501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器1501可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器1501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器1501可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器1501还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
191.存储器1502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器1502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器1502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器1501所执行以实现本技术中方法实施例提供的信息处理方法。
192.在一些实施例中，终端1500还可选包括有：外围设备接口1503和至少一个外围设备。处理器1501、存储器1502和外围设备接口1503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口1503相连。具体地，外围设备包括：射频电路1504、显示屏1505、摄像头组件1506、音频电路1507、定位组件1508和电源1509中的至少一种。
193.外围设备接口1503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器1501和存储器1502。在一些实施例中，处理器1501、存储器1502和外围设备接口1503被集成在同一芯片或电路板上；在一些其它实施例中，处理器1501、存储器1502和外围设备接口1503中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
194.射频电路1504用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路1504通过电磁信号与通信网络以及其它通信设备进行通信。射频电路1504将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路
1504包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路1504可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路1504还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
195.显示屏1505用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏1505是触摸显示屏时，显示屏1505还具有采集在显示屏1505的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器1501进行处理。此时，显示屏1505还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏1505可以为一个，设置终端1500的前面板；在另一些实施例中，显示屏1505可以为至少两个，分别设置在终端1500的不同表面或呈折叠设计；在再一些实施例中，显示屏1505可以是柔性显示屏，设置在终端1500的弯曲表面上或折叠面上。甚至，显示屏1505还可以设置成非矩形的不规则图形，也即异形屏。显示屏1505可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode，有机发光二极管)等材质制备。
196.摄像头组件1506用于采集图像或视频。可选地，摄像头组件1506包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件1506还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
197.音频电路1507可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器1501进行处理，或者输入至射频电路1504以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端1500的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器1501或射频电路1504的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路1507还可以包括耳机插孔。
198.定位组件1508用于定位终端1500的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件1508可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。
199.电源1509用于为终端1500中的各个组件进行供电。电源1509可以是交流电、直流电、一次性电池或可充电电池。当电源1509包括可充电电池时，该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池，无线充电电池是通过
无线线圈充电的电池。该可充电电池还可以用于支持快充技术。
200.在一些实施例中，终端1500还包括有一个或多个传感器1510。该一个或多个传感器150包括但不限于：加速度传感器1511、陀螺仪传感器1512、压力传感器1513、指纹传感器1514、光学传感器1515以及接近传感器1516。
201.加速度传感器1511可以检测以终端1500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器1511可以用于检测重力加速度在三个坐标轴上的分量。处理器1501可以根据加速度传感器1511采集的重力加速度信号，控制触摸显示屏1505以横向视图或纵向视图进行信息处理。加速度传感器1511还可以用于游戏或者用户的运动数据的采集。
202.陀螺仪传感器1512可以检测终端1500的机体方向及转动角度，陀螺仪传感器1512可以与加速度传感器1511协同采集用户对终端1500的3d动作。处理器1501根据陀螺仪传感器1512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
203.压力传感器1513可以设置在终端1500的侧边框和/或触摸显示屏1505的下层。当压力传感器1513设置在终端1500的侧边框时，可以检测用户对终端1500的握持信号，由处理器1501根据压力传感器1513采集的握持信号进行左右手识别或快捷操作。当压力传感器1513设置在触摸显示屏1505的下层时，由处理器1501根据用户对触摸显示屏1505的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
204.指纹传感器1514用于采集用户的指纹，由处理器1501根据指纹传感器1514采集到的指纹识别用户的身份，或者，由指纹传感器1514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器1501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器1514可以被设置终端1500的正面、背面或侧面。当终端1500上设置有物理按键或厂商logo时，指纹传感器1514可以与物理按键或厂商logo集成在一起。
205.光学传感器1515用于采集环境光强度。在一个实施例中，处理器1501可以根据光学传感器1515采集的环境光强度，控制触摸显示屏1505的显示亮度。具体地，当环境光强度较高时，调高触摸显示屏1505的显示亮度；当环境光强度较低时，调低触摸显示屏1505的显示亮度。在另一个实施例中，处理器1501还可以根据光学传感器1515采集的环境光强度，动态调整摄像头组件1506的拍摄参数。
206.接近传感器1516，也称距离传感器，通常设置在终端1500的前面板。接近传感器1516用于采集用户与终端1500的正面之间的距离。在一个实施例中，当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变小时，由处理器1501控制触摸显示屏1505从亮屏状态切换为息屏状态；当接近传感器1516检测到用户与终端1500的正面之间的距离逐渐变大时，由处理器1501控制触摸显示屏1505从息屏状态切换为亮屏状态。
207.本领域技术人员可以理解，图15中示出的结构并不构成对终端1500的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
208.本技术还提供了一种计算机可读存储介质，所述可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集
或指令集由处理器加载并执行以实现上述任意示例性实施例所提供的异常回声延时识别方法。
209.本技术实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。终端的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该终端执行上述可选实现方式中提供的异常回声延时识别方法。
210.本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
211.以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。