一种声源追踪方法、装置、设备、系统及存储介质与流程

1.本技术涉及数据处理技术领域，尤其涉及一种声源追踪方法、装置、设备、系统及存储介质。


背景技术：

2.基于麦克风阵列进行声源追踪是近年来的声学信号处理领域的热门技术。目前，声源追踪技术通常是对麦克风阵列进行滤波、取极值、计算基频、计算方位角等信号层面的处理，以进行声源追踪。
3.但是，这类处理方式的鲁棒性较差，泛化能力不足，尤其是在多声源或嘈杂的环境下，声源追踪的准确度不足。


技术实现要素：

4.本技术的多个方面提供一种声源追踪方法、装置、设备、系统及存储介质，用以提高声源追踪的准确度。
5.本技术实施例提供一种声源追踪方法，包括：
6.获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
7.基于所述声学信号流进行声源方位估计，以获得包含所述至少一个时间帧下声源方位信息的信息流；
8.将所述信息流转换为描述声源的方位分布状态的可视化数据；
9.根据所述可视化数据，进行声源追踪。
10.本技术实施例还提供一种声源追踪方法，包括：
11.在目标时段内的至少一个时间帧下，分别确定声源方位信息；
12.将所述至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
13.利用图像识别模型对所述图像流进行图像识别，以在所述目标时段内进行声源追踪。
14.本技术实施例还提供一种声源追踪装置，包括：
15.获取模块，用于获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
16.计算模块，用于基于所述声学信号流进行声源方位估计，以获得包含所述至少一个时间帧下声源方位信息的信息流；
17.转换模块，用于将所述信息流转换为描述声源的方位分布状态的可视化数据；
18.追踪模块，用于根据所述可视化数据，进行声源追踪。
19.本技术实施例还提供一种计算设备，包括存储器和处理器；
20.所述存储器用于存储一条或多条计算机指令；
21.所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
22.获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
23.基于所述声学信号流进行声源方位估计，以获得包含所述至少一个时间帧下声源方位信息的信息流；
24.将所述信息流转换为描述声源的方位分布状态的可视化数据；
25.根据所述可视化数据，进行声源追踪。
26.本技术实施例还提供一种声源追踪装置，包括：
27.确定模块，用于在目标时段内的至少一个时间帧下，分别确定声源方位信息；
28.转换模块，用于将所述至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
29.追踪模块，用于利用图像识别模型对所述图像流进行图像识别，以在所述目标时段内进行声源追踪。
30.本技术实施例还提供一种计算设备，包括存储器和处理器；
31.所述存储器用于存储一条或多条计算机指令；
32.所述处理器与所述存储器耦合，用于执行所述一条或多条计算机指令，以用于：
33.在目标时段内的至少一个时间帧下，分别确定声源方位信息；
34.将所述至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
35.利用图像识别模型对所述图像流进行图像识别，以在所述目标时段内进行声源追踪。
36.本技术实施例还提供一种声源追踪系统，包括：麦克风阵列和计算设备，所述麦克风阵列与所述计算设备通信连接；
37.所述麦克风阵列，用于采集声学信号；
38.所述计算设备，用于获取麦克风阵列在至少一个时间帧下采集到的声学信号流；基于所述声学信号流进行声源方位估计，以获得包含所述至少一个时间帧下声源方位信息的信息流；将所述信息流转换为描述声源的方位分布状态的可视化数据；根据所述可视化数据，进行声源追踪。
39.本技术实施例还提供一种存储计算机指令的计算机可读存储介质，当所述计算机指令被一个或多个处理器执行时，致使所述一个或多个处理器执行前述的声源追踪方法。
40.在本技术实施例中，可对麦克风阵列在至少一个时间帧下采集到的声学信号流进行声学方位估计，以分别确定至少一个时间帧下的声学方位信息，将包含声源方位信息的信息流转换为描述声源的方位分布状态的可视化数据，并基于可视化数据，进行声源追踪。这样，本技术实施例中，颠覆了传统的从声学信号处理层面进行声源追踪的方式，而是从可视化分析层面进行声源追踪。而由于本实施例中，可视化数据可准确、全面地反映出声源的方位分布状态，这保证了可视化分析的基础的准确性、全面性，规避了鲁棒性问题；而且，在可视化分析过程中，分析的视野可覆盖更多的时间帧，因此，可发现视野内的噪声，从而避免噪声干扰；据此，本技术实施例中，可有效提高声源追踪的准确度，且可提高对各种复杂环境的适应性。
附图说明
41.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本申
请的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
42.图1为本技术一示例性实施例提供的一种声源追踪方法的流程示意图；
43.图2为本技术一示例性实施例提供的一种声源追踪方案的逻辑示意图；
44.图3为本技术一示例性实施例提供的一种声源方位信息的示意；
45.图4为本技术一示例性实施例提供的一种声源的方位分布热力图的示意图；
46.图5为本技术一示例性实施例提供的一种声源追踪装置的结构示意图；
47.图6为本技术又一示例性实施例提供的一种计算设备的结构示意图；
48.图7为本技术一示例性实施例提供的另一种声源追踪方法的流程图；
49.图8为本技术一示例性实施例提供的另一种声源追踪装置的结构示意图；
50.图9为本技术一示例性实施例提供的另一种计算设备的结构示意图；
51.图10为本技术一示例性实施例提供的一种声源追踪系统的结构示意图。
具体实施方式
52.为使本技术的目的、技术方案和优点更加清楚，下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
53.针对现有声源追踪方案存在的鲁棒性较差，泛化能力不足等技术问题，本技术实施例的一些实施例中：可将包含声源方位信息的信息流转换为描述声源的方位分布状态的可视化数据，并基于可视化数据，进行声源追踪。这颠覆了传统的从声学信号处理层面进行声源追踪的方式，而是从可视化分析层面进行声源追踪。据此，本技术实施例中，可有效提高声源追踪的准确度，且可提高对各种复杂环境的适应性。
54.以下结合附图，详细说明本技术各实施例提供的技术方案。
55.图1为本技术一示例性实施例提供的一种声源追踪方法的流程示意图。图2为本技术一示例性实施例提供的一种声源追踪方案的逻辑示意图。本实施例提供的声源追踪方法可以由一声源追踪装置来执行，该声源追踪装置可以实现为软件或实现为软件和硬件的组合，该声源追踪装置可集成设置在计算设备中。如图1所示，该方法包括：
56.步骤100、获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
57.步骤101、基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下声源方位信息的信息流；
58.步骤102、将信息流转换为描述声源的方位分布状态的可视化数据；
59.步骤103、根据可视化数据，进行声源追踪。
60.本实施提供的声源追踪方法可应用于各种场景中，例如，语音控制场景、音视频会议场景或其它需要进行声源追踪的场景，本实施例中对应用场景不做限定。在不同的应用场景中，本实施例提供的声源追踪方法可集成设置在各式各样的场景设备中，例如，在语音控制场景下，场景设备可以是智能音箱、智能机器人等，在音视频会议场景下，场景设备可以是各类会议终端等。
61.本实施例中，在步骤100中，可采用麦克风阵列进行声学信号流的采集。麦克风阵列可以是由多个阵元组成的一组阵列，本实施例对麦克风阵列中阵元的数量不做限定。本
实施例对麦克风阵列的排列方式也不做限定，麦克风阵列可以是环形阵列、线性阵列、平面阵列或者立体形态阵列等等。在不同的应用场景中，麦克风阵列可按需装配在各种类型的场景设备中。
62.麦克风阵列的信号采集过程通常是一个持续性的过程，因此，本实施例中可以声学信号流的形式进行后续处理。
63.本实施例中，可基于识别精度，在单个识别时段内选取至少一个时间帧，并以单个时间帧作为处理单位。其中，单个识别时段的长度与识别精度适配，例如，识别精度为1s，也即是每1s示出一次声源追踪结果，则单个识别时段的长度可设定为1s，则步骤100中，单次可获取1s内的至少一个时间帧下的声学信号形成的声学信号流作为后续步骤的处理对象。在实际应用中，不同的应用场景下，可在目标时段内按需进行至少一个时间帧的选取。例如，在声学信号变化较小的情况下，可在目标时段内，采用跳帧或者变化帧率抽样的方式选取出至少一个时间帧。当然，在大多数情况下，可选取目标时段内所有的时间帧，本实施例对此不作限定。
64.本实施例中，时间帧的帧长可根据实际请求进行配置，例如，单个时间帧的帧长可配置为20ms。另外，识别时段内至少一个时间帧的数量也可按需进行设定，例如，若识别时段为1s，可在识别标时段内选取3个时间帧，这样，根据基于这3个时间帧进行目标时段下的声源追踪。当然，本实施例中时间帧的帧长及识别时段下的时间帧数量均不限于此。另外，识别时段下的不同时间帧的帧长也可不完全相同，本实施例对此均不做限定。
65.基于此，本实施例提供的声源追踪方法可应用于实时地声源追踪场景，也可应用于离线的声源追踪场景，按照识别精度，接续地在各识别时段内进行声源追踪。
66.实际应用中，可利用麦克风阵列中的各阵元分别采集时域信号，以麦克风阵列中包含m个阵元为例，可在至少一个时间帧下采集到m路时域信号流，作为步骤100中的声学信号流。
67.参考图1和图2，在步骤101中，可基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下声源方位信息的信息流。
68.本实施例中，可采用声源方位估计技术对声学信号流进行信号处理，以分别确定至少一个时间帧下的声源方位信息。其中，声源方位信息用于表征时间帧下声源的方位数据。本实施例中，方位数据可以是声源处于各方位的置信度，这样，声源方位信息中至少可包含时间帧下声源处于各方位的置信度。其中，本实施例中，可按实际需要配置声源方位信息中涉及到的各方位，例如，可为麦克风阵列的全周配置360个方位、120个方位、60个方位等等。当然，也可为麦克风阵列非全周，例如，正面180
°
范围，配置180个方位等，本实施例对此均不做限定。
69.图3为本技术一示例性实施例提供的一种声源方位信息的示意图。在图3中将声源方位信息进行了可视化，但应当理解的是，图3仅是为了便于对声源方位信息进行说明，而这不应造成对本实施例中声源方位信息的数据形式的限定。实际应用中，声源方位信息可以是【1、3、5、60、70、80、90、80、70、
…
、0】等任何其它可被计算设备理解的数据形式，在该示例中，【】中的每个数字可分别表示声源处于360个方位上的置信度。
70.另外，在步骤101中，以时间帧为单位进行声源方位信息的确定。承接前文中提及的，步骤100中获取到的是至少一个时间帧下m个阵元各自采集到的声学信号流，这里，步骤
101中，可以时间帧为单位，对m个阵元在该时间帧下采集到的声学信号进行声源方位估计，从而确定在该时间帧下的声源方位信息。
71.在一种可选的实现方式中，可将各阵元采集到的时域信号流分别转换时频域信号；采用声源方位估计技术，根据各阵元下的时频域信号，确定至少一个时间帧下的声源方位信息。
72.在该实现方式下，以至少一个时间帧中的目标时间帧为例，其中，目标时间帧可以是至少一个时间帧中的任意一个。可将目标时间帧下各阵元采集到的时域信号转换为时频域信号。例如，可将时域信号进行子带分解，以获得时频域信号，子带分解的过程可基于端时傅里叶变换和/或滤波器组等实现，在此不做限定。据此，可获得目标时间帧下各阵元对应的时频域信号。
73.在此基础上，可对目标时间帧下各阵元对应的时频域信号，进行声源方位估计，以输出目标时间帧下的声源方位信息。其中，声源方位估计技术包括但不限于可控波束响应相位变换技术srp-phat(steered response power-phase transform)、广义互相关相位变换技术gcc-phat(generalized cross correlation phase transformation)或多重信号分类技术music(multiple signal classification)等。声源方位估计的原理可以是：根据麦克风阵列中不同麦克风在同一时间采集到的声学信号，分别计算声源的方位范围，再根据多个方位范围估计声源方位。当然，这仅是示例性的，本实施例并不限于此。本实施例对采用的声源方位估计技术不做限定，也不再对各类声源方位估计技术的处理过程进行赘述。
74.另外，本实施例中，基于声学信号流还可采用其它实现方式进行声源方位估计，本实施例并不限于上述的实现方式。
75.据此，可获得一信息流，该信息流中包含至少一个时间帧下的声源方位信息。
76.参考图1和图2，在此基础上，步骤102中，可将信息流转换为描述声源的方位分布状态的可视化数据。
77.本实施例中，声源方位信息中可包含时间、方位等维度的描述信息，基于此，可将声源方位信息转换为方位分布状态的描述信息。例如，声源方位信息中可包含声源位于不同方位上的置信度，则可将置信度转换为适配的显示亮度，不同方位上的显示亮度即作为方位分布状态的描述信息。值得说明的是，在进行可视化数据的转换过程中，并未丢失声源方位信息中的任何内容，而仅是转换了声源方位信息的表示形式，这可保证本实施例中的可视化数据准确、全面地描述声源的方位分布状态。
78.其中，可视化数据可以是声源的方位分布热力图。承接上例，在将声源位于不同方位上的置信度转换为适配的显示亮度后，可获得时间帧下各方位上的显示亮度，从而从时间帧、方位和显示亮度三个维度确定出声源的方位分布热力图。
79.当然，本实施例中，可视化数据并不限于此，例如，可视化数据还可以是用于表征至少一个时间帧下声源方位信息的三维立体图，实际应用中，可通过将至少一个时间帧对应的图3中的声源方位信息的显示曲线进行按时间排列，以获得三维立体图。
80.本实施例中，可将信息流转换为各种形式的可视化数据。在可视化过程中，可全面保留各声源方位信息，从而，在步骤102中，可在声源追踪的过程中，从声学信号处理层面转换到可视化处理层面。
81.而在步骤103中，可根据可视化数据，进行声源追踪。其中，本实施例中，对于声源的数量不做限定，声源的数量可以是一个或多个。
82.据此，本实施例中，可通过对可视化数据进行可视化分析，来追踪至少一个时间帧内声源，从而将声学信号处理问题转换为可视化分析问题。由于本实施例中，可视化数据可准确、全面地反映出声源的方位分布状态，这保证了可视化分析的基础的准确性、全面性，避免了鲁棒性问题；而且，在可视化分析过程中，分析的视野可覆盖更多的时间帧，而不再局限在单个时间帧，因此，可发现视野内的噪声，从而避免噪声干扰。这可有效规避传统的声学信号处理过程中存在的鲁棒性差、泛化能力不足等缺点。
83.据此，本实施例中，可将包含声源方位信息的信息流转换为描述声源的方位分布状态的可视化数据，并基于可视化数据，进行声源追踪。这颠覆了传统的从声学信号处理层面进行声源追踪的方式，而是从可视化分析层面进行声源追踪。据此，本技术实施例中，可有效提高声源追踪的准确度，且可提高对各种复杂环境的适应性。
84.在上述或下述实施例中，可将信息流转换为至少一个时间帧下声源的方位分布热力图，作为追踪至少一个时间帧内声源的依据。其中，方位分布热力图用于描述在所述至少一个时间帧下声源在不同方位上的分布热度。
85.在本实施例中，声源方位信息中包含声源处于各方位的置信度。在此基础上，可基于置信度与显示亮度之间的对应关系，根据至少一个时间帧下的声源处于各方位的置信度，在至少一个时间帧下分别确定各方位对应的显示亮度；根据显示亮度，生成至少一个时间帧下声源的方位分布热力图；不同显示亮度表征不同的分布热度。
86.实际应用中，置信度越高，对应的显示亮度可以越高，表征的分布热度越高。当然，本实施例并不限于此，置信度越高，显示亮度也可以越低。但通常，置信度和显示亮度之间可成正比，以通过显示亮度准确体现置信度。
87.图4为本技术一示例性实施例提供的一种声源的方位分布热力图的示意图。参考图4，热力图的纵轴为时间帧，横轴为方位。图4中，至少一个时间帧的数量为800，方位的数量配置为120个，用于表征麦克风阵列的全周空间。
88.在一种可选的实现方式中，可根据至少一个时间帧下各方位对应的显示亮度，分别确定至少一个时间帧各自对应的图像内容；按照至少一个时间帧之间的时间顺序，依次排列至少一个时间帧各自对应的图像内容，以生成方位分布热力图。参考图4，每个时间帧下的声源方位信息可转换为热力图中的一条横向，例如，第400帧的声源方位信息，可转换为热力图中的直线y＝400，且该直线上与各方位对应的像素点的显示亮度为根据相应的置信度而确定的。置信度越高的像素点对应的显示亮度越亮。例如，结合图3中示出的声源方位信息的示意图，图3中的波峰位置对应的置信度最高，转换到热力图中，该波峰位置对应的方位上的显示亮度最亮。
89.当然，本实施例中，还可采用其它实现方式生成方位分布热力图，例如，可根据至少一个时间帧下的声源方位信息，获取不同时间帧在目标方位存在声源的置信度，从而确定目标方位上各时间帧对应的显示亮度，以生成目标方位对应的图像内容，其中，目标方位可以是各方位中的任意一个。这可获得各方位对应的图像内容，从而可按照方位顺序，依次排列各方位对应的图像内容，以生成方位分布热力图。本实施例对生成方位分布热力图的方式不做限定。
90.据此，本实施例中，可将至少一个时间帧下的声源方位信息转换为声源的方位分布热力图。而且，在转换过程中保留了声源方位信息中的全部内容，这为可视化分析过程提供了准确的分析基础，从而可保证追踪结果的准确度。
91.在上述或下述实施例中，可利用机器学习模型以及可视化数据，进行声源追踪。
92.本实施例中，无论是何种形式的可视化数据，均可利用机器学习模型进行可视化分析，以进行声源追踪。实际应用中，对于不同形式的可视化数据，可选用不同类型的机器学习模型，并可采用与数据形式相适配模型训练方式，以提高机器学习模型的性能。
93.以下还是以热力图为例，对可视化分析过程进行说明。
94.本实施例中，在机器学习模型中，可提取方位分布热力图中的图像特征；基于图像特征与声源属性参数之间的映射关系以及从方位分布热力图中提取到的图像特征，确定至少一个时间帧下的目标声源属性参数，以进行声源追踪。
95.其中，图像特征与声源属性参数之间的映射关系可通过模型训练，而配置到机器学习模型中。
96.一种示例性的模型训练过程也可以是：
97.获取若干样本时间帧组各自对应的样本热力图；为各样本热力图标注声源属性参数，以获得各样本热力图对应的标注信息；将各样本热力图及其对应的标注信息输入机器学习模型，以供机器学习模型学习图像特征与声源属性参数之间的映射关系。
98.其中，样本时间帧中的时间帧数量可与步骤100中进行声学信号采集的至少一个时间帧的数量一致。也即是，模型训练过程和模型使用过程中的处理单位可保持一致。这样，在模型训练过程中，以样本时间帧组为单位进行标注，而在模型使用过程中则可同样数量级别的至少一个时间帧为单位进行追踪结果的输出。
99.本实施例中，声源属性参数包括方位、数量、发声时长和所覆盖时间帧中的一个或多个。据此，本实施例中，通过可视化分析后，机器学习模型可输出至少一个时间帧下声源数量、所处方位、发声时长以及所覆盖的时间帧等信息作为追踪结果。
100.在引入机器学习模型的情况下，本实施例中，将信息流转换为描述声源的方位分布状态的可视化数据的步骤，可在机器学习模型中执行，也可在机器学习模型之外执行。
101.在一种可能的实现方案中，在模型使用过程中，可在机器学习模型之外执行将信息流转换为描述声源的方位分布状态的可视化数据的过程，并可将可视化数据作为机器学习模型的输入参数。相应地，在模型训练过程中，可预先将样本时间帧组对应的信息流转换为样本热力图，作为模型训练的基础。
102.在另一种可能的实现方案中，在模型使用过程中，可将信息流输入机器学习模型；在机器学习模型中，将信息流转换为描述声源的方位分布状态的可视化数据。
103.在该实现方案中，可在机器学习模型中配置将信息流转换为描述声源的方位分布状态的可视化数据的功能模块，从而可将信息流作为机器学习模型的输入参数。而对机器学习模型来说，可在接收到信息流的情况下，将信息流转换为描述声源的方位分布状态的可视化数据，之后再进行可视化分析。
104.相应地，跟上一种实现方案的模型训练过程将存在细微差别。在该实现方案的模型训练过程中，可获取若样本时间帧组各自对应的样本信息流；为各样本信息流标注声源属性参数，以获得各样本信息流对应的标注信息；将各样本信息流及其对应的标注信息输
入机器学习模型，以供机器学习模型将各样本信息流转换为描述声源的方位分布状态的可视化数据并学习图像特征与声源属性参数之间的映射关系。
105.据此，本实施例中，通过足量的样本数据进行机器学习模型的训练后，可是机器学习模型学习到准确的图像特征与声源属性参数之间的映射关系。从而，可利用训练好的机器学习模型，对可视化数据进行可视化分析，以输出至少一个时间帧下的声源属性信息，从而基于声源属性信息追踪到发声的一个或多个声源。这种声源追踪方法可排除追踪过程中各种噪声干扰，不需要在单独执行寻找发生起始点的操作，而且可避免其它声学信号处理层面存在的不足。进而，可有效提高追踪结果的准确度，且可提高对各种复杂环境的适应性。
106.需要说明的是，上述实施例所提供方法的各步骤的执行主体均可以是同一设备，或者，该方法也由不同设备作为执行主体。比如，步骤101至步骤103的执行主体可以为设备a；又比如，步骤101和102的执行主体可以为设备a，步骤103的执行主体可以为设备b；等等。
107.另外，在上述实施例及附图中的描述的一些流程中，包含了按照特定顺序出现的多个操作，但是应该清楚了解，这些操作可以不按照其在本文中出现的顺序来执行或并行执行，操作的序号如101、102等，仅仅是用于区分开各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。
108.图5为本技术一示例性实施例提供的一种声源追踪装置的结构示意图。参考图5，该声源追踪装置包括：
109.获取模块50，用于获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
110.计算模块51，用于基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下声源方位信息的信息流；
111.转换模块52，用于将信息流转换为描述声源的方位分布状态的可视化数据；
112.追踪模块53，用于根据可视化数据，进行声源追踪。
113.在一可选实施例中，转换模块52在将信息流转换为描述声源的方位分布状态的可视化数据时，用于：
114.将信息流转换为至少一个时间帧下声源的方位分布热力图，方位分布热力图用于描述在所述至少一个时间帧下声源在不同方位上的分布热度。
115.在一可选实施例中，声源方位信息中包含声源处于各方位的置信度；转换模块52在将信息流转换为在至少一个时间帧下声源的方位分布热力图时，用于：
116.基于置信度与显示亮度之间的对应关系，根据至少一个时间帧下的声源处于各方位的置信度，在至少一个时间帧下分别确定各方位对应的显示亮度，不同显示亮度表征的分布热度不同；
117.根据显示亮度，生成至少一个时间帧下声源的方位分布热力图。
118.在一可选实施例中，转换模块52在根据显示亮度，生成至少一个时间帧下声源的方位分布热力图时，用于：
119.根据至少一个时间帧下各方位对应的显示亮度，分别确定至少一个时间帧各自对应的图像内容；
120.按照至少一个时间帧之间的时间顺序，依次排列至少一个时间帧各自对应的图像
内容，以生成方位分布热力图。
121.在一可选实施例中，追踪模块53在根据可视化数据，进行声源追踪时，用于：
122.利用机器学习模型以及可视化数据，进行声源追踪。
123.在一可选实施例中，若可视化数据为至少一个时间帧下声源的方位分布热力图，则追踪模块53在利用机器学习模型以及可视化数据，进行声源追踪时，用于：
124.在机器学习模型中，提取方位分布热力图中的图像特征；
125.基于图像特征与声源属性参数之间的映射关系以及从方位分布热力图中提取到的图像特征，确定至少一个时间帧下的目标声源属性参数，以进行声源追踪。
126.在一可选实施例中，声源属性参数包括方位、数量、发声时长和所覆盖时间帧中的一个或多个。
127.在一可选实施例中，追踪模块53还用于：
128.获取若干样本时间帧组各自对应的样本热力图，样本热力图用于描述在样本时间帧下声源在不同方位上的分布热度；
129.为各样本热力图标注声源属性参数，以获得各样本热力图对应的标注信息；
130.将各样本热力图及其对应的标注信息输入机器学习模型，以供机器学习模型学习图像特征与声源属性参数之间的映射关系。
131.在一可选实施例中，追踪模块53在将所述信息流转换为描述声源的方位分布状态的可视化数据时，用于：
132.将信息流输入机器学习模型；
133.在机器学习模型中，将信息流转换为描述声源的方位分布状态的可视化数据。
134.在一可选实施例中，追踪模块53还用于：
135.获取若样本时间帧组各自对应的样本信息流；
136.为各样本信息流标注声源属性参数，以获得各样本信息流对应的标注信息；
137.将各样本信息流及其对应的标注信息输入机器学习模型，以供机器学习模型将各样本信息流转换为描述声源的方位分布状态的可视化数据并学习图像特征与声源属性参数之间的映射关系。
138.在一可选实施例中，声学信号流包含麦克风阵列中各阵元采集到的时域信号流，计算模块51在基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下的声源方位信息的信息流时，用于：
139.将各阵元采集到的时域信号流分别转换时频域信号；
140.采用声源方位估计技术，根据各阵元下的时频域信号，确定至少一个时间帧下的声源方位信息。
141.在一可选实施例中，声源方位估计技术包括可控波束响应相位变换技术srp-phat、广义互相关相位变换技术gcc-phat或多重信号分类技术music中的一种或多种。
142.值得说明的是，上述关于声源追踪装置的各实施例中的技术细节，可参考前述声源追踪方法各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
143.图6为本技术又一示例性实施例提供的一种计算设备的结构示意图。如图6所示，该计算设备包括：存储器60和处理器61。
144.处理器61，与存储器60耦合，用于执行存储器60中的计算机程序，以用于：
145.获取麦克风阵列62在至少一个时间帧下采集到的声学信号流；
146.基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下声源方位信息的信息流；
147.将信息流转换为描述声源的方位分布状态的可视化数据；
148.根据可视化数据，进行声源追踪。
149.在一可选实施例中，处理器61在将信息流转换为描述声源的方位分布状态的可视化数据时，用于：
150.将信息流转换为至少一个时间帧下声源的方位分布热力图，方位分布热力图用于描述在所述至少一个时间帧下声源在不同方位上的分布热度。
151.在一可选实施例中，声源方位信息中包含声源处于各方位的置信度；处理器61在将信息流转换为在至少一个时间帧下声源的方位分布热力图时，用于：
152.基于置信度与显示亮度之间的对应关系，根据至少一个时间帧下的声源处于各方位的置信度，在至少一个时间帧下分别确定各方位对应的显示亮度，不同显示亮度表征的分布热度不同；
153.根据显示亮度，生成至少一个时间帧下声源的方位分布热力图。
154.在一可选实施例中，处理器61在根据显示亮度，生成至少一个时间帧下声源的方位分布热力图时，用于：
155.根据至少一个时间帧下各方位对应的显示亮度，分别确定至少一个时间帧各自对应的图像内容；
156.按照至少一个时间帧之间的时间顺序，依次排列至少一个时间帧各自对应的图像内容，以生成方位分布热力图。
157.在一可选实施例中，处理器61在根据可视化数据，进行声源追踪时，用于：
158.利用机器学习模型以及可视化数据，进行声源追踪。
159.在一可选实施例中，若可视化数据为至少一个时间帧下声源的方位分布热力图，则处理器61在利用机器学习模型以及可视化数据，进行声源追踪时，用于：
160.在机器学习模型中，提取方位分布热力图中的图像特征；
161.基于图像特征与声源属性参数之间的映射关系以及从方位分布热力图中提取到的图像特征，确定至少一个时间帧下的目标声源属性参数，以进行声源追踪。
162.在一可选实施例中，声源属性参数包括方位、数量、发声时长和所覆盖时间帧中的一个或多个。
163.在一可选实施例中，处理器61还用于：
164.获取若干样本时间帧组各自对应的样本热力图，样本热力图用于描述在样本时间帧下声源在不同方位上的分布热度；
165.为各样本热力图标注声源属性参数，以获得各样本热力图对应的标注信息；
166.将各样本热力图及其对应的标注信息输入机器学习模型，以供机器学习模型学习图像特征与声源属性参数之间的映射关系。
167.在一可选实施例中，处理器61在将所述信息流转换为描述声源的方位分布状态的可视化数据时，用于：
168.将信息流输入机器学习模型；
169.在机器学习模型中，将信息流转换为描述声源的方位分布状态的可视化数据。
170.在一可选实施例中，处理器61还用于：
171.获取若样本时间帧组各自对应的样本信息流；
172.为各样本信息流标注声源属性参数，以获得各样本信息流对应的标注信息；
173.将各样本信息流及其对应的标注信息输入机器学习模型，以供机器学习模型将各样本信息流转换为描述声源的方位分布状态的可视化数据并学习图像特征与声源属性参数之间的映射关系。
174.在一可选实施例中，声学信号流包含麦克风阵列中各阵元采集到的时域信号流，处理器61在基于声学信号流进行声源方位估计，以获得包含至少一个时间帧下的声源方位信息的信息流时，用于：
175.将各阵元采集到的时域信号流分别转换时频域信号；
176.采用声源方位估计技术，根据各阵元下的时频域信号，确定至少一个时间帧下的声源方位信息。
177.在一可选实施例中，声源方位估计技术包括可控波束响应相位变换技术srp-phat、广义互相关相位变换技术gcc-phat或多重信号分类技术music中的一种或多种。
178.值得说明的是，上述关于计算设备的各实施例中的技术细节，可参考前述声源追踪方法各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
179.进一步，如图6所示，该计算设备还包括：通信组件63、电源组件64等其它组件。图6中仅示意性给出部分组件，并不意味着计算设备只包括图6所示组件。
180.图7为本技术一示例性实施例提供的另一种声源追踪方法的流程图。本实施例提供的声源追踪方法可以由一声源追踪装置来执行，该声源追踪装置可以实现为软件或实现为软件和硬件的组合，该声源追踪装置可集成设置在计算设备中。如图7所示，该方法包括：
181.步骤700、在目标时段内的至少一个时间帧下，分别确定声源方位信息；
182.步骤701、将至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
183.步骤702、利用图像识别模型对图像流进行图像识别，以在目标时段内进行声源追踪。
184.其中，步骤700可参考图1关联的实施例中的相关描述。步骤701可进一步包括获取麦克风阵列在至少一个时间帧下采集到的声学信号流；基于声学信号流进行声源方位估计，以获得至少一个时间帧下声源方位信息。为节省篇幅，具体过程不再赘述。
185.步骤701中，可将至少一个时间帧下的声源方位信息，转换为至少一组图像数据。其中，图像数据可以是方位分布热力图，则步骤701中，可获得至少一张方位分布热力图，以形成图像流输入至图像识别模型。
186.基于步骤701，本实施提供的声源追踪方案可应用于实时追踪或离线追踪等场景。在离线追踪场景下，可一次性获得至少一个时间帧下声源方位信息，并按照识别精度，对至少一个时间帧下声源方位信息分组，从而按组执行将声学方位信息转换为图像数据的操作。
187.而在线追踪场景下，则可基于预设的识别精度，从至少一个时间帧中，确定位于当前识别时段内的目标时间帧；
188.将各目标时间帧下的声源方位信息，转换为描述当前识别时段内声源的方位分布状态的一组图像数据；
189.继续确定位于目标时段中的下一识别时段内的时间帧以及图像数据，直至产生目标时段内所有识别时段对应的图像数据。
190.在线追踪场景下，可随着声学信号的不断产生，接续地在各识别时段执行将声学方位信息转换为图像数据的操作。并接续地输入至步骤702中的图像识别模型。
191.例如，识别精度为1s，则可基于当前识别时段(1s)内的n个时间帧的声源方位信息，生成一张方位分布热力图，之后，再继续生成下一识别时段(1s)的方位分布热力图，以及接续地生成后续各识别时段的方位分布热力图，并流式地将各方位分布热力图提供给图像识别模型。
192.本实施例中，可预先训练图像识别模型。图像识别模型可采用机器学习模型，图像识别模型的训练过程可参考图1关联的实施例中的相关描述。
193.值得说明的是，识别精度在图像识别模型的训练阶段和应用阶段保持一致。
194.上述关于声源追踪方法的各实施例中的技术细节，可参考图1关联的声源追踪方法各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
195.图8为本技术一示例性实施例提供的另一种声源追踪装置的结构示意图。参考图8，该声源追踪装置包括：
196.确定模块80，用于在目标时段内的至少一个时间帧下，分别确定声源方位信息；
197.转换模块81，用于将至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
198.追踪模块82，用于利用图像识别模型对图像流进行图像识别，以在目标时段内进行声源追踪。在一可选实施例中，转换模块81在将至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流时，用于：
199.基于预设的识别精度，从至少一个时间帧中，确定位于当前识别时段内的目标时间帧；
200.将各目标时间帧下的声源方位信息，转换为描述当前识别时段内声源的方位分布状态的一组图像数据；
201.继续确定位于目标时段中的下一识别时段内的时间帧以及图像数据，直至产生目标时段内所有识别时段对应的图像数据，以形成图像流。
202.在一可选实施例中，确定模块80包括获取模块83和计算模块84；
203.获取模块83，用于获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
204.计算模块84，用于基于声学信号流进行声源方位估计，以获得至少一个时间帧下声源方位信息。
205.在一可选实施例中，转换模块81在将各目标时间帧下的声源方位信息，转换为描述当前识别时段内声源的方位分布状态的一组图像数据时，用于：
206.将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热
力图，方位分布热力图用于描述在至少一个时间帧下声源在不同方位上的分布热度。
207.在一可选实施例中，声源方位信息中包含声源处于各方位的置信度；转换模块81在将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图时，用于：
208.基于置信度与显示亮度之间的对应关系，根据至少一个时间帧下的声源处于各方位的置信度，在至少一个时间帧下分别确定各方位对应的显示亮度，不同显示亮度表征的分布热度不同；
209.根据显示亮度，生成至少一个时间帧下声源的方位分布热力图。
210.在一可选实施例中，转换模块81在根据显示亮度，生成至少一个时间帧下声源的方位分布热力图时，用于：
211.根据至少一个时间帧下各方位对应的显示亮度，分别确定至少一个时间帧各自对应的图像内容；
212.按照至少一个时间帧之间的时间顺序，依次排列至少一个时间帧各自对应的图像内容，以生成方位分布热力图。
213.在一可选实施例中，若图像数据为至少一个时间帧下声源的方位分布热力图，追踪模块82在利用图像识别模型对图像流进行图像识别，以在目标时段内进行声源追踪时，用于：
214.在图像识别模型中，提取方位分布热力图中的图像特征；
215.基于图像特征与声源属性参数之间的映射关系以及从方位分布热力图中提取到的图像特征，确定至少一个时间帧下的目标声源属性参数，以进行声源追踪。
216.在一可选实施例中，声源属性参数包括方位、数量、发声时长和所覆盖时间帧中的一个或多个。
217.在一可选实施例中，追踪模块82还用于：
218.获取若干样本时间帧组各自对应的样本热力图，样本热力图用于描述在样本时间帧下声源在不同方位上的分布热度；
219.为各样本热力图标注声源属性参数，以获得各样本热力图对应的标注信息；
220.将各样本热力图及其对应的标注信息输入图像识别模型，以供图像识别模型学习图像特征与声源属性参数之间的映射关系。
221.在一可选实施例中，追踪模块82在将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图时，用于：
222.将信息流输入图像识别模型；
223.在图像识别模型中，将将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图。
224.在一可选实施例中，追踪模块82还用于：
225.获取若样本时间帧组各自对应的样本信息流；
226.为各样本信息流标注声源属性参数，以获得各样本信息流对应的标注信息；
227.将各样本信息流及其对应的标注信息输入图像识别模型，以供图像识别模型将各样本信息流转换为描述声源的方位分布状态的可视化数据并学习图像特征与声源属性参数之间的映射关系。
228.在一可选实施例中，声学信号流包含麦克风阵列中各阵元采集到的时域信号流，计算模块84在基于声学信号流进行声源方位估计，以获得至少一个时间帧下的声源方位信息时，用于：
229.将各阵元采集到的时域信号流分别转换时频域信号；
230.采用声源方位估计技术，根据各阵元下的时频域信号，确定至少一个时间帧下的声源方位信息。
231.在一可选实施例中，声源方位估计技术包括可控波束响应相位变换技术srp-phat、广义互相关相位变换技术gcc-phat或多重信号分类技术music中的一种或多种。
232.值得说明的是，上述关于声源追踪装置的各实施例中的技术细节，可参考前述图1和图7关联的声源追踪方法各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
233.图9为本技术一示例性实施例提供的另一种计算设备的结构示意图，参考图9，该计算设备包括：存储器90和处理器91。
234.处理器91，与存储器90耦合，用于执行存储器90中的计算机程序，以用于：
235.在目标时段内的至少一个时间帧下，分别确定声源方位信息；
236.将至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流；
237.利用图像识别模型对图像流进行图像识别，以在目标时段内进行声源追踪。
238.在一可选实施例中，处理器91在将至少一个时间帧下的声源方位信息，转换为描述声源的方位分布状态的至少一组图像数据，以形成图像流时，用于：
239.基于预设的识别精度，从至少一个时间帧中，确定位于当前识别时段内的目标时间帧；
240.将各目标时间帧下的声源方位信息，转换为描述当前识别时段内声源的方位分布状态的一组图像数据；
241.继续确定位于目标时段中的下一识别时段内的时间帧以及图像数据，直至产生目标时段内所有识别时段对应的图像数据，以形成图像流。
242.在一可选实施例中，处理器91在目标时段内的至少一个时间帧下，分别确定声源方位信息时，用于：
243.获取麦克风阵列在至少一个时间帧下采集到的声学信号流；
244.基于声学信号流进行声源方位估计，以获得至少一个时间帧下声源方位信息。
245.在一可选实施例中，处理器91在将各目标时间帧下的声源方位信息，转换为描述当前识别时段内声源的方位分布状态的一组图像数据时，用于：
246.将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图，方位分布热力图用于描述在至少一个时间帧下声源在不同方位上的分布热度。
247.在一可选实施例中，声源方位信息中包含声源处于各方位的置信度；处理器91在将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图时，用于：
248.基于置信度与显示亮度之间的对应关系，根据至少一个时间帧下的声源处于各方位的置信度，在至少一个时间帧下分别确定各方位对应的显示亮度，不同显示亮度表征的
分布热度不同；
249.根据显示亮度，生成至少一个时间帧下声源的方位分布热力图。
250.在一可选实施例中，处理器91在根据显示亮度，生成至少一个时间帧下声源的方位分布热力图时，用于：
251.根据至少一个时间帧下各方位对应的显示亮度，分别确定至少一个时间帧各自对应的图像内容；
252.按照至少一个时间帧之间的时间顺序，依次排列至少一个时间帧各自对应的图像内容，以生成方位分布热力图。
253.在一可选实施例中，若图像数据为至少一个时间帧下声源的方位分布热力图，处理器91在利用图像识别模型对图像流进行图像识别，以在目标时段内进行声源追踪时，用于：
254.在图像识别模型中，提取方位分布热力图中的图像特征；
255.基于图像特征与声源属性参数之间的映射关系以及从方位分布热力图中提取到的图像特征，确定至少一个时间帧下的目标声源属性参数，以进行声源追踪。
256.在一可选实施例中，声源属性参数包括方位、数量、发声时长和所覆盖时间帧中的一个或多个。
257.在一可选实施例中，处理器91还用于：
258.获取若干样本时间帧组各自对应的样本热力图，样本热力图用于描述在样本时间帧下声源在不同方位上的分布热度；
259.为各样本热力图标注声源属性参数，以获得各样本热力图对应的标注信息；
260.将各样本热力图及其对应的标注信息输入图像识别模型，以供图像识别模型学习图像特征与声源属性参数之间的映射关系。
261.在一可选实施例中，处理器91在将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图时，用于：
262.将信息流输入图像识别模型；
263.在图像识别模型中，将将各目标时间帧下的声源方位信息转换为至少一个时间帧下声源的方位分布热力图。
264.在一可选实施例中，处理器91还用于：
265.获取若样本时间帧组各自对应的样本信息流；
266.为各样本信息流标注声源属性参数，以获得各样本信息流对应的标注信息；
267.将各样本信息流及其对应的标注信息输入图像识别模型，以供图像识别模型将各样本信息流转换为描述声源的方位分布状态的可视化数据并学习图像特征与声源属性参数之间的映射关系。
268.在一可选实施例中，声学信号流包含麦克风阵列中各阵元采集到的时域信号流，处理器91在基于声学信号流进行声源方位估计，以获得至少一个时间帧下的声源方位信息时，用于：
269.将各阵元采集到的时域信号流分别转换时频域信号；
270.采用声源方位估计技术，根据各阵元下的时频域信号，确定至少一个时间帧下的声源方位信息。
271.在一可选实施例中，声源方位估计技术包括可控波束响应相位变换技术srp-phat、广义互相关相位变换技术gcc-phat或多重信号分类技术music中的一种或多种。
272.值得说明的是，上述关于计算设备的各实施例中的技术细节，可参考前述图1及图7关联的声源追踪方法各实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
273.进一步，如图9所示，该计算设备还包括：通信组件93、电源组件94等其它组件。图9中仅示意性给出部分组件，并不意味着计算设备只包括图9所示组件。
274.相应地，本技术实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由计算设备执行的各步骤。
275.图10为本技术一示例性实施例提供的一种声源追踪系统的结构示意图。参考图10，该声源追踪系统可包括：麦克风阵列10和计算设备20，麦克风阵列10和计算设备20通信连接。
276.本实施例提供的声源追踪系统可应用于各种场景中，例如，语音控制场景、音视频会议场景或其它需要进行声源追踪的场景，本实施例中对应用场景不做限定。在不同的应用场景中，本实施例提供的声源追踪系统可集成部署在各式各样的场景设备中，例如，在语音控制场景下，可部署在是智能音箱、智能机器人中，在音视频会议场景下，可部署在各类会议终端中。
277.其中，麦克风阵列10可用于采集声学信号。本实施例中，对麦克风阵列10的阵元数量及排列形式等均不作限定。
278.关于计算设备涉及到的技术细节可参考图6和图9关联的实施例中的相关描述，为节省篇幅，在此不再赘述，但这不应造成对本技术保护范围的损失。
279.上述图6和图9中的存储器，用于存储计算机程序，并可被配置为存储其它各种数据以支持在计算平台上的操作。这些数据的示例包括用于在计算平台上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
280.上述图6和图9中的通信组件，被配置为便于通信组件所在设备和其他设备之间有线或无线方式的通信。通信组件所在设备可以接入基于通信标准的无线网络，如wifi，2g、3g、4g/lte、5g等移动通信网络，或它们的组合。在一个示例性实施例中，通信组件经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
281.上述图6和图9中的电源组件，为电源组件所在设备的各种组件提供电力。电源组件可以包括电源管理系统，一个或多个电源，及其他与为电源组件所在设备生成、管理和分配电力相关联的组件。
282.本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实
施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
283.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
284.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
285.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
286.在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
287.内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
288.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
289.还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
290.以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。