基于声音定位的目标跟踪方法、电子设备及可读存储介质与流程

1.本技术涉及目标跟踪技术领域，尤其涉及一种基于声音定位的目标跟踪方法、电子设备及可读存储介质。


背景技术：

2.随着互联网的高速发展，智慧教育系统和远程课堂终端设备业务迅速膨胀，在教学录播时对发言者的精准定位和跟踪特写的要求也越来越高。
3.目前在教学录播过程中，为了更好的展示授课情况，通常需要对讲台区域的发言者进行目标特写跟踪，往往采取通过可见光相机对发言者进行定位的方式，达到目标跟踪的目的，然而这样的方式在当学生上讲台发言时，不仅不能够快速定位到学生，而且还容易出现假人误检的情况，从而导致目标跟踪的准确度较低。


技术实现要素：

4.本技术的主要目的在于提供一种基于声音定位的目标跟踪方法、电子设备及可读存储介质，旨在解决现有技术中目标跟踪的准确性较低的技术问题。
5.为实现上述目的，本技术提供一种基于声音定位的目标跟踪方法，所述基于声音定位的目标跟踪方法包括：获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪。
6.可选地，所述获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象的步骤包括：获取所述讲台区域的可见光图像，通过目标检测得到所述可见光图像下的各人脸检测框、各人头检测框和各人身检测框；将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得到各可见光检测框；获取所述讲台区域的红外图像，通过目标检测得到所述红外图像下的各行人检测框；对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象。
7.可选地，所述对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象的步骤包括：对各所述可见光检测框和各所述行人检测框进行相似度匹配，得到第一匹配代价矩阵；
获取所述第一匹配代价矩阵中的第一最优匹配代价值，将所述第一最优匹配代价值作为第一匹配结果；依据所述第一匹配结果，确定对应的各目标可见光检测框和各目标行人检测框，将所述目标可见光检测框与目标行人检测框内共同的目标行人作为所述活体对象。
8.可选地，所述将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得到各可见光检测框的步骤包括：将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果；将各所述人头检测框与各所述人身检测框进行匹配，得到第三匹配结果；依据所述第二匹配结果和所述第三匹配结果，进行多框合并，得到所述可见光检测框。
9.可选地，所述将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果的步骤包括：对各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到第二匹配代价矩阵；获取所述第二匹配代价矩阵中的第二最优匹配代价值，将所述第二最优匹配代价值作为所述第二匹配结果。
10.可选地，所述采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置的步骤包括：通过麦克风阵列模块采集各所述音频信号；对各所述音频信号进行增强处理，得到与各所述音频信号对应的拾音波束；依据各所述拾音波束的声学参数，定位所述目标声源位置。
11.可选地，所述依据各所述拾音波束的声学参数，定位所述目标声源位置的步骤包括：获取各所述拾音波束的接收时间，依据各所述接收时间，确定各所述拾音波束的接收先后顺序；依据所述接收先后顺序，确定水平目标声源方位；依据所述水平目标声源方位，定位所述目标声源位置。
12.本技术还提供一种基于声音定位的目标跟踪装置，所述基于声音定位的目标跟踪装置应用于基于声音定位的目标跟踪设备，所述基于声音定位的目标跟踪装置包括：活体检测模块，用于获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；声源定位模块，用于采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；目标跟踪模块，用于依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪。
13.可选地，所述活体检测模块还用于：获取所述讲台区域的可见光图像，通过目标检测得到所述可见光图像下的各人脸检测框、各人头检测框和各人身检测框；将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得
到各可见光检测框；获取所述讲台区域的红外图像，通过目标检测得到所述红外图像下的各行人检测框；对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象。
14.可选地，所述活体检测模块还用于：对各所述可见光检测框和各所述行人检测框进行相似度匹配，得到第一匹配代价矩阵；获取所述第一匹配代价矩阵中的第一最优匹配代价值，将所述第一最优匹配代价值作为第一匹配结果；依据所述第一匹配结果，确定对应的各目标可见光检测框和各目标行人检测框，将所述目标可见光检测框与目标行人检测框内共同的目标行人作为所述活体对象。
15.可选地，所述活体检测模块还用于：将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果；将各所述人头检测框与各所述人身检测框进行匹配，得到第三匹配结果；依据所述第二匹配结果和所述第三匹配结果，进行多框合并，得到所述可见光检测框。
16.可选地，所述活体检测模块还用于：对各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到第二匹配代价矩阵；获取所述第二匹配代价矩阵中的第二最优匹配代价值，将所述第二最优匹配代价值作为所述第二匹配结果。
17.可选地，所述活体检测模块还用于：对各所述人头检测框与各所述人身检测框进行重叠度匹配和相似度匹配，得到第三匹配代价矩阵；获取所述第三匹配代价矩阵中的第三最优匹配代价值，将所述第三最优匹配代价值作为所述第三匹配结果。
18.可选地，所述声源定位模块还用于：通过麦克风阵列模块采集各所述音频信号；对各所述音频信号进行增强处理，得到与各所述音频信号对应的拾音波束；依据各所述拾音波束的声学参数，定位所述目标声源位置。
19.可选地，所述声源定位模块还用于：获取各所述拾音波束的接收时间，依据各所述接收时间，确定各所述拾音波束的接收先后顺序；依据所述接收先后顺序，确定水平目标声源方位；依据所述水平目标声源方位，定位所述目标声源位置。
20.本技术还提供一种电子设备，所述电子设备为实体设备，所述电子设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述基于声音定位的目标跟踪方法的程序，所述基于声音定位的目标跟踪方法的程序被处理器执行时可实现如上述
的基于声音定位的目标跟踪方法的步骤。
21.本技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有实现基于声音定位的目标跟踪方法的程序，所述基于声音定位的目标跟踪方法的程序被处理器执行时实现如上述的基于声音定位的目标跟踪方法的步骤。
22.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于声音定位的目标跟踪方法的步骤。
23.本技术提供了一种基于声音定位的目标跟踪方法、电子设备及可读存储介质，与现有技术中通过可见光相机对发言者进行定位从而进行目标跟踪的方式相比，本技术首先获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪，克服了因可见光相机进行目标跟踪导致的在当学生上讲台发言时，不仅不能够快速定位到学生，而且还容易出现假人误检的情况，从而导致目标跟踪的准确性较低的技术缺陷，所以，提高了目标跟踪的准确性。
附图说明
24.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
25.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
26.图1为本技术基于声音定位的目标跟踪方法第一实施例的流程示意图；图2为本技术基于声音定位的目标跟踪方法的整体流程图；图3为本技术基于声音定位的目标跟踪方法涉及的装置示意图；图4为本技术实施例中基于声音定位的目标跟踪方法涉及的硬件运行环境的设备结构示意图。
27.本技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
28.为使本技术的上述目的、特征和优点能够更加明显易懂，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其它实施例，均属于本技术保护的范围。
29.目前在教学录播过程中，为了更好的展示授课情况，通常需要对讲台区域的发言者进行目标特写跟踪，往往采取通过可见光相机对发言者进行定位的方式，达到目标跟踪的目的，然而这样的方式在当学生上讲台发言时，不仅不能够快速定位到学生，而且还容易出现假人误检的情况，从而导致目标跟踪的准确度较低。
30.本技术实施例提供一种基于声音定位的目标跟踪方法，在本技术基于声音定位的
目标跟踪方法的第一实施例中，参照图1，所述基于声音定位的目标跟踪方法包括：步骤s10，获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；步骤s20，采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；步骤s30，依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪。
31.在本实施例中，需要说明的是，所述活体对象是通过活体检测得到的真人对象，其中，所述活体检测是指通过检测算法检测视频或者图像中的人物是否为真人活体，可以通过可见光图像和红外图像结合的方式进行活体检测；所述声学参数可以为麦克风接收所述音频信号的时间差、所述音频信号的频率、所述音频信号的功率等等。
32.作为一种示例，步骤s10至步骤s30包括：首先通过对包含整个教室区域的视频图像进行区域划分，得到学生区域图像与所述讲台区域图像，其中，区域划分的方式可以通过先进行人头检测得到目标人头的坐标信息，再对所述坐标信息进行线性拟合得到分隔直线，依据分隔直线对所述视频图像进行区域划分，从而得到所述学生区域和所述讲台区域，接着通过对所述讲台区域进行活体检测，得到各活体对象，如图2的流程图所示，其中，所述活体检测可以先获取所述讲台区域的可见光图像和红外图像，通过将所述可见光图像和所述红外图像进行目标配准，从而过滤掉假人，得到各所述活体对象；采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置，其中，所述声音信号的采集可以通过所述麦克风阵列获取得到，依据所述声音信号确定与所述声音信号对应的目标拾音波束，依据所述目标拾音波束的水平指向角度，确定所述目标声源位置；依据所述目标声源位置，确定与所述目标声源位置对应的目标跟踪对象，并对所述目标跟踪对象进行目标特写跟踪，其中，所述目标特写跟踪可以通过电子变倍进行，所述电子变倍是指放大视频或者图像的像素从而达到对目标进行特写跟踪的目的。
33.作为一种示例，获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象包括：通过预设人头检测模型，对所述视频图像进行头部检测，得到各目标头部的坐标点，其中，该预设人头检测模型可以为yolo（you only look once）系列模型，优选yolov5模型，yolov5模型具备检测速度快，检测精度高的特点，进行人头检测的检测模型在此不做限制，可根据实际情况进行选择，该坐标点可以为平面坐标点和三维坐标点；从各坐标点中获取各目标横坐标，可以设定学生面向讲台的方向为横轴方向，选择横坐标最大的人头位置，也即选择离讲台最近的人头坐标作为后续进行直线拟合的各目标坐标点，并过滤掉离群点，接着可以通过最小二乘法对各目标坐标点进行拟合，得到拟合直线，依据拟合直线，对所述视频图像进行区域划分，得到所述学生区域图像和所述讲台区域图像；其中，所述获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象的步骤包括：步骤s11，获取所述讲台区域的可见光图像，通过目标检测得到所述可见光图像下的各人脸检测框、各人头检测框和各人身检测框；在本实施例中，需要说明的是，所述目标检测包括人头检测、人脸检测以及人身检测；所述人头检测框可以为能够包括人体头部完整图像且具有最小面积的矩形框，用于标
记所述目标对象的人头，所述人脸检测框可以为能够包括人脸完整图像且具有最小面积的矩形框，用于标记所述目标对象的人脸，所述人身检测框可以为能够包括人体全身完整图像且具有最小面积的矩形框，用于标记所述目标对象的身体。
34.作为一种示例，步骤s11包括：通过可见光镜头拍摄达到所述可见光图像，通过人头检测得到所述人头检测框，通过人脸检测得到所述人脸检测框，通过人身检测得到所述人身检测框，其中，进行所述目标检测的检测模型同样可以为yolov5检测模型。
35.步骤s12，将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得到各可见光检测框；步骤s13，获取所述讲台区域的红外图像，通过目标检测得到所述红外图像下的各行人检测框；步骤s14，对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象。
36.作为一种示例，步骤s12至步骤s14包括：通过多类框合并策略，将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行重叠度匹配和相似度匹配，依据重叠度匹配结果和相似度匹配结果进行多框合并，得到合并后的可见光检测框；通过红外镜头拍摄获取所述讲台区域的红外图像，通过目标检测得到所述红外图像下的行人检测框；对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象，其中，所述目标匹配可以为相似度匹配，并可以选择马氏距离作为相似度匹配指标，依据目标匹配后得到的所述第一匹配结果，确定各所述活体对象。
37.其中，所述对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对象的步骤包括：步骤s141，对各所述可见光检测框和各所述行人检测框进行相似度匹配，得到第一匹配代价矩阵；步骤s142，获取所述第一匹配代价矩阵中的第一最优匹配代价值，将所述第一最优匹配代价值作为第一匹配结果；步骤s143，依据所述第一匹配结果，确定对应的各目标可见光检测框和各目标行人检测框，将所述目标可见光检测框与目标行人检测框内共同的目标行人作为所述活体对象。
38.在本实施例中，需要说明的是，所述相似度匹配是指图像之间的相似程度，其中，一个好的距离度量方法能够更好的体现图像之间的相似度，距离度量是指多维空间中两个点之间的距离，距离度量方法可以为欧氏距离、马氏距离、汉明距离、曼哈顿距离、切比雪夫距离等等，在本技术中主要使用马氏距离进行相似度匹配的测量指标。
39.作为一种示例，步骤s141至步骤s143包括：对各所述可见光检测框和各所述行人检测框进行相似度匹配，得到第一匹配代价矩阵，其中，可以使用四维平方马氏距离作为相似度匹配指标，四维是指框中心坐标、框宽度和框高度，首先获取可见光检测框的四维数值以及红外图像下行人检测框的四维数值，将两组四位数值分别对应求差得到四组差值，将该四组差值与预设权重值输入目标匹配函数，得到所述第一匹配代价矩阵；获取所述第一匹配代价矩阵中的第一最优匹配代价值，将所述第一最优匹配代价值作为第一匹配结果，其中，所述第一匹配代价矩阵中至少包含一个匹配代价值，该匹配代价值用于表征所述可
见光检测框与所述行人检测框进行匹配时，损失的代价值，匹配代价值越小，损失越小，匹配度越高，也即选择的所述第一最优匹配代价值为所述匹配代价矩阵中最小的匹配代价值；依据所述第一匹配结果，确定匹配度最高的所述目标可见光检测框和所述目标行人检测框，将所述目标可见光检测框与目标行人检测框内共同的目标行人作为所述活体对象。
40.在一种可实施的方式中，所述目标匹配函数如下：其中，表示所述第一匹配代价矩阵，表示可见光图像检测到的第个行人目标，表示红外图像检测到的第个行人目标，定义为第个可见光检测目标与第个红外检测目标的 四 维平方马氏距离，表示可见光图像检测目标的四维平方马氏距离，表示红外图像检测目标的四维平方马氏距离，表示权重，，，表示平均行人宽度。
41.其中，所述将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得到各可见光检测框的步骤包括：步骤s121，将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果；步骤s122，将各所述人头检测框与各所述人身检测框进行匹配，得到第三匹配结果；步骤s123，依据所述第二匹配结果和所述第三匹配结果，进行多框合并，得到所述可见光检测框。
42.作为一种示例，步骤s121至步骤s123包括：将各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到第二匹配结果，其中，所述第二匹配结果可以为第一重叠度匹配结果；将各所述人头检测框与各所述人身检测框进行重叠度匹配和相似度匹配，得到第三匹配结果，其中，可以将第二重叠度匹配结果和相似度匹配结果共同作为所述第三匹配结果；依据各所述人脸检测框与各所述人头检测框的第二匹配结果，以及各所述人头检测框与各所述人身检测框的第三匹配结果，进行各所述人脸检测框、各所述人头检测框和各所述人身检测框之间的多框合并，从而得到所述可见光检测框，其中，可以根据所述第二匹配结果和所述第三匹配结果进行分类检测，检测所述第二匹配结果是否超过预设人头阈值，以及检测所述第三匹配结果是否超过预设行人阈值，从而判定所述可见光检测框中人头、人脸和人身的存在。
43.例如，假设人头设定阈值为0.5，若目标阈值超过0.5，则判断所述第一目标匹配结
果中有人头、有人脸、无行人；假设人头设定阈值为0.3，若目标阈值超过0.3，则判断所述第一目标匹配结果中有人头、有人脸、有行人；假设人身设定阈值为0.5，若目标阈值超过0.5，则判断所述第一目标匹配结果中无人头、有人脸、有行人；假设人身设定阈值为0.7，若目标阈值超过0.7，则判断所述第一目标匹配结果中无人头、无人脸、有行人。
44.其中，所述将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果的步骤包括：步骤s1211，对各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到第二匹配代价矩阵；步骤s1212，获取所述第二匹配代价矩阵中的第二最优匹配代价值，将所述第二最优匹配代价值作为所述第二匹配结果。
45.在本实施例中，需要说明的是，所述重叠度匹配又称iou（intersection over union）匹配，指目标预测边界框和真实边界框的交集和并集的比值，即目标预测边界框与真实边界框的重叠度，iou的定义是为了衡量物体定位精度的一种标准，也可用于多框匹配时的衡量指标。
46.作为一种示例，步骤s1211至步骤s1212包括：对各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到iou值，检测该iou值是否小于预设iou阈值，若大于或等于，则判定当前进行匹配的人脸检测框与人头检测框的匹配是合理的，将该iou值作为匹配代价元素，若小于，则判定当前进行匹配的人脸检测框与人头检测框的匹配是不合理的，对该iou值进行过滤，将最终得到的各iou值输入头脸匹配函数中，输出所述第二匹配代价矩阵；获取所述第二匹配代价矩阵中的第二最优匹配代价值，将所述第二最优匹配代价值作为所述第二匹配结果，其中，所述第二最优匹配代价值的表征含义与步骤s142中的第一最优匹配代价值的表征含义一致，在此不再赘述。
47.在一种可实施的方式中，所述头脸匹配函数如下：在一种可实施的方式中，所述头脸匹配函数如下：其中，表示第个人脸框，表示第个人头框，表示iou阈值，为第二匹配代价矩阵,表示所述人脸框的集合，表示所述人头框的集合。
48.其中，所述将各所述人头检测框与各所述人身检测框进行匹配，得到第三匹配结果的步骤包括：步骤s1221，对各所述人头检测框与各所述人身检测框进行重叠度匹配和相似度匹配，得到第三匹配代价矩阵；步骤s1222，获取所述第三匹配代价矩阵中的第三最优匹配代价值，将所述第三最优匹配代价值作为所述第三匹配结果。
49.作为一种示例，步骤s1221至步骤s1222包括：对各所述人头检测框与各所述人身检测框的上1/3人身检测框进行重叠度匹配和相似度匹配，得到第三匹配代价矩阵，其中，所述相似度匹配采用马氏距离作为匹配指标做进一步限制，保证了匹配的精确度，将预设权重值、重叠度匹配值以及相似度匹配值输入头身匹配函数，输出所述第三匹配代价矩阵，当重叠度匹配值小于0或者马氏距离大于平均人头宽度时，判定此时的人头检测框与人身检测框匹配不合理，需进行过滤，当重叠度匹配值大于等于0或者马氏距离小于等于平均人头宽度时，判定此时的人头检测框与人身检测框匹配合理，将所述重叠度匹配值与所述相似度匹配值的和作为第三匹配代价元素，并将得到的各第三匹配代价元素共同组成所述第三匹配代价矩阵；获取所述第三匹配代价矩阵中的第三最优匹配代价值，将所述第三最优匹配代价值作为所述第三匹配结果，同理，所述第三最优匹配代价值的表征含义与步骤s142中的第一最优匹配代价值的表征含义一致，在此不再赘述。
50.在一种可实施的方式中，所述头身匹配函数如下：在一种可实施的方式中，所述头身匹配函数如下：其中，表示所述第三匹配代价矩阵，表示第个上1/3人框，表示所述人头框的集合，表示所述人身框的集合，表示平均人头宽度。
51.其中，所述采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置的步骤包括：步骤s21，通过麦克风阵列模块采集各所述音频信号；步骤s22，对各所述音频信号进行增强处理，得到与各所述音频信号对应的拾音波束；步骤s23，依据各所述拾音波束的声学参数，定位所述目标声源位置。
52.在本实施例中，需要说明的是，所述麦克风阵列指的是麦克风的排列，也就是说由一定数目的声学传感器(一般是麦克风)组成，用来对声场的空间特性进行采样并处理的系统，其中，本实施例涉及的多个麦克风构成的阵列结构具体是由6个麦克风构成的同心圆结构的阵列结构；所述拾音波束是指单一声音拾取单元拾取声音的范围。
53.作为一种示例，步骤s21至步骤s23包括：通过麦克风阵列模块采集所述讲台区域内的各所述音频信号，并对所述音频信号进行预处理，其中，所述预处理可以包括采样、预加重、分帧以及加窗预处理，同时对所述讲台区域之外的范围进行声音抑制，也即对学生区域内的声音以及非人声进行噪声抑制和屏蔽；对各所述音频信号进行增强处理，进一步提
升了所述声音信号的质量，得到与各所述音频信号对应的拾音波束；依据各所述拾音波束，计算出各所述拾音波束中功率值最大的目标拾音波束，通过确定所述目标拾音波束的位置，从而确定所述目标声源位置。
54.其中，所述依据各所述拾音波束的声学参数，定位所述目标声源位置的步骤包括：步骤s231，获取各所述拾音波束的接收时间，依据各所述接收时间，确定各所述拾音波束的接收先后顺序；步骤s232，依据所述接收先后顺序，确定水平目标声源方位；步骤s233，依据所述水平目标声源方位，定位所述目标声源位置。
55.作为一种示例，步骤s231至步骤s233包括：依据各所述声音信号，获取麦克风阵列接收各所述拾音波束的时间，依据各所述拾音波束的接收时间，确定所述接收先后顺序，并根据所述接受先后顺序确定目标声源；依据所述接收先后顺序，将最先被接收到的拾音波束作为目标拾音波束，确认所述目标拾音波束对应的水平指向角度，从而进一步确定与所述水平指向角度对应的水平目标声源方位；依据所述水平目标声源方位和麦克风阵列设备的安装距离，计算出所述麦克风阵列设备与所述水平目标声源方位之间的夹角，依据所述夹角定位所述目标声源位置。
56.本技术提供了一种基于声音定位的目标跟踪方法，与现有技术中通过可见光相机对发言者进行定位从而进行目标跟踪的方式相比本技术首先获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪，克服了因可见光相机进行目标跟踪导致的在当学生上讲台发言时，不仅不能够快速定位到学生，而且还容易出现假人误检的情况，从而导致目标跟踪的准确性较低的技术缺陷，所以，提高了目标跟踪的准确性。
57.本技术实施例还提供一种基于声音定位的目标跟踪装置，所述基于声音定位的目标跟踪装置应用于基于声音定位的目标跟踪设备，参照图3，所述基于声音定位的目标跟踪装置包括：活体检测模块10，用于获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；声源定位模块20，用于采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；目标跟踪模块30，用于依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪。
58.可选地，所述活体检测模块10还用于：获取所述讲台区域的可见光图像，通过目标检测得到所述可见光图像下的各人脸检测框、各人头检测框和各人身检测框；将各所述人脸检测框、各所述人头检测框和各所述人身检测框进行多框合并，得到各可见光检测框；获取所述讲台区域的红外图像，通过目标检测得到所述红外图像下的各行人检测框；对各所述可见光检测框和各所述行人检测框进行目标匹配，得到各所述活体对
象。
59.可选地，所述活体检测模块10还用于：对各所述可见光检测框和各所述行人检测框进行相似度匹配，得到第一匹配代价矩阵；获取所述第一匹配代价矩阵中的第一最优匹配代价值，将所述第一最优匹配代价值作为第一匹配结果；依据所述第一匹配结果，确定对应的各目标可见光检测框和各目标行人检测框，将所述目标可见光检测框与目标行人检测框内共同的目标行人作为所述活体对象。
60.可选地，所述活体检测模块10还用于：将各所述人脸检测框与各所述人头检测框进行匹配，得到第二匹配结果；将各所述人头检测框与各所述人身检测框进行匹配，得到第三匹配结果；依据所述第二匹配结果和所述第三匹配结果，进行多框合并，得到所述可见光检测框。
61.可选地，所述活体检测模块10还用于：对各所述人脸检测框与各所述人头检测框进行重叠度匹配，得到第二匹配代价矩阵；获取所述第二匹配代价矩阵中的第二最优匹配代价值，将所述第二最优匹配代价值作为所述第二匹配结果。
62.可选地，所述活体检测模块10还用于：对各所述人头检测框与各所述人身检测框进行重叠度匹配和相似度匹配，得到第三匹配代价矩阵；获取所述第三匹配代价矩阵中的第三最优匹配代价值，将所述第三最优匹配代价值作为所述第三匹配结果。
63.可选地，所述声源定位模块20还用于：通过麦克风阵列模块采集各所述音频信号；对各所述音频信号进行增强处理，得到与各所述音频信号对应的拾音波束；依据各所述拾音波束的声学参数，定位所述目标声源位置。
64.可选地，所述声源定位模块20还用于：获取各所述拾音波束的接收时间，依据各所述接收时间，确定各所述拾音波束的接收先后顺序；依据所述接收先后顺序，确定水平目标声源方位；依据所述水平目标声源方位，定位所述目标声源位置。
65.本技术提供的基于声音定位的目标跟踪装置，采用上述实施例中的基于声音定位的目标跟踪方法，解决了目标跟踪的准确性较低的技术问题。与现有技术相比，本技术实施例提供的基于声音定位的目标跟踪装置的有益效果与上述实施例提供的基于声音定位的目标跟踪方法的有益效果相同，且该基于声音定位的目标跟踪装置中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
66.本技术实施例提供一种电子设备，电子设备包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令
被至少一个处理器执行，以使至少一个处理器能够执行上述实施例一中的基于声音定位的目标跟踪方法。
67.下面参考图4，其示出了适于用来实现本公开实施例的电子设备的结构示意图。本公开实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图4示出的电子设备仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。
68.如图4所示，电子设备可以包括处理装置（例如中央处理器、图形处理器等），其可以根据存储在只读存储器（rom）中的程序或者从存储装置加载到随机访问存储器（ram）中的程序而执行各种适当的动作和处理。在ram中，还存储有电子设备操作所需的各种程序和数据。处理装置、rom以及ram通过总线彼此相连。输入/输出（i/o）接口也连接至总线。
69.通常，以下系统可以连接至i/o接口：包括例如触摸屏、触摸板、键盘、鼠标、图像传感器、麦克风、加速度计、陀螺仪等的输入装置；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置；包括例如磁带、硬盘等的存储装置；以及通信装置。通信装置可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图中示出了具有各种系统的电子设备，但是应理解的是，并不要求实施或具备所有示出的系统。可以替代地实施或具备更多或更少的系统。
70.特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置从网络上被下载和安装，或者从存储装置被安装，或者从rom被安装。在该计算机程序被处理装置执行时，执行本公开实施例的方法中限定的上述功能。
71.本技术提供的电子设备，采用上述实施例中的基于声音定位的目标跟踪方法，解决了目标跟踪的准确性较低的技术问题。与现有技术相比，本技术实施例提供的电子设备的有益效果与上述实施例提供的基于声音定位的目标跟踪方法的有益效果相同，且该电子设备中的其他技术特征与上述实施例方法公开的特征相同，在此不做赘述。
72.应当理解，本公开的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式的描述中，具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
73.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以所述权利要求的保护范围为准。
74.本实施例提供一种计算机可读存储介质，具有存储在其上的计算机可读程序指令，计算机可读程序指令用于执行上述实施例一中的违规行为检测的方法。
75.本技术实施例提供的计算机可读存储介质例如可以是u盘，但不限于电、磁、光、电磁、红外线、或半导体的系统、系统或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、
便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、系统或者器件使用或者与其结合使用。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
76.上述计算机可读存储介质可以是电子设备中所包含的；也可以是单独存在，而未装配入电子设备中。
77.上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被电子设备执行时，使得电子设备：获取目标教室区域的讲台区域图像，识别所述讲台区域图像中的至少一个活体对象；采集各所述活体对象的音频信号，依据各所述音频信号的声学参数，定位目标跟踪对象所处的目标声源位置；依据所述目标声源位置，对所述目标跟踪对象进行目标特写跟踪。
78.可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
79.附图中的流程图和框图，图示了按照本技术各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
80.描述于本公开实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块的名称在某种情况下并不构成对该单元本身的限定。
81.本技术提供的计算机可读存储介质，存储有用于执行上述基于声音定位的目标跟踪方法的计算机可读程序指令，解决了目标跟踪的准确性较低的技术问题。与现有技术相比，本技术实施例提供的计算机可读存储介质的有益效果与上述实施例提供的基于声音定位的目标跟踪方法的有益效果相同，在此不做赘述。
82.本技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述的基于声音定位的目标跟踪方法的步骤。
83.本技术提供的计算机程序产品解决了目标跟踪的准确性较低的技术问题。与现有技术相比，本技术实施例提供的计算机程序产品的有益效果与上述实施例提供的基于声音
定位的目标跟踪方法的有益效果相同，在此不做赘述。
84.以上仅为本技术的优选实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利处理范围内。