基于视频和音频的目标轨迹标定方法、装置和计算机设备与流程

技术特征：
1.一种基于视频和音频的目标轨迹标定方法，其特征在于，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定方法包括：通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；分别对各所述音频数据所包含的声音做vad算法识别，得到若干个声源；基于两个第一子麦克风对相同的所述声源对应的声音的接收时间之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹。2.根据权利要求1所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述第一相对位置关系包括第一距离和第一角度，所述根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系的步骤，包括：计算所述第一角度的余角；调取所述基准子麦克风与所述摄像设备之间的直线距离，并将所述第一角度的余角、所述直线距离和所述第一距离代入计算公式中，得到第二距离，其中，所述计算公式为：a2＝b2 c2‑
2bc
×
cosβ，b为所述第一距离，c为所述直线距离，β为所述第一角度的余角，a为所述第二距离，表征所述摄像设备与所述声源之间的距离；根据所述第一角度和所述第一距离，通过余弦定理公式计算得到所述基准子麦克风与所述声源之间的垂直距离；根据所述第二距离和所述垂直距离，通过余弦定理公式，计算得到所述摄像设备与所述声源之间的第二角度，其中，所述摄像设备与所述声源之间的垂直距离与所述基准子麦克风与所述声源之间的垂直距离的值相同；按照上述规则计算得到各所述声源与所述摄像设备之间分别对应的第二距离和第二角度，生成各所述第二相对位置关系。3.根据权利要求1所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述分别对各所述音频数据所包含的声音做vad算法识别，得到若干个声源的步骤，包括：分别对各所述音频数据所包含的声音做vad算法识别，得到若干个人声声源以及其他类型声源；对各所述人声声源进行标记编号，并对各所述其他类型声源进行分贝值检测，将分贝值在分贝阈值以下的第一其他类型声源隐藏，同时对分贝值在所述分贝阈值以上的第二其他类型声源进行标记编号。4.根据权利要求3所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述对分贝值在所述分贝阈值以上的第二其他类型声源进行标记编号的步骤，包括：将各所述第二其他类型声源分别对应的声音输入预先训练的声音类型识别模型进行识别，得到各所述第二其他类型声源分别对应的声音类型；
将所述声音类型作为标记信息，分别对各所述第二其他类型声源进行标记编号。5.根据权利要求1所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹的步骤，包括：分别以所述视频数据和各所述音频数据的采集时刻为基准进行时间同步，定位各所述声源在所述视频数据中的出现时间；通过gps定位方法采集所述摄像设备的所述第一运动轨迹，并以所述第一运动轨迹为位置参照，根据各所述声源分别对应的所述出现时间以及各所述第二相对位置关系，构建得到各所述声源分别相对于所述第一运动轨迹的所述第二运动轨迹。6.根据权利要求1所述的基于视频和音频的目标轨迹标记方法，其特征在于，所述根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹的步骤之后，包括：分别以不同颜色的线条构建各所述第二运动轨迹，并将各个颜色与各所述声源之间的对应关系进行记录形成对应信息；根据所述第一运动轨迹、所述对应信息以及各所述第二运动轨迹生成轨迹分布图，并将所述轨迹分布图输出到显示界面。7.根据权利要求6所述的基于视频和音频的目标轨迹标定方法，其特征在于，所述根据所述第一运动轨迹、所述对应信息以及各所述第二运动轨迹生成轨迹分布图，并将所述轨迹分布图输出到显示界面的步骤，包括：调取三维地图，将所第一运动轨迹标示在所述三维地图上；以所述第一运动轨迹为位置参照，分别将各所述第二运动轨迹标示在所述三维地图上，并在所述三维地图上加注所述对应信息以及各所述第二运动轨迹的出现时刻和结束时刻，形成所述轨迹分布图；将所述轨迹分布图输出到显示界面。8.一种基于视频和音频的目标轨迹标定装置，其特征在于，所述视频由摄像设备采集，所述音频由麦克风阵列采集，所述麦克风阵列由多个子麦克风组成，所述麦克风阵列部署在所述摄像设备上，所述目标轨迹标定装置包括：采集模块，用于通过所述摄像设备采集视频数据，并通过所述麦克风阵列采集多个音频数据；识别模块，用于分别对各所述音频数据所包含的声音做vad算法识别，得到若干个声源；计算模块，用于基于两个第一子麦克风对相同的所述声源对应的声音的接收时间之差，以及两个所述第一子麦克风之间的部署位置，计算得到各所述声源与基准子麦克风之间的第一相对位置关系，所述基准子麦克风为两个所述第一子麦克风中的任意一个；转换模块，用于根据所述基准子麦克风在所述摄像设备上的部署位置，以及各所述声源分别对应的所述第一相对位置关系，转换得到各所述声源与所述摄像设备之间的第二相对位置关系；构建模块，用于根据所述视频数据与各所述音频数据的采集时间，所述摄像设备的第一运动轨迹，以及各所述第二相对位置关系，构建各所述声源分别对应的第二运动轨迹。
9.一种计算机设备，包括存储器和处理器，所述存储器中存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

技术总结
本申请提供了一种基于视频和音频的目标轨迹标定方法、装置和计算机设备，摄像设备上部署有麦克风阵列，可以根据各个声源对应的声音到各个子麦克风之间的时间差计算得到各个声源与基准子麦克风之间的第一相对位置关系。再借由基准子麦克风与摄像设备之间的部署位置关系，通过位置转换得到各个声源相对于摄像设备之间的第二位置关系。因此，即使声源没有出现在摄像设备的拍摄视界内，只要声源发出的声音可以被麦克风阵列接收到，即可通过基准子麦克风与摄像设备之间的部署位置关系，确定声源相对于摄像设备之间的位置关系。再以视频数据和各个音频数据的采集时间为时间基准，以摄像设备的第一运动轨迹为位置参数，从而标定各个声源的第二运动轨迹。个声源的第二运动轨迹。个声源的第二运动轨迹。


技术研发人员：郑勇 张缤 戴志涛
受保护的技术使用者：深圳市沃特沃德信息有限公司
技术研发日：2021.08.04
技术公布日：2021/12/13