基于声强定位和光学突触传感的智能目标识别方法及装置与流程
本发明涉及目标识别,尤其涉及基于声强定位和光学突触传感的智能目标识别方法及装置。
背景技术:
1、在现代城市安防、建筑施工现场监控以及森林火灾监测等应用场景中,目标识别与异常事件检测是核心需求。传统的监控系统主要依赖于光学摄像头进行视觉目标检测。然而,若采用单一的视觉传感器在低光照(如夜间)、强逆光或复杂天气条件下,视觉传感器的成像质量会急剧下降,若将低成像质量的图像通过目标检测算法进行目标检测时,导致目标检测的准确率大幅降低。
技术实现思路
1、本发明实施例提供了基于声强定位和光学突触传感的智能目标识别方法及装置,旨在解决现有技术中目标检测系统采用单一的视觉传感器在较差光照或天气条件下采集到低成像质量的图像进行目标检测,易导致准确率大幅降低的问题。
2、第一方面,本发明实施例提供了一种基于声强定位和光学突触传感的智能目标识别方法,其包括:
3、获取由声强定位传感器模块采集的当前环境声音信号且确定相应的当前声音事件检测结果对应于存在异常声音事件,则获取由光学突触传感器模块针对所述当前环境声音信号所对应的声源区域采集的当前声源图像;
4、将所述当前环境声音信号对应的当前声学特征向量与所述当前声源图像的当前光学特征图基于预设的跨模态注意力机制进行融合,得到当前多模态融合特征向量;
5、将所述当前多模态融合特征向量输入至预训练的多模态目标分类器,得到当前分类结果;
6、若确定所述当前分类结果中当前目标类别的当前联合置信度超出预设的置信度,则生成与所述当前目标类别对应的当前告警执行策略;其中,所述当前告警执行策略用于被云台接收且执行后对所述当前声源进行相应跟踪处理。
7、在一可能的实施例中,所述获取由声强定位传感器模块采集的当前环境声音信号且确定相应的当前声音事件检测结果对应于存在异常声音事件,则获取由光学突触传感器模块针对所述当前环境声音信号所对应的声源区域采集的当前声源图像,包括:
8、获取由所述声强定位传感器模块采集的当前环境声音信号,并基于预训练的异常声音事件检测模型对所述当前环境声音信号进行检测,得到当前声音事件检测结果;
9、若确定所述当前声音事件检测结果对应于存在异常声音事件,则确定所述当前环境声音信号所对应的当前声源在所述光学突触传感器模块的图像坐标下的当前声学感兴趣区域;
10、基于预设的自适应感光调整策略获取所述光学突触传感器模块针对所述当前声学感兴趣区域的当前感光采集参数,并获取所述光学突触传感器模块在所述当前感光采集参数下对所述当前声学感兴趣区域采集得到的当前声源图像。
11、在一可能的实施例中,所述确定所述当前环境声音信号所对应的当前声源在光学突触传感器模块的图像坐标下的当前声学感兴趣区域,包括:
12、基于预设的声强梯度策略确定所述声强定位传感器模块的多个麦克风中各麦克风之间的声压级差值;
13、基于预设的最大似然估计策略及所述声强定位传感器模块中各麦克风之间的声压级差值,确定所述当前声源相对于所述声强定位传感器模块的当前方向角和当前仰角;
14、基于预设的声强衰减策略、所述当前方向角和所述当前仰角,确定所述当前声源相对于所述声强定位传感器模块的当前声源距离,并对应转换为当前三维球坐标;
15、基于声学坐标系与图像坐标系之间预设的坐标系映射关系,将所述当前三维球坐标转换成所述当前声学感兴趣区域。
16、在一可能的实施例中,所述基于预设的自适应感光调整策略获取所述光学突触传感器模块针对所述当前声学感兴趣区域的当前感光采集参数,包括:
17、获取当前光照强度值,并基于所述自适应感光调整策略获取与所述当前光照强度值对应的当前光照条件判定结果;
18、若确定所述当前光照条件判定结果为正常光照条件,则基于所述自适应感光调整策略生成与所述光学突触传感器模块对应的标准感光模式调节指令,并作为所述当前感光采集参数;
19、若确定所述当前光照条件判定结果为低光照条件,则基于所述自适应感光调整策略生成与所述光学突触传感器模块对应的低光增强模式调节指令,并作为所述当前感光采集参数;
20、若确定所述当前光照条件判定结果为强光照条件,则基于所述自适应感光调整策略生成与所述光学突触传感器模块对应的高动态范围处理模式调节指令,并作为所述当前感光采集参数。
21、在一可能的实施例中,在所述将所述当前环境声音信号对应的当前声学特征向量与所述当前声源图像的当前光学特征图基于预设的跨模态注意力机制进行融合,得到当前多模态融合特征向量的步骤之前,还包括:
22、对所述当前环境声音信号进行短时傅里叶变换并提取得到梅尔频率倒谱系数、声强谱特征及时频特征,以组成所述当前声学特征向量;
23、基于预训练的特征金字塔网络对所述当前声源图像提取特征,得到所述当前光学特征图。
24、在一可能的实施例中,所述将所述当前环境声音信号对应的当前声学特征向量与所述当前声源图像的当前光学特征图基于预设的跨模态注意力机制进行融合,得到当前多模态融合特征向量,包括:
25、通过所述跨模态注意力机制将所述当前声学特征向量作为查询且将所述当前光学特征图作为键值对,获取所述当前声学特征向量对所述当前光学特征图的注意力权重,并对应生成声学注意力图;
26、基于所述声学注意力图与所述当前光学特征图确定当前加权光学特征;
27、将所述当前声学特征向量与所述当前加权光学特征进行全连接,得到所述当前多模态融合特征向量。
28、在一可能的实施例中,所述将所述当前多模态融合特征向量输入至预训练的多模态目标分类器,得到当前分类结果,包括:
29、将所述当前多模态融合特征向量输入至所述多模态目标分类器中进行处理,得到目标类别概率分布、声学置信度和光学置信度,以组成所述当前分类结果;
30、在所述将所述当前多模态融合特征向量输入至预训练的多模态目标分类器,得到当前分类结果的步骤之后,还包括:
31、获取与所述声学置信度及所述光学置信度分别对应的动态权重参数并相应进行加权求和,得到与所述当前分类结果对应的当前联合置信度。
32、在一可能的实施例中,所述生成与所述当前目标类别对应的当前告警执行策略,包括:
33、基于预设的分级告警生成策略确定所述当前目标类别对应的当前分级告警类型,并获取与所述当前分级告警类型对应的所述当前告警执行策略。
34、第二方面,本发明实施例还提供了一种基于声强定位和光学突触传感的智能目标识别方法,应用于智能目标识别装置,所述智能目标识别装置包括声强定位传感器模块、光学突触传感器模块和处理器,所述声强定位传感器模块和所述光学突触传感器模块均与所述处理器通信连接;方法包括:
35、所述声强定位传感器模块若采集到当前环境声音信号则发送至所述处理器;
36、所述处理器获取所述当前环境声音信号,并在确定相应的当前声音事件检测结果对应于存在异常声音事件,则获取针对所述当前环境声音信号的声源区域;
37、所述光学突触传感器模块采集所述声源区域的当前声源图像,并发送至所述处理器;
38、所述处理器将所述当前环境声音信号对应的当前声学特征向量与所述当前声源图像的当前光学特征图基于预设的跨模态注意力机制进行融合,得到当前多模态融合特征向量;
39、所述处理器将所述当前多模态融合特征向量输入至预训练的多模态目标分类器,得到当前分类结果;
40、所述处理器若确定所述当前分类结果中当前目标类别的当前联合置信度超出预设的置信度,则生成与所述当前目标类别对应的当前告警执行策略;其中,所述当前告警执行策略用于被云台接收且执行后对所述当前声源进行相应跟踪处理。
41、第三方面,本发明实施例还提供了一种基于声强定位和光学突触传感的智能目标识别装置,其包括用于执行如上述第一方面或其任意可能的实施例中所述的方法的单元。
42、第四方面,本发明实施例还提供了一种基于声强定位和光学突触传感的智能目标识别装置,其包括声强定位传感器模块、光学突触传感器模块和处理器,所述声强定位传感器模块和所述光学突触传感器模块均与所述处理器通信连接;所述基于声强定位和光学突触传感的智能目标识别装置用于执行如上述第二方面所述的方法。
43、第五方面,本发明实施例还提供了一种计算机设备,其包括存储器及处理器,所述存储器上存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面、与第一方面对应的任意可能的实施例或第二方面所述的方法。
44、第六方面,本发明实施例还提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时可实现第一方面、与第一方面对应的任意可能的实施例或第二方面所述的方法。
45、本发明实施例提供了基于声强定位和光学突触传感的智能目标识别方法及装置,方法包括:获取由声强定位传感器模块采集的当前环境声音信号且确定相应的当前声音事件检测结果对应于存在异常声音事件,则获取由光学突触传感器模块针对所述当前环境声音信号所对应的声源区域采集的当前声源图像;将所述当前环境声音信号对应的当前声学特征向量与所述当前声源图像的当前光学特征图基于预设的跨模态注意力机制进行融合,得到当前多模态融合特征向量;将所述当前多模态融合特征向量输入至预训练的多模态目标分类器,得到当前分类结果;若确定所述当前分类结果中当前目标类别的当前联合置信度超出预设的置信度,则生成与所述当前目标类别对应的当前告警执行策略。本发明实施例能将声强定位传感器模块采集的当前环境声音信号进行识别和定位的结果作为空间先验信息指导光学突触传感器模块采集声源图像,光学识别结果又与声学分类结果在特征层进行跨模态注意力融合进行更精准的分类,提高了当前声源的目标检测结果的准确率。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com