一种基于视觉识别与定向声波的智能鼠害防治监控方法及系统与流程

本发明涉及监控设备，特别涉及一种基于视觉识别与定向声波的智能鼠害防治监控方法及系统。

背景技术：

1、随着家庭、仓库、餐饮场所等环境中智能监控设备的普及，利用监控设备对鼠类目标进行自动检测和防治逐渐成为鼠患防治技术的发展方向。传统的鼠患防治方式主要包括捕鼠夹、粘鼠板、捕鼠笼等物理捕鼠方式，投放鼠药等化学防治方式以及超声波驱鼠方式。物理捕鼠方式通常依赖鼠类主动进入或者触发捕鼠装置，且需要人工进行后续清理；采用鼠药进行灭鼠时，存在儿童或者宠物误食的风险，并可能出现鼠类死亡于隐蔽位置而难以清理的问题；常规超声波驱鼠装置通常采用较大范围或者全向的声波输出方式，对特定鼠类目标缺乏精确定位和跟踪能力，并且长期采用固定或相近的声波参数时，其持续作用效果容易受到影响。

2、目前已经出现将图像识别、监控设备与鼠患防治相结合的技术方案。例如，中国实用新型专利cn219698853u公开了一种“基于识别训练的数据中心机房灭鼠系统”，其通过图像采集和识别对鼠类目标进行检测，并结合轨迹计算、云台以及相应的致盲、致晕装置对鼠类目标进行处理。该方案能够提高数据中心机房环境下鼠类目标检测和处理的自动化程度，但其主要面向数据中心机房应用环境，并采用热成像及相应定向作用装置，在家庭、餐饮场所等具有人员、宠物频繁活动以及家具、电器较多的环境中，仍有进一步提高通用性、目标跟踪精度以及作用过程安全控制能力的需要。

3、又例如，中国发明专利cn108259830b公开了一种“基于云服务器的鼠患智能监控系统和方法”，通过鼠患信息采集设备和云服务器对鼠患情况进行监控、分析和管理，能够提高鼠患监控的信息化和远程管理能力。然而，该类技术方案主要侧重于鼠患信息的监测、统计和管理，在检测到鼠类目标后，尚缺乏根据鼠类目标的实时运动状态进行持续锁定、未来位置预测以及定向主动干预的完整闭环控制过程。

4、再例如，中国发明专利申请cn113229270a公开了“一种新型驱鼠方法”，采用相应的驱鼠方式对鼠类进行驱离。现有声学驱鼠技术虽然能够减少传统化学药剂或者机械捕鼠装置的使用，但其主要目的通常在于使鼠类离开特定区域，声波作用方向、作用对象以及参数与目标实时状态之间缺乏精确对应关系，难以针对运动中的单一鼠类目标进行持续锁定、超前瞄准以及定向声束控制。

5、因此，现有技术至少仍存在以下不足：一方面，现有鼠类智能监控系统中的目标检测、目标跟踪以及后续作用装置之间的协同程度仍有提高空间，在鼠类快速移动、短暂遮挡或者多个鼠类目标同时出现时，容易影响目标的持续锁定和准确跟踪；另一方面，现有技术通常根据鼠类目标当前所在位置进行处理，没有充分考虑图像处理延迟、执行机构响应延迟以及作用介质传播延迟对移动目标瞄准位置的影响；此外，现有声波驱鼠装置通常缺乏根据目标距离、运动速度和目标状态动态调整声波参数的能力，也缺乏在声波发射前和发射过程中对人员、宠物、目标遮挡状态以及发射模块状态进行综合判定的发射窗口控制机制。

6、因此，有必要提供一种基于视觉识别与定向声波的智能鼠害防治监控系统及方法，以提高对鼠类目标的检测、锁定、跟踪和未来位置预测能力，并使定向声波发射与目标状态、声束路径安全状态以及发射模块工作状态相配合，从而实现更加完整的闭环监控和定向作用控制。

技术实现思路

1、针对现有技术存在的问题，本发明提供一种基于视觉识别与定向声波的智能鼠害防治监控方法及系统。

2、为了实现上述目的，本发明提供一种基于视觉识别与定向声波的智能鼠害防治监控方法，包括以下步骤：

3、s1、通过可见光监控摄像头采集监控区域的视频图像，并对所述视频图像进行实时目标检测；

4、s2、对所述视频图像中的目标进行类别识别，获得目标类别、目标置信度、目标边界框及骨架关键点，当识别出的鼠类目标的目标置信度达到预设检测阈值且在连续n帧视频图像中均检测到所述鼠类目标时，确认所述鼠类目标并进入跟踪状态；

5、s3、根据所述鼠类目标的边界框几何参数、骨架关键点、视觉外观特征及运动特征构建所述鼠类目标的形态特征，对连续视频图像中的鼠类目标进行目标关联，并基于卡尔曼滤波对所述鼠类目标的运动状态进行估计和预测，获得所述鼠类目标的运动轨迹及未来时刻的预测位置，并获取所述鼠类目标的目标距离；所述目标距离由飞行时间传感器获取，或者根据经标定的摄像头参数及目标空间几何关系确定；

6、s4、根据所述鼠类目标的目标置信度、目标距离、目标运动状态、定向声波的声束路径安全状态、声波发射方向与目标方向之间的角度误差、目标遮挡状态以及定向声波发射模块的工作状态进行发射窗口判定，当各项发射条件均满足时生成发射许可；

7、s5、根据所述鼠类目标的预测位置以及从视频图像处理至声波到达目标位置的时间延迟，控制云台带动所述定向声波发射模块转动，使所述定向声波发射模块的发射方向指向所述鼠类目标在未来时刻的预测位置；

8、s6、根据所述鼠类目标的目标距离和运动速度确定声波发射参数，通过参量阵换能器阵列形成具有指向性的声束，并按照所述声波发射参数向所述鼠类目标的预测位置定向发射声波；

9、s7、声波发射后继续获取所述鼠类目标的视频图像，根据所述鼠类目标发射后的运动状态和姿态状态对声波作用结果进行评估；当所述声波作用结果达到预设作用条件时停止发射，当所述声波作用结果未达到所述预设作用条件且所述发射窗口再次满足时，在预设最大发射次数范围内再次进行定向声波发射；

10、s8、在执行步骤s4至步骤s7的过程中，对所述声束路径进行人员和宠物检测，当检测到人员或宠物进入所述声束路径时，禁止或中断声波发射。

11、优选地，在步骤s2中：

12、当检测出的鼠类目标的目标置信度p大于或等于预设检测阈值p0且连续n帧视频图像均检测到所述鼠类目标时，确认所述鼠类目标；

13、根据所述鼠类目标的尺寸比例、长宽比、运动速度、运动间歇性特征以及连续帧检测一致性中的多种特征进行误报过滤；

14、通过热释电红外传感器和飞行时间传感器中的至少一种获取候选鼠类目标的辅助验证信息；当采用所述热释电红外传感器时，获取候选鼠类目标对应的红外响应信息，以辅助判断其是否具有活体目标对应的红外响应特征；当采用所述飞行时间传感器时，获取候选鼠类目标对应的距离信息；当采用所述热释电红外传感器且所获取的红外响应信息未表征出活体目标对应的红外响应特征时，或者当采用所述飞行时间传感器且所获取的距离信息异常时，不触发针对所述候选鼠类目标的定向声波发射流程。

15、优选地，在步骤s3中：

16、所述鼠类目标的形态特征表示为：

17、f=[b，k，r，m]；

18、其中，b表示所述鼠类目标的边界框几何参数，k表示所述鼠类目标的骨架关键点，r表示所述鼠类目标的重识别视觉外观特征，m表示所述鼠类目标在连续视频图像中的运动特征；

19、根据当前视频图像中检测到的鼠类目标与已有跟踪目标计算综合匹配分数：

20、score=α·iou+β·sim(reid)+γ·sim(pose)+δ·sim(motion)；

21、其中，iou表示边界框交并比，sim(reid)表示重识别视觉外观特征相似度，sim(pose)表示骨架关键点相似度，sim(motion)表示运动特征相似度，α、β、γ及δ为对应的权重系数，且α+β+γ+δ=1；

22、当所述综合匹配分数达到预设匹配阈值时，将当前视频图像中检测到的鼠类目标与对应的已有跟踪目标关联为同一目标。

23、优选地，在步骤s3中：

24、基于卡尔曼滤波对包括所述鼠类目标的位置、速度和加速度的运动状态进行估计和预测；

25、当所述鼠类目标因遮挡而发生跟踪丢失时，在所述鼠类目标最后出现位置附近建立搜索区域，根据所述重识别视觉外观特征对后续视频图像中的候选目标进行重新匹配，并在预设帧数内重新匹配成功时恢复所述鼠类目标原有的跟踪标识。

26、优选地，在步骤s4中，所述发射窗口同时满足以下条件：

27、所述鼠类目标的目标置信度p大于或等于发射置信度阈值p1，其中，所述发射置信度阈值p1高于步骤s2中的预设检测阈值p0；

28、所述鼠类目标的目标距离d处于预设有效作用距离范围内；

29、所述鼠类目标的运动速度v小于或等于预设最大速度vmax，或者所述鼠类目标的预测命中误差e小于或等于预设最大命中误差emax；

30、所述声束路径与检测到的人员和宠物目标所在区域不存在交叠；

31、所述声波发射方向与目标方向之间的角度误差小于或等于预设最大角度误差θmax；

32、所述鼠类目标未处于被障碍物遮挡的状态，且所述声束传播路径无遮挡；

33、以及，所述定向声波发射模块处于允许发射的工作状态。

34、优选地，在步骤s5中：

35、所述未来时刻相对于当前时刻的预测时间δt根据下式确定：

36、δt=t_proc+t_gimbal+t_sound；

37、其中，t_proc表示视频图像处理延迟，t_gimbal表示云台响应延迟，t_sound表示声波传播延迟；

38、所述声波传播延迟满足：

39、t_sound=d/c；

40、其中，d表示所述定向声波发射模块至所述鼠类目标的距离，c表示声速；

41、根据所述预测时间δt获得所述鼠类目标在t+δt时刻的预测位置，并根据所述预测位置进行超前瞄准；

42、并根据所述鼠类目标的运动速度动态调整所述云台的伺服控制参数。

43、优选地，在步骤s6中：

44、产生至少两路超声载波信号并驱动所述参量阵换能器阵列；

45、根据所述鼠类目标的方向和距离确定所述参量阵换能器阵列中各换能器单元对应的相位延迟，并通过控制各换能器单元的相位延迟对声束进行电子扫描和聚焦；

46、所述至少两路超声载波信号在空气的非线性传播过程中产生差频声波。

47、优选地，在步骤s6中：

48、根据所述鼠类目标的目标距离所属的距离区间，联合确定目标位置声压级、脉冲宽度、扫频范围和发射持续时间；

49、随着所述鼠类目标的目标距离增大，提高目标位置声压级和/或增加发射持续时间，并提高所述声波发射方向的角度精度要求；

50、当所述鼠类目标处于高速运动状态时，等待所述鼠类目标进入低速运动状态后发射声波，或者根据所述鼠类目标的未来时刻预测位置提前发射声波；

51、当历史声波作用结果未达到预设作用条件且再次执行步骤s6时，调整声波的频率组合、脉冲间隔和扫频模式中的至少一种。

52、优选地，在步骤s7和步骤s8中：

53、根据所述鼠类目标的速度变化和静止持续时间确定声波作用结果，当所述鼠类目标的速度变化达到预设速度变化阈值且所述静止持续时间达到预设静止时间阈值时，判定所述声波作用结果达到预设作用条件；

54、当所述声波作用结果未达到所述预设作用条件时，在所述发射窗口再次满足时再次进行定向声波发射，且声波发射总次数不超过预设最大次数；

55、当人员或宠物进入所述声束路径时，关闭用于驱动所述参量阵换能器阵列的功率放大器，并锁定用于调整所述定向声波发射模块发射方向的云台。

56、本发明还提供一种基于视觉识别与定向声波的智能鼠害防治监控系统，包括可见光监控摄像头、目标检测与识别模块、形态锁定与运动跟踪模块、发射窗口判定模块、云台伺服控制模块、定向声波发射模块和控制处理模块；

57、所述可见光监控摄像头用于采集监控区域的可见光视频图像；

58、所述目标检测与识别模块用于对所述可见光视频图像进行目标检测和类别识别，在检测到鼠类目标时输出所述鼠类目标的目标置信度、目标边界框和骨架关键点，并用于识别所述可见光视频图像中的人员和宠物目标，并用于获取所述鼠类目标的目标距离；所述目标距离由飞行时间传感器获取，或者根据经标定的摄像头参数及目标空间几何关系确定；

59、所述形态锁定与运动跟踪模块用于根据所述鼠类目标的目标边界框、骨架关键点、视觉外观特征和运动特征对所述鼠类目标进行目标关联和运动跟踪，并通过卡尔曼滤波获得所述鼠类目标的运动轨迹和未来时刻的预测位置；

60、所述发射窗口判定模块用于根据所述鼠类目标的目标置信度、目标距离、目标运动状态、声束路径安全状态、声波发射方向与目标方向之间的角度误差、目标遮挡状态以及所述定向声波发射模块的工作状态进行发射窗口判定，并在各项发射条件均满足时生成发射许可；

61、所述云台伺服控制模块用于带动所述定向声波发射模块改变声波发射方向，并根据所述鼠类目标的未来时刻预测位置以及视频图像处理延迟、云台响应延迟和声波传播延迟，使所述定向声波发射模块指向所述鼠类目标的未来时刻预测位置；

62、所述定向声波发射模块包括波形生成器、功率放大器、参量阵换能器阵列和相位控制电路，所述波形生成器用于产生至少两路超声载波信号，所述功率放大器用于驱动所述参量阵换能器阵列，所述相位控制电路用于根据所述鼠类目标的方向和距离控制所述参量阵换能器阵列中各换能器单元的相位延迟，以对声束进行电子扫描和聚焦；

63、所述控制处理模块分别与所述目标检测与识别模块、形态锁定与运动跟踪模块、发射窗口判定模块、云台伺服控制模块以及定向声波发射模块连接，用于协调目标检测、目标跟踪、发射窗口判定、云台瞄准、声波参数确定、定向声波发射、声波作用结果评估以及安全中断。

64、采用本发明的技术方案，具有以下有益效果：

65、本发明采用可见光监控摄像头获取监控区域的视频图像，并通过目标置信度以及连续多帧确认鼠类目标，可以利用家庭、仓库、餐饮场所中较为常见的可见光监控设备实现鼠类目标检测，有利于降低系统对专用热成像设备的依赖，提高系统在不同应用环境中的适用性。

66、本发明根据鼠类目标的边界框几何参数、骨架关键点、重识别视觉外观特征以及运动特征构建形态特征，并根据多种特征之间的综合匹配结果进行跨帧目标关联，可以提高鼠类目标在连续视频图像中的身份保持能力；结合卡尔曼滤波对目标位置、速度以及加速度进行估计和预测，并在目标短暂遮挡后进行重新匹配，有利于提高对移动鼠类目标的持续跟踪稳定性。

67、本发明并非在检测到鼠类目标后立即进行声波发射，而是综合鼠类目标的目标置信度、目标距离、目标运动状态、声束路径安全状态、声波发射方向与目标方向之间的角度误差、目标遮挡状态以及定向声波发射模块的工作状态进行发射窗口判定，仅在相应条件满足时生成发射许可，有利于降低误发射和无效发射的可能性。

68、本发明将视频图像处理延迟、云台响应延迟以及声波传播延迟共同计入目标未来位置的预测时间，根据鼠类目标未来时刻的预测位置控制云台进行超前瞄准，而不是仅针对目标当前检测位置进行瞄准，从而能够减小由系统处理延迟和声波传播延迟造成的目标位置偏差，提高对移动目标的瞄准精度。

69、本发明采用参量阵换能器阵列产生具有指向性的声束，并根据鼠类目标的方向和距离控制各换能器单元的相位延迟，实现声束的电子扫描和聚焦，使声波能量能够更集中地作用于目标所在区域，相对于大范围或者全向声波发射方式，有利于提高声波能量的利用效率并减小对非目标区域的影响。

70、本发明能够根据鼠类目标的距离和运动速度等状态确定相应的声波发射参数，并可根据不同距离区间调整声压级、脉冲宽度、扫频范围和发射持续时间；在历史声波作用结果未达到预设条件时，还可以改变频率组合、脉冲间隔或者扫频模式，从而避免长期采用单一固定声波参数，增强系统对不同目标状态和不同作用距离的适应能力。

71、本发明在完成一次定向声波发射后继续获取鼠类目标的视频图像，根据鼠类目标的速度变化、姿态状态以及静止持续时间等信息判断声波作用结果，并在作用结果未达到预设条件且发射窗口再次满足时进行有限次数的再次发射，由此形成“视觉检测—定向发射—视觉反馈—重新判定”的闭环控制过程，减少在未确认作用结果的情况下持续输出声波。

72、本发明在发射前及发射过程中持续检测人员和宠物是否进入声束路径，在检测到人员或宠物进入声束路径时禁止或者中断声波发射，并可通过关闭功率放大器和锁定云台停止继续输出；同时结合目标遮挡状态、换能器温度、供电状态以及声压反馈状态进行控制，从而提高系统在人员、宠物及其他物体共存环境中的运行安全性和控制可靠性。