一种基于声纹的红树林湿地鸟类智能识别系统的制作方法

本发明涉及生态监测，特别涉及一种基于声纹的红树林湿地鸟类智能识别系统。

背景技术：

1、目前人类活动区域不断扩散，已经对鸟类等野生动物的栖息活动空间形成压力，使得人类活动与鸟类生存形成较大范围空间重叠，以及干扰鸟类的正常活动。鸟类作为生态链的重要一环，其多样性直接影响生态循环。红树林湿地是鸟类重要的觅食和繁殖地域空间，是监测与评估鸟类生物多样性的重要场所。现有技术主要通过红外摄像和声纹识别等方式对红树林湿地进行实地监测与分析。考虑到红树林湿地受潮汐涨落影响较大和树木密集，红外摄像无法全面精准识别其中鸟类存在和活动情况。此外现有的声纹识别能够对鸟类的类型和行为全天候监测，但是目前声纹识别手段大多依靠单一特征处理，容易受声音信号本身的成分影响，降低对鸟类形态的辨识精准度，抗干扰性能较低，无法获得红树林湿地全局范围可靠的鸟类识别结果。

技术实现思路

1、考虑到现有声纹识别手段容易受声音信号本身的成分影响，无法保证对鸟类形态的辨识精准度和抗干扰性能较低，不能获得红树林湿地全局范围可靠的鸟类识别结果。

2、鉴于上述问题，本发明提供一种基于声纹的红树林湿地鸟类智能识别系统，包括：

3、原始信号采集模块，包括多个信号采集单元和潮汐同步采集单元，多个信号采集单元用于采集红树林湿地内两类垂直区域集内的声学信号，潮汐同步采集单元采集对应地理网格的潮汐水位数据，并得到声学数据，所述声学数据为带有时域、空域及潮汐水位数据的声学信号；

4、有效信号生成模块，用于对比两类垂直区域集的声学信号，结合潮汐水位数据进行自适应背景噪声抑制，提取和整合得到红树林湿地的有效鸟鸣信号；

5、数据集生成模块，用于对预设时间范围内的有效鸟鸣信号进行预处理，构建红树林湿地全局范围的鸟鸣信号数据集；

6、融合处理模块，用于对鸟鸣信号数据集进行多维特征提取，得到多维音频特征，对当前时间窗口的所述多维音频特征进行动态权重融合，得到融合音频特征；

7、声纹分析模块，用于根据融合音频特征，生成声纹能量频谱；根据声纹能量频谱，结合所述多个信号采集单元捕捉到同一鸟鸣信号的到达时间差进行三维声源定位与数量去重，确定红树林湿地全局范围的鸟类种群信息、鸟类数量信息及声源坐标信息；

8、状态识别模块，用于根据鸟类种群信息、鸟类数量信息及声源坐标信息，生成红树林湿地全局范围的鸟类状态表征地图。

9、优选地，原始信号采集模块包括第一信号采集组、第二信号采集组及潮汐同步采集单元；

10、第一信号采集组包括分布式布局在红树林湿地内第一空域范围的多个第一信号采集单元，多个第一信号采集单元放置在第一空域范围内的不同位置处，能够对第一空域范围内任何位置处发出的声学信号进行采集，得到第一声学信号；

11、第二信号采集组包括分布式布局在红树林湿地内第二空域范围的多个第二信号采集单元，多个第二信号采集单元放置在第二空域范围内的不同位置处，能够对第二空域范围内任何位置处发出的声学信号进行采集，得到第二声学信号；

12、多个第一信号采集单元和多个第二信号采集单元构成了所述多个信号采集单元，所述第一声学信号和第二声学信号组成了所述声学信号；

13、所述潮汐同步采集单元包括若干按地理网格分布式部署的水位传感器，每个水位传感器覆盖一个预设地理网格区域，用于采集该地理网格内的实时潮汐水位数据；同一地理网格内的所有第一信号采集单元和第二信号采集单元共享该网格的潮汐水位数据；

14、所述声学数据通过对所述第一声学信号和所述第二声学信号进行时域标签、空域标签及对应地理网格的潮汐水位数据的联合标定得到。

15、优选地，有效信号生成模块用于对比两类区域集的声学信号，提取和整合得到红树林湿地的有效鸟鸣信号，包括：

16、提取第一声学信号和第二声学信号各自的第一背景声音成分和第二背景声音成分；

17、对比第一背景声音成分和第二背景声音成分的声音特征，得到第一背景声音成分和第二背景声音成分的相似关系s；

18、根据潮汐水位数据和当前的信号采集单元所在的垂直区域类型，按照如下公式计算当前时刻对应垂直区域的背景噪声自适应阈值：

19、 （1），

20、其中，为空域类型标识，代表第一空域范围，代表第二空域范围；为第类空域的基准背景噪声阈值；为第类空域的潮汐影响系数，为平均潮汐水位；

21、若，则判定两个声学信号来自同一环境区域，存在鸟鸣信号重叠的可能；

22、根据所述相似系数和所述声学数据对重叠的鸟鸣信号进行时域对齐与空域匹配，提取和整合得到无重复的红树林湿地有效鸟鸣信号。

23、优选地，数据集生成模块用于对预设时间范围内的有效鸟鸣信号进行预处理，构建红树林湿地全局范围的鸟鸣信号数据集，包括：

24、区分预设时间范围内的有效鸟鸣信号，得到一一对应预设时间范围内所有区间的若干有效鸟鸣信号片段；

25、对有效鸟鸣信号片段进行多模态预处理，构建红树林湿地全局范围的鸟鸣信号数据集；其中，多模态预处理包括分帧、加窗、傅里叶变换；鸟鸣信号数据集包括一一对应若干有效鸟鸣信号片段的若干鸟鸣信号频域片段。

26、优选地，融合处理模块用于对鸟鸣信号数据集进行多维特征提取，得到多维音频特征；对当前时间窗口的所述多维音频特征进行动态权重融合，得到融合音频特征，包括：

27、对鸟鸣信号数据集的所有鸟鸣信号频域片段进行线性预测分析处理，得到第一音频特征；其中，第一音频特征是关于音节的音频特征；

28、对鸟鸣信号数据集的所有鸟鸣信号频域片段进行功率相关分析处理，得到第二音频特征；其中，第二音频特征是关于人耳听觉响应的音频特征；

29、接收声纹分析模块回传的上一时间窗口的环境可信度因子，按照如下公式计算当前时间窗口的第一音频特征和第二音频特征的动态融合权重：

30、  （2），

31、 （3），

32、其中，为特征鲁棒性系数；

33、利用神经网络对当前时间窗口的第一音频特征和第二音频特征进行均值处理、归一化处理后，按照动态权重和进行加权融合，得到当前时间窗口的融合音频特征：

34、  （4）。

35、优选地，声纹分析模块用于根据融合音频特征，生成声纹能量频谱；根据声纹能量频谱，确定红树林湿地全局范围的鸟类种群信息和鸟类数量信息，包括步骤s1-s4：

36、步骤s1、对融合音频特征进行维度重构、能量计算与时频图谱映射，生成能量声谱图；

37、步骤s2、对得到的能量声谱图进行注意力残差网络处理，生成声纹能量频谱图；

38、步骤s3、从声纹能量频谱图提取包含单一鸟叫声纹的频谱片段，根据频谱片段与预设鸟类声纹数据库的匹配结果，确定鸟类种群信息；

39、步骤s4、基于多个第一信号采集单元或第二信号采集单元捕捉到同一鸟鸣信号的到达时间差，进行三维声源定位，得到声源坐标；

40、步骤s5、根据声源坐标的空间距离与时域重叠度，进行鸟类数量去重，得到最终的鸟类数量信息。

41、优选地，所述步骤s2可具体实施为如下流程：

42、s21、按照预设的时间窗口，将所述融合音频特征分割为连续的融合音频特征片段；

43、s22、对每一个所述融合音频特征片段进行注意力残差网络处理，生成一一对应各个时间窗口的声纹能量频谱图序列；

44、s23、针对所述声纹能量频谱图序列中的每一张声纹能量频谱图，进行质量评估，具体包括如下步骤s131-133：

45、s231、根据当前一张声纹能量频谱图的信噪比snr、频带丰富度b和时间连续性评分c，以及从当前一张声纹能量频谱图中提取的个性化噪声基底因子σ，按照如下公式计算当前一张声纹能量频谱图的质量评分：

46、 （5），

47、其中，snr表示当前一张声纹能量频谱图的信号与噪声比，σ表示个性化噪声基底因子，b表示频带丰富度，c表示时间连续性评分，λ表示频带丰富度衰减系数，表示第一权重系数、第二权重系数、第三权重系数，满足w1+w2+w3=1；

48、s232、根据所述当前一张声纹能量频谱图与前一张声纹能量频谱图在预设非鸟鸣频率范围内的能量分布，提取环境稳定因子ρ，并按照如下公式计算当前一张声纹能量频谱图的环境可信度因子：

49、 （6），

50、其中，ρ表示当前一张声纹能量频谱图的环境稳定因子，

ρ

0表示预设稳定度基准阈值，

κ表示增益因子；

51、s233、将计算得到的质量评分与预设质量阈值比较，并将环境可信度因子与预设可信度阈值比较；若且，则判定当前一张声纹能量频谱图质量合格，保留该当前一张声纹能量频谱图并进入步骤s3；否则，判定当前一张声纹能量频谱图质量不合格，触发对对应的原始信号片段进行增强处理，并返回步骤s22重新生成声纹能量频谱图；若增强处理后仍不合格，则丢弃该当前一张声纹能量频谱图及其对应的原始信号片段。

52、优选地，所述步骤s4具体包括如下步骤：

53、1）对于同一声学信号，记录其被第个和第个信号采集单元捕捉的时间和，计算时间差；

54、2）根据信号采集单元的空域坐标和，建立如下双曲线定位方程：

55、 （7），其中，为空气中的声速；为待求声源坐标；

56、3）根据步骤1）和步骤2）的方式，采用三个信号采集单元能够得到三个公式7，求解得到的三个公式7，得到声源的三维坐标。

57、优选地，所述步骤 s5具体包括：

58、1）对于所有识别出的声源，计算任意两个声源坐标之间的空间距离：

59、 （8），

60、其中，m和n分别为第m个声源和第n个声源，为第m个声源的声源坐标，为第n个声源的声源坐标；

61、2）计算两个声源的时域重叠度

62、  （9），

63、其中，为两个声源信号的时间重叠长度，为两个声源信号的总时长；

64、3） 按照如下公式计算重复判定系数：

65、 （10），其中，为同一鸟类最大活动半径，为空间权重系数，取值为0.6-0.8；

66、4）若，则判定两个鸟鸣信号来自同一只鸟，进行去重处理；否则判定为不同个体，为预设的重复阈值。

67、优选地，所述状态识别模块用于根据鸟类种群信息、鸟类数量信息及声源坐标信息，生成红树林湿地全局范围的鸟类状态表征地图，包括：

68、1）对鸟类种群信息、鸟类数量信息及声源坐标信息进行空间和时间变化标定，生成一一对应若干时间点的若干鸟类空间分布地图；

69、2）对若干鸟类空间分布地图进行时序排布与信息标注，生成红树林湿地全局范围的鸟类状态表征地图，所述信息标注至少包括对鸟类种群信息、鸟类数量信息、声源坐标信息、潮汐水位信息。

70、与现有技术相比，本发明具有以下有益效果：

71、本发明在红树林不同的位置设置了多个信号采集单元，通过多个信号采集单元对声学型号进行检测，根据检测的结果能到自动识别鸟群的种类、数量等信息。