一种港口航道水生生物监测与损害防护方法及系统与流程

本发明涉及图像识别与水运交通环保，尤其涉及一种港口航道水生生物监测与损害防护方法及系统。

背景技术：

1、随着国内港口航道疏浚整治、码头建设、船舶航运等涉水工程规模的持续扩张，施工产生的水下脉冲噪声、船舶航行带来的低频水下噪声、船舶撞击威胁以及水生生物栖息水域被侵占等人为干扰日益突出，以江豚为代表的鲸豚类大型水生生物的生存环境遭受严重胁迫。鲸豚类主要依靠水下声信号完成通讯、觅食与避险行为，航道工程与航运产生的各类人为噪声会破坏其声学感知系统；船舶高速航行极易造成鲸豚个体撞击伤亡，加之航运作业水域与鲸豚活动栖息水域高度重叠，进一步放大了水生生物受损害的风险。

2、现有航道水生生物防护技术仍存在诸多不足：监测手段多采用视频采集或者水听器单一模态开展数据采集，受水体浑浊、水下机械杂波等环境因素干扰，容易产生大量漏检、误检，缺乏双源监测数据交叉校验机制；尚未形成标准化的量化风险评价体系，难以实现水域风险等级的精准划分，监测与驱离设备多采用全域均匀布设方式，既造成硬件资源浪费，又存在高风险区域防护能力不足的问题；防护方案大多仅采用单一驱离声波手段，缺少面向低风险栖息区域的诱导配套方案，鲸豚被驱离危险水域后缺少安全迁移栖息目的地，会再次折返进入高危航道；监测识别设备与驱离执行设备相互割裂，防护指令依赖人工值守下发，处置响应存在明显滞后，驱离作业完成后缺少持续跟踪监测流程，防护实施效果无法实现量化评估；此外，海量音视频监测数据主要依靠人工筛查处理，缺少基于深度学习的自动化目标检测及可视化分析能力，无法满足港口航道精细化生态管控的实际需求。

技术实现思路

1、本发明提出了一种港口航道水生生物监测与损害防护方法及系统，以便克服上述问题或者至少部分地解决上述问题。

2、本发明的一个方面提供了一种港口航道水生生物监测与损害防护方法，所述方法包括：

3、获取港口航道待评价水域的总水域面积，根据所述总水域面积自适应确定评价单元尺度，以将所述待评价水域划分为多个评价单元；

4、基于预设风险评价指标及与各风险评价指标对应的评分标准，计算各评价单元的风险评分，并根据风险评分确定各评价单元的风险等级，所述风险等级至少包括高风险区域和低风险区域；

5、实时采集待评价港口航道的视频信息和音频信息，基于预设的图像识别模型对视频信息进行识别得到标的物视频识别结果，基于预设的音频识别模型对音频信息进行识别得到标的物音频识别结果；

6、根据标的物视频识别结果和音频识别结果综合判定待评价水域是否存在待驱离标的物；

7、若存在待驱离标的物，则在高风险区域发射驱离信号，在低风险区域发射诱导信号，直至确认所述待驱离标的物转移至低风险区域。

8、进一步地，所述根据总水域面积自适应确定评价单元尺度，包括：

9、基于预设的边长计算模型计算评价单元的边长，所述边长计算模型表示为：

10、

11、上式中，

j表示评价单元的边长，评价单元为

j×

j的矩形区域，m表示总水域面积。

12、进一步地，所述风险评价指标包括航道工程作业、航道通航量、保护与管理措施三个主分类；

13、其中，属于航道工程作业的风险评价指标包括年施工时间占比、施工水域面积占比、强噪声作业占比、平均施工噪声值；

14、属于航道通航量的风险评价指标包括通航水域面积占比、船舶日交通量、船舶平均吨位、船舶平均速度、船舶与鲸豚类活动的时空重叠度、船舶噪声水平；

15、属于保护与管理措施的风险评价指标包括保护措施及政策制定情况、保护措施及政策落实情况。

16、进一步地，所述计算各评价单元的风险评分，包括：

17、根据目标评价单元的风险情况和各风险评价指标对应的评分标准对各风险评价指标分别进行赋分，对各风险评价指标的赋分结果求和，得到所述目标评价单元的静态风险评分；

18、根据目标评价单元的动态得分计算模型计算目标评价单元的动态风险评分，并将所述动态风险评分作为目标评价单元的真实风险评分，其中，所述动态得分计算模型表示为：

19、s动= s静×k深×k迁×k临

20、上式中，s动表示动态风险评分，s静表示静态风险评分，k深表示水深修正系数，k迁表示迁徙期修正系数，k临表示临时扰动修正系数。

21、进一步地，在基于预设的图像识别模型对视频信息进行识别得到标的物视频识别结果之前，所述方法还包括：

22、采用公开的鲸豚类影像通用数据集对yolov5s基础模型进行预训练，得到预训练图像识别模型；

23、冻结所述预训练图像识别模型的主干特征提取网络权重，解冻头部检测层，并基于预先获取的港口航道待评价水域的小样本数据集对所述预训练图像识别模型进行迭代微调，得到最终的图像识别模型。

24、进一步地，在基于预设的音频识别模型对音频信息进行识别得到标的物音频识别结果之前，所述方法还包括：

25、采用公开的目标检测数据集对yolov5s基础模型进行预训练，得到基础目标检测模型；

26、对所述基础目标检测模型进行适应性改进：将首层卷积输入通道数由3修改为1，以适配单通道灰度声谱图输入；保留yolov5s轻量化主干的整体架构，在主干网络内增设可变形卷积模块，用于提取声谱图中非规则波形轮廓特征；移除panet颈部网络中适配自然图像大尺度目标特征融合的上采样分支，并在多特征融合阶段提高浅层特征图的融合权重；移除适配大尺度目标的检测输出头，保留感受野与声谱图内标的物目标尺度相匹配的检测输出头，得到二维声谱图目标检测模型；

27、获取待评价水域的原始音频信息，按预设时间间隔将所述原始音频信息分割为单个音频文件；

28、对所述音频文件进行频谱分析，生成单通道灰度声谱图；对包含标的物特征音频的声谱图进行边界框标注，得到声谱图标注数据集；

29、冻结所述二维声谱图目标检测模型主干网络中原有的预训练网络层的权重，仅对适应性改进所得到的新增及修改网络模块采用所述声谱图标注数据集进行迭代微调，得到音频识别模型。

30、进一步地，所述根据标的物视频识别结果和音频识别结果综合判定待评价港口航道是否存在待驱离标的物，包括：

31、获取视频识别结果中识别出标的物的视频识别置信度、携带标注框的视频帧，音频识别结果中识别出标的物的音频识别置信度；

32、当视频识别置信度和音频识别置信度中任意一者的置信度在第一置信度阈值以上时，则判定待评价港口航道存在标的物；

33、若音频识别结果识别出标的物，则尝试调取相同时刻对应的视频识别结果，若视频识别结果也识别出标的物，则依据所述视频识别结果中携带标注框的视频帧确定标的物位置；

34、若仅视频识别结果识别出标的物，则直接依据所述视频识别结果中携带标注框的视频帧确定标的物位置。

35、可选地，所述根据标的物视频识别结果和音频识别结果综合判定待评价港口航道是否存在待驱离标的物，包括：

36、获取视频识别结果中识别出待驱离标的物的视频识别置信度、携带标注框的视频帧及视频帧时间，以及音频识别结果中识别出待驱离标的物的音频识别置信度和音频事件时间；

37、基于所述视频帧时间和音频事件时间计算视频识别结果和音频识别结果的时间对齐因子，所述时间对齐因子由如下公式计算获得：

38、

39、其中，

t为时间对齐因子，

tv为视频帧时间，

ta为音频事件时间，

σ为预设的时间容差参数，

τ为预设的最大时间偏差；

40、若所述时间对齐因子大于预设的时间容差阈值，则计算所述视频识别结果和音频识别结果的融合置信度，所述融合置信度由如下公式计算获得：

41、

42、其中，

f为融合置信度，为视频识别置信度，为视频置信度权重，

ca为音频识别置信度，为音频置信度权重，；

43、若所述融合置信度大于预设的置信度阈值，则判定识别出标的物，并依据所述视频识别结果中携带标注框的视频帧确定标的物位置。

44、进一步地，若存在待驱离标的物，所述方法还包括：

45、获取待驱离标的物的数量和待驱离标的物的位置，并根据待驱离标的物的数量和标的物的位置向船舶交通服务系统发送联合控制信号，其中，

46、若标的物为单只且位于高风险区域之外并向该高风险区域靠近，则启用低功率驱离信号和诱导信号；

47、若标的物为集群进入主航道，则启用中功率驱离信号和诱导信号，并向船舶交通服务系统发送船舶限速指令；

48、若标的物闯入施工核心区域，则启用高功率驱离信号和诱导信号，并向船舶交通服务系统发送停工指令。

49、本发明的另一方面，还提供了一种港口航道水生生物监测与损害防护系统，所述系统包括：

50、电源与网络保障模块，用于为整套系统提供供电支持与网络通信服务；

51、双模态数据采集终端，用于实时采集港口航道待评价水域的视频信息和音频信息；

52、数据传输与存储模块，用于接收并存储双模态数据采集终端传输的视频信息和音频信息；

53、目标检测与数据分析模块，用于执行上述各项所述的港口航道水生生物监测与损害防护方法的步骤；

54、分区驱离与诱导模块，包括驱离装置和诱导装置，所述驱离装置部署于高风险区域用于发射驱离信号，所述诱导装置部署于低风险区域用于发射诱导信号；

55、船舶交通服务系统联动调度接口模块，用于接收目标检测与数据分析模块输出的联动信号，实现与船舶交通服务系统之间的联动管控。

56、本发明提供的一种港口航道水生生物监测与损害防护方法，首先获取港口航道待评价水域的总水域面积自适应确定评价单元尺度，可以根据水域面积差异化确定评价单元的尺度，提高评价单元划分的合理性，并为实现差异化管控提供基础；其次，基于预设风险评价指标及与各风险评价指标对应的评分标准，计算各评价单元的风险评分，并根据风险评分确定各评价单元的风险等级，为各评价单元建立了可量化的风险评分体系；再次，实时采集待评价港口航道的视频信息和音频信息，基于预设的图像识别模型和音频识别模型获取标的物视频识别结果和标的物音频识别结果，通过影像+音频双模态协同识别机制，提高识别准确率；若存在待驱离标的物，则在高风险区域发射驱离信号，在低风险区域发射诱导信号，直至确认所述待驱离标的物转移至低风险区域，采用驱离+诱导的组合防护模式，构建完整生态避险闭环。

57、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的信息予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。