一种面向异构标注范围的多源侧扫声呐联合语义分割方法及系统

本发明涉及水声信号处理，尤其涉及一种面向异构标注范围的多源侧扫声呐联合语义分割方法及系统。

背景技术：

1、侧扫声呐通过空间变化的声学反向散射表征水下环境，可对大范围水下目标与底质进行成像。侧扫声呐图像中除直接目标响应外，还包含声学阴影、海底纹理、随距离变化的强度衰减、水柱效应以及传感设备引入的噪声伪影。因此，声学图像的语义分割需要联合考虑高亮形态、阴影几何、局部上下文和跨航迹结构信息。

2、利用深度神经网络进行逐像素分类为声呐图像语义分割提供了有效手段。然而，现有公开的侧扫声呐数据集彼此之间在传感器条件、测量几何、目标形态、标注精度以及语义区分定义上存在显著差异，导致不同数据集之间形成了异构标注范围。

3、各多源侧扫声呐数据集均包含二维侧扫声呐声学强度图像以及与所述声学强度图像关联的标注信息；依据标注精细粒度与标注协议类型的不同，所述侧扫声呐数据集区分为两类：第一类为包含像素级标注掩码的数据集，包括二维声学图像及与图像呈逐像素空间对应的掩码图像，在掩码图像中包含具有精细物形轮廓的已标注目标实体像素（即标注目标）以及未出现关注目标的背景像素；第二类为包含目标检测框标注的数据集，包括二维声学图像及以矩形外接检测框标定的目标物位置与类别属性，在检测框以外区域未设定精细类别划分。

4、例如，某一侧扫声呐数据集可能仅对“沉船”目标进行了像素级掩码标注，而将其他区域统一定义为“背景”；另一数据集可能仅提供了“水管”或“水雷”的目标检测框标注；还有数据集专门对底栖栖息地的底质类型进行了多类别划分。

5、在多源数据集联合训练时，若简单地将所有数据集标注合并，由于标注协议不相容，会导致同一语义类别在某一数据集中被标记为目标类，而在另一数据集中被归入背景类。现有技术若采用“硬掩蔽”策略，即在训练阶段强制将未标注的无效类别的得分屏蔽为极端负值，会导致网络中无效类别的梯度被完全切断。在推理阶段，当移除屏蔽进行全空间预测时，未受约束的无效类未归一化得分极易发生无序漂移，进而引发误分类崩溃。

6、因此，如何在保持多源数据集各自标注完整性的前提下，实现异构标注范围的高精度、高鲁棒性联合语义分割，是当前水声图像处理领域亟待解决的技术问题。

技术实现思路

1、针对现有技术的不足，本发明提供一种面向异构标注范围的多源侧扫声呐联合语义分割方法及系统，旨在解决多源侧扫声呐数据集因标注体系互不相容导致联合训练困难，以及传统硬掩蔽机制在推理阶段容易引发未归一化得分漂移和误分类崩溃的技术问题。

2、一方面，本发明提供一种面向异构标注范围的多源侧扫声呐联合语义分割方法，包括以下步骤：

3、步骤s1：建立统一语义空间，所述统一语义空间包含n个预设语义类别，n为大于等于2的整数；依据各侧扫声呐数据集的标注协议，确定每个侧扫声呐数据集在所述统一语义空间中的有效类别集合以及无效类别集合，具体包括：

4、对于包含像素级标注掩码的数据集，将其标注目标映射至统一语义空间中的对应目标类别，将其背景像素映射至统一背景类别；由对应目标类别与统一背景类别共同构成该数据集在统一语义空间中的有效类别集合；将统一语义空间中除有效类别集合之外包含的所有其他预设语义类别，构成该数据集的无效类别集合；

5、对于包含目标检测框标注的数据集，读取各个目标检测框的位置与属性；将每个检测框内部限定的像素区域映射至统一语义空间中对应目标类别的区域掩码；将检测框外部的所有像素区域设定为不参与损失计算的忽略标记；当同一张图像中存在若干个检测框分布时，各检测框内部像素取空间并集；由每个检测框各自对应的预设目标类别共同构成该数据集的有效类别集合，统一语义空间中的其余所有类别构成该数据集的无效类别集合。

6、步骤s2：构建共享的侧扫声呐语义分割网络，将待处理侧扫声呐图像进行先验处理，获得待处理侧扫声呐图像的特征表示，并输入所述侧扫声呐语义分割网络，逐像素提取特征并输出在统一语义空间上的n维逐像素未归一化得分向量；

7、所述侧扫声呐语义分割网络采用全卷积编码器-解码器架构，具体包括：依次连接的特征提取编码器、多尺度上下文聚合模块、级联上采样解码器以及分类头部；

8、所述特征提取编码器由多级级联的二维卷积层、批归一化层、非线性激活层和步长为2的最大池化层组成，对特征表示逐级进行空间降采样并提取多尺度深层声学语义图；

9、所述多尺度上下文聚合模块与所述特征提取编码器的末端相连，采用多感受野空洞卷积或空间金字塔池化结构，针对多尺度深层声学语义图，捕获水下声学大范围结构上下文与暗弱阴影关联，输出特征图；

10、所述级联上采样解码器通过多级双线性插值上采样对特征图进行空间分辨率逐步恢复，并级联融合来自特征提取编码器的浅层高分辨率跳跃连接特征，输出解码恢复的空间高维特征图；

11、所述分类头部与所述级联上采样解码器的输出端相连接，包含若干个卷积核尺寸为的投影卷积层，将空间高维特征图逐像素映射，输出空间维度与输入图像一致、输出通道数等于统一语义空间类别总数n的逐像素未归一化得分向量。

12、所述先验处理包括以下步骤：

13、步骤a1：对待处理侧扫声呐图像进行物理特征提取，生成空间维度与原图对齐的五通道声学物理映射表示；

14、所述五通道声学物理映射表示具体包括：

15、原始强度通道：获取待处理侧扫声呐图像原生强度值，并按图像物理测程线性归一化至[0,1]范围；

16、范围归一化强度通道：沿着声呐换能器的跨航迹范围方向，计算每一距离栅格列位置处的灰度列均值μr及列标准差σr；利用距离增益补偿算式对每一行像素进行逐列增益校正；

17、局部对比度通道：以当前像素为中心构建尺寸为高×宽的对称平滑滑动窗口，计算滑动窗口内声学强度的局部标准差；

18、阴影响应通道：结合侧扫声呐图像全图信噪比分布自适应确定强度阴影低能量截断阈值，对像素强度低于所述阈值的暗区进行声学阴影捕获，输出二值化或软边缘阴影先验概率响应图；

19、可靠性权重通道：基于图像局部邻域的前向散射强度与背景海底混响能量的比值估算局部信噪比，构建逐像素质量权重，对远距离大衰减以及水柱近场强畸变区域赋以衰减置信度权重。

20、步骤a2：将所述五通道声学物理映射表示输入至卷积投影层，在通道维度实施线性降维与特征交互重组，投影输出通道数为3的密集特征表示，即为待处理侧扫声呐图像的特征表示，输入至侧扫声呐语义分割网络；

21、所述卷积投影层为侧扫声呐语义分割网络的输入适配物理前端，具体包括若干个卷积核尺寸为1×1或3×3的二维卷积核、批归一化操作及激活函数；

22、步骤s3：针对多源异构标注范围，对侧扫声呐语义分割网络进行联合训练；

23、步骤s3.1：数据集条件化软掩蔽处理：依据当前输入的待处理侧扫声呐图像所属侧扫声呐数据集的有效类别集合以及无效类别集合，对侧扫声呐语义分割网络输出的逐像素未归一化得分向量进行逐分量条件化调整；

24、所述逐分量条件化调整具体为：对于属于该侧扫声呐数据集有效类别集合中的语义类别，保持其在逐像素未归一化得分向量中对应的未归一化得分分量不变；对于属于该侧扫声呐数据集无效类别集合中的语义类别，在其对应的未归一化得分分量上叠加预设的负向衰减偏置值；

25、所述负向衰减偏置值δ等于预设软掩蔽衰减系数α的自然对数，即δ=ln(α)，其中，软掩蔽衰减系数α∈[0.01,0.5]；

26、步骤s3.2：对软掩蔽处理后的得分向量进行概率归一化，并结合当前输入的待处理侧扫声呐图像中在有效类别集合内部映射生成的真实监督标签计算交叉熵损失，根据损失梯度反向传播更新侧扫声呐语义分割网络的各层连接权重，完成多源异构侧扫声呐数据集的联合训练；在包含目标检测框标注的数据集中，检测框外部被标记为忽略标记的像素自动屏蔽，不反向传播损失梯度；

27、步骤s4，在多源侧扫声呐联合语义分割的推理部署阶段，将待分割的侧扫声呐图像输入联合训练完成的侧扫声呐语义分割网络，在完全移除且未叠加任何负向衰减偏置值的完整统一语义空间基础上，直接根据分类头部输出的原始逐像素未归一化得分向量执行概率归一化，取概率最大值所在通道类别索引，生成无偏覆盖全部 n 个类别的逐像素语义分割图；

28、本方法还包括无效类行为评估，具体为：基于侧扫声呐语义分割网络在完整统一语义空间上原始输出的未归一化得分向量，计算无效类激活率和无效类得分偏置量：

29、所述无效类激活率为最高无效类未归一化得分超过最高有效类未归一化得分的像素占总评估像素的比例；

30、所述无效类得分偏置量为最高无效类未归一化得分与最高有效类未归一化得分之间差值的全图像素平均值。

31、当新增侧扫声呐数据集引入新的语义类别时，将新的语义类别扩充至统一语义空间，并将侧扫声呐语义分割网络分类头部的输出通道数调整为更新后的类别总数，步骤s3中叠加负向衰减偏置值的计算规则保持不变。

32、另一方面，本发明还提供一种面向异构标注范围的多源侧扫声呐联合语义分割系统，用于实现前述一种面向异构标注范围的多源侧扫声呐联合语义分割方法，包括：标签空间定义模块、分割网络模块、软掩蔽损失计算模块、网络训练模块、以及推理预测模块；

33、所述标签空间定义模块建立统一语义空间，并依据标注协议为各侧扫声呐数据集分别确定有效类别集合与无效类别集合；

34、所述分割网络模块对输入的侧扫声呐图像逐像素输出在统一语义空间上的n维未归一化得分向量；

35、所述软掩蔽损失计算模块在训练阶段对无效类别的未归一化得分叠加负向衰减偏置值，并计算概率归一化交叉熵损失；

36、所述网络训练模块根据交叉熵损失计算梯度并更新网络参数；

37、所述推理预测模块在推理阶段移除负向衰减偏置值，直接基于原始未归一化得分向量在完整统一语义空间上输出逐像素语义分割图。

38、所述分割网络模块还包含声学物理映射预处理子模块，用于构建原始强度通道、范围归一化强度通道、局部对比度通道、阴影响应通道和可靠性权重通道，并经卷积降维后输入侧扫声呐语义分割网络。

39、所述一种面向异构标注范围的多源侧扫声呐联合语义分割系统，还包含诊断评估模块，用于依据所述未归一化类别得分向量计算无效类激活率与无效类得分偏置量。

40、第三方面，本技术提出一种计算机程序产品，包括计算机程序或指令，该计算机程序或指令被处理器执行时实现所述的一种面向异构标注范围的多源侧扫声呐联合语义分割方法。

41、采用上述技术方案所产生的有益效果在于：

42、本发明提供一种面向异构标注范围的多源侧扫声呐联合语义分割方法及系统，与现有技术相比，本发明具有以下有益效果：

43、抑制无效类得分漂移：在训练阶段通过叠加负向衰减偏置值，使无效类别受衰减的同时仍保留非零梯度，在无效类得分过高时对其施加修正性抑制，有效避免了传统硬掩蔽因梯度切断导致的得分无序漂移和推理预测崩溃。

44、推理与数据集身份解耦：模型在推理阶段不需要输入任何数据集标识信息，可直接在完整语义空间中进行逐像素预测，提高了对未知声呐数据的泛化能力。

45、融合声学物理先验：通过构建五通道声学物理映射表示，显式融合了声呐增益、对比度、声学阴影和信噪比特征，提升了复杂声学背景下的分割准确性。

46、易于扩展：新增数据集时只需扩充统一语义空间和调整分类输出通道数，算法计算规则无需改变，具有极高工程实用价值。