一种RGB-D语义分割的条件丢弃训练方法及系统

本发明涉及计算机视觉深度学习多模态感知，尤其涉及一种rgb-d语义分割的条件丢弃训练方法及系统。

背景技术：

1、rgb-d语义分割是计算机视觉领域的一项重要任务，旨在利用rgb图像和深度图（depth map）两种模态的数据，对图像中的每个像素赋予语义类别标签。随着三维传感器的普及，rgb-d数据日益易于获取，rgb-d语义分割在自动驾驶、机器人导航、增强现实及场景理解等领域具有广泛的应用前景。

2、目前，主流的rgb-d语义分割模型普遍采用双分支融合架构，即rgb图像和深度图分别通过独立的编码器提取特征，然后在多个层级进行特征融合。代表性工作包括：dformer采用差分卷积注意力机制，通过统一的编码器对rgb和深度数据进行编码；sigma采用siamese mamba网络结构，利用选择性结构化状态空间模型实现多模态语义分割。这些模型在完整模态输入条件下均取得了优异的分割性能。

3、此外，现有rgb-d语义分割模型普遍采用端到端训练范式，即在完整的rgb-d配对数据上进行端到端的监督训练，优化交叉熵损失或全景质量（panoptic quality）损失函数，以驱动模型参数向分割精度最优的方向收敛。现有技术存在以下核心缺陷：

4、（1）模态缺失时性能严重下降：现有rgb-d模型仅在完整模态数据上训练，当rgb或深度模态缺失时，性能急剧下降。实验表明，dformer-b在nyuv2数据集上rgb缺失时miou从55.6%降至25.5%，下降幅度达25.3个百分点；

5、（2）无法有效利用剩余模态：即使单一模态（rgb或深度）包含足够的语义信息，现有模型也无法有效提取和利用这些信息，导致分割结果远差于仅使用剩余模态的专门模型；

6、（3）缺乏鲁棒性设计：现有研究主要关注完整模态下的融合机制优化，对模态缺失问题的研究不足，限制了rgb-d模型在安全关键或资源受限环境中的部署；

7、（4）重新训练成本高：若要从头训练支持模态缺失的模型，需要重新设计架构并进行完整的训练流程，计算成本和时间成本都很高。

技术实现思路

1、本发明的目的在于提供一种rgb-d语义分割的条件丢弃训练方法及系统，核心在于提出一种两阶段持续训练范式，通过条件丢弃（condition dropout, cond）模块增强预训练rgb-d语义分割模型的模态缺失鲁棒性。该方案从已有预训练rgb-d语义分割模型出发，在不重新设计原始主干网络、不从头训练整体模型的情况下，通过模态条件采样、编码器复制冻结、零初始化卷积注入以及多条件监督损失，使模型同时适应完整rgb-d输入、rgb缺失输入和深度缺失输入。

2、为实现上述目的，本发明提供了一种rgb-d语义分割的条件丢弃训练方法，包括两阶段持续训练流程与推理部署流程：

3、步骤s1：第一阶段模型加载：获取完成预训练的原始rgb-d语义分割基础模型，原始rgb-d语义分割基础模型包含原始编码器与原始解码器，冻结原始编码器、原始解码器的全部网络参数；

4、步骤s2：第二阶段条件丢弃持续训练：复制原始编码器得到辅助编码器，训练迭代时从预设条件集合中随机采样模态输入条件，基于采样条件构造对应输入并分别送入原始编码器与辅助编码器进行多层特征提取；辅助编码器各层级输出特征经对应零初始化1×1卷积注入层生成辅助注入特征，与原始编码器对应层级特征进行残差融合得到多层融合特征；将多层融合特征送入冻结的原始解码器计算分割任务损失，仅反向传播更新辅助编码器与各卷积注入层的参数；

5、步骤s3：推理阶段：根据实际可用模态构造对应条件输入，将条件输入分别送入冻结的原始编码器和训练后的辅助编码器；辅助编码器输出经零初始化1×1卷积注入层生成辅助注入特征，并与原始编码器对应层级特征残差融合；融合特征送入冻结的原始解码器，输出像素级语义分割结果。

6、优选的，第一阶段的原始rgb-d语义分割基础模型为双分支融合架构模型，包括dformer或sigma siamese mamba网络中的预训练模型。

7、优选的，步骤s2中，设置模态条件变量，其中；表示rgb模态有效，表示rgb模态缺失；表示深度模态有效，表示深度模态缺失；

8、预设条件集合为：

9、；

10、分别对应完整rgb-d输入、rgb缺失输入、深度缺失输入；每次训练迭代从条件集合中等概率采样一种输入条件，采样概率满足：

11、。

12、优选的，步骤s2中，根据采样到的条件，构造实际输入张量：

13、；

14、；

15、其中，、分别为原始rgb图像、深度图；为与rgb图像尺寸一致的全零张量，为与深度图尺寸一致的全零张量；、分别为条件丢弃后的rgb输入、深度输入。

16、优选的，辅助编码器的网络结构与原始编码器完全一致，初始化时完整复制原始编码器的全部参数，表达式如下：

17、；

18、训练过程中原始编码器参数、原始解码器参数保持固定，仅辅助编码器参数、各零初始化1×1卷积注入层参数参与梯度更新。

19、优选的，步骤s2中，多层特征提取与残差融合的具体方式为：

20、对于具有个特征层级的编码器，原始编码器与辅助编码器分别对条件输入进行多层特征提取，得到与，其中为原始编码器第层输出特征，为辅助编码器第层输出特征；

21、针对每一层辅助特征设置对应的1×1卷积注入层，卷积层权重与偏置初始化为零，生成的辅助注入特征为：

22、；

23、其中，表示1×1卷积运算；

24、将辅助注入特征与原始编码器对应层级特征进行残差融合，得到融合特征：

25、；

26、其中，为第层注入强度系数；训练初始时，。

27、优选的，计算分割任务损失的方式为：

28、将各层融合特征输入原始解码器，经softmax层得到像素级类别概率分布，采用像素级交叉熵损失作为任务损失：

29、；

30、其中，为有效像素集合，为指示函数，为语义类别总数，为像素的真实类别，为像素属于第类的预测概率；

31、第二阶段总体优化目标为在条件采样分布下最小化任务损失，优化过程仅更新辅助编码器与卷积注入层参数。

32、优选的，步骤s3中，推理阶段的具体处理方式为：

33、推理时根据实际可用模态选择对应条件：当rgb与深度均可用时，采用完整rgb-d输入；当rgb缺失时，以全零张量替代rgb输入；当深度缺失时，以全零张量替代深度输入；将条件输入分别送入冻结的原始编码器和训练后的辅助编码器；辅助编码器各层输出经对应零初始化1×1卷积注入层生成辅助注入特征，并与原始编码器对应层级特征残差融合；融合特征送入冻结的原始解码器，输出像素级语义分割结果。

34、一种rgb-d语义分割的条件丢弃训练系统，包括：

35、模型加载模块，用于载入预训练原始rgb-d分割模型，冻结原始编码器、解码器全部参数；

36、辅助编码模块，用于复制原始编码器结构与参数生成可训练辅助编码器，并为各特征层级配置零初始化1×1卷积注入层；

37、模态随机采样模块，用于训练迭代中按预设概率采样模态输入条件，并构造对应条件输入张量；

38、特征融合模块，用于并行执行原始编码器、辅助编码器的多层前向编码，计算各层级补偿特征并与原始特征残差融合；

39、损失训练模块，用于计算分割任务损失，反向传播仅更新辅助编码器与各卷积注入层参数；

40、推理输出模块，用于根据实际输入模态构造对应条件输入，调用原始编码器、辅助编码器、零卷积注入层和原始解码器，完成特征融合并输出语义分割结果。

41、因此，本发明采用上述的一种rgb-d语义分割的条件丢弃训练方法及系统，具有以下好处：

42、（1）显著提升模态缺失鲁棒性：在nyuv2数据集上，dformer-b模型rgb缺失时miou从25.5%提升至43.5%，提升18.0个百分点；dformer-b模型深度缺失时miou从35.2%提升至48.3%，提升13.1个百分点；sigma-s模型rgb缺失时miou从13.0%提升至41.5%，提升28.5个百分点；sigma-s模型深度缺失时miou从50.3%提升至52.9%，提升2.6个百分点；

43、（2）保持完整模态性能：在完整rgb-d输入条件下，dformer-b的miou从55.6%微升至55.7%，sigma-s的miou从56.6%提升至57.2%，证明本发明在增强鲁棒性的同时基本保持完整模态性能；

44、（3）大幅降低性能下降幅度：dformer-b的平均性能下降从-25.3个百分点降至-9.8个百分点，改善幅度达15.5个百分点；sigma-s的平均性能下降从-25.0个百分点降至-10.0个百分点，改善幅度达15.0个百分点；

45、（4）训练成本低、通用性强：仅需第二阶段微调，无需完整从头训练，大幅减少计算成本和训练时间；适配dformer、sigma等主流rgb-d分割模型，在nyuv2、sun rgb-d双标准数据集均验证有效。

46、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。