一种基于特征融合的图像分割方法及装置与流程

技术特征：
1.一种基于特征融合的图像分割方法，其特征在于，包括以下步骤：实时获取由深度相机输入的rgb图像和深度图像；分别对rgb图像和深度图像进行特征提取；对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。2.根据权利要求1所述的基于特征融合的图像分割方法，其特征在于，所述特征提取为多尺度特征提取。3.根据权利要求2所述的基于特征融合的图像分割方法，其特征在于，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；多层融合：对所述多层不同尺度的融合特征进行融合。4.根据权利要求3所述的基于特征融合的图像分割方法，其特征在于，所述分层融合具体包括：将深度图像特征作为三个通道的输入，得到三通道深度图像特征；将rgb图像特征和三通道深度图像特征分别经过一个3*3卷积运算后，在通道方向进行叠加；进行逐通道加权，各通道的权重由激活函数softmax获得。5.根据权利要求3所述的基于特征融合的图像分割方法，其特征在于，所述多层融合具体包括：通过上采样将多层不同尺度的融合特征归一化为相同同尺度的融合特征；对多层相同同尺度的融合特征进行叠加；进行逐通道加权，各通道的权重由激活函数softmax获得。6.根据权利要求3所述的基于特征融合的图像分割方法，其特征在于，所述多层融合还包括对深层的语义信息与浅层的细节信息进行融合。7.根据权利要求1所述的基于特征融合的图像分割方法，其特征在于，所述方法还包括后处理步骤：利用形态学算法对分割图像的边缘进行修复；利用图像深度信息，基于修复后的图像进行实际参数计算。8.一种基于特征融合的图像分割装置，其特征在于，所述装置包括：图像获取模块，用于实时获取由深度相机输入的rgb图像和深度图像；特征提取模块，用于分别对rgb图像和深度图像进行特征提取；特征融合模块，用于对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。9.根据权利要求8所述的基于特征融合的图像分割装置，其特征在于，所述特征提取为多尺度特征提取。10.根据权利要求9所述的基于特征融合的图像分割装置，其特征在于，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；
多层融合：对所述多层不同尺度的融合特征进行融合。

技术总结
本发明提供一种基于特征融合的图像分割方法及装置。所述方法包括以下步骤：实时获取由深度相机输入的RGB图像和深度图像；分别对RGB图像和深度图像进行特征提取；对提取的RGB图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。本发明在RGB图像特征和深度图像特征融合的基础上进行图像分割，由于利用了图像的深度信息，提高了图像分割精度。提高了图像分割精度。提高了图像分割精度。


技术研发人员：何福金 吴子丰 俞益洲 李一鸣 乔昕
受保护的技术使用者：杭州深睿博联科技有限公司
技术研发日：2021.12.29
技术公布日：2022/5/25