一种基于特征融合的图像分割方法及装置与流程

1.本发明属于图像处理技术领域，具体涉及一种基于特征融合的图像分割方法及装置。


背景技术：

2.随着人工智能技术和图像处理技术的飞速发展，图像分割在医学影像和盲人导航等领域得到了越来越多的应用。盲人导航一般由安装在眼镜或头盔上的导航装置实现。所述导航装置一般由摄像头、数据处理单元和语音模块等组成。摄像头用于实时拍摄前方的视频图像；数据处理单元通过对所述视频图像进行特征提取、图像分割、目标识别等处理感知前方环境，确定是否存在水坑、楼梯等障碍物，并估算障碍物的位置、大小等；语音模块用于与导航装置佩戴者进行信息交互，如接收佩戴者的指令，向佩戴者播放识别结果(前方环境中的障碍物信息)等。
3.图像分割是盲人导航数据处理中非常关键的一个环节，一些应用场景的图像分割难度很大，比如楼梯图像的分割。楼梯是一种普遍存在且结构复杂的建筑，它们一级与一级进行紧密连接，同时由于不同台阶之间的相似度高，使得不同台阶之间的区分非常困难。如果只基于普通相机输入的rgb图像进行台阶分割，由于可利用的特征信息少，分割精度很难达到预期效果。


技术实现要素：

4.为了解决现有技术中存在的上述问题，本发明提供一种基于特征融合的图像分割方法及装置。
5.为了实现上述目的，本发明采用以下技术方案。
6.第一方面，本发明提供一种基于特征融合的图像分割方法，包括以下步骤：
7.实时获取由深度相机输入的rgb图像和深度图像；
8.分别对rgb图像和深度图像进行特征提取；
9.对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。
10.进一步地，所述特征提取为多尺度特征提取。
11.更进一步地，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：
12.分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；
13.多层融合：对所述多层不同尺度的融合特征进行融合。
14.更进一步地，所述分层融合具体包括：
15.将深度图像特征作为三个通道的输入，得到三通道深度图像特征；
16.将rgb图像特征和三通道深度图像特征分别经过一个3*3卷积运算后，在通道方向进行叠加；
17.进行逐通道加权，各通道的权重由激活函数softmax获得。
18.更进一步地，所述多层融合具体包括：
19.通过上采样将多层不同尺度的融合特征归一化为相同同尺度的融合特征；
20.对多层相同同尺度的融合特征进行叠加；
21.进行逐通道加权，各通道的权重由激活函数softmax获得。
22.更进一步地，所述多层融合还包括对深层的语义信息与浅层的细节信息进行融合。
23.进一步地，所述方法还包括后处理步骤：
24.利用形态学算法对分割图像的边缘进行修复；
25.利用图像深度信息，基于修复后的图像进行实际参数计算。
26.第二方面，本发明提供一种基于特征融合的图像分割装置，包括：
27.图像获取模块，用于实时获取由深度相机输入的rgb图像和深度图像；
28.特征提取模块，用于分别对rgb图像和深度图像进行特征提取；
29.特征融合模块，用于对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。
30.进一步地，所述特征提取为多尺度特征提取。
31.更进一步地，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：
32.分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；
33.多层融合：对所述多层不同尺度的融合特征进行融合。
34.更进一步地，所述分层融合具体包括：
35.将深度图像特征作为三个通道的输入，得到三通道深度图像特征；
36.将rgb图像特征和三通道深度图像特征分别经过一个3*3卷积运算后，在通道方向进行叠加；
37.进行逐通道加权，各通道的权重由激活函数softmax获得。
38.更进一步地，所述多层融合具体包括：
39.通过上采样将多层不同尺度的融合特征归一化为相同同尺度的融合特征；
40.对多层相同同尺度的融合特征进行叠加；
41.进行逐通道加权，各通道的权重由激活函数softmax获得。
42.更进一步地，所述多层融合还包括对深层的语义信息与浅层的细节信息进行融合。
43.进一步地，所述方法还包括后处理步骤：
44.利用形态学算法对分割图像的边缘进行修复；
45.利用图像深度信息，基于修复后的图像进行实际参数计算。
46.与现有技术相比，本发明具有以下有益效果。
47.本发明通过实时获取由深度相机输入的rgb图像和深度图像，分别对rgb图像和深度图像进行特征提取，对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割，实现了对图像的自动分割。本发明在rgb图像特征和深度图像特征融合的基础上进行图像分割，由于利用了图像的深度信息，提高了图像分割精度。
附图说明
48.图1为本发明实施例一种基于特征融合的图像分割方法的流程图。
49.图2为本发明实施例的总体网络结构示意图。
50.图3为本发明实施例一种基于特征融合的图像分割装置的方框图。
具体实施方式
51.为使本发明的目的、技术方案及优点更加清楚、明白，以下结合附图及具体实施方式对本发明作进一步说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
52.图1为本发明实施例一种基于特征融合的图像分割方法的流程图，包括以下步骤：
53.步骤101，实时获取由深度相机输入的rgb图像和深度图像；
54.步骤102，分别对rgb图像和深度图像进行特征提取；
55.步骤103，对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。
56.本实施例提供一种基于特征融合的图像分割方法。本实施例所述方法由安装在佩戴者眼镜或头盔上的导航装置实现。导航装置的硬件结构至少包括一个深度相机(或多目相机)、一个数据处理单元和一个语音模块。深度相机用于实时拍摄前方的视频图像并生成深度图像；数据处理单元主要用于通过对所述视频图像和深度图像进行特征提取、图像分割、目标识别等处理感知前方环境，确定是否存在水坑、楼梯等障碍物，并估算障碍物的位置、大小等；语音模块用于与导航装置佩戴者进行信息交互，如接收佩戴者的指令，向佩戴者播放识别结果等。
57.本实施例中，步骤101主要用于实时获取rgb图像和深度图像。普通彩色相机一般只能拍摄rgb图像，也叫自然图像，可以记录相机视野范围内物体的纹理、色彩等信息，但其记录的数据不包含这些物体与相机的距离信息。深度相机不仅能拍摄自然图像，还能得到深度图像。深度图像不包含物体的纹理、色彩等信息，深度图像中每个像素点的值表示该像素点与相机的距离，结合该像素点在图像中的位置坐标，就能得到每个像素点在世界坐标系中的三维空间坐标。本实施例获取深度图像，主要用于通过对提取的rgb图像特征和深度图像特征进行融合，提高图像分割的精度。
58.本实施例中，步骤102主要用于进行图像特征提取。图像特征是一幅图像区别于其他图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如直方图以及主成份等。基于深度学习的图像特征提取一般由卷积神经网络实现。为了便于理解技术方案，下面简单介绍一下利用卷积运算进行图像特征提取的原理。卷积神经网络由多个卷积层构成，卷积层由一组卷积单元(又称“卷积核”)组成，可以把这些卷积单元理解为过滤器，每个过滤器都会提取一种特定的特征。一般认为图像的空间联系是局部的像素联系比较密切，而距离较远的像素相关性较弱。因此，每个神经元没必要对全局图像进行感知，只要对局部进行感知，然后在更高层将局部的信息综合起来得到全局信息。给定一张输入图片，用一个卷积核去扫这张图，卷积核里面的数就叫权重，这张图每个位置是被同样的卷积核扫的，所以权重是一样的，这也就是权值
共享。用一个卷积核操作只能得到一种特征可能获取不到全部特征，为此，引入了多核卷积。用不同的卷积核来学习不同的特征(每个卷积核学习到不同的权重)来提取原图特征。值得说明的是，在多核卷积的过程中每个卷积核的大小是相同的。由于本实施例基于rgb图像特征和深度图像特征融合进行图像分割，因此需要分别针对rgb图像和深度图像进行特征提取。
59.本实施例中，步骤103主要用于对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。图像数据融合是指对多源信道所采集到的关于同一目标的图像数据进行处理，以最大限度地提取各自信道中的有用信息。图像数据融合具有以下优点：提高图像分辨率和清晰度；增强图像的相关特征；相互补充相关信息，去除噪声和冗余；提高目标检测及识别能力。根据图像表征层次的不同，图像数据融合可分为三个层次的融合：像素级融合、特征级融合和决策级融合。本实施例属于特征融合，即在完成rgb图像特征和深度图像特征提取后，对提取的两种图像特征进行融合，并基于融合特征进行图像分割。
60.作为一可选实施例，所述特征提取为多尺度特征提取。
61.本实施例中，对rgb图像和深度图像进行多尺度特征提取。为了更好的描述不同位置和大小物体特征，比如不同大小的病灶，通常需要提取多个尺度的特征。多尺度特征提取方法是：先将图片进行不同尺度的缩放，得到图像金字塔；然后对每层图片提取不同尺度的特征，得到特征图。一幅图像的金字塔是一系列以金字塔形状排列的分辨率逐步降低，且来源于同一张原始图的图像集合。图像金字塔通过梯次向下采样获得，直到达到某个终止条件才停止采样。将一层一层的图像比喻成金字塔，层级越高，则图像越小，分辨率越低。多尺度特征提取的模型结构设计，目前已经有许多成熟的算法，对此本实施例不作具体要求，优选的，可以使用resnest 101。
62.作为一可选实施例，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：
63.分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；
64.多层融合：对所述多层不同尺度的融合特征进行融合。
65.本实施例给出了图像特征融合的一种技术方案。本实施例的图像特征融合包括分层融合和多层融合。所述分层融合是对同一卷积层中相同尺度的rgb图像特征和深度图像特征进行融合。如前述，本实施例的特征提取为多尺度特征提取，即在不同的卷积层采用不同尺度的卷积核实现不同尺度的图像特征提取，因此，需要先对相同尺度的rgb图像特征和深度图像特征进行融合，即分层融合。多层融合是对不同层次的图像特征进行融合，也就是多个不同尺度图像特征的融合。具体地说，是在分层融合的基础上，对分层融合得到的不同尺度的融合特征再进行融合。因此，本实施例的图像特征融合实际上包括不同种类图像特征融合和不同尺度的图像特征融合，可以充分地利用各种有用信息用于提高图像分割的精度。
66.作为一可选实施例，所述分层融合具体包括：
67.将深度图像特征作为三个通道的输入，得到三通道深度图像特征；
68.将rgb图像特征和三通道深度图像特征分别经过一个3*3卷积运算后，在通道方向进行叠加；
69.进行逐通道加权，各通道的权重由激活函数softmax获得。
70.本实施例给出了分层融合的一种技术方案。如前述，分层融合是对相同尺度的rgb图像特征和深度图像特征进行融合，考虑到深度图像特征与rgb图像特征是不同种类的特征，不能直接将两者叠加在一起，因此本实施例采用单独的网络对两者进行融合。优选的，可以采用resnet 101网络。由于深度图像特征只占据一个通道(而rgb图像特征占据三个通道)，不能很好地适应resnet101的输入，本实施例将一个通道的深度图像特征扩展为三个通道，也就是将同一深度图像特征作为三个通道的输入，得到相同的三通道深度图像特征。然后分别对rgb图像特征和三通道深度图像特征进行一次卷积核为3*3的卷积运算，将它们在通道方向叠加在一起。最后对每个通道进行加权，每个通道的权重由激活函数softmax获得。
71.作为一可选实施例，所述多层融合具体包括：
72.通过上采样将多层不同尺度的融合特征归一化为相同同尺度的融合特征；
73.对多层相同同尺度的融合特征进行叠加；
74.进行逐通道加权，各通道的权重由激活函数softmax获得。
75.本实施例给出了多层融合的一种技术方案。分层融合得到了多个不同尺度的融合特征，多层融合是对所述不同尺度融合特征进行融合。由于不同尺度的融合特征不能直接叠加，因此需要先将不同尺度的融合特征归一化为相同尺度的特征。本实施例是通过上采样将小尺度的融合特征均提升到最大尺度的融合特征，然后再对就归一化后的融合特征进行叠加。考虑到叠加后可能产生一些冗余信息，为了去掉这部分冗余信息，本实施例对每个通道进行加权，各通道的权重由激活函数softmax获得。
76.作为一可选实施例，所述多层融合还包括对深层的语义信息与浅层的细节信息进行融合。
77.本实施例给出了多层融合的又一技术方案。本实施例中，多层融合不仅包括不同尺度特征的融合，还包括深层的语义信息与浅层的细节信息进行融合。如图2中的虚线所示，深层的语义信息是与和它相邻的浅层的细节信息进行融合，是采用通道的逐像素相加将两个特征直接融合在一起。本实施例的特征融合可进一步提高图像分割的精度。
78.作为一可选实施例，所述方法还包括后处理步骤：
79.利用形态学算法对分割图像的边缘进行修复；
80.利用图像深度信息，基于修复后的图像进行实际参数计算。
81.本实施例给出了图像分割后进行后处理的一种技术方案。后处理主要是基于分割出的图像进行一些参数计算。比如楼梯图像分割，由于图像分割出来的只是楼梯的宽面和高面，不能很好地反映各级楼梯间的相互信息，而且具体的高度和宽度也还不清楚。所以在后处理中首先基于宽面和高面的分割结果，进行一些形态学变化，包括腐蚀和膨胀等，主要将一些分割不好的边缘进行修复。随后针对每一个分割区域，可以计算出其分割区域的短边长，而这个短边在宽面上代表的就是宽的大小，在高面上代表的就是台阶的高。这时只要知道相机的焦距、姿态角等信息，就可以将这个高映射回真实的世界坐标系，从而知道真实世界中的台阶的信息。对于现实生活中的大部分台阶，其每一阶的高度与高度之间、宽度与宽度之间是一般统一的，或者说是每一阶的高度是一致的，相应的宽度也是一致的。所以最终可以基于多个台阶进行平均，从而使得最终的度量更加准确。
82.图3为本发明实施例一种基于特征融合的图像分割装置的组成示意图，所述装置包括：
83.图像获取模块11，用于实时获取由深度相机输入的rgb图像和深度图像；
84.特征提取模块12，用于分别对rgb图像和深度图像进行特征提取；
85.特征融合模块13，用于对提取的rgb图像特征和深度图像特征进行融合，并基于融合特征进行图像分割。
86.本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。后面的实施例也是如此，均不再展开说明。
87.作为一可选实施例，所述特征提取为多尺度特征提取。
88.作为一可选实施例，所述对提取的rgb图像特征和深度图像特征进行融合的方法包括：
89.分层融合：对每层相同尺度的rgb图像特征和深度图像特征进行融合，得到多个不同尺度的融合特征；
90.多层融合：对所述多层不同尺度的融合特征进行融合。
91.作为一可选实施例，所述分层融合具体包括：
92.将深度图像特征作为三个通道的输入，得到三通道深度图像特征；
93.将rgb图像特征和三通道深度图像特征分别经过一个3*3卷积运算后，在通道方向进行叠加；
94.进行逐通道加权，各通道的权重由激活函数softmax获得。
95.作为一可选实施例，所述多层融合具体包括：
96.通过上采样将多层不同尺度的融合特征归一化为相同同尺度的融合特征；
97.对多层相同同尺度的融合特征进行叠加；
98.进行逐通道加权，各通道的权重由激活函数softmax获得。
99.作为一可选实施例，所述多层融合还包括对深层的语义信息与浅层的细节信息进行融合。
100.作为一可选实施例，所述方法还包括后处理步骤：
101.利用形态学算法对分割图像的边缘进行修复；
102.利用图像深度信息，基于修复后的图像进行实际参数计算。
103.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。