门控成像语义分割方法和装置与流程

技术特征：
1.一种门控成像语义分割方法，其特征在于，所述方法使用语义分割网络实现，所述语义分割网络包括特征提取模块和语义分割模块，所述方法包括：基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像；对所述门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得所述n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数；基于所述特征提取模块对所述第一特征图进行特征提取，获得第二特征图；根据所述每次特征提取后得到的特征图和所述第二特征图，采用n次上采样操作以获得针对所述门控图像的融合特征图；将所述融合特征图输入至语义分割模块以得到所述门控图像的语义分割结果。2.根据权利要求1所述的方法，其特征在于，所述n为4；其中，所述对所述门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得所述n次特征提取和n次下采样操作后得到的第一特征图，包括：s1，基于所述特征提取模块对所述门控图像进行一次特征提取，获得第三特征图；s2，对所述第三特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第三特征图进行一次特征提取，以获得第四特征图；s3，对所述第四特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第四特征图进行一次特征提取，以获得第五特征图；s4，对所述第五特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第五特征图进行一次特征提取，以获得第六特征图；s5，对所述第六特征图进行一次下采样操作，以所述第一特征图。3.根据权利要求2所述的方法，其特征在于，所述根据所述每次特征提取后得到的特征图和所述第二特征图，采用n次上采样操作以获得针对所述门控图像的融合特征图，包括：s1，对所述第二特征图进行反向卷积操作并与所述第六特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第一上采样结果；s2，将所述第一上采样结果进行反向卷积操作并与所述第五特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第二上采样结果；s3，将所述第二上采样结果进行反向卷积操作并与所述第四特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第三上采样结果；s4，将所述第三上采样结果进行反向卷积操作并与所述第三特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得所述融合特征图。4.根据权利要求1所述的方法，其特征在于，所述特征提取模块包括两个卷积层、两个批归一化处理层和两个激活层；其中，所述卷积层所使用的卷积核大小为3x3。5.根据权利要求4所述的方法，其特征在于，所述卷积核的计算方式如下：
其中，f表示卷积核，d是卷积核的个数，x为特征数据，h，w表示特征数据的高度和宽度，l表示所在的网络层，i
l 1
和j
l 1
是卷积结果的位置坐标，其大小分别为0≤i
l 1
≤h和0≤j
l 1
≤w，作为学习得到的权重，针对不同位置的输入共享所述权重，其中f为3x3的卷积核。6.根据权利要求4所述的方法，其特征在于，所述激活层所使用的激活函数为relu函数或leakyrelu函数。7.根据权利要求1至6中任一项所述的方法，其特征在于，在所述上采样操作的过程中，采用的双线性插值的计算公式如下：其中，(x,y)为待求解灰度值的像素点坐标，b(x,y)为计算得到的灰度值，a、b、c和d为系数且由点(x,y)的4个相邻点联合建立未知方程求出。8.一种门控成像语义分割装置，其特征在于，所述装置使用语义分割网络实现，所述语义分割网络包括特征提取模块和语义分割模块，所述装置包括：第一获取模块，用于基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像；第二获取模块，用于对所述门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得所述n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数；第三获取模块，用于基于所述特征提取模块对所述第一特征图进行特征提取，获得第二特征图；第四获取模块，用于根据所述每次特征提取后得到的特征图和所述第二特征图，采用n次上采样操作以获得针对所述门控图像的融合特征图；语义分割模块，用于将所述融合特征图输入至语义分割模块以得到所述门控图像的语义分割结果。9.根据权利要求8所述的装置，其特征在于，所述n为4；其中，所述第二获取模块具体用于：s1，基于所述特征提取模块对所述门控图像进行一次特征提取，获得第三特征图；s2，对所述第三特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第三特征图进行一次特征提取，以获得第四特征图；s3，对所述第四特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第四特征图进行一次特征提取，以获得第五特征图；s4，对所述第五特征图进行一次下采样操作，并基于所述特征提取模块对经过下采样操作后的第五特征图进行一次特征提取，以获得第六特征图；s5，对所述第六特征图进行一次下采样操作，以所述第一特征图。10.根据权利要求9所述的装置，其特征在于，所述第四获取模块具体用于：s1，对所述第二特征图进行反向卷积操作并与所述第六特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第一上采样结果；s2，将所述第一上采样结果进行反向卷积操作并与所述第五特征图进行堆叠，并对堆
叠后得到的特征图进行两次卷积操作，获得第二上采样结果；s3，将所述第二上采样结果进行反向卷积操作并与所述第四特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第三上采样结果；s4，将所述第三上采样结果进行反向卷积操作并与所述第三特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得所述融合特征图。

技术总结
本申请提出一种门控成像语义分割方法和装置。其中，方法包括：基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像；对门控图像进行N次特征提取和N次下采样操作，获得每次特征提取后得到的特征图，并获得N次特征提取和N次下采样操作后得到的第一特征图；基于特征提取模块对第一特征图进行特征提取，获得第二特征图；根据每次特征提取后得到的特征图和第二特征图，采用N次上采样操作以获得针对门控图像的融合特征图；将融合特征图输入至语义分割模块以得到门控图像的语义分割结果。本申请通过采用多尺度的特征提取模型，获得不同大小物体的特征信息，提高模型的分割效果，深度卷积网络提高模型的鲁棒性。型的鲁棒性。型的鲁棒性。


技术研发人员：刘烨斌 杨晓东 戴琼海
受保护的技术使用者：清华大学
技术研发日：2021.11.02
技术公布日：2021/11/30