门控成像语义分割方法和装置与流程

1.本技术涉及深度学习、计算机视觉技术领域，尤其涉及一种用于自动驾驶领域的基于门控成像的暗光场景语义分割方法和装置。


背景技术：

2.自动驾驶作为人工智能的一个重要研究领域发展迅速，在半开放式的场景中已经得到一定的应用。车辆对外部环境的感知是实现车辆自动驾驶的基础和核心，其中暗光场景的感知十分重要，为自动驾驶在恶劣环境中提供决策和规划，保障车辆和人员的安全。
3.门控成像通过变换门控的开关时间来采集场景在不同距离反射的近红外波段红外线的积分图像，从而规避恶劣天气成像过程中因空气中的水滴、固体小颗粒造成的反向散射现象，有效采集暗光场景的环境信息。同时深度学习技术在各个领域的快速发展，研究人员提出了大量学习能力较好的深度学习框架，包括针对图像的语义分割。然而由于暗光场景的数据采集比较困难，后续的分析和应用也有一定的难度，导致相关的研究比较欠缺。


技术实现要素：

4.本技术的目的旨在至少在一定程度上解决上述的技术问题之一。
5.为此，本技术的第一个目的在于提出一种门控成像语义分割方法，通过采用多尺度的特征提取模型，获得不同大小物体的特征信息，提高模型的分割效果，深度卷积网络提高模型的鲁棒性，从而可以实现暗光场景中自动驾驶的语义分割。
6.本技术的第二个目的在于提出一种门控成像语义分割装置。
7.为达上述目的，本技术第一方面实施例提出了一种门控成像语义分割方法，所述方法使用语义分割网络实现，所述语义分割网络包括特征提取模块和语义分割模块，所述方法包括：基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像；对所述门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得所述n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数；基于所述特征提取模块对所述第一特征图进行特征提取，获得第二特征图；根据所述每次特征提取后得到的特征图和所述第二特征图，采用n次上采样操作以获得针对所述门控图像的融合特征图；将所述融合特征图输入至语义分割模块以得到所述门控图像的语义分割结果。
8.本技术第二方面实施例提出了一种门控成像语义分割装置，所述装置使用语义分割网络实现，所述语义分割网络包括特征提取模块和语义分割模块，所述装置包括：第一获取模块，用于基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像；
第二获取模块，用于对所述门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得所述n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数；第三获取模块，用于基于所述特征提取模块对所述第一特征图进行特征提取，获得第二特征图；第四获取模块，用于根据所述每次特征提取后得到的特征图和所述第二特征图，采用n次上采样操作以获得针对所述门控图像的融合特征图；语义分割模块，用于将所述融合特征图输入至语义分割模块以得到所述门控图像的语义分割结果。
9.根据本技术实施例的技术方案，利用主动式门控成像设备，采集弱光条件下的环境信息；然后对门控图像进行预处理使图像的宽和高保持一致，并对裁剪后的图像进行随机的水平或垂直翻转增加数据量；其次对图像特征信息进行下采样操作，以使得下采样得到的图像大小比原图像小，可以提高感受野大小和模型的鲁棒性，避免图像平移旋转的影响；再使用上采样操作进一步获取语义信息实现更精细表达同时恢复图像尺寸；最后将提取到的特征信息输入语义分割模块，拟合最佳感兴趣区域，输出图像的语义分割结果，从而获得暗光场景中自动驾驶的语义分割结果，为自动驾驶在恶劣环境中提供决策和规划，保障车辆和人员的安全。
10.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
11.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1为本技术实施例所提供的一种门控成像语义分割方法的流程示意图；图2是根据本技术实施例的门控成像语义分割方法的流程图；图3是根据本技术实施例的特征提取模块的结构示意图；图4是根据本技术实施例的门控成像语义分割方法的流程图；图5是根据本技术实施例的门控成像语义分割方法的流程示例图；图6是根据本技术一个实施例的门控成像语义分割装置的结构框图。
具体实施方式
12.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
13.下面参考附图描述本技术实施例的门控成像语义分割方法和装置。
14.图1为本技术实施例所提供的一种门控成像语义分割方法的流程示意图。需要说明的是，本技术实施例的门控成像语义分割方法可应用于本技术实施例的门控成像语义分割装置。需要说明的是，本技术实施例的门控成像语义分割方法使用预先训练的语义分割网络实现。其中，该语义分割网络包括特征提取模块和语义分割模块。如图1所示，该门控成
像语义分割方法可以包括如下步骤。
15.在步骤101中，基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像。
16.在本技术实施例中，该暗光场景可包括但不限于：弱光、炫光、反光、雨雪雾等天气。
17.在本技术的实施例中，门控成像设备所采集的环境信息可为视频信息。在获得门控成像设备采集的暗光场景下的视频信息时，可将该视频信息转换为图像，其中，需要求该图像中包含有效的被检测对象，该被检测对象可包括人、车、物等。之后，可通过对图像进行预处理以保持图像宽和高的比例一致。
18.在步骤102中，对门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数。
19.在本技术实施例中，该n可为4。在本实施例中，可对门控图像的特征信息进行下采样操作，该过程使用的下采样窗口的大小为2x2。例如，可对门控图像进行4次下采样操作，以使得到的图像大小比原图像分别缩小了2倍、4倍、8倍、16倍，由此可以提高感受野大小和模型的鲁棒性，避免图像平移旋转的影响。
20.作为一种示例，如图2所示，步骤102具体包括：步骤201，基于特征提取模块对门控图像进行一次特征提取，获得第三特征图；步骤202，对第三特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第三特征图进行一次特征提取，以获得第四特征图；步骤203，对第四特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第四特征图进行一次特征提取，以获得第五特征图；步骤204，对第五特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第五特征图进行一次特征提取，以获得第六特征图；步骤205，对第六特征图进行一次下采样操作，以第一特征图。
21.在本技术实施例中，特征提取模块可包括两个卷积层、两个批归一化处理层和两个激活层。其中，卷积层所使用的卷积核大小为3x3。作为一种示例，卷积核的计算公式如下：其中，f表示卷积核，d是卷积核的个数，x为特征数据，h，w表示特征数据的高度和宽度，l表示所在的网络层，i
l 1
和j
l 1
是卷积结果的位置坐标，其大小分别为0≤i
l 1
≤h和0≤j
l 1
≤w，作为学习得到的权重，针对不同位置的输入共享该权重，其中f为3x3的卷积核。
22.在本实施例中，激活层所使用的激活函数为relu函数或leakyrelu函数。其中，当激活函数为relu函数时，该激活函数的计算公式如下：
当激活函数为leakyrelu函数时，该激活函数的计算公式如下：其中，x为输入的数据，当x
⩾
0时，relu函数的梯度为1，反之为0，在leakyrelu中则多了一个超参数negative
slope
。
23.需要说明的是，特征提取模块还可同时包含批归一化层和最大池化层。例如，以激活函数为relu函数为例，如图3所示，该特征提取模块的执行顺序为：conv2d（卷积层）
→ꢀ
batchnorm2d（归一化层）
→ꢀ
relu（激活层）
→ꢀ
conv2d（卷积层）
→ꢀ
batchnorm2d（归一化层）
→ꢀ
relu（激活层）。
24.在步骤103中，基于特征提取模块对第一特征图进行特征提取，获得第二特征图。
25.需要说明的是，本步骤中的特征提取模块与上述特征提取模块的功能和结构相同，在此不再赘述。
26.在步骤104中，根据每次特征提取后得到的特征图和第二特征图，采用n次上采样操作以获得针对门控图像的融合特征图。
27.在本技术实施例中，该n可为4。在本实施例中，在对门控图像进行下采样操作之后，可再使用上采样操作进一步获取语义信息以实现更精细表达，同时恢复图像尺寸。
28.作为一种示例，如图4所示，步骤104具体包括：步骤401，对第二特征图进行反向卷积操作并与第六特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第一上采样结果；步骤402，将第一上采样结果进行反向卷积操作并与第五特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第二上采样结果；步骤403，将第二上采样结果进行反向卷积操作并与第四特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第三上采样结果；步骤404，将第三上采样结果进行反向卷积操作并与第三特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得融合特征图。
29.需要说明的是，在本实施例中，在上采样操作的过程中，采用的双线性插值的计算公式如下：其中，(x,y)为待求解灰度值的像素点坐标，b(x,y)为计算得到的灰度值，a、b、c和d为系数且由点(x,y)的4个相邻点联合建立未知方程求出，假设4个相邻点分别为q
11
=（x1,y1），q
12
=（x1,y2），q
21
=（x2,y1），q
22
=（x2,y2），则以x方向的计算方式为例，计算公式如下：在本实施例中，每次上采样过程与下采样过程对应的每一层进行特征图的堆叠操
作时，该堆叠操作可包括两个卷积操作。由此可见，本技术先进行浅层的特征信息提取得到特征图，再分别使用上采样和下采样获得不同尺度的特征信息。
30.在步骤105中，将融合特征图输入至语义分割模块以得到门控图像的语义分割结果。
31.需要说明的是，语义分割网络可以是预先训练的。训练该语义分割网络时，使用rmsprop作为优化函数，在梯度优化过程中，每个梯度都要除以meansquare的平方根，下述公式即为meansquare的计算方式。计算公式如下所示：其中，w表示权重，t为参数的当前位置，使用求导得到当前位置的梯度。bceloss作为损失函数，计算公式如下：其中，y为目标值，x为输入数据，w为权重数据,i表示不同的输入输出。
32.在本技术实施例中，语义分割网络的训练可包含三个主要步骤，分别是：数据准备、设计并搭建模型、训练并评价模型。使用门控成像设备采集雨、雪、雾等弱光和炫光环境的图像，然后对图像数据进行预处理，具体内容如下述步骤一所示。恶劣条件下难以捕捉丰富的外部环境信息，设计使用上采样和下采样操作从图片中获取丰富的特征信息，搭建高可用的深度模型，模型搭建的具体内容如下述步骤二到步骤十一所示。为了优化和评价训练的模型，使用rmsprop作为优化函数和bceloss作为损失函数，如下述步骤十二所示。如图5所示，步骤一至步骤十二具体如下：步骤一，将门控成像设备在暗光场景中采集到的视频信息转换为图片，要求图片中包含有效的被检测对象包括人、车、物等，通过对图片进行预处理实现水平或垂直翻转增加数据量，同时保持图片宽和高的比例一致，然后将生成的数据集按比例划分为训练集（70%）和测试集（30%）。
33.步骤二，设计深度学习网络，将网络分为4次下采样和4次上采样操作，总共包含9个阶段的特征提取过程，从下采样开始依次编号为第1到第9阶段。
34.步骤三，将图片输入到第一阶段（如图5所示中的s1）的特征提取模块计算得到图片的特征图，该特征提取模块包含两个卷积层，两次批归一化处理和两个relu激活函数。
35.步骤四，对上述得到的特征图横向传递给最后一阶段（如图5所示中的s9），再进行下采样操作，下采样后特征图的大小为原来的1/2，然后执行第二阶段（如图5所示中的s2）的特征提取模块计算特征图，包含的方法与第一阶段相同。
36.步骤五，对上述得到的特征图横向传递给倒数第二阶段（如图5所示中的s8），再进行下采样操作，下采样后特征图的大小为上一阶段的1/2，然后执行第三阶段（如图5所示中的s3）的特征提取模块计算特征图，包含的方法与第一阶段相同。
37.步骤六，对上述得到的特征图横向传递给倒数第三阶段（如图5所示中的s7），再进行下采样操作，下采样后特征图的大小为上一阶段的1/2，然后执行第四阶段（如图5所示中的s4）的特征提取模块计算特征图，包含的方法与第一阶段相同。
38.步骤七，对上述得到的特征图横向传递给倒数第四阶段（如图5所示中的s6），再进
行下采样操作，下采样后特征图的大小为上一阶段的1/2，然后执行第五阶段（如图5所示中的s5）的特征提取模块计算特征图，包含的方法与第一阶段相同。
39.步骤八，从第六阶段（如图5所示中的s6）开始实现上采样操作，对上一阶段（如图5所示中的s5）进行反向卷积并与第四阶段的特征图进行堆叠，然后执行两次卷积操作，使用relu作为激活函数，将上采样的结果传输给下一个特征采样层。
40.步骤九，在第七阶段（如图5所示中的s7），先对上一阶段（如图5所示中的s6）进行反向卷积并与第三阶段的特征图进行堆叠，然后执行两次卷积操作，使用relu作为激活函数，将上采样的结果传输给下一个特征采样层。
41.步骤十，在第八阶段（如图5所示中的s8），先对上一阶段（如图5所示中的s7）进行反向卷积并与第二阶段的特征图进行堆叠，然后执行两次卷积操作，使用relu作为激活函数，将上采样的结果传输给下一个特征采样层。
42.步骤十一，在第九阶段（如图5所示中的s9），先对上一阶段（如图5所示中的s8）进行反向卷积并与第一阶段的特征图进行堆叠，然后执行两次卷积操作，使用relu作为激活函数，输出特征图。
43.步骤十二，融合所述的上采样得到的特征图作为特征网络提取的不同尺度的特征结果，输入语义分割模块得到门控图像的语义分割结果，训练过程使用rmsprop作为优化函数，bceloss作为损失函数。
44.根据本技术实施例的门控成像语义分割方法，利用主动式门控成像设备，采集弱光条件下的环境信息；然后对门控图像进行预处理使图像的宽和高保持一致，并对裁剪后的图像进行随机的水平或垂直翻转增加数据量；其次对图像特征信息进行下采样操作，以使得下采样得到的图像大小比原图像小，可以提高感受野大小和模型的鲁棒性，避免图像平移旋转的影响；再使用上采样操作进一步获取语义信息实现更精细表达同时恢复图像尺寸；最后将提取到的特征信息输入语义分割模块，拟合最佳感兴趣区域，输出图像的语义分割结果，从而获得暗光场景中自动驾驶的语义分割结果，为自动驾驶在恶劣环境中提供决策和规划，保障车辆和人员的安全。
45.为了实现上述实施例，本技术还提出了一种门控成像语义分割装置。
46.图6是根据本技术一个实施例的门控成像语义分割装置的结构框图。如图6所示，该门控成像语义分割装置600可以包括：第一获取模块601、第二获取模块602、第三获取模块603、第四获取模块604和语义分割模块605。
47.具体地，第一获取模块601用于基于门控成像设备采集暗光场景下的环境信息，并将采集到的环境信息转换为对应的门控图像。
48.第二获取模块602用于对门控图像进行n次特征提取和n次下采样操作，获得每次特征提取后得到的特征图，并获得n次特征提取和n次下采样操作后得到的第一特征图；其中，n为大于1的正整数。在本技术实施例中，该n为4。其中，在本实施例中，第二获取模块602具体用于：基于特征提取模块对门控图像进行一次特征提取，获得第三特征图；对第三特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第三特征图进行一次特征提取，以获得第四特征图；对第四特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第四特征图进行一次特征提取，以获得第五特征图；对第五特征图进行一次下采样操作，并基于特征提取模块对经过下采样操作后的第五特征图进行一次特征
提取，以获得第六特征图；对第六特征图进行一次下采样操作，以第一特征图。
49.第三获取模块603用于基于特征提取模块对第一特征图进行特征提取，获得第二特征图。
50.第四获取模块604用于根据每次特征提取后得到的特征图和第二特征图，采用n次上采样操作以获得针对门控图像的融合特征图。在本技术实施例中，第四获取模块604具体用于：对第二特征图进行反向卷积操作并与第六特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第一上采样结果；将第一上采样结果进行反向卷积操作并与第五特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第二上采样结果；将第二上采样结果进行反向卷积操作并与第四特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得第三上采样结果；将第三上采样结果进行反向卷积操作并与第三特征图进行堆叠，并对堆叠后得到的特征图进行两次卷积操作，获得融合特征图。
51.语义分割模块605用于将融合特征图输入至语义分割模块以得到门控图像的语义分割结果。
52.需要说明的是，前述对门控成像语义分割方法实施例的解释说明也适用于该实施例的门控成像语义分割装置，此处不再赘述。
53.根据本技术实施例的门控成像语义分割装置，利用主动式门控成像设备，采集弱光条件下的环境信息；然后对门控图像进行预处理使图像的宽和高保持一致，并对裁剪后的图像进行随机的水平或垂直翻转增加数据量；其次对图像特征信息进行下采样操作，以使得下采样得到的图像大小比原图像小，可以提高感受野大小和模型的鲁棒性，避免图像平移旋转的影响；再使用上采样操作进一步获取语义信息实现更精细表达同时恢复图像尺寸；最后将提取到的特征信息输入语义分割模块，拟合最佳感兴趣区域，输出图像的语义分割结果，从而获得暗光场景中自动驾驶的语义分割结果，为自动驾驶在恶劣环境中提供决策和规划，保障车辆和人员的安全。
54.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
55.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
56.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
57.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
58.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
59.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
60.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
61.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。