图像分割方法、车辆控制方法及装置与流程

1.本公开涉及图像处理技术领域，具体而言，涉及一种图像分割方法、车辆控制方法及装置。


背景技术：

2.图像分割是图像处理和是机器视觉技术中关于图像理解的重要一环。在进行图像分割时，可以通过对图像中每一个像素点进行分类，确定每个点的类别，从而实现区域划分。目前，常见的图像分割模型包括全景分割模型和部件分割模型，所述全景分割模型可以划分出待分割图像中的前景物体(比如人、汽车等)，以及后景物体(比如马路、建筑等)；所述部件分割模型可以将待分割图像中的可数物体的部件进行分割，比如人的头部、汽车的车灯等。
3.相关技术中，为了得到更精细化的分割效果，往往会选择使用全景分割模型和部件分割模型分别对待分割图像进行分割，并将全景分割结果和部件分割结果进行融合处理，虽然通过这种方式得到的融合后的分割结果，相较于只使用一个图像分割模型进行分割得到的分割结果的图像分割效果更好，但由于使用两个独立建模的模型进行图像分割，导致图像分割效率低下。


技术实现要素：

4.本公开实施例至少提供一种图像分割、车辆控制方法、装置、计算机设备及存储介质。
5.第一方面，本公开实施例提供了一种图像分割方法，包括：
6.获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；
7.分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；
8.基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；
9.基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。
10.这样，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
11.一种可能的实施方式中，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果，包括：
12.基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量；
13.基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量；
14.基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息；
15.基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件；
16.将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。
17.一种可能的实施方式中，所述基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图，包括：
18.基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；
19.将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。
20.这样，通过确定第一特征图和第二特征图，并对所述第一特征图和第二特征图进行拼接得到全景特征图，使得后续处理时只需要处理一个特征图即可，从而可以提高图像分割效率。
21.一种可能的实施方式中，所述基于所述第一查询向量和所述第二查询向量确定全景查询向量，包括：
22.将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。
23.这样，通过将第一查询向量和第二查询向量进行拼接得到全景查询向量，使得后续处理时只需要处理一个查询向量即可，从而可以提高图像分割效率。
24.一种可能的实施方式中，所述基于所述全景特征图对所述全景查询向量进行调整，包括：
25.基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量；
26.基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。
27.这样，基于动态卷积处理和自注意力机制算法对所述全景查询向量进行调整，可以使得调整后的全景查询向量能够更好的提取出目标图像对应的全景特征(第一查询特征信息)和局部特征(第二查询特征信息)，从而提高图像分割效果。
28.一种可能的实施方式中，所述基于调整后的全景查询向量重新确定第一查询向量和第二查询向量，包括：
29.对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。
30.这样，通过对调整后的全景查询向量进行拆分，可以完成对所述第一查询向量和所述第二查询向量的一次更新，并可以通过后续的更新，使得查询向量能够更好的提取出目标图像对应的全景特征(第一查询特征信息)和局部特征(第二查询特征信息)，从而提高图像分割效果。
31.一种可能的实施方式中，所述基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果，包括：
32.将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。
33.这样，通过对第一目标查询特征信息和第二目标查询特征信息进行融合处理，可以得到融合了全景分割结果和部件分割结果的目标分割结果。
34.一种可能的实施方式中，所述图像分割方法利用图像分割网络完成。
35.一种可能的实施方式中，所述图像分割网络采用以下步骤训练得到：
36.获取样本图像以及所述样本图像对应的样本全景分割图像和样本部件分割图像；
37.将所述样本图像输入至待训练的图像分割网络，确定与所述样本图像对应的第一样本查询特征信息和第二样本查询特征信息；
38.基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，并基于所述目标损失值对所述待训练的图像分割网络的网络参数进行调整，所述网络参数包括第一查询向量和第二查询向量。
39.一种可能的实施方式中，所述基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，包括：
40.基于所述第一样本查询特征信息和所述样本全景分割图像，确定全景分割损失；以及，
41.基于所述第二样本查询特征信息和所述样本部件分割图像，确定部件分割损失；以及，
42.基于所述第一样本查询特征信息和所述第二样本查询特征信息确定样本全景特征图，并基于样本全景特征图和所述样本图像对应的分类标签，确定分类损失；
43.基于所述全景分割损失、所述部件分割损失和所述分类损失，确定所述目标损失值。
44.这样，基于分割损失和分类损失确定目标损失值，可以使得后续在基于所述目标损失值对待训练的图像分割网络的网络参数进行调整后，图像分割网络的网络精度更高，从而提高图像分割效率。
45.第二方面，本公开实施例提供了一种车辆控制方法，包括：
46.获取自动驾驶车辆上部署的图像采集装置采集的待分割图像；
47.基于第一方面任一所述的图像分割方法，确定所述待分割图像对应的图像分割结果；
48.基于所述图像分割结果对所述自动驾驶车辆进行控制。
49.第三方面，本公开实施例还提供一种图像分割装置，包括：
50.第一获取模块，用于获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；
51.提取模块，用于分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；
52.查询模块，用于基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；
53.第一确定模块，用于基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。
54.一种可能的实施方式中，所述第一确定模块，在基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果时，用于：
55.基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量；
56.基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量；
57.基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息；
58.基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件；
59.将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。
60.一种可能的实施方式中，所述第一确定模块，在基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图时，用于：
61.基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；
62.将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。
63.一种可能的实施方式中，所述第一确定模块，在基于所述第一查询向量和所述第二查询向量确定全景查询向量时，用于：
64.将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。
65.一种可能的实施方式中，所述第一确定模块，在基于所述全景特征图对所述全景查询向量进行调整时，用于：
66.基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量；
67.基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。
68.一种可能的实施方式中，所述第一确定模块，在基于调整后的全景查询向量重新确定第一查询向量和第二查询向量时，用于：
69.对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。
70.一种可能的实施方式中，所述第一确定模块，在基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果时，用于：
71.将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。
72.一种可能的实施方式中，所述图像分割方法利用图像分割网络完成。
73.一种可能的实施方式中，所述装置还包括训练模块，所述训练模块用于根据以下步骤训练所述图像分割网络：
74.获取样本图像以及所述样本图像对应的样本全景分割图像和样本部件分割图像；
75.将所述样本图像输入至待训练的图像分割网络，确定与所述样本图像对应的第一样本查询特征信息和第二样本查询特征信息；
76.基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，并基于所述目标损失值对所述待训练的图像分割网络的网络参数进行调整，所述网络参数包括第一查询向量和第二查询向量。
77.一种可能的实施方式中，所述训练模块，在基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值时，用于：
78.基于所述第一样本查询特征信息和所述样本全景分割图像，确定全景分割损失；以及，
79.基于所述第二样本查询特征信息和所述样本部件分割图像，确定部件分割损失；以及，
80.基于所述第一样本查询特征信息和所述第二样本查询特征信息确定样本全景特征图，并基于样本全景特征图和所述样本图像对应的分类标签，确定分类损失；
81.基于所述全景分割损失、所述部件分割损失和所述分类损失，确定所述目标损失值。
82.第四方面，本公开实施例还提供一种车辆控制装置，包括：
83.第二获取模块，用于获取自动驾驶车辆上部署的图像采集装置采集的待分割图像；
84.第二确定模块，用于基于第一方面中任一所述的图像分割方法，确定所述待分割图像对应的图像分割结果；
85.控制模块，用于基于所述图像分割结果对所述自动驾驶车辆进行控制。
86.第五方面，本公开实施例还提供一种计算机设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当计算机设备运行时，所述处理器与
所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面或第二方面中，任一种可能的实施方式中的步骤。
87.第六方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面或第二方面中，任一种可能的实施方式中的步骤。
88.关于上述图像分割、车辆控制装置、计算机设备、及计算机可读存储介质的效果描述参见上述图像分割、车辆控制方法的说明，这里不再赘述。
89.本公开实施例提供的图像分割、车辆控制方法、装置、计算机设备及存储介质，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
90.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
91.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
92.图1示出了本公开实施例所提供的一种图像分割方法的流程图；
93.图2示出了本公开实施例所提供的一种图像分割方法中，确定目标分割结果的具体方法的流程图；
94.图3示出了本公开实施例所提供的一种图像分割方法的整体流程图；
95.图4示出了本公开实施例所提供的一种车辆控制方法的流程图；
96.图5示出了本公开实施例所提供的一种图像分割装置的架构示意图；
97.图6示出了本公开实施例所提供的一种车辆控制装置的架构示意图；
98.图7示出了本公开实施例所提供的一种计算机设备的结构示意图。
具体实施方式
99.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
100.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
101.本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括a、b、c中的至少一种，可以表示包括从a、b和c构成的集合中选择的任意一个或多个元素。
102.经研究发现，为了得到更精细化的分割效果，往往会选择使用全景分割模型和部件分割模型分别对待分割图像进行分割，并将全景分割结果和部件分割结果进行融合处理。
103.具体的，在分别使用全景分割模型和部件分割模型分别对待分割图像进行分割时，所述全景分割模型和所述部件分割模型可以分别使用各自对应的特征提取器进行特征提取，并分别使用各自对应的解码器进行图像分割处理；或者，为了节约计算资源，所述全景分割模型和所述部件分割模型还可以共用同一个特征提取器进行特征提取，并分别使用各自对应的解码器进行图像分割处理，但无论是这两种方式中的哪一种，在进行建模时仍需要建模两个模型，从而导致图像分割效率低下。
104.基于上述研究，本公开提供了一种图像分割、车辆控制方法、装置、计算机设备及存储介质，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
105.为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像分割方法进行详细介绍，本公开实施例所提供的图像分割方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(user equipment，ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字助理(personal digital assistant，pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像分割方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
106.参见图1所示，为本公开实施例提供的图像分割方法的流程图，所述方法包括s101～s104，其中：
107.s101：获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图。
108.s102：分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息。
109.s103：基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息。
110.s104：基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像
的目标分割结果。
111.以下是对上述步骤的详细介绍。
112.针对s101，所述目标图像例如可以是自动驾驶车辆上部署的图像采集装置采集的待分割图像。
113.具体的，在对所述目标图像进行特征提取时，可以使用骨干网络backbone对所述目标图像进行特征提取，所述骨干网络的网络结构可以由卷积神经网络(convolutional neural networks，cnn)和特征金字塔网络(feature pyramid networks，fpn)组成，通过所述骨干网络对所述目标图像进行特征提取，可以得到的所述目标图像中各像素点对应的多层级特征表达(即所述初始特征图)。
114.s102：分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息。
115.这里，所述全景特征信息可以包括前景特征信息和背景特征信息，其中，所述前景特征信息表征图像中前景物体的特征，比如汽车的特征；所述背景特征信息表征图像中背景物体的特征，比如马路的特征；所述部件特征信息表征图像中可数物体的部件的特征，比如汽车车灯的特征。
116.具体的，在对所述初始特征图进行全景特征提取时，可以使用第一解码器对所述初始特征图进行全景特征提取，从而得到所述目标图像对应的全景特征信息；在对所述初始特征图进行部件特征提取时，可以使用第二解码器对所述初始特征图进行部件特征提取，从而可以得到所述目标图像对应的部件特征信息。
117.其中，所述第一解码器和第二解码器可以为transform模型中的解码器(decoder)，所述第一解码器和第二解码器的网络结构可以由fpn组成，通过将多层级特征融合成一个尺度的特征，即可得到对应的特征信息。
118.进一步的，为了得到更为准确的部件特征信息，可以在所述第二解码器中加入对齐处理机制，以使得特征在解码过程中的上采样阶段更为对齐，从而可以保留目标图像中的更多细节信息。
119.s103：基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息。
120.这里，所述第一查询向量可以包括前景查询向量和背景查询向量；所述第一查询特征信息可以包括前景查询信息和背景查询信息，所述第一查询特征信息和第二查询特征信息通过掩模图像(mask)进行表征，所述掩模图像可以用于表示图像分割结果。
121.具体的，所述第一查询向量和所述第二查询向量为预先设置的可学习的参数(也即在图像分割的处理过程中可以被调整的参数)，所述第一查询向量和所述第二查询向量分别对应的初始值可以是由开发人员设置的，以本公开实施例中的图像分割方法利用图像分割网络完成为例，所述第一查询向量和所述第二查询向量分别对应的初始值可以是通过训练所述图像分割网络得到，训练完成之后即可使用训练好的图像分割网络以及对应的第一查询向量和所述第二查询向量对待分割的目标图像进行图像分割。
122.一种可能的实施方式中，在进行特征查询时，可以基于所述前景查询向量对所述
全景特征信息进行卷积处理，得到所述前景查询信息；以及，基于所述背景查询向量对所述全景特征信息进行卷积处理，得到所述背景查询信息。
123.这样，基于前景查询向量对全景特征信息进行卷积处理，可以从所述全景特征信息中提取出与所述目标图像中的前景相关的深层特征(也即前景查询信息)；基于背景查询向量对全景特征信息进行卷积处理，可以从所述全景特征信息中提取出与所述目标图像中的背景相关的深层特征(也即背景查询信息)。
124.s104：基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。
125.一种可能的实施方式中，如图2所示，在确定目标分割结果时，可以采用下述步骤：
126.s201：基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量。
127.一种可能的实施方式中，在确定所述目标图像对应的全景特征图时，可以基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。
128.具体的，由于第一查询特征信息和第二查询特征信息的尺寸不同，后续难以进行拼接，因此在确定所述第一特征图时，可以基于所述第一查询特征信息和所述全景特征信息进行池化处理，得到所述目标图像对应的第一特征图；在确定所述第二特征图时，可以基于所述第二查询特征信息和所述部件特征信息进行池化处理，得到所述目标图像对应的第二特征图，以确保所述第一特征图和第二特征图的尺寸相同，从而能够进行后续的特征图拼接，其中，所述池化处理可以是内积处理等池化处理方式。
129.示例性的，以所述池化处理的方式为内积处理为例，通过确定所述第第一查询特征信息和所述全景特征信息的内积，即可得到所述目标图像对应的第一特征图；通过确定所述第二查询特征信息和所述部件特征信息的内积，即可得到所述目标图像对应的第二特征图。
130.这样，通过确定第一特征图和第二特征图，并对所述第一特征图和第二特征图进行拼接得到全景特征图，使得后续对查询向量进行调整时只需要处理一个特征图即可，从而可以提高图像分割效率。
131.一种可能的实施方式中，在确定所述全景查询向量时，可以将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。
132.这样，通过将第一查询向量和第二查询向量进行拼接得到全景查询向量，使得后续对全景查询向量进行调整时只需要处理一个查询向量即可，从而可以提高图像分割效率。
133.s202：基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量。
134.一种可能的实施方式中，在对所述全景查询向量进行调整时，可以采用下述步骤a1～a2：
135.a1：基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量。
136.这里，在进行动态卷积处理时，可以基于门控机制算法对所述全景查询向量和所述全景特征图进行加权求和，得到所述中间查询向量。
137.具体的，可以基于两个不同的门函数(gate function)，分别确定所述全景查询向量和所述全景特征图分别对应的权重，并基于确定的权重对所述全景查询向量和所述全景特征图进行加权求和，得到所述中间查询向量。
138.a2：基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。
139.这里，所述自注意力机制算法例如可以是多头自注意力机制算法(multi-headed self-attention，mhsa)等。
140.进一步的，在基于调整后的全景查询向量重新确定第一查询向量和第二查询向量时，可以对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。
141.具体的，在对调整后的全景查询向量进行拆分时，可以按照所述第一查询向量和所述第二查询向量拼接时的拼接顺序(所述拼接顺序可以为预设的拼接顺序)，对所述全景查询向量进行拆分，以重新确定第一查询向量和第二查询向量。
142.这样，基于动态卷积处理和自注意力机制算法对所述全景查询向量进行调整，并对调整后的全景查询向量进行拆分，可以完成对所述第一查询向量和所述第二查询向量的一次更新，并可以通过后续的更新，使得查询向量能够更好的提取出目标图像对应的全景特征(第一查询特征信息)和部件特征(第二查询特征信息)，从而提高图像分割效果。
143.s203：基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息。
144.这里，重新确定第一查询特征信息和第二查询特征信息时的具体步骤，可以参照上文s103的相关内容，在此不在赘述。
145.s204：判断是否满足预设条件。
146.这里，所述预设条件可以是返回执行确定全景特征图和全景查询向量的次数达到预设次数，所述预设次数例如可以是3次。
147.示例性的，以所述预设次数为3为例，可以将第3次确定的第一查询特征信息作为所述第一目标查询特征信息，将第3次确定的第一查询特征信息作为所述第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息确定所述目标分割结果。
148.具体的，可以基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，确定是否满足预设条件，并在不满足预设条件的情况下，返回执行s201，直至满足预设条件后执行s205，也即基于重新确定的第一查询特征信息和重新确定的第二查询特征信息，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件。
149.s205：将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。
150.进一步的，在确定所述目标图像的目标分割结果时，可以将所述第一目标查询特
征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。
151.具体的，在进行融合处理时，可以对所述第一目标特征信息中包含的前景查询信息和背景查询信息进行融合处理，得到所述目标图像对应的全景分割结果；根据所述第二目标查询特征信息和所述全景分割结果进行融合处理，得到融合了全景分割结果和部件分割结果的目标分割结果。
152.这样，通过对第一目标查询特征信息和第二目标查询特征信息进行融合处理，可以得到融合了全景分割结果和部件分割结果的目标分割结果。
153.一种可能的实施方式中，本公开实施例提供的所述图像分割方法可以利用图像分割网络完成，在对所述图像分割网络进行训练时，可以采用下述步骤b1～b3：
154.b1：获取样本图像以及所述样本图像对应的样本全景分割图像和样本部件分割图像。
155.这里，可以获取与所述样本图像对应的第一分割图像和第二分割图像作为训练时的监督数据，其中所述第一分割图像为样本全景分割图像，所述第二分割图像为样本部件分割图像。
156.b2：将所述样本图像输入至待训练的图像分割网络，确定与所述样本图像对应的第一样本查询特征信息和第二样本查询特征信息。
157.b3：基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，并基于所述目标损失值对所述待训练的图像分割网络的网络参数进行调整，所述网络参数包括第一查询向量和第二查询向量。
158.这里，由于在所述图像分割网络中所述第一查询特征信息和所述第二查询特征信息可以被多次重新确定，为了提高训练效果，可以将每次确定的第一查询向量和第二查询向量均用于确定本次训练的目标损失值。
159.一种可能的实施方式中，在确定所述目标损失值，可以采用下述步骤d1～d2：
160.d1：基于所述第一样本查询特征信息和所述样本全景分割图像，确定全景分割损失；以及，基于所述第二样本查询特征信息和所述样本部件分割图像，确定部件分割损失；以及，基于所述第一样本查询特征信息和所述第二样本查询特征信息确定样本全景特征图，并基于样本全景特征图和所述样本图像对应的分类标签，确定分类损失。
161.d2：基于所述全景分割损失、所述部件分割损失和所述分类损失，确定所述目标损失值。
162.具体的，在基于所述全景分割损失、所述部件分割损失和所述分类损失，确定所述目标损失值时，可以按照预设的权重对所述全景分割损失、所述部件分割损失和所述分类损失进行加权求和。
163.这样，基于分割损失和分类损失确定目标损失值，可以使得后续在基于所述目标损失值对待训练的图像分割网络的网络参数进行调整后，图像分割网络的网络精度更高，从而提高图像分割效率。
164.下面，将结合具体的实施方式，对上述图像分割方法进行整体描述。参见图3所示，为本公开实施例提供的一种图像分割方法的整体流程图。
165.1、基于骨干网络backbone对待分割的目标图像进行特征提取，得到所述目标图像
对应的初始特征图。
166.2、将所述初始特征图输入至第一解码器“decoder”进行全景特征提取，得到所述目标图像对应的全景特征信息fs；以及，将所述初始特征图输入至第二解码器“aligned decoder”进行部件特征提取，得到所述目标图像对应的部件特征信息fp。
167.其中，所述第二解码器为加入对齐处理(align)机制的解码器，以使得特征在解码过程中的上采样阶段更为对齐，从而可以保留目标图像中的更多细节信息，图2中虚线框内表示第一解码器和第二解码器能够对所述初始特征图进行解耦处理(decoupled)，从而得到所述全景特征信息fs和所述部件特征信息fp。
168.3、基于与所述全景特征信息fs对应的第一查询向量对所述全景特征信息fs进行特征查询，得到用于表征全景分割结果的第一查询特征信息以及，基于与所述部件特征信息fp对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息
169.其中，i表示迭代次数，第一次执行时i＝1，一次图像分割过程中执行的迭代次数为预设次数。
170.4、基于所述第一查询特征信息和所述全景特征信息fs，确定所述目标图像对应的第一特征图以及，基于所述第二查询特征信息和所述部件特征信息fp，确定所述目标图像对应的第二特征图
171.这里，在确定所述第一特征图和所述第二特征图时，可以使用如下公式1：
[0172][0173]
其中，h和w分别表示特征查询信息对应的特征图的宽和高，u和v表示对应的特征空间图的位置坐标。
[0174]
5、将所述第一特征图和所述第二特征图进行拼接，得到全景特征图以及，将所述第一查询向量和所述第二查询向量进行拼接，得到全景查询向量
[0175]
6、基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量并基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量
[0176]
这里，在确定中间查询向量时，可以使用如下公式2：
[0177][0178]
其中，dynamicconv表示对所述全景查询向量和所述全景特征图进行动态卷积处理。
[0179]
示例性的，在进行动态卷积处理时，可以使用如下公式3：
[0180][0181]
其中，gate
x
和gateq为两个不同的门函数(gate function)，分别确定所述全景查询向量和所述全景特征图分别对应的权重，并基于确定的权重对所述全景查询向量和所述全景特征图进行加权求和，得到所述中间查询向量
[0182]
这里，在基于中间查询向量确定更新后的全景查询向量时，可以使用如下公式4：
[0183][0184]
其中，ffn表示前馈神经网络处理(feedforward neural network)，mhsa表示多头自注意力机制算法。
[0185]
7、基于更新后的全景查询向量返回执行确定第一查询特征信息和第二查询特征信息的步骤，直至满足预设条件；并基于最后一次确定的第一目标查询特征信息和第二目标查询特征信息，确定所述目标图像的目标分割结果。
[0186]
这里，所述预设条件为i＝3，即最后一次确定的第一目标查询特征信息为第二目标查询特征信息为最终确定的目标分割结果为将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理后得到的其中，3表示迭代次数为3次。
[0187]
参见图4所示，为本公开实施例提供的车辆控制方法的流程图，所述方法包括s401～s403，其中：
[0188]
s401：获取自动驾驶车辆上部署的图像采集装置采集的待分割图像。
[0189]
s402：基于本公开实施例任一所述的图像分割方法，确定所述待分割图像对应的图像分割结果。
[0190]
s403：基于所述图像分割结果对所述自动驾驶车辆进行控制。
[0191]
这里，对所述自动驾驶车辆进行控制，例如包括控制车辆加速、减速、转向、制动等，或者可以播放语音提示信息，以提示驾驶员控制车辆加速、减速、转向、制动等。
[0192]
本公开实施例提供的图像分割、车辆控制方法，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
[0193]
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
[0194]
基于同一发明构思，本公开实施例中还提供了与图像分割方法对应的图像分割装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像分割方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
[0195]
参照图5所示，为本公开实施例提供的一种图像分割装置的架构示意图，所述装置包括：第一获取模块501、提取模块502、查询模块503、第一确定模块504；其中，
[0196]
第一获取模块501，用于获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；
[0197]
提取模块502，用于分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；
[0198]
查询模块503，用于基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；
[0199]
第一确定模块504，用于基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。
[0200]
一种可能的实施方式中，所述第一确定模块504，在基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果时，用于：
[0201]
基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图；以及，基于所述第一查询向量和所述第二查询向量确定全景查询向量；
[0202]
基于所述全景特征图对所述全景查询向量进行调整，并基于调整后的全景查询向量重新确定第一查询向量和第二查询向量；
[0203]
基于重新确定的第一查询向量重新确定第一查询特征信息，以及基于重新确定的第二查询向量，重新确定第二查询特征信息；
[0204]
基于重新确定的第一查询特征信息、重新确定的第二查询特征信息、重新确定的第一查询向量和重新确定的第二查询向量，返回执行确定全景特征图和全景查询向量的步骤，直至满足预设条件；
[0205]
将最后一次确定的第一查询特征信息作为第一目标查询特征信息，以及将最后一次确定的第二查询特征信息作为第二目标查询特征信息，并基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果。
[0206]
一种可能的实施方式中，所述第一确定模块504，在基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像对应的全景特征图时，用于：
[0207]
基于所述第一查询特征信息和所述全景特征信息，确定所述目标图像对应的第一特征图；以及，基于所述第二查询特征信息和所述部件特征信息，确定所述目标图像对应的第二特征图；
[0208]
将所述第一特征图和所述第二特征图进行拼接，得到所述全景特征图。
[0209]
一种可能的实施方式中，所述第一确定模块504，在基于所述第一查询向量和所述第二查询向量确定全景查询向量时，用于：
[0210]
将所述第一查询向量和所述第二查询向量进行拼接，得到所述全景查询向量。
[0211]
一种可能的实施方式中，所述第一确定模块504，在基于所述全景特征图对所述全景查询向量进行调整时，用于：
[0212]
基于所述全景查询向量和所述全景特征图进行动态卷积处理，得到中间查询向量；
[0213]
基于自注意力机制算法对所述中间查询向量进行处理，得到调整后的全景查询向量。
[0214]
一种可能的实施方式中，所述第一确定模块504，在基于调整后的全景查询向量重新确定第一查询向量和第二查询向量时，用于：
[0215]
对调整后的全景查询向量进行拆分，得到重新确定的第一查询向量和第二查询向量。
[0216]
一种可能的实施方式中，所述第一确定模块504，在基于所述第一目标查询特征信息和所述第二目标查询特征信息，确定所述目标图像的目标分割结果时，用于：
[0217]
将所述第一目标查询特征信息和所述第二目标查询特征信息进行融合处理，得到所述目标图像的目标分割结果。
[0218]
一种可能的实施方式中，所述图像分割方法利用图像分割网络完成。
[0219]
一种可能的实施方式中，所述装置还包括训练模块505，所述训练模块505用于根据以下步骤训练所述图像分割网络：
[0220]
获取样本图像以及所述样本图像对应的样本全景分割图像和样本部件分割图像；
[0221]
将所述样本图像输入至待训练的图像分割网络，确定与所述样本图像对应的第一样本查询特征信息和第二样本查询特征信息；
[0222]
基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值，并基于所述目标损失值对所述待训练的图像分割网络的网络参数进行调整，所述网络参数包括第一查询向量和第二查询向量。
[0223]
一种可能的实施方式中，所述训练模块505，在基于所述第一样本查询特征信息、所述第二样本查询特征信息、所述样本全景分割图像和所述样本部件分割图像，确定本次训练的目标损失值时，用于：
[0224]
基于所述第一样本查询特征信息和所述样本全景分割图像，确定全景分割损失；以及，
[0225]
基于所述第二样本查询特征信息和所述样本部件分割图像，确定部件分割损失；以及，
[0226]
基于所述第一样本查询特征信息和所述第二样本查询特征信息确定样本全景特征图，并基于样本全景特征图和所述样本图像对应的分类标签，确定分类损失；
[0227]
基于所述全景分割损失、所述部件分割损失和所述分类损失，确定所述目标损失值。
[0228]
本公开实施例提供的图像分割装置，通过引入查询向量分别对，目标图像对应的初始特征图进行特征提取后得到的全景特征信息和部件特征信息进行特征查询，并基于特征查询后的第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果。这样，通过基于查询向量在一个模型中分别执行全景图像分割任务和部件图像分割任务，相较于使用多个独立建模的模型进行图像分割，提高对所述目标图像的图像分割效果和图像分割效率。
[0229]
参照图6所示，为本公开实施例提供的一种车辆控制装置的架构示意图，所述装置包括：第二获取模块601、第二确定模块602、控制模块603；其中，
[0230]
第二获取模块601，用于获取自动驾驶车辆上部署的图像采集装置采集的待分割图像；
[0231]
第二确定模块602，用于基于本公开任一实施例所述的图像分割方法，确定所述待分割图像对应的图像分割结果；
[0232]
控制模块603，用于基于所述图像分割结果对所述自动驾驶车辆进行控制。
[0233]
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。
[0234]
基于同一技术构思，本公开实施例还提供了一种计算机设备。参照图7所示，为本公开实施例提供的计算机设备700的结构示意图，包括处理器701、存储器702、和总线703。其中，存储器702用于存储执行指令，包括内存7021和外部存储器7022；这里的内存7021也称内存储器，用于暂时存放处理器701中的运算数据，以及与硬盘等外部存储器7022交换的数据，处理器701通过内存7021与外部存储器7022进行数据交换，当计算机设备700运行时，处理器701与存储器702之间通过总线703通信，使得处理器701在执行以下指令：
[0235]
获取待分割的目标图像，并对所述目标图像进行特征提取，得到所述目标图像对应的初始特征图；
[0236]
分别对所述初始特征图进行全景特征提取和部件特征提取，得到所述目标图像对应的全景特征信息和部件特征信息；
[0237]
基于与所述全景特征信息对应的第一查询向量对所述全景特征信息进行特征查询，得到用于表征全景分割结果的第一查询特征信息；以及，基于与所述部件特征信息对应的第二查询向量对所述部件特征信息进行特征查询，得到用于表征部件分割结果的第二查询特征信息；
[0238]
基于所述第一查询特征信息和所述第二查询特征信息，确定所述目标图像的目标分割结果；或者，
[0239]
使得处理器701在执行以下指令：
[0240]
获取自动驾驶车辆上部署的图像采集装置采集的待分割图像；
[0241]
基于本公开任一实施例所述的图像分割方法，确定所述待分割图像对应的图像分割结果；
[0242]
基于所述图像分割结果对所述自动驾驶车辆进行控制。
[0243]
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像分割、车辆控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
[0244]
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像分割、车辆控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。
[0245]
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0246]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统
和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0247]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0248]
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0249]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0250]
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。