驾驶任务处理方法、装置、电子设备及存储介质与流程

1.本发明涉及智能车辆驾驶技术领域，尤其涉及一种驾驶任务处理方法、系统、电子设备及存储介质。


背景技术：

2.自动驾驶场景中的感知任务复杂多样，包括有2d/3d目标检测、通用障碍物检测、车道线检测、交通标志牌检测、路面标志检测、关键点检测、可行驶区域分割、单目深度估计、光流估计、re-id等，现有方法基本上是每一种或每一类感知任务单独训练一个网络，然后分别部署到产品端。为此，存在具有模型数量多，占用内存多，消耗计算量大，部署工作量大等缺点。


技术实现要素：

3.针对现有技术存在的问题，本发明提供一种驾驶任务处理方法、系统、电子设备及存储介质。
4.第一方面，本发明提供一种驾驶任务处理方法，包括：
5.获取待测图像的图像特征；
6.将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
7.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
8.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
9.在一个实施例中，将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性，包括：
10.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确定各感知任务类型各自对应的检测规则，根据确定的多个所述检测规则和所述待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数；
11.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据预存的多个感知任务类型确定各感知任务类型各自对应的判断规则，根据确定的多个所述判断规则和多个所述判断规则各自对应的判断参数进行判断，得到任务目标的任务属性。
12.在一个实施例中，所述方法还包括：获取感知任务类型之间的关联性；
13.相应地，将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性，包括：
14.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确
定各感知任务类型各自对应的检测规则，根据确定的多个所述检测规则和所述待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数；
15.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则，以及对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数，根据确定的多个所述判断规则和多个所述判断规则各自对应的新的判断参数进行判断，得到任务目标的任务属性。
16.在一个实施例中，所述分配层包括一个划分层和多个子处理层；
17.相应地，由划分层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则，以及对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数；
18.由子处理层根据分配的所述判断规则和对应的新的判断参数进行判断，得到任务目标的任务属性。
19.在一个实施例中，所述感知任务包括有2d/3d目标检测、障碍物检测、车道线检测、交通标志牌检测、路面标志检测、关键点检测、可行驶区域分割、单目深度估计和光流估计。
20.第二方面，本发明提供一种驾驶任务处理装置，包括：
21.采集模块，用于获取待测图像的图像特征；
22.处理模块，用于将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
23.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
24.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
25.第三方面，本发明提供一种电子设备，包括存储器和存储有计算机程序的存储器，所述处理器执行所述程序时实现第一方面所述驾驶任务处理方法的步骤。
26.第四方面，本发明提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行第一方面所述驾驶任务处理方法的步骤。
27.本发明提供的驾驶任务处理方法、系统、电子设备及存储介质，通过对待测图像进行分支处理，实现各感知任务共享一个处理模型，减少针对不同感知任务的多模型建立，降低系统整体内存占用，减少工作量，达到扩展性强，易于维护的目的。
附图说明
28.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些
附图获得其他的附图。
29.图1是本发明提供的驾驶任务处理方法的流程示意图；
30.图2是本发明提供的驾驶任务处理装置的结构示意图；
31.图3是本发明提供的电子设备的结构示意图。
具体实施方式
32.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
33.下面结合图1-图3描述本发明的驾驶任务处理方法、装置、电子设备及存储介质。
34.图1示出了本发明一种驾驶任务处理方法的流程示意图，参见图1，该方法包括：
35.11、获取待测图像的图像特征；
36.12、将待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；任务属性表征任务目标在不同感知任务下的感知结果；其中，处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
37.处理模型包括检测层和处理层，检测层用于根据待测图像的图像特征确定待测图像中任务目标的判断参数；处理层用于根据分配的判断参数确定任务目标的任务属性。
38.针对步骤11和步骤12，具有自动驾驶功能的智能车辆，在行驶过程中，要对前面及周围的行驶状况进行感知，以得到感知结果，才能依据感知结果进行驾驶操控，增强安全性。为此，在车辆自动驾驶过程中，需要增设多个感知任务，以获得更全面的感知结果。感知任务可包含2d/3d目标检测、障碍物检测、车道线检测、交通标志牌检测、路面标志检测、关键点检测、可行驶区域分割、单目深度估计和光流估计等，但不局限于此。
39.在本发明中，对于增设的感知任务，可采用获取智能车辆前方的图像，对图像进行分析处理，得到各感知任务下的感知结果。
40.首先对采集到的图像进行分析，获得图像特征。可以以图像的像素作为特征。
41.在本发明中，将待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；任务属性表征任务目标在不同感知任务下的感知结果。
42.获取各感知任务下的感知结果，都需要对同一待测图像进行分析处理，为此，在不同感知任务下的任务目标可能会存在差异。
43.例如感知任务是障碍物检测，其任务目标是障碍物，例如车辆前方的其他车辆、行人、自行车、倒塌的树木等。
44.例如感知任务是车道线检测，其任务目标是车道线，例如道路上的单线或双线。
45.例如感知任务是交通标志牌检测，其任务目标是交通标志，例如车辆前方竖立的交通标志牌。
46.由此可知，在本发明中，将待测图像的图像特征输入到处理模型中，该处理模型会根据不同感知任务的类型，将待测图像的图像特征进行多路分析，每一路对应一个感知任务，能够做到并行进行各感知任务的检测，以得到每个感知任务所对应的感知结果。
47.在本发明中，该处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型。
48.需要说明的是，可以选取不同车辆行驶过程中前方的行驶状况，然后利用摄影装置对其进行画面采集，得到大量的图像样本。在该图像样本中对各感知任务下的任务目标进行标注，获取各任务目标的图像特征，将图像特征作为输入，任务目标对应的感知结果作为输出，在初始的神经网络模型中进行训练，得到处理模型。
49.在本发明中，处理模型可以进行更新升级。
50.本发明进一步的方法，通过训练得到的模型基于图像特征同时识别出各感知任务的任务目标，有利于快速的对图像中任务属性的可能性标示。
51.该处理模型包括检测层和处理层，检测层用于根据待测图像的图像特征确定待测图像中任务目标的判断参数；处理层用于根据分配的判断参数确定任务目标的任务属性，
52.对此，需要说明的是，在本发明中，要想获取各感知任务下的感知结果，都需要对同一待测图像进行分析处理，为此，在不同感知任务下的任务目标可能会存在差异，也会在任务目标的判断参数上存在不同。故将待测图像的图像特征输入到检测层，使用检测层在不同感知任务的约束下，对待测图像的图像特征进行分析，以得到对应的判断参数。
53.例如感知任务是车辆是否变道，其产生的参数可以是车辆的落地点和车道线的位置。
54.各感知任务下的任务目标的判断参数获取之后，将判断参数输入到处理层，处理层分别对各感知任务对应的判断参数进行判断确定任务目标的任务属性。
55.例如对上述的车辆的落地点和车道线的位置关系和/或距离长度确定车辆是否有变道趋势、是否在变道和是否已压线的一种或多种。在这里，车辆是否有变道趋势、是否在变道和是否已压线为车辆的任务属性。
56.本发明提供的驾驶任务处理方法，通过对待测图像进行分支处理，实现各感知任务共享一个处理模型，减少针对不同感知任务的多模型建立，降低系统整体内存占用，减少工作量，达到扩展性强，易于维护的目的。
57.在上述方法的进一步说明中，主要是对将待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性的处理过程进行解释说明，具体如下：
58.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确定各感知任务类型各自对应的检测规则，根据确定的多个检测规则和待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数；
59.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据预存的多个感知任务类型确定各感知任务类型各自对应的判断规则，根据确定的多个判断规则和多个判断规则各自对应的判断参数进行判断，得到任务目标的任务属性。
60.对此，需要说明的是，在本发明中，要想获取各感知任务下的感知结果，都需要对同一待测图像进行分析处理，为此，在不同感知任务下的任务目标可能会存在差异，也会在任务目标的判断参数上存在不同，且获取判断参数的过程使用到的对图像特征进行分析检测的规则也不同。故将待测图像的图像特征输入到检测层，在不同感知任务的约束下，存在
感知任务的类型。不同的感知任务类型对应有不同的检测规则，该检测规则限定了对图像特征的分析计算过程。
61.例如感知任务是车辆是否变道，对应的检测规则是车道线的识别规则，以及车辆的落地点的确定规则。例如车道上白色区域的像素特征，车辆与地面的交汇处的最低点等。
62.在本发明中，不同感知任务类型对应的检测规则属于预先配置在模型中，基于感知任务类型与检测规则的对应关系获取。
63.根据确定的多个检测规则和待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数。
64.各感知任务类型对应的任务目标的判断参数获取之后，将各感知任务类型对应的任务目标的判断参数输入到处理层。不同的感知任务类型同样也会对应不同的判断规则。
65.例如感知任务是车辆是否变道，判断参数是车辆的落地点和车道线的位置。此时，判断规则可以是配置的有关车辆的落地点与车道线的距离、角度等的判断条件。
66.在本发明中，由处理层根据预存的多个感知任务类型确定各感知任务类型各自对应的判断规则，根据确定的多个判断规则和多个判断规则各自对应的判断参数进行判断，得到任务目标的任务属性。
67.本发明提供的驾驶任务处理方法，本发明进一步的方法，采用检测层和处理层对待测图像的图像特征进行分工处理合作，能够加快处理速度。
68.在上述方法的进一步说明中，在各感知任务中，部分感知任务之间会存在关联。即：某个感知任务的任务属性在判断过程中，要借助另一感知任务的判断参数。故需要获取感知任务类型之间的关联性。
69.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确定各感知任务类型各自对应的检测规则，根据确定的多个检测规则和待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数。
70.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，在这里，第一类感知任务类型为存在关联性的感知任务类型，第二类感知任务类型为不存在关联性的感知任务类型。例如感知任务a的任务属性在判断过程中需要感知任务b的判断参数，此时感知任务a为第一类感知任务类型，感知任务b为第二类感知任务类型，另外，其他不存在关联的感知任务类型也属于第二类感知任务类型。
71.根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则。即：由于第一类感知任务类型是需要借助其他感知任务的判断参数的类型，为此，其需要对应的能够结合两种感知任务类型的判断参数进行判断的规则。第二类感知任务类型是不需要家住其他感知任务的判断参数的类型，为此，其依旧是只对自身的判断参数进行判断的规则。
72.由于存在关联的感知任务，为此，对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数。在这里，新的判断参数可以是结合两种或多种判断参数的参数集合。
73.根据确定的多个判断规则和多个判断规则各自对应的新的判断参数进行判断，得到任务目标的任务属性。
74.在进一步的解释说明，分配层包括一个划分层和多个子处理层；
75.相应地，由划分层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则，以及对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数；
76.由子处理层根据分配的判断规则和对应的新的判断参数进行判断，得到任务目标的任务属性。
77.对此，需要说明的是，本技术的判断规则，感知任务类型以及判断参数的重新划分，均需要划分层进行准确划分及配置。
78.在本技术中，需要通过对待测图像进行分支处理，为此，可以设置多个子处理层，对各感知任务对应的判断参数进行并行分开执行，实现各感知任务共享一个处理模型，减少针对不同感知任务的多模型建立，降低系统整体内存占用，减少工作量，达到扩展性强，易于维护的目的。
79.下面对本发明提供的驾驶任务处理装置进行描述，下文描述的驾驶任务处理装置与上文描述的驾驶任务处理方法可相互对应参照。
80.图2示出了本发明提供的一种驾驶任务处理装置的结构示意图，参见图2，该装置包括采集模块21和处理模块22，其中：
81.采集模块21，用于获取待测图像的图像特征；
82.处理模块22，用于将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
83.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
84.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
85.在上述装置的进一步说明中，所述处理模块具体用于：
86.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确定各感知任务类型各自对应的检测规则，根据确定的多个所述检测规则和所述待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数；
87.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据预存的多个感知任务类型确定各感知任务类型各自对应的判断规则，根据确定的多个所述判断规则和多个所述判断规则各自对应的判断参数进行判断，得到任务目标的任务属性。
88.在上述装置的进一步说明中，所述采集模块还用于：获取感知任务类型之间的关联性；
89.相应地，所述处理模块具体用于：
90.将待测图像的图像特征输入到检测层，由检测层根据预存的多个感知任务类型确定各感知任务类型各自对应的检测规则，根据确定的多个所述检测规则和所述待测图像的图像特征确定各感知任务类型对应的任务目标的判断参数；
91.将各感知任务类型对应的任务目标的判断参数输入到处理层，由处理层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则，以及对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数，根据确定的多个所述判断规则和多个所述判断规则各自对应的新的判断参数进行判断，得到任务目标的任务属性。
92.在上述装置的进一步说明中，所述分配层包括一个划分层和多个子处理层；
93.相应地，由划分层根据感知任务类型之间的关联性确定第一类感知任务类型和第二类感知任务类型，根据第一类感知任务类型和第二类感知任务类型确定各自对应的判断规则，以及对各感知任务类型对应的任务目标的判断参数进行划分得到新的判断参数；
94.由子处理层根据分配的所述判断规则和对应的新的判断参数进行判断，得到任务目标的任务属性。
95.由于本发明实施例所述装置与上述实施例所述方法的原理相同，对于更加详细的解释内容在此不再赘述。
96.需要说明的是，本发明实施例中可以通过硬件处理器(hardware processor)来实现相关功能模块。
97.本发明提供的驾驶任务处理装置，通过对待测图像进行分支处理，实现各感知任务共享一个处理模型，减少针对不同感知任务的多模型建立，降低系统整体内存占用，减少工作量，达到扩展性强，易于维护的目的。
98.图3示例了一种电子设备的实体结构示意图，如图3所示，该电子设备可以包括：处理器(processor)31、通信接口(communication interface)32、存储器(memory)33和通信总线34，其中，处理器31，通信接口32，存储器33通过通信总线34完成相互间的通信。处理器31可以调用存储器33中的计算机程序，以执行驾驶任务处理方法的步骤，例如包括：获取待测图像的图像特征；将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
99.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
100.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
101.此外，上述的存储器33中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
102.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的驾驶任务处理方法，该方法包括：获取待测图像的图像特征；将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
103.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
104.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
105.另一方面，本技术实施例还提供一种处理器可读存储介质，所述处理器可读存储介质存储有计算机程序，所述计算机程序用于使所述处理器执行上述各实施例提供的驾驶任务处理方法，例如包括：获取待测图像的图像特征；将所述待测图像的图像特征输入到处理模型中，得到由处理模型输出的待测图像中任务目标的任务属性；所述任务属性表征任务目标在不同感知任务下的感知结果；
106.其中，所述处理模型为将根据图像样本中的图像特征作为输入，图像样本中任务目标在各感知任务下的感知结果作为输出，通过机器学习训练得到，用于判断图像中任务属性的模型；
107.所述处理模型包括检测层和处理层，所述检测层用于根据所述待测图像的图像特征确定待测图像中任务目标的判断参数；所述处理层用于根据分配的判断参数确定任务目标的任务属性。
108.所述处理器可读存储介质可以是处理器能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
109.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
110.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
111.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管
参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。