基于地图令牌引导的三维目标检测方法及装置与流程
本发明属于自动驾驶环境感知与三维目标检测，具体涉及一种基于地图令牌引导的三维目标检测方法及装置。
背景技术：
1、自动驾驶领域中，基于transformer查询机制的三维目标检测方法是环境感知的重要技术路线。该类方法一般先构建鸟瞰图特征，再通过一组查询向量经多层解码器迭代运算，输出三维目标的位置、尺寸、朝向等检测结果。
2、现有查询式三维目标检测方法的查询初始化大多采用均匀分布的可学习参考点。高精地图信息即便被引入检测流程，也大多仅用于鸟瞰图特征融合、感兴趣区域裁剪或者检测后结果约束，难以直接介入查询的初始化来源以及查询每层迭代更新的过程。在复杂路口、弯道、多车道等复杂道路场景下，仅靠视觉鸟瞰图卷积难以使远距离查询获得清晰的道路结构先验。
3、现有融合高精地图的三维目标检测技术主要分为几类：
4、第一类利用高精地图生成可行驶区域掩码，将点云投影到该掩码上，提取可行驶区域内的点云后再进行三维目标检测。该类方案属于检测前的数据预处理，地图信息无法作用于检测查询本身。
5、第二类主要围绕相机图像与激光雷达点云在鸟瞰图空间中的融合检测展开，并利用融合后的热力图、点云特征向量等信息进行查询向量初始化。该类方案的初始化依据主要来自多模态感知特征，而非高精地图中的道路结构，地图信息未被用于查询的生成和引导。
6、第三类将利用地图信息对自动驾驶车辆的传感器处理进行优先级调整，例如基于道路特征改变相机视场或处理重点区域。该类方案使用地图作为外部优先级参考，但并未将地图矢量对象编码为检测查询可直接读取的交互单元，也未涉及对解码器查询的逐层地图引导。
7、综上，现有三维目标检测方法中，地图信息难以直接参与查询生成与查询更新，导致查询初始化与道路几何脱节，远距离查询难以获取清晰路网结构，复杂道路场景下的检测精度受限。
技术实现思路
1、为了解决上述技术问题，本发明提出了一种基于地图令牌引导的三维目标检测方法及装置。
2、为了达到上述目的，本发明的技术方案如下：
3、第一方面，本发明公开一种基于地图令牌引导的三维目标检测方法，包括：
4、步骤s1：将采集到的传感器数据进行鸟瞰图编码，得到鸟瞰图特征；
5、步骤s2：获取待检测场景对应的高精地图矢量折线集合，矢量折线集合中的每条折线包括：若干个有效点以及对应折线类别标签；
6、步骤s3：对矢量折线集合中每条折线分别进行编码，生成查询能够直接读取的地图令牌，得到地图令牌集合；
7、步骤s4：从高精地图中提取道路相关地图要素，生成鸟瞰图上的路面掩码；
8、步骤s5：基于路面掩码进行动态采样，生成道路采样查询点，再将道路采样查询点与均匀先验查询点混合，得到最终检测查询点；
9、步骤s6：将鸟瞰图特征送入检测解码器，以最终检测查询点作为检测查询的起始参考点，在检测解码器的每一层或部分关键层对查询执行地图令牌交叉注意力运算，使查询在迭代过程中读取地图令牌集合中的地图信息；经检测解码器迭代后，输出三维目标检测结果。
10、在上述技术方案的基础上，还可做如下改进：
11、作为优选的方案，步骤s3包括：
12、步骤s3.1：对折线中的每个有效点进行编码，获得折线级的几何描述；
13、步骤s3.2：对折线类别标签进行类别嵌入，得到地图语义类型；
14、步骤s3.3：对折线的起始有效点位置进行位置编码，得到空间位置信息；
15、步骤s3.4：将几何描述、地图语义类型和空间位置信息拼接并映射为目标维度，得到与检测查询维度一致的地图令牌；
16、步骤s3.5：遍历矢量折线集合中的每条折线，重复步骤s3.1至步骤s3.4，得到地图令牌集合。
17、作为优选的方案，步骤s3中，对矢量折线集合中的每条折线进行地图令牌编码之前，还包括：
18、将矢量折线集合中的折线数量填充至固定数量，并将每条折线的有效点数量填充至固定数量，不足部分采用无效值补齐，生成有效性掩码，有效性掩码用于标记每条折线是否为真实有效的地图要素。
19、作为优选的方案，步骤s5中，基于路面掩码进行动态采样包括：
20、将路面掩码中低于阈值的位置置为零，对剩余位置进行归一化，得到可采样概率分布；
21、按照预设的查询数量从概率分布中采样对应数量的鸟瞰图网格点，作为初始道路采样查询点；
22、在各初始道路采样查询点的坐标上加入随机扰动，得到最终的道路采样查询点。
23、作为优选的方案，道路采样查询点与均匀先验查询点的混合方式为线性混合、拼接、分组、门控选择或按训练阶段逐步调整混合比例中的任意一种。
24、作为优选的方案，步骤s6中，在检测解码器的每一层或部分关键层对查询执行地图令牌交叉注意力运算，满足：
25、
26、
27、其中，为第i层查询解码器输出的查询向量；
28、为第i层解码器经地图令牌交叉注意力引导后输出的更新查询向量；
29、为交叉注意力函数，用于计算查询向量与地图令牌集合中每个令牌的相关性，并据此聚合地图信息；
30、为地图令牌集合，作为交叉注意力函数的key和value；
31、为有效性掩码，用于标记每条折线是否为真实有效的地图要素;
32、为地图残差注入系数。
33、作为优选的方案，检测解码器的不同层之间共享地图注意力参数，或者分别独立设置。
34、第二方面，本发明公开一种基于地图令牌引导的三维目标检测装置，包括：
35、鸟瞰图编码模块，用于将采集到的传感器数据进行鸟瞰图编码，得到鸟瞰图特征；
36、地图获取模块，用于获取待检测场景对应的高精地图矢量折线集合，矢量折线集合中的每条折线包括：若干个有效点以及对应折线类别标签；
37、地图令牌编码模块，用于对矢量折线集合中每条折线分别进行编码，生成查询能够直接读取的地图令牌，得到地图令牌集合；
38、路面掩码生成模块，用于从高精地图中提取道路相关地图要素，生成鸟瞰图上的路面掩码；
39、查询点生成模块，用于基于路面掩码进行动态采样，生成道路采样查询点，再将道路采样查询点与均匀先验查询点混合，得到最终检测查询点；
40、检测解码模块，用于将鸟瞰图特征送入检测解码器，以最终检测查询点作为检测查询的起始参考点，在检测解码器的每一层或部分关键层对查询执行地图令牌交叉注意力运算，使查询在迭代过程中读取地图令牌集合中的地图信息；经检测解码器迭代后，输出三维目标检测结果。
41、第三方面，本发明公开一种计算设备，包括：
42、一个或多个处理器；
43、存储器；
44、以及一个或多个程序，其中一个或多个程序存储在存储器中并被配置为由一个或多个处理器执行，一个或多个程序包括上述任一基于地图令牌引导的三维目标检测方法的指令。
45、第四方面，本发明公开一种存储介质，存储介质存储有一个或多个计算机可读的程序，一个或多个程序包括指令，指令适于由存储器加载并执行上述任一基于地图令牌引导的三维目标检测方法。
46、本发明公开一种基于地图令牌引导的三维目标检测方法及装置，其具有以下有益效果：
47、第一，本发明将高精地图矢量折线编码为查询可直接读取的地图令牌，使地图信息不再仅停留在网络输入特征层，而是进入查询推理层，参与目标检测过程，从根本上解决了地图信息难以直接参与查询生成的技术问题。
48、第二，本发明在检测解码器的每一层或部分关键层对查询执行地图令牌交叉注意力运算，使查询在迭代更新过程中持续获得道路几何与语义约束，而非仅在输入阶段一次性使用地图，有效解决了远距离查询难以获取清晰路网结构的问题。
49、第三，本发明基于路面掩码进行动态采样生成道路采样查询点，使查询从初始化阶段即优先集中于道路相关区域，提高了有效查询的利用率，改善了查询初始化与道路几何脱节的缺陷。
50、第四，本发明将道路采样查询点与均匀先验查询点混合，既利用地图先验将查询引导至道路区域，又保留了全局搜索能力，避免了查询过度集中于道路区域所导致的全局覆盖不足问题。
51、第五，本方法无需对基础检测解码器整体结构进行重写改造，仅增加地图令牌编码、采样、地图令牌交叉注意力相关算法即可实现，具备较好的工程兼容性。