一种点云处理、装置、设备及介质的制作方法
本发明涉及计算机视觉,具体涉及一种点云处理、装置、设备及介质。
背景技术:
1、在自动驾驶、机器人感知等三维视觉任务中,点云数据处理需要高效的体素特征编码器(voxel feature encoder, vfe)。pointpillars作为一种广泛应用的实时三维目标检测方法,将点云生成空间特征图,供后续目标检测网络使用。然而,现有的pointpillarsvfe实现方案在gpu上的计算效率存在以下不足:
2、传统pointpillars vfe实现中,mlp、批归一化、relu激活、最大池化和散射五个计算阶段由多个gpu核函数分别执行,各阶段之间需将中间结果写入并从全局内存中读取,产生大量的全局内存访问开销和核函数启动开销,限制了vfe阶段的计算效率。
技术实现思路
1、本发明提供了一种点云处理、装置、设备及介质,以解决体素特征编码中多个计算阶段导致计算效率低的问题。
2、第一方面,本发明提供了一种点云处理方法,应用于gpu,所述方法包括:对获取的三维点云数据划分得到的多个体素,并为每个体素分配单个线程块;将每个体素的体素数据搬运到对应线程块的共享内存块中;在各个共享内存块中,通过对应的线程块对体素数据进行编码处理,得到各个体素对应的编码特征;通过各个线程块将各个编码特征映射到输出特征图的对应空间位置。
3、根据上述技术手段,本发明通过为每个体素分配单个线程块,并将体素数据搬运至共享内存块中完成编码处理,使中间结果全程驻留于共享内存,仅在编码完成后将结果写出至全局内存,减少了全局内存的反复读写开销与多个核函数的启动开销,提升了体素特征编码的计算效率。
4、在一种可选的实施方式中,所述对获取的三维点云数据划分得到的多个体素,包括:将所述三维点云数据转换为鸟瞰图,并在所述鸟瞰图中划分网格;对每个网格中的数据点进行特征增强,以扩充每个数据点的特征维度;将每个网格中增强后的点特征组织为张量格式,得到每个网格对应的体素。
5、根据上述技术手段,本发明通过将三维点云转换为鸟瞰图并划分网格,对每个网格内的点进行特征增强后组织为张量格式,使每个体素的数据在全局内存中以规整的连续形式存放,为后续共享内存中的融合计算提供了数据结构基础,从而提高了向量化加载的访存效率。
6、在一种可选的实施方式中,将每个体素的体素数据搬运到对应线程块的共享内存块中,包括:通过向量化内存加载指令从gpu全局显存中将当前体素的逐点特征矩阵与权重矩阵,分别加载至对应的特征缓存区与权重缓存区中;所述特征缓存区与所述权重缓存区是当前共享内存块中预先划分的缓存区,所述逐点特征矩阵用于表示当前体素的原始数据特征,所述权重矩阵用于将逐点特征矩阵处理为高维特征。
7、根据上述技术手段,本发明通过向量化内存加载指令将逐点特征矩阵与权重矩阵加载至共享内存中预先划分的缓存区,相比逐点加载方式,有效提升了从全局内存到共享内存的数据搬运效率,减少了访存指令数量与加载延迟,为后续编码计算提供了高效的数据输入。
8、在一种可选的实施方式中,所述在各个共享内存块中,通过对应的线程块对体素数据进行编码处理,得到各个体素对应的编码特征,包括:在当前共享内存块中,通过当前线程块对当前体素数据进行多层感知机处理、批归一化处理、激活函数处理和最大池化处理,得到当前体素的编码特征。
9、根据上述技术手段,本发明在当前共享内存块中通过当前线程块依次完成多层感知机、批归一化、激活函数和最大池化处理,整个编码过程中间结果始终驻留于共享内存,无需反复写入和读取全局内存,减少了全局内存带宽占用,提高了gpu计算资源的利用效率。
10、在一种可选的实施方式中,所述多层感知机处理包括:调用gpu内置的张量计算核心执行所述逐点特征矩阵与所述权重矩阵的矩阵乘法运算;所述张量计算核心根据矩阵乘法的输出特征维度,动态选择对应的分块计算模式。
11、根据上述技术手段,本发明通过调用gpu内置的张量计算核心执行矩阵乘法,并根据输出特征维度动态选择对应的分块计算模式,使张量计算核心在不同输出维度配置下均能保持满负荷运转,避免了因分块尺寸与硬件不匹配导致的计算单元闲置,进一步提升了矩阵乘法的计算吞吐量。
12、在一种可选的实施方式中,所述张量计算核心根据矩阵乘法的输出特征维度,动态选择对应的分块计算模式,包括:当矩阵乘法的输出特征维度为16时,采用16×16×16的张量计算核心分块;当矩阵乘法的输出特征维度为32时,采用8×32×16的张量计算核心分块;当矩阵乘法的输出特征维度为64时,在输出通道维度上拆分为两个32通道的分块,并分别调用张量计算核心执行矩阵乘法。
13、根据上述技术手段,本发明根据输出特征维度动态选择最优分块策略,使张量计算核心在不同输出维度下始终保持满负荷运转,有效提升了矩阵乘法的计算吞吐量。
14、在一种可选的实施方式中,所述最大池化处理,包括:若当前体素内的实际点数小于预设最大点数,则按照所述预设最大点数对激活函数处理后得到的中间矩阵进行0值填充;从当前线程块中为每个中间矩阵的特征通道分配一个线程;通过各线程对应遍历各特征通道中的最大值,并将遍历得到的全部最大值组合,得到当前体素的编码特征。
15、根据上述技术手段,本发明通过为每个特征通道分配一个线程,在各线程寄存器中独立遍历对应通道的最大值,避免了共享内存的频繁读写与同一线程束内因点数不同导致的分支发散,使池化过程在寄存器中高效完成,进一步提升了体素编码的整体并行效率。
16、第二方面,本发明提供了点云处理装置,装置包括:体素划分模块,用于对获取的三维点云数据划分得到的多个体素,并为每个体素分配单个线程块;搬运模块,用于将每个体素的体素数据搬运到对应线程块的共享内存块中;获取特征模块,用于在各个共享内存块中,通过对应的线程块对体素数据进行编码处理,得到各个体素对应的编码特征;映射模块,用于通过各个线程块将各个编码特征映射到输出特征图的对应空间位置。
17、第三方面,本发明提供了一种电子设备,包括:存储器和处理器,存储器和处理器之间互相通信连接,存储器中存储有计算机指令,处理器通过执行计算机指令,从而执行上述第一方面或其对应的任一实施方式的点云处理方法。
18、第四方面,本发明提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的点云处理方法。
19、第五方面,本发明提供了一种计算机程序产品,包括计算机指令,计算机指令用于使计算机执行上述第一方面或其对应的任一实施方式的点云处理方法。
1.一种点云处理方法,其特征在于,应用于gpu,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述对获取的三维点云数据划分得到的多个体素,包括:
3.根据权利要求1所述的方法,其特征在于,所述将每个体素的体素数据搬运到对应线程块的共享内存块中,包括:
4.根据权利要求3所述的方法,其特征在于,所述在各个共享内存块中,通过对应的线程块对体素数据进行编码处理,得到各个体素对应的编码特征,包括:
5.根据权利要求4所述的方法,其特征在于,所述多层感知机处理包括:
6.根据权利要求5所述的方法,其特征在于,所述张量计算核心根据矩阵乘法的输出特征维度,动态选择对应的分块计算模式,包括:
7.根据权利要求4所述的方法,其特征在于,所述最大池化处理,包括:
8.一种点云处理装置,其特征在于,所述装置包括:
9.一种电子设备,其特征在于,包括:
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机指令,所述计算机指令用于使计算机执行权利要求1至7中任一项所述的点云处理方法。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com