一种基于点云时空记忆网络的4D目标分割方法

技术特征：
1.一种基于点云时空记忆网络的4d目标分割方法，其特征在于，包括以下步骤：s1、构建4d目标分割任务数据集；s2、基于点云时空记忆网络并结合非局部/局部注意力机制构建4d目标分割网络；s3、对所述4d目标分割网络模型进行训练，通过降低网络损失函数优化网络参数直至网络收敛，获得基于点云时空记忆网络的4d目标分割方法；s4、利用所述基于点云时空记忆网络的4d目标分割方法对新的lidar视频序列分割给定目标。2.根据权利要求1所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述步骤s1具体包括以下步骤：s11、统计kitti数据集中属于移动目标的目标id，并使用所述目标id提取出各个类别的lidar数据得到粗糙的数据集；s12、统计每个lidar序列的长度以及第一帧中各个目标的点云数，过滤掉长度小于50帧的lidar序列以及第一帧目标点云数小于50的lidar序列，得到最终的4d目标分割数据集。3.根据权利要求1所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述步骤s2具体包括以下步骤：s21、将两类不同的输入(即点云模板p
r
及其目标掩码m
r
和点云搜索区p
q
)通过输入转换模块映射到统一的特征空间，得到模板特征e
r
和搜索特征e
q
；s22、利用以pointnet 为骨干网络构建的孪生编码器分别对模板特征e
r
和搜索特征e
q
下采样，得到层次化特征f
r
和f
q
；s23、利用非局部注意力机制模块和局部注意力机制模块对所述层次化特征f
r
和f
q
计算匹配特征o；s24、以pointnet 的分割头为基础构建多阶段解码器，初始以所述匹配特征o为输入之后以上一阶段的输出和来自孪生编码器相同层次的特征为输入，逐步进行上采样，得到最终输出m
q
。4.根据权利要求3所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述输入转换模块具体分为模板转换模块和搜索转换模块，所述模板转换模块和搜索转换模块都是由3层全连接网络组成，隐藏层的神经元数目分别为[64,128]，每层隐藏层后接relu层和bn层；所述模板转换模块和搜索转换模块的区别是它们的输入，搜索转换模块以lidar帧的点云搜索区p
q
为输入，输出搜索特征e
q
，而模板转换模块则以lidar帧的点云模板p
r
及其目标掩码m
r
为输入，输出模板特征e
r
。5.根据权利要求3所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述孪生编码器具体为：使用pointnet 前三个阶段作为共享的编码器，每个阶段对输入进行局部聚合以及2倍下采样，输出的特征通道数分别为128，128和256。6.根据权利要求3所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述非局部注意力机制模块具体为：先将f
r
/f
q
和笛卡尔坐标拼接，然后使用两个并行卷积将特征映射到键值特征对(k
q
,v
q
),(k
r
,v
r
)，之后以非局部的方式进行特征匹配，对搜索点和模板点之间的关系进行建模，在匹配过程中，首先计算搜索键特征k
q
和模板键特征k
r
的所有点特征之间的相似度作为权值；然后，将权值作为亲和力矩阵乘以模板值特征v
r
，并将结
果与搜索值特征v
q
拼接，作为最终的匹配特征o。7.根据权利要求3所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述局部注意力机制模块具体为：使用两个局部自注意力块分别对f
q
和f
r
进行特征增强和一个与局部自注意力块具有相似设计的局部交叉注意块进行特征匹配。8.根据权利要求3所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述步骤s3具体包括以下步骤：s31、利用服务器执行训练点云模板生成单元和点云搜索区生成单元，生成点云模板和点云搜索区s32、利用服务器执行所述输入转换模块，将两类不同的输入(即点云模板p
r
及其目标掩码m
r
和点云搜索区p
q
)映射到统一的特征空间，得到模板特征和搜索特征s33、利用服务器执行所述孪生编码器，将输入的特征e
r
和e
q
进行降采样，得到层次化特征和s34、利用服务器执行所述非局部注意力机制模块和局部注意力机制模块，根据层次化特征f
r
和e
q
得到匹配特征o包含搜索区中的特定目标信息；s35、利用服务器执行所述多阶段解码器，输入匹配特征o，输出关于搜索区的最终的分割结果s36、利用服务器采用端到端的方式进行网络训练；分割损失函数l为交叉熵损失函数，其数学表达为：其中，y表示目标掩码真值；m表示目标掩码预测结果；ω表示目标掩码中所有点的集合；s37、利用服务器优化目标函数，获取局部最优网络参数。9.根据权利要求8所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在于，所述步骤s31具体包括以下步骤：s311、从所述4d目标分割任务数据集中抽取lidar视频，然后从所述lidar视频中随机抽取2帧lidar：{x
t-1
,x
t
}，t为当前时刻；s312、根据lidar：{x
t-1
,x
t
}及其目标掩码，生成轴对齐边界框{b
t-1
,b
t
}；s313、使用参数为(1，1，5
°
)的多元高斯分布生成在x，y轴方向以及旋转方向参数，对边界框b
t-1
进行数据增强，然后取出数据增强后的边界框中的x
t-1
中的3d点云，对其平移旋转操作进行归一化并进行采样，得到点云模板p
r
；s314、使用参数为(-0.3，0.3，5
°
)的多元均匀分布生成在x，y轴方向以及旋转方向参数，对边界框b
t
进行数据增强，再对数据增强后的边界框进行平移以及放缩以增大搜索区域，之后取变换后的边界框中的x
t
中的3d点云，对其平移旋转操作进行归一化并进行采样，得到点云搜索区p
q
。10.根据权利要求8所述的一种基于点云时空记忆网络的4d目标分割方法，其特征在
于，所述步骤s4具体包括以下步骤：s41、对于新的lidar视频序列，使用第一帧和特定目标掩码，调用所述点云模板生成单元，初始化点云模板分割从视频序列的第二帧开始；s42、对于当前lidar帧，利用时间连续性，使用上一帧的目标掩码生成轴对齐边界框，然后进行偏移和缩放，作为当前lidar帧的搜索区，取搜索区内的点云并进行去平移旋转归一化，得到当前lidar帧的点云搜索区p
q
和搜索区指示掩码；s43、将点云模板p
r
及其目标掩码m
r
和点云搜索区p
q
输入到所述输入转换模块中，得到模板特征和搜索特征e
q
；s44、将特征e
r
和e
q
输入到所述孪生编码器中进行降采样，得到层次化特征和f
q
；s45、将层次化特征f
r
和f
q
输入到注意力机制模块中得到匹配特征o；s46、将匹配特征o输入到所述多阶段解码器中，输出关于搜索区的分割结果m
q
，最后根据所述搜索区指示掩码将搜索区的分割结果拓展为全局lidar帧，得到最终的分割结果m；s47、使用第一帧及其目标掩码和当前帧及其分割结果生成新的点云模板，并重复s42-s46直到完成整个lidar视频的分割。

技术总结
本发明涉及计算机视觉领域，公开了一种基于点云时空记忆网络的4D目标分割方法，包括以下步骤：S1、构建4D目标分割任务数据集；S2、基于点云时空记忆网络并结合非局部/局部注意力机制构建4D目标分割网络；S3、对所述4D目标分割网络模型进行训练，通过降低网络损失函数优化网络参数直至网络收敛，获得基于点云时空记忆网络的4D目标分割方法；S4、利用所述基于点云时空记忆网络的4D目标分割方法对新的LIDAR视频序列分割给定目标。本发明提供了新的数据集，并结合点云时空记忆网络和注意力机制设计了快速稳定的4D目标分割算法，所设计的算法对实际3D环境中目标遮挡，快速移动等问题具有很好的鲁棒性。好的鲁棒性。好的鲁棒性。


技术研发人员：刘勇 梅剑标 王蒙蒙
受保护的技术使用者：浙江大学
技术研发日：2022.08.31
技术公布日：2022/12/12