点云目标瞬时运动检测方法及系统与流程
本发明涉及计算机视觉领域,尤其涉及一种点云目标瞬时运动检测方法及系统。
背景技术:
1、目前,基于人工智能网络的点云动目标识别方法多依赖于物体的具体语义类别进行判断,即先划分物体的各种类别,再判断物体在多帧间是否发生移动。另一些方案则结合场景识别,从而推断指定场景下的物体种类及其是否具有运动可能。然而,在开放场景下,入侵目标的类别和环境均无法预先估计,模型应当真正学习“运动”的本质,而非依赖“什么物体在什么场景下会运动”。
2、在具体网络实现上,卷积神经网络仅具有局部视野,难以处理大型车辆高速运动等大范围时空关联问题;自注意力机制全局性较好,但对于数据量庞大的4d点云存在严重的性能瓶颈;状态空间模型(如mamba)虽然缓解了自注意力的计算量问题,但其本质是沿一维序列的因果扫描,上下文较短,且依赖序列化将同一物体的多帧证据排列在相邻位置,对跨帧位移较大的目标容易失效。
3、更关键的是,若要同时获得局部精度与全局视野,自然的做法是让卷积与注意力处理“每个体素每一帧各占一行”的4d全量数据,让状态空间模型处理“每个体素只占一行”的3d残差图以控制序列长度。但两种数据组织形式之间如何转换,直接决定了整个网络能否成立:若仅在解码时临时对同体素的多帧特征做一次聚合,则编码阶段提取的跨帧局部关系会在该聚合步骤中被大量丢弃,状态空间模型实际得到的仍是未经整理的原始内容。
4、因此,亟需一种不依赖语义类别先验、能够直接从多帧点云的时空数据中判断目标瞬时运动,并解决全量图与残差图之间转换问题的点云目标瞬时运动检测方法。
技术实现思路
1、为解决上述问题,本发明提供一种点云目标瞬时运动检测方法及系统,通过构建异构编码器,即编码器在全量特征图上执行局部时空编码以提取局部时空关系,解码器在残差特征图上执行状态空间模型处理,以提供全局视野;每级编码经快照融合生成主跳连快照,瓶颈层经实体聚合得到聚合体素特征,解码阶段结合主跳连快照按体素去重得到残差图后输入状态空间模型,从而不依赖语义类别先验,直接从多帧点云时空数据预测当前帧每个点的瞬时运动状态。
2、为达到上述目的,本发明提供了一种点云目标瞬时运动检测方法,包括:获取多帧点云,对多帧点云进行体素划分,对每个体素在各帧的点集分别进行特征聚合,得到全量特征图;对所述全量特征图执行分层编码,在每一层编码的降采样处理后,根据降采样处理前的父级全量特征进行快照融合,得到每层对应的主跳连快照;对降采样处理后的降采样特征进行局部时空编码,得到最新的父级全量特征,并将所述父级全量特征作为下一层编码中降采样处理的输入;重复分层编码直至到达瓶颈层,得到编码特征;根据瓶颈层输出的编码特征执行实体聚合,得到聚合体素特征;根据所述聚合体素特征执行分层解码,在每一层解码中结合对应层级的主跳连快照依次执行跳连上采样、按体素去重得到残差特征图、卷积位置编码、状态空间模型处理及处理结果写回;重复分层解码直至所有解码层均完成解码,得到解码特征;根据解码特征进行状态预测,得到当前帧每个点的预测结果。
3、进一步可选的,所述根据降采样处理前的父级全量特征进行快照融合,包括:对父级全量特征按体素坐标分组,将属于同一体素的行归为一个行集合,每个行集合中的每一行对应一个帧;对每个体素的行集合,取帧号最小的一行作为最近帧,对所述最近帧的特征进行层归一化,得到最近帧特征;对每个体素的行集合,逐通道取各行特征的最大值,对所述最大值进行层归一化,得到跨帧最大值特征;将所述最近帧特征和所述跨帧最大值特征拼接,对拼接结果依次进行线性投影、层归一化和激活处理,得到对应体素的融合特征;将所述融合特征覆盖对应体素的所述父级全量特征,得到该层的主跳连快照。
4、进一步可选的,所述对降采样处理后的降采样特征进行局部时空编码,得到最新的父级全量特征,包括:对所述降采样特征执行卷积位置编码,所述卷积位置编码包括:对同一帧内的体素特征执行帧隔离的稀疏卷积位置编码,并将稀疏卷积位置编码的结果与所述降采样特征相加,得到帧内空间编码特征,将所述帧内空间编码特征作为最新的父级全量特征;或,在得到所述帧内空间编码特征后,对所述帧内空间编码特征执行跨帧时间编码,所述跨帧时间编码包括:按体素坐标将同一体素在不同帧的特征收集为时间序列,在每个时间序列上执行多头自注意力,得到局部时空特征,将所述局部时空特征作为最新的父级全量特征。
5、进一步可选的,所述根据瓶颈层输出的编码特征执行实体聚合,得到聚合体素特征,包括:对所述编码特征中的每个体素特征进行物体性预测,得到每个体素特征对应的物体性分数,选取物体性分数超过预设分数阈值的体素特征加入聚合子集;在所述聚合子集内,计算编码特征中每个体素特征的实体嵌入向量,以所述实体嵌入向量之间的距离构建相似度核,对聚合子集中的体素特征执行自注意力加权聚合,得到聚合结果;将所述聚合结果进行残差写回,得到聚合体素特征;其中,在训练阶段,在每一层编码的降采样处理后且根据父级全量特征进行快照融合之前,复制所述父级全量特征作为辅助跳连快照;从瓶颈层输出的编码特征出发,根据各层对应的辅助跳连快照,逐层执行上采样和辅助跳连融合,得到全分辨率特征;对所述全分辨率特征进行线性投影,得到逐点嵌入向量;按样本和实体标注对逐点嵌入向量分组,计算同一实体的逐点嵌入向量到该实体的嵌入均值的拉近损失,及不同实体的嵌入均值之间的推远损失,并根据所述拉近损失和所述推远损失反向传播更新网络参数,更新后的网络参数用于计算编码特征中每个体素特征的实体嵌入向量。
6、进一步可选的,所述在每一层解码中结合对应层级的主跳连快照依次执行跳连上采样、按体素去重得到残差特征图、卷积位置编码、状态空间模型处理及处理结果写回,包括:根据分层编码降采样时记录的父子索引,将低分辨率的体素特征散射回对应的高分辨率索引位置,得到上采样特征;将所述上采样特征与对应层级的主跳连快照融合,并对融合后的特征进行线性投影,得到跳连特征;对所述跳连特征按体素去重,每个体素仅保留一行,得到残差特征图;对所述残差特征图执行卷积位置编码,并将卷积位置编码后的残差特征图输入状态空间模型进行处理;将状态空间模型的输出替换对应体素的全部帧行,得到该层的解码特征。
7、另一方面,本发明还提供了一种点云目标瞬时运动检测系统,包括:特征聚合模块,用于获取多帧点云,对多帧点云进行体素划分,对每个体素在各帧的点集分别进行特征聚合,得到全量特征图;快照融合模块,用于对所述全量特征图执行分层编码,在每一层编码的降采样处理后,根据降采样处理前的父级全量特征进行快照融合,得到每层对应的主跳连快照;编码模块,用于对降采样处理后的降采样特征进行局部时空编码,得到最新的父级全量特征,并将所述父级全量特征作为下一层编码中降采样处理的输入;重复分层编码直至到达瓶颈层,得到编码特征;实体聚合模块,用于根据瓶颈层输出的编码特征执行实体聚合,得到聚合体素特征;解码模块,用于根据所述聚合体素特征执行分层解码,在每一层解码中结合对应层级的主跳连快照依次执行跳连上采样、按体素去重得到残差特征图、卷积位置编码、状态空间模型处理及处理结果写回;重复分层解码直至所有解码层均完成解码,得到解码特征;状态预测模块,用于根据解码特征进行状态预测,得到当前帧每个点的预测结果。
8、进一步可选的,所述快照融合模块包括:行集合确定子模块,用于对父级全量特征按体素坐标分组,将属于同一体素的行归为一个行集合,每个行集合中的每一行对应一个帧;最近帧特征计算子模块,用于对每个体素的行集合,取帧号最小的一行作为最近帧,对所述最近帧的特征进行层归一化,得到最近帧特征;跨帧最大值特征计算子模块,用于对每个体素的行集合,逐通道取各行特征的最大值,对所述最大值进行层归一化,得到跨帧最大值特征;融合子模块,用于将所述最近帧特征和所述跨帧最大值特征拼接,对拼接结果依次进行线性投影、层归一化和激活处理,得到对应体素的融合特征;特征覆盖子模块,用于将所述融合特征覆盖对应体素的所述父级全量特征,得到该层的主跳连快照。
9、进一步可选的,所述编码模块包括:空间编码子模块,用于对所述降采样特征执行卷积位置编码,所述卷积位置编码包括:对同一帧内的体素特征执行帧隔离的稀疏卷积位置编码,并将稀疏卷积位置编码的结果与所述降采样特征相加,得到帧内空间编码特征,将所述帧内空间编码特征作为最新的父级全量特征;时间编码子模块,用于在得到所述帧内空间编码特征后,对所述帧内空间编码特征执行跨帧时间编码,所述跨帧时间编码包括:按体素坐标将同一体素在不同帧的特征收集为时间序列,在每个时间序列上执行多头自注意力,得到局部时空特征,将所述局部时空特征作为最新的父级全量特征。
10、进一步可选的,所述实体聚合模块包括:聚合子集生成子模块,用于对所述编码特征中的每个体素特征进行物体性预测,得到每个体素特征对应的物体性分数,选取物体性分数超过预设分数阈值的体素特征加入聚合子集;实体聚合子模块,用于在所述聚合子集内,计算编码特征中每个体素特征的实体嵌入向量,以所述实体嵌入向量之间的距离构建相似度核,对聚合子集中的体素特征执行自注意力加权聚合,得到聚合结果;聚合体素特征生成子模块,用于将所述聚合结果进行残差写回,得到聚合体素特征;其中,在训练阶段,在每一层编码的降采样处理后且根据父级全量特征进行快照融合之前,复制所述父级全量特征作为辅助跳连快照;从瓶颈层输出的编码特征出发,根据各层对应的辅助跳连快照,逐层执行上采样和辅助跳连融合,得到全分辨率特征;对所述全分辨率特征进行线性投影,得到逐点嵌入向量;按样本和实体标注对逐点嵌入向量分组,计算同一实体的逐点嵌入向量到该实体的嵌入均值的拉近损失,及不同实体的嵌入均值之间的推远损失,并根据所述拉近损失和所述推远损失反向传播更新网络参数,更新后的网络参数用于计算编码特征中每个体素特征的实体嵌入向量。
11、进一步可选的,所述状态预测模块包括:上采样子模块,用于根据分层编码降采样时记录的父子索引,将低分辨率的体素特征散射回对应的高分辨率索引位置,得到上采样特征;主跳连子模块,用于将所述上采样特征与对应层级的主跳连快照融合,并对融合后的特征进行线性投影,得到跳连特征;去重子模块,用于对所述跳连特征按体素去重,每个体素仅保留一行,得到残差特征图;全局建模子模块,用于对所述残差特征图执行卷积位置编码,并将卷积位置编码后的残差特征图输入状态空间模型进行处理;解码特征生成子模块,用于将状态空间模型的输出替换对应体素的全部帧行,得到该层的解码特征。
12、上述技术方案具有如下有益效果:通过采用异构编解码器,编码器在全量特征图上以帧隔离稀疏卷积与体素内跨帧自注意力提取局部时空关系,解码器在残差特征图上以状态空间模型进行全局建模,两者处理的数据组织形式不同、所用算子也不同,从而兼顾局部精度与全局视野,且不依赖语义类别先验即可直接捕捉瞬时运动判据;
13、通过在瓶颈层基于对比学习生成与空间位置无关的实体嵌入,并以该嵌入为相似度核经物体性门控后进行全局加权聚合,从而为局部算子补上远距离交互,使同一物体分散在序列各处的证据能够相互参照,而不依赖空间邻接或序列邻接;对于跨帧相距较远的体素,均能通过嵌入相似度获得交互,避免局部算子或状态空间模型因感受野有限而无法关联远距离特征;
14、通过编码器每级降采样后、基础块前将父级全量特征按最近帧代表与跨帧最大值融合并广播回全部帧行作为主跳连快照,从而将全量图整理为残差图供解码器使用,使状态空间模型无需处理原始多帧堆叠并将有限序列建模能力用于全局关系;
15、通过解码器仅在残差图上使用状态空间模型,并在每级结合主跳连快照按体素去重,从而降低序列长度并缓解状态空间模型上下文短的问题。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com