联合深度语义先验与几何异常挖掘的三维障碍物检测方法及系统
本发明涉及轨道交通环境感知及三维目标检测,具体涉及一种联合深度语义先验与几何异常挖掘的三维障碍物检测方法及系统。
背景技术:
1、在轨道交通运行场景中,感知系统的鲁棒性是列车自主运行的核心安全底线。在无照明深长隧道、夜间强逆光或光照剧变等极端视觉受限场景下,视觉传感器的成像机理导致其极易失效,此时激光雷达的主动探测能力成为保障行车安全的重要防线。然而,受限于轨道交通大纵深、远距离的物理特性,激光雷达点云呈现极度的空间稀疏性;同时,轨道运行环境常面临落石、侵限树枝等非结构化障碍物的随机威胁。
2、当前,现有的深度学习三维目标检测模型多基于封闭集假设进行训练。此类纯数据驱动的模型在面对训练分布之外的未知异形目标时难以有效表征,极易引发漏检风险。另一方面,纯粹的几何聚类算法虽具备“类别不可知”的泛化探测优势,但在缺乏语义过滤的复杂轨道交通场景中,极易将隧道壁、接触网支柱等固定基础设施误判为侵限威胁。
3、然而,现有方法在处理视觉受限及开放世界场景下的障碍物检测任务时仍面临诸多挑战:(1)纯深度学习模型的归纳偏置局限:当遇到如落石、异物等长尾分布或未知形态的非结构化障碍物时,网络无法将其归类于已知类别,进而直接将其作为背景过滤,导致灾难性的漏检;(2)纯几何算法的背景误报严重:传统的无监督密度聚类算法在缺乏语义先验约束的条件下,会对处于探测范围内的所有几何凸起物进行提取,引发海量的虚警干扰;(3)远距稀疏点云导致的聚类失效:车载激光雷达点云密度随探测距离的增加呈现剧烈的非线性衰减态势。传统聚类算法采用全局静态参数(固定的搜索半径和密度阈值),无法同时兼顾近场的高密度与远场的极度稀疏,从而导致远端目标被过度碎片化分割或直接漏检。
技术实现思路
1、本发明的目的在于提供一种能够在视觉受限及开放世界场景下,精准分离已知结构化目标并有效挖掘未知非结构化异形目标的一种联合深度语义先验与几何异常挖掘的三维障碍物检测方法及系统,以解决上述背景技术中存在的纯深度学习模型归纳偏置局限、纯几何算法背景误报严重以及远距稀疏点云导致的聚类失效等至少一项技术问题。
2、为了实现上述目的,本发明采取了如下技术方案:
3、第一方面,本发明提供一种联合深度语义先验与几何异常挖掘的三维障碍物检测方法,包括:
4、获取列车前向激光雷达点云数据,输入预训练的三维目标检测网络提取深度语义特征,输出典型结构化障碍物的三维边界框与语义类别作为先验信息;
5、基于所述三维边界框与语义类别生成点云掩膜,通过空间差分运算剥离已知目标点云,获取初步的未解释残差点云集合;
6、引入预先构建的列车动态三维限界模型作为物理几何约束,将所述未解释残差点云集合映射至轨道坐标系下进行空间包含判定,滤除限界包络外的背景噪声,提取高纯净度的残差感知空间点云;
7、针对所述残差感知空间点云,依据激光雷达角分辨率与物理成像机理,建立距离感知的自适应密度衰减函数,动态解算每个点云邻域的聚类搜索半径与核心点阈值参数;
8、在动态解算参数的约束下执行几何密度聚类,并引入基于时空交并比的时间一致性追踪机制剔除瞬态伪影,输出未知非结构化障碍物的挖掘结果,与已知典型障碍物融合后生成最终的三维检测列表。
9、作为本发明第一方面的进一步限定,获取列车前向激光雷达点云数据,输入预训练的三维目标检测网络提取深度语义特征,输出典型结构化障碍物的三维边界框与语义类别作为先验信息,包括:获取列车前向的三维激光雷达点云数据,将其输入预先训练好的稀疏感知体素注意力网络中。该网络通过对原始点云进行体素化处理,利用多层次的稀疏卷积与局部注意力聚合机制,在维持点云三维空间几何拓扑不变的前提下提取深层特征。经过网络前向推理,输出列车、人员等典型结构化障碍物的高置信度三维边界框与相应的语义类别标签。这一过程作为系统级联检测的前置步骤,为后续的残差空间构建提供了极其精确的深度语义先验信息,从而大幅降低了后续几何挖掘算法的搜索空间和计算负载。
10、作为本发明第一方面的进一步限定,基于所述三维边界框与语义类别生成点云掩膜,通过空间差分运算剥离已知目标点云,获取初步的未解释残差点云集合,包括:基于深度神经网络输出的已知结构化目标实例边界框和高置信度索引,在原始三维物理空间中精准生成对应的包围盒点云掩膜。随后,通过集合的差分运算,从全局原始点云集合中彻底剥离出属于上述已知类别人、车等目标的点云数据。该剥离过程将复杂的混合场景解耦,强制保留了无法被现有深度学习模型字典所解释的异常反射点,从而生成了包含潜在未知异形障碍物以及部分环境背景的初步未解释残差点云集合。
11、作为本发明第一方面的进一步限定,引入预先构建的列车动态三维限界模型作为物理几何约束,将所述未解释残差点云集合映射至轨道坐标系下进行空间包含判定,滤除限界包络外的背景噪声,提取高纯净度的残差感知空间点云,包括:为了进一步从初步未解释集合中滤除隧道壁、接触网支柱及侧边植被等静态固定背景设施,引入预先随列车运行状态构建的动态三维限界模型作为严苛的物理几何安全约束。利用列车定位系统提供的位姿数据,将初步未解释点云通过坐标变换矩阵精确映射至轨道局部坐标系下。接着,执行严格的空间包含关系判定函数,仅当点云坐标完全位于安全限界包络内部时才予以保留。经过语义与几何限界的双重过滤后,彻底排除了净空区外的无关干扰,构建出用于纯粹异常挖掘的高纯净度残差感知空间。
12、作为本发明第一方面的进一步限定,针对所述残差感知空间点云,依据激光雷达角分辨率与物理成像机理,建立距离感知的自适应密度衰减函数,动态解算每个点云邻域的聚类搜索半径与核心点阈值参数,包括:考虑到激光雷达发散光束随探测距离的增加会导致点云呈现剧烈的非线性稀疏衰减特性,该步骤彻底摒弃了传统密度聚类算法中采用的全局静态超参数设定。依据设备实际的水平与垂直角分辨率以及物理成像理论模型,将自适应搜索半径以及评判核心对象的最少点数阈值构建为受点云深度距离严格约束的连续函数。此设计使得算法能够根据目标所处的实际空间纵深位置,自适应地膨胀或收缩感知邻域,从而确保在近场高密区和远场极度稀疏区均能维持一致的特征聚合能力。
13、作为本发明第一方面的进一步限定,在动态解算参数的约束下执行几何密度聚类,并引入基于时空交并比的时间一致性追踪机制剔除瞬态伪影,输出未知非结构化障碍物的挖掘结果,与已知典型障碍物融合后生成最终的三维检测列表,包括:在残差感知空间中应用动态解算出的搜索半径和密度阈值执行区域增长与聚类,有效聚合零散的异常目标点以生成非结构化障碍物的候选包围框。为了应对极端雨雪、扬尘环境下容易引发的瞬态聚类伪影,维护一个包含若干历史帧轨迹的队列。通过计算当前候选框与历史检测框的三维时空交并比,要求未知目标必须在连续多帧中均匹配成功才被认定为高置信度侵限障碍物。最后,将此阶段挖掘出的异形几何目标框与第一阶段识别出的已知语义目标框在时空维度上联合,输出全场景无遗漏的三维障碍物检测列表。
14、第二方面,本发明提供一种联合深度语义先验与几何异常挖掘的三维障碍物检测系统,包括:
15、深度语义先验提取模块,用于获取列车前向激光雷达点云数据,输入预训练的三维目标检测网络提取深度语义特征,输出典型结构化障碍物的三维边界框与语义类别作为先验信息;
16、已知目标剥离模块,用于基于所述三维边界框与语义类别生成点云掩膜,通过空间差分运算剥离已知目标点云,获取初步的未解释残差点云集合;
17、限界约束与残差空间构建模块,用于引入预先构建的列车动态三维限界模型作为物理几何约束,将所述未解释残差点云集合映射至轨道坐标系下进行空间包含判定,滤除限界包络外的背景噪声,提取高纯净度的残差感知空间点云;
18、距离自适应参数解算模块,用于针对所述残差感知空间点云,依据激光雷达角分辨率与物理成像机理,建立距离感知的自适应密度衰减函数,动态解算每个点云邻域的聚类搜索半径与核心点阈值参数;
19、非结构化挖掘与系统融合模块,用于在动态解算参数的约束下执行几何密度聚类,并引入基于时空交并比的时间一致性追踪机制剔除瞬态伪影,输出未知非结构化障碍物的挖掘结果,与已知典型障碍物融合后生成最终的三维检测列表。
20、第三方面,本发明提供一种非暂态计算机可读存储介质,所述非暂态计算机可读存储介质用于存储计算机指令,所述计算机指令被处理器执行时,实现如第一方面所述的联合深度语义先验与几何异常挖掘的三维障碍物检测方法。
21、第四方面,本发明提供一种计算机设备,包括存储器和处理器,所述处理器和所述存储器相互通信,所述存储器存储有可被所述处理器执行的程序指令,所述处理器调用所述程序指令执行如第一方面所述的联合深度语义先验与几何异常挖掘的三维障碍物检测方法。
22、第五方面,本发明提供一种电子设备,包括:处理器、存储器以及计算机程序;其中,处理器与存储器连接,计算机程序被存储在存储器中,当电子设备运行时,所述处理器执行所述存储器存储的计算机程序,以使电子设备执行实现如第一方面所述的联合深度语义先验与几何异常挖掘的三维障碍物检测方法的指令。
23、本发明有益效果:利用安装在列车上的三维激光雷达获取全天候的点云数据;采用已知目标剥离模块,通过预训练神经网络的高维语义特征识别并遮罩典型障碍物,成功消除了几何聚类算法面临的已知背景特征误报问题;采用限界约束与残差空间构建模块,通过深度耦合列车物理三维限界实施空间包络过滤,大幅缩减了搜索空间并排除了限界外的固定背景,实现了物理防线的刚性约束;采用距离自适应参数解算模块,通过依据激光光束发散机理动态调节聚类核心阈值与搜索半径,彻底解决了远端稀疏目标因静态参数而导致的过度分割与漏检难题;采用非结构化挖掘与系统融合模块,通过时间一致性交并比跟踪及级联架构整合,将未知异形目标(如落石)的几何召回与已知目标的语义检测无缝结合;整个级联联合感知架构通过“语义过滤-空间约束-几何异常挖掘”的层层递进逻辑,突破了深度学习在开放世界中的归纳偏置局限,为列车提供了覆盖全天候、高度确定性的多重雷达安全防线,展现出良好的应用前景。
24、本发明附加方面的优点,将在下述的描述部分中更加明显的给出,或通过本发明的实践了解到。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com