点云语义分割与多智能体图谱约束的施工理解方法及系统与流程

摘要: 本发明涉及建筑工程信息化和三维视觉感知。更具体地说,本发明涉及一种点云语义分割与多智能体图谱约束的施工理解方法及系统。背景技术:1、随着建筑信息模型(bim)和...
点云语义分割与多智能体图谱约束的施工理解方法及系统与流程

本发明涉及建筑工程信息化和三维视觉感知。更具体地说,本发明涉及一种点云语义分割与多智能体图谱约束的施工理解方法及系统。

背景技术:

1、随着建筑信息模型(bim)和智能建造技术的快速发展,施工现场的数字化管理已成为建筑业转型升级的重要方向。三维激光扫描和lidar感知技术能够获取施工现场的高密度三维点云数据,为构件识别、质量巡检、安全检查和施工进度管理提供了重要的数据基础。点云语义分割作为三维场景理解的核心技术,其目标是为点云中的每个三维点赋予语义类别标签,从而实现对施工场景中不同对象的自动识别与分类。然而,由于施工现场具有遮挡严重、设备干扰频繁、点密度分布不均以及作业面动态变化等复杂特征,施工场景的点云感知比普通室内场景具有更强的非结构化特性。尤其在梁端、连接板、钢混构件和钢板等对象的交汇区域,不同构件往往具有相似的平面或线性几何特征,且边界通常由稀疏点或局部断裂点表达,这给施工点云的精准语义分割带来了巨大挑战。

2、近年来,深度学习方法的引入显著提升了点云语义分割的性能。其中,randla-net是《randla-net:efficient semantic segmentation of large-scale point clouds》(2020 ieee/cvf conference on computer vision and pattern recognition (cvpr),pp. 11108-11117)中提出的一种高效大规模点云语义分割网络。该网络的核心在于采用随机采样策略替代复杂的点选择方法,在显著降低计算成本和内存消耗的同时,通过引入局部特征聚合模块来逐步增大每个三维点的有效感受野,从而有效保留几何细节。实验表明,randla-net能够在单次处理中完成100万个点的语义分割,速度比基于图的方法spg快近200倍,在semantic3d和semantickitti两个大规模点云基准数据集上均取得了领先的分割精度。然而,randla-net的随机采样策略虽然在计算效率上具有显著优势,但也存在因随机丢弃而丢失关键特征的风险。更重要的是,包括randla-net在内的现有深度学习点云分割方法,其输出结果本质上仍然是点级标签图,即每个点被赋予了一个类别标签,但这一结果并不能直接回答施工现场管理所需的工程级问题。

3、具体而言,点云语义分割结果停留在点级层面,而施工场景理解需要的是对象级的工程知识。工程人员在实际工作中需要知道的是:当前场景中包含哪些具体的工程对象(如钢混构件、梁、连接板等)、这些对象的数量是多少、它们各自的空间位置和几何尺寸是多少、不同对象之间是否存在连接或邻接关系、哪些对象可能需要进一步检查。然而,点级标签无法直接提供这些信息,如一个梁构件可能由数万个点组成,每个点都被标记为梁,但点云分割结果并没有将这些点凝聚为一个可被检索和引用的工程对象实体。rauch和braml在《semantic point cloud segmentation with deep-learning-based approaches forthe construction industry: a survey》(applied sciences, 2023, 13(16), 9146)中系统梳理了深度学习点云语义分割方法在建筑行业的应用现状,指出当前方法在模型性能和数据处理方面仍存在明显不足。该综述明确指出,尽管点云语义分割在自动驾驶、机器人等领域取得了显著进展,但将其应用于建筑工程问题时,仍然缺乏从点级识别结果向工程决策所需的对象级知识进行有效转换的系统性方法。这一感知到认知鸿沟导致点云语义分割结果难以直接支撑工程问答、规范核查与可追溯报告生成等实际工程应用需求。

4、此外,现有的大语言模型问答系统在处理工程问题时,通常缺乏对现场感知证据和结构化工程知识的有效利用。工程问答对事实性和可追溯性要求极高,回答不能仅仅看起来合理,而必须能够明确回溯到具体的现场感知证据、知识节点和规则依据。然而,现有方法要么仅依赖大语言模型自身的参数化知识进行自由生成,要么仅将点云分割结果以文本形式简单输入模型,缺乏将点云识别结果转化为可供检索和推理的结构化场景证据的系统性方案,更缺乏通过知识图谱对模型输出进行证据约束的有效机制。目前尚未有一种方法能够将点云语义分割、构件级实体化、知识图谱对齐与多智能体证据约束推理有机整合为统一的技术方案,从而实现从点级感知到可追溯工程理解的全链路贯通。

技术实现思路

1、本发明的一个目的是解决至少上述问题,并提供至少后面将说明的优点。

2、本发明还有一个目的是提供一种点云语义分割与多智能体图谱约束的施工理解方法,其通过点云语义分割、构件级实体化、知识图谱对齐与多智能体证据约束推理的有机整合,实现了从点级感知到可追溯工程理解的全链路贯通,显著提高了施工场景问答与报告生成的可靠性、可解释性与可核验性。

3、为了实现根据本发明的这些目的和其它优点,提供了一种点云语义分割与多智能体图谱约束的施工理解方法,包括:

4、s1、点云语义分割:获取施工现场的原始点云数据,通过空间-通道联合注意力增强的randla-net分割网络对所述原始点云数据进行特征提取与类别预测,输出每个点的语义类别标签;

5、s2、点级标签实体化:将步骤s1得到的带有语义类别标签的点云数据,按语义类别进行划分后,基于空间邻近性和空间连通性聚合为构件级实体,提取每个构件级实体的几何属性,并建立各构件级实体之间的空间关系,生成施工场景实体图;

6、s3、知识图谱构建与实体对齐:构建包含领域知识层和场景证据层的施工知识图谱,所述领域知识层至少包括与语义类别标签对应的构件类型节点、规则项节点、风险类型节点和证据节点;所述场景证据层基于步骤s2生成结果构建,包括构件级实体节点、几何属性节点和实体间空间关系边;将至少部分所述构件级实体与所述构件类型节点进行对齐,并基于类别语义相似度、属性一致性和关系一致性的综合评估结果建立构件级实体与对应构件类型节点之间的映射关系;

7、s4、多智能体协同推理:接收用户输入的问题,采用多个智能体对所述问题进行解析并分解为子任务;基于所述子任务,从所述施工场景实体图中检索现场实体证据形成场景证据包,以及从所述施工知识图谱中检索图谱证据形成图谱证据子图;将所述场景证据包和所述图谱证据子图作为证据约束,生成自然语言回答及其所依据的证据来源,并生成可追溯的结构化工程报告;

8、其中,所述证据约束包括:所生成的自然语言回答中涉及的事实性陈述能够回溯至所述场景证据包或所述图谱证据子图中的证据来源,以及当证据不足时输出不确定性提示。

9、优选的是,步骤s1中所述空间-通道联合注意力增强的randla-net分割网络包含空间注意力单元、通道注意力单元和特征重标定单元,所述空间注意力单元在局部特征聚合过程中,根据邻域点与中心点之间的特征相关性生成空间注意力权重,邻域点j对中心点i的空间注意力权重αij通过以下公式计算:;空间注意力增强后的局部特征表示为:;所述通道注意力单元根据空间注意力增强后的局部特征生成通道注意力权重βi:;所述特征重标定单元对进行逐通道重标定,并经共享多层感知机获得输出原始点云数据特征:;其中,fi和fj分别表示中心点i和邻域点j的局部特征向量;φ(·)和ψ(·)均为可学习的映射函数;n(i)表示中心点i邻域点集合;αij∈[0,1]为归一化注意力权重;g(·)为可学习的邻域特征重标定映射函数;为通道注意力权重映射函数;σ(·)为归一化激活函数;为逐元素乘法;q(·)为共享多层感知机对应的可学习映射函数。

10、优选的是,步骤s1中所述语义类别标签包括非目标环境类别和目标施工构件类别,其中,所述非目标环境类别至少包括背景,所述目标施工构件类别至少包括钢板、钢混构件、梁和连接板。

11、优选的是,步骤s2中构件级实体ek 表示为:ek=(ck,sk,bk,ak,rk);实体之间的空间关系通过邻接关系表示,邻接关系akl由包围盒距离和包围盒重叠率确定:;

12、其中,ck表示实体语义类别;sk表示构成该实体的点集;bk表示三维包围盒;ak表示包含中心点、尺寸、主方向、点数和置信度的几何属性集合;rk表示该实体与其他实体之间的空间关系集合;bk和bl分别表示第k个和第l个构件级实体的三维包围盒;d(bk,bl)表示两个包围盒之间的最小空间距离;τd为预设的距离判定阈值;iou(bk,bl)表示两个包围盒的三维体积交并比;τb为预设的重叠率判定阈值;akl=1表示实体k和实体l存在空间邻接关系;akl=0表示实体k和实体l不构成空间邻接关系,在施工场景实体图中不建立二者之间的邻接关系边。

13、优选的是,步骤s3中,所述基于类别语义相似度、属性一致性和关系一致性的综合评估结果建立构件级实体与对应构件类型节点之间的映射关系,具体包括:

14、计算构件级实体ek与所述知识图谱中构件类型节点vj之间的综合评估结果score(ek,vj):;将综合评估结果score(ek,vj)高于预设阈值τs的节点作为候选对齐节点,建立构件级实体与对应构件类型节点之间的映射关系;其中,simc(·)、sima(·)和simr(·)分别表示类别语义相似度、属性一致性相似度、关系一致性相似度;λ1、λ2和λ3为权重系数,满足λ1+λ2+λ3=1。

15、优选的是,步骤s3中所述施工知识图谱以属性图数据库存储,所述领域知识层中的节点类型至少包括:sceneentity节点、componenttype节点、ruleitem节点、risktype节点和evidence节点;所述场景证据层中的节点类型至少包括表示构件级实体的sceneentity节点,以及与所述sceneentity节点对应的几何属性和场景证据信息;所述施工知识图谱中的关系类型至少包括:表示实体间空间邻接的adjacent_to关系、表示实体间连接的connected_to关系、表示sceneentity节点与componenttype节点之间类型对应关系的instance_of关系或者matched_to关系、表示证据支撑的supported_by关系以及表示规则或风险触发的triggered_by关系。

16、优选的是,步骤s4中,所述图谱证据子图通过以下方式获得:

17、以所述映射关系确定的候选对齐节点作为种子节点集合vq的至少一部分,以vq为起点在所述施工知识图谱中进行有限跳数扩展,得到图谱证据子图gq:;自然语言回答满足如下证据约束:;且对于自然语言回答中的第m个事实性陈述,满足:;其中,h为图扩展跳数;gk为所述施工知识图谱;dist(ν,u)表示节点ν和节点u在gk中的最短路径距离;(ν,r,u)表示图关系三元组;q为用户输入的问题;gs 为所述施工场景实体图;εq为可用证据集合;п为多个智能体的协同策略集合;support(·,·)表示事实性陈述能够被证据所支撑;llm(·)表示以和为输入,并在多智能体协同策略集合的控制或条件下,由大语言模型生成自然语言回答。

18、优选的是,步骤s4中,所述多个智能体至少包括:

19、任务解析智能体,用于识别用户输入问题的意图类型,判断所需证据类型并分解为至少一个子任务;

20、场景证据智能体,用于根据所述子任务从所述施工场景实体图中检索相关构件级实体、几何属性和空间关系,形成所述场景证据包;

21、图谱推理智能体,用于根据所述子任务基于所述映射关系确定知识图谱中的种子节点,以所述种子节点为起点在所述施工知识图谱中进行扩展,执行图查询并返回所述图谱证据子图;

22、答案生成智能体,用于将所述场景证据包和所述图谱证据子图作为证据约束输入大语言模型,生成候选自然语言回答,将所述候选自然语言回答划分为事实性陈述,将各事实性陈述与所述场景证据包或者所述图谱证据子图中的对应证据进行匹配,对具有匹配证据的事实性陈述绑定对应的证据来源,并对缺少匹配证据的事实性陈述进行删除、修正或者不确定性标记,输出经证据约束校验的自然语言回答;

23、报告生成智能体,用于将经证据约束验证后的自然语言回答与所依据的证据来源组织为结构化工程报告。

24、本发明进一步要求保护一种点云语义分割与多智能体图谱约束的施工理解系统,用于实现所述点云语义分割与多智能体图谱约束的施工理解方法,包括:

25、点云输入模块,用于获取施工现场的原始点云数据;

26、语义感知模块,用于通过空间-通道联合注意力增强的randla-net分割网络对所述原始点云数据进行特征提取与类别预测,输出每个点的语义类别标签;

27、场景实体化模块,用于将所述语义感知模块输出的带有语义类别标签的点云数据,按语义类别进行划分后基于空间邻近性和空间连通性聚合为构件级实体,剔除无效聚合结果,提取每个构件级实体的几何属性,建立各构件级实体之间的空间关系,生成施工场景实体图;

28、知识图谱模块,用于存储包含领域知识层和场景证据层的施工知识图谱,所述领域知识层至少包括与语义类别标签对应的构件类型节点、规则项节点、风险类型节点和证据节点;所述场景证据层包括构件级实体节点、几何属性节点和实体间空间关系边;

29、实体对齐模块,用于将至少部分所述构件级实体与所述构件类型节点进行对齐,基于语义相似度、属性一致性和关系一致性的综合评估结果建立构件级实体与对应构件类型节点之间的映射关系;

30、多智能体协同推理模块,用于接收用户输入的问题,采用多个智能体对所述问题进行解析并分解为子任务;基于所述子任务,从所述施工场景实体图中检索现场实体证据形成场景证据包,以及从所述施工知识图谱中检索图谱证据形成图谱证据子图;将所述场景证据包和所述图谱证据子图作为证据约束,生成自然语言回答及其所依据的证据来源,并生成可追溯的结构化工程报告;

31、其中,所述证据约束包括:所生成的自然语言回答中涉及的事实性陈述能够回溯至所述场景证据包或所述图谱证据子图中的证据来源,以及当证据不足时输出不确定性提示。

32、本发明进一步要求保护一种电子设备,包括:

33、一个或多个处理器;以及

34、存储装置,用于存储一个或多个程序;

35、当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现所述方法。

36、本发明至少包括以下有益效果:

37、其一、本发明在randla-net分割网络中引入空间-通道注意力机制,实现注意力增强局部特征聚合,使网络能够自适应地关注局部连接区域、端部边界和结构相似构件的判别关键点,且空间-通道注意力机制增强后的randla-net分割网络在五类施工点云语义分割任务中取得了99.596%的整体精度和97.82%的miou,其中连接板类别iou达到99.86%,显著提升了对梁端、连接板与钢混构件等易混淆对象的识别准确性;

38、其二、本发明通过将点级语义标签按空间邻近性聚类聚合为构件级实体,并基于包围盒距离与重叠率建立实体间邻接关系,将分割结果从密集点标签转换为紧凑的构件级对象表达,实体化过程使系统能够获得构件数量、位置、尺寸、主方向、点数和置信度等工程级信息,解决了现有技术中分割结果停留在点级标签层面、无法直接回答场景中包含哪些工程对象和它们之间如何连接等工程问题的缺陷;

39、其三、本发明构建了包含领域知识层和场景证据层的neo4j施工知识图谱,领域层涵盖构件类型、规则项、风险类型和证据节点,场景层映射现场实体节点及connected_to、adjacent_to、supported_by、triggered_by等多类型关系边;通过类别语义相似度、属性一致性和关系一致性的加权综合评估实现实体对齐,将现场感知事实与工程规范、检查规则和风险节点关联为现场状态—知识依据—分析结论的可追溯证据链;

40、其四、本发明通过任务解析、场景证据检索、图谱推理、答案生成和报告生成五个专用智能体的协同分工,以种子节点有限跳扩展得到的图谱证据子图和场景证据包共同约束大语言模型输出;该机制要求回答中每一事实性陈述均可回溯至具体证据来源,证据不足时强制输出不确定性提示,有效抑制了自由生成的幻觉风险,实验表明该框架相较纯大语言模型回答将问答准确率从72.0%提升至94.0%、证据命中率从18.0%提升至90.0%、幻觉率从26.0%降至4.0%。

41、本发明的其它优点、目标和特征将部分通过下面的说明体现,部分还将通过对本发明的研究和实践而为本领域的技术人员所理解。