多模态数据融合与补全方法、装置、设备及存储介质与流程

摘要: 本技术属于数据融合领域,尤其涉及一种多模态数据融合与补全方法、装置、设备及存储介质。背景技术:1、传统超欠挖控制方法依赖人工经验或单一数据来源。为提升控制精度,...
多模态数据融合与补全方法、装置、设备及存储介质与流程

本技术属于数据融合领域,尤其涉及一种多模态数据融合与补全方法、装置、设备及存储介质。

背景技术:

1、传统超欠挖控制方法依赖人工经验或单一数据来源。为提升控制精度,引入了激光点云、bim建模等技术,通过建立隧道设计模型,并利用激光扫描、视觉成像、地质传感、施工参数监测等子系统采集多模态数据。其具体方式包括:激光扫描子系统通过设置扫描参数、布置扫描站点获取隧道表面的高精度点云数据;视觉成像子系统通过环形相机阵列获取隧道岩壁纹理与工况图像;地质与施工参数监测子系统通过部署传感器网络实时采集岩体应力、含水率、装药量、喷射压力等参数。这些数据为分析超欠挖提供了更丰富的信息源,旨在通过多源数据来评估施工状况。

2、然而,在进行融合处理时,未能充分考虑不同模态数据在特征层面的深度关联与互补。具体而言,激光点云数据在某些区域(如阴影、遮挡处)可能存在稀疏或缺失,而视觉图像的纹理信息无法精准对应到三维空间的稀疏区域进行有效补全。这种多源数据融合深度的不足,导致构建的模型无法全面、精确地反映隧道施工的真实三维状态,影响了后续超欠挖识别的准确性与成因分析的可靠性,从而难以实现从检测、分析到调控的全流程智能化、实时化处理。

技术实现思路

1、本技术的目的在于克服上述现有技术中的缺陷,提供一种多模态数据融合与补全方法、装置、设备及存储介质。

2、本技术提供一种多模态数据融合与补全方法,包括:

3、获取激光点云的特征向量和视觉图像的特征向量;

4、基于所述激光点云的特征向量包含的坐标信息与所述视觉图像的空间对应关系,对所述激光点云的特征向量和所述视觉图像的特征向量进行空间对齐,生成空间对齐后的点云特征向量和图像特征向量;

5、将所述空间对齐后的点云特征向量和所述空间对齐后的图像特征向量进行拼接,生成初始融合特征向量;

6、对所述初始融合特征向量进行通道注意力加权,生成通道加权后的融合特征向量;

7、对所述通道加权后的融合特征向量进行空间注意力加权,生成空间加权特征;

8、基于所述空间加权特征,在所述激光点云中检测稀疏区域;

9、基于所述视觉图像的特征向量,对检测出的所述稀疏区域进行纹理补全,生成补全后的多模态融合特征向量。

10、可选地,对所述激光点云的特征向量和所述视觉图像的特征向量进行空间对齐,包括:

11、根据所述激光点云的特征向量中包含的坐标信息、所述视觉图像对应的相机内参、以及预先构建的数字孪生bim模型的转换矩阵,将所述激光点云的三维坐标映射至所述视觉图像的像素坐标,生成所述空间对齐后的点云特征向量和图像特征向量。

12、可选地,对所述初始融合特征向量进行通道注意力加权,生成通道加权后的融合特征向量,包括:

13、对所述初始融合特征向量执行全局平均池化操作,生成通道描述向量;

14、将所述通道描述向量依次输入至第一全连接层和第二全连接层进行处理,得到第一处理结果;

15、对所述第一处理结果应用sigmoid激活函数,生成通道权重向量;

16、将所述通道权重向量与所述初始融合特征向量进行逐通道乘法运算,生成所述通道加权后的融合特征向量。

17、可选地,对所述通道加权后的融合特征向量进行空间注意力加权,生成空间加权特征,包括:

18、对所述通道加权后的融合特征向量分别执行平均池化操作和最大池化操作,生成平均池化特征图和最大池化特征图;

19、将所述平均池化特征图与所述最大池化特征图进行拼接,生成拼接特征图;

20、对所述拼接特征图执行卷积操作,得到空间注意力权重图;

21、对所述空间注意力权重图应用sigmoid激活函数,生成空间注意力图;

22、将所述空间注意力图与所述通道加权后的融合特征向量进行逐位置乘法运算,生成所述空间加权特征。

23、可选地,基于所述空间加权特征,在所述激光点云中检测稀疏区域,包括:

24、在所述激光点云中构建kd树数据结构;

25、针对所述激光点云中的每个点,在所述kd树中查询多个最近邻点;

26、计算所述点与所述多个最近邻点之间的平均欧氏距离;

27、将所述平均欧氏距离与根据所述激光点云的整体点云密度计算的动态距离阈值进行比较,判定所述点是否位于所述稀疏区域。

28、可选地,基于所述视觉图像的特征向量,对检测出的所述稀疏区域进行纹理补全,生成补全后的多模态融合特征向量,包括:

29、从所述空间加权特征中提取出与所述稀疏区域对应的局部空间加权特征;

30、从所述视觉图像的特征向量中,提取出与所述稀疏区域对应的局部图像纹理特征;

31、将所述局部空间加权特征与所述局部图像纹理特征进行融合,生成条件特征;

32、将所述条件特征输入至生成对抗网络gan的生成器;

33、所述生成器基于所述条件特征,生成用于补全所述稀疏区域的几何细节特征,得到所述补全后的多模态融合特征向量。

34、可选地,补全后的多模态融合特征向量,由以下步骤生成:

35、对所述激光点云的特征向量和所述视觉图像的特征向量进行空间对齐;

36、对空间对齐后的点云特征向量和图像特征向量进行拼接,生成初始融合特征向量;

37、对所述初始融合特征向量进行通道注意力加权,生成通道加权后的融合特征向量;

38、对所述通道加权后的融合特征向量进行空间注意力加权,生成空间加权特征;

39、基于所述空间加权特征,在所述激光点云中检测稀疏区域;

40、基于所述视觉图像的特征向量,对检测出的所述稀疏区域进行纹理补全。

41、本技术还提供一种多模态数据融合与补全装置,包括:

42、获取模块,获取激光点云的特征向量和视觉图像的特征向量;

43、对齐模块,基于所述激光点云的特征向量包含的坐标信息与所述视觉图像的空间对应关系,对所述激光点云的特征向量和所述视觉图像的特征向量进行空间对齐,生成空间对齐后的点云特征向量和图像特征向量;

44、拼接模块,将所述空间对齐后的点云特征向量和所述空间对齐后的图像特征向量进行拼接,生成初始融合特征向量;

45、加权模块,对所述初始融合特征向量进行通道注意力加权,生成通道加权后的融合特征向量;对所述通道加权后的融合特征向量进行空间注意力加权,生成空间加权特征;

46、检测模块,基于所述空间加权特征,在所述激光点云中检测稀疏区域;

47、生成模块,基于所述视觉图像的特征向量,对检测出的所述稀疏区域进行纹理补全,生成补全后的多模态融合特征向量。

48、本技术还提供一种电子设备,括存储器和处理器,所述存储器中存储有计算机程序,所述处理器执行所述计算机程序时,控制如上述的方法的执行。

49、本技术还提供一种计算机可读存储介质,上存储有计算机程序,当所述计算机程序在计算机中执行时,令计算机控制上述的方法的执行。

50、本技术的有益效果是:

51、本技术提供一种多模态数据融合与补全方法,包括:获取激光点云的特征向量和视觉图像的特征向量;基于所述激光点云的特征向量包含的坐标信息与所述视觉图像的空间对应关系,对所述激光点云的特征向量和所述视觉图像的特征向量进行空间对齐,生成空间对齐后的点云特征向量和图像特征向量;将所述空间对齐后的点云特征向量和所述空间对齐后的图像特征向量进行拼接,生成初始融合特征向量;对所述初始融合特征向量进行通道注意力加权,生成通道加权后的融合特征向量;对所述通道加权后的融合特征向量进行空间注意力加权,生成空间加权特征;基于所述空间加权特征,在所述激光点云中检测稀疏区域;基于所述视觉图像的特征向量,对检测出的所述稀疏区域进行纹理补全,生成补全后的多模态融合特征向量。本技术通过获取激光点云与视觉图像的特征向量,进行空间对齐、通道与空间注意力加权融合,并在激光点云中检测稀疏区域后利用视觉图像特征进行纹理补全,实现了高质量、高完整性的多模态融合特征向量的生成。通过注意力机制强化了关键特征,并针对性地利用图像纹理信息补全了点云稀疏区域,克服了现有技术中多源数据融合深度不足、难以精确反映三维真实状态的缺陷,从而为后续精准建模、超欠挖识别与智能调控提供了全面、可靠的数据基础。