融合街景视觉的城市街区构建方法及相关设备

本发明属于城市规划的，具体而言涉及一种融合街景视觉的城市街区构建方法及相关设备。

背景技术：

1、城市街区作为城市功能与居民活动的核心空间单元，其精确建模对城市规划、交通管理及资源配置至关重要，随着传感与地理信息技术的进步，街景全景图像、兴趣点、语义属性和地理邻近关系等多模态数据日益丰富，为街区感知提供了多维度信息源。

2、然而，现有技术大多聚焦于街区的静态属性刻画，如基于单一模态（视觉或语义）进行功能分类或空间形态提取，缺乏对多模态数据的深度融合，忽略了不同数据源在时间维度上的协同演化关系；部分研究虽采用时间序列分析，但存在以下不足：

3、多模态时序数据缺乏精确对齐，难以形成统一的演变描述；将固定空间结构与可变功能动态混杂处理，既削弱了表征的稳定性，又掩盖了未来演变趋势；特征融合缺乏独立性约束，造成高维冗余，降低了可解释性与决策支持能力。

4、综上，现有城市街区建模技术在多模态时序数据的协同利用、时空演变的一致表征以及特征融合的独立性与可解释性方面仍存在明显缺陷，亟需提出一种能有效整合时间协同关系并解耦固定与可变特征的方案。

技术实现思路

1、本技术实施例提供一种融合街景视觉的城市街区构建方法及相关设备，能够实现多模态数据的精准时空对齐，有效分离街区静态空间结构和动态功能演变特征。

2、一方面，本技术实施例提供一种融合街景视觉的城市街区构建方法，包括：

3、获取目标街区在连续多个历史时间节点的多模态数据，其中，所述多模态数据包括街景全景图像序列、兴趣点语义属性序列和地理邻近关系数据；

4、对所述多模态数据进行时序对齐处理，得到对齐后多源时空数据；

5、在所述对齐后多源时空数据中提取所述目标街区的静态属性信息，其中，所述静态属性信息用于表征所述目标街区在空间结构上不随时序变化的固有属性；

6、基于所述静态属性信息和所述对齐后多源时空数据的兴趣点属性数据在时间轴上的变化规律，生成所述目标街区的动态演变趋势信息，其中，所述动态演变趋势信息用于表征所述目标街区在未来发生属性跃迁的潜在倾向；

7、将所述静态属性信息、所述对齐后多源时空数据的当前时刻兴趣点属性数据和地理空间关联数据进行特征归并，得到所述目标街区的融合特征信息；

8、基于预设属性独立性约束将所述融合特征信息分解为第一类属性信息，其中，所述第一类属性信息至少包括空间形态维度、功能构成维度和空间区位维度；

9、将所述动态演变趋势信息作为第二类属性信息，并将所述第二类属性信息和所述第一类属性信息进行整合，得到所述目标街区的动态基础表征信息。

10、进一步的，所述对所述多模态数据进行时序对齐处理，包括：

11、将所述街景全景图像序列、兴趣点语义属性序列和地理邻近关系数据分别映射至统一时空坐标系，得到初始时空对齐数据；

12、以预设时间窗口为步长对所述初始时空对齐数据进行滑动窗口采样，提取每个时间窗口内的图像纹理特征张量、语义标签频次向量和空间邻接矩阵；

13、计算相邻时间窗口的所述图像纹理特征张量的结构相似度指数，并基于所述结构相似度指数沿时间轴的波动幅度确定场景突变帧；

14、基于所述场景突变帧的时间戳构建基准时间轴；

15、将所述语义标签频次向量通过最近邻匹配投影至所述基准时间轴，得到与所述街景全景图像序列帧级对应的修正后兴趣点时序数据；

16、将所述空间邻接矩阵按照所述基准时间轴的时间间隔进行线性插值，得到与所述修正后兴趣点时序数据同步的空间邻接矩阵，以形成所述对齐后多源时空数据。

17、进一步的，所述基于所述静态属性信息和所述对齐后多源时空数据的兴趣点属性数据在时间轴上的变化规律，生成所述目标街区的动态演变趋势信息，包括：

18、将所述对齐后多源时空数据中的兴趣点语义属性序列按时间轴展开，得到兴趣点类别占比的时序演化曲线；

19、将所述静态属性信息作为空间约束掩膜对所述时序演化曲线进行空间加权处理，得到去噪后演变曲线；

20、在所述去噪后演变曲线上提取属性驻留时段和属性跃迁临界点，并计算所述属性驻留时段内的类别熵值稳定性指数和所述属性跃迁临界点在预设范围的梯度变化幅度；

21、基于所述类别熵值稳定性指数和所述梯度变化幅度构建马尔可夫状态转移概率矩阵；

22、将所述马尔可夫状态转移概率矩阵中大于预设跃迁阈值的概率对应的状态指向作为所述动态演变趋势信息，其中，所述动态演变趋势信息包括潜在跃迁方向概率向量和对应的预期跃迁时间窗口。

23、进一步的，所述将所述静态属性信息、所述对齐后多源时空数据的当前时刻兴趣点属性数据和地理空间关联数据进行特征归并，包括：

24、以所述静态属性信息中的道路拓扑骨架数据作为空间引导图构建图注意力网络，其中，将所述当前时刻兴趣点属性数据作为节点特征，将所述地理空间关联数据作为边权重，进行图卷积操作，得到空间约束下兴趣点分布特征；

25、将所述静态属性信息中的街景立面轮廓基线作为生成对抗网络的判别器约束条件，对所述空间约束下兴趣点分布特征进行模态一致性校验，剔除不符合所述街景立面轮廓基线几何约束的异常兴趣点特征分量；

26、将校验通过后的所述兴趣点分布特征和所述街景全景图像序列的当前帧视觉特征进行跨模态注意力融合，得到所述融合特征信息，其中，所述融合特征信息中每个特征维度均携带与所述静态属性信息的空间关联权重。

27、进一步的，所述基于预设属性独立性约束将所述融合特征信息分解为第一类属性信息，包括：

28、获取所述融合特征信息中与所述静态属性信息关联的空间关联权重，将所述空间关联权重作为正交投影的初始基向量；

29、基于所述预设属性独立性约束在希尔伯特空间中构建正交分解目标函数，其中，所述正交分解目标函数用于最小化所述空间形态维度、功能构成维度和空间区位维度之间的互信息量；

30、将所述融合特征信息代入所述正交分解目标函数进行迭代投影，并在每次迭代中，以所述空间关联权重作为正则项约束投影方向，直至各维度之间的互信息量低于预设独立性阈值时停止迭代；

31、将停止迭代时投影得到的三个正交分量分别作为所述空间形态维度、功能构成维度和空间区位维度。

32、进一步的，所述将所述第二类属性信息和所述第一类属性信息进行整合，包括：

33、将所述第二类属性信息中的潜在跃迁方向概率向量作为时间驱动因子，将所述第一类属性信息中的空间区位维度作为空间承载基底；

34、基于条件变分自编码器的条件编码层，以所述空间承载基底为条件变量，对所述潜在跃迁方向概率向量和所述预期跃迁时间窗口进行联合概率编码，生成时空耦合隐向量；

35、将所述时空耦合隐向量、所述空间形态维度和功能构成维度进行特征拼接，得到拼接特征；

36、通过解码器将所述拼接特征转化为所述动态基础表征信息，其中，所述动态基础表征信息为四维张量结构，第一维和第二维分别对应目标街区空间网格的横向坐标和纵向坐标，第三维对应预测时间窗口，第四维对应各空间网格在相应预测时间窗口内的属性跃迁概率分布。

37、进一步的，所述提取所述目标街区的静态属性信息，包括：

38、对所述对齐后多源时空数据中的图像纹理特征张量沿时间轴进行主成分分析，得到每个主成分对应的特征值和特征向量；

39、将各历史时间节点的图像纹理特征向量投影至各主成分对应的特征向量，得到各主成分投影值序列；计算各主成分投影值序列沿时间轴的时间方差或低频能量占比，并将时间方差低于预设稳定性阈值，或者低频能量占比高于预设比例的主成分确定为时序稳定主成分，将所述时序稳定主成分对应的特征向量重构为静态纹理基底；

40、基于所述静态纹理基底进行边缘检测和直线拟合，提取所述街景立面轮廓基线；

41、基于所述静态纹理基底进行语义分割和道路中心线细化，提取所述道路拓扑骨架数据；

42、其中，所述道路拓扑骨架数据用于为将所述静态属性信息、所述对齐后多源时空数据的当前时刻兴趣点属性数据和地理空间关联数据进行特征归并步骤中提供空间位置锚点。

43、另一方面，本技术实施例提供了一种融合街景视觉的城市街区构建装置，装置包括：

44、获取模块，用于获取目标街区在连续多个历史时间节点的多模态数据，其中，所述多模态数据包括街景全景图像序列、兴趣点语义属性序列和地理邻近关系数据；

45、对齐模块，用于对所述多模态数据进行时序对齐处理，得到对齐后多源时空数据；

46、提取模块，用于在所述对齐后多源时空数据中提取所述目标街区的静态属性信息，其中，所述静态属性信息用于表征所述目标街区在空间结构上不随时序变化的固有属性；

47、生成模块，用于基于所述静态属性信息和所述对齐后多源时空数据的兴趣点属性数据在时间轴上的变化规律，生成所述目标街区的动态演变趋势信息，其中，所述动态演变趋势信息用于表征所述目标街区在未来发生属性跃迁的潜在倾向；

48、归并模块，用于将所述静态属性信息、所述对齐后多源时空数据的当前时刻兴趣点属性数据和地理空间关联数据进行特征归并，得到所述目标街区的融合特征信息；

49、分解模块，用于基于预设属性独立性约束将所述融合特征信息分解为第一类属性信息，其中，所述第一类属性信息至少包括空间形态维度、功能构成维度和空间区位维度；

50、整合模块，用于将所述动态演变趋势信息作为第二类属性信息，并将所述第二类属性信息和所述第一类属性信息进行整合，得到所述目标街区的动态基础表征信息。

51、再一方面，本技术实施例提供了一种电子设备，所述设备包括：处理器以及存储有计算机程序指令的存储器；

52、所述处理器执行所述计算机程序指令时实现如第一方面任意一项所述的融合街景视觉的城市街区构建方法。

53、再一方面，本技术实施例提供了一种计算机存储介质，所述计算机可读存储介质上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现如第一方面任意一项所述的融合街景视觉的城市街区构建方法。

54、与现有技术相比，本技术实施例的一种融合街景视觉的城市街区构建方法及相关设备，能够通过对连续多个历史时间节点的街景全景图像序列、兴趣点语义属性序列和地理邻近关系数据进行时序对齐处理，形成统一时间参考下的对齐后多源时空数据，从根本上解决多模态数据间因采样频率和相位差异导致的时间错位问题，通过提取不随时序变化的静态属性信息，将固定空间结构与动态功能特性解耦，避免了二者混杂处理所带来的表征稳定性削弱问题，以该静态属性为空间约束，结合兴趣点属性在时间轴上的变化规律生成动态演变趋势信息，使建模结果具备对未来属性跃迁倾向的预测能力，克服了传统手段掩盖演变趋势的缺陷；将静态属性、当前时刻兴趣点属性和地理空间关联数据进行特征归并，并基于预设属性独立性约束将融合特征分解为空间形态、功能构成和空间区位等相互正交的第一类属性，压缩了高维冗余、提升了特征的可解释性；将动态演变趋势作为第二类属性与第一类属性整合为动态基础表征信息，使得街区模型既稳定刻画空间结构，又能前瞻性反映功能变迁，从而解决了现有技术在多模态时序协同利用、时空一致表征及特征融合独立性方面的不足。