一种基于多模态数据融合的无线信道场景识别方法

本发明涉及无线通信、环境智能感知与深度学习技术交叉领域，尤其涉及一种融合了无线信道物理统计特征与场景几何视觉结构的多模态数据融合信道场景识别方法。

背景技术：

1、随着下一代移动通信系统的演进，系统对物理环境的智能感知提出了更高要求。无线信道场景识别作为感知核心技术，为波束赋形调配与无线资源管理等提供关键决策支撑。

2、然而，传统的单一模态场景识别方法在复杂城市场景下存在明显的物理感知局限性：

3、（1）纯通信信号模态面临“同质异境”问题：尽管信道状态信息及多径参数能反映电磁波传播过程，但缺乏宏观语义理解。受多径随机性影响，结构截然不同的场景往往会表现出相似的低维信道统计参数，导致难以精准区分。

4、（2）纯视觉感知模态面临“视觉盲区”与“环境干扰”：二维卫星或车载图像虽具备丰富的宏观语义，但缺乏对三维深度及材质电磁损耗的刻画。此外，光学直线传播极易被遮挡形成盲区，且极易受光照、动态阴影等视觉噪声干扰。

5、将信道参数序列与场景图像进行多模态融合是解决上述问题的有效途径。但是，这两类数据在特征维度（低维密集序列vs高维稀疏矩阵）与物理机理上存在显著的异构性。现有的多模态融合技术往往采用直接拼接或简单合并，这会导致特征无法有效对齐、网络难以收敛，甚至产生模态特征相互干扰与语义冲突。

6、因此，亟需一种能够有效对齐高异质信道特征与图像特征的方法，在防止单模态噪声干扰的同时，深入挖掘跨模态隐含关联，从而在复杂城市场景下实现高精度、高鲁棒性的无线信道场景自适应识别。这是当前多模态通信智能感知领域亟待解决的关键问题。

技术实现思路

1、本发明的目的针对现有城市场景信道自动识别技术在仅依赖单一无线信号特征或单一视觉图像特征时存在的物理感知瓶颈，特别是难以应对“同质异境多径混淆”、“电磁波非视距遮挡”、“建筑物材质反射盲区”以及“环境视觉光影噪声干扰”等导致识别精度偏低和鲁棒性不足的问题，本发明的目的在于提出一种基于多模态数据融合的无线信道场景识别方法。本发明通过设计异构特征分支分别在独立子空间降维对齐，并利用级联拼接以及配备阶梯式的深度融合网络进行跨域语义深度重组，最终在保持高计算效率和防过拟合约束下，有效提升复杂城市场景下无线信道场景识别的准确度与环境噪声耐受性。

2、本发明的技术方案是，一种基于多模态数据融合的无线信道场景识别方法，包括以下步骤：

3、步骤1）：获取待识别无线通信环境下的多维无线信道特征，以及与所述多维无线信道特征位置同步的环境图像特征，采用动态配对策略生成基础多模态正样本对；

4、步骤2）：对步骤 1）对齐后的正样本对中不同模态的异质特征进行并行提纯，并分别投射映射至特定的特征子空间中，得到降维对齐后的信道模态语义向量和图像模态语义向量；

5、步骤3）：对对齐后的信道模态语义向量与图像模态语义向量进行跨模态融合，提取出深层融合特征；具体包括，首先将步骤2中在各自独立子空间中映射提纯后的信道模态语义向量与图像模态语义向量沿特征通道维度进行串联拼接，得到统合双重信息域的基础联合特征向量；接着，将所述基础联合特征向量送入阶梯式递减的深度融合多层感知机中进行多次非线性重组、去冗余与降维提纯，最终在输出端提取得到兼具多径物理机理与图像空间几何信息的深层融合特征向量；

6、步骤4）：将所述深层融合特征向量输入分类层中，输出当前样本在各场景类别上的预测概率，并基于误差损失优化更新模型；具体包括：首先将步骤3）输出的多模态深层融合特征向量输入至包含4个神经元节点的输出分类层中，通过归一化指数激活函数映射得到当前多模态样本属于各典型城市场景的分类预测概率分布；接着，在训练阶段计算带有正则化约束的多分类交叉熵损失函数值，利用反向传播算法与自适应梯度更新算法调整网络各层参数，直至模型收敛，并基于最大预测概率输出最终的高精度场景分类识别结果。

7、步骤1）：执行多模态数据预处理与样本对齐，获取待识别无线通信环境下的多维无线信道特征，以及与所述多维无线信道特征位置同步的环境图像特征，采用动态配对策略在输入端构建多模态正样本对。

8、具体地，在本实施例中，输入的多模态数据包括无线信道状态信息和同步路线的环境卫星图像。在对齐前，对两种模态的原始数据进行系统性预处理：

9、a. 通信模态数据提取与参数序列化：在信道测量活动中，先选好系统中心频率，采用长度为4096的zadoff-chu序列作为探测波形，在接收端通过运算估计出瞬时信道冲激响应（channel impulse response，cir）。系统测量带宽设为5mhz，采用2倍过采样，使得实际采样频率达到10mhz，时延分辨率为100ns。从估计出的cir中提取四个反映多径时空色散与衰落规律的多维统计特征参数：平均功率延迟分布（average power delay profile，apdp）、均方根时延扩展、阴影衰落标准差以及反映电波多径信号对比度的信道动态范围（在后续特征输入中记为）。为了降低后续一维卷积网络的计算资源消耗，对apdp序列在时延轴上执行截断采样，将有效时延限定在理论最大多径时延上限内，表示最大有效时延门限，舍弃超过门限且主要由噪声构成的（power delay profile，pdp）样点，最终将四个参数序列化重组，组合成一维通信特征指纹向量。

10、b. 视觉模态样本图块化生成：获取与信道测量位置同步的环境高分辨率源卫星图像。采用图块化采样策略，将环境高分辨率源图像均匀划分为的网格，为图像在单边方向上的网格划分段数（本发明中m取值为20），从而在一张宏观图像中系统性分割出400个尺寸统一、包含微观局部结构特征的局部小图块。随后，通过双线性插值算法将各图块缩放至像素，并基于albumentations库在线进行包含自适应对比度直方图均衡化（contrast limited adaptive histogram equalization，clahe）、hsv色彩空间抖动、随机旋转和翻转的多样化数据增强，最终表征为归一化的三通道高纬度环境图像特征。

11、c. 跨模态动态正样本对齐配对：为了保证信道特征分支与视觉特征分支在输入端的对应性，采用动态配对策略，将在相同测量路段采集且已知标签场景类别为（例如，城市郊区、高层建筑群、低层建筑群、城市峡谷）的多维信道特征集与同属于场景类别的环境图像特征集进行关联打包（随机或顺序组合），构造生成跨模态语义对齐的基础正样本对，其中，表示无线信道场景类别，对应预设的典型城市场景类型。

12、步骤2）：构建异构特征并行变换与映射模块，对对齐后的正样本对中不同模态的异质特征进行并行提纯，并分别投射映射至特定的特征子空间中，得到降维对齐后的信道模态语义向量和图像模态语义向量。

13、具体地，为了消除通信数据与图像数据极度非对称性带来的特征尺度冲突，本发明构建了并行的单模态特征投影空间映射：

14、a. 信道特征映射分支（1d-cnn+mlp双路径）：将正样本对中的多维信道特征集拆分为一维功率延迟分布序列特征，以及由均方根时延扩展、阴影衰落准差和信道动态范围组成的三类信道统计特征。

15、一维卷积路径：使用包含三个级联的一维卷积层的1d-cnn，沿时延域扫描提取apdp序列的多径时空色散局部特征，输出一维时序特征向量；

16、mlp路径：将均方根时延扩展、阴影衰落标准差和信道动态范围在通道维度上进行拼接，将拼接后的特征向量输入至一层多层感知机中，提取跨越不同电波传播维度的信道统计关联特征，其计算过程如式（1）所示：

17、                   (1)

18、式中，表示通道维度的串联拼接操作，表示全连接映射权重矩阵，表示偏置项，表示非线性激活函数。

19、最后，将一维时序特征向量与信道统计关联特征向量沿特征维度对齐，沿通道维度拼接。并将拼接后的联合特征序列输入到全局平均池化层中以压紧时间轴维度，再由全连接映射层统一投影降维，得到最终的联合信道模态语义向量，其计算过程如式（2）所示：

20、                   (2)

21、式中，表示被约束在64维信道特征子空间内的低维语义特征，和分别表示映射全连接层的权重矩阵与偏置项。

22、b. 环境图像特征映射分支（2d-cnn路径）：将环境图像块集输入至二维卷积神经网络，提取二维空间内的建筑轮廓、路面及绿化分布等纹理结构特征。所得特征图输入至全局平均池化层，以消除空间分辨率冗余并提取均值得到二维池化特征，并由全连接映射层投射至预设的128维低维图像特征子空间中，输出环境图像模态语义向量，其计算过程如式（3）所示：

23、                         (3)

24、式中，表示降维后的视觉特征表达，表示该映射全连接层的权重矩阵，表示偏置向量。

25、c. 上述映射计算中的非线性激活函数统一采用整流线性单元（relu），其计算过程如式（4）所示：

26、                             (4)

27、步骤3）：构建跨模态特征级联拼接与阶梯式联合特征融合模块，将所述信道模态语义向量与图像模态语义向量通过特征拼接操作在通道维度上进行串联，构造联合多模态特征向量并输入至阶梯式递减的深度融合多层感知机中进行多次非线性重组、去冗余与特征提纯，提取出深层融合特征向量。

28、具体地，为了实现对异质多模态特征的深层跨域语义重组，其详细特征流动与提纯机制如下：

29、a. 异构跨模态特征通道拼接：在特征提取完成后，将64维的信道特征语义向量与128维的环境图像语义向量直接级联，构造出192维度的联合多模态特征向量，其物理级联拼接的计算过程如式（5）所示：

30、                           (5)

31、式中，表示在两个语义向量的通道维度执行物理拼接，所得在统一的表达维度下锚定了对应的微观信道多径规律与宏观场景图像。

32、b. 阶梯式递减跨模态网络拓扑构建：为了充分融合异构特征并逐步去除跨域冗余，构建包含三个递减隐藏层、、构成的跨模态感知机网络。所述隐藏层的节点数沿数据流动方向依次呈阶梯状递减，以实现在隐藏层深层空间中特征的自适应融合、降维与高度浓缩，促使网络重点关注互补性的多模态共性场景表征。

33、c. 层级非线性递归映射变换：将所述联合多模态特征向量输入至上述多层级前馈感知机中，第个隐藏层（其中）在前向计算中的层级递推计算过程如式（6）所示：

34、                        (6)

35、式中，当时，其输入层输入定义为；表示第个隐藏层的连接权重矩阵，表示第个隐藏层的特征偏置项；采用式（4）中定义的relu激活函数；表示随机神经元自适应失活算子。

36、d. 自适应阶梯dropout提纯机制：为了防止异构融合网络在非平衡特征联合学习过程中过拟合于视觉局部背景噪声或瞬态信道衰落带来的扰动，所述随机神经元自适应失活算子采用阶梯式自适应机制，即对所述第1个隐藏层、第2个隐藏层以及第3个隐藏层的失活算子分别配置0.5、0.4和0.3的递减神经元失活概率。通过此阶梯递减失活策略阻断单一强势模态的异常梯度传播，在每次训练迭代中随机失活对应比例的隐藏层神经元节点，强制网络寻找信道指纹与视觉纹理之间的共性多维隐含映射关系，并在配合l2正则化约束下，最终在第3个隐藏层的输出端提取并输出32维的深层融合特征向量。

37、步骤4）：构建场景分类预测与网络模型自适应优化模块，将所述深层融合特征向量输入至输出分类层中，映射得到当前多模态样本属于各典型城市场景的分类预测概率分布，并在训练阶段利用自适应学习率衰减控制机制优化网络模型。

38、具体地，场景类别的最终解算以及模型高精度收敛的过程如下：

39、a.场景分类概率softmax归一化映射计算：将32维特征向量输入分类层，通过softmax归一化指数函数，映射计算当前输入样本属于各具体场景类别的实值预测概率分布，其具体的计算过程如式（7）所示：

40、                         (7)

41、式中，分别对应四类预设典型城市场景，预测概率满足，且所有类别的概率和满足；表示输出分类层中第个场景节点对应的权重向量，表示对应场景节点的偏置项。

42、b.正则化损失函数误差计算：在模型训练迭代中，为了抑制模型突触权重的无限制爆涨并约束模型复杂度，本发明在交叉熵误差计算中引入模型权重的l2范数作为惩罚项，其正则化误差损失l的计算过程如式（8）所示：

43、                      (8)

44、式中，表示当前训练批次中的样本总数；表示第个样本第个类别的真实独热编码标签；表示网络模型对第个样本属于第个场景类别的预测概率值；表示正则化系数，用来防止特征过度拟合；表示整个融合网络模型中第层的权重矩阵。

45、c. 梯度反向更新与模型参数自适应优化：根据计算得到的损失值，利用反向传播算法计算损失函数对融合模型内所有权重和特征偏置的偏导数梯度，并采用adam算法，以初始学习率对网络模型参数进行动态的、自适应的梯度更新。

46、d. 自适应学习率动态衰减机制：为了使模型在训练后期能够平稳、精确地收敛到全局最优点，配置基于验证集分类损失的自适应自动学习率衰减约束。在每次epoch训练完成后检测验证集分类损失，当分类损失在连续5个epoch内未得到有效下降时，则触发梯度步长自适应微调机制，自动将当前学习率乘以衰减因子0.5减半，以此降低梯度搜索步长，形成最终最优的无线信道场景识别模型。

47、最终，本发明输出待检测区域内无线信道场景的精确识别信息，所述精确识别信息包含所识别出的无线信道场景具体类别以及其对应的场景分类置信度得分。至此，整个基于多模态数据融合的无线信道场景识别流程完成。

48、本发明还提供了一种基于多模态数据融合的无线信道场景识别系统，包括：

49、数据获取及预处理模块，用于获取待识别无线通信环境下的多维无线信道特征，以及与所述多维无线信道特征位置同步的环境图像特征，采用动态配对策略生成基础多模态正样本对；

50、异构特征并行变换与映射模块，用于对对齐后的正样本对中不同模态的异质特征进行并行提纯，并分别投射映射至特定的特征子空间中，得到降维对齐后的信道模态语义向量和图像模态语义向量；

51、跨模态特征级联拼接与阶梯式联合特征融合模块，用于对对齐后的信道模态语义向量与图像模态语义向量进行跨模态融合，提取出深层融合特征；具体包括，首先将步骤2中在各自独立子空间中映射提纯后的信道模态语义向量与图像模态语义向量沿特征通道维度进行串联拼接，得到统合双重信息域的基础联合特征向量；接着，将所述基础联合特征向量送入阶梯式递减的深度融合多层感知机中进行多次非线性重组、去冗余与降维提纯，最终在输出端提取得到兼具多径物理机理与图像空间几何信息的深层融合特征向量；

52、场景分类预测与网络模型自适应优化模块，用于将所述深层融合特征向量输入分类层中，输出当前样本在各场景类别上的预测概率，并基于误差损失优化更新模型；具体包括：首先将步骤3）输出的多模态深层融合特征向量输入至包含4个神经元节点的输出分类层中，通过归一化指数激活函数映射得到当前多模态样本属于各典型城市场景的分类预测概率分布；接着，在训练阶段计算带有正则化约束的多分类交叉熵损失函数值，利用反向传播算法与自适应梯度更新算法调整网络各层参数，直至模型收敛，并基于最大预测概率输出最终的高精度场景分类识别结果。

53、本发明的有益效果：

54、1. 实现跨域信息互补，打破单模态感知瓶颈本发明结合信道多径物理参数与二维视觉图像特征，弥补了单一通信特征因多径起伏导致的“同质异境场景混淆”缺陷，同时填补了单一图像特征因直线传播遮挡、光影干扰产生的感知盲区，增强了模型对复杂城市场景的微观物理与宏观语义解析能力。

55、2.并行变换投影，兼顾计算效率与特征表征针对通信数据（低维参数）与图像数据（高维矩阵）的高度非对称性，通过并行的一维与二维卷积投影，将特征对齐映射至固定的低维子空间中，在保留模态关键特征的同时实现了异构数据的高效低维尺度对齐。

56、3.阶梯深度融合与多重正则约束，全面抑制多源噪声与过拟合通过隐藏层节点数递减设计、自适应递减的dropout概率和l2正则约束，避免了融合网络过度拟合单一强势模态，能够有效挖掘跨模态内在关联并阻断局域异常梯度传播，提升了模型对多源环境噪声的泛化鲁棒性。

57、4. 显著提升分类精度，压缩高混淆场景的误判率本发明通过跨模态语义深度重组，突破了单模态表达上限。实验数据表明，本方法整体预测准确率可达到93.7%~96.1%以上，将结构相近等高混淆场景间的误判率从传统的30%以上压缩至5%以下，具备更优的多场景鲁棒分类能力。