基于视觉语言大模型和毫米波/太赫兹信道观测的多层次环境感知方法

本发明属于通信，尤其涉及一种基于视觉语言大模型和毫米波/太赫兹信道观测的多层次环境感知方法。

背景技术：

1、毫米波/太赫兹频段下的通信感知一体化技术是未来第六代移动通信系统中的重要发展方向。在通信感知一体化系统中，射频感知旨在利用无线信号传播过程中形成的射频观测信息，获取与传播环境相关的环境信息。由于毫米波/太赫兹信号在传播过程中会受到环境结构、障碍物分布以及传播路径变化等因素影响，因此，射频观测数据中通常隐含有与实际通信环境相关的信息。如何从射频观测数据中获取有效的环境信息，是毫米波/太赫兹通信感知一体化系统中的重要问题。

2、现有射频感知方法已经能够在一定程度上利用信道状态信息、信道增益或其他射频观测数据进行环境感知。例如，部分方法侧重于估计障碍物属性，部分方法侧重于重构物理环境，另有部分方法通过生成式基础模型处理预定义的感知任务。这些方法在特定任务中具有一定效果，但通常依赖任务特定的模型结构、输出形式或训练方式，所得到的环境信息也往往只覆盖部分环境属性。当感知需求发生变化，或者需要处理未在训练阶段明确设定的新感知任务时，现有方法往往需要重新设计任务形式、调整模型结构或重新进行模型训练，难以形成统一的射频环境感知范式。

3、随着未来通信应用对环境理解能力要求的提高，射频感知系统不仅需要获取局部或单一的环境信息，还需要能够描述更全面的环境语义。不同感知任务可能对应不同层级的环境语义，也可能需要多个语义层级的组合结果。例如，有的任务关注整体布局层面的环境信息，有的任务关注障碍物层面的环境信息，有的任务关注由环境引起的通信相关信息。因此，射频环境感知方法需要具备在统一模型框架下处理不同感知需求的能力，而不是仅针对单一任务输出固定形式的结果。

4、近年来，视觉语言模型在多模态表示学习和文本生成方面表现出较强能力。视觉语言模型能够同时处理视觉输入和文本提示，并根据文本提示生成相应的语义描述。受此启发，可以将射频感知问题转化为一种环境语义描述生成问题，即利用文本提示指定感知需求，并从毫米波/太赫兹信道增益等射频观测数据中生成对应的环境语义文本。通过这种方式，不同射频感知任务可以由不同文本提示进行指定，从而为多种感知任务的统一处理提供可能。

5、然而，直接将预训练视觉语言模型应用于射频环境感知仍然存在困难。预训练视觉语言模型通常基于自然图像和自然语言数据学习得到，其视觉和文本先验主要来源于自然视觉场景，而毫米波/太赫兹信道增益所反映的是无线传播过程中的射频特征。射频观测与自然图像之间存在明显差异，直接输入预训练视觉语言模型可能难以使模型准确理解信道增益中包含的环境语义信息。

6、2024年02月02日公开了一件公开号为cn117498953a、名称为“一种基于混合式主被动感知的太赫兹频谱环境地图构建方法”的发明专利。该专利利用太赫兹通信节点信息获取粗粒度障碍物信息和细粒度障碍物信息，主要面向障碍物环境地图构建和障碍物属性感知任务，未针对不同环境感知需求建立统一的任务描述，其输出内容主要集中于障碍物相关信息，难以同时覆盖空间布局层、目标属性层和通信相关层等不同层次的环境语义，也无法根据文本提示生成面向不同感知任务的环境感知结果。

7、2024年06月28日公开了一件公开号为cn118264976a、名称为“一种定向太赫兹频谱环境地图辅助的联邦障碍物感知方法及设备”的发明专利。该专利通过联邦学习构建信号功率估计网络，生成不同波束方向的频谱环境地图，并利用图像分割和多波束无覆盖区域交集获取障碍物位置与形状，主要针对障碍物检测和属性识别任务。该方法的任务目标和输出形式相对固定，难以在统一模型框架下同时处理空间布局、目标属性和通信相关等多种语义层次，尤其不能进一步完成可行波束方向、通信场景类别等通信相关感知任务；同时，其感知流程依赖预设的频谱地图、图像分割和交集运算，缺乏根据文本提示灵活指定环境感知需求并生成对应环境语义文本描述的能力。

8、基于上述问题，需要一种新的基于射频的环境感知方法，能够充分利用毫米波/太赫兹通信过程中的信道增益观测数据，在不依赖额外复杂感知设备的情况下，从射频域数据中提取实地通信场景的多层次环境语义信息。同时，该方法还应能够通过文本提示统一指定不同环境感知任务，并通过适配机制降低射频信道数据与自然图像语言先验之间的差异，从而实现空间布局层、目标属性层和通信相关层环境语义的统一生成，为后续信道建模、波束管理、网络优化和无线数字孪生构建提供更加全面的环境信息支撑。

技术实现思路

1、本技术所要解决的技术问题是，现有面向毫米波/太赫兹通信场景的射频环境感知方法通常为任务特定设计，难以在统一模型框架下处理不同层级及不同组合的环境感知任务。由于信道增益观测通常具有稀疏性和有限性，且障碍物数量、位置、形状、尺寸、材质及遮挡程度等环境属性具有较高维度，仅依靠有限的射频观测信息可能对应多个候选环境解释，从而形成较大的环境语义生成可行解空间，增加环境语义推断的歧义性并降低感知结果的确定性。

2、同时，预训练视觉语言大模型主要基于自然图像和自然语言数据训练得到，缺乏对无线传播、遮挡、反射、散射及波束可达性等射频传播知识的先验表示。若仅在推理阶段直接组合不同适配参数，不能保证路由模块和不同语义层级专家能够学习稳定且相互区分的射频环境感知能力。因此，有必要构建一种能够利用多层次语义训练样本，并联合训练路由模块与多个语义层级低秩适配专家的基于射频的环境感知方法。

3、为此，本技术提供一种覆盖训练阶段和推理阶段的基于射频的多层次环境感知方法，通过构建多层次语义训练样本并联合训练路由模块和多个低秩适配专家，使模型在推理阶段能够根据文本提示信息动态调用不同语义层级的射频感知知识。

4、本发明为解决上述技术问题所采用的技术手段是，一种基于视觉语言大模型的和毫米波/太赫兹信道观测的多层次环境感知方法，包括以下步骤：

5、样本构建步骤：获取多个训练场景中关于不同波束方向不同位置的毫米波/太赫兹信道增益观测数据，结合训练场景的真实环境语义信息构建文本域和射频域提示信息、以及环境语义描述，形成训练样本集合；

6、网络架构构建步骤：基于预训练视觉语言大模型构建包括路由模块和多个语义层级低秩适配专家在内的基于射频的环境感知框架，并建立所述路由模块、多个低秩适配专家与预训练视觉语言大模型之间的参数适配关系；

7、联合训练步骤：利用训练样本集合对基于射频的环境感知框架进行训练，获得训练好的路由模块和多个低秩适配专家；

8、环境感知生成步骤：获取待感知场景的信道增益观测数据与环境感知需求，将其输入至所述基于射频的环境感知框架，推理得到该场景的多层级环境感知结果。

9、进一步地，样本构建步骤包括以下步骤：

10、步骤s111：选取具有不同空间结构、障碍物数量、障碍物属性和通信传播特征的多个训练场景，并在各训练场景中获取关于不同波束方向不同位置的毫米波/太赫兹信道增益观测数据；

11、步骤s112：根据各训练场景的信道增益观测数据按照通信节点所在空间位置和候选发射波束方向进行排列，得到稀疏信道增益张量，将所述稀疏信道增益张量输入信道增益重构模块，得到信道增益张量；对信道增益张量进行视觉化处理得到训练信道地图；

12、步骤s113：根据各训练场景的真实环境信息，获取空间布局层环境语义、目标属性层环境语义和通信相关层环境语义；

13、步骤s114：根据不同环境感知需求，构建文本提示信息和对应的真实环境语义文本描述；

14、步骤s115：将训练信道地图、文本提示信息和真实环境语义文本描述进行组合，形成用于模型训练的训练样本集合。

15、进一步地，所述网络架构构建步骤中构建基于射频的环境感知框架的具体步骤为：

16、选取包括视觉编码模块、文本编码模块和文本生成模块的预训练视觉语言大模型作为基础模型；其中，所述视觉编码模块用于提取信道地图中的空间分布特征，所述文本编码模块用于提取文本提示信息中的任务需求特征，所述文本生成模块用于生成环境语义文本描述；

17、针对不同语义层级分别构建空间布局层低秩适配专家、目标属性层低秩适配专家和通信相关层低秩适配专家，分别承担整体空间结构、障碍物属性和通信相关语义的参数适配功能；

18、为各低秩适配专家分别设置低秩矩阵组，其中空间布局层低秩适配专家对应的低秩矩阵组，称为空间布局层低秩输入映射矩阵，称为空间布局层低秩输出映射矩阵，空间布局层对应的参数更新矩阵；目标属性层低秩适配专家对应的低秩矩阵组表示为，称为目标属性层低秩输入映射矩阵，称为目标属性层低秩输入映射矩阵，空间布局层对应的参数更新矩阵；通信相关层低秩适配专家对应的低秩矩阵组表示为，称为通信相关层低秩输入映射矩阵，称为通信相关层低秩输出映射矩阵，空间布局层对应的参数更新矩阵；

19、设置由多层感知机构成的路由模块，路由模块生成的权重向量将在训练阶段和推理阶段被用于多个低秩适配专家的动态组合。

20、进一步地，所述网络架构构建步骤中，所述路由模块、多个低秩适配专家与预训练视觉语言大模型之间的参数适配关系包括：

21、将文本提示信息输入预训练词嵌入模块或所述文本编码模块，得到包含任务需求、语义层级和生成目标的提示嵌入向量；

22、将所述提示嵌入向量输入路由模块，由所述路由模块生成包括多个低秩适配专家权重的训练路由权重向量，其中为路由模块参数；

23、基于所述训练路由权重向量，对专家参数更新集合 进行加权组合，得到综合低秩参数更新量：，其中，表示转置；

24、将所述综合低秩参数更新量叠加至预训练视觉语言大模型的原始参数，形成对应当前训练样本的适配视觉语言大模型参数，其中为低秩适配缩放因子，为各低秩适配专家采用的低秩矩阵组的秩。

25、进一步地，所述联合训练步骤中联合训练路由模块和多个低秩适配专家的具体步骤为：

26、将训练样本集合中的训练信道地图、文本提示信息和真实环境语义文本描述，输入所述基于射频的环境感知框架，由所述适配视觉语言大模型以自回归方式生成预测词元概率矩阵，所述预测词元概率矩阵由各词元位置对应的预测概率分布组成，即，其中，，表示第个词元位置的预测概率分布，表示词元总数，表示在第个词元之前已经生成的词元序列，表示概率生成函数；

27、以所述预测词元概率矩阵与真实词元目标矩阵之间的交叉熵损失作为训练目标，对路由模块参数和多个低秩适配专家的低秩矩阵组进行联合优化，所述训练目标为：

28、

29、其中，为训练样本数量，为预测词元概率矩阵与真实词元目标矩阵之间的交叉熵损失，表示第个训练样本的预测词元概率矩阵，为低秩输出映射矩阵参数集合，为低秩输入映射矩阵参数集合；

30、在联合训练过程中，保持预训练视觉语言大模型的原始参数冻结，仅更新路由模块参数以及低秩输出映射矩阵参数集合和低秩输入映射矩阵参数集合，直至满足预设训练结束条件，得到训练完成的路由模块和多个低秩适配专家。

31、进一步地，所述环境感知生成步骤的具体步骤为：

32、步骤s141：在待感知实地通信场景中，由毫米波/太赫兹基站采用候选发射波束方向集合与若干通信节点进行通信，获取关于不同波束方向不同位置信道增益观测数据；将所述信道增益观测数据按照空间位置和波束方向排列，得到待感知稀疏信道增益张量；

33、步骤s142：利用信道增益重构模块对所述待感知稀疏信道增益张量进行重构，得到信道增益张量，并对所述信道增益张量进行波束方向切片、拼接、归一化和图像化处理，得到待感知信道地图；

34、步骤s143：获取当前环境感知需求，并确定所述当前环境感知需求对应的语义层级，构建推理文本提示信息；

35、步骤s144：将推理文本提示信息转换为推理提示嵌入向量，并输入训练完成的路由模块，得到推理路由权重向量；

36、步骤s145：基于推理路由权重向量对训练完成的多个低秩适配专家的参数更新集合进行加权组合，得到综合低秩参数更新量=；

37、步骤s146：将综合低秩参数更新量作用于预训练视觉语言大模型，形成适配视觉语言大模型，适配视觉语言大模型参数为，并将待感知信道地图和推理文本提示信息输入所述适配视觉语言大模型，得到预测词元概率矩阵；根据预测词元概率矩阵生成环境感知结果；

38、步骤s147：对环境感知结果进行结构化解析，以得到多层次环境感知结果；

39、步骤s148：输出多层次环境感知结果，并将所述多层次环境感知结果用于后续通信决策或环境建模。

40、进一步地，经信道增益重构得到的信道增益张量为，则可计算各栅格位置处的平均信道强度为：

41、

42、其中，表示栅格位置处的平均信道强度，表示候选波束方向的数量，表示第行，第列在第个发射波束方向下的信道增益。

43、进一步地，当视觉语言大模型输出第个波束方向为候选低阻塞波束方向时，可以计算该波束方向下所有有效通信节点的平均信道增益：

44、

45、其中，表示第个候选发射波束方向下各有效通信节点所在栅格位置的平均信道增益，表示参与一致性校验的栅格位置集合，表示该集合中栅格位置的数量。

46、相对于现有技术，本发明具有以下有益技术效果：

47、1.本发明通过信道增益重构、文本提示路由和多语义层级低秩适配专家之间的协同配合，将稀疏射频观测、环境感知需求和语义层级信息统一纳入视觉语言大模型处理流程。其中，信道增益重构用于改善射频视觉输入的信息完整性，文本提示和路由模块用于实现不同感知任务之间的动态适配，多个低秩适配专家用于分别学习不同语义层级对应的射频环境感知知识，从而在统一模型框架下实现从信道增益观测到多层次环境语义生成。

48、2.本发明通过将同一训练信道地图与多个文本提示信息及对应的真实环境语义文本描述进行组合，使模型能够学习不同文本提示所指示的环境感知需求和语义层级，从而在同一视觉语言大模型框架下统一处理空间布局层、目标属性层和通信相关层中的一种或多种射频环境感知任务。

49、3.本发明通过联合优化路由模块和多个低秩适配专家，使路由模块学习不同文本提示信息与语义层级适配专家之间的对应关系，使各低秩适配专家分别学习对应语义层级的射频环境感知知识，从而实现不同环境感知任务之间的动态适配和专家参数组合。

50、4.本发明在推理阶段能够根据当前环境感知需求动态组合多个训练完成的低秩适配专家，生成空间布局层、目标属性层和通信相关层中的一种或多种环境语义，所得多层次环境感知结果能够作为信道建模、波束管理、链路优化、网络部署和无线数字孪生构建等后续任务的环境信息支撑。