一种多模态多用户语义通信方法和系统

本技术的实施例涉及通信，特别涉及一种多模态多用户语义通信方法和系统。

背景技术：

1、随着低轨卫星、低空平台等高移动性场景对海量连接的需求不断增长，结合正交时频空（orthogonal time frequency space, otfs）与交织频分复用（interleavefrequency division multiplexing, ifdm）等新型波形的非正交多址（non-orthogonalmultiple access, noma）方案得到广泛研究，可使多用户在复杂时变多径信道下共享相同频谱资源。然而，多模态数据的爆发式增长给比特级noma方案带来巨大压力，导致带宽消耗过高。语义通信（semantic communication, semcom）作为一种新兴范式，通过提取并传输与任务相关的紧凑语义特征，可显著提升频谱效率，因此多用户语义通信（multi-usersemantic communication, mu-semcom）方案受到广泛关注。

2、现有的多用户语义通信方案主要分为两类。第一类是基于深度神经网络（deepneural network，dnn）的端到端（end-to-end, e2e）方案，其通过联合优化语义编解码器来适应特定任务。然而，此类方案存在以下明显缺陷：首先，其与成熟的数字通信基础设施不兼容，难以实际部署；其次，其模型训练与特定的理想信道条件（如特定的信噪比、多径分布）强耦合，当实际部署环境中的信道条件发生变化时，系统性能会急剧下降；此外，此类方案通常是针对固定用户数量和固定数据模态（例如文本、图像）设计的，一旦用户数量或模态类型发生改变，就需要重新设计和训练整个系统，缺乏灵活性和可扩展性。

3、第二类方案致力于与现有数字通信设施融合，主要方法包括特征量化映射和正交语义子空间设计。在特征量化映射方案中，语义特征被量化并映射到星座符号进行传输，虽然兼容性较好，但量化过程不可避免地引入量化噪声，造成语义信息的有损压缩。在正交语义子空间方案中，则为不同用户分配正交的语义特征空间以实现用户分离，但这类方案通常也是为固定数量和类型的用户设计的，难以灵活扩展。更重要的是，这两类方案以及采用正交频分复用多址接入、正交时频空间等多载波调制的方案，其性能严重依赖于信道状态信息（channel state information, csi）或信道统计特性（如最大多普勒频移、最大时延扩展），导致语义编解码器的训练无法真正独立于信道。一旦信道统计特性发生变化，就需要对整个语义模型进行重新训练，部署成本高昂。此外，现有方案多专注于纯语义通信，难以支持传统数字通信与语义通信在同一框架下并存。

4、因此，如何解决现有技术中多用户多模态通信系统存在的与信道条件强耦合、可扩展性差、难以兼容数字通信设施、资源利用率低及峰均功率比高，是目前亟需解决的技术问题。

技术实现思路

1、有鉴于此，本技术的实施例提出了一种多模态多用户语义通信方法和系统，旨在解决现有技术中多用户多模态通信系统存在的与信道条件强耦合、可扩展性差、难以兼容数字通信设施、资源利用率低及峰均功率比高的问题，进而实现信道自适应、支持用户的海量接入与模态数据的灵活扩展、兼容数字与语义通信、且能有效抑制峰均功率比。

2、为了实现上述目的，本技术的实施例提出了一种多模态多用户语义通信方法，所述方法包括以下步骤：

3、在发射端，获取多个用户的待传输数据，以及为每个用户确定一个随机的目标调制矩阵；其中，目标调制矩阵的随机性用于实现语义特征与物理信道的统计解耦，使得语义编码器的训练独立于物理信道条件；各用户的待传输数据包含至少一个任务信号，且该待传输数据中各任务信号的模态种类为数字通信模态或语义通信模态，且任务信号间的模态种类相同或者不同；

4、对于多个用户中的任一目标用户，基于其待传输数据中任务信号的模态，对待传输数据进行编码，得到特征域信号，且在该待传输数据包含多个任务信号的情况下，基于正交扩频叠加的方式对特征域信号进行处理，得到扩频后的特征域信号，以支持目标用户在同一资源上并发传输待传输数据中的多个任务信号；

5、利用目标用户对应的目标调制矩阵，对特征域信号或者扩频后的特征域信号进行调制，并将经调制后的信号进行削波处理，得到并发送时域发射信号；其中，削波处理用于控制峰均功率比；

6、在接收端，接收经过信道传输的多用户叠加时域信号；其中，多用户叠加时域信号由多个用户的时域发射信号经信道传输后叠加得到；

7、利用多用户多模态跨域正交近似消息传递检测器，对多用户叠加时域信号进行联合迭代检测；其中，多用户多模态跨域正交近似消息传递检测器通过在时域执行线性检测与在特征域执行非线性检测之间进行迭代，并在每次迭代中进行跨域变换、逆跨域变换，以及用户级和消息级的正交化处理，以消除用户间干扰并确保迭代间误差的正交性；多用户多模态跨域正交近似消息传递检测器还用于对线性检测后的时域信号估计值进行波形失真修复；

8、基于联合迭代检测后的估计信号，分别恢复各用户的传输数据以及分离出传输数据中各任务信号。

9、为了实现上述目的，本技术的实施例还提出了一种多模态多用户语义通信系统，所述系统包括：发射端和接收端；发射端与接收端之间通信连接；发射端用于上述申请实施例所提出的所述方法中由发送端执行的步骤，接收端用于上述申请实施例所提出的所述方法中由接收端执行的步骤。

10、为了实现上述目的，本技术的实施例还提出了一种电子设备，包括：处理器和存储器，所述存储器中存储有所述处理器能够执行的指令，所述处理器被配置为执行所述指令时，使得所述电子设备能够实现如上述所述的一种多模态多用户语义通信方法。

11、为了实现上述目的，本技术的实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，能够实现如上述所述的一种多模态多用户语义通信方法。

12、本技术的实施例提出的一种多模态多用户语义通信方法，首先，在发射端，获取多个用户的待传输数据，以及为每个用户确定一个随机的目标调制矩阵；对于多个用户中的任一目标用户，基于其待传输数据中任务信号的模态，对待传输数据进行编码，得到特征域信号，且在该待传输数据包含多个任务信号的情况下，基于正交扩频叠加的方式对特征域信号进行处理，得到扩频后的特征域信号，以支持目标用户在同一资源上并发传输待传输数据中的多个任务信号；利用目标用户对应的目标调制矩阵，对特征域信号或者扩频后的特征域信号进行调制，并将经调制后的信号进行削波处理，得到并发送时域发射信号；之后，在接收端，接收经过信道传输的多用户叠加时域信号；利用多用户多模态跨域正交近似消息传递检测器，对多用户叠加时域信号进行联合迭代检测；其中，多用户多模态跨域正交近似消息传递检测器通过在时域执行线性检测与在特征域执行非线性检测之间进行迭代，并在每次迭代中进行跨域变换、逆跨域变换，以及用户级和消息级的正交化处理，以消除用户间干扰并确保迭代间误差的正交性；多用户多模态跨域正交近似消息传递检测器还用于对线性检测后的时域信号估计值进行波形失真修复；基于联合迭代检测后的估计信号，分别恢复各用户的传输数据以及分离出传输数据中各任务信号；由于本方案利用目标调制矩阵的随机性，能够实现语义特征提取与物理信道的统计解耦以及用户分离，进而使得语义编码器的训练独立于物理信道条件，以实现用户数量和多模态的扩展，支持数字通信和语义通信的同时进行，进而在信道条件发生变化时，降低对系统性能的影响，实现了强大的信道自适应能力，显著降低了部署复杂度和成本；本方案涉及至少两种模态的数据，通过为每个用户确定一个随机的目标调制矩阵，这样可以打破用户数量和模态构成的限制，实现用户与模态的灵活扩展；本方案采用多用户多模态跨域正交近似消息传递检测器，对多用户叠加时域信号进行联合迭代检测，这样可以在多用户多模态场景下可靠地同时恢复各用户的传输数据，保证了整体通信系统的性能；因此，本方案能够解决现有技术中多用户多模态通信系统存在的与信道条件强耦合、可扩展性差、难以兼容数字通信设施、资源利用率低及峰均功率比高的问题，进而实现信道自适应、用户的海量接入与模态数据的灵活扩展、兼容数字与语义通信且能有效抑制峰均功率比。