基于对象-属性-关系的自适应分层传输的语义通信系统、方法、设备及介质

本发明涉及语义通信领域，尤其涉及一种基于对象-属性-关系的自适应分层传输的语义通信系统、方法、设备及介质。

背景技术：

1、随着第六代（6g）移动网络和物联网技术的快速发展，全球多媒体数据流量正呈现爆发式增长。与此同时，通信系统的核心范式正在发生根本性转变——从传统的人与人之间的交互，转向机器间以及人机协同交互。特别是在工业检测、灾害救援等新兴的具身智能应用场景中，通信链路的接收方已不再是需要高视觉保真度的人类观察者，而是一个需要基于环境语义进行实时决策的智能体。

2、然而，在动态环境中，具身智能体面临着信道带宽有限且波动剧烈所带来的严峻挑战：传统视频编码优先考虑人类视觉感知，会传输大量纹理冗余信息，这在带宽受限的情况下严重阻碍机器决策；且在动态信道中，这种冗余会导致显著的“悬崖效应”和难以接受的延迟。

技术实现思路

1、基于上述技术问题，本发明提供一种基于对象-属性-关系的自适应分层传输的语义通信系统、方法、设备及介质，旨在克服上述问题或者至少部分地解决上述问题。

2、本发明第一方面提供了一种基于对象-属性-关系的自适应分层传输的语义通信系统，所述语义通信系统至少包括：语义发送端和部署有具身智能体的语义接收端；

3、在语义发送端与语义接收端之间的带宽模式是高带宽模式的情况下，语义发送端利用样本场景的多模态数据中的图像数据、文本数据以及音频数据，生成样本场景的对象语义流、属性语义流以及关系语义流并发送给语义接收端；

4、语义接收端利用接收到的对象语义流、属性语义流以及关系语义流进行语义重建，得到重建对象语义表示、重建属性语义表示以及重建关系语义表示，并根据重建对象语义表示、重建属性语义表示以及重建关系语义表示，生成样本场景的对象-属性-关系重建图；

5、语义接收端控制具身智能体利用样本场景的对象-属性-关系重建图，执行高带宽模式对应的推理任务；

6、在语义发送端与语义接收端之间的带宽模式由高带宽模式变化至中带宽模式的情况下，语义发送端截断样本场景的属性语义流，将样本场景的对象语义流和关系语义流发送给语义接收端；中带宽模式的带宽上限为高带宽模式的带宽下限；

7、语义接收端利用接收到的对象语义流和关系语义流进行语义重建，得到重建对象语义表示和重建关系语义表示，并根据重建对象语义表示和重建关系语义表示，生成样本场景的对象-关系重建图；

8、语义接收端控制具身智能体利用样本场景的对象-关系重建图，执行中带宽模式对应的推理任务。

9、本发明第二方面提供了一种基于对象-属性-关系的自适应分层传输的语义通信方法，应用于本发明第一方面所述的基于对象-属性-关系的自适应分层传输的语义通信系统，所述方法包括：

10、在语义发送端与语义接收端之间的带宽模式是高带宽模式的情况下，语义发送端利用样本场景的多模态数据中的图像数据、文本数据以及音频数据，生成样本场景的对象语义流、属性语义流以及关系语义流并发送给语义接收端；

11、语义接收端利用接收到的对象语义流、属性语义流以及关系语义流进行语义重建，得到重建对象语义表示、重建属性语义表示以及重建关系语义表示，并根据重建对象语义表示、重建属性语义表示以及重建关系语义表示，生成样本场景的对象-属性-关系重建图；

12、语义接收端控制具身智能体利用样本场景的对象-属性-关系重建图，执行高带宽模式对应的推理任务；

13、在语义发送端与语义接收端之间的带宽模式由高带宽模式变化至中带宽模式的情况下，语义发送端截断样本场景的属性语义流，将样本场景的对象语义流和关系语义流发送给语义接收端；中带宽模式的带宽上限为高带宽模式的带宽下限；

14、语义接收端利用接收到的对象语义流和关系语义流进行语义重建，得到重建对象语义表示和重建关系语义表示，并根据重建对象语义表示和重建关系语义表示，生成样本场景的对象-关系重建图；

15、语义接收端控制具身智能体利用样本场景的对象-关系重建图，执行中带宽模式对应的推理任务。

16、本发明第三方面提供了一种电子设备，所述电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如本发明第二方面所述的基于对象-属性-关系的自适应分层传输的语义通信方法的步骤。

17、本发明第四方面提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如本发明第二方面所述的基于对象-属性-关系的自适应分层传输的语义通信方法的步骤。

18、在本发明提出的基于对象-属性-关系的自适应分层传输的语义通信系统中，突破传统视觉重建范式，摒弃了像素级重建，转而直接在语义接收端解码重建结构化的对象-属性-关系重建图，无需图像重建，消除了像素级冗余，完全规避了传统视频帧重建所面临的巨大计算延迟问题，这种“直达语义”的机制在极低比特率条件下仍能保持多模态数据核心语义的完整性，从而确保在带宽受限条件下实现具身智能体的实时决策与任务执行；与此同时，为应对动态无线信道环境，本系统设计了带宽自适应的o-a-r分层传输策略，通过将“对象-属性-关系”的语义图分解为优先级不同的逻辑层次，并根据信道状态实现自适应的分层传输：系统可在信道高带宽时实现对象信息、属性信息和关系信道的传递，以及在信道质量下降时自动剔除高层的关系和/或属性信息，从而保护核心对象数据，确保底层的对象信息的可靠传递，实现“优雅降级”，从而在恶劣无线环境中为实时具身智能体提供卓越的鲁棒性，克服了传统方法中的“悬崖效应”。

1.一种基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，所述语义通信系统至少包括：语义发送端和部署有具身智能体的语义接收端；

2.根据权利要求1所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，

3.根据权利要求1所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，所述语义通信系统还包括：自适应传输策略控制器；

4.根据权利要求1所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，语义发送端包括：

5.根据权利要求4所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，语义接收端包括：

6.根据权利要求5所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，语义发送端和语义接收端中的各个待训练模块组成待训练模型；待训练模型的训练过程至少包括：

7.根据权利要求6所述的基于对象-属性-关系的自适应分层传输的语义通信系统，其特征在于，在待训练模型的训练过程中，低带宽模式、中带宽模式以及高带宽模式随机作为当前带宽模式；待训练模型的训练过程还包括：

8.一种基于对象-属性-关系的自适应分层传输的语义通信方法，其特征在于，应用于权利要求1至7任一项所述的基于对象-属性-关系的自适应分层传输的语义通信系统，所述方法包括：

9.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求8所述的基于对象-属性-关系的自适应分层传输的语义通信方法的步骤。

10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求8所述的基于对象-属性-关系的自适应分层传输的语义通信方法的步骤。