面向车联网协同感知的语义通信方法、装置、设备和介质

本技术属于通信，具体涉及一种面向车联网协同感知的语义通信方法、装置、设备和介质。

背景技术：

1、在自动驾驶v2x（vehicle to everything，车对外界的信息交换）协同感知场景中，多车辆通过交互感知特征信息，可以弥补单车感知视野遮挡、探测距离有限的缺陷，是实现高阶自动驾驶的核心支撑技术。传统协同感知方案传输原始传感器数据或全量bev特征，存在带宽占用量大、传输时延高的问题，无法适配车载无线通信的带宽约束。现有任务导向型语义通信技术通过提取任务关键语义令牌进行压缩传输，有效优化了感知精度与带宽的平衡关系。

2、但是，实际车载部署场景中，语义通信系统面临双重耦合的分布偏移退化问题：一方面，雨、雪、雾等恶劣天气、道路场景切换、不同采集数据集差异会造成编码前观测特征分布偏移，产生语义原型漂移；另一方面，v2x无线信道存在动态信噪比波动、瑞利衰落、量化噪声及丢包问题，导致传输过程中语义令牌失真损坏。双重耦合的分布偏移退化问题最终导致感知精度下降。

技术实现思路

1、本技术实施例的目的是提供一种面向车联网协同感知的语义通信方法、装置、设备和介质，能够解决双重耦合的分布偏移退化问题导致感知精度下降的问题。

2、为了解决上述技术问题，本技术是这样实现的：

3、第一方面，本技术实施例提供了一种面向车联网协同感知的语义通信方法，该方法应用于发送端，包括：

4、获取环境观测数据，通过本地感知主干网络从所述环境观测数据中提取bev特征图，所述bev特征图包括多个候选语义令牌，每个候选语义令牌对应所述bev特征图中的一个空间位置；

5、根据目标载荷预算，通过语义选择器根据各候选语义令牌的语义重要性评分从所述多个候选语义令牌中筛选目标数量个候选语义令牌，作为目标语义令牌；

6、通过语义编码器将目标数量个所述目标语义令牌编码为码字张量，并通过无线链路将所述码字张量传输至接收端，传输至接收端的码字张量用于通过语义解码器进行解码后筛选第一可靠性评分大于或等于可靠性评分阈值的目标令牌特征以进行空间融合，所述语义选择器、所述语义编码器和所述语义解码器组成的协同感知模型在训练过程中基于跨域原型对齐损失函数约束多源观测域语义原型分布的一致性。

7、第二方面，本技术实施例提供了一种面向车联网协同感知的语义通信方法，该方法应用于接收端，包括：

8、接收至少一个发送端发送的码字张量，作为接收码字张量；所述发送端发送的码字张量是通过语义编码器对目标数量个目标语义令牌进行语义编码得到的，所述目标数量个目标语义令牌是通过语义选择器对bev特征图中包括的多个候选语义令牌进行筛选得到的，bev特征图中的每个候选语义令牌对应所述bev特征图中的一个空间位置；

9、针对每个所述发送端的接收码字张量，通过语义解码器对所述接收码字张量进行解码，得到目标数量个接收令牌特征；其中，所述语义选择器、所述语义编码器和所述语义解码器组成的协同感知模型在训练过程中基于跨域原型对齐损失函数约束多源观测域语义原型分布的一致性；

10、分别确定各接收令牌特征的第一可靠性评分，并根据所述第一可靠性评分，从目标数量个接收令牌特征中筛选所述第一可靠性评分大于或等于可靠性评分阈值的接收令牌特征，作为目标令牌特征；

11、对各所述发送端对应的目标令牌特征进行空间融合，得到协同感知结果。

12、第三方面，本技术实施例提供了一种面向车联网协同感知的语义通信装置，应用于发送端，包括：

13、bev特征提取模块，用于获取环境观测数据，通过本地感知主干网络从所述环境观测数据中提取bev特征图，所述bev特征图包括多个候选语义令牌，每个候选语义令牌对应所述bev特征图中的一个空间位置；

14、令牌选择模块，用于根据目标载荷预算，通过语义选择器根据各候选语义令牌的语义重要性评分从所述多个候选语义令牌中筛选目标数量个候选语义令牌，作为目标语义令牌；

15、令牌编码传输模块，用于通过语义编码器将目标数量个所述目标语义令牌编码为码字张量，并通过无线链路将所述码字张量传输至接收端，传输至接收端的码字张量用于通过语义解码器进行解码后筛选第一可靠性评分大于或等于可靠性评分阈值的目标令牌特征以进行空间融合，所述语义选择器、所述语义编码器和所述语义解码器组成的协同感知模型在训练过程中基于跨域原型对齐损失函数约束多源观测域语义原型分布的一致性。

16、第四方面，本技术实施例提供了一种面向车联网协同感知的语义通信装置，应用于接收端，包括：

17、接收模块，用于接收至少一个发送端发送的码字张量，作为接收码字张量；所述发送端发送的码字张量是通过语义编码器对目标数量个目标语义令牌进行语义编码得到的，所述目标数量个目标语义令牌是通过语义选择器对bev特征图中包括的多个候选语义令牌进行筛选得到的，bev特征图中的每个候选语义令牌对应所述bev特征图中的一个空间位置；

18、解码模块，用于针对每个所述发送端的接收码字张量，通过语义解码器对所述接收码字张量进行解码，得到目标数量个接收令牌特征；其中，所述语义选择器、所述语义编码器和所述语义解码器组成的协同感知模型在训练过程中基于跨域原型对齐损失函数约束多源观测域语义原型分布的一致性；

19、令牌筛选模块，用于分别确定各接收令牌特征的第一可靠性评分，并根据所述第一可靠性评分，从目标数量个接收令牌特征中筛选所述第一可靠性评分大于或等于可靠性评分阈值的接收令牌特征，作为目标令牌特征；

20、空间融合模块，用于对各所述发送端对应的目标令牌特征进行空间融合，得到协同感知结果。

21、第五方面，本技术实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面所述的方法的步骤。

22、第六方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面或第二方面所述的方法的步骤。

23、第五方面，本技术实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面或第二方面所述的方法。

24、在本技术实施例中，通过本地感知主干网络从环境观测数据中提取bev特征图，bev特征图包括多个候选语义令牌，根据目标载荷预算，通过语义选择器根据各候选语义令牌的语义重要性评分从多个候选语义令牌中筛选目标数量个候选语义令牌，作为目标语义令牌，通过语义编码器将目标数量个目标语义令牌编码为码字张量，通过无线链路将码字张量传输至接收端，传输至接收端的码字张量可以在通过语义解码器进行解码后筛选出第一可靠性评分大于或等于可靠性评分阈值的目标令牌特征以进行空间融合，语义选择器、语义编码器和语义解码器组成的协同感知模型在训练过程中基于跨域原型对齐损失函数约束多源观测域语义原型分布的一致性，抑制不同观测域的语义漂移，而且接收端的语义解码器在进行解码后可以筛选第一可靠性评分较高的令牌特征进行空间融合，可以避免使用失真损坏的令牌特征参与空间融合，解决了观测域不同和信道传输过程引起的双重耦合的分布偏移退化问题，可以提高协同感知精度。