面向智能无线网络检索服务的任务导向深度语义传输方法、电子设备

本发明属于无线通信与人工智能交叉，具体涉及一种面向智能无线网络检索服务的任务导向深度语义传输方法及电子设备。

背景技术：

1、随着6g通信技术的快速发展，无线网络需要能够支持大量新涌现的沉浸式智能业务。同时，图像已成为智能无线网络中传递环境感知和决策相关信息的关键数据模态。在无人机监控、交通监测等感知与决策场景中，图像传输应为下游智能处理保留任务关键的语义信息，而不仅仅是在接收端重建视觉上合理的内容。这一挑战在资源受限的无线链路上尤为突出，有限的带宽、信道噪声和衰落会共同损害传输内容对下游任务（如理解、匹配和推理）的语义效用。

2、语义通信作为一种新兴的通信范式，将通信目标从传统的可靠比特传输和高保真信号重建，转变为保留下游任务执行相关的语义信息。现有研究已探索了语义重建和鲁棒语义编码机制以减轻无线信道造成的语义失真，然而此类设计主要仍以语义重建质量作为传输质量的评估标准。对于智能无线网络而言，精确的像素级重建并不是能够必然的保证语义对于下游任务的可用性。

3、检索服务是智能无线网络中具有代表性的智能服务，接收到的图像可能需要与候选文本或候选图像进行匹配，用于下游的理解、搜索和决策支持。其中，图像到文本（i2t）和图像到图像（i2i）检索是两种典型的检索形式。现有检索方法主要关注跨模态交互和语义对齐，但未充分考虑无线传输损伤引起的语义漂移和对齐失效问题。因此，如何使无线图像传输能够可靠地支持下游检索服务，已成为智能无线网络中的一个关键技术问题。

技术实现思路

1、基于上述现有技术中存在的不足，本发明公开了一种面向智能无线网络检索服务的任务导向深度语义传输方法及电子设备，本发明通过联合优化语义重建、语义一致性、跨模态对齐和检索判别力，实现检索相关语义在无线传输过程中能够适应时变的信道，实现有效保留，提升下游检索服务的可靠性。

2、本发明公开的面向智能无线网络检索服务的任务导向深度语义传输方法，将无线图像传输构建为以检索为导向的语义通信过程，通过发送端的语义编码器和信道编码器提取并压缩语义特征，经由无线信道传输后，在接收端通过信道解码器和语义解码器重建图像，最后利用语义检索器在共享语义嵌入空间中执行i2t和i2i检索任务。网络参数采用两阶段训练策略进行联合优化，第一阶段建立稳定的语义重建基础，第二阶段引入检索导向的语义监督以提升下游检索性能。

3、为了达到本发明的目的，本发明采取如下技术方案：

4、一种面向智能无线网络检索服务的任务导向深度语义传输方法，包括如下步骤：

5、步骤一、系统构建与初始化阶段：在发送端设置语义编码器和信道编码器，在接收端设置信道解码器、语义解码器和语义检索器；其中所述语义检索器基于固定的对比语言-图像预训练模型clip构建共享语义嵌入空间，并离线构建由候选图像特征和候选文本特征组成的多模态知识库；

6、步骤二、发送端语义提取与信道编码：将输入图像调整为固定尺寸并进行归一化处理，通过基于移动窗口变换器的语义编码器提取紧凑的语义特征图；再将所述语义特征图输入由卷积块构成的信道编码器，压缩并映射为归一化的信道传输符号，经由无线信道发送；

7、步骤三、接收端信道解码与语义重建：接收端从无线信道接收失真信号，通过由卷积块和反卷积块构成的信道解码器恢复出重建的语义特征图，再通过基于移动窗口变换器的语义解码器将重建的语义特征图重构为重建图像；

8、步骤四、共享语义空间映射与检索执行：利用所述语义检索器将重建图像映射至所述共享语义嵌入空间，提取查询嵌入特征并进行归一化，通过计算查询嵌入特征与离线知识库中候选特征之间的余弦相似度，执行图像到文本和图像到图像的检索排序，给语义检索器返回top-k检索结果；

9、步骤五、两阶段网络参数训练：第一阶段仅基于图像重建保真度损失对所述语义编码器、信道编码器、信道解码器和语义解码器进行训练，以获得稳定的语义重建基础；第二阶段在保持第一阶段参数的基础上，引入包含语义一致性损失、跨模态对齐损失和检索排序判别损失的联合优化目标，对网络参数进行端到端微调；

10、步骤六、在线推理与配置：固定训练完成的网络参数，对于任意输入的查询图像，依次执行步骤二至步骤四，在给定的信道类型和信噪比条件下获得相应的检索结果。

11、进一步的，步骤二中，对输入图像进行预处理，所述预处理包括将原始尺寸为h'×w'的输入图像x调整为固定尺寸并进行归一化，得到的处理，过程表示为：

12、           （1）

13、其中，h'代表图像高度，w'代表图像宽度，norm代表将输入张量的空间维度变为设定大小，resize代表对调整好大小的数据进行统计特性的调整，r代表输入图片的张量中所有数字为实数，c表示通道数，w表示宽度，h表示高度；

14、将处理后的图像输入语义编码器，通过卷积投影将归一化图像映射为高维特征图，公式表示为：

15、               （2）

16、式中，conv2d表示使用一组可学习的滤波器（卷积核）在输入图像上滑动，提取图像的局部特征（如边缘、纹理、颜色组合等），并将输入通道数映射为输出通道数；r代表输入图片的张量中所有数字为实数，c表示输出通道数，w表示宽度，h表示高度。

17、通过图像块嵌入将特征图转换为词元序列 ，经过l个堆叠的残差移动窗口变换器块rstb（residual swin transformer block，残差移动窗口变换器块）进行处理，每个rstb（residual swin transformer block，残差移动窗口变换器块）内基于窗口的多头自注意力计算公式为：

18、                              （3）

19、其中， q,k,v分别代表查询、键、值矩阵，da为每头维度，softmax为归一化指数函数；最后通过图像块解嵌入和卷积层输出语义特征图 。conv2d为二维卷积操作，r代表输入图片的张量中所有数字为实数，c表示输出通道数，w表示宽度，h表示高度。

20、进一步地，步骤二中，信道编码器将语义特征图 s压缩为信道传输符号 的过程包括：通过多个卷积块逐步降低空间分辨率，得到中间特征 ，其过程表示为：

21、                         （4）

22、式中，ui（i=1，2，3，4）代表第i阶段输出的特征，（i=1，2，3，4）表示第i个卷积块，表示特征图的通道数，表示宽度，表示高度。

23、对中间特征执行功率归一化，得到传输符号 t，归一化公式为：

24、                                 （5）

25、其中，cc、hc,、wc分别为压缩后特征的通道数、空间高度和宽度，为数值稳定常数。

26、进一步地，所述步骤三中，接收端接收到的失真信号统一表示为：，其中， 表示在信道状态 h 和信噪比 γ 下的信道变换；所述信道解码器通过反卷积块逐步恢复空间分辨率，得到重建的语义特征图 ；所述语义解码器采用与所述语义编码器对称的架构，通过卷积层和堆叠的rstb将  重构为重建图像。

27、进一步地，所述步骤四中，语义检索器的具体检索过程为：离线阶段，利用clip的图像编码器 和文本编码器分别对知识库中的候选图像和候选文本进行编码，得到图像库特征和文本库特征 ，公式表示为：

28、                     （6）

29、式中，表示数据集；表示样本总数；表示样本索引序号；表示第i个图像数据样本；表示第i个文本数据样本。表示表示生成的向量属于一个维的实数向量空间；表示维度。

30、在线阶段，将重建图像通过clip（contrastive language-image pre-training，对比语言-图像预训练）图像编码器得到查询嵌 ，并进行 归一化；分别计算查询嵌入与图像库特征、文本库特征的余弦相似度：

31、                        （7）

32、式中，表示第i个文本相似度得分；表示第i个图像相似度得分；表示查询向量，为图像库特征；为文本库特征 。

33、根据相似度得分进行排序，返回top-k（top k elements，前k个）索引，公式表示为：

34、                               （8）

35、式中，表示被选中的文本样本的索引集合；表示被选中的图像样本的索引集合；topk表示取前 k个最大值的操作；表示所有文本相似度得分的集合；表示所有图像相似度得分的集合；n表示候选样本总数。

36、进一步地，所述步骤五中，两阶段训练策略的具体实现为：第一阶段，仅采用图像重建保真度损失对网络进行训练，其定义为均方误差损失和损失的加权和：

37、

38、其中，为图像像素总数，公式表示为：

39、                         （9）

40、第二阶段，引入检索导向的语义监督，联合优化目标函数定义为：

41、           （10）

42、其中，表示图像到图像的对比损失的权重，表示图像到文本的跨模态对齐损失的权重，表示排序损失的权重；

43、为了在特征空间中保持重建图像与源图像的视觉一致性，并确保其与配对文本的语义对齐，定义了如下损失函数：

44、语义一致性损失（11）

45、跨模态对齐损失（12）

46、其中，表示重建图像的归一化 clip 图像特征；表示源图像的归一化 clip图像特征；表示配对文本的归一化 clip 文本特征； 用于约束图像重建的保真度，而 用于约束图文语义的一致性。

47、为了进一步优化模型在跨模态检索任务中的性能，引入了基于交叉熵的排序损失：

48、（13）

49、其中， zi2t和 zt2i分别为图像到文本和文本到图像的相似度矩阵，为真实匹配索引，ce 为交叉熵函数。

50、进一步地，步骤五中，第一阶段的训练采用自适应学习率衰减策略，初始学习率设置为0.0005，当验证损失在预设周期内无改善时，依次降低学习率至0.0001、0.00005和0.00001；第二阶段学习率固定为0.0001，并采用早停法防止过拟合。

51、进一步地，所述步骤六中，无线信道类型包括加性高斯白噪声awgn信道、瑞利衰落信道和莱斯衰落信道；所述信噪比测试范围为-10 db至20 db；输入图像尺寸可配置为32×32、64×64、96×96、128×128、160×160或192×192。

52、进一步地，所述语义编码器和所述语义解码器均采用基于移位窗口多头自注意力机制的移动窗口变换器架构；所述信道编码器包含四个卷积块，将空间分辨率压缩至原始尺寸的四分之一；所述信道解码器包含两个反卷积块，用于恢复空间分辨率。

53、本发明还公开了一种面向智能无线网络检索服务的任务导向深度语义传输系统，包括：发送端模块，配置有语义编码器和信道编码器，用于执行语义特征提取和信道符号压缩与功率归一化；接收端模块，配置有信道解码器、语义解码器和语义检索器，用于信号恢复与图像重建，以及共享语义空间映射与检索排序；训练模块，用于执行两阶段训练策略，对发送端模块和接收端模块中的网络参数进行联合优化。

54、本发明还公开了一种电子设备，包括存储器和处理器，存储器存储指令，当指令由处理器执行时以使处理器执行上述方法。

55、与现有技术相比，本发明技术方案具有如下技术效果：

56、（1）本发明将无线图像传输的目标从传统的像素保真度转变为下游检索可用性，通过联合优化语义重建、语义一致性、跨模态对齐和检索判别力，使传输的语义表示在信道损伤下仍能保持检索相关语义。

57、（2）本发明采用基于移动窗口变换器的语义编解码架构，能够有效捕获图像的局部语义结构和长程上下文依赖，提供高质量的语义特征表示。

58、（3）本发明采用两阶段训练策略，第一阶段建立稳定的语义重建基础，第二阶段引入检索导向的语义监督进行微调，在保持较高重建质量的同时显著提升检索性能。

59、（4）本发明在多种信道条件（awgn（additive white gaussian noise，加性高斯白噪声）、瑞利衰落、莱斯衰落）下均表现出优于现有基准方法的检索性能和鲁棒性。