模型轻量化的调制方式与信号类型联合识别方法及系统

本技术涉及无线通信，尤其是指一种模型轻量化的调制方式与信号类型联合识别方法及系统。

背景技术：

1、深度学习方法能够从原始iq信号中自动学习复杂特征表示，已被广泛用于无线通信信号的调制方式识别和信号类型识别。然而，高精度深度模型通常包含较多参数和浮点运算，在服务器环境中可以获得较好识别效果，但在手持频谱监测设备、无人机载无线电侦察模块、低功耗物联网网关等边缘终端上部署时，会受到存储空间、计算能力和功耗预算的严格约束。

2、模型量化是降低深度模型资源占用的重要技术，通过将浮点权重和激活值映射到低位宽整数表示，可以减少模型存储开销并提升硬件推理效率。现有技术中，已有研究者将量化感知训练应用于调制分类任务，通过在训练阶段插入伪量化节点模拟低位宽推理中的数值截断误差，使模型提前适应量化环境，通常比直接后训练量化具有更好的精度保持能力。知识蒸馏则利用全精度教师模型输出的软概率分布指导学生模型训练，以补偿轻量化带来的精度下降，两者结合的思路在图像分类等领域已有探索。

3、然而，现有轻量化无线信号识别方法存在以下技术问题：

4、第一，无线信号识别任务对幅度、相位和细粒度时序结构较为敏感。直接进行后训练量化可能引入截断误差，导致低信噪比条件下的微弱判别特征丢失；仅采用量化感知训练虽然能够模拟量化误差，但在低信噪比环境中仍可能无法充分恢复被量化截断削弱的弱特征表达能力。

5、第二，现有针对无线信号识别的轻量化方法多面向单一任务，缺少同时考虑调制方式识别和信号类型识别双分支输出的联合蒸馏损失设计。当学生模型需要同时学习两个相关但不同的识别任务时，单一任务的蒸馏机制无法有效迁移教师模型在双任务上的判别边界信息。

6、第三，量化训练过程中，伪量化观察器动态追踪激活值的极值范围以计算量化缩放因子，批量归一化层的运行统计量也会随每批次数据持续滑动更新。如果在训练末期这些统计量仍不断变化，训练状态和最终静态低位宽部署状态之间将产生不一致，导致部署精度下降。

7、因此，需要一种将量化感知训练与多任务知识蒸馏相结合的轻量化联合识别方法，在显著压缩模型存储和计算开销的同时，有效补偿低位宽约束下双任务识别能力的退化，使模型在边缘资源受限平台上仍保持较高的识别可靠性。

技术实现思路

1、为了解决现有技术的不足，本技术的目的在于提供一种模型轻量化的调制方式与信号类型联合识别方法，其可以在显著降低模型存储占用和推理计算开销的同时，保持接近全精度模型的双任务识别性能，有效解决低位宽量化导致细粒度幅相特征丢失、单一分类任务蒸馏无法适配多任务场景以及量化训练后期统计量持续变化导致部署精度下降的技术难题。

2、为实现上述目的，本技术采用如下的技术方案：

3、本技术提供一种模型轻量化的调制方式与信号类型联合识别方法，该方法包括以下步骤：

4、s1，训练全精度多任务的教师模型，获得稳定的调制方式识别和信号类型识别的双任务输出；

5、s2，构建低位宽的学生模型，并在学生模型的卷积层、全连接层或激活节点处插入伪量化模块；

6、s3，将同一批次iq信号分别输入教师模型和学生模型，获取双任务逻辑值和概率分布；

7、s4，计算学生模型与真实标签之间的双任务交叉熵损失；

8、s5，对教师模型和学生模型的双任务输出进行温度缩放，分别计算调制方式蒸馏损失和信号类型蒸馏损失；

9、s6，将监督损失和蒸馏损失加权求和，反向传播更新学生模型参数；

10、s7，在训练后期冻结量化观察器和批量归一化统计量，使训练数值状态接近部署状态；

11、s8，导出学生模型，在边缘终端上完成调制方式与信号类型联合识别推理。

12、作为一种优选的技术方案，

13、所述教师模型包括共享特征提取层和两个任务特定分支，所述共享特征提取层用于从输入iq信号中提取公共特征表示，所述两个任务特定分支分别用于输出调制方式类别的预测概率和信号类型类别的预测概率；

14、所述学生模型的网络拓扑与所述教师模型相同或所述学生模型采用轻量化结构，在所述学生模型的权重张量和激活张量处插入伪量化节点，所述伪量化节点用于在前向传播过程中模拟低位宽整数量化运算，在反向传播过程中采用直通估计器传递梯度。

15、作为一种优选的技术方案，

16、步骤s3中，将同一批次的iq信号并行输入所述教师模型和所述学生模型，分别获取教师模型在调制方式分支的第一逻辑值和在信号类型分支的第二逻辑值，以及学生模型在调制方式分支的第三逻辑值和在信号类型分支的第四逻辑值；

17、步骤s4中，分别计算所述低位宽学生模型输出的调制方式类别预测值与真实调制方式标签之间的第一交叉熵损失，以及所述低位宽学生模型输出的信号类型类别预测值与真实信号类型标签之间的第二交叉熵损失；

18、步骤s5中，采用温度缩放因子对所述第一逻辑值、第二逻辑值、第三逻辑值和第四逻辑值分别进行平滑处理，并通过softmax函数映射为软目标概率分布，分别计算教师模型与学生模型在调制方式分支之间的第一分布差异损失和在信号类型分支之间的第二分布差异损失，将所述第一分布差异损失和第二分布差异损失分别乘以所述温度缩放因子的平方作为调制方式蒸馏损失和信号类型蒸馏损失；

19、步骤s6中，采用加权求和方式分别构建调制方式分支的第一综合损失和信号类型分支的第二综合损失，每个分支的综合损失由该分支的交叉熵损失和蒸馏损失按预设权重系数加权组合得到，将所述第一综合损失和所述第二综合损失求和得到总损失，并利用所述总损失反向传播更新所述学生模型的网络参数。

20、作为一种优选的技术方案，

21、步骤s7中，当训练进度达到预设条件时，冻结伪量化观察器的极值统计参数并冻结批量归一化层的运行均值和运行方差统计量，停止统计量的动态更新，使量化训练状态与部署状态对齐；

22、其中，所述预设条件为训练轮次达到总轮次的预定比例或所述总损失的下降幅度低于预定阈值；冻结伪量化观察器的极值统计参数包括：冻结激活值量化过程中滑动平均极值观察器所记录的全局极值、权重量化过程中各通道的数值范围以及量化缩放因子；冻结批量归一化层的运行统计量包括：冻结各批量归一化层的运行均值和运行方差，停止其随每批次数据的滑动更新；

23、步骤s8中，将训练完成后的学生模型导出为低位宽整数量化推理模型，部署于边缘计算终端，用于对输入的iq信号执行调制方式类别和信号类型类别的联合识别推理。

24、作为一种优选的技术方案，

25、所述伪量化节点采用异构量化策略：对于激活张量，采用逐张量非对称量化，利用滑动平均极值观察器动态追踪全局激活值的数值范围以计算量化缩放因子和零点，将浮点激活值映射并截断至无符号低位宽整数空间后立即进行反量化以参与下一层计算；对于权重张量，采用逐通道对称量化，每个输出通道独立计算量化缩放因子，权重值的量化范围以零点为中心左右对称分布。

26、作为一种优选的技术方案，

27、所述调制方式蒸馏损失和信号类型蒸馏损失分别独立计算，每个蒸馏损失采用kl散度衡量教师模型与学生模型在对应任务上的软目标概率分布之间的差异，并用温度缩放因子的平方对梯度幅值进行补偿；所述第一综合损失和第二综合损失由对应分支的交叉熵损失和蒸馏损失按预设平衡系数加权求和得到，所述平衡系数在训练过程中保持固定或根据验证集性能进行自适应调整。

28、作为一种优选的技术方案，

29、所述学生模型的网络拓扑与所述教师模型同构，即所述学生模型与所述教师模型共享相同的网络深度、卷积核尺寸、通道数及专家数量。

30、作为一种优选的技术方案，

31、步骤s8中，所述低位宽整数量化推理模型的目标量化位宽选自低位宽整数位宽或混合位宽，不同网络层采用不同量化位宽，其中对低信噪比环境下敏感度较高的共享底层采用较高的量化位宽，对冗余度较高的任务特定分支采用较低的量化位宽；所述边缘计算终端包括手持频谱监测设备、无人机载无线电侦察模块、低功耗物联网网关、嵌入式智能接收机和边缘频谱感知节点中任一种资源受限的无线信号识别平台。

32、作为一种优选的技术方案，

33、所述教师模型采用多门混合专家架构，包括：共享层，用于对输入的iq信号进行初步特征提取和降采样；专家集合，由多个并行的卷积专家网络组成；门控单元，通过全局平均池化和全连接层输出专家权重，对各专家的输出进行加权融合；两个任务特定分支，分别包含卷积层和全连接层，用于输出调制方式类别和信号类型类别的逻辑值；

34、所述低位宽学生模型采用与教师模型相同的多门混合专家架构，并在训练过程中通过伪量化节点将权重和激活值约束为低位宽表示。

35、本技术还提供一种模型轻量化的调制方式与信号类型联合识别系统，该系统包括：

36、信号输入模块，用于获取iq信号并执行预处理；

37、教师模型模块，预先完成收敛训练，用于输出调制方式和信号类型的软概率分布，在训练阶段为学生模型提供知识蒸馏监督；

38、学生模型模块，所述学生模型模块的网络拓扑与所述教师模型模块相同或采用轻量化结构，所述学生模型模块在权重张量和激活张量处嵌入伪量化节点以模拟低位宽整数量化运算，用于对输入的iq信号执行调制方式和信号类型的联合识别；

39、量化感知训练模块，用于在训练阶段控制伪量化节点的插入与参数更新，采用异构量化策略，对激活张量采用逐张量非对称量化，对权重张量采用逐通道对称量化；

40、多任务蒸馏损失计算模块，用于接收教师模型和学生模型在调制方式分支和信号类型分支的输出，对两个分支分别独立计算分布差异蒸馏损失，并与对应分支的交叉熵监督损失加权求和得到总损失；

41、训练状态冻结模块，用于在训练达到预设条件时冻结伪量化观察器的极值统计参数和批量归一化层的运行统计量，停止统计量的动态更新，使训练状态与静态低位宽部署状态对齐；

42、以及推理部署模块，用于将训练完成后的学生模型导出为低位宽整数量化推理模型，并部署于边缘计算终端执行联合识别推理。

43、与现有技术相比，本技术的有益效果在于：

44、本技术通过构建量化感知训练与多任务知识蒸馏相融合的轻量化联合识别框架，在调制方式识别和信号类型识别双任务上实现模型压缩与精度保持的统一优化。

45、具体而言，本技术采用全精度教师模型指导低位宽学生模型，使学生模型在低精度数值表示下仍能继承教师模型的类别关系和判别边界信息，有效弥补低位宽约束下特征表达能力的下降；

46、针对激活值和权重分别采用适合其数值分布的伪量化策略，即激活值逐张量非对称量化和权重逐通道对称量化，降低量化噪声对无线信号细粒度幅相特征的破坏；

47、分别计算调制方式分支和信号类型分支的蒸馏损失，并与对应硬标签监督损失联合优化，使双任务的判别边界在低位宽条件下同步得到补偿；

48、在训练后期冻结量化观察器和批量归一化统计量，使训练数值状态与最终部署状态保持一致，避免因训练结束时的统计漂移导致部署精度损失。