一种通信信号调制识别的自动模型压缩方法与流程

1.本发明涉及一种通信信号调制识别的自动模型压缩方法，属于通信信号调制识别技术领域。


背景技术：

2.通信信号调制识别通过对接收信号进行一系列信号处理获取信号的调制方式，可为选择合适的信号解调器提供依据，自动调制识别在军事和民用领域上均具有一定的意义和价值。采用深度学习方法搜索通信信号调制识别的神经网络模型时，残差网络调制识别模型可以较好的完成识别任务，但是，由于计算复杂度较高，模型参数量较大，限制了其在一些便携式设备端的部署和应用。实际应用过程中，在已有模型的基础上进行压缩裁剪，可以实现在保证精度的同时，获得一个更快、更小的模型。


技术实现要素：

3.本发明解决的技术问题是：针对目前现有技术中，传统残差网络调制识别模型参数量较大，在便携式设备端应用容易被限制的问题，提出了一种通信信号调制识别的自动模型压缩方法。
4.本发明解决上述技术问题是通过如下技术方案予以实现的：
5.一种通信信号调制识别的自动模型压缩方法，步骤如下：
6.(1)将接收的通信信号按指定数量码元按序排列为码元图像，将通信信号转化为调制样式纹理图像进行识别；
7.(2)构建残差网络结构模型；
8.(3)设置最优稀疏比例参数，根据重构误差对残差网络结构模型每一层卷积网络进行通道剪枝；
9.(4)对步骤(3)所得通道剪枝后的裁剪模型进行微调并获取所得模型的最终权值。
10.所述步骤(3)中，最优稀疏比例参数的获取方法具体为：
11.根据残差网络结构模型各层卷积网络的参数、当前滤波器权值定义深度确定性策略梯度状态空间，根据目标错误率与单次浮点运算次数的乘积构建奖励函数，通过ddpg算法确定最大奖励函数时的确定性策略，获取最优稀疏比例参数a
t
，取值范围为[0,1]。
[0012]
所述步骤(3)中，对残差网络结构模型每一层卷积网络进行通道剪枝的具体为：
[0013]
根据最优稀疏比例参数，对每一层卷积网络序列进行裁剪通道选择，预设待裁剪的特征层，裁剪特征层的通道个数，并根据最小化重构误差定义目标函数进行判断，保持原始输出及压缩输出变化在最小范围内。
[0014]
所述特征层包括c个通道、n个大小为c
×
k
h
×
k
w
的滤波器，特征层共生成n个卷积滤波对象，特征层所在卷积网络共生成n
×
n个输出结果。
[0015]
所述最小化重构误差定义目标函数具体为：
[0016][0017]
式中，α为加权系数，w为滤波器全权值矩阵，n为样本总数，y为输出响应矩阵，x为输入矩阵，|| ||
f
为f范数，c为通道个数，c
′
为期望通道个数。
[0018]
本发明与现有技术相比的优点在于：
[0019]
本发明提供的一种通信信号调制识别的自动模型压缩方法，采用深度确定性策略梯度算法，对于每个卷积层分别计算最优的剪枝比例，能够在加快推理速度的同时最小化重构误差，有助于通信信号调制识别过程中深度学习网络模型的自动压缩，替代人工参数调整，同时可用于通信信号调制识别的深度学习网络模型在便携式设备下的电磁特性分析，通过模型剪枝，可保证模型仍具有同样或相近的表达能力，并尽可能地缩小模型的体积，减少计算量，满足轻量级可部署要求。
附图说明
[0020]
图1为发明提供的基于ddpg的自动网络剪枝过程示意图；
[0021]
图2为发明提供的awgn信道不同调制样式信号仿真结果示意图；
[0022]
图3为发明提供的awgn信道不同调制样式信号流码元图像示意图；
[0023]
图4为发明提供的残差神经网络调制识别网络示意图；
[0024]
图5为发明提供的基图；
[0025]
图6为发明提供的残差本网络结构示意神经网络调制识别结果示意图；
[0026]
图7为发明提供的结构化剪枝方案示意图；
[0027]
图8为发明提供的ddpg调整验证集识别精度过程示意图；
[0028]
图9为发明提供的ddpg调整flops学习过程示意图；
具体实施方式
[0029]
一种通信信号调制识别的自动模型压缩方法，有助于通信信号调制识别过程中深度学习网络模型的自动压缩，替代人工参数调整，可用于通信信号调制识别的深度学习网络模型在便携式设备下的电磁特性分析，可保证模型仍具有同样或相近的表达能力，并尽可能地缩小模型的体积，减少计算量，满足轻量级可部署要求，压缩方法的具体流程如下：
[0030]
(1)将接收的通信信号按指定数量码元按序排列为码元图像，将通信信号转化为调制样式纹理图像进行识别；
[0031]
(2)构建残差网络结构模型；
[0032]
(3)设置最优稀疏比例参数，根据重构误差对残差网络结构模型每一层卷积网络进行通道剪枝；
[0033]
其中，根据残差网络结构模型各层卷积网络的参数、当前滤波器权值定义深度确定性策略梯度状态空间，根据目标错误率与单次浮点运算次数的乘积构建奖励函数，通过ddpg算法确定最大奖励函数时的确定性策略，获取最优稀疏比例参数a
t
，取值范围为[0,1]；
[0034]
对残差网络结构模型每一层卷积网络进行通道剪枝的具体为：
[0035]
根据最优稀疏比例参数，对每一层卷积网络序列进行裁剪通道选择，预设待裁剪
的特征层，裁剪特征层的通道个数，并根据最小化重构误差定义目标函数进行判断，保持原始输出及压缩输出变化在最小范围内；
[0036]
特征层包括c个通道、n个大小为c
×
k
h
×
k
w
的滤波器，特征层共生成n个卷积滤波对象，特征层所在卷积网络共生成n
×
n个输出结果；
[0037]
(4)对步骤(3)所得通道剪枝后的裁剪模型进行微调并获取所得模型的最终权值。
[0038]
下面根据具体实施例进行进一步说明：
[0039]
在本实施例中，从数据出发，积累一定的数据以满足模型学习的要求，从足够的数据中挖掘数据特征的表示方式。首先利用仿真方式收集和整理相应的测试数据库。加性高斯白噪声awgn信道下的单信号调制识别问题是调制识别研究的基础，因此，针对awgn信道下的单信号调制识别应用场景，建立信噪比环境不理想情况下的不同调制方式数据集。
[0040]
其中，awgn信道下接收信号的数学模型为：y(t)＝s(t) n(t)
[0041]
式中n(t)均值为0，方差为的高斯白噪声，且与发送信号独立；s(t)发送的调制信号，采用正弦波作为调制载波，基带波形控制考虑振幅键控(ask)、频移键控(fsk)和相移键控(psk)，为满足通用调制模式的要求，选用较为典型的数字通信信号{2ask；4ask；8ask；bpsk；qpsk；8psk；2fsk；4fsk； 8fsk}共九种信号作为研究对象。同时，生成信号的各类仿真参数设置依据 etsi(european telecommunications standards institute,欧洲电信标准化协会)关于gsm/edge基站技术标准的要求规定，射频信号的载频为900mhz(欧洲)或2000mhz(美国)，中频为150～190mhz，采样频率为50～70mhz，故不失一般性地设定仿真参数如表1所示，此时fsk的频率集为{f
c
±
kf
i
,k＝1,3,5,7}；
[0042]
表1仿真参数设置情况
[0043][0044][0045]
生成信号如图2所示。
[0046]
通过仿真信号，构建不同调制样式的训练和测试数据集，为端到端的神经网络模型训练提供训练数据支撑。
[0047]
本发明的自动模型压缩方法具体步骤如下：
[0048]
步骤一、调制样式纹理图的生成。调制方式识别一般在读取固定数量的码元后进行，数量较大时时序信号长度过长会使得神经网络的训练难度增大，训练的时间、空间复杂度大大提升；同时，采用1d卷积神经网络时，为了建立更长的前后关系感受野，需要采用较大的1d卷积核或更深的网络层数，不利于建立轻量的网络模型。为此，将接收信号按照一定数量的码元按序排列为码元图像，如图3所示。在此图像进行空间卷积则可以有效地扩展邻域相关的范围，提高特征表示的能力，而且2d空域的卷积考虑了水平、垂直方向变化，相比
1d卷积自然地描述更长的信号的调制方式特点，这样可以在较少的层数下完成高性能的识别。基于上述的转换方式，将序列信号转换为调制方式相关的“纹理”图像进行识别。
[0049]
步骤二、训练一个基准模型。针对调制方式识别设计一种残差网络结构模型，例如resnet
‑
20。如图4所示，该模型包含三个block，每一block 由1*8、1*5和1*3的卷积核构成，同时由于层数的增加，为了避免训练中的梯度消失问题，block中包含了skip connect模块来实现残差的传递，最后一层同样利用平均池化和全连接最为最终输出。
[0050]
算例1：如图5所示，resnet
‑
20是20层的残差模块组成的卷积网络结构，并采用了skip
‑
connect实现了残差传递，增强方向传播的学习效果。该网络识别结果如图6所示。可以看出，由于采用了残差模块使得训练曲线快速收敛，验证集合精度也不断下降，9类的平均识别率达到96％。虽然resnet
‑
20的层数更多，由于仅采用了卷积层实现，因此flops也仅为81.5m，具备较高的识别率，达到了98.8％，推理速度在gtx960m显卡端达到了约1400次/秒，resnet
‑
20模型识别准确率结果如下表所示：
[0051][0052]
步骤三、自动稀疏剪枝。结合ddpg算法的自动稀疏剪枝方法，如图1所示，对于每一层卷积网络计算稀疏比例参数，为了实现自动的剪枝参数设定，首先需要定义深度确定性策略梯度的状态空间，即deep deterministic policy gradient，对于每一层卷积网络，定义状态空间为：
[0053]
s
t
＝(t,n,c,h,w,stride,k,flops[t],reduced,rest,a
t
‑1)
[0054]
其中，t为层数索引，flops[t]代表当前层进行一次前向传播的浮点运算次数，用于衡量计算量。为了实现连续域的强化学习动作，将稀疏比例参数表示动作a
t
，取值范围为[0,1]。同时，在动作产生中采用裁剪的正态分布表示噪声过程：
[0055][0056]
其中的奖励函数定义为r＝
‑
error
·
log(flops)，式中采用错误率和单次浮点运算次数的乘积作为奖励，以保证在一定准确率同时降低计算量。
[0057]
在ddpg算法中，智能体每一时间步的动作a
t
通过式a
t
＝μ(s
t
)计算获得，我们称函数μ为确定性动作策略。为了有效地近似策略函数，采用参数为θ
μ
的卷积神经网络进行近似，称为策略网络。在状态s
t
下采取动作a
t
，按照确定性动作策略μ执行，所获得的价值期望使用贝尔曼方程定义为：
[0058]
q
μ
(s
t
,a
t
)＝e[r(s
t
,a
t
) γq
μ
(s
t
,μ(s
t 1
))]
[0059]
其中r为奖励函数。在ddpg算法中，分别采用参数为θ
μ
的策略网络(演员actor)来表示确定性策略a＝μ(s|θ
μ
)；使用参数为θ
q
的价值网络(评论家critic) 来表示动作值函数q(s,a|θ
q
)，用于求解贝尔曼方程。ddpg算法的目标函数定义为折扣累积奖励的期望：
[0060]
j
β
(μ)＝ε
μ
(r0 γr1 γ2r2
…
γ
n
r
n
)
[0061]
为了找到最优确定性行为策略μ
*
，等价于最大化目标函数j
β
(μ)中的策略
同时，在ddpg算法中为了克服频繁更新价值网络的梯度，对策略网络和价值网络各自创建了两个神经网络，在线网络(online network) 和目标网络(target network)进行更新，采用deep deterministic policy gradient算法，具体的算法过程如下：
[0062]
初始化：随机初始化在线网络q(s,a|θ
q
)和μ(s|θ
μ
)的权重参数；初始化目标网络q
′
和μ
′
，其中网络权重参数与在线网络相同；初始化经验资源池
[0063]
for t＝1 to t
[0064]
计算当前时间步的动作a
t
＝μ(s
t
；θ
μ
) n
t
，其中为n
t
噪声模型；
[0065]
执行动作a
t
，并记录奖励r
t
和新的状态s
t 1
；
[0066]
将经验{s
t
,a
t
,r
t
,s
t 1
}存在经验池中；
[0067]
在经验池中随机采样小批量的样本集{s
i
,a
i
,r
i
,s
i 1
}，计算
[0068]
y
i
＝r
i
γq
′
(s
i 1
,μ
′
(s
i 1
|θ
μ
′
)|θ
q
′
)
[0069]
最小化损失函数更新价值网络：
[0070][0071]
使用梯度策略算法更新策略网络：
[0072][0073]
更新目标网络：
[0074]
θ
q
′
←
τθ
q
(1
‑
τ)θ
q
′
，θ
μ
′
←
τθ
μ
(1
‑
τ)θ
μ
′
[0075]
end
[0076]
初始化结束后，依据基于稀疏性约束的剪枝算法对每一层序列地进行裁剪通道搜索。
[0077]
利用计算滤波器特定范数进行排序或者基于稀疏性回归问题进行选择。假设待裁剪的特征层包含c个通道，有n个大小为c
×
k
h
×
k
w
的滤波器作用于该层。该层共产生n个卷积滤波的对象，那么该层卷积的结果就会产生n
×
n个输出。我们的目标是将通道数减少到c
′
(0≤c
′
≤c)，同时尽可能地保持原始输出和压缩输出的变化较小，这样可以通过最小化重构误差定义如下目标函数：
[0078][0079]
式中y为n
×
n的输出矩阵，x
i
为第i个通道中n
×
k
h
k
w
的输入样本矩阵，w
i
为第i个通道中大小为n
×
k
h
k
w
的滤波器矩阵。如图7所示，参数向量α为稀疏化约束向量，约束其0范数小于c
′
，即向量中非零元的个数最小c
′
。这样我们就可以通过稀疏化约束有效降低卷积运算中通道的个数，并保持整个输入
‑
输出之间的frobenius范数最小化以保证原始的重要滤波器不被改变。
[0080]
为了求解上述问题，需要对l0约束的优化问题进行松弛，转化为l1正则的优化问题进行求解：
[0081][0082][0083]
松弛后的问题在优化过程中包含两个变量，为此可以采用迭代优化的策略进行求解，首先固定变量w求解变量α。该问题可以退化为经典的lasso问题，即：
[0084][0085]
求解的最优解中则说明该通道滤波被裁剪，该子问题的求解可以采用一阶近似梯度下降方法如fista进行求解。其次，我们需要固定α更新参数矩阵w。此时，优化问题变为最小二乘问题：
[0086][0087]
通过迭代优化前述两个公式获得最终的裁剪通道和更新的权值。
[0088]
步骤四、裁剪模型输出。对裁剪后的整个模型进行微调得到最终的权值
[0089]
算例2：分别设定算法中期望剪枝比例为25％，50％和75％，依靠提出的算法自动分配各层的剪枝比例，使得模型整体剪枝比例达到期望数值。在ddpg 算法中，设置actor的变量大小为64，学习率0.01，最大迭代次数为200步。
[0090]
如图8所示，自动剪枝方法在ddpg算法的调整下，不断调整各层的剪枝比例，随着迭代次数的增加，验证集上的识别准确率不断提升。同时，约束预期剪枝比例后ddpg动态调整时保持各层平均比例满足预期比例要求，模型 flops从动态变化过程逐渐平稳达到剪枝预期要求，如图9所示，自动剪枝方法识别准确率结果如下表：
[0091][0092]
可以看出，提出基于ddpg的自动剪枝方法在不同预期剪枝比例下，能够实现自动选取各层最优的剪枝比例，并得到较好的识别精度。在较低剪枝比例(25％，50％)下，剪枝后模型的测试精度并没有大幅下降，同时flops降低50％以上，推理速度提升了2倍，精度下
降不超过0.2％。在较大剪枝比例 (75％)下模型flops降低78.2％，同时推理速度增加4倍，并保持了测试精度下降不超过2％，达到96.87％。
[0093]
以上所述仅为本发明的优选实施例，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。