基于图像超分辨的射频图像增强方法及射频图像识别方法

1.本发明涉及射频图像感知技术领域，具体而言，尤其涉及一种基于图像超分辨的射频图像增强方法及射频图像识别方法。


背景技术：

2.在无线感知领域中，使用各种无线设备(雷达、wifi、lora等)探测目标对无线信号的影响，通过分析受影响的无线信号可以推理目标的行为动作特征。小型无线感知设备(雷达、wifi)无法传输、存储尺寸较大的数据，它们采集的射频图像可能尺寸较小、信息量低，直接用于识别任务会导致识别精度低的问题。由于深度学习在图像识别任务中展现出了极大的优势，越来越多的无线感知任务也将受到影响的无线信号转换成图像的形式，即射频图像，再利用神经网络进行射频图像识别，在性能上超过了传统方法。在无线感知领域中，由于雷达、wifi等设备均为小型设备，限制了大数据的传输及存储，通常的解决办法是压缩感知任务中的射频图像以便于传输和存储。而射频图像的压缩不可避免的导致有效信息的丢失，进而影响后续图像识别的精度。在基于深度学习的图像识别任务中，通用的做法是将图像进行放大预处理，例如通过bicubic插值方法将尺寸较小的图像进行放大处理。但是bicubic插值方法本质上是参考了估计点周围少数数据点的特征，这并不会弥补在图像压缩过程中的信息量，这是基于图像自身信息的放大方法，对图像的信息量没有明显的提升。


技术实现要素：

3.本发明提出一种基于图像超分辨的射频图像增强方法及射频图像识别方法。解决了低分辨率图像或bicubic图像在识别任务中存在的识别精度低的问题。具体通过图像超分辨网络学习低分辨率图像到高分辨率图像之间的映射关系，利用这种映射关系对与训练数据集相关的低分辨率图像进行超分重建，再利用卷积神经网络对重建后的射频图像进行分类识别。
4.本发明采用的技术手段如下：
5.一种基于图像超分辨的射频图像增强方法，包括以下步骤：
6.获取高分辨率射频图像和与所述高分辨率射频图像对应的低分辨率射频图像；
7.利用图像超分辨网络学习所述低分辨率射频图像与高分辨率射频图像之间的映射关系；
8.基于所述低分辨率射频图像与高分辨率射频图像之间的映射关系构建基于低分辨率射频图像的增强射频图像数据集。
9.进一步地，获取高分辨率射频图像和与所述高分辨率射频图像对应的低分辨率射频图像，包括：
10.通过雷达测得高分辨率射频图像hr，所述高分辨率射频图像hr尺寸为h*h；
11.基于高分辨率射频图像hr通过bicubic进行n倍降采样获取低分辨率射频图像lr，所述低分辨率图像lr尺寸为(h/n)*(h/n)。
12.基于所述低分辨率射频图像lr通过n倍超分重建获取超分图像sr。
13.进一步地，获取高分辨率射频图像和与所述高分辨率射频图像对应的低分辨率射频图像，还包括：
14.获取高分辨率射频图像hr、低分辨率射频图像lr以及超分图像sr后，根据以下计算获取图像重建衡量指标psnr：
[0015][0016][0017]
其中，为图像中像素值的最大值，mse表示的是两个图像对应像素差值的均方误差，假设图像长宽均为h。
[0018]
进一步地，利用图像超分辨网络学习所述低分辨率射频图像与高分辨率射频图像之间的映射关系，包括：
[0019]
基于所述低分辨率射频图像lr通过bicubic进行n倍上采样得到采样图像lr
↑
；
[0020]
基于所述采样图像lr
↑
和高分辨率射频图像hr构建训练数据集，以所述采样图像lr
↑
为训练样本，以所述高分辨率射频图像hr为标签对图像超分辨网络模型进行训练，所述超分辨网络模型用于学习采样图像lr
↑
和高分辨率射频真值图像hr之间的映射关系。
[0021]
进一步地，基于所述低分辨率射频图像与高分辨率射频图像之间的映射关系构建基于低分辨率射频图像的高质量的射频图像数据集，包括：
[0022]
对待增强低分辨率射频图像lr样本进行bicubic插值得到的待增强采样图像lr
↑
，将所述待增强采样图像lr
↑
输入训练好的图像超分辨网络模型中得到重建增强图像sr。
[0023]
本发明还公开了一种射频图像识别方法，包括：构建基于射频图像的识别任务，所述识别任务基于由上述射频图像增强方法构建的增强射频图像数据集实现。
[0024]
较现有技术相比，本发明具有以下优点：
[0025]
本发明利用图像超分辨网络在低分辨率的射频图像和高分辨率的射频图像之间学习一种映射关系，使网络具有将与训练集相关的低分辨率图像转换成高分辨率图像的能力。利用这种转换能力，可将所有低分辨率数据通过训练好的网络进行超分处理，构建质量更佳超分辨数据集。基于这种超分数据集的识别任务有更高的识别精度。
[0026]
基于上述理由本发明可在射频图像感知领域广泛推广。
附图说明
[0027]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0028]
图1为本发明基于图像超分辨的射频图像增强方法流程图。
[0029]
图2为本发明基于图像超分辨的射频图像增强方法原理图。
[0030]
图3为实施例中srcnn_res网络结构图。
[0031]
图4为实施例中卷积神经网络结构图。
[0032]
图5为实施例中bicubic和srcnn_res重建图像，其中(a)为hr图像；(b)为bic_4图像；(c)为sr_4图像；(d)为bic_8图像；(e)为sr_8图像。
具体实施方式
[0033]
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
[0034]
图像超分辨方法是一种利用深度学习将低分辨率图像转换成高分辨率图像的方法。它利用深度神经网络学习低分辨率图像到高分辨率图像之间的映射关系，借助这种映射关系可将与训练图像相关的低分辨率图像超分得到高分辨率图像，由于神经网络在相关数据集中学习到了数据集中的共性特征，所有超分重建的图像的信息量会增加。使用图像超分辨方法代替bicubic方法对射频图像进行放大处理，得到的射频图像将具有更多的信息量，进而在识别任务中会取得更大的性能提升。
[0035]
基于深度学习的图像超分辨研究的重点在于神经网络模型的构建，网络模型的优劣决定着超分重建图像的质量。经典的图像超分辨网络有：srcnn网络，它利用浅层卷积神经网络学习低分辨率图像到高分辨率图像的映射关系，并利用这种映射关系对低分辨率图像做超分处理；vdsr网络，利用跨连接构建深层卷积神经网络，提升网络感受野，进而提升超分性能；edsr网络，通过移除批归一化层，减小了训练开销，并利用残差结构构建了更深层的网络；rcan网络，引入了注意力网络，使网络能够重点关注图像中有用的特征。
[0036]
图像超分辨领域利用psnr、ssim来衡量图像重建质量。psnr是信号的最大功率和信号噪声功率之比，psnr越大表示重建图像质量越好。ssim是衡量两幅图像相似度的指标，ssim值位于0-1之间，值越大表示图像失真越小。
[0037]
基于上述研发背景，本发明提出了一种基于图像超分辨的射频图像增强方法，利用图像超分辨网络在低、高分辨率射频图像之间学习一种映射关系，利用这种映射关系构建基于低分辨率射频图像的高质量的射频图像数据集，从而提升基于射频图像的识别任务的分类精度。如图1所示，具体包括以下步骤：
[0038]
s1、获取高分辨率射频图像和与所述高分辨率射频图像对应的低分辨率射频图像。包括：通过雷达测得高分辨率射频图像hr，所述高分辨率射频图像hr尺寸为h*h；基于高分辨率射频图像hr通过bicubic进行n倍降采样获取低分辨率射频图像lr，所述低分辨率图像lr尺寸为(h/n)*(h/n)。
[0039]
具体来说，对于图像超分辨数据集中的hr图像，假设由雷达测得的射频图像为hr图像，hr图像的尺寸为：h*h。对于图像超分辨数据集中的lr图像，假设由hr图像利用bicubic插值降采样一定倍数n得到，则lr图像的尺寸为：(h/n)*(h/n)，hr和lr之间的关系为：
[0040]
lr＝bln(hr)
[0041]
其中，bln表示对hr图像使用bicubic插值方法进行n倍降采样。
[0042]
对于利用图像超分辨得到的超分图像sr，假设神经网络在lr与hr之间学到的映射关系为fn，则sr与lr之间的关系为
[0043]
sr＝fn(lr)
[0044]
其中，fn表示对lr图像进行n倍超分重建。
[0045]
进一步地，还包括：对待增强低分辨率射频图像lr样本进行bicubic插值得到的待增强采样图像lr
↑
之后，计算所述待增强采样图像lr
↑
的psnr值，用于评价待增强采样图像lr
↑
质量；将所述待增强采样图像lr
↑
输入训练好的图像超分辨网络模型中得到重建增强图像sr之后，计算所述重建增强图像sr的psnr值，用于评价重建增强图像sr的质量。具体来说，假设有lr、hr和sr图像。那么图像重建衡量指标psnr可由如下公式计算
[0046][0047][0048]
其中，为图像中像素值的最大值，mse表示的是两个图像对应像素差值的均方误差，假设图像长宽均为h。
[0049]
s2、利用图像超分辨网络学习所述低分辨率射频图像与高分辨率射频图像之间的映射关系。包括：基于所述低分辨率射频图像lr通过bicubic进行n倍上采样得到采样图像lr
↑
；基于所述采样图像lr
↑
和高分辨率射频图像hr构建训练数据集，以所述采样图像lr
↑
为训练样本，以所述高分辨率射频图像hr为标签对图像超分辨网络模型进行训练，所述超分辨网络模型用于学习采样图像lr
↑
和高分辨率射频真值图像hr之间的映射关系。
[0050]
优选地，图像超分辨网络训练阶段过程如下：
[0051]
1)构建训练数据集，假设雷达采集数据为hr图像，对其进行n倍下采样得到对应lr图像，对lr图像使用bicubic插值方法进行n倍上采样得到与hr图像尺寸相同的lr
↑
图像；
[0052]
2)超分辨网络是一种递归网络，网路输入输出均为图像，无需对数据集进行分类，所有数据作为一个整体训练网络模型使其能够在所有相关数据上具有适应能力。为增加训练数据量，对成对的lr
↑
和hr图像使用滑动窗提取lr-hr图像块。其中lr-hr图像块中lr部分作为训练数据，hr部分作为训练数据的标签；
[0053]
3)利用构建的lr-hr数据训练超分辨网络模型，使网络学习到lr射频图像到hr射频图像间的映射关系；
[0054]
4)基于反向传播学习方法训练深度网络，使之可以不断学习lr
↑
射频图像中不存在，而hr射频图像中存在的高频特征。
[0055]
s3、基于所述低分辨率射频图像与高分辨率射频图像之间的映射关系构建基于低分辨率射频图像的增强射频图像数据集。包括：对待增强低分辨率射频图像lr样本进行bicubic插值得到的待增强采样图像lr
↑
，将所述待增强采样图像lr
↑
输入训练好的图像超分辨网络模型中得到重建增强图像sr。
[0056]
优选地，基于图像超分辨网络重建图像的过程如下：
[0057]
1)对待放大的lr射频图像使用bicubic插值方法进行n倍放大处理，得到lr
↑
图像。可计算bicubic重建的lr
↑
射频图像的psnr值，评价重建射频图像质量；
[0058]
2)将lr
↑
图像送入训练好的超分辨网络模型中，网络输出对应的sr图像。可计算sr重建射频图像的psnr值，评价重建图像质量。
[0059]
本发明利用图像超分辨进行射频图像增强的方法工作原理如图2示，整体上分为离线训练和在线重建阶段两个阶段。假设由雷达得到的射频图像为真值hr图像，对hr图像做n倍下采样得到lr图像。离线训练阶段，对lr图像进行n倍bicubic上采样得到的lr
↑
作为训练的样本，hr图像作为标签构建数据集训练超分辨网络模型，使网络可以学习lr
↑
射频图像到hr射频图像之间的映射关系。在线估计阶段，基于神经网络训练得到的lr图像到hr图像的映射网络模型，将lr样本bicubic插值得到的lr
↑
，输入深度网络模型，网络将直接输出重建的sr图像。
[0060]
下面基于具体的应用实例，对本发明的方案和效果做进一步说明。
[0061]
本实施例的目的是基于srcnn超分辨网络的24g雷达射频图像增强，系统配置如下：
[0062]
1)使用24g毫米波雷达构建基于手势动作的射频图像。共有8类手势，每一类有120张射频图像，每张射频图像大小是96*96；
[0063]
2)在每一类射频图像中选取40张作为超分辨网络训练数据，80张作为cha超分网络模型的测试数据；
[0064]
3)放大倍数分别使用4倍、8倍。当放大倍数为4时，lr图像的尺寸为24*24；放大倍数为8倍时，lr图像的尺寸为12*12；
[0065]
4)分别对24*24和12*12大小的lr图像使用bicubic插值方法放大4倍和8倍，得到大小均为96*96的lr
↑
图像；使用窗口尺寸小于等于96*96的滑动窗在lr
↑
及其对应的hr图像对上同步裁剪lr-hr图像对，实现数据增强；
[0066]
5)超分网络模型基于srcnn网络构建，并使用残差级联结构增加网络深度，提升网络感受野。网络结构如图3所示；
[0067]
6)使用大量的lr-hr块训练超分网络，其中lr部分作为超分辨网络训练样本，hr部分作为标签；
[0068]
7)将需要超分增强的lr数据，先进行bicubic放大预处理得到lr
↑
，输入训练好的网络模型，网络的输出即lr图像对应的sr图像，同时计算sr射频图像的psnr；
[0069]
8)共有三种数据集，一种是由hr射频图像构建的数据集ground，一种是由lr
↑
射频图像构建的数据集bic_lr，一种是由sr图像构建的数据集sr_srcnn_res；
[0070]
分别在4倍、8倍超分条件下，利用ground、bic_lr、sr_srcnn_res三种数据集训练手势分类卷积神经网络，并检测分类识别精度。卷积神经网络结构如图4所示。
[0071]
任务：基于srcnn_res网络模型构建sr_srcnn_res数据集，测试卷积神经网络在上述数据集上的识别精度。
[0072]
本实施例采用python编写了12层srcnn_res超分网络，网络架构如图3所示，srcnn_res由srcnn模块使用残差结构级联而成，每个srcnn有3层；采用python编写了5层卷积神经网络，网络架构如图4所示。
[0073]
srcnn_res超分网络特性如下：
[0074]
1)超分网络由4个srcnn模块堆叠而成，模块之间使用跨连接结构连接；每个srcnn模块各层通道数为64、32、32，各层卷积核大小为9、5、5；
[0075]
2)超分网络训练采用自适应学习率的随机梯度下降学习算法；
[0076]
3)超分网络采用全卷积结构；
[0077]
4)超分网络的非线性激活函数采用relu函数，
[0078]
5)超分网络的代价函数采用重建的sr射频图像和真实hr射频图像对应像素的均方差l_mse，如下式所示
[0079][0080]
其中，hri与sri表示hr射频图像的第i个像素点的值及超分重建的sr射频图像的第i个像素点的值。
[0081]
srcnn_res超分网络离线训练阶段过程如下：
[0082]
1)训练数据集为24g毫米波雷达数据，共8类手势动作，每一类40张射频图像，每张图像大小为96*96。雷达采集射频图像视为真实hr数据。对hr图像做4倍、8倍下采样得到lr_4和lr_8，其尺寸分别为24*24、12*12。将得到的lr_4和lr_8使用bicubic插值方法分别进行4倍、8倍上采样，得到lr_4
↑
和lr_8
↑
；
[0083]
2)将得到的lr_4
↑
(样本)和对应hr(标签)构建一组数据集bic_lr_4；将得到的lr_8
↑
(样本)和对应hr(标签)构建一组数据集bic_lr_8；
[0084]
3)利用数据集bic_lr_4和数据集bic_lr_8分别训练超分网络srcnn_res，得到网络模型srcnn_res_4和srcnn_res_8；
[0085]
srcnn_res超分网络在线估计阶段过程如下：
[0086]
1)测试数据集为剩余24g雷达数据，共8类手势动作，每一类80张射频图像，每张图像大小为96*96。雷达采集射频图像视为真实hr数据。对hr图像做4倍、8倍下采样得到lr_4和lr_8，其尺寸分别为24*24、12*12。将得到的lr_4和lr_8使用bicubic插值方法分别进行4倍、8倍上采样，得到lr_4
↑
和lr_8
↑
；
[0087]
2)将lr_4
↑
和lr_8
↑
分别输入训练好的网络模型srcnn_res_4和srcnn_res_8，得到超分重建射频数据集sr_4和sr_8。
[0088]
手势分类卷积神经网络特性如下：
[0089]
1)卷积神经网络使用改进的lenet网络模型，前三层为卷积层、后两层为全连接层；卷积层的卷积核数量分别为8、16、32，大小都为5*5；
[0090]
2)卷积神经网络采用自适应学习率的随机梯度下降学习算法；
[0091]
3)卷积神经网络的非线性激活函数采用relu函数，
[0092]
4)卷积神经网络的代价函数采用估计的手势类别与真实手势类别向量的交叉熵l_ce，如下式所示
[0093][0094]
其中，n表示手势类别，yi和表示第i类真实手势的向量及估计的手势的向量。
[0095]
卷积神经网络离线训练阶段过程如下：
[0096]
1)在超分阶段共得到三种数据集，分别为ground真实数据、bic_lr插值重建数据、sr_srcnn_res超分重建数据。其中，bic_lr和sr_srcnn_res又可以根据放大倍数不同分为：bic_lr_4、bic_lr_8和sr_4、sr_8。共有5个数据集。每个数据集包含8类手势，每一类包含80张射频图像，每张图像大小为96*96；
[0097]
2)对于每一类数据集，将其中的每一类手势数据中的60张用作训练数据，训练卷积神经网络，射频图像数据作为输入样本，所属类别作为标签。可以得到训练好的5类网络模型参数。
[0098]
卷积神经网络在线估计过程如下：
[0099]
1)对于每一类数据集，将其中每一类手势数据中的剩余20张作为测试数据，输入训练好的网络模型，得到手势的分类识别准确率。
[0100]
上述利用图像超分辨网络与卷积神经网络构建的5种数据集的手势识别结果如表1所示，表中给出了在放大倍数为4倍和8倍时，使用插值方法和本发明所提图像超分辨方法构建的手势数据集的识别精度情况以及在真实数据下的识别精度。同时，在图5中对各种数据集中代表同一场景的射频图像进行了可视化，hr表示真实射频图像，bic表示bicubic插值重建射频图像，sr表示srcnn_res超分重建射频图像，4和8表示放大倍数。
[0101]
表1手势识别结果
[0102] bic_lrsrcnn_resground4倍放大80.625％84.375％86.076％8倍放大78.375％81.875％86.076％
[0103]
当放大倍数为4倍时，插值数据集bic_lr、超分数据集srcnn_res和真实数据集的手势识别准确率分别为80.625％、84.375％和86.076％；当放大倍数为8倍时，插值数据集bic_lr、超分数据集srcnn_res和真实数据集的手势识别准确率分别为78.375％、81.875％和86.076％。可以看出本发明所提出了图像超分辨方法在手势识别精度上更接近真实数据，其识别精度优于传统bicubic插值方法。同时，随着放大倍数的提升，通过bicubic插值和srcnn_res超分方法重建数据集的识别精度均下降，但超分方法始终优于插值方法。上述结果表明，本发明能够获取数据集中蕴含的信息量，从而构造出更接近真实数据的数据集。
[0104]
由图5可以看出本发明提出的超分辨增强方法能够重建出更接近真实数据的射频图像。即使在放大倍数为8倍时，bicubic重建图像已发生很大失真，而本发明所提出的图像超分辨增强方法仍能够重建出比较接近真实数据的射频图像。
[0105]
本发明还公开了一种射频图像识别方法，包括：构建基于射频图像的识别任务，所述识别任务基于由上述射频图像增强方法构建的增强射频图像数据集实现。
[0106]
在本技术所提供的实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
[0107]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个
单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0108]
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0109]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0110]
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。