一种基于短波信道传输视频的智能图像处理方法

1.本公开属于图像处理和通信技术领域，特别涉及一种基于短波信道传输视频的智能图像处理方法。


背景技术：

2.短波通讯系统无须建立中继站就可以进行长距离通讯，其装置结构简易，体积小且能够装入在汽车、船舶、航空器中实现长距离移动通讯，对天灾、战争的抗毁能力强。依照国际无线电委员会(ccir)划分，短波通信指波长在10m～100m，频率为3mhz～30mhz的电磁波无线通信。与卫星通信、有线等通信手段相比，短波通信有许多显著的优点，主要表现在：(1)用短波无线电进行远距离通信时不依赖中继站，且最远可跨上万公里进行通讯；(2)短波通信对电子元件要求较低，其设备部件制作工艺较为成熟，价格低，便于更换。使用时不需要向第三方支付费用；(3)设备结构简单、体积小、安装和转移均很便捷，既可定点通讯，也可由人员携带或安装在车辆内进行移动通讯。基于这些优点，短波通信在军事国防、抗灾救援、野外作业等领域都有广阔的应用前景。
3.但是,短波通讯也具有较大的劣势,如极低的传输速度。但每个短波电台只占用3.7khz的频率宽度，其单载波短波数据传输速率不高于9.6kbit/s。现实中一张高清摄像头拍摄的彩色图像，采用各种成熟的图片格式压缩后，其数据大小几百kb。因此利用短波通信信道进行实时视频传输的研究多年来一直未有大的突破。然而目前ai技术的创新发展将为基于短波通信的视频传输带来可能。


技术实现要素：

4.为了解决上述技术问题，本公开揭示了一种基于短波信道传输视频的智能图像处理方法，包括如下步骤：
5.s100：短波电台发送端对摄像头输入的视频数据进行低频采样，目标检测并提取roi，提取边缘并转为二值图像，将所述二值图像下采样后采用无损格式进行无损压缩编码，通过短波电台将码流逐帧发送到短波电台接收端；
6.s200：短波电台接收端逐帧将所接收的码流进行格式解码，生成二值图像，再使用生成对抗网络对所述二值图像进行超分辨率重建，生成roi边缘轮廓图像，利用光流法进行插帧，获得roi视频。
7.通过上述技术方案，经过短波电台发送端，对摄像头输入的视频数据进行roi信息提取及编码，并将码流以逐帧方式发送出去；再经过短波电台接收端，对接收的码流进行roi信息解码及重建，恢复并生成roi视频从而实现一种基于短波信道传输视频的智能图像处理方法。本方法具有实时性好、传输带宽窄、压缩比高的特点，解决了短波信道传输视频的难题。该方法可广泛用于短波通信，在国防军工、抗灾救援、野外作业等领域都有广阔的应用前景。
附图说明
8.图1是本公开一个实施例中所提供的一种基于短波信道传输视频的智能图像处理方法流程图；
9.图2是本公开一个实施例中所提供的一种png图像压缩流程图；
10.图3是本公开一个实施例中所提供的一种用于超分辨率重建的对抗生成网络(gan)网络结构示意图；
11.图4是本公开一个实施例中所提供的一种生成器g网络结构示意图；
12.图5是本公开一个实施例中所提供的一种生成器g网络中基础块网络结构示意图；
13.图6是本公开一个实施例中所提供的一种生成器g网络基础块中密集残差块结构示意图。
具体实施方式
14.为了使本领域技术人员理解本公开所披露的技术方案，下面将结合实施例及有关附图1至图6，对各个实施例的技术方案进行描述，所描述的实施例是本公开的一部分实施例，而不是全部的实施例。本公开所采用的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，“包括”和“具有”以及它们的任何变形，意图在于覆盖且不排他的包含。例如包含了一系列步骤或单元的过程、或方法、或系统、或产品或设备没有限定于已列出的步骤或单元，而是可选的还包括没有列出的步骤或单元，或可选的还包括对于这些过程、方法、系统、产品或设备固有的其他步骤或单元。
15.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本公开的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其他实施例互斥的独立的或备选的实施例。本领域技术人员可以理解的是，本文所描述的实施例可以与其他实施例相结合。
16.参见图1，在一个实施例中，本公开揭示了一种基于短波信道传输视频的智能图像处理方法，包括如下步骤：
17.s100：短波电台发送端对摄像头输入的视频数据进行低频采样，目标检测并提取roi，提取边缘并转为二值图像，将所述二值图像下采样后采用无损格式进行无损压缩编码，通过短波电台将码流逐帧发送到短波电台接收端；
18.s200：短波电台接收端逐帧将所接收的码流进行格式解码，生成二值图像，再使用生成对抗网络对所述二值图像进行超分辨率重建，生成roi边缘轮廓图像，利用光流法进行插帧，获得roi视频。
19.就该实施例而言，本方法能够基于短波电台9.6kbit/s带宽下发送并接收低分辨率视频。发送端，对摄像头拍摄的视频进行低频采样，目标检测并提取roi(感兴趣)图像区域，提取边缘信息并转为二值图像，进一步下采样后采用png8格式的无损压缩编码，最后通过短波电台将码流逐帧发送出去。接收端，先逐帧将接收的码流进行png8格式解码，生成二值图像，再通过生成对抗网络(gan)超分辨率重建方法生成roi边缘轮廓图像，最后利用光流法进行插帧，获得roi视频。
20.在另一个实施例中，步骤s100进一步包括如下步骤：
21.s101：对摄像头输入的视频数据进行低频采样，生成关键帧图像；
22.s102：对所述关键帧图像进行目标检测，提取出roi，经缩放后转为固定分辨率的roi图像；
23.s103：对所述roi图像进行边缘检测，生成二值化roi边缘图像；
24.s104：对所述二值化roi边缘图像进行下采样从而降低分辨率，然后进行串并转换，生成字节表示的二值化roi边缘图像；
25.s105：对所述字节表示的二值化roi边缘图像采用png8格式的无损压缩编码，生成压缩后的码流；
26.s106：通过短波电台将所述码流逐帧发送到短波电台接收端。
27.就该实施例而言，s101中对摄像头输入的视频数据进行低频采样，每秒采集n帧关键帧图像。
28.s102中的所述的目标检测方法，可以传统的目标检测方法，比如基于光流、基于帧间差分、基于背景减除、基于模板匹配的检测方法，也可以采用基于深度学习的检测方法，比如单阶段以yolo系列、ssd为代表，模型简单，速度快；双阶段以faster r-cnn为代表，模型更复杂，精度更高但速度较慢；一个实例中，目标检测方法采用yolov5检测方法。所述roi图像区域，通过目标检测方法，自动检测出图像中的人、车、无人机等目标物体，将目标物体所在图像区域提取出来，再经过图像缩放转为固定分辨率(x*y)的roi图像。
29.s103：对roi图像进行边缘检测，生成二值化roi边缘图像(1表示边缘，图像分辨率为x*y)；
30.s104：对二值化roi边缘图像进行下采样，并按水平或垂直方向按8个1bits像素(0/1二值化像素)进行串并转换、合成一个8bits像素(1个字节)，生成字节表示的二值化roi边缘图像；
31.所述的串并转换，即将8个1bits像素(0/1二值化像素)打包，合成为一个8bits像素(1个字节)，转为分辨率(u/8)*v或u*(v/8)大小、字节表示的二值化roi边缘图像；
32.s105中所述的png8格式编码是传统静态图像无损压缩的代表性算法，主要包括预测编码和压缩两个步骤，具体压缩过程见图2；
33.s106：通过短波电台将码流逐帧发送出去。
34.在另一个实施例中，步骤s200进一步包括如下步骤：
35.s201：短波电台接收端按帧接收短波电台发送端发送的码流；
36.s202：对所述码流按帧进行png8格式无损解码，恢复出字节表示的二值化roi边缘图像；
37.s203：将所述字节表示的二值化roi边缘图像，按并转串方式恢复出下采样后的低分辨率的二值化roi边缘图像；
38.s204：利用生成对抗网络对所述低分辨率的二值化roi边缘图像进行超分辨率重建，得到原始分辨率的二值化roi边缘图像；
39.s205：将所述原始分辨率的二值化roi边缘图像作为关键帧，采用光流法进行插帧，获得roi视频。
40.就该实施例而言，s202中对接收的码流按帧进行png8格式无损解码，恢复出字节表示的二值化roi边缘图像(分辨率为(u/8)*v或u*(v/8))；s203：将字节表示的二值化roi边缘图像，每个像素8bits按并转串方式恢复成8个1bits像素(0/1表示二值化像素)，恢复
出二值化roi边缘图像；所述的并转串，将每个像素8bits转为8个1bits像素(0/1表示二值化像素)，即原分辨率为(u/8)*v或u*(v/8)、字节表示的二值化roi边缘图像转为分辨率为u*v的二值化roi边缘图像；s204：对二值化roi边缘图像通过生成对抗网络(gan)超分辨率重建方法，重建出roi边缘轮廓图像。
41.在另一个实施例中，步骤s101中所述关键帧图像的生成具体为：或者从视频数据中等间隔每隔k帧采样一幅图像作为关键帧图像，其中k为整数，或者按基于场景变化、基于运动分析和基于视频聚类的方法选取关键帧图像。
42.在另一个实施例中，步骤s103中所述边缘检测采用canny边缘检测方法。
43.就该实施例而言，所述边缘检测方法，采用简洁有效且可根据需要调节检测阈值来改变边缘提取效果的canny边缘检测方法；
44.在另一个实施例中，步骤s104中所述下采样为对原分辨率x*y的二值化roi边缘图像按水平、垂直方向等比例的缩小为分辨率u*v的二值化roi边缘图像，其中，x、y为原图像的长、宽，u、v为下采样后图像的长、宽。
45.在另一个实施例中，步骤s204中的所述用于超分辨率重建的对抗生成网络包含生成器网络g与判别器网络d。
46.就该实施例而言，所述的用于超分辨率重建的对抗生成网络(gan),其网络结构如图3。该网络包含生成器网络g与判别器网络d，二者均卷积神经网络。生成器的作用是接收一张下采样后的二值化roi边缘图像，输出一张roi边缘轮廓图像，该输出结果要与下采样前的二值化roi边缘图像尽可能相似。判别器的作用是判断生成器生成的图像与原图像的相似度。两个网络共同训练与迭代。
47.在另一个实施例中，所述生成器网络g包括：特征提取网络、三个基础块网络和上采样网络，其中，每一个基础块网络由三个密集残差块和一条残差边构成，每个密集残差块都由五个卷积层与四个激活层组成。
48.就该实施例而言，所述生成器g网络结构，见图4，共包括以下几部分：低分辨率边缘图像首先会经过特征提取网络，通过一个卷积层与一个激活层，提取出图像中的浅层特征，并且在卷积层中将特征的通道数扩充到64。在浅层特征提取网络之后连接的是三个基础块网络结构，每一个基础块由三个密集残差块和一条残差边构成，见图5，每个密集残差块都由五个卷积层与四个激活层组成，见图6。生成网络的最后部分是上采样网络，此部分由反卷积层构成。经过上采样网络后，图像的长，宽均变为原来的k倍，从而将原u*v分辨率的二值化roi边缘图像提升至下采样前的x*y分辨率的roi边缘轮廓图像。
49.在另一个实施例中，对抗生成网络的损失函数具体为：
50.loss＝λ
γ
l
γ
λ
α
l
α
51.其中,l
γ
是重建损失，l
α
是对抗损失，λ
γ
和λ
α
表示重建损失和对抗损失的对应的权重系数。
52.就该实施例而言，经过下采样并恢复的roi边缘轮廓图像与下采样前的二值化roi边缘图像同时输入判别器网络d，d输出一个0-1之间的值，代表其是否相信这两张图像是同样的图像。对于生成网络g,重建出的图像要尽可能欺骗判别网络d，即:
53.maxlog
10
(d(g(z)))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
54.对于判别网络d来说,其学习的目的是使自身被g欺骗的概率最小化,即:
[0055][0056]
式(2)中l
α
表示对于判别神经网络来说重建出的图与原图之间的差异，即对抗损失，由判别网络d输出。重建损失用于衡量重建出的图与未经采样的原图之间的纹理上的差异，对抗损失利用对抗神经网络偏向于衡量重建出的图片与原图在结构上的差异。为使神经网络恢复的图像与原图在各方面更相近，本方法中设定损失函数为：
[0057]
loss＝λ
γ
l
γ
λ
α
l
α
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0058]
式(3)中,l
γ
是重建损失，即复原图像与原图像的mse，λ
γ
和λ
α
表示重建损失和对抗损失的对应的权重系数,比如分别设置为0.85和0.15。此网络在经过边缘提取处理后的数据集上进行训练，对训练集中的边缘图像下采样作为生成器网络的输入，将未经采样的边缘图像与生成器生成的图像同时输入判别器。生成器与判别器同时训练达到“对抗博弈”的目的。
[0059]
在另一个实施例中，步骤s205进一步包括如下步骤：
[0060]
s2051：采用l-k方法对图像进行光流计算，根据相邻关键帧得到每个像素的运动路径；
[0061]
s2052：在所述像素的运动路径上取等分点，生成中间帧；
[0062]
s2053：将所有帧在时间域上连接成roi视频。
[0063]
就该实施例而言，考虑到每个关键帧都锁定在目标检测出的物体上，关键帧之间的空间信息变化在时间上具有连续性，相邻两个关键帧之间出现大幅度变化的概率低，本方法采用光流法在相邻两关键帧之间插入m个预测帧，最终达到一共每秒n帧，生成具有较为流畅观感的roi视频。l-k方法为lucas-kanada方法。
[0064]
尽管以上结合附图对本发明的实施方案进行了描述，但本发明并不局限于上述的具体实施方案和应用领域，上述的具体实施方案仅仅是示意性的、指导性的，而不是限制性的。本领域的普通技术人员在本说明书的启示下和在不脱离本发明权利要求所保护的范围的情况下，还可以做出很多种的形式，这些均属于本发明保护之列。