一种应用于视频传感器网络的视频安全高效传输系统的制作方法

1.本发明涉及图像处理技术领域，尤其涉及一种应用于视频传感器网络的视频安全高效传输系统。


背景技术：

2.视频传感器网络(video sensor network，vsn)是由一组具有计算、存储和通信能力的视频传感器节点组成的分布式感知网络。它借助于节点上视频传感器感知所在周边环境的图像、视频信息，通过多跳中继方式将数据传到信息汇聚节点，汇聚节点对监测数据进行分析，实现全面而有效的环境监测。视频传感器网络就是由一定数量的具备拍摄视频图像功能的节点通过无线通信方式自组织的网络系统，用来感知、采集和处理网络覆盖区域中目标对象的信息。
3.在传统的视频流传输中，比较知名的编解码标准有国际电信联盟的h.261、h.263、h.264/avc、h.265/hevch.265编解码标准，运动静止图像专家组的m-jpeg和国际标准化组织运动图像专家组的mpeg系列标准等。这些标准的原理，就是通过去除存在视频图像数据中的大量冗余信息，如空域冗余、时域冗余、编码冗余和视觉冗余等，来降低数据之间的相关性，使用的压缩技术有帧内图像数据压缩技术、帧间图像数据压缩技术和熵编码压缩技术等。其优点是，在终端采集原始视频时，通过变换、量化、熵编码、运动估计和补偿等操作，直接进行高效编码并生成视频流进行传输。
4.但是，在编码端资源受限的情况下，如低能耗、低存储的移动无线终端，其缺点也比较明显。首先，编码端需要消耗很多能量来对原始视频进行十分复杂的编码，从而占用了大量的资源，导致其编码端的计算复杂度通常是解码端的5-10倍，这显然对于资源受限的编码端来说十分不友好。此外，由于这些协议都是公开的，所以在传输过程中数据很容易遭到窃取或篡改，并且在解码的时候会产生误码扩散的情况。
5.目前，比较常见的视频加密算法有全部加密(naive algorithm)、选择性加密(selective algorithm)等。全部加密算法也就是使用标准加密方法(比如des)加密整个视频流，没有利用视频压缩后数据流的特殊结构，这种方法虽然安全性最高，但很显然计算量巨大，很难保证视频的快速传输。对部分帧进行选择性加密的算法计算复杂度相比全部加密算法会降低，但安全性不能保证。
6.传统视频传输系统在视频传感器网络(vsn)中存在以下问题：(1)vsn采集图像、视频信息丰富且格式复杂，vsn中编码端的编码效率低；(2)vsn中的媒体信息共同服务于场景监测任务，vsn中视频传输存在安全性问题；(3)由于大数据量图像、视频等媒体的引入，视频传感器节点及网络能力(采集、处理、存储、收发、能量供应等方面)都有显著增强。为了更好地满足网络中媒体实时传输需求，传感器网络带宽资源也相应增加。但是传统的压缩感知重构过程缓慢，难以匹配vsn要求的数据量和响应速度。


技术实现要素：

7.本发明针对上述问题，提出一种应用于视频传感器网络的视频安全高效传输系统(sfe-vts)。
8.为了实现上述目的，本发明提供如下技术方案：
9.一种应用于视频传感器网络的视频安全高效传输系统，包括视频编码端和视频解码端，视频编码端被部署在vsn的传感器节点上，用于原始视频压缩和加密，视频解码端被部署在云端，利用云端计算模块对接收到的视频信号进行解密和重构，加密和解密过程基于混沌系统和基于视频帧块的压缩感知算法，视频重构基于深度学习的并行视频帧恢复算法。
10.进一步地，视频编码端进行视频压缩的过程包含对原始视频进行关键帧和非关键帧选择、自适应非关键帧分块选择、自适应采样率选择和基于混沌的视频帧分块压缩的步骤。
11.进一步地，视频压缩的过程具体为：
12.s101、把视频分为许多个视频帧组，把每个视频帧组中所有的原始视频帧分为一个关键帧i和许多个非关键帧p；
13.s102、对关键帧i进行基于分块压缩感知的采样，把关键帧按从左到右、从上到下的顺序，依次分成l个大小相同的n
×
n的块，然后对每个n
×
n的块bi使用测量矩阵φ进行采样，得到测量值yi，测量矩阵φ是由混沌系统产生的一个随机序列；
14.s103、对非关键帧p基于分块压缩感知的采样，首先判断pi帧与i帧的rmse是否大于阈值ηi，如果大于，则该视频帧组的最后一帧为p
i-1
，将计算p
i-1
帧和pi帧中bj块的标准误差(rmse)，如果bj块的rmse超过阈值η
p
，bj块被丢弃，最后编码图像块的编号将作为密钥key4被传输。
15.进一步地，步骤s101中把每个视频帧组的第一帧设为关键帧i，其余的视频帧则为非关键帧p，得到一个视频帧组为{i,p1,p2,
…
,pn}。
16.进一步地，视频编码端进行视频信号的加密过程包括混沌测量矩阵的生成、测量值的加密和系统密钥的安全传输。
17.进一步地，视频信号的加密过程具体为：
18.s201、视频编码端和视频解码端约定好混沌系统，编码端把混沌系统的初始参数当作key1进行传输；
19.s202、把第i个视频帧分割成l个大小为n
×
n的图像块b，将这些图像块的序列s经过块间置乱得到s'，其中，控制图像块序列置乱的向量a由混沌系统模块生成；
20.s203、将序列置乱后得到的图像块b'进行块内扩散。
21.进一步地，视频解码端进行视频信号的解密的过程包括系统密钥解密和加密信号解密的步骤。
22.进一步地，视频信号的解密的过程具体为：
23.s301、由生成控制图像块序列置乱的向量a和加密向量c序列的混沌系统初始参数分别作为密钥key2和密钥key3发送解码端；
24.s302、解码端接收到密钥和加密视频帧数据时，解码端的混沌系统模块会从key2和key3分别得到初始参数，并生成a、c序列；
25.s303、解密模块根据a、c序列中的加密参数，首先将加密数据e经过块内扩散逆处理；其次，将其进行块间逆置乱，最终输出已解密的测量结果y'。
26.进一步地，视频解码端进行视频恢复的过程包括基于深度压缩感知的视频帧重构、非关键帧自适应恢复和视频帧合并的步骤。
27.进一步地，视频恢复的过程具体为：
28.s401、对神经网络进行训练，训练集由视频编码端在设备初始化过程中向解码端所发送的几十或几百个视频帧组成；
29.s402、重构单元r将使用密钥key1从混沌系统模块得到测量矩阵φ，训练出不同压缩率r的卷积神经网络；
30.s403、关键帧恢复模块的每个重构单元{r1,r2,
…
,r
l
}根据测量矩阵φ和压缩率r，对同一关键帧i中的各个图像块{y
′
i1
,y
′
i2
,
…
,y
′
il
}进行并行恢复，得到重构后的图像块{b
′
i1
,b
′
i2
,
…
,b
′
il
}；
31.s404、将已恢复好的全部视频帧的图像块按照编号依次拼接得到一个完整的已解码的关键帧i'，同时，自选择图像块模块会使用密钥key4，即未采样的图像块序列，把非关键帧pi中空缺的图像块从i'中提取出来，并作为非关键帧恢复模块的输入之一；
32.s405、非关键帧恢复模块把自选择图像块模块和非关键帧深度恢复模块中已恢复的图像块组合起来，组成一帧完整的非关键帧pi'。
33.与现有技术相比，本发明的有益效果为：
34.(1)在编码端，由于一组视频帧的关键帧和非关键帧之间具有很大的信息冗余，为减低数据实际采样率，本发明提出了一个新的采样率自适应选择和非关键帧自适应采样算法。同时，该算法能防止相邻非关键帧之间恢复质量波动过大的问题。
35.(2)本发明提出了新的基于视频帧块的加密算法，相比于对整个观测矩阵进行加解密操作，能够降低计算复杂度，缩短加解密的时间。同时我们使用混沌系统所产生的混沌序列作为测量矩阵和加密算法的密钥，来提高传输方案的安全性。
36.(3)在解码端，本发明提出了一个新的基于分块压缩感知(bcs)和深度学习的视频帧恢复网络。在训练时，神经网络算法可自适应寻找合适的步长，使其收敛速度加快，从而快速的完成训练。当云端服务器接收到最早发送的少量非压缩视频帧时，重构单元会立刻进行快速训练，训练完成后便可用其恢复之后所接收的视频帧。同时在恢复的过程中，我们提出了并行恢复算法，在计算资源较为充足的情况下，可大幅提高恢复速度，极大地降低实时视频解码时延。
37.综上，本发明提出的应用于视频传感器网络的视频安全高效传输系统，基于深度压缩感知，提出视频采样算法、采样数据快速加解密算法和基于深度学习的视频快速恢复算法，与传统视频传输方案相比较，本发明可以有效解决在视频传感器网络中，视频编码端占用资源过大和传输过程安全性不高的问题。此外，由于本发明使用了深度学习的算法进行信号重建，会比基于传统压缩感知的视频传输方案，在视频恢复方面的效果和速度更好。
附图说明
38.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一
些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
39.图1为本发明实施例提供的应用于视频传感器网络的视频安全高效传输系统流程图。
具体实施方式
40.为了更好地理解本技术方案，下面结合附图对本发明的方法做详细的说明。
41.本发明提供的应用于视频传感器网络的视频安全高效传输系统(sfe-vts)如图1所示，sfe-vts的设计主要分为视频编码端和视频解码端两大部分。其中视频编码部分将被部署在vsn的传感器节点上，具有原始视频帧压缩和加密的功能。解码部分可以部署在云端，利用云端充足的计算能力对接收到的视频信号进行解密和重构。
42.在本发明所提出的系统中，第一步操作，视频压缩过程，它包含对原始视频进行关键帧和非关键帧选择、自适应非关键帧分块选择、自适应采样率选择和基于混沌的视频帧分块压缩；第二步，视频信号的加密过程，它包括混沌测量矩阵的生成、测量值的加密和系统密钥的安全传输；第三步，视频信号的解密过程，就是要对接收到的信号进行解密，该部分包括系统密钥的解密、加密信号的解密等；第四步是视频恢复过程，该过程包括基于深度压缩感知的视频帧重构、非关键帧自适应恢复、视频帧合并等，最终得到恢复视频。其中，以上四个步骤过程中的步骤1-2的过程将在编码端进行，步骤3-4的过程将在解码端进行。
43.一、视频压缩过程
44.由于视频数据中有很多相似和重复的数据或一些不影响感官的元素，我们能够通过构造关键帧和非关键帧的方式来去除这些冗余信息。在恢复过程中，非关键帧依靠关键帧进行恢复，因此整个视频恢复效果的优劣，与关键帧恢复的效果有着直接联系。传统视频编码主要通过帧内编码来减少关键帧的空间冗余信息，通过帧间编码降低非关键帧与关键帧之间的时间冗余信息，从而实现对传输数据量的压缩。但这种编码方式计算复杂度高，所以针对资源受限的编码端设备，我们利用压缩感知理论编码过程计算复杂度低的特性提出了一个新的视频压缩方法。
45.第一步，我们首先把视频分为许多个视频帧组(gop)，把每个gop中所有的原始视频帧分为一个关键帧i和许多个非关键帧p。其中i帧也可以称之为帧内编码帧，它的编码不依赖于其他的视频帧，从而能够完成独立的解码。而p帧称之为前向参考帧，它的编码和解码需要参考i帧。为了满足监控视频实时性和帧间编码低计算复杂度的要求，我们把每个gop的第一帧设为i帧，其余的视频帧则为p帧，由此可得到一个gop为{i,p1,p2,
…
,pn}。此外，我们还提出了一个自定义划分gop的算法。每个gop中视频帧总数量的大小将根据压缩率和非关键帧的恢复效果进行变化，这是因为如果gop中非关键帧的数量过多，则会导致pn帧的压缩率比较低同时恢复效果也比较差，反之同理。
46.第二步，我们开始对i帧进行基于分块压缩感知的采样。我们把关键帧按从左到右、从上到下的顺序，依次分成l个大小相同的n
×
n的块，然后对每个n
×
n的块bi都使用测量矩阵φ进行采样，得到测量值yi。每得到一个测量值yi便可以直接进行加密操作，不需要等到对整个关键帧采样完成，这样能够提高传输效率。在本文的算法中，块的大小设为33
×
33。这是因为如果块的尺寸太小，使用分块压缩感知恢复出来的图像的质量比较低。反之如果块的尺寸太大，那么视频帧重构过程中神经网络的输入向量的维度会增大，从而导致重
构算法的计算复杂度高，重构时间变长。测量矩阵φ是由混沌系统产生的一个随机序列，大小为m
×
n，其中n＝1089同时m＝r
×
n，r为压缩率。
47.最后，视频帧压缩过程是对p帧进行采样操作。在上一段中，介绍了如何使用分块压缩的方式对i帧进行编码，为了该系统编码算法的简单高效，我们对p帧也进行了一个分块压缩的操作，该操作上述i帧分块采样的方式相同。由于非关键帧与关键帧、相邻非关键帧之间具有大量相同或相似的图像信息，只有在保证算法复杂度较低的前提下，捕捉并丢弃掉越多的冗余信息，才能降低更多的视频数据传输量。因此，我们提出了一个针对p帧的采样算法，如算法1所示。
48.简单的来说，通过选择丢弃当前帧pi与关键帧i、前一帧p
i-1
十分相近或者相同的视频帧块，从而达到去除很多冗余信息的目的。在对pi帧进行采样的过程中，我们首先判断如果pi帧与i帧的均方根误差(rmse)是否大于阈值ηi。如果大于的话，则该gop的最后一帧为p
i-1
。而后我们将计算p
i-1
帧和pi帧中bj块的rmse，如果bj块的rmse超过阈值η
p
，bj块就会被丢弃，最后编码图像块的编号将作为密钥key4被传输。rmse计算过程如公式(1)所示，y和x是两个大小相同的图像，m和n分别代表图像的长和宽。
[0049][0050][0051]
二、加密和解密过程
[0052]
本系统基于压缩感知算法对视频帧进行编码和解码，而压缩感知算法本身就具有一定的安全性。我们通过公式y＝φx得到测量结果y，测量结果y可以看作是加密后得到的
数据，而测量矩阵φ就是那个加密的密钥。如果攻击者从网络中进行信息拦截得到了数据y，也无法通过视觉感官从y中直接提取到有用的原始视频中的信息。但只是依赖于压缩感知算法的加密效果，系统的安全性是不够高的，因为压缩过程是一种线性的操作，缺乏一些置乱的机制，所以易遭受选择明文攻击和已知明文攻击。因此，我们还需要可以通过一些别的加密机制来对抗这些攻击。
[0053]
自20世纪初数学家庞加莱提出“庞加莱猜想”以来，陆续出现了很多的一维和二维混沌系统，其中比较典型的有logistic映射、chebyshev映射、henon映射等。混沌现象是在非线性动力系统中表现的确定性、类随机的过程，对初始值极具敏感性，即使初始值细微的变化也会导致结果序列差距很大。此外，它还具有有界性，这个特性让我们得以使用其产生的混沌序列作为压缩感知的测量矩阵。因此，编码端和解码端在约定好混沌系统的情况下，编码端可以把混沌系统的初始参数当作key1进行传输，相比直接传输整个测量矩阵φ，密钥空间大大减小。例如采样一个1080p的视频，那么其中的一个i帧的像素大小为1920
×
1080，假如压缩比为10％，那么测量矩阵的大小则为192
×
1920，而使用混沌系统logistic映射，则只需要传输初始参数{μ,x1}、采样下标和间隔{i,t}，两者的数据量相差近100000倍。logistic映射如公式(2)所示，其中μ∈[0,4]，x∈[0,1]。
[0054]
x
n 1
＝xn(1-xn)μ
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0055]
最后，我们把视频帧中所有像素块进行块间置乱和块内扩散。块间置乱，即打乱图像块之间的顺序，得到没有规律的图像块组合，从而增加被破解的难度。加密模块的输入为混沌压缩感知模块会把第i个视频帧分割成l个大小为n
×
n的图像块b，然后加密模块则会将这些图像块的序列s经过块间置乱得到s'。其中，控制图像块序列置乱的向量a由混沌系统模块生成，且长度为l。具体步骤如下，假设某个图像块的在序列中的下标为j，而aj在序列中从小到大的排序为第k个，则将第j个图像块放在第k个位置上，由公式(3)所示。将所有图像块的位置置乱后，得到新的图像块序列。
[0056]
b'k＝bjꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0057]
为了进一步增强视频帧数据在传输过程中的安全性，使攻击者无法通过对抗选择明文攻击和已知明文攻击来破解加密后的像素块，我们将序列置乱后得到的图像块b'进行扩散处理。图像加密中，扩散处理是在不改变像素点位置的条件下，将任一明文像素点的信息隐藏在尽可能多的密文像素点中。b'经过正向扩散和反向扩散得到e，正向和逆向扩散算法如公式(4)和公式(5)所示。其中，c为加密向量，由混沌系统模块生成。
[0058][0059][0060]
在对视频帧采样结果yi和yn加密的过程中，由生成a、c序列的混沌系统初始参数将分别作为密钥key2和密钥key3发送解码端。由于无线信道的安全性较低、噪声较大，所以在本系统中为了防止密钥被攻击者轻易的获取，密钥将在安全信道中被传输，而视频采样的结果是在普通无线信道中被传输的。构建安全信道的方式有很多，比如使用非对称密码进行加密等。
[0061]
由于我们提出的是一个对称加解密方案，所以解密算法相当于加密算法的逆计算。即当解码端接收到密钥和加密视频帧数据时，解码端的混沌系统模块会从key2和key3分
别得到初始参数，并生成a、c序列。解密模块根据a、c序列中的加密参数，首先将加密数据e经过块内扩散逆处理，如公式(6)和(7)所示。其次，将其进行块间逆置乱，从而最终输出已解密的测量结果y'。
[0062][0063][0064]
三、视频重构过程
[0065]
在传统的视频编解码技术中，视频编码所耗费的时间远大于解码的时间，而基于压缩感知的视频传输系统是与之相反的。因此在sfe-vts中，首先要解决的问题是如何快速、高质量的重构视频帧，它决定了整个视频传输系统是否能够高效的运行。目前大多数实时监控视频的像素点都在100万以上，而用于道路交通监控的摄像机更是高达800万像素。传统压缩感知对于大尺寸的图像恢复速度较慢，并不适用于这种毫秒级时延的业务场景，所以为提升压缩感知算法恢复视频帧的速度，接下来我们将提出一个新的基于深度学习的并行视频帧恢复算法(dpvr)。
[0066]
在视频的重构过程中，我们还是要以gop为单位依次进行恢复。如果要想恢复出一个完整的gop，首先我们要经过块-混沌关键帧重构步骤恢复出这个gop的i帧。块-混沌关键帧重构步骤通过dpvr先把每一个视频帧的图像块恢复出来，根据块的编号顺序组成一个完整的i帧。dpvr是由许多个相同的重构单元r组成，每一个重构单元分别使用神经网络恢复一个已解密的图像块y'i，通过并行运算从而达到在几十毫秒内恢复出一个完整视频帧的目的，极大的缩短了重构的时间，解决了传统压缩感知的对于大尺寸图像恢复速度慢的缺点。因此，相比于传统压缩感知算法，dpvr将可以应用在实时视频传输的应用环境下。
[0067]
dpvr首先要对神经网络经过快速的训练。为了保证训练高效性和视频重构的可靠性，训练集是由编码端在设备初始化过程中向解码端所发送的几十或几百个视频帧组成。训练集中视频帧的具数量会根据视频像素进行相应的变化，如果视频的像素较小，则相应训练集中视频帧的数量会增加。此外，在采样条件允许的情况下，每个训练集中的相邻视频帧的采样时间间隔要尽量大一些，这是为了解码端能够得到更加的多样性的训练数据，提升重构单元r在实时工作状态下的恢复质量。而后，重构单元r将使用密钥key1从混沌系统模块得到测量矩阵φ，训练出不同压缩率r的卷积神经网络。
[0068]
在快速训练完成后，关键帧恢复模块的每个重构单元{r1,r2,
…
,r
l
}根据测量矩阵φ和压缩率r，对同一关键帧i中的各个图像块{y
′
i1
,y
′
i2
,
…
,y
′
il
}进行并行恢复，得到重构后的图像块{b
′
i1
,b
′
i2
,
…
,b
′
il
}。最后，将已恢复好的全部视频帧的图像块按照编号依次拼接得到一个完整的已解码的关键帧i'。与此同时，自选择图像块模块会使用密钥key4，即未采样的图像块序列，把非关键帧pi中空缺的图像块从i'中提取出来，并作为非关键帧恢复模块的输入之一。
[0069]
非关键帧深度恢复模块也同样经过重构单元把yn'根据各自图像块的压缩率恢复成bn'，但此时得到的只是非关键帧采样的那个部分。之后，非关键帧恢复模块把自选择图像块模块和非关键帧深度恢复模块中已恢复的图像块组合起来，组成一帧完整的非关键帧pi'。相对来说，图像块的尺寸越小，重构单元的恢复速度就越快，但是图像块尺寸过小则会导致基于分块压缩感知算法的恢复效果较差，因此我们把分块的大小设为33
×
33。
[0070]
帧组合模块将关键帧恢复模块输出的关键帧i'和非关键帧恢复模块输出的非关键帧{p1',p2',
…
,pn'}进行组合，最终我们将得到一个重构完成的gop。以上就是解码端重构过程的全部步骤，接下来本文将会介绍重构单元使用到的图像重构算法和我们所提出的一个新的神经网络。
[0071]
本发明基于快速软阈值迭代回溯算法(bfista)构造了一个新的卷积神经网络，从而实现在迭代过程中对阈值进行快速收缩，从而解决图像处理中的线性逆问题。bfista是在经典梯度类算法ista的基础上，融入了nesterov加速的近似点梯度法(nga)，使其收敛速度从线性的o(1/k)提升到o(1/k2)。其次，bfista利用回溯法不断的计算和收缩迭代步长，能够解决快速重构大尺寸视频的问题。在当前步长t满足一定条件下，bfista的每一次迭代的基本步骤，如公式(8)、(9)、(10)所示。
[0072]
xk＝γ
λt
(y
k-2ta
t
(ay
k-b))
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(8)
[0073][0074][0075]
因此，我们根据bfista算法设计出一种新型卷积神经网络结构。每次迭代的卷积网络的深度为8，卷积核大小分别为3
×3×
32，xn为已解密的某一图像块第n次迭代得到的向量结果，x'为为恢复出来的图像块。最后，深度学习模型恢复出图像数据将会经过自适应视频重构算法，得到重构后的非关键帧，最后将得到的关键帧和非关键帧进行组合，得到恢复之后的原始视频。
[0076]
本发明基于深度压缩感知，提出了一个应用于实时监控视频网络的安全、快速、高效的视频传输系统(sfe-vts)。与传统视频传输方案相比较，本发明的系统可以有效解决在编码端占用资源过大和传输过程安全性不高的问题。此外，由于本发明使用了深度学习的算法进行信号重建，会比基于传统压缩感知的视频传输方案，所恢复的效果和速度更好。
[0077]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，但这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。