面向移动设备的视频超分辨率处理方法、装置、存储介质与流程

1.本发明涉及视频超分辨率处理的技术领域，尤其涉及一种面向移动设备的视频超分辨率处理方法、装置、存储介质。


背景技术：

2.现有的视频超分辨率处理严重依赖计算能力，对计算硬件提出了高要求，但是对于普通的移动设备而言，完全无法满足对视频的超分处理需求。如果将视频超分放到云端处理则虽然能够解决视频超分问题，但是超分过后的时候会变的很大，这就意味着会占据很大的带宽，从而影响视频播放体验。
3.鉴于此，如何面向移动设备实现视频的超分辨率处理，成为本领域技术人员亟待解决的问题。


技术实现要素：

4.本发明提供一种面向移动设备的视频超分辨率处理方法、装置、存储介质，以面向移动设备，实现视频的超分辨率处理。
5.为实现上述目的，本发明采用以下技术方案：一方面，提供了一种面向移动设备的视频超分辨率处理方法，包括：获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
6.可选地，所述获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，包括：获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像，对视频帧图像进行分割处理，形成大小相等的子图，所述子图的大小为像素，在本发明一个具体实施例中，m的值为112，n的值为56。
7.可选地，所述利用canny边缘检测算法对分割得到的子图进行边缘检测，包括：利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：1）对子图进行灰度提取，所述灰度提取流程为：获取子图中每个像素点的rgb颜色像素值；
将每个像素点的rgb颜色像素值转换为灰度值：其中：为像素点的灰度值；为像素点的红色分量值，为像素点的绿色分量，为像素点的蓝色分量；构造的灰度矩阵q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中；2）利用高斯滤波法对灰度矩阵q进行滤波降噪处理，所述滤波降噪处理流程为：设置尺寸为，标准差为1的高斯核，所设置的高斯核形式为：将灰度矩阵q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；在本发明一个具体实施例中，对于像素i存在如下灰度矩阵：则灰度值i的滤波降噪结果为：3）对于以任意像素u的灰度值为中心的灰度矩阵，利用sobel算子和计算像素的梯度矩阵：：：其中：表示像素u在x轴方向的梯度矩阵；表示像素u在y轴方向的梯度矩阵；4）将像素u的灰度值在矩阵中的位置表示为，表示像素u的灰度值在矩阵q的第行第列，以为中心，连接邻近灰度值，将以像素u的灰度值为中心的灰度矩阵划分为8个区域，根据和的正负大小判断的所属区域，在本发明一个具体实施例中，若和均为正值，则在0
‑
90度区域，若/，则在0
‑
45度区域；计算和，若均大于和，则像素u为边缘像
素，保留像素u的灰度值，否则将其置为0，和的计算公式为：的计算公式为：其中：表示矩阵q的第行第列的灰度值所对应像素的梯度矩阵；表示梯度矩阵乘以梯度矩阵的逆矩阵；5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）
‑
4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。
8.可选地，所述云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理，包括：云服务器接收到子图后利用深度神经对子图进行超分辨处理，所述子图的超分辨率处理流程为：1）接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征，所述浅层特征提取模块有两个卷积层构成，在本发明一个具体实施例中，每个卷积层由两个尺寸为像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：其中：为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的第i块子图；为浅层特征提取模块；表示提取的浅层特征；2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：其中：表示提取分辨率为层次的特征的网络模块，；其中每个网络模块均包含一个步长为2的卷积核和一个链接模块d，所述步长为2的卷积核用来对输入特征进行1/2的下采样，所述链接模块由n个基本卷积单元组成，且链接模块后端为一个由像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式为：
其中：表示链接模块中最后的卷积层；表示特征融合；表示链接模块的输入特征；分别为分辨率为的尺度特征；3）利用一个链接模块d对分辨率为1/8的尺度特征进行语义提取，得到子图的语义特征，所述语义提取公式为：其中：表示分辨率为1/8的尺度特征；表示利用链接模块d对输入特征进行处理；4）利用全链接模块对语义特征以及尺度特征进行特征提取处理，所述全链接模块包括5个链接模块d，所述特征提取处理公式为：其中：表示提取的浅层特征；表示全链接模块中的第i个链接模块d；表示提取的多尺度特征以及语义特征；5）将全链接模块中输出的特征以及浅层特征作为最终低分辨率子图的层次化特征g：6）利用亚像素卷积层将层次化特征卷积为超分辨率子图，其中，表示t时刻视频帧图像第i块低分辨率子图的超分辨率子图；所述亚像素卷积层将层次化特征中每个像素特征分割为个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率特征，在本发明一个具体实施例中，若r等于3，则将每个像素特征分割为一个的像素矩阵，像素矩阵中的中心为像素特征值，其余部分补0；7）利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图 进行超分处理，所述全局低秩正则化视频超分处理的目标函数为：其中：
为最终超分辨处理后的超分辨率子图；为层次化特征卷积得到的超分辨率子图；表示t时刻视频帧图像中的第i块低分辨率子图，以及分别为的前一帧和后一帧；分别为控制系数；利用l
‑
bfgs算法对目标函数进行优化求解：将目标函数转化为：通过迭代的方式，得到的近似值：其中：i为单位矩阵；；；为单位矩阵；t表示转置；为转化函数的导数；为转化函数二阶导数的倒数；将作为的值，并计算得到，利用迭代法求解得到的最终超分辨处理后的超分辨率子图为：其中：为；最终得到视频帧图像第i块低分辨率子图在不同时刻的超分辨率子图序列为。
9.可选地，所述利用huffman编码方法对超分辨处理后的子图进行编码，包括：11）通过matlab扫描获取超分辨率处理后子图的每个像素在rgb颜色通道的二进制强度值，将二进制的颜色强度值作为huffman编码信源，其中，表示视频帧图像第i块低分辨率子图在不同时刻的子图；2）对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重，在本发明一个具体实施例中，对12位二进制序列 001101101001 按照2位一组进行扫描读取，结果为 00、11、01、10、10 和 01，获得的信源符号有 00，11，01 和 10 四种，其概率分别为 0.17，0.17，0.33 和 0.33；若按照 3 位一组进行扫描读取获取结果为 001，101，101 和 001，获得的信源符号有 001 与 101 两种，其概率均为 0.5；
3）分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；4）对新的排序结果重复进行步骤3）所做操作；5）重复上述过程，直到所有信源符号均分配获得了相应码元；6）从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；7）将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。
10.可选地，所述将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频，包括：移动设备接收到编码子图后对编码子图进行解码处理，所述解码操作为编码操作的逆过程，得到超分辨处理后子图中每个像素的二进制rgb颜色强度值，并根据每个像素的颜色强度值，利用matlab将像素组合为超分辨处理后子图；将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
11.此外，为实现上述目的，本发明还提供一种视频超分辨率处理装置，所述装置包括：视频帧图像获取装置，用于获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图；图像处理器，用于利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序；视频超分辨率处理装置，用于将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理, 利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备; 移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
12.此外，为实现上述目的，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有视频超分辨率处理程序指令，所述视频超分辨率处理程序指令可被一个或者多个处理器执行，以实现如上所述的面向移动设备的视频超分辨率处理方法。
13.相对于现有技术，本发明提出一种面向移动设备的视频超分辨率处理方法，该技术具有以下优势：首先，本方案在云服务器实现视频的超分辨率处理，降低了视频处理的高性能设备需求，并将超分辨率处理后的视频图像发送到移动端，实现了移动端的超分辨率处理, 降低了视频超分处理的代价，提高视频播放的用户体验。同时本方案提出一种基于深度神经网络的超分辨率处理方案：接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征，所述浅层特征提取模块有两个卷积层构成，每个卷积层由两个尺寸为像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：
其中：为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的第i块子图；为浅层特征提取模块；表示提取的浅层特征；利用多分辨率模块提取浅层特征的多分辨率尺度特征：浅层特征的多分辨率尺度特征：浅层特征的多分辨率尺度特征：其中：表示提取分辨率为层次的特征的网络模块，；其中每个网络模块均包含一个步长为2的卷积核和一个链接模块d，所述步长为2的卷积核用来对输入特征进行1/2的下采样，所述链接模块由n个基本卷积单元组成，且链接模块后端为一个由像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式为：出形式为：其中：表示链接模块中最后的卷积层；表示链接模块的输入特征；分别为分辨率为的尺度特征，相较于传统方案，本方案通过提取多分辨率特征，不同分辨率特征包含了不同的感受野，从而提取到更为丰富的上下文特征，有助于重建出更准确的超分辨率图像；利用一个链接模块d对分辨率为1/8的尺度特征进行语义提取，得到子图的语义特征，所述语义特征在不改变图像分辨率的情况下，通过卷积得到尺度特征的语义信息特征表征，所述语义提取公式为：其中：表示分辨率为1/8的尺度特征；表示利用链接模块d对输入特征进行处理；利用全链接模块对语义特征以及尺度特征进行特征提取处理，由于上述特征包含了较大的感受野，但由于分辨率过低，因此本方案提出一种全链接模块，所述全链接模块包括5个链接模块d，将低分辨率特征与分辨率不改变的卷积特征并行地融合在一起，形成多层次化的特征，所述特征提取处理公式为：其中：表示提取的浅层特征；表示全链接模块中的第i个链接模块d；表示提取的多尺度特征以及语义特征；将全链接模块中输出的特征以及浅层特征作为最终低分辨率子图的层次化特征g，所述层次化特征包含了低分辨率图像
多分辨率的深层特征、浅层的细节特征以及图像语义特征，实现更好的超分辨率图像处理：利用亚像素卷积层将层次化特征卷积为超分辨率子图，其中，表示t时刻视频帧图像第i块低分辨率子图的超分辨率子图，所述亚像素卷积层将层次化特征中每个像素特征分割为个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率特征，若r等于3，则将每个像素特征分割为一个的像素矩阵，像素矩阵中的中心为像素特征值，其余部分补0，因此本方案可根据视频的分辨率情况，实现不同倍数的视频超分辨率处理。
14.且为了综合考虑视频帧图像时间维相似性，本方案将图像空间维度与时间维度解耦，并引入了范数全局低秩正则化，利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图进行超分处理，所述全局低秩正则化视频超分处理的目标函数为：其中：为最终超分辨处理后的超分辨率子图；为层次化特征卷积得到的超分辨率子图；表示t时刻视频帧图像中的第i块低分辨率子图，以及分别为的前一帧和后一帧；分别为控制系数；利用l
‑
bfgs算法对目标函数进行优化求解，即可得到基于图像空间维度与时间维度解耦的超分辨率子图。
15.同时，本方案利用huffman编码方法对超分辨处理后的子图进行编码处理，所述huffman编码方法的流程为：通过matlab扫描获取超分辨率处理后子图的每个像素在rgb颜色通道的二进制强度值，将二进制的颜色强度值作为huffman编码信源；对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重；分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；重复上述过程，直到所有信源符号均分配获得了相应码元；从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。最终将超分辨处理后子图的huffman编码结果发送到移动设备。相较于传统方案，本方案利用huffman编码实现对视频数据的压缩处理，提高视频从云端到移动设备的传输效率，从而将超分辨处理后的子图在移动端展示，并降低了对用户移动设备、网络环境的要求。
附图说明
16.图1为本发明一实施例提供的一种面向移动设备的视频超分辨率处理方法的流程示意图；图2为本发明一实施例提供的一种视频超分辨率处理装置的结构示意图；图3为本发明一实施例提供的一种移动设备原始视频帧图像；图4为本发明一实施例提供的一种超分后的移动设备超分视频帧图像；本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
17.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
18.本发明通过获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高，将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备，移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，对每一帧视频图像均进行上述处理，实现移动设备的视频超分处理。参照图1所示，为本发明一实施例提供的面向移动设备的视频超分辨率处理方法示意图。
19.在本实施例中，面向移动设备的视频超分辨率处理方法包括：s1、获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高。
20.首先，本发明获取待进行超分辨率处理的视频，并从视频中逐帧获取视频帧图像，对视频帧图像进行分割处理，形成大小相等的子图，所述子图的大小为像素，在本发明一个具体实施例中，m的值为112，n的值为56；进一步地，本发明利用canny边缘检测算法对分割得到的子图进行边缘检测，所述基于canny边缘检测算法的边缘检测流程为：1）对子图进行灰度提取，所述灰度提取流程为：获取子图中每个像素点的rgb颜色像素值；将每个像素点的rgb颜色像素值转换为灰度值：其中：为像素点的灰度值；为像素点的红色分量值，为像素点的绿色分量，为像素点的蓝色分量；构造的灰度矩阵q，按像素点的位置将每个像素点的灰度值填写到灰度矩阵中；2）利用高斯滤波法对灰度矩阵q进行滤波降噪处理，所述滤波降噪处理流程为：设置尺寸为，标准差为1的高斯核，所设置的高斯核形式为：将灰度矩阵q中的每个像素的灰度值乘以高斯核，将乘积结果作为滤波降噪后的灰度值；在本发明一个具体实施例中，对于像素i存在如下灰度矩阵：
则灰度值i的滤波降噪结果为：3）对于以任意像素u的灰度值为中心的灰度矩阵，利用sobel算子和计算像素的梯度矩阵：：：其中：表示像素u在x轴方向的梯度矩阵；表示像素u在y轴方向的梯度矩阵；4）将像素u的灰度值在矩阵中的位置表示为，表示像素u的灰度值在矩阵q的第行第列，以为中心，连接邻近灰度值，将以像素u的灰度值为中心的灰度矩阵划分为8个区域，根据和的正负大小判断的所属区域，在本发明一个具体实施例中，若和均为正值，则在0
‑
90度区域，若/，则在0
‑
45度区域；计算和，若均大于和，则像素u为边缘像素，保留像素u的灰度值，否则将其置为0，和的计算公式为：的计算公式为：其中：表示矩阵q的第行第列的灰度值所对应像素的梯度矩阵；表示梯度矩阵乘以梯度矩阵的逆矩阵；5）对每个子图的灰度矩阵中的每个灰度值进行步骤1）
‑
4），计算每个子图中所保留的边缘像素数量；边缘像素数量越多的子图，其边缘检测复杂度越高，且边缘检测复杂度越高的子图优先级越高。
21.s2、将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理。
22.进一步地，本发明将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后利用深度神经对子图进行超分辨处理，所述子图的超分辨率处理流程为：1）接收低分辨率的子图，利用浅层特征提取模块提取低分辨率子图的浅层特征，
所述浅层特征提取模块有两个卷积层构成，在本发明一个具体实施例中，每个卷积层由两个尺寸为像素的卷积核组成，且卷积层的步长为1；所述浅层特征提取的公式为：其中：为低分辨率的子图t表示低分辨率子图的时刻，i表示视频帧图像中分割出的第i块子图；为浅层特征提取模块；表示提取的浅层特征；2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：2）利用多分辨率模块提取浅层特征的多分辨率尺度特征：其中：表示提取分辨率为层次的特征的网络模块，；其中每个网络模块均包含一个步长为2的卷积核和一个链接模块d，所述步长为2的卷积核用来对输入特征进行1/2的下采样，所述链接模块由n个基本卷积单元组成，且链接模块后端为一个由像素的卷积核组成的卷积层，基本卷积单元连接起来用于提取多层次的特征，且之前所有基本卷积单元的输出特征被累加起来输入到下一个基本卷积单元，则链接模块的输出形式为：为：其中：表示特征融合；表示链接模块中最后的卷积层；表示链接模块的输入特征；分别为分辨率为的尺度特征；3）利用一个链接模块d对分辨率为1/8的尺度特征进行语义提取，得到子图的语义特征，所述语义提取公式为：其中：表示分辨率为1/8的尺度特征；表示利用链接模块d对输入特征进行处理；4）利用全链接模块对语义特征以及尺度特征进行特征提取处理，所述全链接模块包括5个链接模块d，所述特征提取处理公式为：
其中：表示提取的浅层特征；表示全链接模块中的第i个链接模块d；表示提取的多尺度特征以及语义特征；5）将全链接模块中输出的特征以及浅层特征作为最终低分辨率子图的层次化特征g：6）利用亚像素卷积层将层次化特征卷积为超分辨率子图，其中，表示t时刻视频帧图像第i块低分辨率子图的超分辨率子图，所述亚像素卷积层将层次化特征中每个像素特征分割为个更小的像素特征，从而将低分辨率子图处理为r倍的超分辨率特征，在本发明一个具体实施例中，若r等于3，则将每个像素特征分割为一个的像素矩阵，像素矩阵中的中心为像素特征值，其余部分补0；7）利用全局低秩正则化视频超分处理方法对卷积得到的超分辨子图 进行超分处理，所述全局低秩正则化视频超分处理的目标函数为：其中：为最终超分辨处理后的超分辨率子图；为层次化特征卷积得到的超分辨率子图；表示t时刻视频帧图像中的第i块低分辨率子图，以及分别为的前一帧和后一帧；分别为控制系数；利用l
‑
bfgs算法对目标函数进行优化求解：将目标函数转化为：通过迭代的方式，得到的近似值：其中：i为单位矩阵；；；为单位矩阵；t表示转置；
为转化函数的导数；为转化函数二阶导数的倒数；将作为的值，并计算得到，利用迭代法求解得到的最终超分辨处理后的超分辨率子图为：其中：为；最终得到视频帧图像第i块低分辨率子图在不同时刻的超分辨率子图序列为。
23.s3、利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备。
24.进一步地，本发明利用huffman编码方法对超分辨处理后的子图进行编码处理，所述huffman编码方法的流程为：1）通过matlab扫描获取超分辨率处理后子图的每个像素在rgb颜色通道的二进制强度值，将二进制的颜色强度值作为huffman编码信源，其中，表示视频帧图像第i块低分辨率子图在不同时刻的子图；2）对于输入的huffman编码信源进行扫描计数，确定各符号的出现频次与概率，用以确定各信源符号权重，在本发明一个具体实施例中，对12位二进制序列 001101101001 按照2位一组进行扫描读取，结果为 00、11、01、10、10 和 01，获得的信源符号有 00，11，01 和 10 四种，其概率分别为 0.17，0.17，0.33 和 0.33；若按照 3 位一组进行扫描读取获取结果为 001，101，101 和 001，获得的信源符号有 001 与 101 两种，其概率均为 0.5；3）分别为出现概率最低的两个信源符号分配码元 0 和码元 1，再将该两个信源符号对应概率相加，作为新的符号概率，与其余信源符号重新参与排序，信源符号权重越大，排序越靠前；4）对新的排序结果重复进行步骤3）所做操作；5）重复上述过程，直到所有信源符号均分配获得了相应码元；6）从排序结果的最后开始，逐级向前记录各信源符号分配所得码元内容，最终获得各信源符号的编码码字；7）将各信源符号的编码码字进行累加，累加结果即为超分辨处理后子图的huffman编码结果。
25.进一步地，本发明将超分辨处理后子图的huffman编码结果发送到移动设备。
26.s4、移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
27.进一步地，移动设备接收到编码子图后对编码子图进行解码处理，所述解码操作为编码操作的逆过程，得到超分辨处理后子图中每个像素的二进制rgb颜色强度值，并根据每个像素的颜色强度值，利用matlab将像素组合为超分辨处理后子图；
将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
28.下面通过一个算法实验来说明本发明的具体实施方式，并对发明的处理方法进行测试。本发明算法的硬件测试环境为：inter(r) core(tm) i7
‑
6700k cpu，软件为matlab2018b；对比方法为基于小波变换的视频超分辨率处理方法以及基于cnn的视频超分辨率处理方法。
29.在本发明所述算法实验中，数据集为10g的低分辨率视频。本实验通过将低分辨率视频输入到算法模型中，将视频超分辨率处理的有效性作为算法可行性的评价指标，其中视频超分辨率处理的有效性越高，则说明算法的有效性、可行性越高，所述超分辨率处理的有效性为视频帧图像实现超分辨率处理的比重、超分辨率处理过程在移动端的处理效率。
30.根据实验结果，基于小波变换的视频超分辨率处理方法的视频超分辨率处理有效性为77.62，基于cnn的视频超分辨率处理方法的视频超分辨率处理有效性为84.12，本发明所述方法的视频超分辨率处理有效性为89.26，相较于对比算法，本发明所提出的面向移动设备的视频超分辨率处理方法能够实现更有效的视频超分辨率处理。
31.发明还提供一种视频超分辨率处理装置。参照图2所示，为本实施例提供的视频超分辨率处理装置的内部结构示意图。
32.在本实施例中，所述视频超分辨率处理装置1至少包括视频帧图像获取装置11、图像处理器12、视频超分辨率处理装置13、通信总线14、以及网络接口15。
33.其中，视频帧图像获取装置11可以是pc（personal computer，个人电脑），或者是智能手机、平板电脑、便携计算机、摄像头等终端设备，也可以是一种服务器等。
34.图像处理器12至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、硬盘、多媒体卡、卡型存储器（例如，sd或dx存储器等）、磁性存储器、磁盘、光盘等。图像处理器12在一些实施例中可以是视频超分辨率处理装置1的内部存储单元，例如该视频超分辨率处理装置1的硬盘。图像处理器12在另一些实施例中也可以是视频超分辨率处理装置1的外部存储设备，例如视频超分辨率处理装置1上配备的插接式硬盘，智能存储卡（smart media card, smc），安全数字（secure digital, sd）卡，闪存卡（flash card）等。进一步地，图像处理器12还可以既包括视频超分辨率处理装置1的内部存储单元也包括外部存储设备。图像处理器12不仅可以用于存储安装于视频超分辨率处理装置1的应用软件及各类数据，还可以用于暂时地存储已经输出或者将要输出的数据。
35.视频超分辨率处理装置13在一些实施例中可以是一中央处理器（central processing unit, cpu）、控制器、微控制器、微处理器或其他数据处理芯片，包括监控单元，用于运行图像处理器12中存储的程序代码或处理数据，例如视频超分辨率处理程序指令16等。
36.通信总线14用于实现这些组件之间的连接通信。
37.网络接口15可以包括标准的有线接口、无线接口（如wi
‑
fi接口），通常用于在视频超分辨率处理装置1与其他电子设备之间建立通信连接。
38.图2仅示出了具有组件11
‑
15以及视频超分辨率处理装置1，本领域技术人员可以理解的是，图1示出的结构并不构成对视频超分辨率处理装置1的限定，可以包括比图示更多的部件，或者组合某些部件。
39.在图2所示的视频超分辨率处理装置1实施例中，图像处理器12中存储有视频超分辨率处理程序指令16；视频超分辨率处理装置13执行图像处理器12中存储的视频超分辨率处理程序指令16的步骤，与面向移动设备的视频超分辨率处理方法的实现方法相同，在此不作赘述。
40.此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有视频超分辨率处理程序指令，所述视频超分辨率处理程序指令可被一个或多个处理器执行，以实现如下操作：获取每帧的视频帧图像，并对视频帧图像进行分割，形成大小相等的子图，利用canny边缘检测算法对分割得到的子图进行边缘检测，根据边缘检测的复杂程度对子图进行优先级排序，边缘检测复杂度越高则子图优先级越高；将优先级最高的前k个子图传送到云服务器，云服务器接收到子图后基于深度神经网络对子图进行超分辨率处理；利用huffman编码方法对超分辨处理后的子图进行编码，压缩图像大小后传送给移动设备；移动设备接收到编码子图后进行解码，并将超分辨处理后的子图按照原图像位置进行拼接形成超分辨处理后的视频帧图像，并按视频帧顺序将视频帧图像拼接为视频。
41.需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
42.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
43.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。