一种高清晰度低秩电视高维信号数据的压缩及重建方法与流程

1.本发明属于图像视频处理领域与信号处理领域，特别地，涉及一种高清晰度低秩电视高维信号数据的压缩方法。


背景技术：

2.自发明电视以来，电视信号作为信息的载体获得了广阔的应用空间。在数字高清电视越来越普及的今天，电视高维信号即视频产生的速度也非常惊人，从安防行业的监控摄像，教育领域的远程课堂，到娱乐领域的游戏直播，电商行业的带货直播，高清数字电视比以往任何时候都产生了更海量的数据。这为电视高维信号的传输，存储带来了巨大的挑战。再随着4k及8k超高清视频，高动态范围和虚拟现实技术的快速推进，人们对视频质量的要求也越来越高。相应的，电视高维信号数据的压缩所起到的相对效用也越来越高，优秀的压缩方法能够保持视频质量并大幅降低数据量，从而在未来科技发展中起到重要作用。
3.国际通用的视频编解码压缩标准是itu-t颁布的h.26x系列标准。当前，各领域广泛应用的编解码标准是h.264/高级视频编码（即avc），该编码标准可以用较少的码率完成视频的传输，同时可以保证视频的质量不发生大幅下降。其继任者h.265/hevc针对高清晰度视频进行了优化，相比前代技术在压缩质量上得到提升。最新的h.266/vvc标准引入机器学习的卷积神经网络技术优化压缩质量。可见，随着硬件技术的提升和机器学习技术的发展，以卷积神经网络为代表的智能压缩技术在视频编解码方向上将发挥重要作用。
4.视频压缩编码通常采用分块压缩编码结构来尽可能提高整体压缩率，然而，基于分块压缩编码的架构会引起图像的块效应问题。由于相邻块的量化参数不同，便会导致不同的量化误差，在反量化过程中恢复的图像可能就会在块与块相邻处产生肉眼可见的不一致问题。卷积神经网络等机器学习方法就被用于块划分上，通过大量数据的训练使分块更为精确，降低不同块之间量化参数的差异性，减弱甚至消除块效应。
5.标准方法如h.266/vvc标准常采用基于块边界强度阈值的优化方法，即如果边界两侧的像素值发生高度变化，此时相邻块量化参数的不一致不会引起明显的图像不一致现象，这种状态的边界就不需要优化；而平坦区域的不连续块边界更容易引起人注意，此时的边界就需要采用卷积神经网络等机器学习算法优化。通过上述方法重新对分块进行优化。块边界强度与图像变化程度、即梯度强相关；块边界的特点是像素梯度变化大，而自然边界的特点中也包含了这一点，这就容易造成混淆；使得部分自然边界也被卷积神经网络“优化”，造成信号噪声比的下降。因此需要对块划分的标准作进一步改进。
6.此外，在接收端进行解码恢复时，使用常规神经网络模型根据压缩图像进行直接重建解码恢复，直接得到重建帧图像。但这样对于处理器算力要求较高，且精度受限于神经网络结构的复杂度，因此目前解码恢复的清晰度还有进一步提高的空间。


技术实现要素：

7.本发明提出一种高清晰度低秩电视高维信号数据的压缩方法，与经典分块优化方
法相比，其在发送端采用视频块的秩信息对分块标准进行优化，把内容相似的块进行合并，提高分块的精确度；并在接收端采用与之对应的优化的神经网络模型和计算方法，解决人工分块和自然边界的边界强度混淆问题，进一步提高压缩质量，降低运算量。
8.一种高清晰度低秩电视高维信号数据的压缩及重建方法：步骤1：电视高维信号的分块低秩性测试与优化设原始帧图像为，以内部某一像素为基准，可以将分成左上、右上、左下、右下四个子图，形成四叉树结构的子图集合。以此类推，在每个子图内部，也可以找到一基准像素，进一步划分子图，从而四叉树的深度即增加1；设四叉树的深度为，则在四叉树的叶节点上，图像被划分为张子图，即编码块；对上述每一个编码块，进行奇异值分解后得到：，其中表示的第个奇异值；计算编码块的最优秩：：表示满足对数式大于0的参数的最小值；如果相邻编码块的最优秩相等，则将两个相邻编码块合并为一个编码块，其最优秩等于原最优秩；如果合并后的编码块完全共享同一矩形边界，且最优秩相等，则将两个编码块进一步合并为一个编码块，其最优秩等于原最优秩；步骤2：基于分块低秩性测试与优化方法的电视高维信号压缩；步骤3：基于神经网络模型的图像滤波重建神经网络包括4个隐藏层和一个输出层；输出层输出残差图像；得到残差图像后，将输入的原图像和得到的残差图像做差，即可实现重建；其中，神经网络模型的第一个隐藏层由一组卷积定义，即：其中其中为一组卷积模板，模板尺寸是5*5，表示卷积模板中元素的相对坐标，表示线性截距；为激励函数，系数用于提高模型对特定数据集的分类正确率，参数用于防止模型过拟合。
9.步骤1、步骤2在发送端实施。
10.步骤1、步骤2在发送端的处理器中实施。
11.步骤1、步骤2在发送端的服务器中实施。
12.步骤3在接收端实施。
13.步骤3在接收端的处理器中实施。
14.步骤3在接收端的服务器中实施。
15.还包括传输步骤。
16.传输步骤在传输链路中实施。
17.所述传输链路包括卫星链路、光纤链路、视频数据线链路、5g链路。
18.发明点及技术效果：1、通过对原始帧内图像的低秩特性进行测量，度量图像的信息丰富程度，为压缩分块提供客观参照依据；并根据编码块的最优秩优化分块方法，通过优化分块将分块数降低，有助于减轻块邻接处产生梯度突变的现象且保持压缩比率，同时避免传统算法中自然图像本身梯度带来的人工分块和自然边界的边界强度混淆问题。
19.2、基于上述分块方法，对应优化了神经网络模型的图像滤波重建方法，根据特别设计的隐藏层（包括激励函数等）对重建图像与原图像的残差值进行优化，使重建图像在有限算力的情况下尽可能逼近原图像，从而实现压缩质量的提升。
附图说明
20.此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，并不构成对本发明的限定。在附图中：图1是四叉树子图结构示意图。
21.图2是边界完全共享示意图。
具体实施方式
22.本发明系统包括：发送端、接收端、传输链路。其中发送端用于将采集或输入的视频数据进行分块和编码压缩；传输链路用于将编码压缩后的数据传输至接收端；接收端用于将接收到的数据解码恢复重建。
23.发送端和接收端中包含有处理器，也可包含服务器。
24.传输链路为卫星链路、光纤链路、视频数据线链路、5g链路等。
25.在发送端实施：（一）电视高维信号的分块低秩性测试与优化将电视高维信号按采样时间逐帧分为若干个编码块，根据编码块的低秩性测试结果对分块进行优化。
26.电视高维信号（视频）由时序上的连续帧（图像）组成，常用的压缩方法采用多叉树的方法将每帧划分为不同编码块，并针对每个区块进行分别压缩，这样可以提高压缩率；然而，非自然的分块容易产生块与块之间邻接部分产生较大的梯度突变，产生视觉上的不连续感；为了克服这一问题，本发明提出一种基于低秩性测试的编码块优化方法，利用编码块的低秩性优化分块，减轻块邻接处产生梯度突变的现象。
27.s1.1原始帧内的低秩性测试。
28.图像的秩是图像线性无关的行向量或者列向量的最大个数，即图像组成的矩阵的秩。图像的秩反映了图像中信息的丰富程度。当图像的秩较小时，表示图像中变化较为平坦或稀疏，自然的分块较少；当图像的秩较大时，表示图像中变化较为剧烈或密集，自然的分块较多。通过帧内的低秩性测试，可以反映一张图像中自然分块的特点，从而使人工分块更加趋近于自然分块。
29.图像（或其子图像）的秩不大于图像的最大行（列）数，例如一个256*256大小的图像，其秩最大为256.通过奇异值分解计算，可以将图像矩阵重构为任意秩的低秩图像，损失一部分细节信息，但保留大部分轮廓。
30.设原始帧图像为，以内部某一像素为基准，可以将分成左上、右上、左下、右下四部分（图1），形成四叉树结构的子图集合。同样，在每个子图内部，也可以找到一基准像素，进一步划分子图。按上述方法每划分一次，四叉树的深度即增加一。假设四叉树的深度为，则在四叉树的叶节点上，图像被划分为张子图，即编码块。
31.对上述每一个编码块，进行奇异值分解，即：假设图像的列数大于行数，则分解后的矩阵中包含了的个奇异值。表示的行数与列数的更小值。
32.定义：其中表示的第个奇异值。
33.计算编码块的最优秩：上式中表示自然对数，表示满足对数式大于0的参数的最小值。
34.s1.2根据编码块的最优秩优化分块。
35.如果相邻编码块的最优秩相等，则将两个相邻编码块合并为一个编码块，其最优秩等于原最优秩。
36.如果合并后的编码块完全共享同一矩形边界，且最优秩相等，则将两个编码块进一步合并为一个编码块，其最优秩等于原最优秩。
37.所述完全共享，是指两个矩形子图共享一条边界，且这条边界不被其它任何一个子图共享（图2）。
38.（二）基于分块低秩性测试与优化方法的电视高维信号压缩电视信号的发送端通过步骤1所述分块低秩性测试与优化方法减轻块邻接处产生梯度突变的现象（块效应）；并将分块后的电视高维信号数据（含原视频和分块数据）传递给压缩执行模块。
39.压缩执行模块按照分块数据，逐块对块内视频数据进行压缩、编码；并根据帧内信息、帧间信息进行进一步量化编码，形成最终的压缩码流数据。
40.在传输链路中实施：压缩码流数据由电视信号的发送方传递给接收方。
41.在接收端实施：电视信号的接收方收到压缩码流数据后，采用步骤3所述方法对压缩码流数据进行解码，最终获得重建的图像。
42.（三）基于神经网络模型的图像滤波重建根据特别设计的隐藏层对重建图像与原图像的残差值进行优化，使重建图像尽可能逼近原图像，从而实现压缩质量的提升。
43.建立并训练神经网络模型.所述的神经网络模型由输入层、输出层和隐藏层组成。神经网络的输入层是压缩编码框架经帧内预测、帧间预测后的重建帧（重建图像），输出层是与输入帧对应的预测残差，即帧修正量；通过将输入层与输出层相加可得滤波重建帧，用于压缩编码框架的后续步骤。神经网络模型的隐藏层定义如下。
44.隐藏层共有四层。
45.神经网络模型的第一个隐藏层由一组卷积定义，即：其中式4中，表示第一个隐藏层，其大小与输入层图像相同，表示元素的坐标，为一组卷积模板，模板尺寸是5*5，表示卷积模板中元素的相对坐标，且。表示线性截距。
46.函数称为激励函数，用于提高模型对线性不可分数据集的分类效果。系数用于提高模型对特定数据集的分类正确率，参数可防止模型过拟合。经过实验优选, 。
47.神经网络模型的第二个隐藏层由一组卷积定义，即：式6中，表示第二个隐藏层，其大小与输入层图像相同，表示元素的坐标，
为一组卷积模板，模板尺寸是5*5，表示卷积模板中元素的相对坐标，且。表示线性截距。定义同5.根据、两种形态的对称型模板定义的双重卷积层，相比经典的矩阵卷积层而言，可以更好的捕捉分块的边界特征，因此可以提高重建效果。
48.神经网络模型的第三个隐藏层由一组卷积定义，即：式7中，表示第三个隐藏层，其大小与输入层图像相同，表示元素的坐标，为一组卷积模板，模板尺寸是9*9，表示卷积模板中元素的相对坐标。表示线性截距。定义同5.神经网络模型的第四个隐藏层由一组卷积定义，即：式8中，表示第四个隐藏层，其大小与输入层图像相同，表示元素的坐标，为一组卷积模板，模板尺寸是17*17，表示卷积模板中元素的相对坐标。表示线性截距。定义同5.在第三、四层设置更大尺寸的卷积模板与前两层组成金字塔式的联合检测方法，可以捕捉不同尺度下的边界特征，提高重建效果。
49.神经网络的输出层与第四层连接，定义如下：式9中表示神经网络的输出层，其大小与输入层图像相同，表示元素的坐标，其每一个元素表示与输入帧对应元素的预测残差。表示第四层坐标为的元素与输出层坐标为的元素之间的线性关系权值。表示线性截距。定义同5.根据模型定义(4)-(9)，还需确定式中各项卷积模板参数、线性截距参数、线性关系权值参数。可准备若干组用于学习的样本图像，每组图像包括一张重建帧和一张残差图像，残差图像由输入的原图像和重建帧作差获得。
50.对于每组样本图像，以重建帧作为输入，根据模型可计算其输出的一张预测残差图像，与该组样本中已知的残差图像存在误差定义如下：
为线性比例系数，有助于提高检测方法对噪声的鲁棒性。作为优选，取。
51.根据式(10)，并采用bp算法，可迭代计算并使趋于极限，当达到迭代条件时，所获得参数作为式(4)-(9)的模型参数。
52.将输入的原图像和得到的残差图像做差，即可得到重建帧。
53.每组图像包括一张重建帧和一张残差图像，残差图像由输入的原图像和重建帧作差获得。
54.本发明提出一种高清晰度低秩电视高维信号数据的压缩方法，在混合压缩编码框架中的分块步骤引入低秩优化方法优化分块，改善分块效果;在滤波步骤针对分块编码的方法优化了神经网络模型，提高滤波重建的质量。以下给出本发明方法压缩信噪比对比图，与经典方法相比，本发明方法实现了更高的信号噪声比，保持了压缩率，提高了压缩质量。
55.本发明方案能达到的效果包括但不限于以下：通过对原始帧内图像的低秩特性进行测量，度量图像的信息丰富程度，为压缩分块提供客观参照依据；并根据编码块的最优秩优化分块方法，通过优化分块将分块数降低，有助于减轻块邻接处产生梯度突变的现象且保持压缩比率，同时避免传统算法中自然图像本身梯度带来的人工分块和自然边界的边界强度混淆问题。
56.基于上述分块方法，对应优化了神经网络模型的图像滤波重建方法，根据特别设计的隐藏层（包括激励函数等）对重建图像与原图像的残差值进行优化，使重建图像在有限算力的情况下尽可能逼近原图像，从而实现压缩质量的提升。
57.除此之外，实施例中记载的诸多效果，也是本发明所能够达到的效果，也是为了解决技术问题所专门设计的，同样属于本发明的发明贡献。
58.以上各种实施例仅为有限列举，由于篇幅无法穷举，因此不作为对权利保护范围的 限定，所有和上述产品、方法类似的技术方案均在本技术保护范围之内。