一种基于时空显著性融合的帧间图像编码方法与流程

1.本发明涉及图像处理技术领域，具体涉及一种基于时空显著性融合的帧间图像编码方法。


背景技术：

2.目前，伴随着h.265/hevc及其扩展编码标准的应用越来越广泛,已知的感知计算模型主要分为四类：感兴趣区域计算模型(region of interest，roi)、视觉注意模型(visual attention)、视觉敏感度模型(visual sensitivity)、交叉知觉注意模型(cross
‑
modal attention)。而感知编码方法又可分为三类：预处理方法、不可扩展编码方法、可扩展编码方法。其中，预处理方法通常在编码之前对原视频中的帧间图像进行视觉优化处理，它不需要对编码器做改动。不可扩展编码方法在进行视觉优化处理的同时需对编解码器做改动。可扩展编码方法在进行视觉优化处理时仅需对编码器做改动。评价感知编码性能的标准在于编码效率的提高或视觉质量改善，对于一些实时应用，感知模型的计算复杂度也需要验证。
3.虽然基于视觉感知的帧间图像编码研究在近年取得了很大的进展，但仍然存在不足之处。帧间图像显著性计算模型方面：目前还缺少针对帧间图像编码应用有效的计算模型。虽然国际上针对静态图像显著性研究有了很大的进展，但针对动态帧间图像显著性检测的研究还处在起步阶段，尚未形成体系。而现有的感知编码框架还不够完善，帧间图像感知器与编码器的信息交互只限于显著性目标检测，它不利于两者的信息共享（如前景和背景的划分信息、运动类型信息等）。
4.而随着大众传媒行业的发展，对于视频传输的时效性和保真度要求越来越高。基于此，对于帧间图像编码的计算模型研究还具有很大的发展空间。


技术实现要素：

5.为了完善现有技术中对帧间图像进行编码时的不足之处，本发明提出了一种基于时空显著性融合的帧间图像编码方法，包括步骤：s1：获取帧间图像并通过色差计算空间提取各个像素点的均值特征；s2：通过光流算法获取帧间图像中各像素点的时域运动矢量，并根据各像素点的时域运动矢量获取时间显著图；s3：根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；s4：根据单层图中节点与边的权重关系以及节点对应像素点的均值特征进行转移矩阵的获取；s5：根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；s6：根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；s7：根据时空显著图进行预设色阶范围内的归一化处理得到显著图；s8：根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对
帧间图像进行编码。
6.进一步地，所述时间显著图由各像素点的时间显著性值组成，其中时间显著性值的获取可表示为如下公式组：的获取可表示为如下公式组：的获取可表示为如下公式组：式中，(x，y)为像素点i的像素坐标，mv(x，y)为时域运动矢量的幅度量，mv
x
(x，y)为时域运动矢量的水平分量，mv
y
(x，y)为时域运动矢量的垂直分量；用于增强幅度量，和为常量参数；用于将增强后的幅度量归一化到预设色阶范围内，为像素点i对应的时间显著性值。
7.进一步地，单层图的节点包括瞬态节点和吸收节点，其中各节点均连接到与该节点相邻或与该节点的相邻节点共享边的瞬态节点，所述s4步骤中，还包括步骤：根据节点对应像素点的均值特征获取相邻节点之间边的权重，并对节点进行重编号。
8.进一步地，所述相邻节点之间边的权重可表示为：式中，m、n为单层图中相邻的两个节点，w
mn
为节点m和节点n之间边的权重，x
m
、x
n
分别为节点m和节点n的对应像素点的均值特征，为常数，为欧拉数。
9.进一步地，所述转移矩阵可用如下公式组表示：进一步地，所述转移矩阵可用如下公式组表示：进一步地，所述转移矩阵可用如下公式组表示：式中，为节点m重编号后的编号，为节点n重编号后的编号，a为邻接矩阵，为邻接矩阵的表达式，n(m)表示节点n与节点m连通，d为度矩阵，p为转移矩阵，t为瞬态节点的数量。
10.进一步地，所述空间显著图由各像素点的空间显著性值组成，其中空间显著性值的获取表示为如下公式组：为如下公式组：
式中，q为转移矩阵p以马尔科夫吸收链表示后的任一瞬态之间的转移概率，i是r
×
r大小的矩阵，r为吸收节点的数量，c是所有元素均为1的t维列向量，y为对应瞬态节点的吸收时间；为对应的瞬态节点重编号后的编号，为编号对应瞬态节点的吸收时间归一化向量，为空间显著性值。
11.进一步地，所述时空显著图由各像素点的时空显著性值组成，所述时空显著性值的获取可表示为公式：式中，为空间显著图的权重，为时间显著图的权重，为像素点i的空间显著性值，为像素点i的时间显著性值，为像素点i的时空显著性值。
12.进一步地，所述s8步骤中量化参数的调整可表示为公式：式中，u(x，y)为显著图中对应像素点i(x，y)的均值特征；q1和q2分别为与显著图中对应像素点i(x，y)的均值特征呈相应比例关系的控制量化参数的阈值；qp0为量化系数初始值，δqp为量化参数qp(x，y)的修正值，int为取整运算。
13.与现有技术相比，本发明至少含有以下有一些效果：（1）本发明所述的一种基于时空显著性融合的帧间图像编码方法，在考虑到图像时域、空域上运动特征的基础上，将两者相结合获取时空域显著图，并根据归一化后结果进行视频帧间图像的编码，使得感知器和编码器之间的信息交互不再仅限于显著性目标检测，而能够获得更多视频帧间图像变化过程中的前景、背景划分的变化信息，以及帧间图像的运动类型信息；（2）通过感知器和编码器之间更多信息的交互，使得编码后的压缩数据能够保留更多的相关信息，从而在对压缩数据进行解码时获得更加高清、保真的视频图像，因此可以应用于高清视频的压缩编码；（3）在提高了信息交互性的同时，通过时空显著性值动态调整编码的量化参数，从而降低编码的比特率，提高编码速度。
附图说明
14.图1为一种基于时空显著性融合的帧间图像编码方法的方法步骤图；图2为时空显著性融合示意图。
具体实施方式
15.以下是本发明的具体实施例并结合附图，对本发明的技术方案作进一步的描述，但本发明并不限于这些实施例。
16.实施例一
本发明的目的在于解决现有技术中对于视频内帧间图像编码使存在信息交互不够全面，导致数据解码过程中容易造成视频失真的问题，如图1所示，本发明提出了一种基于时空显著性融合的帧间图像编码方法，包括步骤：s1：获取帧间图像并通过色差计算空间提取各个像素点的均值特征；s2：通过光流算法获取帧间图像中各像素点的时域运动矢量，并根据各像素点的时域运动矢量获取时间显著图；s3：根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图；s4：根据单层图中节点与边的权重关系以及节点对应像素点的均值特征进行转移矩阵的获取；s5：根据转移矩阵基于马尔科夫链理论进行空间显著图的获取；s6：根据时间显著图和空间显著图间的权重关系进行时空显著图的获取；s7：根据时空显著图进行预设色阶范围内的归一化处理得到显著图；s8：根据显著图中对应像素点的均值特征动态调整量化参数，并根据量化参数对帧间图像进行编码。
17.考虑到人类自身的视觉感知系统对色差计算空间（cielab）更为敏感，为了使得编码后的视频数据，其解码后的帧间图像更加符合人类视觉感知习惯，本发明在获得视频的帧间图像后，需要先对其进行预处理：将帧间图像的颜色从rgb空间转换至色差计算空间，并计算帧间图像中各像素点在色差计算空间的均值作为每个像素点的特征。
18.既然是基于时空显著性融合的编码方法，那必然是包括时间显著性和空间显著性的。而对于时间显著性的计算，本发明是基于光流算法（lucas
‑
kanade）获取帧间图像的时间显著图。具体的，是先通过光流算法获取个像素点时域运动矢量的水平分量mv
x
(x，y)和垂直分量mv
y
(x，y)，而后就可以根据这两个分量进行时域运动矢量的幅度量mv(x，y)的获取，其公式表达式可表示为：进一步地，通过增强操作，时域运动矢量的幅度量可以进一步表示为：其中和为常量参数，而在本实施例中，的值选取为10，的值选取为2。最后，将归一化到预设色阶范围（本实施例中选取预设色阶范围为[0，255]）内，用公式表示为：而后像素点i(x，y)的时间显著性值就可通过进行表示：根据获得的各像素点时间显著性值，依据像素点在帧间图像中的坐标对时间显著性值进行对应坐标的匹配，从而就可以获得时间显著性图。
[0019]
而对于空间显著性的计算，本发明则是基于马尔科夫链显著性检测方法进行超像素级别的空间显著图获取。首先，需要根据各像素点的均值特征提取帧间图像中具有超像素特征的单层图g(v，e)，其中v和e分别代表单层图g的节点和边。同时在单层图g上，每个节点v，都需要连接到与该节点相邻或与该节点的相邻节点共享边的瞬态节点。基于此 ，相邻的两个节点m（当前节点）和节点n（与当前节点连接的瞬态节点）之间边e的权重可以定义为：式中，x
m
、x
n
分别为节点m和节点n的对应像素点的均值特征，为常数，为欧拉数。然后，就可以根据权重大小进行重编号，使得前t个编号的节点为瞬态节点，而后r个编号的节点则为吸收节点，其中t为瞬态节点的数量，r为吸收节点的数量。
[0020]
在上述基础上，还需要了解的是，单层图上的转移矩阵p是可以根据邻接矩阵a和度矩阵d计算出来的：。因此，如要计算转移矩阵p，就需要确认邻接矩阵a和度矩阵d。
[0021]
而根据相邻节点之间边的权重，邻接矩阵a可以表示为：根据连接矩阵，度矩阵d可表示为：式中，为节点m重编号后的编号，为节点n重编号后的编号，为邻接矩阵的表达式，n(m)表示节点n与节点m连通。其中，为相邻节点处于帧间图像对角线上时的情况。
[0022]
而后，根据获得的转移矩阵p，基于马尔科夫理论计算每个瞬态节点的吸收时间。那么根据本实施例重编号后节点的吸收态和瞬态，转移矩阵可表示为：其中，第一个节点的状态为瞬态，最后一个节点的状态为瞬态吸收。q为转移矩阵p以马尔科夫吸收链表示后的任一瞬态之间的转移概率，r为包含从任何瞬态移动到任何吸收状态的概率，i是r
×
r大小的矩阵，r为吸收节点的数量，c是所有元素均为1的t维列向量。对于吸收链，可以推导得到它的基本性质：矩阵，其中，为矩阵k的表达式，可以理解为链在瞬态节点n中发生瞬态吸收时花费的预期次数。假设链在瞬态m中开始，以及表示吸收前的预期次数，因此可以计算对应瞬态节点的吸收时间，即：马尔科夫链的基本思想是利用吸收马尔科夫链中的时间属性来检测显著性。虚拟
边界节点被识别为基于先验边界的吸收节点。显著性计算为吸收节点的吸收时间。在马尔科夫链显著性模型的基础上，空间显著性值可表示为：式中，为对应的瞬态节点重编号后的编号，为编号对应瞬态节点的吸收时间归一化向量，为空间显著性值。而后根据获得的各像素点空间显著性值，依据像素点在帧间图像中的坐标对空间显著性值进行对应坐标的匹配，从而就可以获得空间显著性图。
[0023]
通过上述分析与计算得到了时间显著性图和空间显著性图。其中，时间显著图反映了视频中帧间图像的动态特征，而空间显著图反映了帧间图像的静态特征，对二者进行线性融合，可以实现相互补充。设置时间显著图的权重为，空间显著图的权重为，线性融合后的时空显著值为：式中，为像素点i的时空显著性值；，，；为常量，通常取值在0.3~0.5的范围之间。
[0024]
而后根据获得的各像素点时空显著性值，依据像素点在帧间图像中的坐标对时空显著性值进行对应坐标的匹配，从而就可以获得时空显著性图。而后将像素级显著性进行预设色阶范围（[0，255]）内的归一化处理,然后将显著值赋给它包含的所有像素点，得到包含每个像素点的显著图s
map
。
[0025]
在hevc中，视频帧间图像被分成若干编码块单元，编码块的码率与量化参数qp和量化步长qp
step
密切相关，qp的取值范围为[0，51]。一般而言，量化参数qp越大，图像的失真越高。同时，视频中前景区域要增加数据资源（bit）的分配，背景区域要节省数据资源（bit）的分配。因此，本发明又提出了基于编码块显著图smap中各像素点的均值特征u(x，y)，动态得调整量化参数，使前景区域采用高qp编码，背景区域采用低qp编码，则调整后的量化参数表示为：式中，u(x，y)为显著图中对应像素点i(x,y)的均值特征；q1和q2分别为与显著图中对应像素点i(x，y)的均值特征呈相应比例关系的控制量化参数的阈值（本实施例中q1=0.5*2x，q2=0.8*2x，x为对应像素点的均值特征）；qp0为量化系数初始值，δqp为量化参数qp(x，y)的修正值，int为取整运算。
[0026]
如图2.a所示，为某一视频内的一帧帧间图像。对其进行空间显著性提取得到如图2.b所示的空间显著性图，可以看出其可以清晰的对前景区域和背景区域进行划分；而对其进行时间显著性提取则得到如图2.c所示的时间显著性图，可以看出其可以将帧间图像中的运动目标以及运动类型表示出来；而根据本发明所述的方法，将这两者结合起来，则得到
如图2.d的时空显著性图，可以完美的将前两者的信息结合起来，使得在根据显著图进行编码时能够保留更多的相关信息。
[0027]
综上所述，本发明所述的一种基于时空显著性融合的帧间图像编码方法，在考虑到图像在时域、空域上运动特征的基础上，将两者相结合得到时空域显著图，并根据归一化后结果进行视频帧间图像的编码，使得感知器和编码器之间的信息交互不再仅限于显著性目标检测，而能够获得更多视频帧间图像变化过程中的前景、背景划分的变化信息，以及帧间图像的运动类型信息。
[0028]
通过感知器和编码器之间更多信息的交互，使得编码后的压缩数据能够保留更多的相关信息，从而在对压缩数据进行解码时获得更加高清、保真的视频图像，因此可以应用于高清视频的压缩编码。在提高了信息交互性的同时，通过时空显著性值动态调整编码的量化参数，从而降低编码的比特率，提高编码速度。
[0029]
需要说明，本发明实施例中所有方向性指示（诸如上、下、左、右、前、后
……
）仅用于解释在某一特定姿态（如附图所示）下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
[0030]
另外，在本发明中如涉及“第一”、“第二”、“一”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0031]
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0032]
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。