图像处理方法及图像处理装置与流程

1.本技术是关于一种图像处理方法及图像处理装置，特别是关于一种改善运动向量(motion vector)的估测的图像处理方法及图像处理装置。


背景技术：

2.在图像处理的领域中，进行帧速率转换(frame rate conversion，frc)时，可通过运动估测(motion estimation，me)计算出运动向量，经过处理后再交由运动补偿(motion compensation，mc)来产生两张原始画面的间的内插画面，以使得影像画面更为平顺。
3.然而，在画面移动速度过快，或者在硬件成本有限而无法提高计算量时，可能导致影像画面出现破碎(broken)、毛边(edge shaking)或顿挫(judder)的情形。因此，针对运动向量的估测，如何兼顾计算成本和精准度为本领域的重要课题。


技术实现要素：

4.本技术的一个方面是关于一种图像处理方法，包含：将当前画面和参考画面缩小尺寸；将缩小后的当前画面切分为多个第一当前区块；将缩小后的参考画面切分为多个第一参考区块；将第一当前区块和第一参考区块进行第一运动估测以产生分别对应于第一当前区块的多个第一运动向量；将当前画面切分为多个第二当前区块；将参考画面切分为多个第二参考区块；将第二当前区块和第二参考区块进行第二运动估测以产生分别对应于第二当前区块的多个第二运动向量；以及根据所述第二运动向量产生该当前画面和该参考画面的间的一补帧画面。第二运动估测包含：针对第二当前区块的每一者进行三维递归搜寻；以及根据第一运动向量调整在三维递归搜寻中的多个估测参数。
5.本技术的另一个方面是关于一种图像处理装置。图像处理装置包含运动估测处理器和运动帧率转换器。运动估测处理器，用以执行以下操作：将当前画面和参考画面缩小尺寸；将缩小后的当前画面切分为多个第一当前区块；将缩小后的参考画面切分为多个第一参考区块；将第一当前区块和第一参考区块进行第一运动估测以产生分别对应于第一当前区块的多个第一运动向量；将当前画面切分为多个第二当前区块；将参考画面切分为多个第二参考区块；以及将第二当前区块和第二参考区块进行第二运动估测以产生分别对应于第二当前区块的多个第二运动向量。在第二运动估测中，运动估测处理器用以执行：针对第二当前区块的每一者进行三维递归搜寻；以及根据第一运动向量调整在三维递归搜寻中的多个估测参数。运动帧率转换器耦接运动估测处理器。运动帧率转换器用以根据第二运动向量产生当前画面和参考画面的间的补帧画面。
6.综上所述，经由图像处理装置的运动估测处理器根据图像处理方法进行运动估测，便能提升取得运动向量的效率和精准度。因此，在维持或降低运算成本的条件下，可有效降低影像画面出现破碎、毛边或顿挫的情形。
附图说明
7.图1为根据本技术的实施例的一种图像处理装置的示意图。图2为根据本技术的实施例的一种影像所包含的连续画面的示意图。图3为根据本技术的实施例的一种图像处理方法的流程图。图4为根据本技术的实施例的一种运动估测处理器的功能方块图。图5为根据本技术的实施例的一种缩小影像尺寸的示意图。图6为根据本技术的实施例的一种第一和第二运动估测的功能方块图。图7为根据本技术的实施例的一种搜寻窗口和候选向量的示意图。
具体实施方式
8.下文是举实施例配合所附图式作详细说明，但所描述的具体实施例仅用以解释本案，并不用来限定本案，而结构操作的描述非用以限制其执行的顺序，任何由组件重新组合的结构，所产生具有均等功效的装置，皆为本技术所涵盖的范围。
9.请参考图1。图1为根据本技术的实施例的一种图像处理装置100的示意图。如图1所示，图像处理装置100包含缓冲器110、运动估测处理器(motion estimation processor)120和运动帧率转换器(motion compensation frame rate converter)130。结构上，缓冲器110连接运动估测处理器120和运动帧率转换器130。
10.操作上，缓冲器110用以接收影像输入信号vin进行缓冲处理后传送至运动估测处理器120及/或运动帧率转换器130。运动估测处理器120用以接收影像输入信号vin并进行运动估测(motion estimation，me)后传送相应信号至运动帧率转换器130。运动帧率转换器130用以根据接收到的信号进行帧(frame)内插补偿，并输出帧率转换后的影像输出信号vout。
11.举例来说，如图2所示，帧fk-1和帧fk为图像处理装置100所接收到的影像输入信号vin中任两个相邻的画面。运动估测处理器120将帧fk-1和帧fk以i乘j为单位切割成多个区块(block)，并利用三维递归搜寻(3d recursive search)找出每个区块的最佳运动向量(best motion vector)传送至运动帧率转换器130。
12.进一步详细而言，在进行一次扫描(scan)时，运动估测处理器120对于整个画面的每一个区块根据各种画面变化的特性在搜寻窗口(search window)的范围内产生各种运动向量的候选者(candidate)，例如：零(zero)、空间(spatial)、时间(temporal)、全局(global)等候选向量，并从中计算出匹配度最高者作为此区块的运动向量。接着，运动估测处理器120会将每一次扫描所取得的每个区块的运动向量再加上一个随机(random)向量作为下一次进行扫描的初始向量，藉此经由多次的扫描以收敛出每个区块的最佳运动向量。
13.之后，运动帧率转换器130根据帧fk-1、帧fk和每个区块的最佳运动向量产生帧fk-1和帧fk之间的补偿画面。例如，若最佳运动向量大致为由左下至右上的向量，则根据位于帧fk-1中左下角的圆形和位于帧fk中右上角的圆形，可产生如帧fc1～fc4所示的补偿画面。换言之，经过图像处理装置100利用图像处理方法后所输出的影像输出信号vout将包含帧fk-1、帧fc1～fc4和帧fk。
14.在加上随机向量时，若随机向量的长度(step)太短，可能要经过多次扫描才能触及到相匹配的区块。若随机向量的长度太长，过大的随机数可能导致无法收敛。此外，当画
面的内容移动过快时，即使加长随机向量的长度也不一定可以收敛到精准的运动向量。因此，本案提出下述图像处理方法以提高运动向量估测的收敛速度和精准度。
15.请参考图3。图3为根据本技术的实施例的一种图像处理方法300的流程图。为方便及清楚说明起见，下述图像处理方法300将配合图1～图7所示实施例进行说明，但不以此为限，任何熟习此技艺者，在不脱离本案的精神和范围内，当可对其作各种更动与润饰。如图3所示，图像处理方法300包含操作s310、s320、s330、s340以及s350。
16.首先，在操作s310中，将当前画面和参考画面分别缩小尺寸(scale down)以产生n层当前画面和n层参考画面。具体而言，如图4和图5所示，帧fn为图像处理装置100所接收到的影像输入信号vin中的一帧当前画面，帧ffn为相应于帧fn的参考画面。帧fn-1和帧ffn-1分别为帧fn和帧ffn经过一次缩小尺寸后的画面。依此类推，帧f1和帧ff1分别为经过n-1次缩小尺寸后的画面。举例来说，缩小尺寸的倍率可为1/2倍或1/4倍，但本案不以此为限。此外，如图5所示，作为参考画面的帧ffn和当前画面的帧fn可为影像输入信号vin中相邻的两帧画面，但本案不以此为限。
17.接着，在操作s320中，将每一层的当前画面和参考画面分别切分为多个当前区块和多个参考区块。具体而言，第一层的当前画面f1切分为多个第一当前区块。第一层的参考画面ff1切分为多个第一参考区块。第二层的当前画面f2切分为多个第二当前区块。第二层的参考画面ff2切分为多个第二参考区块。依此类推，第n层的当前画面fn切分为多个第n当前区块。第n层的参考画面ffn切分为多个第n参考区块。
18.接着，在操作s330中，将第1层的当前区块和第1层的参考区块进行第一运动估测以产生分别对应于第1层当前区块的多个第一运动向量。具体而言，如图4所示，将帧f1的当前区块和帧ff1的参考区块进行第一运动估测1me以产生第一运动向量mv1。
19.举例来说，如图6所示，第一运动估测1me是利用三维递归搜寻法(3d recursive search)的多次扫描以收敛出第一运动向量mv1。在第一次扫描中，每个当前区块各自根据初始向量v10在相应的搜寻窗口内产生多个候选向量，计算并比较这些候选向量的匹配度。将匹配度最高的候选向量作为相应于当前区块的匹配向量v11。接着，在第二次扫描中，将匹配向量v11调整后作为新的初始向量v11b进行运算以产生新的匹配向量v12。依此类推，经过i次扫描后所收敛的匹配向量v1i即为第一运动向量mv1。在部分实施例中，匹配度的计算可利用绝对误差和(sum of absolute differences，sad)据以实施，但本案不以此为限。
20.接着，在操作s340中，将第2层的当前区块和第2层的参考区块进行第二运动估测以产生分别对应于第2层当前区块的多个第二运动向量，其中根据第1层画面的第一运动向量调整第二运动估测的估测参数。具体而言，如图4所示，将帧f2的当前区块和帧ff2的参考区块进行第二运动估测2me以产生第二运动向量mv2，其中根据第一运动向量mv1调整第二运动估测2me的估测参数。
21.举例来说，如图6所示，相似于第一运动估测1me，第二运动估测2me也是利用三维递归搜寻法的多次扫描以收敛出第二运动向量mv2。除此之外，在第二运动估测2me中，将根据第一运动向量mv1调整估测参数，例如：随机向量的方向和长度、对候选向量的处罚、搜寻窗口的大小。
22.详细而言，如图7所示，在第二运动估测2me的每一次扫描中，将由上到下、由左而右依序对当前帧f2的每个当前区块进行计算以取得每个当前区块的匹配向量。以当前帧f2
中的一个当前区块bl0为例来说，在部分实施例中，如下式(1)所示，在第二运动估测2me时，可将运动向量mv1乘上倍率(如图7中向量mv1*s)再加上随机向量rv作为当前区块bl0进行第一次扫描的初始向量。为了方便说明起见，以下描述中，将以目标向量代表乘上倍率的运动向量mv1。也就是说，目标向量为第二当前区块中的某一者所对应的第一当前区块的第一运动向量乘上倍率所产生的。n layer mv＝n-1 layer mv*scale random step
ꢀꢀꢀꢀꢀꢀ
式(1)
23.接着，基于不同画面变化的特性，在相应的搜寻窗口swin内产生多个候选向量。计算区块bl0和多个候选向量所指向的多个候选区块之间的匹配度。根据匹配度最高的候选区块和区块bl0之间的候选向量作为区块bl0的运动向量。
24.如此一来，利用上一层的画面以取得的运动向量mv1作为当层画面进行运动估测的基本向量的参考，相较于以零向量或者单纯的随机向量作为初始向量，可有效减少扫描次数，较快收敛出运动向量mv2。值得注意的是，随机向量rv可根据运动向量mv1的长度进行调整。当运动向量mv1的长度越长，随机向量rv的长度可越大。
25.又例如，如下式(2)所示，在进行第二运动估测2me时，可计算运动向量mv1乘上倍率(如图7中向量mv1*s)和第2层帧的运动向量(如图6中向量v21)的向量差，即目标向量和第2层帧的运动向量的向量差。再根据这两者的大小，决定将第2层帧的运动向量加上或减去这两者的向量差，作为下一次扫描的初始向量(如图6中向量v21b)。δmv＝|(n-1 layer mv*scaler-n layer mv)|if min(n-1 layer mv*scaler，n layer mv)＝＝n layer mvn layer mv＝n layer mv δmv random stepelse n layer mv＝n layer mv-δmv random step
ꢀꢀꢀꢀꢀꢀꢀꢀ
式(2)
26.相似地，如下式(3)所示，可将第2层帧的运动向量(如图6中向量v21)和乘上倍率后的运动向量mv1(如图7中向量mv1*s)两者的向量差再除上一个系数，以调整向量差作为下一次扫描的初始向量(如第6图中向量v21b)所占的权重。系数越大，运动向量mv2的收敛较倾向第二层帧的运动向量。系数越小，则运动向量mv2的收敛较倾向参考运动向量mv1。δmv＝|(n-1 layer mv*scaler-n layer mv)|/distance coefficientif min(n-1 layer mv*scaler，n layer mv)＝＝n layer mvn layer mv＝n layer mv δmv random stepelse n layer mv＝n layer mv-δmv random step
ꢀꢀꢀꢀꢀꢀꢀꢀ
式(3)
27.如此一来，经由前一层的运动向量调整当层的运动估测的随机向量的方向和长度，使得当层的运动估测的收敛方向和收敛范围有所参考。相较于无限制的随机向量，在上述实施例中，能提高运算上的收敛效率，且避免随机随机数造成的运算成本浪费。
28.关于估测参数可包含对候选向量的处罚的实施例，将以图7中的当前区块bl0为例进行说明。在此实施例中，候选向量所指向的候选区块包含区块bl1、bl2、bl3等等。对应于零候选向量的是在参考帧ff2中相同位置的区块bl1。对应于空间候选向量的是在当前帧f2中空间分布在左上的区块bl2。对应于时间候选向量的是在前帧参考帧ff中空间分布在右下的区块bl3。另外对应于全局候选向量的是依据前帧参考帧ff的全局向量mvf而得的区块(图中未示)。
29.值得注意的是，图7中所绘示的候选区块仅为方便说明的例子，并非用以限制本
mv，n-1layer mv)is high]punish this n laer spatial mvif(this histogram of group is high)and[differentvalue(n layer temporal nv，n-1layer mv)is high]punish this n layer temporal mv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式(7)
[0034]
换言之，在从候选向量中进行挑选时，经由比对前一层的运动向量(如帧f1的运动向量mv1)的统计数据，可针对当层(如帧f2)的整个画面、部分区域或部分分群有效地排除不可信的候选向量，以此提高收敛效率。
[0035]
值得注意的是，虽然上述实施例中仅说明根据计算结果判断是否给予某些候选向量处罚，但在其他实施例中，处罚亦可根据向量差值(即，信任度)的程度不同来分配处罚的不同权重。
[0036]
再者，估测参数可包含搜寻窗口的大小。如下式(8)所示，计算帧f2中所有区块和分布在其上、下、左、右的区块的运动向量mv1的空间关联度。比较每一个区块和其相邻区块的空间关联度，并标记空间关联度较低的区块。给予空间关联度低于默认阈值的标记区块处罚。或者，根据空间关联度给予标记区域不同权重的处罚。或者，根据空间关联度越高者给予越大的搜寻窗口，并将空间关联度越低的标记区域分割成越小的搜寻窗口。calculate n-1mv and it spatial(top/bottom/left/right/left top/left bottom/righttop/right bottom)relationif compare(this region
′
s relation，neighbors
′
relation)is different，flag this regio n punish this n layer mv if flag is true
ꢀꢀꢀꢀꢀ
式(8)
[0037]
如此一来，经由空间关联度进行标记，便能根据标记的位置判断出画面中对象的边界，通过处罚或切割搜寻窗口以增强局部区域的运动估测。
[0038]
依此类推，根据每一层所产生的运动向量调整尺寸下一层的运动估测的估测参数。最后，在操作s350中，将第n层的当前区块和第n层的参考区块进行第n运动估测以产生分别对应于第n层当前区块的多个第n运动向量，其中根据第n-1层画面的第n-1运动向量调整第n运动估测的估测参数。具体而言，如图4所示，经过n-1次运动估测后将产生第n-1运动向量mvn-1。将帧fn的当前区块和帧ffn的参考区块进行第n运动估测nme以产生第n运动向量mvn，其中根据第n-1运动向量mvn-1调整第n运动估测nme的估测参数。
[0039]
如此一来，经由缩小后的上一层画面所取得的运动向量作为当层画面进行运动估测的参考，可有效减少整体计算量并提高收敛效率和精准度。
[0040]
值得注意的是，图3～图5绘示了n-1次缩小尺寸和n次运动估测，其中n-1为任意正整数。此外，图6绘示了i-1次和j-1次的扫描，其中i-1和j-1为任意正整数。
[0041]
综上所述，经由图像处理装置100的运动估测处理器120根据图像处理方法300进行运动估测，便能提升取得运动向量的效率和精准度。因此，在维持或降低运算成本的条件下，可有效降低影像画面出现破碎、毛边或顿挫的情形。
[0042]
虽然本技术已以实施方式公开如上，然其并非用以限定本技术，所属技术领域具有通常知识者在不脱离本技术的精神和范围内，当可作各种更动与润饰，因此本技术的保护范围当视后附的申请专利范围所界定者为准。符号说明
[0043]
100:图像处理装置110:缓冲器120:运动估测处理器130:运动帧率转换器vin:影像输入信号vout:影像输出信号300:图像处理方法s310,s320,s330,s340,s350:操作fk-1,fk,fc1～fc4,f1,f2,fn-1,fn,ff1,ff2,ffn-1,ffn:帧mv1,mv2,mvn-1,mvn,mv1b:运动向量1me,2me,nme:运动估测v10,v11,v11b,v12,v1(i-1)b,v1i,v21,v21b,v22,v2(j-1)b,v2j:向量mv1*s:向量rv:随机向量bl0,bl1,bl2,bl3:区块