图像处理方法及应用其的图像处理装置与流程

1.本发明是有关于一种处理方法及应用其的处理装置，且特别是有关于一种图像处理方法及应用其的图像处理装置。


背景技术：

2.拍摄画面通常受到环境、摄像器本身及拍摄对象的动作(motion)变化影响而与前帧画面发生像素信息差异，其中像素信息差异可能是噪声(noise)或拍摄对象的动作(motion)所造成。为了获得更清晰的画面，通常都会对所拍摄画面进行降噪处理。然而，当降噪效果强时，可能连同对应拍摄对象动作的像素信息一并降噪，导致降噪后画面变得更模糊；当降噪效果弱时，可能无法对噪声有效地降噪。因此，本领域业者认为有必要研究一新的图像处理方法及应用其的图像处理装置以改善前述已知问题。


技术实现要素：

3.本发明有关于一种图像处理方法及应用其的图像处理装置，可改善前述现有问题。
4.本发明一实施例提出一种图像处理方法。图像处理方法包括以下步骤：取得一区块尺寸值；依据区块尺寸值，将一第一画面区分成多个第一区块；依据区块尺寸值，将一第二画面区分成多个第二区块；依据将各第一区块的一第一像素信息及各第二区块的一第二像素信息，取得一降噪强度阵列；依据降噪强度阵列、第一画面及第二画面，取得一输出画面。
5.本发明另一实施例提出一种图像处理装置。图像处理装置包括一区块尺寸值取得器及一降噪器。区块尺寸值取得器用以取得一区块尺寸值。降噪器用以：依据区块尺寸值，将一第一画面区分成多个第一区块；依据区块尺寸值，将一第二画面区分成多个第二区块；依据将各第一区块的一第一像素信息及各第二区块的一第二像素信息，取得一降噪强度阵列；及，依据降噪强度阵列、第一画面及第二画面，取得一输出画面。
6.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
7.图1为依照本发明一实施例的图像处理装置的功能方块图。
8.图2为图1的图像处理装置的图像处理方法流程图。
9.图3为图1的图像处理装置的图像处理功能方块图。
10.图4为图3的第一画面的示意图。
11.图5为依照本发明另一实施例的图像处理装置的图像处理功能方块图。
具体实施方式
12.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
13.请参照图1～4，图1为依照本发明一实施例的图像处理装置100的功能方块图，图2为图1的图像处理装置100的图像处理方法流程图，图3为图1的图像处理装置100的图像处理功能方块图，而图4为图3的第一画面f
p
的示意图。
14.图像处理装置100包括区块尺寸值取得器110及降噪器120。图像处理装置100例如是摄像器、笔记本电脑、台式电脑、平板电脑、通信装置(如，手机)等各种能进行图像处理的电子装置。
15.区块尺寸值取得器110及降噪器120例如是可采用半导体制程所形成的实体电路(circuit)，如半导体芯片、半导体封装件等。此外，区块尺寸值取得器110及降噪器120可整合成单一元件，或者，区块尺寸值取得器110及/或降噪器120可整合至一处理器(processor)或一控制器(controller)。
16.在一实施例中，区块尺寸值取得器110用以：(a)取得一区块尺寸值ba。降噪器120用以：(b)依据区块尺寸值ba，将第一画面f
p
区分成多个第一区块a
p,n
×m；(c)依据区块尺寸值ba，将第二画面fc区分成多个第二区块a
c,n
×m；(d)依据将各第一区块a
p,n
×m的第一像素信息b
p,n
×m及各第二区块的一第二像素信息b
c,n
×m，取得一降噪强度阵列tnr；及(e)依据降噪强度阵列tnr、第一画面f
p
及第二画面fc，取得一输出画面fo。如此，相较于已知对每个像素进行降噪的方式，本发明实施例对画面区分成多个区块并个别处理，能提高降噪能力，提升降噪效果。当区块尺寸值ba愈大，降噪能力愈高。
17.以下以图2进一步举例说明图像处理方法(或，降噪方法)的过程。
18.在步骤s110中，区块尺寸值取得器110取得区块尺寸值ba。例如，区块尺寸值取得器110可采用下式(1)取得区块尺寸值ba。式(1)中，α表示一噪声基底值(noise floor)的调整值，其可以是任何等于或大于1的实数，σ表示噪声强度值，而dc表示一噪声判断临界值。
19.ba≥(α
×
σ)/dcꢀꢀꢀ
(1)
20.噪声强度值σ例如是标准差，其值可视获取第一画面f
p
及第二画面fc的摄像器的特性及/或摄像环境(如，环境光线)而定，前述摄像器可以是图像处理装置100。噪声强度值σ可测量图像处理装置100的特性而取得，但是只要是可取得噪声强度值σ即可，本发明实施例不限定测量图像处理装置100的特性的方式。
21.噪声判断临界值dc例如是画面像素信息的变化是属于(或偏向)噪声(noise)或像素动态变化的临界值，其中的「像素动态变化」例如是拍摄对象的动作(motion)造成。在一实施例中，噪声判断临界值dc可以是像素信息差异值。以像素信息为亮度且dc设定为16来说，当第一画面f
p
的像素亮度与第二画面fc的像素亮度的差异超过16阶(灰阶值例如是共255阶)时，表示第二画面的像素信息的变化可能是像素动态变化造成；当第一画面f
p
的像素亮度与第二画面fc的像素亮度的差异未超过16阶时，表示第二画面的像素信息的变化可能是噪声造成。本发明实施例不限定噪声判断临界值dc的数值，其可视拍摄对象及/或拍摄环境而定。
22.调整值α、噪声强度值σ及噪声判断临界值dc可在执行图像处理流程之前预先取得或设定。当拍摄环境及/或摄像器不变时，调整值α、噪声强度值σ及/或噪声判断临界值dc可以维持不变。
23.在步骤s120中，降噪器120依据区块尺寸值ba，将第一画面f
p
区分成n
×
m个第一区块a
p,n
×m，其中下标n为介于1～n的正整数，而下标m为介于1～m的正整数。各第一区块a
p,n
×m的分辨率为ba
×
ba。
24.如图4所示，以ba等于8(即，各第一区块a
p,n
×m的尺寸(或，分辨率)为8
×
8)及第一画面f
p
的分辨率为1920
×
1080进一步举例来说，降噪器120依据下式(2)及(3)决定第一区块a
p,n
×m的数量，式中，r及q表示第一画面f
p
的分辨率(r
×
q)。据以取得的n等于240(计算式：1920/8＝240)，而m等于135(计算式：1080/8＝135)。
25.n＝r/ba
ꢀꢀꢀꢀꢀ
(2)
26.m＝q/ba
ꢀꢀꢀꢀꢀ
(3)
27.在步骤s130中，降噪器120取得各第一区块a
p,n
×m的多个第一像素(如，ba个像素)的第一平均亮度值，并以第一平均亮度值作为第一像素信息b
p,n
×m。换言之，各第一区块a
p,n
×m以第一像素信息b
p,n
×m代表整个第一区块a
p,n
×m的区块信息。
28.在步骤s140中，降噪器120依据区块尺寸值ba，将第二画面fc区分成n
×
m个第二区块a
c,n
×m。以ba等于8(即，各第二区块a
c,n
×m的尺寸(或，分辨率)为8
×
8)及第二画面fc的分辨率为1920
×
1080举例来说，降噪器120依据上式(2)及(3)决定第二区块a
c,n
×m的数量，第二画面fc的分辨率同为r
×
q。
29.第一画面f
p
例如是前帧(previous)画面，而第二画面fc例如是目前/当前(current)帧画面。前帧画面可以是经过降噪处理的画面或未经降噪处理的画面。本发明实施例对前、后帧画面的图像处理方法属于时域降噪方式。
30.在步骤s150中，降噪器120取得各第二区块a
c,n
×m的多个第二像素的第二平均亮度值，并以第二平均亮度值作为第二像素信息b
c,n
×m。换言之，各第二区块a
c,n
×m以第二像素信息b
c,n
×m代表整个第二区块a
c,n
×m的区块信息。
31.在步骤s160中，降噪器120可依据各第一区块a
p,n
×m的第一像素信息b
p,n
×m及各第二区块a
c,n
×m的第二像素信息b
c,n
×m，取得降噪强度阵列tnr。
32.举例来说，如图3所示，降噪器120取得各第一区块a
p,n
×m的第一像素信息b
p,n
×m与对应的第二区块a
c,n
×m的第二像素信息b
c,n
×m的一像素信息差异值dn×m，并以此些像素信息差异值dn×m作为降噪强度阵列tnr的多个降噪强度值tr×q，其中下标r为介于1～r的正整数，而下标q为介于1～q的正整数。
33.在一实施例中，如图3所示，降噪器120可对各像素信息差异值dn×m进行低通滤波处理及/或信号增强处理，而取得像素信息差异值d'n×m。以低通滤波处理来说，降噪器120可滤除像素信息差异值dn×m中属于噪声(低频)部分。以信号增强处理来说，降噪器120可增强像素信息差异值dn×m中属于信号(signal)的部分，信号部分为噪声以外的部分。处理后，降噪器120产生n
×
m个像素信息差异值d'n×m。
34.在一实施例中，如图3所示，降噪器120可对像素信息差异值d'n×m进行放大处理，以取得与第一画面f
p
或第二画面fc相同尺寸(或分辨率)的降噪强度阵列tnr。例如，以分辨率为1920
×
1080来说，降噪器120依据成n
×
m个d'n×m的至少一者，取得r
×
q个降噪强度值tr×q，并以r
×
q个降噪强度值tr×q组成降噪强度阵列tnr。
35.在步骤s170中，降噪器120依据降噪强度阵列tnr、第一画面f
p
及第二画面fc，取得一输出画面fo。例如，降噪器120依据下式(4)取得输出画面fo。
36.b
o,r
×q＝(1-tr×q)
×bp,r
×q (tr×q×bc,r
×q)
ꢀꢀꢀꢀ
(4)
37.式(4)中，tr×q表示降噪强度阵列tnr的第r
×
q个降噪强度值，b
p,r
×q表示第一画面fp
的第r
×
q个像素的像素信息，而b
c,r
×q表示第二画面fc的第r
×
q个像素的像素信息。降噪强度值tr×q、像素信息b
p,r
×q及像素信息b
c,r
×q为已知信息，因此降噪器120可依据式(4)取得输出画面fo的第r
×
q个像素的像素信息b
o,r
×q。
38.降噪强度值tr×q介于0～1之间的任意实数。由式(4)可知，当降噪强度值tr×q愈高时，表示像素信息变化属于动态变化的可能性(程度)愈高，输出画面fo的第r
×
q个像素的像素信息b
o,r
×q愈接近第二画面fc的r
×
q个像素的像素信息b
c,r
×q(即，降噪程度愈小)；反之则表示像素信息变化属于动态变化的可能性(程度)愈低，输出画面fo的第r
×
q个像素的像素信息b
o,r
×q愈接近第一画面f
p
的r
×
q个像素的像素信息b
p,r
×q(即，降噪程度愈大)。
39.当取得所有(r
×
q个)像素信息b
o,r
×q后，完成输出画面fo。
40.然后，降噪器120将输出画面fo输出至一显示器(图未示)，以显示输出画面fo；或者，降噪器120或控制器以输出画面fo取代第二画面fc。当图像处理装置100对另一帧画面(例如，下一帧画面或先前处理过的输出画面fo)进行降噪处理时，图2的第一画面f
p
可以输出画面fo(经过降噪处理)代入，而第二画面fc可以该另一帧画面代入。在另一实施例中，图2的第一画面f
p
可以第二画面fc(未经降噪处理)代入，而图2的第二画面fc以该另一帧画面代入。
41.图像处理装置100可依据前述流程处理一串流图像，其包含多帧画面，其中任相邻两帧画面的当前帧画面的降噪方法可代入图2的第二画面fc，而前帧画面可代入图2的第一画面f
p
，其中前帧画面可以经过相同降噪处理的画面或未经降噪处理的画面。
42.请参照图5，其为依照本发明另一实施例的图像处理装置100的图像处理功能方块图。图像处理装置100可依据多个不同的区块尺寸值ba所取得的多个降噪强度阵列tnr
,t
，进行第二画面fc的降噪处理。图5的每个虚框内的功能方块对应为图3的虚框r1内的功能方块。
43.举例来说，如图5所示，图像处理装置100以区块尺寸值ba等于1执行相同于前述的图像处理流程，取得对应的降噪强度阵列tnr
,1
。图像处理装置100以区块尺寸值ba等于2执行相同于前述的图像处理流程，取得对应的降噪强度阵列tnr
,2
。图像处理装置100以区块尺寸值ba等于t执行相同于前述的图像处理流程，取得对应的降噪强度阵列tnr
,t
。t例如是任意正整数。降噪器120可依据多个降噪强度阵列tnr
,t
取得一综合的降噪强度阵列tnr
,t
。例如，降噪器120将多个降噪强度阵列tnr
,t
相加，而取得一综合的降噪强度阵列tnr
,t
。然后，降噪器120采用上式(4)，依据综合的降噪强度阵列tnr
,t
、第一画面f
p
及第二画面fc，取得输出画面fo。在另一实施例中，综合的降噪强度阵列tnr
,t
的取得方式不限于多个降噪强度阵列tnr
,t
的相加，也可采用其它数学运算方式(如，加、减、乘、除、平均或其组合运算等)或方程式运算多个降噪强度阵列tnr
,t
，而取得综合的降噪强度阵列tnr
,t
。此外，本发明实施例不限制降噪强度阵列tnr
,t
的总数量，其可以是等于或大于2的任意正整数。此外，图5的区块尺寸值ba不受上式(1)所限，换言之，图5的各区块尺寸值ba可大于、等于或小于((α
×
σ)/dc)2的数值。
44.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。