计算型显示器及其运作方法与流程

1.本发明与显示器有关，尤其是关于一种计算型显示器及其运作方法。


背景技术：

2.近年来，随着显示器技术的演进，计算式显示器例如多层液晶分解式显示器(multi-layer lcd factorized display)能够扩展例如更广的动态范围以及更广的色域等应用，尤其是分解式光场显示器，因其在空间、视角解析度、显示亮度、组成体积等各方面均明显优于传统的光场显示器，受到广泛的瞩目。
3.与传统的光场显示器不同的是，当多层液晶分解式光场显示器显示光场影像之前，需先将该光场影像分解为多层液晶分解式光场显示器的每一层液晶上播放的内容。
4.然而，由于便携式电子产品已广泛应用于大众的日常生活当中，若欲将多层液晶分解式光场显示器应用于便携式电子产品时，将会面临到由于便携式电子产品的存储器限制(例如内建存储器(on-chip memory)容量有限不敷需求，而外部存储器(off-chip memory)受限于存取频宽)而导致光场影像分解的效率不佳，严重影响多层液晶分解式光场显示器的显示效能，故亟待克服。


技术实现要素：

5.有鉴于此，本发明提出一种计算型显示器及其运作方法，以有效解决现有技术所遭遇到的上述问题。
6.依据本发明的一具体实施例为一种计算型显示器。于此实施例中，计算型显示器包括影像分割模块、分解演算模块、区块结合模块及显示模块。影像分割模块用以将初始光场影像分割为多个目标区块。分解演算模块耦接影像分割模块，用以将分解演算法独立应用于该多个目标区块中的每一个目标区块上。区块结合模块耦接分解演算模块，用以结合该多个目标区块为结果光场影像。显示模块包括多层显示单元且耦接区块结合模块，用以显示结果光场影像。
7.于一实施例中，计算型显示器为多层液晶分解式显示器(multi-layer lcd factorized display)且该多层显示单元中的至少一层显示单元为液晶层。
8.于一实施例中，分解演算模块采用的分解演算法为区块式分解演算法，分解演算模块包括：非对称更新单元，用以限缩该多个目标区块中的更新范围，以非对称更新方式来执行区块式分解演算法，致使多个目标区块的分解结果无分解瑕疵。
9.于一实施例中，非对称更新单元是将该多个目标区块中的一目标区块分为更新区域(update region)及参考区域(reference region)，并在对目标区块执行区块式分解演算法时仅更新更新区域而不更新参考区域。
10.于一实施例中，该多个目标区块中的任两相邻目标区块的更新区域彼此不重叠且其参考区域彼此重叠。
11.于一实施例中，分解演算模块采用的分解演算法为区块式分解演算法，分解演算
模块包括：外部迭代(inter-block iteration)单元，用以对该多个目标区块进行外部迭代，致使该多个目标区块中的任两相邻目标区块在经过多次迭代后仍能维持边界一致。
12.于一实施例中，外部迭代单元是重复巡回每一个目标区块进行外部迭代，且外部迭代包括每一个目标区块各自的内部迭代(intra-block iteration)，致使先被更新的目标区块能够参考到已更新完毕的相邻目标区块而维持两者的边界一致。
13.于一实施例中，外部迭代单元是通过外部存储器(outer memory)与区块存储器(block memory)之间的加载(load)及储存(store)来实现对该多个目标区块进行外部迭代。
14.于一实施例中，外部存储器的容量大于区块存储器的容量，影像分割模块所分割出的该多个目标区块是储存于外部存储器，分解演算模块将该多个目标区块从外部存储器加载至区块存储器以进行分解演算。
15.于一实施例中，分解演算模块适用于存储器容量受限制的嵌入式系统(embedded system)。
16.依据本发明的另一具体实施例为一种计算型显示器运作方法。于此实施例中，计算型显示器运作方法用以运作计算型显示器。计算型显示器运作方法包括下列步骤：(a)将初始光场影像分割为多个目标区块；(b)将分解演算法独立应用于该多个目标区块的每一个目标区块上；(c)结合该多个目标区块为结果光场影像；以及(d)显示结果光场影像。
17.于一实施例中，计算型显示器为多层液晶分解式显示器且该多层显示单元中的至少一层显示单元为液晶层。
18.于一实施例中，分解演算法为区块式分解演算法，计算型显示器运作方法还包括：限缩该多个目标区块中的更新范围，以非对称更新方式来执行区块式分解演算法，致使该多个目标区块的分解结果无分解瑕疵。
19.于一实施例中，计算型显示器运作方法还包括：将该多个目标区块中的一目标区块分为更新区域及参考区域；以及在对目标区块执行区块式分解演算法时仅更新更新区域而不更新参考区域。
20.于一实施例中，该多个目标区块中的任两相邻目标区块的更新区域彼此不重叠且其参考区域彼此重叠。
21.于一实施例中，分解演算法为区块式分解演算法，计算型显示器运作方法包括：对该多个目标区块进行外部迭代，致使该多个目标区块中的任两相邻目标区块在经过多次迭代后仍能维持边界一致。
22.于一实施例中，计算型显示器运作方法是重复巡回每一个目标区块进行外部迭代，且外部迭代包括每一个目标区块各自的内部迭代，致使先被更新的目标区块能够参考到已更新完毕的相邻目标区块而维持两者的边界一致。
23.于一实施例中，计算型显示器运作方法是通过外部存储器与区块存储器之间的加载及储存来实现对该多个目标区块进行外部迭代。
24.于一实施例中，外部存储器的容量大于区块存储器的容量，步骤(a)所分割出的该多个目标区块是储存于外部存储器，在步骤(b)之前先将该多个目标区块从外部存储器加载至区块存储器以进行分解演算。
25.于一实施例中，分解演算法适用于存储器容量受限制的嵌入式系统。
26.相较于现有技术，本发明的计算型显示器及其运作方法采用区块式分解演算法来处理光场影像以有效解决因为便携式电子产品的存储器限制所导致光场影像分解效率不佳的问题，故可提升多层液晶分解式光场显示器的显示效能且可适用于存储器容量受限制的嵌入式系统。此外，为了避免区块式分解演算法产生，本发明的计算型显示器及其运作方法还分别提出区块定义方法及区块式分解的更新方法来避免区块式分解演算法在边界处产生边界分解瑕疵与边界不一致的区块效应(blocky effect)。
27.关于本发明的优点与精神可以通过以下的发明详述及附图附图得到进一步的了解。
附图说明
28.图1为根据本发明的一较佳具体实施例中的计算型显示器的功能方块图。
29.图2为外部存储器与运算平台之间通过汇流排耦接的示意图。
30.图3为外部存储器储存帧内容且运算平台的区块存储器储存区块内容并由处理器进行迭代乘法更新的示意图。
31.图4为执行区块式分解演算法时仅更新更新区域而不更新参考区域的示意图。
32.图5为进行非对称更新时外部存储器与区块存储器之间的加载及储存的示意图。
33.图6为区块的更新顺序的示意图。
34.图7为重复巡回每一个目标区块进行外部迭代的示意图。
35.图8为根据本发明的另一较佳具体实施例中的计算型显示器运作方法的流程图。
36.主要元件符号说明：
37.1...计算型显示器
38.10...影像分割模块
39.12...区块加载模块
40.14...分解演算模块
41.16...区块储存模块
42.18...区块结合模块
43.19...显示模块
44.lfd...光场数据
45.m0...初始多帧多层分解影像
46.m1...结果多帧多层分解影像
47.om...外部存储器
48.cp...运算平台
49.bm...区块存储器
50.bus...汇流排
51.pr...处理器
52.dm...显示影像
53.lfm...光场影像
54.ur...更新区域
55.rr...参考区域
56.b0...处理器
57.b1...区块
58.s10～s16...步骤
具体实施方式
59.现在将详细参考本发明的示范性实施例，并在附图中说明所述示范性实施例的实例。在附图及实施方式中所使用相同或类似标号的元件/构件是用来代表相同或类似部分。
60.依据本发明的一具体实施例为一种计算型显示器。于此实施例中，计算型显示器可以是任何一种分解式显示器，例如多层液晶分解式显示器(multi-layer lcd factorized display)，并且其多层显示单元可包括至少一液晶层且可包括一背光层，但不以此为限。
61.请参照图1，图1为此实施例中的计算型显示器的功能方块图。如图1所示，计算型显示器1包括影像分割模块10、区块加载模块12、分解演算模块14、区块储存模块16、区块结合模块18及显示模块19。影像分割模块10耦接区块加载模块12。区块加载模块12耦接分解演算模块14。分解演算模块14耦接区块储存模块16。区块储存模块16耦接区块结合模块18。区块结合模块18耦接显示模块19。
62.当影像分割模块10接收到光场数据lfd及初始多帧多层分解影像m0时，影像分割模块10用以根据光场数据lfd将初始多帧多层分解影像m0分割为多个目标区块并可将其储存于存储器中。详细而言，初始多帧多层分解影像m0中的每一层分解影像分别被分割为多个分解影像区块，而每一层分解影像中的相对应的分解影像区块共同形成一光场影像区块。
63.接着，区块加载模块12再将储存于存储器中的该多个目标区块加载至分解演算模块14，并由分解演算模块14将区块式分解演算法独立应用于该多个目标区块中的每一个目标区块上，待完成分解演算后将该多个目标区块的分解结果储存于区块储存模块16。区块结合模块18用以将该多个目标区块的分解结果结合为结果多帧多层分解影像m1。显示模块19包括多层显示单元(其中至少一层显示单元为液晶层)，用以显示结果多帧多层分解影像m1。
64.如图2及图3所示，本发明采用的运算平台cp包括区块存储器bm及处理器pr。处理器pr与区块存储器bm彼此耦接。运算平台cp通过汇流排bus与外部存储器bus耦接。于此实施例中，外部存储器bus可用以储存多个帧的帧内容且运算平台cp的区块存储器bm可用以储存该多个目标区块的区块内容，并由处理器pr对该多个目标区块进行迭代乘法更新。
65.实际上，本发明采用的运算平台cpf可包括现场可编程逻辑门阵列(field programmable gate array,fpga)电路或特殊应用集成电路(application specific integrated circuit,asic)，用以实现加速运算的效果，但不以此为限。
66.需说明的是，本发明所采用的区块式分解演算法与传统的分解演算法的差异处在于：先将初始多帧多层光场影像切割为多个目标区块后，再将区块式分解演算法独立应用于该多个目标区块上，最后再将每个目标区块的分解结果结合为结果多帧多层光场影像。
67.于实际应用中，当每一个目标区块开始运算前，其可从外部存储器om被加载至运算平台cp的区块存储器bm。外部存储器om与区块存储器bm的实例依据不同的运算平台cp而
异。在存储器阶层上，通常外部存储器om的容量较大，可以储存完整的光场影像与分解影像(亦即帧内容)，但存取时频宽较低。区块存储器bm的容量较小，仅可储存一个目标区块的内容(亦即区块内容)，但其能较快速地被执行运算的处理器pr存取，故可有效提升区块式分解演算法的执行效率。
68.在运算平台cp上进行多次迭代乘法更新运算后，区块存储器bm中的目标区块被更新的内容会经由汇流排bus被写回至外部存储器om中，接着，再加载下一个目标区块并执行对应的运算，其余可依此类推。于此运算架构下，迭代过程中不需重复读取外部存储器om中的数据，从而有效降低区块式分解演算法对于整体存储器存取的需求，同时亦可降低等待存储器存取的时间以及频繁存取外部存储器om造成的额外功耗。
69.需说明的是，由于直接应用区块式分解演算法可能会导致例如目标区块的分解瑕疵与相邻目标区块的边界不一致等区块效应，在视觉上呈现为不连续的影像瑕疵，因此，本发明提出下列作法来解决此一问题。
70.首先，图1中的计算型显示器1的分解演算模块14可包括非对称更新单元(图未示)，其可用以限缩该多个目标区块中的更新范围，以非对称更新方式来执行区块式分解演算法，致使多个目标区块的分解结果无分解瑕疵。
71.举例而言，如图4所示，显示影像dm中的目标区块b0可被定义出更新区域ur与参考区域rr，并可通过非对称更新(例如仅更新更新区域ur而不更新参考区域rr)的方式来执行区块式分解演算法，由以有效解决目标区块b0的边界处因为与传统的分解演算法定义不符而导致的分解瑕疵。
72.需说明的是，于此实施例中，在显示影像dm中，两相邻的目标区块b0及b1中的更新区域ur彼此并不重叠，但两者的参考区域rr彼此有所重叠，但不以此为限。于另一实施例中，两相邻的目标区块b0及b1中的更新区域ur亦可彼此重叠。
73.亦请参照图5，图5为进行非对称更新时外部存储器om与区块存储器bm之间的加载(load)及储存(store)的示意图。如图5所示，对于显示影像dm的每一个目标区块进行非对称更新的流程可包括下列步骤(a)至(d)：
74.(a)将显示影像dm的目标区块(例如b0)加载至区块存储器bm，其中目标区块包含更新区域ur及参考区域rr；
75.(b)依照预设的迭代更新次数对该目标区块执行区块式分解演算法，其中在运算过程中，该目标区块仅有更新区域ur的内容会被更新，至于其参考区域rr内的内容由于加载的部分不足以代表完整的定义，故不会被更新而仅作为运算参考之用；
76.(c)将该目标区块的更新区域ur被更新的内容储存至外部存储器om；以及
77.(d)将下一个目标区块(例如b1)加载至区块存储器bm，并重复上述步骤(a)至(c)。
78.需说明的是，上述实施例可采用完全加载(full load)与部分储存(partial store)的方式来有效降低区块式分解演算法对于整体存储器存取的需求。至于该多个目标区块的更新顺序可如同图6所示为b0、b1、
…
，但不以此为限。
79.上述实施例可实现于存储器受限的嵌入式系统上。假设实现一个对7x7x1920x1080大小光场的区块式分解加速器并设定迭代次数为100次。相较于传统的分解演算法，本实施例可降低100倍的dram频宽需求，并可使用频宽仅69千字节(kbytes)的片上存储器(on-chip-memory)，使得本发明的区块式分解演算法能够运行在存储器容量受限制
的嵌入式系统上。
80.此外，本实施例采用上述非对称更新方式执行区块式分解演算法可有效消除目标区块的边界处的影像瑕疵，在测试影像上，相较于采用传统的对称更新方式，其影像品质的峰值讯杂比(peak signal-to-noise ratio,psnr)平均可提升约10分贝(db)。
81.基于上述实施例，由于当原始影像被切割为多个目标区块后，无论以何种顺序进行更新，后更新的目标区块均会参考已更新的目标区块。举例而言，在图6所示的区块更新顺序中，后更新的区块b1会参考区块b0已更新的部分。反之，先更新的目标区块则会参考未被更新过的随机起始内容。因此，区块式分解演算法仍可能会在边界处遭遇不一致的情形，导致视觉上的区块效应。
82.为了避免上述问题，本发明提出外部迭代更新的方式来使得目标区块的边界处能够保持一致。举例而言，图1中的计算型显示器1的分解演算模块14还可包括外部迭代(inter-block iteration)单元(图未示)，用以对该多个目标区块进行外部迭代，致使该多个目标区块中的任两相邻目标区块在经过多次迭代后仍能维持边界一致。
83.请参照图7，图7为重复巡回每一个目标区块进行外部迭代的示意图。如图7所示，本发明可将整体运算的迭代更新分为内部迭代(intra-block iteration)及外部迭代，其中「内部迭代」代表在运算平台cp上的处理器pr对被加载至区块存储器bm的单一目标区块执行区块式分解演算法的迭代更新，而「外部迭代」则代表重复巡回该多个目标区块中的每一个目标区块。换言之，一个外部迭代包括每一个目标区块各自的内部迭代，其亦是通过外部存储器om与区块存储器bm之间的加载及储存来实现的。于此运算模式下，在后续的外部迭代中，先被更新的目标区块将会有机会参考到已更新完毕的相邻目标区块，从而达到较理想的更新结果，使得任两相邻目标区块的边界能保持一致。
84.举例而言，本发明可先依照光场影像重建品质需求预设内部迭代次数与外部迭代次数，并以随机值初始化分解影像。接着，本发明可执行下列步骤(e)至(h)，直至达到外部迭代次数为止：
85.(e)依照更新顺序从外部存储器om加载一个目标区块至运算平台cp上的区块存储器bm；
86.(f)针对该目标区块执行区块式分解演算法的迭代更新，直至内部迭代结束为止；
87.(g)将该目标区块被更新的内容储存至外部存储器om；以及
88.(h)加载下一个目标区块并重复上述步骤(e)至(g)，直至最后一个目标区块的内部迭代结束为止。
89.上述实施例可实现于存储器受限的嵌入式系统上。假设实现一个对7x7x1920x1080大小光场的区块式分解加速器并设定迭代次数为2次外部迭代与50次内部迭代。
90.相较于传统的分解演算法，本实施例可降低50倍的dram频宽需求，并可使用频宽仅69千字节(kbytes)的片上存储器(on-chip-memory)，使得本发明的区块式分解演算法能够运行在存储器容量受限制的嵌入式系统上。
91.在相同运算量下，虽然此实施例由于设定的外部迭代次数导致其可节省的dram频宽低于上述采用非对称更新方式的实施例，但此实施例进一步采用外部迭代的作法能够有效消除相邻目标区块的边界不一致问题。在测试影像上，相较于同样计算量的采用非对称
更新方式的实施例，此实施例进一步采用外部迭代所获得的影像品质的峰值讯杂比(psnr)平均可提升约2分贝(db)。
92.依据本发明的另一具体实施例为一种计算型显示器运作方法。于此实施例中，计算型显示器运作方法可适用于任何一种分解式显示器，例如多层液晶分解式显示器，并且其多层显示单元中的至少一层显示单元为液晶层，但不以此为限。
93.请参照图8，图8为此实施例中的计算型显示器运作方法的流程图。如图8所示，计算型显示器运作方法可包括下列步骤：
94.步骤s10：将初始光场影像分割为多个目标区块；
95.步骤s12：将分解演算法独立应用于该多个目标区块的每一个目标区块上；
96.步骤s14：结合该多个目标区块为结果光场影像；以及
97.步骤s16：显示结果光场影像。
98.于实际应用中，步骤s12所采用的分解演算法为区块式分解演算法，其可适用于存储器容量受限制的嵌入式系统，并且本发明的计算型显示器运作方法还可限缩该多个目标区块中的更新范围，以非对称更新方式来执行区块式分解演算法，致使该多个目标区块的分解结果无分解瑕疵的区块效应，但不以此为限。
99.需说明的是，为了避免区块式分解演算法在边界处产生边界不一致的区块效应，本发明的计算型显示器运作方法可将该多个目标区块中的一目标区块分为更新区域及参考区域，并且在对该目标区块执行区块式分解演算法时仅更新更新区域而不更新参考区域，但不以此为限。
100.于一实施例中，该多个目标区块中的任两相邻目标区块的更新区域彼此不重叠且其参考区域彼此重叠。于另一实施例中，任两相邻目标区块的更新区域亦可彼此重叠，故并无特定的限制。
101.此外，本发明的计算型显示器运作方法还可对该多个目标区块进行外部迭代，致使该多个目标区块中的任两相邻目标区块在经过多次迭代后仍能维持边界一致，以避免边界不一致的区块效应。
102.举例而言，本发明的计算型显示器运作方法可重复巡回每一个目标区块进行外部迭代，并且外部迭代包括每一个目标区块各自的内部迭代，致使先被更新的目标区块能够参考到已更新完毕的相邻目标区块而维持两者的边界一致。
103.于一实施例中，本发明的计算型显示器运作方法可通过外部存储器与运算平台的区块存储器之间的加载及储存来实现对该多个目标区块进行外部迭代。由于外部存储器的容量大于区块存储器的容量，因此，本发明的计算型显示器运作方法执行步骤s10所分割出的该多个目标区块可储存于外部存储器，在执行步骤s12之前，先将该多个目标区块从外部存储器加载至运算平台的区块存储器以通过区块式分解演算法进行分解演算。
104.相较于现有技术，本发明的计算型显示器及其运作方法采用区块式分解演算法来处理光场影像以有效解决因为可携式电子产品的存储器限制所导致光场影像分解效率不佳的问题，故可提升多层液晶分解式光场显示器的显示效能且可适用于存储器容量受限制的嵌入式系统。此外，为了避免区块式分解演算法产生，本发明的计算型显示器及其运作方法还分别提出区块定义方法及区块式分解的更新方法来避免区块式分解演算法在边界处产生边界分解瑕疵与边界不一致的区块效应。