多深度信息的处理方法与处理系统与流程

1.本发明是有关于一种处理方法与处理系统，且特别是有关于一种多深度信息的处理方法与处理系统。


背景技术：

2.随着显示技术的快速进步，发展出一种立体显示技术。在立体显示技术中，一张左眼原始图像与一张右眼原始图像可以输入至深度引擎(depth engine)来运算出深度信息。倘若有多种分辨率需求，或有多种基线(baseline)需求时，则需要多组深度引擎来运算多组左眼原始图像与右眼原始图像，以生成多深度信息。


技术实现要素：

3.根据本发明的一实施例，提出一种多深度信息的处理方法。多深度信息的处理方法包括以下步骤。获得多个第一图像与多个第二图像。将上述第一图像与上述第二图像输入至同一深度产生单元。以该深度产生单元运算上述第一图像及上述第二图像，以获得对应上述第一图像与上述第二图像的多个深度信息。
4.根据本发明的另一实施例，提出一种多深度信息的处理系统。多深度信息的处理系统包括一图像采集模块，用以获得多个第一图像与多个第二图像以及一深度产生单元，用以接收上述第一图像与上述第二图像输入，并运算上述第一图像及上述第二图像，以获得对应上述第一图像与上述第二图像的多个深度信息。
5.以下结合附图和具体实施例对本发明进行详细描述，但不作为对本发明的限定。
附图说明
6.图1绘示根据一实施例的多深度信息的处理系统的方块图。
7.图2绘示根据一实施例的多深度信息的处理方法的流程图。
8.图3a示例说明根据一实施例的图像采集单元的示意图。
9.图3b示例说明原始图像的转换。
10.图4a示例说明根据一实施例的第一图像及第二图像的组合。
11.图4b示例说明根据另一实施例的第一图像及第二图像的组合。
12.图4c示例说明根据另一实施例的第一图像及第二图像的组合。
13.图4d示例说明根据另一实施例的第一图像及第二图像的组合。
14.图4e示例说明根据另一实施例的第一图像及第二图像的组合。
15.图4f示例说明根据另一实施例的第一图像及第二图像的组合。
16.图4g示例说明根据另一实施例的第一图像及第二图像的组合。
17.图5a绘示输入图4a的合成图像的运算结果。
18.图5b绘示输入图4b的合成图像的运算结果。
19.图5c绘示输入图4c的合成图像的运算结果。
20.图5d绘示输入图4d的合成图像的运算结果。
21.图5e绘示输入图4e的合成图像的运算结果。
22.图5f绘示输入图4f的合成图像的运算结果。
23.图5g绘示输入图4g的合成图像的运算结果。
24.其中，附图标记：
25.100:处理系统
26.110:图像采集单元
27.111:转换单元
28.120:组合单元
29.130:深度产生单元
30.140:拆解单元
31.bab,bac:基线
32.c0:合成图像
33.d0:运算结果
34.d1,d2,d3:深度信息
35.dk:无内容数据
36.ia,ib,ic:图像
37.ial,ial’,ial1,ial2:第一图像
38.ibr,ibr’,icr:第二图像
39.s100,s110,s120,s130,s140,s150:步骤
具体实施方式
40.下面结合附图对本发明的结构原理和工作原理作具体的描述：
41.请参照图1，其绘示根据一实施例的多深度信息的处理系统100的方块图。处理系统100包括一图像采集模块(图中未显示)、一深度产生单元130及一拆解单元140，在本发明实施例中图像采集模块包括多个图像采集单元110、一转换单元111及一组合单元120。图像采集单元110用以采集并处理彩色图像、灰阶图像或红外线图像。图像采集单元110例如是彩色相机、黑白相机或红外线相机。图像采集单元110的数量可以是二个或二个以上。转换单元111、组合单元120、深度产生单元130及/或拆解单元140例如是软件程序、电路、芯片、电路板或储存软件程序代码的储存装置。
42.这些图像采集单元110同步获得图像ia、图像ib、图像ic。通过这些图像ia、图像ib、图像ic，同一个深度产生单元130可以运算出深度信息d1与深度信息d2。以下更搭配流程图详细说明本实施例的多深度信息的处理方法。
43.请参照图2，其绘示根据一实施例的多深度信息的处理方法的流程图。在步骤s100中，以图像采集单元110获得原始图像ia、原始图像ib与原始图像ic。请参照图3a，其示例说明根据一实施例的图像采集单元110的示意图。在图3a的例子中，图像采集单元110的数量为3。标记为b的图像采集单元110设置于标记为a的图像采集单元110与标记为c的图像采集单元110的间。基线(baseline)bab位于标记为a的图像采集单元110与标记为b的图像采集单元110之间。基线bac位于标记为a的图像采集单元110与标记为c的图像采集单元110之
间。基线bac大于基线bab。标记为a的图像采集单元110用以获得原始图像ia，标记为b的图像采集单元110用以获得原始图像ib。标记为c的图像采集单元110用以获得原始图像ic。图像采集单元110同步获得原始图像ia、原始图像ib、原始图像ic。
44.接着，在步骤s110中，转换单元111依据原始图像ia、原始图像ib、原始图像ic，获得第一图像ial与第二图像ibr、icr。请参照图3b，其示例说明原始图像ia、ib、ic的转换。原始图像ia、原始图像ib、原始图像ic例如是经过形变还原(dewarping)、校正(rectification)、分辨率调整后获得第一图像ial、第二图像ibr、第二图像icr。第一图像ial例如是左眼图像，第二图像ibr、icr例如是右眼图像。
45.接着，在步骤s120中，组合单元120组合第一图像ial、第二图像ibr、第二图像icr，以获得一张合成图像c0。请参照图4a，其示例说明根据一实施例的第一图像ial、第二图像ibr、第二图像icr的组合。在图4a的实施例中，两张第一图像ial垂直排列，第二图像ibr与第二图像icr垂直排列，而获得合成图像c0。也就是说，第一图像ial与第二图像ibr水平排列；第一图像ial与第二图像icr水平排列。此种排列方式用于采用水平扫描运算的深度产生单元130。
46.在此步骤中，图像ia、图像ib、图像ic的分辨率可以相同且在不调整分辨率的情况下转换出第一图像ial、第二图像ibr、第二图像icr，而让第一图像ial与第二图像ibr的分辨率保持一致，且第一图像ial与第二图像icr的分辨率保持一致。
47.请参照图4b，其示例说明根据另一实施例的第一图像ial、第二图像ibr、第二图像icr的组合。在图4b的实施例中，两张第一图像ial水平排列，第二图像ibr与第二图像icr水平排列，而获得合成图像c0。也就是说，第一图像ial与第二图像ibr垂直排列；第一图像ial与第二图像icr垂直排列。此种排列方式，亦为可以实现的方式之一。
48.请参照图4c，其示例说明根据另一实施例的第一图像ial1、第一图像ial2、第二图像ibr、第二图像icr的组合。在另一实施例中，两张第一图像ial1与第一图像ial2可以是同一原始图像ia通过两个不同校正参数的校正后，所产生的两个不同第一图像ial1与第一图像ial2。或者，第一图像ial1与第一图像ial2可以是同一原始图像ia通过两个不同处理程序(例如是不同色彩、亮度、或格式)的处理后，所产生的两个不同第一图像ial1与第一图像ial2。
49.请参照图4d，其示例说明根据另一实施例的第一图像ial’、第一图像ial、第二图像ibr’、第二图像icr的组合。在图4d之实施例中，第一图像ial’与第一图像ial的分辨率不同(第一图像ial’的分辨率小于第一图像ial的分辨率)，第二图像ibr’与第二图像icr的分辨率不同(第二图像ibr’的分辨率小于第二图像icr的分辨率)。在图4d中，第一图像ial’与第一图像ial可以是同一原始图像ia通过不同解析调整程序后，所产生的两个不同第一图像ial’与第一图像ial。或者，第一图像ial’可以是原始图像ia通过解析调整程序后，所产生的第一图像ial’，第一图像ial则维持与原始图像ia相同的分辨率。在图4d中，斜线网底表示无内容数据dk。组合单元120将第一图像ial’、第一图像ial、第二图像ibr’、第二图像icr及无内容数据dk进行组合，以获得合成图像c0。
50.请参照图4e，其示例说明根据另一实施例的第一图像ial’、第一图像ial、第二图像ibr’、第二图像icr的组合。在图4e的实施例中，第一图像ial’夹置于无内容数据dk之中，第二图像ibr’也夹置于无内容数据dk之中。只要组合单元120能够提供一旗标，该旗标可以
是参数或信号，让后续元件知道第一图像ial’与第二图像ibr’的位置即可，第一图像ial’与第二图像ibr’的位置并不局限本发明的范围。
51.请参照图4f，其示例说明根据另一实施例的第一图像ial、第一图像ial’、第二图像ibr、第二图像ibr’的组合。在图4f的实施例中，第一图像ial与第一图像ial’的分辨率不同(第一图像ial’的分辨率小于第一图像ial的分辨率)，第二图像ibr’与第二图像icr的分辨率不同(第二图像ibr’的分辨率小于第二图像icr的分辨率)，在图4f中，第一图像ial’与第一图像ial可以是同一原始图像ia通过不同解析调整程序后，所产生的两个不同第一图像ial’与第一图像ial。或者，第一图像ial’可以是原始图像ia通过解析调整程序后，所产生的第一图像ial’，第一图像ial则维持与原始图像ia相同的分辨率。同样的，第二图像ibr’与第二图像ibr可以是同一原始图像ib通过不同解析调整程序后，所产生的两个不同第二图像ibr’与第二图像ibr。或者，第二图像ibr’可以是原始图像ib通过解析调整程序后，所产生的第二图像ibr’，第二图像ibr则维持与原始图像ib相同的分辨率。此步骤的第一图像ial、第一图像ial’、第二图像ibr、第二图像ibr’可以来自于两个图像采集单元110所产生两个原始图像ia、ib’。
52.请参照图4g，其示例说明根据另一实施例的第一图像ial、第二图像ibr、第二图像icr的组合。在图4g中，第一图像ial、第二图像ibr、第一图像ial、第二图像icr依序水平排列。此种排列方式用于采用水平扫描运算的深度产生单元130。
53.接着，在步骤s130中，将合成图像c0输入至同一深度产生单元130。
54.然后，在步骤s140中，以深度产生单元130运算合成图像c0，以获得运算结果d0。举例来说，请参照图5a，其绘示输入图4a的合成图像c0的运算结果d0。在图4a的合成图像c0中，两张第一图像ial垂直排列，第二图像ibr与第二图像icr垂直排列，故在深度产生单元130输出的运算结果d0中，深度信息d1与深度信息d2也会垂直排列。
55.请参照图5b，其绘示输入图4b的合成图像c0的运算结果d0。在图4b的合成图像c0中，两张第一图像ial水平排列，第二图像ibr与第二图像icr水平排列，故在深度产生单元130输出的运算结果d0中，深度信息d1与深度信息d2也会水平排列。
56.请参照图5c，其绘示输入图4c的合成图像c0的运算结果d0。在图4c的合成图像c0中，第一图像ial1与第一图像ial2垂直排列，第二图像ibr与第二图像icr垂直排列，故在深度产生单元130输出的运算结果d0中，深度信息d1与深度信息d2也会垂直排列。
57.请参照图5d，其绘示输入图4d的合成图像c0的运算结果d0。在图4d之合成图像c0中，第一图像ial’的分辨率小于第一图像ial的分辨率，第二图像ibr’的分辨率小于第二图像icr的分辨率，故在深度产生单元130输出的运算结果d0中，深度信息d1的分辨率也会小于深度信息d2的分辨率。
58.请参照图5e，其绘示输入图4e的合成图像c0的运算结果d0。在图4e的合成图像c0中，第一图像ial’夹置于无内容数据dk之中，第二图像ibr’也夹置于无内容数据dk之中，故在深度产生单元130输出的运算结果d0中，深度信息d1也会夹置于无内容数据dk之中。
59.请参照图5f，其绘示输入图4f的合成图像c0的运算结果d0。在图4f的合成图像c0中，第一图像ial’的分辨率小于第一图像ial的分辨率，第二图像ibr’的分辨率小于第二图像icr的分辨率，故在深度产生单元130输出的运算结果d0中，深度信息d2的分辨率也会小于深度信息d1的分辨率。
60.请参照图5g，其绘示输入图4g的合成图像c0的运算结果d0。在图4g的合成图像c0中，第一图像ial、第二图像ibr、第一图像ial与第二图像icr依序水平排列，故在深度产生单元130输出的运算结果d0中，深度信息d1与深度信息d2也会水平排列。
61.然后，在步骤s150中，拆解单元140对运算结果d0进行拆解，以获得深度信息d1、深度信息d2。拆解单元140可以依据旗标(参数或信号)得知深度信息d1、深度信息d2的位置与范围，以将深度信息d1、深度信息d2拆解出来。或者，拆解单元140可以利用图像处理技术识别出边界，并依据边界拆解出深度信息d1、深度信息d2。
62.此外，深度产生单元130也可以采用分时多工的方式进行运算，而无须组合单元120与拆解单元140。举例来说，当第一图像ial、第二图像ibr、第二图像icr输入至深度产生单元130时，可以插入旗标(参数或同步信号)，让深度产生单元130直接当作两张图像来分别处理，而直接输出两个深度信息d1、深度信息d2，无须进行组合与拆解。
63.不论是否采用分时多工，原始图像ia、ib、ic都是同步取得。最后所获得的深度信息d1、深度信息d2仍然是对应于该时间点，而各图像时间落差很小，相当适用于快速移动的物体。
64.要强调的是，在上述实施例中图像采集模块包括数个图像采集单元110、一转换单元111及一组合单元120，但在本发明的其它实施中，图像采集模块中的转换单元可以与组合单元合并，在本发明另一实施中，图像采集模块中的数个图像采集单元、转换单元及组合单元也可以合并。
65.根据上述实施例，多深度信息可以通过同一深度产生单元130来产生，无需额外增加成本。采用同一深度产生单元130也让硬件设计拥有更多的弹性空间。
66.当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。