影像景深获取方法与系统与流程

1.本发明涉及一种获取影像数据的方法，特别涉及一种影像景深获取方法与系统。


背景技术：

2.三维(three
‑
dimensional，3d)影像的发展日益蓬勃，其不只呈现了影像与色彩，还提供了立体空间的感受。在相关技术中，3d影像的产生大致分为两个类别，一种是利用3d镜头(两个镜头以上)拍摄以获得完整的3d场景信息，另一种是将现有的二维(two
‑
dimensional，2d)影像转换成3d影像。
3.人类是通过双目视差(binocular parallax)来感知3d立体环境，由于人类的两眼在水平方向相距一段距离，所以在观看实体物件时两眼的观看角度有所差异，人类的大脑便能通过两眼不同观看角度获得的影像重建实体物件的深度信息。因此在将2d影像转换成3d影像的技术中，通常是根据2d影像本身的信息计算出影像内部场景相对的景深(depth of field，dof)，并基于景深产生左右眼的影像，进而达到3d立体效果。所谓景深是指相机可以清楚成像的距离范围，离开此范围的物件则会逐渐模糊。
4.然而，目前各种景深深度采集都有着不同程度上的限制，比如：分辨率过小，深度图的品质差，环境影响(特征点匹配、缺乏纹理、光照不足或过度的曝光)，深度连续性不稳定。
5.故，如何采集影像中的景深深度，来提升3d影像的转换效果，已成为该项事业想要解决的重要课题之一。


技术实现要素：

6.本发明所要解决的技术问题在于，针对现有技术的不足提供一种影像景深获取方法，以提供更好的景深效果，进而获得更好的二维转三维的影像。
7.为了解决上述的技术问题，本发明所采用的技术方案是提供一种影像景深获取方法，其包括：通过一影像获取模块获得至少一二维(two
‑
dimension，2d)影像；通过一影像判断模块识别至少一2d影像中的多个实体物件；通过一三维(three
‑
dimensional，3d)建模工具进行至少一2d影像中多个实体物件的3d影像模拟；通过一录影机模拟模块模拟所接收的至少一2d影像的影像参数；进行至少一2d影像的第一次深度调节，以获得至少一深度影像；将至少一2d影像与至少一深度影像结合；以及进行至少一2d影像的第二次深度调节。
8.更进一步地，在通过一3d建模工具进行至少一2d影像中多个实体物件的3d影像模拟的步骤中，3d建模工具依据至少一2d影像中实体物件来绘制建构至少一2d影像的一三维模型。
9.更进一步地，进行至少一2d影像的第一次深度调节，以获得至少一深度影像的步骤，包括：根据一门限值，来调节至少一2d影像的深度值，进而获得至少一深度影像。
10.更进一步地，进行至少一2d影像的第一次深度调节，以获得至少一深度影像的步骤，包括：进行至少一2d影像的第一次深度调节，以获得左眼的深度影像或右眼的深度影
像。
11.更进一步地，进行至少一2d影像的第一次深度调节，以获得至少一深度影像的步骤，包括：进行至少一2d影像的第一次深度调节，以获得左眼的深度影像以及右眼的深度影像。
12.为了解决上述的技术问题，本发明所采用的另一技术方案是提供一种影像景深获取系统，其包括一影像获取模块、一影像判断模块、一3d建模工具、一录影机模拟模块、一深度调节模块与一影像合成模块。影像获取模块用于获得至少一2d影像，影像判断模块连接影像获取模块，接收至少一2d影像，并识别至少一2d影像中的多个实体物件。3d建模工具连接影像判断模块，用以模拟绘制至少一2d影像中多个实体物件的三维模型。录影机模拟模块连接3d建模工具，接收至少一2d影像以模拟至少一2d影像中的影像参数，深度调节模块连接录影机模拟模块，接收至少一2d影像，并根据一门限值，调整至少一2d影像的深度值以获得至少一深度影像。影像合成模块连接深度调节模块，接收并结合至少一2d影像与至少一深度影像。
13.更进一步地，深度调节模块根据一门限值，调节至少一2d影像的深度值，进而获得至少一深度影像。
14.更进一步地，3d建模工具、录影机模拟模块、深度调节模块或影像合成模块为一软件应用程序。
15.更进一步地，深度调节模块会将所结合至少一2d影像与至少一深度影像再进行一次深度调节。
16.更进一步地，影像获取模块为一影像处理程序或一摄影机。
17.本发明的其中一有益效果在于，本发明所提供的影像景深获取方法与系统可以获取到具连续性、稳定性或层次更优的深度影像，可以取代以人工方式绘制合成具影像景深的2d影像。
18.为使能更进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，然而所提供的附图仅用于提供参考与说明，并非用来对本发明加以限制。
附图说明
19.图1为本发明影像景深获取方法的步骤流程图。
20.图2a
‑
图2d为本发明2d影像的景深示意图。
21.图3为本发明影像景深获取系统的方框图。
22.【符号说明】
23.30：影像景深获取系统
24.301：影像获取模块
25.302：影像判断模块
26.303：3d建模工具
27.304：录影机模拟模块
28.305：深度调节模块
29.306：影像合成模块
30.s101
‑
s107：步骤
具体实施方式
31.以下是通过特定的具体实施例来说明本发明所公开有关“影像景深获取方法与系统”的实施方式，本领域技术人员可由本说明书所公开的内容了解本发明的优点与效果。本发明可通过其他不同的具体实施例加以施行或应用，本说明书中的各项细节也可基于不同观点与应用，在不背离本发明的构思下进行各种修改与变更。另外，本发明的附图仅为简单示意说明，并非依实际尺寸的描绘，事先声明。以下的实施方式将进一步详细说明本发明的相关技术内容，但所公开的内容并非用以限制本发明的保护范围。另外，本文中所使用的术语“或”，应视实际情况可能包括相关联的列出项目中的任一个或者多个的组合。
32.[第一实施例]
[0033]
图1为本发明影像景深获取方法的步骤流程图，参阅图1所示，本发明实施例提供一种影像景深获取方法，其包括下列步骤。
[0034]
在步骤s101中，通过一影像获取模块获得至少一二维(two
‑
dimension，2d)影像。影像获取模块可以是一影像处理程序或是一摄影机，通过影像处理程序或摄影机以获得2d影像，本发明的2d影像可以是现有的2d影像，或者本发明的2d影像也可以是实时获取的2d影像，且2d影像可以是一张照片或者是一段录影影像，在此并不局限。本发明所获取的都是平面的2d影像，通过影像处理的方式获得2d影像中的深度数据。
[0035]
在步骤s102中，通过一影像判断模块，识别至少一2d影像中的多个实体物件。在所获取的至少一2d影像中可以有许多不同场景，例如室内、室外、城市、树木、车辆、人物、宏观、微观场景等等，根据至少一2d影像的场景，识别场景中的各个实体物件，尽可能地获得至少一2d影像中所有的场景，在影像转换中，可提供影像场景的多样性或丰富性，而且根据不同的转换标的，可以选择不同且有针对性的场景进行不同程度的景深调整。
[0036]
在步骤s103中，通过一三维(three
‑
dimensional，3d)建模工具，进行至少一2d影像中多个实体物件的3d影像模拟。通过3d建模工具，可以依据2d影像中实体物件来绘制建构实体物件的三维模型。具体的，3d影像建模的过程中需要进行2d影像的特征提取，因此需要先通过影像判断模块识别至少一2d影像中的多个实体物件，然后从多个实体物件中选取特征。选取至少一2d影像的特征后，即可经由影像处理，推导出至少一2d影像中特征点的影像信息，进而获得3d模型场景输出的至少一2d影像。举例来说，本发明的影像景深获取方法会针对至少一2d的平面影像分析特征，并识别影像中的实体物件，例如判断是否为树木，以协助建构正确的3d模型，并将平面影像中所呈现的纹理、颜色等呈现在3d模型中。另外，3d建模工具可以是一软件应用程序，利用应用程序识别平面影像中的不同物件，和在多个不同物件中选取特征为本领域技术人员所熟知，在此不再赘述。
[0037]
在步骤s104中，通过一录影机模拟模块，模拟所接收的至少一2d影像的影像参数。同样，录影机模拟模块也可以是一软件应用程序，将影像输入软件应用程序中，就可以根据影像的各种影像参数进行调整与设定。其中，影像参数可以是光圈或焦距等。将所接收的至少一2d影像通过录影机模拟模块进行影像的调整，举例来说，结合镜头景别的调整：远景、全景画面、中景画面，近景画面、特写、大特写；镜头运动方式的调整：推镜头、拉镜头、跟镜头、摇镜头、移镜头、升降镜头、悬空镜头、俯仰镜头、主观性镜头、客观性镜头、空镜头、变焦镜头或综合性镜头等。通过步骤s102与s103进行2d影像的调节以获取影像中更准确的影像参数，进而可以在3d转换时提高转换效率，在步骤s104中，利用录影机模拟模块，可以模拟
各种不同的镜头，可以获得不同角度或不同范围的取景，进而获得至少一2d影像的输出范围，也就是最终输出3d影像的取景范围。
[0038]
在步骤s105中，进行至少一2d影像的第一次深度调节，以获得至少一深度影像。为了输出至少一2d影像的景深效果，进而可以在转换3d影像时获得更好的3d效果，因此进行第一次深度调节，根据一门限值进行2d影像的第一次深度调节。通过一深度调节模块，根据门限值调整至少一2d影像的深度值，超出门限值的影像数据对于影像转换没有任何意义，且会导致立体信息的缺失，因此参考门限值的来调节至少一2d影像的深度值，而门限值的数值大小根据不同的2d影像有不同的数值，而且根据不同的实体物件，门限值的数值也会不同，而如何设定门限值为本领域技术人员所熟知，在此不再赘述。另外，可以针对观看者的左眼与右眼各别生成一深度影像，如图2a与图2b所示，左眼与右眼的视角不同，其所观看的影像深度也有所不同，因此，根据左眼与右眼不同视角可生成不同的深度影像。然而，在不同实施例中，也可以仅生成左眼的深度影像、右眼的深度影像或双眼的深度影像，在此并不局限。
[0039]
在步骤s106中，将至少一2d影像与至少一深度影像结合。为了让至少一2d影像产生多层次的景深效果，将上述步骤所产生的至少一深度影像与至少一2d影像结合与渲染，让至少一2d影像获得影像景深效果。进一步来说，在本发明的优选实施例中，可以先将根据左眼与右眼不同视角所生成的深度影像20c结合，如图2c所示，再将所结合的景深影像与2d影像结合，如图2d所示，以获得具有景深效果的2d影像20d。或者，在不同实施例中，也可以将左眼的深度影像或右眼的深度影像与至少一2d影像结合，再生成具有景深效果的2d影像，在此并不局限。
[0040]
在完成步骤s106的影像结合与影像渲染后，在步骤s107中，进一步进行至少一2d影像的第二次深度调节，进而获得至少一2d影像的影像景深效果，因为，在步骤s105与步骤s106中，至少一2d影像在与至少一景深图结合后，并进行影像渲染后，所获得至少一2d影像的景深效果可能还不够完善，因此在步骤s107中进行第二次深度调节，以获得最好的影像景深效果。
[0041]
图3为本发明的影像景深获取系统的方框图，如图3所示，本发明的影像景深获取系统30包括一影像获取模块301、一影像判断模块302、一3d建模工具303、一录影机模拟模块304、一深度调节模块305与一影像合成模块306。
[0042]
影像获取模块301可以是影像处理程序或是一摄影机，通过影像处理程序或者通过摄影机以获得至少一2d影像，本发明的2d影像可以是现有以数字储存在影碟或存储器内的2d影像，或者本发明的2d影像也可以是实时获取的2d影像，且2d影像可以是一张照片或者是一段录影影像。影像判断模块302连接影像获取模块301，用于接收影像获取模块301所获取的至少一2d影像，并识别至少一2d影像中的多个实体物件。在所获取的至少一2d影像可以有许多不同场景，根据至少一2d影像的场景，识别场景中的各个实体物件。
[0043]
3d建模工具303连接影像判断模块302，通过一3d建模工具303进行至少一2d影像中多个实体物件的3d影像模拟，其可依据至少一2d影像中实体物件来绘制建构实体物件的三维模型。详细来说，3d影像建模的过程中需要进行2d影像的特征提取，因此需要先通过影像判断模块302识别至少一2d影像中的多个实体物件，然后从多个实体物件中选取特征。选取至少一2d影像的特征后，即可经由影像处理，推导出至少一2d影像中特征点的影像信息，
进而获得至少一2d影像的3d模型。影像判断模块302针对至少一2d的平面影像分析特征，并识别影像中的实体物件，例如判断是否为树木，以实现3d建模工具303根据影像中的实体物件建构正确的3d模型，并将平面影像中所呈现的纹理、颜色等呈现在3d模型中。
[0044]
录影机模拟模块304连接3d建模工具303，录影机模拟模块304模拟所接收的至少一2d影像的影像参数，其中，影像参数可以是光圈或焦距等。将所接收的至少一2d影像通过录影机模拟模块304进行影像的调整，举例来说，录影机模拟模块304模拟镜头的景别调整：远景、全景画面、中景画面，近景画面、特写或大特写等，或者，录影机模拟模块304模拟镜头运动方式的调整：推镜头、拉镜头、跟镜头、摇镜头、移镜头、升降镜头、悬空镜头、俯仰镜头、主观性镜头、客观性镜头、空镜头、变焦镜头或综合性镜头等。通过步骤s102与s103进行2d影像的调节以获取影像中更合适的影像参数，进而可以在3d转换时提高转换效率。
[0045]
深度调节模块305连接录影机模拟模块304，为了输出至少一2d影像的景深效果，进而可以在转换3d影像时获得更好的3d效果，因此进行第一次深度调节，根据一门限值，深度调节模块305接收至少一2d影像，并进行2d影像的第一次深度调节。为了获得2d影像的景深效果，通过一深度调节模块305，根据门限值调整至少一2d影像的深度值，超出门限值的影像数据对于影像转换没有任何意义，且会导致立体信息的缺失，因此参考门限值的来调节至少一2d影像的深度值，进而获得至少一深度影像。
[0046]
影像合成模块306连接深度调节模块305，为了让至少一2d影像产生多层次的景深效果，影像合成模块306将深度调节模块305所产生的至少一深度影像与至少一2d影像结合，让至少一2d影像进一步获得影像景深效果，并且进行影像渲染，使至少一2d影像获得更好的影像景深效果。在完成影像结合与影像渲染后，深度调节模块305进一步进行第二次深度调节，进而获得最佳的影像景深效果，至少一2d影像在与至少一景深图结合后，并进行影像渲染后，所获得至少一2d影像的景深效果。获得2d影像的景深效果，让2d影像转3d影像时可以获得更好的立体效果，让观看者可以明显感受到影像的立体效果。另外，在此需要说明的是，3d建模工具303、录影机模拟模块304、深度调节模块305与一影像合成模块306可以是一软件应用程序，将影像汇入软件应用程序中，就可以根据影像的各种影像参数进行调整与设定，也可以调整2d影像的景深，还可以根据2d影像中的实体物件进行识别以及3d建模的工作，如何在软件应用程序中进行设定影像参数或调整影像的工作为本领域技术人员所熟知，在此不再赘述。
[0047]
通过本发明的影像景深获取方法与系统所提供三维建模，相较于传统以rgb双面获取的深度信息，本发明的2d影像深度在深度的连续性、稳定性、层次上更优。对比人工绘制合成的深度影像，本发明的影像景深获取方法与系统效率更高。因为传统技术通过大量训练产生三维模型，而在这些模型基础上二次创造，就可以大量输出rgb图和深度信息，所以这种方式相比立体合成师绘制成本更低。
[0048]
[实施例的有益效果]
[0049]
本发明的其中一有益效果在于，本发明所提供的影像景深获取方法与系统可以获取具连续性、稳定性或层次更优的深度影像，可以取代以人工方式绘制合成具影像景深的2d影像。
[0050]
以上所公开的内容仅为本发明的优选可行实施例，并非因此局限本发明的权利要求，所以凡是运用本发明说明书及附图内容所做的等效技术变化，均包含于本发明的权利
要求内。