背景显示系统的制作方法

1.本发明涉及一种用于虚拟图像录制工作室的背景显示系统，该背景显示系统具有背景显示设备，该背景显示设备被配置为在真实物理对象后面或上方显示虚拟背景的表示，以借助于相关联摄像机进行录制。


背景技术：

2.例如，可以提供具有背景显示设备的这种背景显示系统，以在图像录制工作室中产生虚拟背景或虚拟环境，在该虚拟背景或虚拟环境前面或里面，发生待借助于摄像机录制的场景或者可以发生录制。图像录制工作室可以包括用于录制移动图像的电影工作室，或用于录制单个图像或静止照片的照相馆。为此目的，特别是三维背景，例如景观或空间，可以显示在基本上二维的平面上，并且演员可以将他或她自己作为物理上真实的对象移动或定位在这种背景显示设备的前面，使得在图像录制工作室中可以再现几乎任何数量的空间或景观。因此，稍后添加这种背景或单独地像绿屏前的录制一样，不再是必要的。
3.用这种背景显示设备录制移动图像场景可以进一步促进演员对后续电影背景中发生的事件或移动做出反应，因为这种动画可以借助于背景显示设备来表示，并且可以被演员直接注意到。例如，与演员看不到环境的绿屏不同，演员因此可以体验背景过程并适应戏剧。
4.这种背景显示设备因此提供了为待录制的场景表示虚拟背景的可能性，该虚拟背景是动画的并且容易适应，并因此特别促进表演或手势。然而，在与相关联摄像机的相互作用中出现了一个问题，即对摄像机执行的调整是基于二维中三维虚拟背景的主要出现的表示，这不同地影响了摄像机产生的图像，正如在三维环境中录制实际三维场景所预期的那样。特别地，与摄像机连接的镜头的深度相关特性可能因此在虚拟背景的表示的图像中丢失，使得虚拟背景的表示的图像可能偏离对应于虚拟背景的真实背景的图像。
5.因此，通过选择摄像机镜头的合格且期望的深度相关的效果，特别是考虑到待在由摄像机生成的虚拟背景的图像中生成的散景(bokeh)，是不能实现的。散景特别描述了由摄像机产生的图像中模糊区域的质量，这是通过将入射光线投射到图像平面上，并且例如借助于所用镜头投射到设置在图像平面上的图像传感器上而产生的。例如，模糊区域的形状如圆形或圆盘形可以由散景确定，由此这些形状或它们的尺寸可以一方面取决于从录制物体到摄像机的距离，并且另一方面取决于所用镜头的特性。由于模糊区域可以共同确定由摄像机产生的图像的印象，所以用于录制的镜头通常可以仅通过考虑由该镜头产生的散景来选择，由此通常不能获得录制虚拟背景的表示所期望的散景。


技术实现要素：

6.因此，本发明的目的是实现一种背景显示系统，其使得有可能在借助于相关联摄像机产生的虚拟背景的表示的图像中实现摄像机效果和/或镜头特定的效果，并且特别地，这种效果将由对应于虚拟背景的真实背景的图像来创建。
7.通过包括权利要求1的特征的背景显示系统来实现该目的。
8.背景显示系统包括被配置为控制背景显示设备的控制设备，其中控制设备包括用于从相关联摄像机接收镜头数据的数据输入端，并且其中控制设备被配置为根据接收的镜头数据调整虚拟背景的表示。
9.由于控制设备包括用于接收相关联摄像机的镜头数据的数据输入端，因此可以考虑用于表示虚拟背景的摄像机或摄像机镜头特定参数或设置，使得通过调整虚拟背景的表示，可以影响借助于摄像机产生或可产生的该表示的光学图像。旨在录制场景或图像的摄像机可以为此目的连接到控制设备的数据输入端或可与其连接，并且控制设备可以被配置为无线地和/或通过电缆从摄像机接收镜头数据。因此，摄像机也可以被设计用于无线和/或有线传输镜头数据。
10.为了表示虚拟背景，背景显示设备可以构成例如具有有源像素矩阵的电子显示器，并且特别地，可以包括具有多个光源的有源照明装置，特别是具有多个发光二极管的led墙或者具有多个发光二极管的oled墙，所述发光二极管可以被单独地和/或成组地控制相邻的发光构件或发光构件阵列。因此，特别是可以显示三维场景的虚拟背景可以通过对背景显示设备上的发光构件的适当控制来以图像方式表示。此外，背景显示设备可以被配置为借助于背投来生成虚拟背景的表示，为此目的，背景显示设备可以特别包括部分透明的屏幕和投影仪，特别地dlp(数字光处理)投影仪。
11.虚拟背景可以由背景显示设备特别地显示为基本上和/或至少部分二维表面上的数学投影，其中背景显示设备可以被设计成至少部分平坦或平面和/或至少部分拱形或弯曲。例如，背景显示设备或旨在将虚拟背景的表示显示为待录制的真实对象前面的背景的相同设备的一部分可以垂直向上延伸，并且待录制的对象被拱形投影到其上部，以便能够尽可能呈现最完整的背景。
12.在这种情况下，控制设备被配置为根据接收的镜头数据，特别是基于镜头参数或表征所使用的摄像机镜头的其他值的相应设置，来调整虚拟背景的表示，对应于虚拟背景的真实背景(特别是三维)的理论图像中出现的效果可以在虚拟背景的表示的实际生成图像中再现。为此，镜头数据可以特别包括镜头设置值。这种镜头设置值可以表示可以为摄像机镜头设置的可变参数的值。例如，光圈孔径、焦距和/或聚焦值可以影响借助于摄像机生成的图像，使得这些参数的值可以作为镜头数据传输到控制设备，并且可以在调整表示时被考虑到。此外，镜头数据可以包括关于所用镜头的信息，该所用镜头可以特别被设计为可互换镜头。此外，关于所用镜头的这种信息，例如镜头类型和/或序列号，可以另外用于调整表示，以便能够在由摄像机生成的虚拟背景的表示的光学图像中再现例如镜头特定效果，特别是模糊区域的形状。在这方面，镜头数据也可以被称为摄像机镜头数据。
13.控制设备可以被设计为例如微处理器、cpu(中央处理单元)或gpu(图形处理单元)，其被配置为处理接收的镜头数据并生成用于调整虚拟背景的表示的适当命令。例如，控制设备可以具有集成存储器或者连接到存储器，以便能够存储并访问虚拟背景的图像信息和位置信息。
14.此外，可以规定，控制设备包括游戏引擎或者被配置为使用游戏引擎来生成虚拟背景的表示。游戏引擎可以基本上实现为软件，以便生成环境的表示，特别是在考虑位置(特别是玩家的位置)的计算机游戏中。这样做时，游戏引擎可以访问一个或多个数据库，以
便生成相应的环境。对应地，可以使用这种游戏引擎来生成考虑真实对象(特别是演员和/或摄像机)的位置的虚拟背景的表示。然后，可以根据接收的镜头数据来调整游戏引擎生成的表示，以便摄像机生成的光学图像近似于对应于虚拟背景的真实背景的理论图像。这种游戏引擎可以在例如微处理器(特别是多核)或显卡上运行。
15.例如，控制设备可以被配置为根据接收的镜头数据并特别是接收的关于所用镜头或镜头类型的信息，从数据库中选择分配给镜头的数字滤波器，并且应用该滤波器以便调整虚拟背景的表示。此外，接收的镜头设置值，例如焦距或聚焦距离，可以用作这种数字滤波器中的参数，以便考虑虚拟背景的表示中相应镜头的设置。例如也可以借助于游戏引擎发生使用数字滤波器来调整虚拟背景的表示，只要这是为了生成虚拟背景的表示。然而，还可能的是，提供这种预期游戏引擎仅用于生成表示而不考虑镜头数据，同时通过不形成游戏引擎的一部分的另外软件模块来调整表示。此外，该表示还可以以其他方式生成，例如借助于存储在数据库和/或存储器中的模型，而不需要包括游戏引擎的控制设备。
16.例如，相关联摄像机的镜头的参数或摄像机的设置可以影响借助于摄像机生成的光学图像中的点或物体的锐度。相应的点或物体出现在图像中的锐度可以取决于所讨论物体距摄像机或其镜头的距离，使得对应于虚拟背景的真实背景中被布置成彼此隔开，或与摄像机有不同的间距的物体将以变化的锐度在该真实背景的理论图像中得以表示。然而，由于这些物体可以借助于背景显示设备表示在平面中，或者至少以与真实背景中的物体的距离不同的距摄像机的距离来表示，所以由摄像机生成的虚拟背景的表示的光学图像中的物体被成像为大多具有由背景显示设备到摄像机的距离确定的基本相等的锐度。镜头数据特别是镜头设置值的接收允许例如调整已经在虚拟背景表示中的物体的锐度，以便能够在虚拟背景表示的光学图像中最终达到与真实背景图像中相同或类似的模糊。通过调整背景显示设备的所有区域的表示，特别是与理论图像相当的锐度分布，还可以生成可比散景。
17.因此，根据镜头数据特别是镜头调整值，表示的调整可以有效地影响并特别地增强由相关联摄像机影响的虚拟背景的表示对光学图像的影响。由于虚拟背景的表示的几何条件与对应于虚拟背景的真实背景中的条件的偏差，因此可以补偿效果的缺失或这种效果的衰减。特别地，虚拟背景表示中物体或点的故意模糊表示可以导致由镜头的设置引起的该物体或点在由摄像机生成的光学图像中的锐度或模糊，该光学图像被增强，其方式使得模糊对应于或近似与虚拟背景对应的真实背景的理论图像中的模糊。
18.为了调整虚拟背景的表示，在接收镜头数据之前或调整表示之前，背景显示设备不必已经生成了虚拟背景的完整表示。相反，根据接收的镜头数据调整表示也可以例如在场景开始时或者在生成表示时的录制之前发生，其中镜头数据可以被接收并且根据它的表示可以被生成。因此，对表示所做的调整原则上也可以发生，或者被理解为这样，作为借助于背景显示设备生成表示期间的整体过程。为了生成和调整该表示，控制设备可以例如利用模型，特别是三维模型，该模型可以存储在非易失性存储器(例如半导体存储器)中并可其中获得。特别地，控制设备可以根据所接收的关于所用镜头的信息来利用相应的模型。可替代地，或者另外，控制设备可以利用游戏引擎来生成表示。
19.镜头数据可以实时传输到控制设备或从控制设备接收，例如在录制电影场景的同时，使得可以例如将表示实时调整到镜头或摄像机的变化设置。例如，可以在聚焦于位于背景显示设备前面的真实对象(例如演员的脸)的同时连续调整虚拟背景的表示，以便能够获
得由摄像机生成的虚拟背景的表示的光学图像中的散景，该散景尽可能接近于对应于虚拟背景的真实背景的录制所期望的散景。
20.此外，还可以规定，镜头或摄像机的位置和/或取向例如倾斜或角度被传输到控制设备，并且控制设备根据这种位置数据调整虚拟背景的表示。当录制对应于虚拟背景的真实背景时，摄像机的移动也可以不同地影响虚拟背景的表示的生成图像和理论图像，其中控制设备可以例如被配置为根据接收的位置数据移动虚拟背景的物体，以便使它们在生成图像中的位置更接近理论图像中的预期位置。
21.如已经解释的，背景显示设备可以特别用于为在虚拟图像录制工作室中拍摄或待拍摄的电影场景的录制提供虚拟背景。然而，也可以借助于背景显示设备为照片拍摄生成虚拟背景，例如在时尚摄影中，其中可以根据接收的镜头数据来调整待录制的照片或静止图像的虚拟背景的表示。这可以使得在由摄像机生成的虚拟背景的表示的光学图像中实现逼真的散景，这在摄影中特别受到针对并且受到镜头选择的限制。
22.本发明的另外实施例可以获得自从属权利要求、说明书和附图。
23.在一些实施例中，背景显示设备可以包括平面有源照明装置。特别地，背景显示设备可以包括有源二维照明装置，特别是有源像素矩阵。照明装置可以包括多个发光构件，所述发光构件可以由控制设备单独地和/或成组地控制，以便能够生成图像或表示，并且能够显示录制场景的虚拟背景。发光构件特别地关于所产生的光的颜色和/或亮度是可调整的，使得通过控制发光构件，可以有源地生成或调整虚拟背景的表示。同样，整个发光构件可以特别地在有源照明装置的二维表面上特别地显示三维虚拟背景的显示表示。也可以通过调整表示或通过照明装置的对应控制来再现虚拟背景中的移动。作为具有多个发光构件的有源照明装置的替代方案，还可以规定，背景显示设备被配置为借助于背投来生成虚拟背景的表示。
24.在一些实施例中，背景显示设备可以被配置为照亮真实对象。特别地，除了生成虚拟背景的表示之外，背景显示设备因此可以被配置为照亮真实对象，例如演员，并且除了虚拟图像录制工作室的其他照明之外进行操作。特别地，背景显示设备可以在真实对象的后面或上方延伸，使得背景显示设备可以被配置为从侧面和/或从上方照亮真实对象。
25.这种借助于背景显示设备照亮真实对象使得可以例如在对应于虚拟背景的真实背景中创建和录制由光源生成的真实细节效果，特别是在与真实对象相互作用时。例如，存在于虚拟背景中的光源，诸如待录制的街道场景中的街灯或过往汽车的前灯，可以直接照亮演员，使得演员投射的阴影对应于演员在被真实街灯或真实聚光灯照亮时会投射的阴影。
26.在一些实施例中，背景显示设备可以包括led，该led包括呈二维布置的多个单独可控的发光二极管(led)。特别地，背景显示设备可以被设计为具有多个发光二极管的led墙，其中可以单独地或成组地控制发光二极管，以便在区域中生成虚拟背景的表示。通过控制这些发光二极管，可以借助于控制设备来调整显示器，以便能够改变虚拟背景和/或能够影响虚拟背景的表示的光学图像，其由摄像机生成或能够生成。此外，背景显示设备可以包括具有多个有机发光二极管(oled)的oled墙和/或被设计为oled墙。
27.在一些实施例中，可以规定背景显示设备在垂直和/或水平方向上延伸。特别地，背景显示设备也可以在垂直和/或水平平面中平面延伸或者以弯曲的方式延伸。例如，背景
显示设备可以包括照明装置，特别是led墙，其可以围绕真实对象垂直延伸以表示虚拟背景，其方式使得当摄像机枢转时也录制虚拟背景。背景显示设备也可以在垂直平面中延伸，以在该平面中表示虚拟背景，特别是在真实对象的后面。此外，照明装置或led墙可以例如在真实对象上方在水平平面中延伸，以在该平面中或该对象上方形成或完成虚拟背景和/或对该对象的照明。在这种情况下，可以在背景显示设备的垂直部分与水平部分之间提供拱形或弯曲过渡。此外，可以规定，背景显示设备至少部分地在真实对象上方向上倾斜延伸。
28.在一些实施例中，控制设备可以被配置为调整虚拟背景的表示，其方式使得由摄像机根据接收的镜头数据生成的表示的光学图像接近理论图像，该理论图像在对应于虚拟背景的真实背景借助于分配的摄像机成像的情形下生成。
29.特别地，借助于背景显示设备，可以表示虚拟背景，该虚拟背景显示待录制的场景的三维环境。因此，这可以处理例如对真实存在的景观或真实存在的空间的模仿，或者可以创建虚构环境。然而，在现实中是三维的并且在虚构现实中也适用的真实背景可以主要由背景显示设备在投影(特别是二维)中显示，使得在现实中，彼此远离或者可能令人反感的虚拟背景的物体或区域表示在一个平面上或者至少彼此之间具有偏离现实的距离。因此，虚拟背景的所有物体也由摄像机在距摄像机一距离处录制，该距离基本上相同或者至少不对应于距摄像机的真实距离。
30.虚拟背景在现实中的表示将特别是三维背景，借助于背景显示设备，因此可以导致镜头的深度相关特性在借助于摄像机生成的光学图像中丢失的事实。例如，理论图像中真实背景的不同区域的锐度取决于这些区域与摄像机之间的距离，特别地可以根据镜头数据或镜头设置值(例如，光圈)而改变，摄像机在对真实背景成像时由于其三维性而产生该理论图像。为了能够在借助于摄像机产生或可产生的光学图像中实现这种效果，即使当在虚拟背景的表示前面录制场景时，也可以调整表示，例如，以便增加由摄像机生成的光学图像中已经由模糊表示引起的模糊区域。特别地，可以通过组合有源照明装置的多个发光构件，特别是多个发光二极管，以形成具有相同和/或相似颜色和/或亮度的区域来生成这种模糊。
31.例如，控制设备可以被配置为根据接收的镜头数据计算理论图像，即对应于虚拟背景的真实背景的图像，以便能够将能够由具有该镜头数据的摄像机生成的光学图像与理论图像进行比较。为此目的，控制设备可以例如利用虚拟背景的模型，该模型特别地可以包括多个(虚拟)背景区域的位置数据，从该位置数据可以导出在虚拟背景的这些背景区域与其上显示虚拟背景的(真实)背景显示设备和/或摄像机之间的距离。该位置数据还可以特别地考虑(真实)背景显示设备在空间中的曲率。控制设备还可以被配置为根据镜头数据计算虚拟背景的表示的实际可产生图像，以便能够例如使用图像分析方法将该图像与理论图像进行比较，并且能够调整虚拟背景的表示，使得光学图像能够近似理论图像。
32.此外，可以规定，控制设备可以访问存储器(本地或云)，其中存储了用于根据接收的镜头数据生成虚拟背景的表示的多个模型。这些可以提前例如通过模拟获得，或者特别地，当再现实际景观时，用不同的镜头设置值实验性地拍摄景观的照片，这些可以由控制设备作为镜头数据接收。因此，控制设备可以被配置为根据接收的镜头数据，特别是镜头设置值，使用相应的对应模型来生成虚拟背景的表示，并且通过改变所用模型来调整该表示。
33.此外，用于特定镜头类型和/或相应镜头的相应模型也可以存储在存储器中，使得在接收到关于所用镜头的信息或包括这种信息的镜头数据之后，控制设备可以使用相应分配的模型来生成表示。例如，接收的镜头数据可以包括镜头类型和/或序列号或镜头的一些其他标识。特别地，对应于虚拟背景的真实背景的图像中模糊区域的形式(其可以取决于所用镜头)因此可以在实际由摄像机生成的虚拟背景的表示的光学图像中再现。除了关于所用镜头的这种信息之外，镜头数据还可以包括相应的镜头设置值，使得可以生成与相应镜头相关并且适应于该镜头的设置的表示。
34.在一些实施例中，镜头数据可以表示在相关联摄像机的镜头中设置的参数。
35.镜头数据可以表示相关联摄像机的以下镜头参数中的至少一个的设置值(镜头设置值):相关联摄像机的镜头的光圈孔径、聚焦距离和/或焦距。光圈孔径可以特别地与镜头的可变光圈的开口宽度相关。特别地，取决于物体与摄像机之间的距离的这些参数的设置可以影响物体在摄像机生成的图像中成像的锐度，使得考虑到这些参数中的一个或多个的值，可以调整虚拟背景的表示以便获得最可能真实的散景。
36.在一些实施例中，可以规定，控制设备被配置为在数据输入端处从相关联摄像机接收位置数据，并且根据接收的位置数据来调整虚拟背景的表示。例如，这种位置数据可以包括摄像机或镜头相对于背景显示设备的距离或倾斜度或角度。为了能够获得这种位置数据，背景显示系统可以例如包括具有辅助摄像机的位置确定设备，其可以光学地检测旨在用于录制场景的摄像机相对于背景显示设备的位置，并且可以将其传输到控制设备。
37.此外，通过在调整表示时考虑到摄像机的这种位置数据或取向，借助于摄像机生成的虚拟背景的表示的光学图像可以近似于由对应于虚拟背景的真实背景的录制产生的理论图像。例如，当摄像机枢转时，借助于背景显示设备显示的物体的角度可以不同于真实背景中的物体的情况，在真实背景中，物体显示与摄像机的不同距离。例如，控制设备可以被配置为确定虚拟背景的表示中的这种偏差，并且移动背景显示设备上的物体，其方式使得借助于摄像机生成的光学图像中的物体具有对应于理论图像中角度的角度或者与被成像的相邻物体的距离。
38.在一些实施例中，镜头数据可以包括关于相关联摄像机使用的镜头的信息，其中控制设备可以被配置为根据所接收的关于所用镜头的信息来调整虚拟背景的表示。特别地，镜头可以被设计为可互换镜头，使得最佳地适应于待执行的录制的相应可互换镜头可以连接到摄像机。取决于所用镜头，可以出现镜头特定的效果，其对由摄像机生成的虚拟背景的表示的光学图像和当对对应于虚拟背景的真实背景成像时由摄像机生成的理论图像具有不同的效果。然而，原则上，也可以提供具有相应永久分配的镜头的摄像机，使得通过传输信息，可以记录分配给相应摄像机的镜头并且可以在调整虚拟背景的表示时考虑所述镜头。
39.关于所用镜头的这种信息可以特别地包括镜头类型或模型。可以调整虚拟背景的表示，其方式使得在由摄像机生成的虚拟背景的表示的光学图像中模拟真实背景的理论成像中出现的由镜头类型引起的光学效果。特别地，可以通过调整虚拟背景的表示来放大或影响镜头的光学像差特别是与距离相关的光学像差，其方式使得这些光学像差以与对应于虚拟背景的真实背景的图像相同或近似相同的方式反映在虚拟背景的表示的光学图像中。特别地，控制设备可以为此目的访问数字滤波器，所述数字滤波器与所用镜头相关联，以便
确定虚拟背景的表示的必要调整。例如，控制设备可以被配置为在计算理论和/或实际生成的图像时使用这种数字滤波器，以便能够确定虚拟背景的表示的必要调整。
40.在一些实施例中，信息可以表示镜头类型、镜头的标识、镜头的可变光圈的形状(例如，叶片或薄片的数量)、镜头的圆柱形元件的布置(特别是在变形镜头的情况下)和/或镜头的光学元件的涂层。特别地，镜头的标识可以包括序列号，以便能够明确确定所用镜头。可以规定，基于序列号，从存储的数据库(本地或云)中读出相关数据。然而，原则上，只有镜头的特性，诸如可变光圈的形状或镜头的光学元件的布置可以用于调整虚拟背景的表示，而不直接考虑镜头类型。
41.在一些实施例中，控制设备可以被配置为调整虚拟背景的表示，其方式使得在由摄像机生成的虚拟背景的表示的光学图像中再现由相关联摄像机根据接收的镜头数据生成的对应于虚拟背景的真实背景的理论图像中出现的距离相关成像效果。
42.特别地，物体在可以借助于相关联摄像机生成的光学图像中成像的锐度可以是距离相关的，并且取决于镜头数据或镜头设置值，例如光圈孔径。例如，在现实中，遥远的物体可以用宽孔径模糊成像，而距离近的物体可以聚焦成像。另一方面，通过减小光圈孔径，更远的物体也可以越来越清晰地显示。
43.由于光学图像中物体的锐度取决于物体与摄像机之间的距离，与理论图像相比，可以借助于摄像机生成的虚拟背景的表示的光学图像中可能出现差异，这将在真实背景的录制或成像中出现。为了在可以由摄像机生成的光学图像中重建这种距离相关的成像效果，可以根据接收的镜头数据在虚拟背景的表示中模糊地显示真实背景中的远点，以便在由摄像机生成的虚拟背景的表示的光学图像中以对应于或近似于真实背景的理论图像中的模糊的模糊来显示该点。同样，例如，可以根据接收的镜头数据来调整虚拟背景的表示的各个点或区域的亮度值，以便在可以借助于摄像机生成的真实背景的理论图像中重建亮度的距离相关变化，例如通过由摄像机生成的虚拟背景的表示的光学图像中的光圈孔径的变化。
44.在一些实施例中，虚拟背景可以表示三维场景，并且控制设备可以被配置为根据接收的镜头数据以不同的锐度来表示三维场景的不同区域。由于可以以不同程度的锐度表示三维场景的不同区域，特别地，可以借助于摄像机在虚拟背景的表示的光学图像中实现模糊梯度，该模糊梯度对应于或近似于与虚拟背景对应的真实背景的理论图像中的模糊梯度。为此目的，例如，可以借助于背景显示设备以不同的锐度分部分表示或呈现虚拟背景的模型。例如，三维场景的不同区域可以被划分成相对于摄像机或背景显示设备不同的距离区域，或者划分成不同的锐度区域，由此不同镜头数据的距离区域或锐度区域可以分配不同的锐度或模糊度，利用所述锐度或模糊度，将借助于背景显示设备在表示中显示虚拟背景。以这种方式，例如，由摄像机生成的光学图像中的距离相关的模糊梯度或散景可以近似于在对真实背景或真实三维场景成像时由摄像机生成的理论图像中的模糊梯度。
45.在一些实施例中，如已经提到的，控制设备可以连接到在其中虚拟背景存储为模型的存储器，其中控制设备可以被配置为基于存储的模型生成虚拟背景的表示。例如，背景的模型可以存储在存储器中，特别是半导体存储器中，根据该模型，虚拟背景的所有物体由背景显示设备清晰地表示，并且控制设备可以被配置为根据接收的镜头数据来调整该模型，以便考虑例如变化的光圈，并且能够在光圈打开时表示更加模糊的物体。此外，存储器
可以提供例如虚拟背景的各种模型，其可以被分配给相应的镜头数据，例如镜头的相应镜头类型或相应镜头设置值，使得控制设备可以根据接收的镜头数据访问相应的模型，并且可以借助于背景显示设备来表示该模型。例如，可以为不同的光圈孔径、焦距和/或聚焦距离或这些参数的组合存储相应的模型。
46.通常，所述存储器不必布置在本地控制设备上。它也可以是可通过数据网络(有线或无线)访问的存储设备(例如，云存储中的数据库)。
47.虚拟背景的存储模型可以包括多个背景区域的相应图像信息和相应位置信息。图像信息可以包括例如相应背景区域的颜色和/或亮度信息，而位置信息可以包括例如背景区域与背景显示设备之间的距离和/或相应背景区域的三维坐标，特别是相对于图像录制工作室中的一个定义原点或背景显示设备的三维坐标。背景区域可以由例如背景显示设备的照明装置的单个发光设备或由led墙的发光二极管形成或显示，同时也可以将若干这种发光设备组合在共用背景区域中。控制设备可以被配置为根据接收的镜头数据单独调整或设置多个背景区域中的每一个。
48.在一些实施例中，位置信息可以包括背景区域距背景显示设备的距离，其中控制设备可以被配置为读出存储的距离，并且在调整虚拟背景的表示时考虑它们。距离可以指示对应于虚拟背景的真实背景的相应区域距背景显示设备的距离。例如，布置在虚拟背景中的物体可以被分配给相应背景区域。
49.例如，控制设备可以被配置为至少近似地确定从背景区域到摄像机的距离、位置信息中包括的从背景区域到背景显示设备的距离，或者向背景区域分配与摄像机的相应距离。如果现在对摄像机的镜头进行设置，并且将对应的镜头设置值例如光圈孔径传输到控制设备，则控制设备可以被配置为基于背景区域与摄像机之间的距离以及接收的镜头数据，确定镜头的设置如何反映在对应于虚拟背景的真实背景的理论图像中，其中背景区域展现了先前确定的到摄像机的距离。此外，控制设备可以被配置为确定镜头的设置对由摄像机生成的虚拟背景的表示的实际图像有什么影响，其中从背景区域到摄像机的距离对应于从摄像机到背景显示设备的表示背景区域的部分的距离。通过将真实背景的理论图像中的效果与由摄像机生成的虚拟背景的表示的实际图像中的效果进行比较，然后可以执行对表示的必要调整，其方式使得以与在对真实背景成像时理论图像中相同或相似的方式，借助于摄像机对虚拟背景的表示中的光学图像中的背景区域进行成像。
50.此外，在一些实施例中，控制设备可以被配置为基于为多个背景区域存储的图像信息来生成虚拟背景的表示，并且根据为多个背景区域存储的位置信息和接收的镜头数据来调整该表示。图像信息可以确定虚拟背景的基本模型或表示，其例如为多个光源中的每一个分配颜色和/或亮度，所述光源特别是发光二极管、照明装置或背景显示设备的led墙或这种光源的阵列。特别地，可以提供图像信息来生成虚拟背景的完全清晰的表示，可以根据接收的镜头数据调整该表示。可以规定，控制设备被配置为使用游戏引擎来生成表示。
51.为了能够通过调整由摄像机生成的光学图像中的表示来再现取决于接收的镜头数据的特定距离相关成像效果，可以使用分配给多个背景区域的存储位置信息。例如，基于位置信息，可以确定或分配背景区域与摄像机之间的距离，以便确定背景区域将如何以及特别地以什么锐度或模糊度在真实背景的理论图像中成像。这使得可以根据某些背景区域的位置和接收的镜头数据来表示这些背景区域，例如已经借助于背景显示设备模糊的区
域，使得在虚拟背景的表示的光学图像中可以实现对应于真实背景的理论图像中的模糊的模糊。
52.可以规定，取决于接收的镜头数据的背景显示设备的设置指令存储在存储器中，其中控制设备可以被配置为基于用于调整虚拟背景的表示的设置指令来控制背景显示设备。例如，不同的模型可以存储在存储器中，基于所述模型可以生成虚拟背景的表示。例如，可以将模型分配给查找表中的相应镜头数据，使得控制设备可以从查找表中确定适合于接收的镜头数据的模型，并且可以使用它来调整虚拟背景的表示。特别地，可以存储用于背景显示设备的照明装置(特别是led墙)的每个发光构件或相应发光构件组的设置指令。
53.当将设置指令分配给包括至少一个镜头设置值的镜头数据时，可以规定，控制设备被配置为当接收的镜头设置值位于两个值之间时在两个设置指令之间进行插值，为此，设置指令存储在存储器中。作为对此的替代，控制设备可以被配置为近似使用相邻镜头设置值的设置指令。
54.在一些实施例中，控制设备可以具有计算设备，该计算设备被配置为针对多个背景区域确定理论图像的图像参数以及虚拟背景的表示的光学图像的图像参数，如果对应于虚拟背景的真实背景借助于相关联摄像机根据接收的镜头数据成像，则将生成理论图像，并且借助于相关联摄像机根据接收的镜头数据可以生成虚拟背景的表示的光学图像，其中控制设备可以被配置为调整虚拟背景在背景显示设备上的表示，其方式使得光学图像的图像参数近似于理论图像的图像参数。特别地，计算设备可以被配置为计算多个背景区域的成像参数，其可以存储在虚拟背景模型的前述存储器中。计算设备可以被提供为例如微处理器和/或cpu和/或gpu或其一部分，其被配置为执行基于软件的计算步骤或查询。原则上，控制设备和计算设备可以组合在共用单元中，同时计算设备也可以被设计为连接到控制设备的独立部件。
55.例如，计算设备可以访问分配给相应背景区域的位置信息，并且基于该位置信息，可以根据接收的镜头数据计算相应背景区域的理论图像的成像参数。这种成像参数例如可以是模糊的度量，例如图像中出现的散光圈的直径，或者图像中相应背景区域成像的亮度的度量。这种成像参数可以特别取决于镜头数据或表示镜头设置的镜头设置值，例如，相关联摄像机的镜头的焦距、聚焦距离和/或光圈孔径，并取决于从背景区域到摄像机的距离，使得真实背景的理论图像中的成像参数和由背景显示设备显示的虚拟背景的表示的实际生成图像中的成像参数可以彼此区分。计算设备可以相应地被配置为计算用于虚拟背景的表示的成像的相应成像参数，特别是考虑从背景显示设备到相关联摄像机的距离。
56.计算设备和/或控制设备可以被配置为将为理论图像和由摄像机实际生成的光学图像计算的成像参数彼此进行比较。基于这种比较，控制设备可以被配置为调整虚拟背景或背景区域在背景显示设备上的表示，其方式使得成像参数彼此近似。因此，例如，可以形成计算出的散光圈直径之间的关系，对于该关系，相应的点被成像在可以借助于摄像机生成的虚拟背景的表示的光学图像以及真实背景的理论图像中的背景区域中，并且可以用相同的设置来控制由该关系反映的背景显示设备的多个光源，以便能够在虚拟背景的表示的光学图像中再现理论图像中预期的散光圈。此外，计算设备可以被配置为计算地调整背景显示设备的可能设置指令，并且确定可以由摄像机生成的虚拟背景的表示的光学图像中的预期成像参数，以便生成其中成像参数尽可能近似于理论图像的成像参数的设置指令。设
置指令可以特别地涉及背景显示设备的发光构件的颜色和/或亮度设置。
57.此外，计算设备可以被配置为确定将借助于摄像机对对应于虚拟背景的真实背景成像产生的理论图像，以及根据镜头数据借助于摄像机对虚拟背景的表示的光学图像，其中计算设备和/或控制设备可以被配置为通过将两个图像进行比较来确定背景显示设备的设置指令。例如，计算设备可以被配置为针对不同的镜头数据，特别是不同的镜头设置值，计算或模拟理论图像以及虚拟背景的表示的光学图像，并且计算地调整背景显示设备的设置指令，直到虚拟背景的表示的计算或模拟图像尽可能接近理论图像。为此，例如，计算设备可以使用或执行图像分析方法。以这种方式确定的设置然后可以作为设置指令传输到控制设备或被控制设备接收，以便控制背景显示设备。
58.在一些实施例中，计算设备可以被配置为根据接收的镜头数据计算光学图像的成像参数和/或理论图像的成像参数。替代地或另外，计算设备可以被配置为根据接收的镜头数据在数据库中查找光学图像的成像参数和/或理论图像的成像参数。特别地，对于将借助于摄像机对对应于虚拟背景的真实背景成像产生的理论图像，取决于镜头数据的成像参数特别是镜头设置值可以存储在数据库中。此外，可以由摄像机根据接收的镜头数据生成的虚拟背景的表示的光学图像的成像参数可以存储在数据库中，特别地用于背景显示设备的不同设置并用于不同背景区域。因此，可以为每个背景区域直接确定背景显示设备的设置，通过该设置，成像参数尽可能彼此接近，并且可以由控制设备相应地调整表示。作为对此的替代，计算设备可以被配置为根据接收的镜头数据计算成像参数，特别是考虑背景区域的相应位置信息。
59.在一些实施例中，计算设备可以被配置为基于光学图像的所确定成像参数和理论图像的所确定成像参数来确定背景显示设备的设置指令，其中控制设备可以被配置为执行设置指令来调整虚拟背景的表示。特别地，计算设备可以被配置为通过将光学图像的成像参数与理论图像的成像参数进行比较来确定设置指令。例如，计算设备可以计算作为相应背景区域的成像参数的亮度，利用该亮度，根据光圈孔径对背景区域成像，该亮度可以作为镜头设置值或利用镜头数据传输，并且可以输出设置指令，使得所讨论的背景区域显示在可以由摄像机生成的虚拟背景的表示的光学图像中，其亮度对应于与虚拟背景对应的真实背景的理论图像中的背景区域的亮度。例如，如果由于光圈孔径的关闭，背景区域在理论图像中比对应背景区域在虚拟背景的表示的光学图像中经历的变暗强，则该背景区域可以在背景显示设备上被示出为变暗，其方式使得最终导致虚拟背景的表示的光学图像中的变暗与理论图像中相同。
60.在一些实施例中，计算设备可以被配置为确定背景区域在光学图像和理论图像中的模糊的度量。例如，为此目的，散光圈的直径可以被确定为模糊的度量，并且可以被用作成像参数来调整虚拟背景的表示。
61.因此，计算设备可以被配置为根据摄像机的光圈孔径和/或焦距和/或聚焦距离的值来确定背景区域的模糊的度量。例如，计算设备可以基于分配给相应背景区域的光圈孔径和位置信息来计算散光圈的直径，并将其用作成像参数。
62.此外，计算设备可以被配置为根据光圈孔径和/或焦距和/或聚焦距离的值来确定景深。景深指示到摄像机的距离范围，其中布置在其中的物体被摄像机清晰地成像。通过计算景深，可以特别地确定背景区域，根据接收的镜头数据，该背景区域在对应于虚拟背景的
真实背景的理论图像中位于景深的范围内，并且因此将在真实背景的理论图像中清晰地表示。对于这些背景区域，可以特别地设置背景显示设备，其方式为使得以最大锐度表示背景区域。相反，在对应于虚拟背景的真实背景中，位于接收的镜头数据的景深之外的背景区域可以在由背景显示设备生成的表示中被更模糊地表示，以便能够在由摄像机生成的表示的光学图像中生成自然散景。例如，相应背景区域距景深或距前和/或后超焦平面的距离可以确定待在虚拟背景的表示中生成的模糊，使得景深或该距离可以形成模糊的度量。
63.此外，计算设备可以被配置为将背景区域划分成相应的锐度区域，其中控制设备可以被配置为控制背景显示设备以分配给相应锐度区域的锐度来表示背景区域。例如，计算设备可以被配置为根据距计算的前和/或后超焦平面的距离将背景区域划分成不同的锐度区域。根据分配给背景区域的相应锐度区域，可以确定或生成背景显示设备的设置指令，以便以相应的模糊来表示背景区域。例如，为此目的，背景显示设备的多个相邻发光构件可以被分配给锐度区域，将以相同的设置特别是相同的颜色和/或亮度操作所述锐度区域以产生模糊。特别地，可以在虚拟背景的表示的光学图像的锐度区域中生成近似于理论图像的相应散光圈，其中这种散光圈可以例如随机分布在相应的锐度区域中或者形成在相应的最亮点周围。例如，为了分布散光圈，可以使用关于所用镜头或与镜头相关的数字滤波器的信息。
64.在一些实施例中，计算设备可以被配置为根据光圈孔径和/或焦距和/或聚焦距离为背景区域确定光学图像和理论图像中的散光圈的直径。此外，计算设备可以被配置为生成背景显示设备的设置指令，其方式使得光学图像中的散光圈的直径近似于理论图像中的直径。此外，可以规定，控制设备调整表示，其方式使得在对应于虚拟背景的真实背景的理论表示中形成的散光圈也出现在虚拟背景的表示的光学图像中，以便实现光学图像的最自然的可能的散景。例如，可以为此目的控制背景显示设备，其方式为使得虚拟背景中的相应最亮点被成像为圆，在光学图像中，所述圆具有理论图像中预期的直径。
65.此外，计算设备可以被配置为确定散光圈在光学图像和理论图像中的叠加。为此目的，计算设备可以特别地利用存储在存储器中的虚拟背景的模型和/或传输的关于连接到摄像机的镜头特别是可互换镜头的信息，使得当借助于背景显示设备调整虚拟背景的表示时，也可以考虑这种镜头特定的和/或距离相关的散光圈的叠加，以便能够在虚拟背景的表示的光学图像中尽可能准确地再现散景。
66.在一些实施例中，计算设备可以被配置为将背景区域在光学图像和理论图像中的亮度度量确定为图像参数。
67.计算设备可以被配置为根据光圈孔径来确定亮度的度量，其中计算设备可以特别地被配置为根据光圈孔径来确定亮度的距离相关变化。例如，计算设备可以根据光圈孔径从某个距离确定照射到摄像机的图像传感器上的发射光(特别是光学各向同性)的一部分。例如，这一部分可以通过光线锥的张角来确定，该光线锥从虚拟背景或真实背景的表示中的物体开始，然后穿过光圈孔径。这可以使得能够确定理论图像中的背景区域的亮度与虚拟背景的表示的光学图像中的背景区域的亮度之间的关系，并且考虑到该关系，借助于背景显示设备来表示调整的背景区域。
68.替代地或另外，在一些实施例中，可以规定，计算设备被配置为根据关于连接到摄像机的镜头的信息来确定成像参数。特别地，为此目的，摄像机可以连接到可互换镜头，使
得可以基于该信息确定使用哪个镜头或什么类型的镜头，以便相应地调整表示，并且例如，使模糊区域在摄像机生成的虚拟背景的表示的光学图像中的形状适应于那些模糊区域在摄像机在对对应于虚拟背景的真实背景成像时将生成的理论图像中的形状。特别地，根据关于镜头类型和接收的镜头设置值的信息，计算设备可以在数据库中查找相应的成像参数，以便生成背景显示设备的设置指令，以用于调整可以由控制设备实现的虚拟背景的表示。
69.该信息可以包括可互换镜头的距离相关光学像差。特别地，这种像差可以包括散光圈的形状、它们的直径和/或衍射效果。此外，信息可以基本上包括镜头的任何特性，例如，可变光圈的形状，特别是可变光圈的叶片或薄片的数量，变形镜头的圆柱形元件的数量、布置和/或特性，和/或摄像机镜头的元件(诸如镜头)的任何涂层的特性。
70.此外，计算设备可以被配置为访问具有用于确定背景显示设备的设置指令的计算指令的数据库，并且根据信息基于计算指令来确定设置指令。例如，与镜头类型相关的数字滤波器可以存储在这种数据库中，其中计算设备可以基于这种数字滤波器计算理论图像和/或虚拟背景的表示的光学图像，以便能够通过将这两个图像进行比较来确定或生成背景显示设备的设置指令。在这种情况下，作为镜头数据传输的镜头参数值或镜头设置值可以应用在这种数字滤波器中，使得借助于该数字滤波器，可以考虑镜头特定的效果(例如模糊区域的形状)和相应镜头的设置。
71.本发明还涉及一种录制系统，其具有如本文公开的背景显示系统，并且具有摄像机，该摄像机包括摄像机镜头，并且被配置为将摄像机镜头的镜头数据传输到控制设备的数据输入端。特别地，录制系统可以包括移动图像录制系统，使得摄像机可以被设计为用于录制场景特别是电影场景的移动图像摄像机。可替代地，还可以规定，借助于如上所述的背景显示设备，表示用作照片录制的背景的虚拟背景，使得摄像机也可以被设计为照片摄像机。
72.由于摄像机被配置为将摄像机镜头的镜头数据传输到控制设备的数据输入端，因此在控制背景显示设备时可以考虑该镜头数据。特别地，这使得可以根据接收的镜头数据调整虚拟背景的表示，其方式使得由摄像机生成的光学图像近似于录制了对应于虚拟背景的真实背景情况下摄像机将生成的理论图像。可以特别地调整该表示，其方式使得可以在借助于摄像机生成的虚拟背景的表示的光学图像中实现尽可能自然的散景。
73.摄像机可以包括图像传感器，以便将入射光转换成电信号，并且能够生成图像。此外，镜头可以包括镜头和/或镜头系统，以便能够引导照射到图像传感器上的光。镜头可以包括具有光圈孔径的光圈，可以根据需要打开或关闭该光圈孔径，以便能够调整到达图像传感器的光的部分和景深。此外，可以规定，镜头或镜头系统的焦距或聚焦距离是可调整的，为此目的，例如，镜头系统的一个或多个镜头可以相对于彼此移位。对镜头参数的这种调整可以例如通过手动和/或电动旋转一个或多个镜头环来发生。
74.在一些实施例中，录制系统可以包括位置确定设备，该位置确定设备被配置为确定摄像机相对于背景显示设备的位置，并且将对应的位置数据传输到控制设备的数据输入端。例如，为此目的，位置确定设备可以包括辅助摄像机，所述辅助摄像机光学地检测提供用于录制场景的摄像机相对于背景显示设备的位置。
75.还可以使用位置数据来调整虚拟背景的表示，其方式使得由摄像机生成的光学图
像近似于对应于虚拟背景的真实背景的理论图像。特别地，当摄像机在场景或电影场景的录制期间移动时，虚拟背景的表示中的物体可以移动，其方式使得物体在虚拟背景的表示的光学图像中的位置对应于这些物体在真实背景的理论图像中的位置。
76.本发明还涉及一种用于控制背景显示设备的方法，该背景显示设备被配置为无论是在真实对象的后面还是上方都显示虚拟背景的表示以借助于相关联摄像机进行录制，该方法具有以下步骤:
[0077]-从相关联摄像机接收镜头数据；以及
[0078]-根据接收的镜头数据调整虚拟背景的表示。
[0079]
如以上已经关于背景显示系统和录制系统解释的，对背景显示设备的这种控制特别地使得能够调整由背景显示设备生成的虚拟背景的表示，其方式使得由相关联摄像机生成或可以生成的虚拟背景的表示的光学图像近似于在录制对应于虚拟背景的真实背景时摄像机将生成的理论图像。特别地，可以在虚拟背景的表示的光学图像中再现距离相关效果。
[0080]
在一些实施例中，该方法还可以包括以下步骤：
[0081]-借助于相关联摄像机在背景显示设备的前面录制真实对象；
[0082]-获取相关联摄像机的摄像机镜头的镜头数据；以及
[0083]-将镜头数据传输到背景显示设备或分配给该背景显示设备的控制设备。
[0084]
特别地，镜头数据可以包括镜头设置值或镜头的参数值。为了获取镜头设置值，摄像机可以包括相应的传感器，所述传感器可以被设计成例如确定用于调整光圈孔径、焦距和/或聚焦距离的镜头环的旋转位置。
[0085]
在一些实施例中，背景显示设备包括二维延伸的有源照明装置。进而，有源照明装置能够通过多个发光构件，特别是发光二极管或led或oled来表示虚拟背景，可以单独地或成组地控制所述发光构件。此外，还可以表示虚拟背景中的移动，例如，电影场景中驶过的汽车。
[0086]
在一些实施例中，镜头数据可以表示以下镜头参数中的至少一个的设置值：光圈孔径、聚焦距离和/或焦距。特别地，这些参数可以在可以借助于摄像机生成的光学图像中生成距离相关效果。通过在调整虚拟背景的表示时考虑镜头数据，可以借助于摄像机在该表示的光学图像中再现这些效果，其方式使得效果类似于对应于虚拟背景的真实背景的理论图像中的效果。此外，在一些实施例中，镜头数据可以包括关于所用镜头的信息，特别是镜头类型和/或使用的相应镜头的标识，例如序列号。因此，还可以在虚拟背景的表示的光学图像中再现镜头特定效果。
[0087]
在一些实施例中，虚拟背景可以表示三维场景，并且可以根据接收的镜头数据以不同的锐度表示三维场景的不同区域。特别地，当设置这些区域的表示中的锐度时，可以考虑分配给相应区域的距背景显示设备和/或摄像机的距离值。
[0088]
可以规定，调整虚拟背景的表示，其方式使得可以借助于相关联摄像机根据传输的镜头数据生成的虚拟背景的表示的光学图像近似于如果对应于虚拟背景的真实背景借助于相关联摄像机成像则将生成的理论图像。特别地，可以调整表示，其方式使得在虚拟背景的表示的光学图像中再现距离相关效果。
[0089]
特别地，当在录制期间也改变作为镜头数据传输的镜头设置值时出现的或可以改
变的距离相关效果不会丢失，例如，这是由于虚拟背景在背景显示设备上的显示，该显示特别地可以被配置为平面的和/或二维的，但是可以通过调整虚拟背景在由摄像机生成的光学图像中的表示来再现。特别地，由此可以在光学图像中生成散景，该散景对应于和/或近似于在对应于虚拟背景的真实背景的理论图像中出现的散景。
[0090]
在一些实施例中，可以基于从存储器中读出的模型来生成虚拟背景的表示。这样做时，虚拟背景的存储模型可以包括多个背景区域的相应图像信息和相应位置信息。原则上，图像信息可以用于生成虚拟背景的表示，而位置信息可以与接收的镜头数据一起用于调整表示。
[0091]
此外，在一些实施例中，可以规定，可以根据镜头数据为多个背景区域确定可以借助于摄像机生成的虚拟背景的表示的光学图像中散光圈的直径，以及如果对应于虚拟背景的真实背景借助于摄像机成像则将生成的理论图像中散光圈的直径，其中可以调整虚拟背景的表示，其方式使得光学图像中的散光圈的直径近似于理论图像中的散光圈的直径。特别地，散光圈的直径可以用作模糊的度量，由此，通过生成直径对应于理论图示中散光圈直径的散光圈，特别地，可以在虚拟背景的表示的光学图像中产生距离相关的模糊效果。
[0092]
此外，基本上所有步骤或步骤的选择都可以包括在该方法中，这些步骤在上文中参考背景显示系统和/或背景显示设备的控制设备或计算设备进行了描述。
附图说明
[0093]
在下文中，参考附图，参考实施例，纯粹通过示例来描述本发明。
[0094]
图中展示：
[0095]
图1用于具有背景显示系统和摄像机的图像录制工作室的录制系统的示意图，
[0096]
图2a和图2b在由背景显示系统的背景显示设备生成的虚拟背景前面由摄像机执行的录制的示意图，以及在对应于虚拟背景的真实背景前面的录制的示意图，
[0097]
图3a和图3b可以由摄像机在录制虚拟背景时生成的光学图像的示意图，以及借助于摄像机录制真实背景产生的理论图像的示意图，
[0098]
图4进一步示出了录制系统的示意图，以示出根据接收的镜头数据调整由背景显示设备生成的虚拟背景的表示；
[0099]
图5具有调整的虚拟背景的表示的录制系统的示意图，
[0100]
图6a至图6f当录制作为镜头数据传输的不同镜头设置值的虚拟背景或真实背景时，通过摄像机的光束路径的相应示意图，
[0101]
图7a和图7b用于在录制虚拟背景时生成对应于真实背景的理论图像的散光圈的相应示意图，以及
[0102]
图8a至图8f用于根据所确定的摄像机位置数据来调整由背景显示设备生成的虚拟背景的表示的相应示意图。
具体实施方式
[0103]
图1示意性地示出了虚拟图像录制工作室13，可以借助于相关联摄像机23在该工作室中录制场景，特别是移动图像录制和/或照片录制的形式。摄像机23可以特别地被设计为移动图像摄像机以便执行移动图像录制，该录制可以被存储为由摄像机23生成的一系列
图像39。为此，摄像机23具有镜头59，该镜头可以特别地设计为可互换镜头，该镜头可以可选地连接到摄像机23的外壳。因此，总是可以使用针对图像录制工作室13中的环境进行最佳调整的相应镜头59，以便能够生成最佳可能的录制。特别地，图像传感器95可以布置在摄像机23的外壳中，光通过光圈97的光圈孔径b进入到该图像传感器上，并且借助于镜头系统或至少一个镜头89被引导，以生成光学图像39(也参见图6a至图6f)。
[0104]
此外，具有背景显示设备15的背景显示系统11布置在图像录制室13中，该背景显示系统与摄像机23一起是录制系统10的一部分。背景显示设备15包括被配置为led墙33的有源照明装置31，并且被配置为显示虚拟背景21的表示19，用于借助于摄像机23进行录制。为此目的，照明装置31或led墙33包括多个单独可控的发光二极管35，它们以二维布形式彼此相邻布置。作为对此的替代，有源照明装置31可以包括例如oled墙，或者背景显示设备15可以被配置为借助于背投生成虚拟背景21的表示19。
[0105]
虚拟背景21的表示19在这里反映了例如具有物体91、92、93和94、三棵树和一条路径的三维场景43，可以通过适当控制发光二极管35，特别是通过适当设置它们相应的颜色和亮度来生成该三维场景。三维场景43被投影到照明装置31的发光二极管35的基本二维布置上，其中，特别地，物体91、92和93出现在距照明装置31或背景显示设备11不同的距离处，以便重建对应于虚拟背景21的真实背景20的三维性(也参见图2a和图2b)。
[0106]
特别地，通过背景显示设备15的虚拟背景21的表示19用于生成用于录制真实对象17(例如演员)的背景，可以在该真实对象的前面进行录制或者可以播放电影场景。因此，可以在图像录制工作室13中创建基本上任何种类的景观、空间或环境，将在其前面或其中拍摄例如用于电影的场景。还可以通过发光二极管35的时变控制来显示虚拟背景21中的移动，例如，经过的汽车，与绿屏前的场景相比，演员17可以以容易且改进的方式对该移动做出反应。
[0107]
背景显示设备15在这里基本上在垂直方向上延伸，使得演员17可以在虚拟背景21的前面移动。然而，为了能够更广泛地描绘虚拟背景21，背景显示设备15也可以围绕演员17或在其上方延伸，由此演员17上方的背景显示设备15可以特别地呈现水平取向。为了包围演员17或能够生成从所示的垂直取向到水平取向的过渡，背景显示设备15或照明装置31或led墙33也可以至少部分地是拱形或弯曲的。
[0108]
除了表示虚拟背景21之外，背景显示设备15还可以用于照亮真实对象17，并从而促进例如图像录制工作室13的进一步工作室照明。此外，通过借助于背景显示设备照亮真实对象17，可以改善真实对象17或演员17与存在于虚拟背景21中的光源(例如，提灯或灯)的相互作用，因为真实对象17投射对应于由摄像机23生成的光学图像39中可见的光条件的阴影。
[0109]
虽然这种背景显示设备15因此可以为录制场景提供多样和方便的可能性，特别是，由于三维场景43投影到二维背景显示设备15上，在基本上具有任何虚拟背景21的图像录制工作室13中移动图像录制可以特别地导致由摄像机23生成的虚拟背景21的表示19的光学图像39与理论图像41之间的差异，摄像机23将通过录制对应于虚拟背景21的真实背景20来生成该理论图像(参见图3a和图3b)。
[0110]
如图2a和图2b所示，投射到虚拟背景21的表示19中的照明装置31上的物体92和93具有距对应于虚拟背景21的真实背景20中的背景显示设备11的相应距离54和53，使得图3b
中示出的真实背景20的理论图像41可以与虚拟背景21或其表示19的光学图像39不同，如从与图3a的比较中可以看出。特别地，在理论图像41中模糊地显示更远的物体92和93以及物体94的一部分，而在光学图像39中完全清晰地显示物体91、92、93和94。镜头59的设置或设置的改变也可以不同地影响虚拟背景21的表示19的光学图像39和真实背景20的理论图像41。
[0111]
例如，光圈孔径b或镜头59的可变光圈的开口宽度可以影响镜头59的景深69，使得根据物体91、92和93距摄像机23的距离53、54并且根据对应于虚拟背景21的真实背景20的理论图像41中的光圈孔径b，可以以不同的锐度73对所述物体成像(参见图3b)。另一方面，如果摄像机23被设置为聚焦在背景显示设备11上，则不在虚拟背景21的表示19的光学图像39中再现变化锐度73的这种距离相关成像效果37。相反，所有物体91、92和93都以相同的并且这里例如以完全锐度73成像，聚焦在背景显示设备15上，也独立于光圈孔径b(参见图3a和图6a至图6d)。
[0112]
伴随这些距离相关成像效果37的理论图像41中的锐度或模糊梯度因此可能在光学图像39中丢失，摄像机23创建虚拟背景21的表示19的该光学图像。然而，背景锐度中的这种纹理可以确定光学图像39的散景，由此在这种录制中令人愉快且真实的散景的生成可能是一个问题，并且还可以确定连接到摄像机23的镜头59的选择。此外，在录制场景期间，例如通过打开或关闭光圈97来改变镜头59的设置可以影响理论图像41中的物体91、92、93和94的距离依赖性和变化的锐度73，由此对应于真实背景20的理论图像41的变化的散景也应该尽可能多地在由摄像机23生成的虚拟背景21的光学图像39中生成。
[0113]
为了解决这个问题，如图4所示，背景显示系统11包括连接到背景显示设备15并被配置为控制背景显示设备15的控制设备25。因此，可以例如被设计为微处理器的控制设备25包括数据输入端27，以便接收由摄像机23传输的镜头数据29，此外，控制设备25被配置为根据接收的镜头数据29来调整虚拟背景21的表示19(也参见图5)。
[0114]
因此，镜头数据29可以特别包括镜头设置值或设置了这些参数的镜头59的参数值，和/或关于所用镜头59的信息i。例如，镜头数据29可以涉及镜头59的光圈孔径b、聚焦距离d和/或焦距f，并且表示镜头59的这些参数被设置或调整到的值。信息i可以表示例如镜头类型、所用镜头59的标识(诸如序列号)、镜头59的可变光圈97的形状、光圈97的叶片数量、变形镜头59的圆柱形元件的布置或配置和/或镜头59(例如单个镜头89)的光学元件的任何涂层。通过考虑这种镜头数据29，可以特别地调整虚拟背景21的表示19，以使得由摄像机23生成的光学图像39近似于理论图像41。特别地，三维场景43的不同区域因此可以用不同的锐度73来表示，以便在光学图像39中重建理论图像41的模糊梯度。
[0115]
为了调整虚拟背景21的表示19，控制设备25连接到计算设备61，并且通过计算设备61连接到存储器45。如这里所示，计算设备61可以连接到控制设备25，作为单独的单元例如作为微处理器或cpu。可替代地，计算设备61也可以集成到控制设备25中。控制设备25还可以直接连接到存储器45。
[0116]
虚拟背景11的模型存储在存储器45中，并且基于此，控制设备25可以借助于背景显示设备15生成虚拟背景21的表示19。存储的模型包括多个背景区域47的相应图像信息49和相应位置信息51。位置信息51可以包括例如物体93和92距背景显示设备15的距离53和54(参见图2b)。
[0117]
此外，控制设备25可以被配置为基于背景区域47的图像信息49生成虚拟背景21的表示19，并且考虑位置信息51和接收的镜头数据29来调整该表示。为了生成表示19，控制设备25可以特别使用游戏引擎。例如，计算设备61可以被配置为读出位置信息51，该位置信息可替代地或除了上述距离53和54之外还可以包括背景区域47或物体91、92、93和94的三维坐标，并且根据接收的镜头数据29生成用于控制设备25的设置指令e，并且控制设备25执行该设置指令来调整虚拟背景21的表示19。例如，计算设备61可以根据接收的镜头数据29，例如根据光圈孔径b，将相应背景区域47组织成相应锐度区域70、71和72，并且通过传输设置指令e，使得控制设备25以对应于相应锐度区域70、71或72的锐度73表示背景区域47(参见图5)。
[0118]
例如，可以规定，真实背景20中距背景显示设备15或摄像机23最远的物体93，或者该物体93所在的背景区域47，借助于背景显示设备15模糊地表示，并且与背景显示设备15间隔开的物体92也不能被表示为完全聚焦的(参见图5)。模糊程度可以取决于接收的镜头数据29。例如，表示19中物体92和93的模糊可以随着大幅度打开的光圈97和伴随的小景深69而增加，并且可以随着大幅度关闭的光圈97而减少。通过已经在虚拟背景21的表示19中显示的物体92和93以及物体94的一部分的模糊，可以使得由摄像机23生成的虚拟背景21的表示19的光学图像39近似于摄像机23在对对应于虚拟背景21的真实背景20成像时将生成的理论图像41(参见图3a和图3b)。
[0119]
为了能够借助于背景显示设备15调整背景区域47，以使得光学图像39接近理论图像41，存储器45可以具有数据库65，例如，可以在该数据库中安装分配表，该分配表可以由计算设备61或控制设备25直接读出，并且该分配表根据接收的镜头数据29将相应的锐度区域70、71或72或对应的锐度73分配给背景区域47。因此，特别地，在这种数据库65中，可以直接存储设置指令e，根据接收的镜头数据29将所述设置指令分配给相应的背景区域47，并且控制设备25可以直接实施所述设置指令来调整虚拟背景21或单个背景区域47的表示19。此外，可以分配给相应镜头数据29并特别是镜头设置值的组合的虚拟背景21的不同模型可以存储在数据库65或存储器45中，由此基于相应模型根据接收的镜头数据29，控制设备25可以被配置为生成虚拟背景21的表示19或者通过基础模型的改变来调整该表示。
[0120]
作为读出这种数据库65或存储器45的替代，还可以规定，计算设备61还被配置为计算地确定用于控制设备25的设置指令e，以用于调整虚拟背景21的表示19。为此目的，计算设备61可以特别地被配置为计算摄像机23从虚拟背景21的表示19生成的光学图像39的成像参数63，以及摄像机23在对真实背景20成像时将生成的理论图像41的成像参数63，并且为控制设备25生成设置指令e，以使得光学图像39的成像参数63近似于理论图像41的成像参数63。
[0121]
图6a至图6f示出了对于虚拟背景21的表示19和真实背景20，在最远物体93的上点处通过镜头59或摄像机23的示意性光束路径。出于说明的目的，镜头59被简化，并且仅由一个镜头89形成或表示，该镜头将入射光引导到图像传感器95上。然而，原则上，也可以提供例如具有若干相互作用的镜头89的更复杂的镜头系统。计算设备61可以特别被设计成基于对通过相应镜头59的这种光束路径的这种考虑或模拟或计算来确定成像参数63，并且生成用于调整虚拟背景21的表示19的设置指令e。对于这种模拟，计算设备61可以另外利用从摄像机23传输到控制设备25的数据输入端27的关于镜头59的信息i，以便例如借助于与相应
镜头类型相关的数字滤波器来执行模拟，并且能够确定镜头特定的效果(也参见图4)。
[0122]
在图6a的示例中，镜头59的聚焦距离d或其焦距f被选择成使得背景显示设备15以及由此借助于照明装置31或led墙33表示的物体93位于摄像机23的焦点内。镜头59包括具有可调光圈孔径b的前述光圈97，从物体93发出的光线83、85和87通过该光圈照射到镜头89上，该镜头将光线83、85和87引导到图像传感器95上。由于摄像机23聚焦在背景显示设备15上，照明装置31上表示的每个点以及由此表示的物体93被清晰地成像为图像传感器95上的点99。因此，光学图像39中物体91、92、93和94的锐度73基本上取决于图像传感器95的分辨率和每单位面积上生成虚拟背景21的表示19的发光二极管35的数量。
[0123]
另一方面，如图6b所示，对应于虚拟背景21的真实背景20的物体93不在摄像机23的焦点内，但是具有到背景显示设备15并因此到摄像机23的焦点的前述距离53。因此，光线83、85和87并未准确地击中图像传感器95，而已经在它的前面相遇，使得当借助于摄像机23对真实背景20成像时，物体93的一个点在理论图像41中被表示为具有直径77的散光圈75。
[0124]
例如，计算设备61可以被配置为针对由一个或多个发光二极管35表示的点或背景区域47确定虚拟背景21以及对应于虚拟背景21的真实背景20的这种散光圈75，并且将这些用作成像参数63或模糊的度量67。例如，当聚焦在背景显示设备15上时，如图6a和图6b所示，多个发光二极管35(显示为点99或具有最小直径的圆)可以被设置为具有相同的亮度和颜色，以在真实背景20的理论图像41中出现的光学图像39中重现散光圈75。这在图7a和图7b中示意性地示出。例如，可以确定理论图像41中散光圈75的直径77与光学图像39中点99或具有最小直径的圆的直径之间的关系，以便确定相同设置的发光二极管35的数量，以便在光学图像39中重建散光圈75。为了将背景区域47中的点(例如最亮的点)再现为清晰的模糊圈75，并且能够为其他区域实现真实的模糊梯度，计算设备61可以例如利用存储在存储器45中的虚拟背景21的模型或者利用与镜头59相关的信息i。
[0125]
作为确定散光圈75的直径77的替代，计算设备还可以被配置为根据接收的镜头数据29特别是光圈孔径b来计算镜头59的景深69，并且考虑背景区域47的位置信息49可以生成用于调整表示19的设置指令e。例如，从背景区域47到后和/或前超焦平面的距离可以用于将背景区域47分配到相应的锐度区域70、71和72，并且确定用于控制设备25的对应设置指令e。此外，控制设备25可以被配置为控制背景显示设备15来表示背景区域47或布置在其中的物体91、92、93或94，其中锐度73被分配给相应的锐度区域70、71或72。此外，景深69或真实背景20和虚拟背景21中的物体91、92、93和94到超焦平面的距离因此可以用作模糊的度量67，以便调整表示19，并由此影响由摄像机23生成的光学图像39。
[0126]
可替代地，或者除了诸如模糊圈75的直径77或者到超焦平面的距离的这种成像参数63(可以用作背景区域47的模糊的度量67)之外，计算设备61还可以被配置为确定背景区域47的亮度的度量79，并且在确定用于控制设备25的设置指令e时被考虑到。如图6a和图6b之间的比较所示，在对虚拟背景21成像时和对真实背景20成像时，物体93与镜头59中的镜头89之间的距离差，除了解释的模糊效果之外，还使得外部光线83与85之间的相应角度81彼此不同，所述外部光线从物体93开始并到达镜头89并且被引导到图像传感器95上。因此，虚拟背景21的表示19的光学图像39中的物体93的亮度与对应于虚拟背景21的真实背景20的理论图像41中的物体93的亮度不同。在调整表示19时也可以将这个考虑在内，因为例如，角度81将被认为是成像参数63，并且在更远的真实背景中，物体特别是物体93可以被表示
得更暗，使得可以在虚拟背景21的表示19的光学图像39中以对应于或近似于对真实背景20成像时的亮度来对物体93成像。
[0127]
另一方面，图6c和图6d示意性地示出了从物体93的一点的光束路径，用于借助于虚拟背景21的背景显示设备15或者在真实背景20的成像假设下的表示。与图6a和图6b相比，这里光圈孔径b增加，因此其景深69减小。
[0128]
如图6c所示，由于摄像机23聚焦在背景显示设备15上，同样利用该较大的光圈孔径b，将虚拟背景21的表示19中的物体93清晰地成像到图像传感器95上，使得在光学图像39中仅物体93的亮度增加。另一方面，由于真实背景20中的物体93没有位于聚焦距离d处，当光圈97由于景深69减小而打开时，记录在图像传感器95上的散光圈75的直径77增大。此外，随着光圈孔径b伴随着物体93亮度的变化，光学图像39不同于理论图像41，因为外部光线83与85之间的角度81不以相同的方式变化。通过适当调整虚拟背景21的表示19，可以根据接收的镜头数据29实现这种距离相关的成像效果37，这里例如出现具有取决于光圈孔径b的直径的散光圈75，以及再现由摄像机23生成的虚拟背景21的表示19的光学图像39中的亮度变化，并获得对应于或接近理论图像41的自然散景。
[0129]
通过计算成像参数63，例如散光圈75的直径77、景深69或光线83与85之间的角度81，计算设备61根据接收的镜头数据29例如光圈孔径b，可以生成用于控制设备25的设置指令e，以便使光学图像39的成像参数63更接近理论图像41的成像参数63。这样，计算设备61可以被配置为实时执行这种计算和设置指令e的确定，使得例如在借助于摄像机23根据接收的镜头数据29或变化的镜头设置值连续地录制电影场景期间，可以调整虚拟背景21的表示19，以便借助于摄像机生成尽可能接近理论图像41并且具有自然且指定的散景的光学图像39。
[0130]
作为光圈孔径b的替代或除此之外，镜头数据29例如还可以涉及聚焦距离d或焦距f，其也可以影响光学图像39或理论图像41。在图6e和图6f中，光圈孔径b对应于图6a和图6b的光圈孔径，而由于从摄像机观察时焦距f的变化，聚焦距离d位于背景显示设备15前面的区域中。例如，可以提供这样的定位，以便聚焦演员17的面部(参见图1至图5)。
[0131]
由于聚焦距离d的这种变化，图6e中的背景显示设备15也位于景深69之外，使得借助于背景显示设备15表示的物体93的点在图像传感器95上成像为散光圈75。这里，散光圈75的直径77也不同于真实背景20中物体93上的点的理论图像41中的散光圈75的直径，这可以从与图6f的比较中看出。此外，这里，通过根据接收的焦距f或聚焦距离d调整虚拟背景21的表示19，可以实现光学图像39近似于理论图像41。计算设备61可以被配置为对多个背景区域47中的每一个执行这种计算，以便能够对虚拟背景21的表示19进行连续且全面的调整。
[0132]
除了对镜头59的这种设置(影响物体91、92、93和94之一的图像的锐度73或亮度)之外，摄像机23的位置也可以需要调整虚拟背景21的表示19，以便借助于摄像机23实现真实图像39。为了能够检查摄像机23的位置，背景显示系统11包括位置确定设备57，该位置确定设备被配置为向控制设备25传输与摄像机相关的位置数据p(参见图4)。为此目的，位置确定设备57可以包括例如辅助摄像机(未示出)，该辅助摄像机拍摄摄像机23并使得可以确定其位置。
[0133]
图8a示出了摄像机23，其光轴101与背景显示设备15居中对准。这样，生成虚拟背
景21的表示19生成，其方式使得物体91、92和93相对于光轴101的角度等于这些物体91、92和93在对应于虚拟背景21的真实背景20中的角度(参见图8b)。然而，如果摄像机23旋转并且例如瞄准演员17，则虚拟背景21的表示19中的物体91、92和93相对于摄像机23的光轴101的角度和真实背景20中的角度不同地改变，如图8c和图8d所示。
[0134]
为了也能够校正这种效果，计算设备61可以被配置为使用存储在存储器45中的虚拟背景21的模型来计算真实背景20的物体91、92和93的这些角度，并且生成用于控制设备25的设置指令e，基于该设置指令可以调整虚拟背景的表示19。控制设备25还可以被配置为从图8a和图8e所示的原始布置开始，将物体91、92和93定位在背景显示设备15上，其方式使得根据图8f的物体91、92和93的布置对应于如图8d所示录制真实背景20时的预期布置。
[0135]
因此，根据接收的镜头数据29调整虚拟背景21的表示19使得可以借助于这种背景显示设备15生成图像39，该图像对应于或近似于通过录制真实背景20的真实或理论图像41。特别地，可以实现虚拟背景21的光学图像39中距离相关的模糊的真实纹理或真实梯度，以及对应于或接近理论图像41的散景的散景。
[0136]
附图标记列表
[0137]
10
ꢀꢀ
录制系统
[0138]
11
ꢀꢀ
背景显示系统
[0139]
13
ꢀꢀ
图像录制工作室
[0140]
15
ꢀꢀ
背景显示设备
[0141]
17
ꢀꢀ
真实对象，演员
[0142]
19
ꢀꢀ
表示
[0143]
20
ꢀꢀ
真实背景
[0144]
21
ꢀꢀ
虚拟背景
[0145]
23
ꢀꢀ
摄像机
[0146]
25
ꢀꢀ
控制设备
[0147]
27
ꢀꢀ
数据输入端
[0148]
29
ꢀꢀ
镜头系统
[0149]
31
ꢀꢀ
照明装置
[0150]
33
ꢀꢀ
led墙
[0151]
35i 发光二极管
[0152]
37
ꢀꢀ
图像效果
[0153]
39
ꢀꢀ
虚拟背景的图像
[0154]
41
ꢀꢀ
理论图像
[0155]
43
ꢀꢀ
三维场景
[0156]
45
ꢀꢀ
存储器
[0157]
47
ꢀꢀ
背景区域
[0158]
49
ꢀꢀ
图像信息
[0159]
51
ꢀꢀ
位置信息
[0160]
53
ꢀꢀ
距离
[0161]
54
ꢀꢀ
距离
[0162]
57
ꢀꢀ
位置确定设备
[0163]
59
ꢀꢀ
摄像机镜头，可互换镜头
[0164]
61
ꢀꢀ
计算设备
[0165]
63
ꢀꢀ
成像参数
[0166]
65
ꢀꢀ
数据库
[0167]
67
ꢀꢀ
模糊的度量
[0168]
69
ꢀꢀ
景深
[0169]
70
ꢀꢀ
锐度区域
[0170]
71
ꢀꢀ
锐度区域
[0171]
72
ꢀꢀ
锐度区域
[0172]
73
ꢀꢀ
锐度
[0173]
75
ꢀꢀ
散光圈
[0174]
77
ꢀꢀ
直径
[0175]
79
ꢀꢀ
亮度的度量
[0176]
81
ꢀꢀ
外部光线之间的角度
[0177]
83
ꢀꢀ
第一外部光线
[0178]
85
ꢀꢀ
第二外部光线
[0179]
87
ꢀꢀ
光束
[0180]
89
ꢀꢀ
镜头
[0181]
91
ꢀꢀ
第一物体
[0182]
92
ꢀꢀ
第二物体
[0183]
93
ꢀꢀ
第三物体
[0184]
94
ꢀꢀ
第四物体
[0185]
95
ꢀꢀ
图像传感器
[0186]
97
ꢀꢀ
孔径
[0187]
99
ꢀꢀ
点
[0188]
101 光轴
[0189]bꢀꢀꢀ
光圈孔径
[0190]dꢀꢀꢀ
聚焦距离
[0191]eꢀꢀꢀ
设置指令
[0192]fꢀꢀꢀ
焦距
[0193]iꢀꢀꢀ
信息
[0194]
p
ꢀꢀꢀ
位置数据