一种基于深度信息实时可变绿幕生成方法及抠像方法与流程

1.本发明涉及一种基于led背景墙的电影虚拟化制作方法，特别涉及一种基于深度信息实时可变绿幕生成方法及抠像方法，属于电影虚拟化制作领域。


背景技术：

2.基于led背景墙的电影虚拟化制作技术，在大部分情况下是将背景的三维画面实时地显示在led背景墙的内视锥中，实时地进行摄影机内视效拍摄，完成影片制作。该拍摄方法有以下主要优势：(1)使用led屏幕作为“背景墙”在被摄主体后方，被摄主体直接在led背景墙的环绕下进行表演，实时地进行摄影机内视效拍摄，不再需要使用绿/蓝幕进行拍摄，然后再在计算机中进行合成；(2)该方法提供实时且细腻的光照环境，免去人工移动调整照明设备的麻烦；(3)该方法可为含有镜面反射的被摄物提供反射后的图像，如汽车亮面漆反射下的环境等；(4)该方法可为含有透射的被摄物提供透射后的图像，如玻璃杯透射后的背景。-由于目前实时渲染的三维画面质量有限，不少影片仍然需要进行绿幕拍摄，再进行后期制作，但同时需要led背景墙提供实时光照以及被摄主体反射的图像。为满足此类制作要求，目前的做法是将四边形的内视锥区域显示绿色或蓝色色块，外视锥区域仍保持三维实时渲染的画面，以提供实时光照及被摄主体反射与透射的图像。但在此种情况下，内视锥的绿色或蓝色色块占有较大的画面面积，依然会在被摄主体上产生一定的溢色现象，对后期抠像带来不便，并且在某些角度下，会因为被摄物上的反射或透射，产生绿幕穿帮现象。此外，深度信息获取设备技术已经比较成熟，但其获取的深度图对于影视抠像而言，其精度依然较低，不能直接用于影视抠像。


技术实现要素：

3.针对现有制作技术中存在的溢色和绿幕穿帮现象，本发明提出一种基于深度信息实时可变绿幕生成方法及抠像方法，目的是减小led背景墙中蓝/绿幕的面积，从而减少制作过程中的绿幕影响，提高影视作品的制作质量。
4.本发明的目的是通过以下技术方案实现的：
5.本发明利用深度摄像头获取被摄主体的轮廓，并将处理后的被摄主体轮廓区域作为绿幕或蓝幕区域投射到led背景墙上，替代原本大面积的四边形绿幕或蓝幕，减小对被摄物的溢色影响及绿幕穿帮概率，提高拍摄画面的质量。并且利用前期拍摄时录制的绿/蓝幕轮廓，在后期制作中快速地进行抠像制作。
6.一种基于深度信息实时可变绿幕生成方法及抠像方法的具体步骤如下：
7.步骤1：连接摄影机、深度摄像头及运动跟踪设备，使三者的朝向一致且控制相互间的距离，并根据测定的运动跟踪设备与摄影机的相对位置进行位置姿态计算的补偿。
8.步骤2：通过深度摄像头获取深度图。
9.步骤3：对获取的深度图进行二值化处理。
10.利用运动跟踪设备获取摄影机的相对位置，实时计算摄影机距离led背景墙的最
近距离，以该距离为基础计算阈值并将深度图进行二值化处理，即大于阈值的画面区域为黑色，反之则为白色。将处理后的绿/蓝幕轮廓记录并储存供后期抠像制作时使用。
11.步骤4：对二值化的被摄主体轮廓进行膨胀处理，生成膨胀后的二值化深度图，即可用的绿/蓝幕轮廓；
12.步骤5：使用步骤4生成的绿/蓝幕轮廓，将被摄主体区域着色成适当亮度的绿色或蓝色，其他区域则为透明，根据深度摄像头的视场角调整该绿/蓝幕轮廓至匹配的大小，与渲染的三维场景画面合并，得到带有可变绿/蓝幕的内视锥画面；
13.步骤6：使用步骤5所得的带有可变绿/蓝幕的内视锥画面，根据摄影机与led背景墙的相对位置进行离轴投影，将该画面显示到led背景墙上；
14.步骤7：使用摄影机拍摄led背景墙与被摄主体的画面，得到摄影机画面供后期进行后期处理。
15.步骤8：后期制作
16.步骤8.1、将前期拍摄所获取的绿/蓝幕轮廓画面进行膨胀处理，其膨胀宽度应比前期拍摄时步骤4的膨胀宽度略小，获得轮廓膨胀后获得蒙板；
17.步骤8.2、使用色键的方式将摄影机画面进行抠像处理，获得一个摄影机画面抠像后蒙板；
18.步骤8.3、将步骤1的膨胀后的蒙板与步骤2的摄影机画面抠像后蒙板进行相加处理，获得一个合并后的蒙板；
19.步骤8.4、使用步骤3所得的合并后的蒙板对摄影机画面进行抠像处理，获得带透明通道的摄影机画面；
20.步骤8.5、将所渲染的后期三维虚拟画面和步骤4的带透明通道的摄影机画面进行合成，得出最终画面，完成后期制作。
21.有益效果
22.1、本发明使用深度摄像头获取被摄主体的轮廓并与三维场景画面合并的方式，缩减显示在led背景墙上绿幕或蓝幕的面积，从而减少绿幕或蓝幕对被摄主体产生的溢色，并且更好地还原被摄物上反射与投射区域的环境图像，有效地提高了在基于led背景墙的电影虚拟化制作下蓝/绿幕制作的画面质量，提升画面的真实感。
附图说明
23.图1为基于深度信息实时可变绿幕生成方法现场拍摄示意图；
24.图2为基于深度信息实时可变绿幕生成方法流程图；
25.图3为基于深度信息实时可变绿幕的后期抠像制作方法示意图；
26.图4为基于深度信息实时可变绿幕的后期抠像制作方法流程图；
具体实施方式
27.下面将结合附图和实施例对本发明加以详细说明。同时也叙述了本发明技术方案解决的技术问题及有益效果，需要指出的是，所描述的实施例仅旨在便于对本发明的理解，而对其不起任何限定作用。
28.值得注意的是：目前的深度获取设备获取的深度图对于影视抠像而言，其精度依
然较低，不能直接用于影视抠像，但是能为本发明所述的“可变绿/蓝幕”提供可靠且实时变化的深度图像，进而满足本发明的功能。
29.作为优选，深度摄像头3参数应满足：最大测量距离大于8米；最小测量距离小于2米；
30.作为优选，深度摄像头3的探测原理应选择飞行时间测距法(tof)，以避免其他测距方式运算带来的延迟。
31.步骤1：
32.如图1和图2所示：摄影机2、深度摄像头3与运动跟踪设备4通过硬件物理连接，三者的朝向一致，摄影机2的拍摄方向、深度摄像头3的拍摄方向、运动跟踪设备4的运动跟踪轴向均保证一致。为减少摄影机2与深度摄像头3所拍摄画面内容的差异，应保证摄影机2的镜头光心与深度摄像头3的光心安装距离尽可能减小，在实施例中，摄影机2的镜头光心与深度摄像头3的光心垂直距离为110毫米，在前后方向、左右方向上偏移值为0。
33.此外应准确测量运动跟踪设备4与摄影机2的相对位置，在实施例中运动跟踪设备4在摄影机2的镜头光心正上方72毫米，在前后方向、左右方向上偏移值为0，因此在运动跟踪软件中输入垂直方向72毫米的数值进行位置姿态计算的补偿。
34.在开始使用前，应对运动跟踪设备4进行位置标定，确定其在空间内的位置准确，在计算机5中输入led背景墙在空间中的位置，在设备运行时，由计算机5对运动跟踪设备4与led背景墙1的距离进行解算，实时得出运动跟踪设备4与led背景墙1的最小距离。
35.步骤2：
36.利用深度摄像头拍摄被摄主体与led背景墙，获取在摄影机方向上被摄主体的平面深度图，为后续提取该方向下的绿/蓝幕轮廓提供深度图；
37.步骤3：
38.上述所得的最小距离，根据本实施例的实际情况，应减去0.8米后得出深度阈值。使用该深度阈值将深度图进行二值化处理，即大于该最近距离的画面区域为黑色，反之则为白色，将处理后的绿/蓝幕轮廓记录并储存供后期抠像制作时使用。
39.步骤4：
40.为了方便后期进行色键抠像，在摄影机画面中，绿/蓝幕的轮廓应完全包围被摄主体，并在被摄主体外部留有一定宽度的膨胀，此外在拍摄被摄主体快速移动的画面时，由于整个系统的延迟，该膨胀宽度应更大，在保证该绿幕包围被摄主体的前提下，应尽可能缩小该膨胀宽度。因此，应对已经获取的二值化的被摄主体轮廓进行膨胀处理，膨胀即为对已有轮廓往外部扩展一定数量的宽度，该膨胀宽度应为摄影机视场覆盖区域宽度的7％，在拍摄运动镜头时应根据实际情况调整该膨胀宽度至摄影机视场覆盖区域宽度的20％，生成膨胀后的二值化深度图，即可用的绿/蓝幕轮廓。
41.步骤5：
42.使用所生成的绿/蓝幕轮廓，根据实际情况将被摄主体区域着色成适当亮度的绿色或蓝色，其他区域则为透明，根据深度摄像头3的视场角调整该绿/蓝幕轮廓至匹配的大小，与渲染的三维场景画面合并，得到带有可变绿/蓝幕的内视锥画面；
43.步骤6：
44.使用所得的带有可变绿/蓝幕的内视锥画面，根据摄影机2与led背景墙1的相对位
置进行离轴投影，将该画面显示到led背景墙上；
45.步骤7：
46.使用摄影机2拍摄led背景墙1与被摄主体6的画面，得到摄影机画面供后期进行后期处理。
47.步骤8：
48.上述拍摄结束后，其对应后期抠像制作方法包括以下步骤，如图3与图4所示：
49.在前期拍摄时获得两组画面为：绿/蓝幕轮廓画面、摄影机画面，使用两组画面进行下述步骤以完成后期抠像制作。
50.将前期拍摄所获取的绿/蓝幕轮廓画面进行膨胀处理，其膨胀宽度应比前期拍摄时步骤4的膨胀宽度略小，在实施例中为前期拍摄时摄影机视场覆盖区域宽度的4％，其中拍摄运动镜头时该值应为15％，最终获得轮廓膨胀后获得蒙板；
51.使用色键的方式将摄影机画面进行抠像处理，获得一个摄影机画面抠像后蒙板；
52.将膨胀后的蒙板与步骤8.2的摄影机画面抠像后蒙板进行相加处理，获得一个合并后的蒙板；
53.使用所得的合并后的蒙板对摄影机画面进行抠像处理，获得带透明通道的摄影机画面；
54.将所渲染的后期三维虚拟画面和带透明通道的摄影机画面进行合成，得出最终画面，完成后期制作。
55.在实施例中，由于后景中的led背景墙上显示的绿幕面积大大减少，使得拍摄画面里场景中的反射与透射的物体如：眼镜、头盔、车辆的车漆，这些物体反射或透射了更少的绿幕，使得画面更为自然，同时减少了后期制作中处理反射或透射物体中绿幕穿帮的步骤，大大提升了制作的效率和质量。
56.以上所述的具体描述，对发明的目的、技术方案和有益效果进行进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。