基于光学捕捉的虚拟拍摄方法、系统及存储介质与流程

1.本发明涉及虚拟制片的技术领域，特别涉及一种基于光学捕捉的虚拟拍摄方法、系统及存储介质。


背景技术：

2.虚拟拍摄指的就是在电影拍摄中，根据导演所要求的拍摄动作，全部镜头都在电脑里的虚拟场景中进行。拍摄这个镜头所需的各种元素，包括场景、人物、灯光等，全部被整合进了电脑，然后，导演就可以根据自己的意图，在计算机上“指挥”角色的表演和动作，从任意角度运动他的镜头。
3.但在现有的虚拟拍摄方法中，还会存在以下问题：一方面，由于虚拟相机的位置和参数的变换大多为制作人员手动制作的动画曲线，并非在拍摄过程中实时拍摄的结果，并不具有实时性，因而很多虚拟拍摄并非为实时拍摄，是由多种环节分离进行最后再进行拼合，无法与传统拍摄一样能实时看到拍摄画面；另一方面，很多数据多为手动制作，严重影响虚拟拍摄的进度和拟真的准确性。


技术实现要素：

4.本发明的目的就是解决背景技术中提到的问题，提出一种基于光学捕捉的虚拟拍摄方法、系统及存储介质。
5.为实现上述目的，本发明首先提出了一种基于光学捕捉的虚拟拍摄方法，包括以下步骤：获取通过光学捕捉智能终端确定的第一位置信息；根据所述第一位置信息生成第二位置信息；根据所述第二位置信息来进行虚拟拍摄；将虚拟相机拍摄到的画面推送至智能终端。
6.可选的，还包括以下步骤：获取第一人脸数据；通过对所述第一人脸数据进行匹配处理，生成第二人脸数据；将所述第二人脸数据作为预设人物模型的人脸目标体数据，生成预设人物模型对应的面部表情。
7.可选的，所述通过对第一人脸数据进行匹配处理，生成第二人脸数据包括以下步骤：将无表情状态下的第一人脸数据作为初始值，其他每一帧的第一人脸数据减去所述初始值来进行人脸初始化；将经过人脸初始化的第一人脸数据乘以预设系数来进行表情整体缩放。
8.可选的，还包括以下步骤：根据获取的关键点位置数据形成骨骼数据；将所述骨骼数据与骨骼模型进行绑定；根据被绑定的骨骼数据来实时驱动虚拟人物。
9.可选的，所述智能终端为平板电脑。
10.本发明还提出了一种基于光学捕捉的虚拟拍摄系统，包括：第一位置信息处理模块，被配置为获取通过光学捕捉智能终端确定的第一位置信息；第二位置信息处理模块，被配置为根据所述第一位置信息生成第二位置信息；虚拟拍摄模块，被配置为将所述第二位置信息作为虚拟相机的位置来进行虚拟拍摄；画面推送模块，被配置为将虚拟相机拍摄到
的画面推送至智能终端。
11.可选的，还包括：第一人脸数据处理模块，被配置为获取第一人脸数据；第二人脸数据处理模块，被配置为通过对所述第一人脸数据进行匹配处理，生成第二人脸数据；面部表情生成模块，被配置为将所述第二人脸数据作为预设人物模型的人脸目标体数据，以生成预设人物模型对应的面部表情。
12.可选的，所述第二人脸数据处理模块还包括:人脸初始化模块，被配置为将无表情状态下的第一人脸数据作为初始值，其他每一帧的第一人脸数据减去所述初始值来进行人脸初始化；表情整体缩放模块，被配置为将经过人脸初始化的第一人脸数据乘以预设系数来进行表情整体缩放
13.本发明还提出了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述的基于光学捕捉的虚拟拍摄方法。
14.本发明的有益效果：
15.本发明实施例的一种基于光学捕捉的虚拟拍摄方法中，先获取通过光学捕捉智能终端确定的第一位置信息，再根据由第一位置信息生成的第二位置信息来进行虚拟拍摄，最后将虚拟相机拍摄到的画面推送至智能终端，解决了现有技术中虚拟相机位置和参数的变换通过为制作人员手动制作的动画曲线进行，并不具有实时性的技术问题。相比多种环节分离进行最后再进行拼合的现有技术，本发明实施例的一种基于光学捕捉的虚拟拍摄方法，具有与传统拍摄一样能实时看到拍摄画面的优点，不仅可以让导演和摄像师实时看到相机拍摄的画面，并且可以模拟真实相机的操作和交互。
16.本发明的特征及优点将通过实施例结合附图进行详细说明。
附图说明
17.图1为本发明实施例一种基于光学捕捉的虚拟拍摄方法的流程示意图之一；
18.图2为本发明实施例一种基于光学捕捉的虚拟拍摄方法的流程示意图之二；
19.图3为本发明实施例一种基于光学捕捉的虚拟拍摄方法的流程示意图之三；
20.图4为本发明实施例一种基于光学捕捉的虚拟拍摄系统的结构框图之一；
21.图5为本发明实施例一种基于光学捕捉的虚拟拍摄系统的结构框图之二；
22.图6为本发明实施例一种基于光学捕捉的虚拟拍摄系统的结构框图之三。
具体实施方式
23.为了便于本领域技术人员的理解，下面将结合具体实施例对本发明作进一步详细描述。
24.图1示意性示出本发明实施例一种基于光学捕捉的虚拟拍摄方法的流程示意图。
25.如图1所示，该基于光学捕捉的虚拟拍摄方法包括步骤s10至步骤s40：
26.步骤s10，获取通过光学捕捉智能终端确定的第一位置信息；
27.步骤s20，根据所述第一位置信息生成第二位置信息；
28.步骤s30，根据所述第二位置信息来进行虚拟拍摄；
29.步骤s40，将虚拟相机拍摄到的画面推送至智能终端。
30.在本发明实施例的一种基于光学捕捉的虚拟拍摄方法中，先获取通过光学捕捉智
能终端确定的第一位置信息，再根据由第一位置信息生成的第二位置信息来进行虚拟拍摄，最后将虚拟相机拍摄到的画面推送至智能终端，解决了现有技术中虚拟相机位置和参数的变换通过为制作人员手动制作的动画曲线进行，并不具有实时性的技术问题。相比多种环节分离进行最后再进行拼合的现有技术，本发明实施例的一种基于光学捕捉的虚拟拍摄方法，具有与传统拍摄一样能实时看到拍摄画面的优点，不仅可以让导演和摄像师实时看到相机拍摄的画面，并且模拟了真实相机的操作和交互。
31.下面，将结合附图及实施例对本发明实施例中的基于光学捕捉的虚拟拍摄方法的各个步骤进行更详细的说明。
32.步骤s10，获取通过光学捕捉智能终端确定的第一位置信息。
33.需要说明的是，具备拍摄功能的智能终端作为在真实世界中代表虚拟相机的设备，具备以下两个条件：一是可以接收虚拟相机中拍摄画面的推流，二是可以对虚拟相机进行相应交互功能。在一优选实施例中，选择平板电脑作为所述智能终端，在其他实施例中，也可以选择例如手机等其他设备作为所述智能终端。此外，光学捕捉智能终端的过程可采用现有的光学捕捉技术进行，在此不再赘述。
34.步骤s20，根据所述第一位置信息生成第二位置信息。
35.本步骤的目的是为了统一真实坐标和虚拟坐标的一致性，以保证代表真实相机的智能终端在真实世界中的运动和虚拟相机在虚拟世界中运动的一致性。
36.具体的，当接收到未经处理的代表智能终端在真实世界中位置的第一位置信息后，将第一位置信息映射至虚拟光捕场坐标系，以生成第二位置信息。
37.需要说明的，在光学捕捉智能终端的过程中，现实世界中光学捕捉的有效范围区域被称为光捕场，这个区域限制了虚拟相机等需要光学捕捉物体的运动范围。由于所述光捕场中x轴、y轴的正方向与虚拟环境中x轴、y轴的正方向并不一致，相应位置信息在光捕场和虚拟环境中传递时需要进行转换才能保证运动的一致性。本实施例中，通过将第一位置信息映射至虚拟光捕场坐标系，以生成第二位置信息，从而省去了进行多次坐标系转换的复杂度。
38.步骤s30，根据所述第二位置信息来进行虚拟拍摄。
39.由于第二位置信息与第一位置信息同步变化，从而虚拟相机能根据真实相机所在的位置变化在虚拟场景中改变位置或朝向来进行实时的虚拟拍摄。
40.步骤s40，将虚拟相机拍摄到的画面推送至智能终端。
41.通过将虚拟相机拍摄到的画面推送至智能终端，从而在智能终端上实时显示虚拟拍摄画面。相比多种环节分离进行最后再进行拼合的现有技术，本实施例具有与传统拍摄一样能实时看到拍摄画面的优点。
42.请参考图2，本发明实施例一种基于光学捕捉的虚拟拍摄方法还包括以下步骤：
43.步骤s11，获取第一人脸数据；通过光学摄像头和或深度摄像头对目标人脸进行采集，来得到第一人脸数据。
44.步骤s21，通过对所述第一人脸数据进行匹配处理，生成第二人脸数据，目的是来减小由不同人生成的同一虚拟人物的差异。
45.步骤s31，将所述第二人脸数据作为预设人物模型的人脸目标体数据，生成预设人物模型对应的面部表情。
46.请参考图3，通过对第一人脸数据进行匹配处理，生成第二人脸数据具体包括以下步骤：
47.步骤s2110，将无表情状态下的第一人脸数据作为初始值，其他每一帧的第一人脸数据减去所述初始值来进行人脸初始化；
48.步骤s2120，将经过人脸初始化的第一人脸数据乘以预设系数来进行表情整体缩放。
49.根据实际测试得出的结果，根据获取到的不同演员的第一人脸数据，对于同一个表情动作，例如张嘴，有的演员可能是0.3到0.7的数值变化，有的可能是0.2到0.9的变化。而通过上述步骤，在获取到的不同演员的第一人脸数据存在整体偏大或者偏小的情况下，对不同演员表演同一个虚拟角色的相似性进行调整并对虚拟角色的表情细节进行补充，从而实现了在更换演员时不会使生成的虚拟人物有太大差异的技术效果。
50.此外，本实施例还具有对人体进行动态捕捉，使虚拟人物跟随真实人体同步运动的功能。具体的，上述功能通过以下步骤来实现：根据获取的关键点位置数据形成骨骼数据；将所述骨骼数据与骨骼模型进行绑定；根据被绑定的骨骼数据来实时驱动虚拟人物。
51.基于上述一种基于光学捕捉的虚拟拍摄方法，本发明实施例还提供了一种基于光学捕捉的虚拟拍摄系统，如图4所示，该系统包括以下模块：
52.第一位置信息处理模块100，被配置为获取通过光学捕捉智能终端确定的第一位置信息；
53.第二位置信息处理模块200，被配置为根据所述第一位置信息生成第二位置信息；
54.虚拟拍摄模块300，被配置为将所述第二位置信息作为虚拟相机的位置来进行虚拟拍摄；
55.画面推送模块400，被配置为将虚拟相机拍摄到的画面推送至智能终端。
56.如图5所示，在一实施例中，一种基于光学捕捉的虚拟拍摄系统还包括：
57.第一人脸数据处理模块110，被配置为获取第一人脸数据；
58.第二人脸数据处理模块210，被配置为通过对所述第一人脸数据进行匹配处理，生成第二人脸数据；
59.面部表情生成模块310，被配置为将所述第二人脸数据作为预设人物模型的人脸目标体数据，以生成预设人物模型对应的面部表情。
60.如图6所示，在一实施例中，第二人脸数据处理模块还包括：
61.人脸初始化模块21100，被配置为将无表情状态下的第一人脸数据作为初始值，其他每一帧的第一人脸数据减去所述初始值来进行人脸初始化；
62.表情整体缩放模块21200，被配置为将经过人脸初始化的第一人脸数据乘以预设系数来进行表情整体缩放。
63.综上所述，本发明实施例的一种基于光学捕捉的虚拟拍摄系统，该系统可以实现为一种程序的形式，在计算机设备上运行。计算机设备的存储器中可存储组成该基于光学捕捉的虚拟拍摄系统的各个程序模块，比如，图4所示的第一位置信息处理模块100、第二位置信息处理模块200、虚拟拍摄模块300、画面推送模块400。各个程序模块构成的程序使得处理器执行本说明书中描述的本技术各个实施例的一种基于光学捕捉的虚拟拍摄方法中的步骤。
64.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现本技术各个实施例的一种基于光学捕捉的虚拟拍摄方法中的步骤。
65.上述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
66.上述实施例是对本发明的说明，不是对本发明的限定，任何对本发明简单变换后的方案均属于本发明的保护范围。以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。