应用于复合型剧场的虚拟人物表演控制方法和系统与流程

1.本发明涉及计算机控制及增强现实(ar)技术领域，特别是一种应用于复合型剧场的虚拟人物表演控制方法和系统。


背景技术：

2.目前，随着增强现实(ar)技术在剧场、舞台等场景的运用，可以带给观众强烈的互动视觉效果和参与感。ar技术借助计算机图形技术和可视化技术产生现实环境中不存在的虚拟对象，准确地置入真实环境中，借助显示设备将虚拟对象与真实环境融为一体，呈现给观众一个感官效果真实的新环境，具有虚实结合、实时交互、三维成像等特点。
3.现有的复合型剧场是一种融合了梦幻剧场、科普剧场、普通表演剧场、会议报告厅等多种功能的剧场。例如，现有的博物馆、展厅等场所需要专门的讲解人员进行现场解说，传统的真人解说不仅增加了人力成本，而且容易使讲解员产生厌倦情绪。虚拟主持人(如虚拟主持人、虚拟卡通角色等)的出现可以解决上述问题，令观众感受到了强烈科技感，形式新颖，而且可以利用数字技术在有限空间内展示更多的内容，信息量丰富。但是，现有的虚拟主持人通常采用预先录制好的音视频素材，然后通过ar技术投影展示，无法实时地和观众进行互动、交流。


技术实现要素：

4.为了克服现有技术的缺陷，本发明提供一种应用于复合型剧场的虚拟人物表演控制方法和系统，可以通过对虚拟人物的操控实现和观众的现场互动、交流。
5.本发明所采用的技术方案是：一种应用于复合型剧场的虚拟人物表演控制方法，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制方法包括如下步骤：
6.(a)生成虚拟人物，通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；
7.(b)获取动作指令，计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；
8.(c)调取动作指令，计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；
9.(d)输出反馈指令，计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作；
10.(e)当虚拟人物完成一个动作指令后，循环执行上述步骤(b)-(d)，直到完成全部的动作指令。
11.进一步的，所述计算机系统还包括语音分析模块和/或图像分析模块，用于根据监听设备采集的声音或图像信息，计算获得步骤(d)所述的反馈指令。具体地，该反馈指令通过以下步骤获得：
12.(1)采集现场观众席的场景图像，以单个人脸为单元采集每个观众的面部表情，并通过面部特征识别算法提取观众人物的表情特征a，同时记录采集该表情特征a的时间信息t1；
13.(2)采集现场观众席的声音信号，滤除环境噪音之后，根据预设的阈值提取现场的有效声音信号b，同时记录采集该表情特征a的时间信息t2；
14.(3)计算机系统汇总上述表情特征a、声音信号b、和时间信息t1、t2，将同一时间区间的表情特征a和声音信号b进行组合，生成现场观众席的反馈信息c；
15.(4)计算机系统根据上述现场观众席的反馈信息c，输出反馈指令d；
16.(5)计算机系统接收反馈指令d后，调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作。
17.基于上述虚拟人物的动作控制方法，本发明还提供了一种应用于复合型剧场的虚拟人物表演控制系统，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制系统包括：
18.虚拟人物生成单元，用于通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；
19.动作指令获取单元，用于计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；
20.动作指令调取单元，用于计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；
21.反馈指令输出单元，用于计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作。
22.进一步地，所述控制方法还包括语音指令，当计算机系统控制虚拟人物执行相应动作指令的同时，通过语音播放设备同步输出与动作指令相应的声音。所述语音指令由语音接收器收录后，通过预设的变声设备和调音设备转换后输出至语音播放设备。
23.进一步地，所述控制方法还包括监听设备，用于监测现场的声音或图像，并通过控制台发出相应的动作指令；或者通过计算机系统的预设算法生成反馈指令，用于控制虚拟人物完成相应的表演动作。
24.本发明克服了现有技术的缺陷，利用虚拟舞台成像系统形成虚拟人物(包括虚拟主持人、各种虚拟卡通角色等)，通过控制台输入相应的动作指令，然后由计算机系统控制成像系统对虚拟人物进行操控，从而实现与现场观众的实时互动，增加了舞台的互动效果和趣味性。进一步地，本发明通过采集现场的观众面部表情、声音、动作等信息，利用计算机系统的预设算法分析得出反馈信息，并利用该反馈信息控制虚拟人物完成相应的动作，实现虚拟人物与现场观众的实时互动和交流。
附图说明
25.下面结合附图对本发明的实施例进一步说明。
26.图1是本发明实施例所述虚拟人物的动作控制方法流程图。
27.图2是本发明实施例所述虚拟人物的动作控制系统的原理框图。
28.图3是本发明实施例在剧场应用的场景示意图。
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.需要说明，若本发明实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
31.如图1所示，本发明实施例所述应用于复合型剧场的虚拟人物表演控制方法，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制方法包括如下步骤：
32.(a)生成虚拟人物，通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；
33.(b)获取动作指令，计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待
34.(c)调取动作指令，计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；
35.(d)输出反馈指令，计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作；
36.(e)当虚拟人物完成一个动作指令后，循环执行上述步骤(b)-(d)，直到完成全部的动作指令。
37.其中，所述指令库中的动作指令是通过计算机编程程序，为虚拟人物预先设计的特定动作代码或动作影像。所述指令库存储于计算机系统的存储器中，所述指令库中的每一个动作指令对应控制台上的一个输入命令。优选的，所述控制台的输入命令由后台操作人员通过手动方式输入。
38.如图2所以，本发明基于上述虚拟人物的动作控制方法，还提供了一种应用于复合型剧场的虚拟人物表演控制系统，包括表演舞台，设置于表演舞台的成像系统、计算机系统和控制台，以及剧场内的观众席，所述控制系统包括：虚拟人物生成单元，用于通过成像系统在剧场的特定空间内投影形成预设的虚拟人物造型；动作指令获取单元，用于计算机系统检测控制台是否有动作指令的输入信号，如有，则继续下一步执行动作指令的调取步骤；若无，则继续等待；动作指令调取单元，用于计算机系统根据控制台的输入信号调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作；反馈指令输出单元，用于计算机系统控制监听设备采集观众席的声音或图像，并输出反馈指令控制虚拟人物完成相应的表演动作。
39.在该控制系统中，所述成像系统用于在特定空间内投影形成预设的虚拟人物造型；控制台用于输入控制虚拟人物的动作指令；计算机系统用于检测控制台的动作指令输
入信号，并根据输入信号调用指令库中的相应动作指令输出至成像系统，控制虚拟人物按照所述动作指令完成相应动作。
40.其中，所述控制台选自计算机键盘、操作手柄、操作杆、可穿戴设备、语音识别设备、鼠标中的任意一种或多种，在本实施例中，优选操作手柄。根据计算机编程程序设计好预定的人物动作指令后，将每一个动作指令定义为所述控制台的一个控制按键，输入命令时即可由后台操作人员通过手动方式进行输入。例如，按下操作手柄的“左键”，即向虚拟人物发出向左转身的动作指令，按下操作手柄的“上键”，即向虚拟人物发出跳跃的动作指令等，在此不再逐一列举。
41.所述控制方法还包括语音指令，当计算机系统控制虚拟人物执行相应动作指令的同时，通过语音播放设备同步输出与动作指令相应的声音。为了使输出的声音更具吸引力和适应不同的应用场景，所述语音指令由语音接收器收录后，通过预设的变声设备和调音设备转换后输出至语音播放设备，从而可以配合虚拟人物的动作发出各种声音。
42.进一步的，所述控制方法还包括监听设备(包括监听耳机和安装于剧场内部的摄像头)，用于监测现场的声音或图像，并通过控制台发出相应的动作指令。
43.进一步的，所述计算机系统还包括语音分析模块和/或图像分析模块，用于根据监听设备采集的声音或图像信息，计算获得步骤(d)所述的反馈指令。具体地，该反馈指令通过以下步骤获得：
44.(1)采集现场观众席的场景图像，以单个人脸为单元采集每个观众的面部表情，并通过面部特征识别算法提取观众人物的表情特征a，同时记录采集该表情特征a的时间信息t1；
45.(2)采集现场观众席的声音信号，滤除环境噪音之后，根据预设的阈值提取现场的有效声音信号b，同时记录采集该表情特征a的时间信息t2；
46.(3)计算机系统汇总上述表情特征a、声音信号b、和时间信息t1、t2，将同一时间区间的表情特征a和声音信号b进行组合，生成现场观众席的反馈信息c；
47.(4)计算机系统根据上述现场观众席的反馈信息c，输出反馈指令d；
48.(5)计算机系统接收反馈指令d后，调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作。
49.进一步地，所述反馈指令d通过以下公式计算获得：
50.d＝g(c)＝g[f(a,b,t1,t2)]，其中：
[0051]
a＝e(x1,x2,...,xn)
[0052]
b＝v(y,α,θ)
[0053]
c＝f(a,b,t1,t2)
[0054]
因此：d＝g[f(e(x1,x2,...,xn),v(y,α,θ),t1,t2)]
[0055]
上述公式中，e()表示提取观众人物面部表情特征的函数，xi表示第i个观众的面部图像，i＝1,...,n，n为现场观众人物的总数；v()表示提取现场有效声音的函数，y表示现场观众的声音信号,α表示环境噪音，θ表示预设的阈值；f()表示根据表情特征、声音信号和时间信息得到现场观众席反馈信息的函数；g()表示根据反馈信息c生成反馈指令的函数。
[0056]
具体地，现场影像监听设备(如摄像头)拍摄到观众席的图像或影像后，通过计算
机系统按预设的时间间隔提取相应图像，进行人脸面部识别，并通过与后台的表情特征数据库进行对比，判断出观众的表情特征(如微笑、大笑、惊讶、哭等)。另外，声音监听设备(如监听耳机等)采集到观众席的声音后，通过计算机系统按预设的时间间隔提取相应声音片段，进行噪音滤除、语音识别后获得有效声音信号，并通过与后台的声音特征数据库进行对比，判断出观众的声音特征(如鼓掌声、欢呼声、惊讶声等)。然后，利用计算机系统的预设算法，提取同一时间段的现场观众表情特征、声音特征，分析得出相应的反馈指令，并利用该反馈指令控制虚拟人物完成相应的动作。其中，所述反馈指令由计算机系统根据观众的反馈信息(表情特征、声音特征)按照上述公式计算获得，根据每一指令，调取指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作，实现虚拟人物与现场观众的互动和交流。
[0057]
更进一步地，本实施例所述反馈指令还可以通过以下步骤获得：
[0058]
(1)采集现场观众席的场景图像，以单个人物为单元采集每个观众的肢体动作，并通过动作特征识别算法提取观众人物的动作特征m，同时记录采集该表情特征m的时间信息t3；
[0059]
(2)计算机系统汇总上述动作特征m和时间信息t3，生成现场观众席的反馈信息n；
[0060]
(3)计算机系统根据上述现场观众席的反馈信息n，输出反馈指令dn；
[0061]
(4)计算机系统接收反馈指令dn后，调用指令库中的相应动作指令，并输出至成像系统，控制虚拟人物按照所述动作指令完成相应的表演动作。
[0062]
其中，所述反馈指令dn通过以下公式计算获得：
[0063]dn
＝gn(n)＝g[fn(m,t3)]，其中：
[0064]
m＝en(z1,z2,...,zn)
[0065]
因此：dn＝g(n)＝g[fn(ea(z1,z2,...,zn),t3)]
[0066]
上述公式中，en()表示提取观众人物动作特征的函数，zi表示第i个观众的动作，i＝1,...,n，n为现场观众人物的总数；fn()表示根据动作特征和时间信息得到现场观众席反馈信息的函数；gn()表示根据反馈信息n生成反馈指令的函数。
[0067]
如图3所示，本发明实施例在剧场的使用场景，该剧场设有观众席8、舞台7，以及在舞台上方的成像系统。所述成像系统进一步包括成像膜3、led屏4，所述计算机系统生成的虚拟人物形象显示在led屏4，然后通过成像膜3在舞台上形成虚拟人物1(如虚拟主持人、卡通角色等)，通过控制台发出的指令即可控制虚拟人物作出相应的动作。另外，为了让舞台效果更佳，还设有投影设备2，该投影设备通过舞台背后的屏幕9可以投射各种虚拟场景。另外，在舞台7的前端还设有可升降幕布5、灯光设备6等，以丰富舞台效果。
[0068]
进一步的，本发明所述控制系统中的计算机系统包括用于存储指令库的存储器。
[0069]
进一步的，所述指令库中的每一个动作指令对应控制台上的一个输入命令。
[0070]
进一步的，所述控制台的输入命令由后台操作人员通过手动方式输入。
[0071]
更进一步的，所述控制系统还包括接收和输出语音指令的语音播放设备，用于当计算机系统控制虚拟人物执行相应动作指令的同时，通过语音播放设备同步输出与动作指令相应的声音。
[0072]
进一步的，所述语音指令由语音接收器收录后，通过预设的变声设备和调音设备转换后输出至语音播放设备。
[0073]
进一步的，所述控制系统还包括监听设备，用于监测现场的声音或图像，并通过控制台发出相应的反馈指令，用于控制虚拟人物完成相应的表演动作。进一步的，所述控制系统还包括监听设备，用于监测现场的声音或面部表情图像或动作特征，并通过计算机系统的预设算法生成反馈指令，用于控制虚拟人物完成相应的表演动作。
[0074]
本发明所述实施例特别适用于在剧场、博物馆、展厅等场所，通过ar技术成像形成虚拟主持人形象，然后通过上述控制方法和系统，在幕后控制台输入相应的动作指令，由计算机系统控制成像系统对虚拟主持人进行操控，从而实现与现场观众的实时互动，增加了舞台的互动效果和趣味性。
[0075]
以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是在本发明的发明构思下，利用本发明说明书及附图内容所作的等效结构变换，或直接/间接运用在其他相关的技术领域均包括在本发明的专利保护范围内。