一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

互动提示方法、装置及设备与流程

2022-04-27 06:41:06 来源:中国专利 TAG:


1.本说明书涉及数据处理技术领域,尤其涉及一种互动提示方法、装置及设备。


背景技术:

2.在演出现场,演出人员与观演人员通常会进行一些互动,以增强演出氛围。目前,演出现场的互动,通常由演出人员或工作人员人工抽取现场的观演人员作为互动人员,以进行互动。


技术实现要素:

3.本说明书实施方式提供一种互动提示方法、装置及设备,可以大幅提高演出现场等现场互动的互动体验感。
4.本说明书实施方式提供一种互动提示方法,应用于互动提示系统的服务设备;所述互动提示系统还包括布设于指定场所的采集设备,所述方法包括:获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像;利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型;基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。
5.本说明书实施方式提供一种互动提示装置,应用于互动提示系统的服务设备;所述互动提示系统还包括布设于指定场所的采集设备,所述装置包括:图像获取模块,用于获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像;模型构建模块,用于利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型;方向定位模块,用于基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。
6.本说明书实施方式提供一种互动提示系统,所述系统包括云端服务设备、以及布设于指定场所的本地服务设备、采集设备:所述本地服务设备用于获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,并将所述场所图像发送至所述云端服务设备;所述云端服务设备用于利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型;并基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。
7.本说明书实施方式提供一种服务设备,所述设备包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现任意一个或多个实施例所述方法的步骤。
8.本说明书实施方式提供一种互动提示方法,可以至少利用包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,构建包含所述目标人员的肢体姿态的三维场
所模型。相应的,所构建得到的三维场所模型中包含了目标人员的肢体姿态在指定场所中的三维空间特征。然后,可以利用三维场所模型定位出目标人员的肢体姿态在所述指定场所对应的三维空间中所指向的方向,进而可以准确地选择出指定场所中对应于该方向的用户参与互动。利用本说明书各个实施例提供的方法,可以更加准确智能地从现场选择用户参与互动,使得现场互动更加智能化,降低互动用户选择的交互成本,以及提高用户的互动体验感。
附图说明
9.所包括的附图用来提供对本说明书实施方式的进一步的理解,其构成了说明书的一部分,用于例示本说明书的实施方式,并与文字描述一起来阐释本说明书的原理。显而易见地,下面描述中的附图仅仅是本说明书的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。在附图中:
10.图1为本说明书实施方式提供的互动提示交互示意图;
11.图2为本说明书实施方式提供的互动提示的座位区域定位示意图;
12.图3为本说明书实施方式提供的互动提示方法的流程示意图;
13.图4为本说明书实施方式提供的互动提示装置的模块结构示意图;
14.图5为本说明书实施方式提供的一种服务设备的模块结构示意图。
具体实施方式
15.为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施方式中的附图,对本说明书实施方式中的技术方案进行清楚、完整地描述,显然,所描述的实施方式仅仅是本说明书一部分实施方式,而不是全部的实施方式。基于本说明书中的实施方式,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施方式,都应当属于本说明书保护的范围。
16.为了便于理解,在本说明书提供的一个场景示例中,以演出场所作为指定场所对本说明书实施例提供的方案说明如下。本场景示例的互动提示方法可以应用于互动提示系统。所述互动提示系统至少可以包括服务设备以及布设于演出场所中进行图像采集的采集设备。所述服务设备可以为执行数据处理的设备,如服务器、业务终端等。所述采集设备如可以为视频采集设备、图像采集设备等。所述演出场所如可以演唱会场所、年会场所等等。相应的,所述目标人员如可以为演出人员、主持人、演讲人员等。
17.本场景示例中,如图1所示,所述服务设备可以包括云端服务设备以及布设于演出场所的本地服务设备。如图2所示,所述演出场所可以包括针对演出人员设置的舞台区域、以及针对观演人员设置的观演区域。所述观演区域中可以布设有多个座位,并在指定方向上被划分为多个子座位区域。所述指定方向如可以是指垂直于观演区域朝向舞台区域的方向。如图2所示,观演区域朝向舞台区域的方向为y方向,相应的,可以沿与y方向垂直的x方向将观演区域的座位进行划分,得到多个子座位区域a、b、c
……
。云端服务设备中可以存储有各子座位区域所占的区域位置信息以及区域标识a、b、c
……
,以及还可以存储有各子座位区域中所包含的座位标识11、12、
……
mn。
18.所述云端服务设备可以提供购票数据处理。观演人员可以通过终端设备上的票务
应用程序购票。如,终端设备的票务应用程序界面可以向观演人员展示观演区域的座位分布,观演人员可以选择座位,并在选定座位后,提交订单,完成购票。在购票完成后,云端服务设备可以记录观演人员的购票信息,如可以将观演人员购买的座位标识与观演人员所对应的用户标识进行关联存储。相应的,云端服务设备可以存储有已售座位的座位标识与用户标识的关联关系。
19.如图1所示,在演出场所,可以布设有本地服务设备、摄像机、演出指示灯等等。如图2所示,可以在演出场所至少针对舞台区域布设多个摄像机,以对演出场所的舞台区域以及舞台区域内的演出人员进行较为全面地信息采集。摄像机可以与本地服务设备之间建立通信连接,以将采集的信息传送给所述本地服务设备。摄像机与本地服务设备之间可以采用无线通信建立通信连接,如蓝牙、wifi等。所述本地服务设备还可以与云端服务设备之间建立通信连接,以将摄像机采集的信息或对采集的信息处理后的数据传送至所述云端服务设备。本地服务设备与云端服务设备可以采用远程通信的方式建立通信连接,如可以通过通信基站、通信卫星等建立远程通信连接。
20.摄像机可以针对舞台区域进行图像采集,并将采集的图像发送给本地服务器。本地服务设备可以至少将针对所述舞台区域进行图像采集的多个采集设备所采集的图像、各采集设备的设备参数以及位置信息,发送至云端服务设备。云端服务设备可以基于多个采集设备所采集的纹理图及深度图、各采集设备的设备参数以及位置信息,构建舞台区域的三维空间模型。为了使得三维空间模型更加全面地展示演出人员相对舞台区域的三维肢体姿态特征,可以尽可能多地利用针对多个采集视角所布设的采集设备构建舞台区域的三维空间模型。当然,本地服务设备也可以基于各采集设备所采集的纹理图及深度图、各采集设备的设备参数以及位置信息,构建舞台区域的三维空间模型,并将构建的三维空间模型发送至云端服务设备。
21.在演出现场,演出人员希望与观演人员进行互动时,演出人员如可以通过向某子座位区域伸展手臂的方式选择位于该子座位区域的观演人员参与互动。例如,演出人员可以先通过语音方式发出互动开启指令,如“接下来,我们要在现场选一个朋友到舞台一起玩一个互动小游戏”,然后,演出人员可以通过移动手臂的方式来渲染互动用户选择的氛围,在选定参与互动的子座位区域后,则可以通过特定手势的方式表示其已选定。相应的,本地服务设备可以在检测到互动开启指令后,接收互动开启指令发出之后针对舞台区域的各采集设备所采集的图像,再对接收的各图像进行手势识别。在检测到特定手势的情况下,可以提取该特定手势发出时刻下的各图像,作为目标场所图像,以利用所述目标场所图像构建舞台区域对应的三维空间模型。
22.云端服务设备可以从所述舞台区域的三维空间模型中提取演出人员手臂在所述舞台区域中的伸展方向。舞台区域与观演区域的各子座位区域在演出场所中的相对位置是已经确定的,相应的,可以基于舞台区域与观演区域的各子座位区域在演出场所中的相对位置,确定所述观演区域对应于所述伸展方向的子座位区域,进而从所述子座位区域内选择观演人员参与互动。
23.或者,云端服务设备中可以预先存储有演出场所对应的三维场所模型。本地服务设备可以在向云端服务设备发送上述信息时,将演出场所对应的演出场所标识一起发送至云端服务设备,以使云端服务设备调取相应演出场所标识对应的三维场所模型。或者,云端
服务设备也可以通过分析本地服务设备的地址信息,定位本地服务设备所在的演出场所,进而调取该演出场所对应的三维场所模型。云端服务设备可以进一步将舞台区域的三维空间模型替代三维场所模型中对应的部分,得到包含演出人员的肢体姿态的互动三维场所模型。云端服务设备可以从所述互动三维场所模型中提取演出人员手臂在所述演出场所中的伸展方向。观演区域的各子座位区域在演出场所中的位置信息也是已知的,相应的,可以基于观演区域的各子座位区域在演出场所中的位置信息,确定所述观演区域对应于所述伸展方向的子座位区域,进而从所述子座位区域内选择观演人员参与互动。
24.如图2所示,云端服务设备可以从所述互动三维场所模型中提取演出人员手臂在所述演出场所中的伸展方向,并将所述伸展方向进一步向观演区域延伸,定位出所述伸展方向所落入的子座位区域b,以提示所述子座位区域b内的观演人员参与互动。在定位出所述伸展方向所落入的子座位区域后,云端服务设备可以从相应子座位区域所包含的座位标识中随机抽取一个已售座位对应的座位标识,作为互动座位标识。
25.云端服务设备可以基于互动座位标识与用户标识的关联关系,提取互动座位标识对应的用户标识,并向该用户标识所对应的终端设备发送参与互动的通知,以提示该用户标识对应的观演人员参与互动。或者,如图1所示,云端服务设备也可以将互动座位标识对应的用户的终端设备信息反馈给本地服务设备,以使本地服务设备向该终端设备发送参与互动的通知。或者,云端服务设备也可以将互动座位标识反馈给本地服务设备,以使本地服务设备控制演出指示灯照亮所述互动座位标识对应的互动座位,以提示该互动座位对应的观演人员参与互动。或者,在确认参与互动的观演人员的座位信息后,还可以在舞台屏幕上呈现出参与互动的观演人员的座位标识以及位置信息,以使演出人员快速了解参与互动的观演人员的位置。
26.演出人员可以与参与互动的观演人员进行现场互动,如可以一起唱歌、上台参与活动等等。当然,现场服务人员也可以将需要参与的互动活动信息以及演出场所标识关联后,通过终端设备的票务应用程序发送至云端服务设备。云端服务设备在向本地服务设备反馈互动座位标识或者互动座位标识对应的用户的终端设备信息时,可以将相应演出场所标识对应的互动活动信息一起反馈至本地服务设备。本地服务设备可以控制所述互动活动信息在舞台屏幕上进行展示,或者也可以将所述互动活动信息发送至参与互动的观演人员的终端设备,以在终端设备上进行展示。具体互动实施方式可以根据需求配置,这里不做限定。
27.利用上述实施方案,可以基于演出人员的现场姿态信息以及演出现场空间信息快速地选择参与互动的观演人员,使得现场互动更加智能化,降低互动用户选择的交互成本,以及提高用户的互动体验感。
28.当然,服务设备也可以仅为本地服务设备。云端服务设备可以预先将观演人员购买的座位标识与用户标识进行关联后,发送至本地服务设备,以使本地服务设备进行存储。本地服务设备还可以存储有相应演出场所的三维场所模型、子座位区域的位置信息、各子座位区域所包含的座位标识等。相应的,互动提示的数据处理由本地服务设备处理,具体实施方式可以参考上述场景示例,这里不做赘述。
29.当然,服务设备也可以仅为云端服务设备。采集设备可以直接与云端服务设备建立通信连接,以将采集的信息直接发送至云端服务设备,以使云端服务设备执行舞台区域
的三维空间模型构建、演出人员的肢体姿态在演出场所中所指向的方向定位等步骤,并在得到互动座位标识后,向互动座位标识对应的观演人员的终端设备发送参与互动的通知等,以提示相关观演人员参与互动。具体实施方式可以参考上述场景示例,这里不做赘述。
30.图3表示本说明书实施例提供的一种互动提示方法的流程示意图。基于上述场景示例,如图3所示,本说明书实施例还提供一种互动提示方法,应用于所述互动提示系统的服务设备,所述方法可以包括如下步骤。
31.s302:获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像。
32.所述指定场所如可以为演出场所、年会场所、比赛场所等。所述指定场所可以为相对封闭的场所,也可以为开放的场所。例如,演出场所可以为举办演唱会的体育馆,也可以为举办演唱会而临时搭建的户外区域。所述目标人员如可以为演出人员、演讲人员、主持人等。所述目标人员可以预先指定。如可以以位于指定场所中指定区域中的人员作为目标人员,如可以将演出场所中位于舞台区域内的人员作为目标人员。或者,也可以将具有某特征的人员作为目标人员,如可以在服务设备中配置目标人员的人脸信息,通过人脸信息比对来确定目标人员。当然,也可以根据应用场景的实际情况配置目标人员的确定方式。
33.采集设备可以针对指定场所进行图像采集。本说明书实施例中,可以将采集设备针对指定场所采集的图像描述为场所图像。采集设备可以将采集的图像发送至服务设备。例如,在所述服务设备包含本地服务设备以及云端服务设备的情况下,采集设备可以将采集的图像通过无线通信的方式传送至本地服务设备。当然,在服务设备仅包含云端服务设备的情况下,采集设备也可以将采集到的图像通过远程通信传输至云端服务设备。
34.服务设备可以至少利用包含目标人员的肢体姿态以及指定场所的场所空间信息的场所图像,来构建包含目标人员的肢体姿态在指定场所中的三维空间信息的三维空间模型,以更加准确地定位出目标人员的肢体姿态在指定场所中所指向的方向。例如,若预先指定位于某指定区域中的人员为目标人员,则服务设备可以至少接收针对该指定区域的多个采集设备所采集的场所图像,以构建包含目标人员的肢体姿态在指定场所中的三维空间信息的三维空间模型,如上述场景示例中针对舞台区域所构建的三维空间模型。若基于人脸信息确定目标人员,则服务设备可以在接收到各采集设备所发送的场所图像后,进一步基于人脸信息比对,筛选出至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像。当然,在基于其他方式确定目标人员的应用场景下,还可以对应设置其他场所图像筛选方式,这里不做限定。
35.另一些实施例中,服务设备还可以在检测到互动启动指令的情况下,选取包含所述互动启动指令发出时刻的预设时间区间;获取所述预设时间区间内所采集的包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像。采集设备在现场所采集的图像数量通常是非常庞大的,而现场互动出现的时间以及次数都是非常少的,若实时进行目标人员的肢体姿态定位,则会造成巨大的资源浪费。且演出人员、演讲人员在现场可能出现的姿态是多样化的,即使目标人员向某子座位区域伸展手臂,也并不能说明目标人员此时希望与该子座位区域的用户进行互动,从而也可能造成互动频繁触发,带来不好的体验感。本实施例中,通过预先配置互动启动指令,在检测到互动启动指令的情况下,再进行目标人员的肢体姿态定位处理,可以大幅降低对系统资源的浪费,并提高互动体验感。
36.如演出人员希望与观演人员进行互动时,演出人员可以先说出“我们现场选一个朋友来一起唱”的语音信息,之后,演出人员再通过伸展手臂选择参与互动的子座位区域。相应的,可以将演出人员发出的语音信息作为互动启动指令。例如,可以预先收集通常演出人员、主持人等开启互动的语音信息,并进行特征提取,构建互动启动语音指令集。相应的,语音采集设备可以实时采集演出人员的语音信息,并发送至服务设备,服务设备可以基于该互动启动语音指令集检测演出人员是否发出互动启动识别指令。服务设备可以在检测到语音信息为互动启动指令后,再从接收的场所图像中提取出包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,以构建三维场所模型。
37.或者,演出人员也可能先通过伸展手臂选择参与互动的子座位区域,在此过程中,再发出诸如“我们从这个区域选一个朋友来一起唱,好吗”的语言信息。相应的,服务设备可以在检测到语音信息为互动启动指令的情况下,可以选取包含所述互动启动指令发出时刻的预设时间区间,并获取所述预设时间区间内所采集的包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,以构建三维场所模型。
38.当然,上述处理方式仅为优选举例说明,具体实施时还可能有其它变更实施方式,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。例如,互动启动指令也可以由服务人员发出,互动启动指令也可以通过借助对其他设备触发的方式发出,等等。
39.另一些实施例中,服务设备还可以在检测到互动选定指令的情况下,从接收的场所图像中提取所述互动选定指令发出时刻下的场所图像,作为目标场所图像;相应的,利用所述目标场所图像构建包含所述目标人员的肢体姿态的三维场所模型。
40.例如,演出人员可以先通过语音方式发出互动开启指令,如“接下来,我们要在现场选一个朋友到舞台一起玩一个互动小游戏”,然后,演出人员可以通过移动手臂的方式来渲染互动用户选择的氛围,在选定参与互动的子座位区域后,则可以通过特定手势的方式表示其已选定。相应的,服务设备可以在检测到互动开启指令后,接收互动开启指令发出之后采集设备所采集的场所图像,并筛选出包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像。之后,再基于该筛选出的场所图像进行手势识别,在检测到特定手势的情况下,可以将检测到该特定手势的场所图像,作为目标场所图像,以利用所述目标场所图像构建三维场所模型。其中,基于特定手势进行互动选定指令检测的实施方式,可以参考上述基于语音信息进行互动启动指令检测的实施方式,这里不做赘述。
41.或者,服务设备还可以通过识别连续多帧场所图像中目标人员的肢体动作特征,基于目标人员的肢体动作特征确定目标人员是否发出互动选定指令。如演出人员在希望与观演人员互动时,可以伸展并移动手臂,在选定参与互动的子座位区域后,可以在该位置固定手臂伸展动作n秒。相应的,可以将手臂伸展并移动m秒之后又固定手臂伸展动作且不移动n秒,作为互动选定指令。服务设备在基于连续多个采集时刻下的场所图像检测到目标人员手臂伸展并移动m秒后、又固定n秒的情况下,可以确定演出人员发出了互动选定指令,即选定了互动的子座位区域,相应的,服务设备可以从该n秒所对应的场所图像中选择任一张或多张,作为目标场所图像,以构建三维场所模型。
42.通过上述实施方式,可以进一步渲染现场互动氛围,同时,通过预先筛选出目标场所图像,基于目标场所图像进行三维场所模型的构建,还可以进一步明确互动姿态定位的
图像处理范围,进一步提高互动姿态定位的准确性以及效率。
43.当然,上述处理方式仅为优选举例说明,具体实施时还可能有其它变更实施方式,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。
44.s304:利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型。
45.服务设备可以获取至少两个采集设备所采集的所述场所图像,并利用该至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型。例如,服务设备可以从该包含目标人员的肢体姿态以及指定场所的场所空间信息的场所图像中,提取出目标人员的肢体姿态以及目标人员周围场景的纹理特征以及深度特征,再进一步结合采集设备的设备参数、位置信息等,利用三维场景重构技术,构建包含目标人员在指定场所中的三维肢体姿态特征的三维空间模型。为了便于表述,可以将该构建出的三维空间模型描述为三维场所模型。为了使得目标人员在指定场所中的三维肢体姿态特征表征的更加全面准确,可以尽可能地利用多个视角的采集设备所采集到的所述场所图像,构建三维场所模型;或者,也可以进一步结合其他未包含目标人员的肢体姿态的场所图像,构建三维场所模型。
46.实际图像采集过程中,可能会存在部分图像中所包含的目标人员的图像占比较小的情况,从而使得目标人员的肢体姿态特征不明显,较难准确提取出目标人员的肢体姿态。其中,图像占比可以是指某图像中目标人员的轮廓图像在图像中所占的比例。例如,可以以目标人员的轮廓图像f的面积与图像e的面积的比值,作为目标人员在图像e中的图像占比。当然,也可以通过其他方式计算图像占比,这里不做限定。相应的,一些实施方式中,对于某采集时刻t下采集设备所采集到的上述场所图像,还可以计算场所图像中目标人员的图像占比,并筛选出图像占比较大的前k张场所图像,k为大于等于1的整数。然后,可以基于筛选出的所述前k张场所图像,构建三维场所模型。基于目标人员的图像占比相对较大的场所图像进行三维场所模型的构建,可以使得目标人员的肢体姿态定位更加准确高效。
47.当然,上述处理方式仅为优选举例说明,具体实施时还可能有其它变更实施方式,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。
48.s306:基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。
49.在得到三维场所模型的情况下,服务设备可以进一步从三维场所模型中提取目标人员的三维肢体姿态特征。例如,可以先从三维场所模型中定位出目标人员的轮廓图像,然后,再基于人体肢体关键节点从轮廓图像中提取出目标人员的三维肢体姿态特征。或者,也可以利用深度学习网络构建人体姿态检测模型,以利用该人体姿态检测模型从三维场所模型中提取出目标人员的三维肢体姿态特征。当然,也可以采用其他方式进行目标人员的三维肢体姿态特征的提取。
50.在提取到目标人员的三维肢体姿态特征后,服务设备可以进一步基于该三维肢体姿态特征定位目标人员的肢体姿态在指定场所中所指向的方向。例如,目标人员的肢体姿态为手臂向外伸展,则可以基于目标人员的手臂伸展相对指定场所的三维空间特征,定位目标人员的手臂伸展在指定场所中所指向的方向。当然,目标人员的肢体姿态还可以存在其他情况,如演出人员利用手指指向某子座位区域,也可以基于演出人员手指相对指定场
所的三维空间特征,定位演出人员手指在指定场所中所指向的方向,等等。
51.另一些实施例中,服务设备在定位所述目标人员的肢体姿态在所述指定场所中所指向的方向之前,还可以先识别目标人员的肢体姿态是否为互动姿态;在所述目标人员的肢体姿态为互动姿态的情况下,再基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向。通过进一步进行互动姿态判断的方式,可以进一步提高互动选择定位的准确性。
52.例如,所述互动姿态为目标人员的手臂向所述指定场所中用户所在区域进行伸展。相应的,可以通过判断目标人员的手臂是否向所述指定场所中用户所在区域的方向伸展,来确定目标人员的肢体姿态是否为互动姿态。或者,也可以预先构建互动姿态特征集,互动姿态特征集中可以存储有预先指定的互动姿态所对应的姿态特征。如互动姿态特征集中可以存储有目标人员的手臂向所述指定场所中用户所在区域的方向伸展的姿态特征。可以将提取到的肢体姿态特征与互动姿态特征集进行比对,若提取到的肢体姿态特征与互动姿态特征集中各姿态特征的特征匹配度大于指定匹配度阈值,则可以确认目标人员的肢体姿态为互动姿态。基于互动姿态特征集进行目标人员的肢体姿态判定,可以更加快速准确地确定目标人员的肢体姿态是否为互动姿态。
53.可以在基于某采集时刻t所对应的三维场所模型确认目标人员的肢体姿态为互动姿态的情况下,即确认目标人员的肢体姿态为互动姿态。也可以进一步结合采集时刻t前后至少一个采集时刻下所对应的三维场所模型来判断目标人员的肢体姿态为互动姿态,例如,可以在基于连续两个以上采集时刻所对应的三维场所模型均确认目标人员的肢体姿态为互动姿态的情况下,再确认目标人员的肢体姿态为互动姿态,以进一步提高互动姿态识别的准确性。
54.在定位所述目标人员的肢体姿态在所述指定场所中所指向的方向后,服务设备可以进一步确定所述指定场所中对应于所述方向的用户,以提示所述指定场所中对应于所述方向的用户参与互动。例如,所述互动姿态为目标人员的手臂向所述指定场所中用户所在区域进行伸展,则可以基于所述指定场所中用户所在区域的位置信息、以及目标人员的手臂的伸展方向,确定所述指定场所中对应于所述伸展方向的用户所在区域,从对应于所述伸展方向的用户所在区域中选择用户,作为互动用户,并提示该互动用户参与互动。
55.如前述场景示例所述,在所述指定场所为演出场所的情况下,所述指定区域可以包括演出人员所在的舞台区域、以及观演人员所在的观演区域,可以基于前述场景示例所给的实施方式构建互动三维场所模型。该互动三维场所模型包含了演出人员的肢体姿态在指定场所中的三维特征信息。服务设备可以从所述互动三维场所模型中提取出演出人员手臂在所述指定场所中的伸展方向,进而确定所述观演区域对应于所述伸展方向的座位范围,从所述座位范围内选择观演人员参与互动。如图2所示,所述观演区域可以在指定方向上被划分为多个子座位区域,服务设备可以从所述互动三维场所模型中提取演出人员手臂在所述指定场所中的伸展方向,并将所述伸展方向进一步向观演区域延伸,定位出所述伸展方向所落入的子座位区域b,以提示所述子座位区域b内的观演人员参与互动。
56.或者,所述指定区域也可以仅包含观演人员所在的观演区域,而目标人员所在的区域是比较灵活的,此时,还可以进一步利用位置采集设备采集目标人员在指定场所的位置信息,位置采集设备再将采集的目标人员的位置信息上传至服务设备。服务设备可以结
合目标人员的位置信息以及基于上述三维场所模型所定位的手臂伸展方向,进一步定位出目标人员的手臂在所述指定场所中向观演区域所指向的方向,进而确定所述观演区域对应于所述伸展方向的座位范围,从所述座位范围内选择观演人员参与互动。
57.相应的,一些实施例中,所述指定场所可以包括用户所在的观演区域,所述观演区域中布设有多个座位。相应的,服务设备可以进一步提取所述观演区域中对应于上述定位的方向的部分座位,以提示所述部分座位对应的用户参与互动。
58.例如,服务设备中可以存储有各子座位区域中所包含的座位标识。在定位出所述伸展方向所落入的子座位区域后,服务设备可以随机从相应子座位区域所包含的座位标识中随机抽取一个或者多个座位标识,将抽取的座位标识作为互动座位标识,并将互动座位标识对应的座位表述为互动座位。在所述服务设备包括本地服务设备以及云端服务设备的情况下,云端服务设备可以将所述互动座位标识反馈至本地服务设备,本地服务设备可以控制演出指示灯照亮所述互动座位标识所对应的互动座位,以提示所述互动座位对应的观演人员参与互动。或者,本地服务设备也可以控制舞台屏幕上展示所述互动座位标识对应的互动座位,以提示所述互动座位对应的观演人员参与互动。
59.或者,也可以将观演区域中对应于上述定位的方向的部分座位在舞台屏幕中进行展示,由演出人员从对应于上述定位的方向的部分座位中选择一个或者多个座位作为互动座位,并将互动座位在舞台屏幕上展示,以提示所述互动座位对应的观演人员参与互动。
60.实际情况中,可能存在部分座位中没有用户的情况,使得筛选出的互动座位没有用户可以参与互动,需要额外再筛选互动座位,从而会造成资源浪费,且带来较差的用户使用体验感。另一些实施例中,服务设备中还可以存储座位与用户的关联关系。相应的,服务设备可以从所述部分座位中筛选出至少一个与用户关联的座位作为互动座位,以提示所述互动座位对应的用户参与互动,进一步降低互动用户选择的交互成本。
61.例如,服务设备可以存储已售座位对应的座位标识与购买该座位的用户标识的关联关系。服务设备可以从已售座位对应的座位标识中随机选择一个或者多个座位标识,作为互动座位标识。在选择互动座位标识后,可以获取互动座位标识所关联的用户标识,并向该用户标识所对应的终端设备发送参与互动的通知,以提示该用户标识对应的用户参与互动。当然,服务设备也可以通过控制演出指示灯照亮所述互动座位标识对应的互动座位等方式,提示该互动座位对应的用户参与互动。
62.或者,服务设备也可以获取采集设备在所述互动姿势采集时刻下对座位区域的采集图像,并基于该座位区域的采集图像提取有用户的座位,确定为与用户关联的座位,并从该与用户关联的座位中随机选择一个或者多个座位标识,作为互动座位标识。
63.另一些实施方式中,在互动座位为两个以上的情况下,可以将该两个以上的互动座位对应的用户作为最终参与互动的互动用户。或者,也可以将所述互动座位所关联的用户作为备选互动用户。演出人员可以在现场从备选互动用户中选择一个用户作为最终参与互动的互动用户。或者,所述服务设备可以向所述备选互动用户的终端设备发送互动抢先提示;并在接收到终端设备基于所述互动抢先提示反馈的互动选定指令的情况下,基于接收到互动选定指令的先后顺序,选择最先接收到的互动选定指令所对应的备选互动用户作为最终参与互动的互动用户,通过该方式,可以进一步降低互动用户选择的交互成本,以及提高用户的互动体验感。
64.例如,云端服务设备可以将互动座位标识对应的互动用户的终端设备信息反馈给本地服务设备,本地服务设备基于接收的终端设备信息向备选互动用户的终端设备中的票务应用程序发送参与互动的通知以及互动抢先提示。所述终端设备信息如可以是指对终端设备进行通信定位的信息。所述终端设备信息如可以包括终端设备ip地址、端口号等,以便服务设备将参与互动的通知发送至终端设备的票务应用程序。当然,所述终端设备信息也可以为用户标识、终端设备标识等,以使本地服务设备基于用户标识、终端设备标识等调取预先存储的终端设备ip地址、端口号等,并将参与互动的通知发送至相应终端设备的票务应用程序。终端设备的票务应用程序在接收到参与互动的通知以及互动抢先提示后,可以向备选互动用户展示该通知以及互动抢先提示。例如,终端设备的票务应用程序可以向备选互动用户展示“互动抢先提示”按钮,在票务应用程序检测到备选互动用户触发“互动抢先提示”按钮的情况下,备选互动人员的终端设备可以向本地服务设备发送互动选定指令。本地服务设备可以基于接收到互动选定指令的先后顺序,选择最先接收到的互动选定指令所对应的备选互动用户作为最终参与互动的互动用户。本地服务设备可以向互动用户的终端设备发送互动被选定通知,以提示互动人员参与互动。或者,本地服务设备也可以控制现场指示灯照亮所述互动人员对应的互动座位,以提示所述互动用户参与互动。
65.相应的,一些实施例中,服务设备可以控制现场指示灯照亮所述互动座位,以提示所述互动座位对应的用户参与互动;或者,服务设备可以控制现场指示灯照亮所述互动用户对应的互动座位,以使所述互动用户参与互动。或者,服务设备可以向所述互动座位所关联的用户的终端设备发送互动提示信息,以提示所述互动座位对应的用户参与互动;服务设备可以向所述互动用户的终端设备发送互动提示信息,以提示所述互动用户参与互动。
66.当然,上述处理方式仅为优选举例说明,具体实施时还可能有其它变更实施方式,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。例如,所述观演区域也可以不包含座位,仅包含多个被划分的子观演区域,服务设备还可以提取上述定位的方向所对应的子观演区域,由演出人员在现场从该子观演区域选取一个观演人员参与互动。或者,用户可以通过线上的方式观看演出,所述指定场所中还可以设置有多个观演屏幕,在各观演屏幕上显示指定的多个观演人员的视频连线界面,相应的,服务设备还可以提取上述定位的方向所对应的观演屏幕,以提示显示在观演屏幕中的观演人员在线参与互动。当然,在其他应用场景中,所述用户还可以为其他类型的用户,如员工(指定场所为公司年会场所)等。
67.演出人员可以与参与互动的用户进行现场互动,如可以一起唱歌、上台参与活动等等。当然,现场服务人员也可以将需要参与的互动活动信息以及演出场所标识关联后,通过终端设备的票务应用程序发送至服务设备。服务设备可以控制所述互动活动信息在舞台屏幕上进行展示,或者也可以将所述互动活动信息发送至参与互动的观演人员的终端设备,以在终端设备上进行展示。具体互动实施方式可以根据需求配置,这里不做限定。
68.例如,所述本地服务设备至少可以为与用户的终端设备中的票务应用程序建立有通信连接的服务设备。在确定出互动座位标识后,云端服务设备可以将互动座位标识对应的用户的终端设备信息反馈给本地服务设备。本地服务设备基于接收的终端设备信息向相应用户的终端设备中的票务应用程序发送参与互动的通知。相应的,终端设备中的票务应用程序在接收到该通知后,可以向用户展示该通知,以提示用户参与互动。
69.终端设备的票务应用程序在接收到参与互动的通知后,还可以向用户展示“录音”按钮。在终端设备的票务应用程序检测到用户触发该“录音”按钮的情况下,可以提示用户与演出现场的音箱设备建立通信连接。用户如可以通过开启终端设备中的蓝牙、wifi等,以使终端设备与演出现场的音箱设备之间建立通信连接。相应的,用户的终端设备可以作为麦克风,以使用户利用终端设备与演出人员合唱。或者,用户也可以预先开启终端设备中的蓝牙、wifi等,以使终端设备与演出现场的音箱设备之间建立通信连接;相应的,在终端设备的票务应用程序在接收到参与互动的通知后,可以向用户展示“录音”按钮,用户可以触发该“录音”按钮,以使其终端设备接入音箱设备,作为麦克风。需要特别说的是,所述终端设备的票务应用程序中的“录音”按钮在终端设备接收到参与互动的通知之前,为隐藏状态;在终端设备接收到参与互动的通知之后,再向用户展示,以使最终被选中参与互动的用户参与合唱,其他用户则不能参与合唱,提高用户交互体验感。
70.相应的,一些实施例中,所述服务设备可以向所述互动座位所关联的用户的终端设备发送麦克风开启指令,以使相应的终端设备展示麦克风接入控件。所述麦克风接入控件如可以为终端设备的票务应用程序中所展示的“录音”按钮,也可以为其他类型的控件。终端设备可以基于用户对麦克风接入控件的触发,接入演出现场的音箱设备,具体接入方式如可以利用上述场景示例所给实施方式。之后,用户可以利用其终端设备,与演出人员一起合唱。通过在选择参与互动的用户后,进一步控制相应用户的终端设备转变为用户的麦克风,可以进一步提高用户互动参与的简便性以及互动效果,提高用户互动体验感。
71.在互动座位标识为两个以上的情况下,相应的两个以上的用户可以同时作为互动用户,利用各自的终端设备一起与演出人员合唱;当然,也可以由演出人员从互动座位标识所关联的用户中指定一个用户作为互动用户,参与合唱;或者,也可以通过上述互动抢先的方式,选择最终参与互动的互动用户,服务设备向该互动用户的终端设备发送麦克风开启指令,以使互动用户利用其终端设备参与合唱。
72.上述实施例提供的互动提示方法,可以至少利用包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,构建包含所述目标人员的肢体姿态的三维场所模型。相应的,所构建得到的三维场所模型中包含了目标人员的肢体姿态在指定场所中的三维空间特征。然后,可以利用三维场所模型定位出目标人员的肢体姿态在所述指定场所对应的三维空间中所指向的方向,进而可以准确地选择出指定场所中对应于该方向的用户参与互动。利用本说明书各个实施例提供的方法,可以更加准确智能地从现场选择用户参与互动,使得现场互动更加智能化,降低互动用户选择的交互成本,以及提高用户的互动体验感。
73.基于上述实施例提供的互动提示方法,本说明书实施例还提供一种应用于所述服务设备的互动提示装置。如图4所示,所述互动提示装置包括如下模块:图像获取模块402,用于获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像;模型构建模块404,用于利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型;方向定位模块406,用于基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。本实施方式提供的所述装置中,所涉及的功能模块实现的功能和效果,可以与其它实施方式对照解释,不再赘述。
74.基于上述实施例提供的互动提示方法,本说明书实施例还提供一种互动提示系
统,所述系统包括云端服务设备、以及布设于指定场所的本地服务设备、采集设备。云端服务设备、本地服务设备、采集设备之间的通信方式、交互方式可以参考上述场景示例以及实施例所述,这里不做赘述。
75.一些实施例中,所述本地服务设备可以用于获取至少包含指定场所的场所空间信息以及目标人员的肢体姿态的场所图像,并将所述场所图像发送至所述云端服务设备。所述云端服务设备可以用于所述云端服务设备用于利用至少两个采集设备所采集的所述场所图像,构建包含所述目标人员的肢体姿态的三维场所模型;并基于所述三维场所模型定位所述目标人员的肢体姿态在所述指定场所中所指向的方向,以提示所述指定场所中对应于所述方向的用户参与互动。
76.另一些实施例中,所述指定场所包括用户所在的观演区域,所述观演区域中布设有多个座位。所述云端服务设备还用于提取所述观演区域中对应于所述方向的部分座位,以提示所述部分座位对应的用户参与互动。
77.另一些实施例中,所述云端服务设备还用于从所述部分座位中筛选出至少一个与用户关联的座位作为互动座位,以提示所述互动座位对应的用户参与互动。
78.另一些实施例中,所述云端服务设备还用于将所述互动座位的座位位置信息反馈至所述本地服务设备。所述互动座位的座位位置信息如可以利用座位标识所表示,也可以利用所述互动座位所属的子座位区域以及互动座位在子座位区域的相对位置所表示,当然,也可以采用其他方式表示,以便于快速定位所述互动座位在指定场所的相对位置信息。所述本地服务设备还用于接收所述互动座位的座位位置信息,并基于所述座位位置信息控制现场指示灯照亮所述互动座位,以提示所述互动座位对应的用户参与互动。
79.另一些实施例中,所述云端服务设备还用于提取所述互动座位所关联的用户的终端设备信息,并将提取的终端设备信息发送至本地服务设备。所述本地终端设备还用于接收所述终端设备信息,并向所述终端设备信息所对应的终端设备发送互动提示信息,以提示所述互动座位对应的用户参与互动。
80.本实施方式提供的所述系统中,所涉及的功能模块实现的功能和效果,可以与其它实施方式对照解释,不再赘述。所述互动提示系统中各设备所执行的数据处理以及各设备间的交互方式还可以参考上述实施例进行变更,但只要其实现的功能和效果相同或相似,均应涵盖于本说明书保护范围内。
81.通过采用云端服务设备、本地服务设备相结合的方式,可以在演出现场远程通信不是特别好的情况下,保证数据传输的稳定性。同时,由云端服务设备执行三维空间模型构建等数据处理,还可以降低对本地服务设备的数据处理能力的要求,使得本地设备布设更为简单。且还可以将互动用户选择与线上购票等实时信息进行关联,使得互动用户选择更适配于复杂多变的实际场景。
82.如图5所示,本说明书实施方式还提供一种服务设备,所述服务设备可以包括至少一个处理器以及存储计算机可执行指令的存储器,所述处理器执行所述指令时实现上述任意一个或者多个实施例所述方法的步骤。所述存储器包括但不限于随机存取存储器(random access memory,ram)、只读存储器(read-only memory,rom)、缓存(cache)、硬盘(hard disk drive,hdd)或者存储卡(memory card)。在本实施方式中,所述服务设备中计算机程序指令实现的具体功能,可以参照其它实施方式对照解释。
83.上面对本说明书的各种实施方式的描述以描述的目的提供给本领域技术人员。其不旨在是穷举的、或者不旨在将本发明限制于单个公开的实施方式。如上所述,本说明书的各种替代和变化对于上述技术所属领域技术人员而言将是显而易见的。因此,虽然已经具体讨论了一些另选的实施方式,但是其它实施方式将是显而易见的,或者本领域技术人员相对容易得出。本说明书旨在包括在此已经讨论过的本发明的所有替代、修改、和变化,以及落在上述申请的精神和范围内的其它实施方式。
84.本说明书可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费服务设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。虽然通过实施方式描绘了本说明书,本领域技术人员知道,本说明书有许多变形和变化而不脱离本说明书的精神,希望所附的权利要求包括这些变形和变化而不脱离本说明书的精神。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献