一种虚实融合场景下的多人协同交互方法及系统与流程

本发明涉及虚拟现实与增强现实，具体涉及一种虚实融合场景下的多人协同交互方法及系统。

背景技术：

1、随着虚拟现实（vr）、增强现实（ar）和混合现实（mr）技术的快速发展，虚实融合场景下的多人协同交互已成为人机交互领域的研究热点； 现有虚实融合系统普遍采用刚性的空间映射策略，即将虚拟场景中的空间位置与物理空间的位置进行一一对应的固定映射；当物理空间有限时，用户无法在虚拟世界中自由探索大范围场景；当多名用户处于不同大小和布局的物理空间时，强制统一的空间映射导致部分用户的自然活动受到严重限制；当前多人虚实融合系统中的交互方式主要依赖手柄、按键或简单的语音指令，交互模态单一，难以支持需要精细配合的团队协作任务。

技术实现思路

1、本发明的目的是为了解决上述问题，设计了一种虚实融合场景下的多人协同交互方法及系统。

2、本发明第一方面提供一种虚实融合场景下的多人协同交互方法，该方法包括以下步骤：

3、获取物理空间的三维几何结构与语义信息，并加载虚拟场景的图结构及当前剧情状态向量；

4、根据所述剧情状态向量，对物理空间的语义分区与虚拟场景的语义区域进行动态最优配对，建立物理空间与虚拟场景之间的弹性映射关系，并基于用户实时位姿生成对应的空间锚点坐标系；

5、根据当前协作任务的需求向量以及各用户在物理空间中的实时位姿分布，为每个用户动态分配差异化角色；

6、在弹性映射关系约束下，基于所述空间锚点坐标系与自然手势交互进行多人协同操作；

7、实时采集弹性映射参数、分配状态以及多用户交互操作序列，构建多智能体协同状态空间，以协同任务完成度和交互流畅度为奖励目标，采用mappo算法输出优化策略，并动态修正任务分配方案。

8、可选的，在本发明第一方面的第一种实现方式中，所述获取物理空间的三维几何结构与语义信息，并加载虚拟场景的图结构及当前剧情状态向量，包括：

9、采集物理空间的彩色图像和深度图像，确定相机位姿并通过光束法平差优化全局轨迹；

10、基于优化后的相机位姿将深度图像反投影为三维点云，采用截断符号距离函数的体素融合算法生成稠密体素网格；

11、对稠密体素网格应用行进立方体算法提取三角网格表面模型，并采用区域生长分割算法将表面划分为带语义标签的物理空间区域；

12、加载虚拟场景描述文件，提取虚拟场景中所有空间节点及其连通关系构建虚拟场景的有向无环图结构；

13、获取当前剧情进度状态，从中读取已解锁场景节点列表、未触发剧情事件列表及活跃叙事分支标识，组合为当前剧情状态向量。

14、可选的，在本发明第一方面的第二种实现方式中，根据所述剧情状态向量，对物理空间的语义分区与虚拟场景的语义区域进行动态最优配对，建立物理空间与虚拟场景之间的弹性映射关系，并基于用户实时位姿生成对应的空间锚点坐标系，包括：

15、提取物理空间各语义区域的几何特征和虚拟场景各节点的功能语义特征，结合当前剧情状态向量中各虚拟区域的叙事优先级参数，构建物理区域与虚拟区域之间的代价矩阵；

16、以最小化总匹配代价为目标，采用匈牙利算法求解物理区域与虚拟区域的最优配对方案；

17、根据最优配对方案建立弹性映射查找表，记录各物理区域标识与其映射的虚拟区域标识之间的对应关系，作为当前时刻的弹性映射关系；

18、获取各用户在物理空间中的实时三维位置坐标和头部位姿，根据所述弹性映射查找表将各用户的物理坐标转换为对应的虚拟空间坐标；

19、以各用户在物理空间中的位置为原点建立各用户独立的局部空间锚点坐标系，并将所有局部坐标系统一转换至同一世界坐标系下，形成共享空间锚点体系。

20、可选的，在本发明第一方面的第三种实现方式中，所述根据当前协作任务的需求向量以及各用户在物理空间中的实时位姿分布，为每个用户动态分配差异化角色，包括：

21、从当前剧情状态向量中提取当前协作任务标识，通过对应的任务描述文件获得完成该协作任务所需的各能力维度最低需求等级，形成需求向量；

22、预设探索者、守护者和解谜者三种角色模板，其中各模板预配置有对应各能力维度的能力基准值和操作效率系数；

23、计算每个用户与各角色模板的匹配度得分，选取匹配度最高的角色模板作为该用户的初始候选角色；

24、确定所有用户初始候选角色的组合是否达到需求向量中的全部能力维度，若存在能力缺口则对匹配度次高的用户执行角色升格操作；

25、以所有用户的能力向量和需求向量的匹配度总和最大化为目标，以角色分配的唯一性约束为条件，确定最优角色分配矩阵，并为各用户生成对应的协同任务子集。

26、可选的，在本发明第一方面的第四种实现方式中，所述在弹性映射关系约束下，基于所述空间锚点坐标系与自然手势交互进行多人协同操作，包括：

27、对各用户的设备采集的手部图像进行手部区域检测和三维关键点回归，将关键点坐标变换至空间锚点坐标系，并对连续多帧关键点序列进行时序编码以识别当前动态手势类别；

28、在检测到抓取手势后判断手部附近虚拟对象是否为可抓取对象，若是则建立手部与对象的临时绑定关系并控制对象跟随手部运动；

29、在检测到释放手势后解除绑定关系并将虚拟对象固定至当前空间锚点位置，更新对象状态为可拾取并向所有用户广播状态变更消息；

30、当检测到至少两名用户的手部同时位于同一空间锚点的预设半径范围内时，读取各相关用户的角色类型并查询预设的协同操作规则库，判定触发的协同操作模式类型；

31、若多名用户同时对同一对象发起交互且不满足协同操作模式条件，则判定为交互冲突事件，根据角色优先级表选择优先级最高的用户作为发起方并拒绝其他用户的请求。

32、可选的，在本发明第一方面的第五种实现方式中，所述对各用户的设备采集的手部图像进行手部区域检测和三维关键点回归，将关键点坐标变换至空间锚点坐标系，并对连续多帧关键点序列进行时序编码以识别当前动态手势类别，包括：

33、将采集的手部图像经置信度过滤和非极大值抑制输出手部边界框，以手部边界框为感兴趣区域裁剪图像块并确定各手部关键点的二维像素坐标及深度值，经相机内参逆投影得到相机坐标系下的关键点三维坐标；

34、通过刚体变换将关键点三维坐标变换至空间锚点坐标系，将连续多帧的坐标整合得到固定长度缓存队列，计算相邻帧间各关键点的位移向量和速度向量并拼接为时序特征向量；

35、将时序特征向量输入时序卷积网络进行时间维度特征提取和全局池化，经全连接分类网络输出各预定义手势类别的概率分布并选取最高概率类别作为识别结果。

36、可选的，在本发明第一方面的第六种实现方式中，所述实时采集弹性映射参数、分配状态以及多用户交互操作序列，构建多智能体协同状态空间，以协同任务完成度和交互流畅度为奖励目标，采用mappo算法输出优化策略，并动态修正任务分配方案，包括：

37、实时采集弹性映射参数、分配状态以及多用户交互操作序列，经归一化处理后组合为多智能体的联合观测特征；

38、将各用户的局部观测特征输入至对应的actor策略网络输出动作概率分布，并以所有用户的联合观测和联合动作为输入通过全局critic评价网络输出全局状态价值评估值；

39、根据各用户完成的子任务数量与总子任务数量的比值以及交互操作的平均响应延迟和误操作率，加权计算全局奖励值，采用广义优势估计算法计算各动作的优势值并更新actor-critic网络参数；

40、将训练收敛后的多智能体协同策略部署至各用户终端，实时输出下一时刻的推荐动作；

41、持续监测各用户的子任务完成进度，对超时未完成的子任务采用贪心算法搜索并重新分配给当前负载最低的其他用户，动态更新各用户的协同任务子集。

42、本发明第二方面提供了一种虚实融合场景下的多人协同交互系统，该系统包括：

43、物理空间感知模块，用于获取物理空间的三维几何结构与语义信息，并加载虚拟场景的图结构及当前剧情状态向量；

44、弹性映射模块，用于根据所述剧情状态向量，对物理空间的语义分区与虚拟场景的语义区域进行动态最优配对，建立物理空间与虚拟场景之间的弹性映射关系，并基于用户实时位姿生成对应的空间锚点坐标系；

45、角色管理模块，用于根据当前协作任务的需求向量以及各用户在物理空间中的实时位姿分布，为每个用户动态分配差异化角色；

46、交互识别模块，用于在弹性映射关系约束下，基于所述空间锚点坐标系与自然手势交互进行多人协同操作；

47、协同优化模块，用于实时采集弹性映射参数、分配状态以及多用户交互操作序列，构建多智能体协同状态空间，以协同任务完成度和交互流畅度为奖励目标，采用mappo算法输出优化策略，并动态修正任务分配方案。

48、本发明的第三方面提供了一种虚实融合场景下的多人协同交互设备，所述虚实融合场景下的多人协同交互设备包括存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述虚实融合场景下的多人协同交互设备执行如上任一项所述的虚实融合场景下的多人协同交互方法的各个步骤。

49、本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，所述指令被处理器执行时实现如上任一项所述虚实融合场景下的多人协同交互方法的各个步骤。

50、本发明提供的技术方案中，获取物理空间的三维几何结构与语义信息，并加载虚拟场景的图结构及当前剧情状态向量；根据剧情状态向量，对物理空间的语义分区与虚拟场景的语义区域进行动态最优配对，建立物理空间与虚拟场景之间的弹性映射关系，并基于用户实时位姿生成对应的空间锚点坐标系；根据当前协作任务的需求向量以及各用户在物理空间中的实时位姿分布，为每个用户动态分配差异化角色；在弹性映射关系约束下，基于空间锚点坐标系与自然手势交互进行多人协同操作；实时采集弹性映射参数、分配状态以及多用户交互操作序列，构建多智能体协同状态空间，以协同任务完成度和交互流畅度为奖励目标，采用mappo算法输出优化策略，并动态修正任务分配方案；本发明支持多人深度协同交互，用户在小物理空间内即可体验广阔虚拟世界的叙事探索，且映射关系随剧情动态调整，显著提升了叙事表达的灵活性与沉浸感；结合空间锚点支持的自然手势传递交互，实现了多用户之间直观、高效的深度协同，显著提升了内容的重玩价值与用户的个性化体验，解决了角色同质化导致叙事单调的技术问题，使系统能够根据用户行为和团队构成自适应地优化交互策略，持续提升协同效率与用户体验。