基于多智能体矩阵的沉浸式交互服务方法与流程
本发明涉及数字媒体交互,具体为基于多智能体矩阵的沉浸式交互服务方法。
背景技术:
1、沉浸式交互服务通过感知物理空间和用户姿态,在用户周围呈现可交互的数字内容。现有技术通常采用固定显示装置或预先标定的投影区域构建交互界面,利用相机、惯性传感器等设备采集用户姿态,将手势、躯干朝向等输入映射为对显示内容的控制指令。物理空间感知多用于避障和定位,未形成可供交互内容调用的空间数据结构。
2、固定交互界面和预设投影区域无法根据用户实时的关注方向调整界面在物理空间中的生成位置,造成交互响应区域与用户实际指向的空间区域不一致。目标空间区域由用户关注方向确定时,现有方法缺少在容积场矩阵中动态提取相应子矩阵并据此映射交互响应界面的手段,导致界面难以覆盖用户所关注的空间区域。服务内容在呈现过程中通常按照时间轴或屏幕坐标进行分割与渲染,未参照物理空间内体素单元的容积分布特征进行组织。服务内容仍按统一网格或时间片段分割,未结合目标空间区域中不同位置的空间格网单元的体积和密度进行差异化映射,内容呈现与物理空间的容积分布脱节。交互响应序列的编排也未按照交互响应界面覆盖的空间格网单元排列顺序进行,使得数字内容在空间中的分布与用户关注的空间容积特征不一致。如何使交互响应界面根据用户指向矢量在容积场矩阵中定位并激活对应的空间区域,以及如何将待展示服务内容按照该空间区域的容积分布特征和界面拓扑顺序进行体素化编排,是沉浸式交互服务中仍需处理的问题。
技术实现思路
1、针对现有沉浸式交互服务中交互响应界面无法根据用户关注方向动态生成,以及服务内容组织与空间容积分布不匹配的问题,提供一种基于多智能体矩阵的沉浸式交互服务方法。该方法通过采集物理空间中的多个感知单元构建容积场矩阵,解析用户指向矢量并激活目标容积子矩阵,基于目标容积子矩阵映射交互响应界面,将服务内容进行体素化分割并按照交互响应界面的界面拓扑顺序编排,根据用户姿态连续变化值调节交互响应序列的呈现进度,使交互响应界面与用户关注方向动态匹配,使服务内容呈现与空间容积分布保持一致。
2、为了实现上述目的,本发明提供如下技术方案:本发明提供一种基于多智能体矩阵的沉浸式交互服务方法,通过采集物理空间中的多个感知单元构建容积场矩阵,所述容积场矩阵记录所述物理空间内每个体素的空间坐标及对应的空间属性参数;捕捉所述物理空间中的用户姿态序列,并通过所述用户姿态序列解析出用户指向矢量,所述用户指向矢量用于标识用户在所述物理空间中的关注方向;根据所述容积场矩阵中的空间属性参数与所述用户指向矢量的空间位置关系,在所述容积场矩阵中激活与所述用户指向矢量对应的目标容积子矩阵;基于所述目标容积子矩阵中的空间坐标,在所述物理空间中映射出交互响应界面,所述交互响应界面覆盖所述目标容积子矩阵所对应的物理空间区域;将待展示的服务内容按照所述目标容积子矩阵的容积分布特征进行体素化分割,得到服务内容体素流;将所述服务内容体素流按照所述交互响应界面的界面拓扑顺序进行编排,生成交互响应序列;采集所述用户姿态序列的连续变化值,并依据所述连续变化值对所述交互响应序列的呈现进度进行同步调节,得到沉浸式交互服务流。该方法将物理空间的容积信息与用户指向行为相结合,使服务内容按照用户关注方向进行体素化组织与空间呈现,提高交互响应与空间位置之间的对应精度,增强沉浸式服务体验。
3、作为本发明的一个技术方案,构建所述容积场矩阵时,获取所述物理空间的边界轮廓点云,并将所述边界轮廓点云划分为若干个空间格网单元;提取每个空间格网单元的中心点坐标和占据状态,将所述中心点坐标和所述占据状态作为该空间格网单元的空间属性参数;将所有空间格网单元的空间属性参数按照所述空间格网单元在所述物理空间中的排列顺序进行组合,生成所述容积场矩阵。优选的,将所述边界轮廓点云划分为若干个空间格网单元时,根据所述物理空间的几何复杂度自适应调整格网单元的划分粒度,在几何轮廓曲率大于预设阈值的区域采用较细的划分粒度,在几何轮廓曲率小于预设阈值的区域采用较粗的划分粒度,从而在保持空间表达精度的同时降低数据冗余。
4、作为本发明的一个技术方案,解析所述用户指向矢量时,从所述用户姿态序列中提取用户的肩部坐标和手腕坐标,计算所述肩部坐标与所述手腕坐标之间的连线方向;从所述用户姿态序列中提取用户的面部朝向向量,将所述连线方向与所述面部朝向向量进行加权合成,得到合成指向方向;将所述合成指向方向映射到所述容积场矩阵的矩阵坐标系中,生成所述用户指向矢量。通过融合肢体指向与面部朝向,能够更准确地反映用户的实际关注方向,减少指向偏差对交互响应区域激活的影响。
5、作为本发明的一个技术方案,激活所述目标容积子矩阵时,计算所述用户指向矢量的起点坐标和方向向量,并沿所述方向向量在所述容积场矩阵中进行射线步进遍历;记录所述射线步进遍历过程中途经的每个空间格网单元的单元索引,将所述单元索引存入激活索引列表;从所述容积场矩阵中提取所述激活索引列表中的每个单元索引对应的空间属性参数,将提取出的所有空间属性参数组合为所述目标容积子矩阵。该方式能够沿用户关注方向快速确定需要激活的空间区域,降低空间遍历的计算量,提升交互响应速度。
6、作为本发明的一个技术方案,映射所述交互响应界面时,提取所述目标容积子矩阵中每个空间格网单元的空间坐标和占据状态,筛选出占据状态为空的多个空间格网单元,得到空置单元集合;对所述空置单元集合中的空间坐标进行曲面拟合,生成平滑映射曲面;将所述平滑映射曲面投影到所述物理空间中,得到所述交互响应界面。这样交互响应界面能够避开物理空间中被占用区域,提高界面在真实空间中的可投影性和使用安全性。
7、作为本发明的一个技术方案,生成所述服务内容体素流时,获取所述待展示的服务内容的原始数据流,并将所述原始数据流按照时间顺序切分为若干个数据片段;提取所述目标容积子矩阵的容积分布特征,所述容积分布特征包括所述目标容积子矩阵中每个空间格网单元的单元体积和单元密度;根据每个数据片段的数据量与所述单元体积和单元密度的对应关系,将每个数据片段分别映射到对应的空间格网单元中,得到所述服务内容体素流。优选的,将每个数据片段分别映射到对应的空间格网单元中时,根据每个空间格网单元的单元密度确定对应的数据压缩率,单元密度越大的空间格网单元采用越高的数据压缩率,以适应不同空间区域的承载能力,保证服务内容在空间中的一致呈现效果。
8、作为本发明的一个技术方案,生成所述交互响应序列时,提取所述交互响应界面的界面拓扑顺序,所述界面拓扑顺序为所述交互响应界面所覆盖的各个空间格网单元的排列顺序;按照所述排列顺序依次读取所述服务内容体素流中各个空间格网单元所承载的数据片段;将读取到的所有数据片段按照读取顺序进行串行拼接,生成所述交互响应序列。通过界面拓扑顺序对体素化内容进行编排,使服务内容在空间呈现时保持一致的空间逻辑,减少空间错位造成的交互体验下降。
9、作为本发明的一个技术方案,同步调节所述交互响应序列的呈现进度时,从所述用户姿态序列中提取用户的躯干旋转角速度,并将所述躯干旋转角速度作为所述连续变化值;获取所述交互响应序列的总时长,并根据所述躯干旋转角速度与所述总时长确定调节偏移量;根据所述调节偏移量移动所述交互响应序列的当前呈现时间戳,完成对所述交互响应序列的呈现进度的同步调节。这样用户通过身体旋转即可控制服务内容的推进速度,减少对额外输入设备的依赖,提升交互过程的流畅性。
10、在上述技术方案中,本发明提供的技术效果和优点:
11、通过用户姿态序列解析用户指向矢量,根据用户指向矢量的起点坐标和方向向量在容积场矩阵中进行射线步进遍历,记录射线途经的每个空间格网单元的单元索引并存入激活索引列表,从容积场矩阵中提取激活索引列表中每个单元索引对应的空间属性参数,组合为目标容积子矩阵;基于目标容积子矩阵中每个空间格网单元的空间坐标和占据状态,筛选出占据状态为空的空间格网单元得到空置单元集合,对空置单元集合中的空间坐标进行曲面拟合,生成平滑映射曲面,将平滑映射曲面投影到物理空间中得到交互响应界面。交互响应界面的生成位置由用户指向矢量对应的目标容积子矩阵确定,不再固定于预设显示区域,能够根据用户实时的关注方向在物理空间中动态映射出覆盖对应空间区域的交互界面,使交互响应界面与用户关注方向在空间位置上保持一致,减少交互界面与用户实际关注区域之间的位置偏差。
12、将待展示服务内容的原始数据流按时间顺序切分为多个数据片段,提取目标容积子矩阵中每个空间格网单元的单元体积和单元密度,依据每个数据片段的数据量与单元体积、单元密度的对应关系,将每个数据片段分别映射到对应空间格网单元,形成服务内容体素流;提取交互响应界面覆盖的各个空间格网单元的排列顺序作为界面拓扑顺序,按照该排列顺序依次读取服务内容体素流中各个空间格网单元承载的数据片段,将读取到的所有数据片段按读取顺序串行拼接,生成交互响应序列。服务内容体素流的分割粒度与目标空间区域中空间格网单元的体积和密度分布相适配,交互响应序列的编排顺序与交互响应界面的空间拓扑顺序一致,使服务内容在物理空间中的呈现方式符合用户关注区域的空间容积特征,数字内容与用户关注空间之间的空间一致性得到保持。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com