虚拟物体纹理的模拟方法及装置、电子设备和存储介质与流程
本公开涉及混合现实,尤其涉及一种虚拟物体纹理的模拟方法及装置、电子设备和存储介质。
背景技术:
1、混合现实技术作为虚拟现实与增强现实融合的重要方向,在虚拟试衣、数字文物修复等领域具有广泛应用前景。相关技术中,通过触觉反馈、纹理合成与物理模拟的协同作业,构建了柔性物体模拟系统。
2、然而,现有的触觉反馈设备功能单一,仅能提供简单的振动刺激,无法根据布料材质、厚度等参数生成差异化触觉反馈,用户在交互过程中体验割裂,难以形成沉浸式的真实体验。
技术实现思路
1、本公开提供了一种虚拟物体纹理的模拟方法及装置、电子设备和存储介质。其主要目的在于实现整合多模态传感数据与环境参数,动态生成柔性物体的历史感纹理与触觉反馈,提升混合现实场景中柔性物体模拟的真实感和沉浸式交互体验。
2、根据本公开的第一方面,提供了一种物体纹理的模拟方法,包括:
3、采集用户与虚拟物体交互时的力反馈数据、震动频率数据以及环境参数数据;
4、基于所述震动频率数据对应的压力值从材质库中匹配对应的物理响应数据,生成触觉反馈参数;
5、根据所述环境参数时序数据生成微观纤维变化特征向量,及根据交互过程中的折叠行为时序数据生成折痕特征向量,并基于所述微观纤维变化特征向量和所述折痕特征向量生成历史感纹理贴图;
6、根据所述触觉反馈参数确定当前交互状态和环境条件相匹配的触觉反馈,并将所述历史感纹理贴图映射至虚拟物体表面进行渲染显示。
7、在一些实施例中,所述基于所述震动频率数据对应的压力值从材质库中匹配对应的物理响应数据,生成触觉反馈参数,包括:
8、基于所述震动频率数据通过预设的映射关系转换为对应的压力值;
9、根据所述压力值所述材质库中匹配对应的物理响应数据,生成所述触觉反馈参数。
10、在一些实施例中,所述根据所述环境参数时序数据生成微观纤维变化特征向量,包括:
11、将所述环境参数按时间维度构建成多维数据立方体;其中,所述多维数据立方体的维度包括时间、空间和参数种类;
12、将所述多维数据立方体输入目标网络进行特征提提取,得到所述虚拟物体在环境因素作用下所述微观纤维变化特征向量。
13、在一些实施例中,所述根据交互过程中的折叠行为时序数据生成折痕特征向量,包括:
14、基于所述折叠行为时序数据检测所述虚拟物体的布料表面高度;
15、对所述虚拟物体的布料表面高度分别在水平和垂直方向进行计算,得到所述折叠行为时序数据对应的梯度图;
16、提取所述梯度图中各个像素点的特征值,并将所述各个像素点的特征值中满足目标条件的像素点确定为折痕区域;
17、对所述折痕区域对应的检测结果图进行增强处理,得到所述折痕特征向量对应的折痕图。
18、在一些实施例中,所述基于所述微观纤维变化特征向量和所述折痕特征向量生成历史感纹理贴图,包括:
19、基于所述微观纤维变化特征向量,生成对应的老化纹理图;
20、根据当前环境参数确定折痕和老化效果的影响权重,将基础布料纹理与所述折痕图和所述老化纹理图进行融合处理,生成所述历史感纹理贴图。
21、在一些实施例中,所述根据所述触觉反馈参数确定当前交互状态和环境条件相匹配的触觉反馈,包括:
22、将所述触觉反馈参数转换为电信号,通过驱动电路控制人机交互设备内所述电信号对应的振动电机的转速和振幅,生成与所述虚拟物体材质和当前交互状态相匹配的所述触觉反馈。
23、在一些实施例中,所述将所述历史感纹理贴图映射至虚拟物体表面进行渲染显示,包括:
24、根据采集到的实时光照数据,计算次表面散射效果参数;其中,所述实时光照数据包括光照强度、光照方向和光谱分布中的至少一种;
25、将所述次表面散射效果参数应用于所述历史感纹理贴图,生成并渲染具有真实光影效果的纹理图像。
26、根据本公开的第二方面,提供了一种物体纹理的模拟装置,包括:
27、采集单元,用于采集用户与虚拟物体交互时的力反馈数据、震动频率数据以及环境参数数据;
28、第一生成单元,用于基于所述震动频率数据对应的压力值从材质库中匹配对应的物理响应数据,生成触觉反馈参数;
29、第二生成单元,用于根据所述环境参数时序数据生成微观纤维变化特征向量,及根据交互过程中的折叠行为时序数据生成折痕特征向量,并基于所述微观纤维变化特征向量和所述折痕特征向量生成历史感纹理贴图;
30、确定单元,用于根据所述触觉反馈参数确定当前交互状态和环境条件相匹配的触觉反馈;
31、显示单元,用于将所述历史感纹理贴图映射至虚拟物体表面进行渲染显示。
32、在一些实施例中,所述第一生成单元还用于:
33、基于所述震动频率数据通过预设的映射关系转换为对应的压力值;
34、根据所述压力值所述材质库中匹配对应的物理响应数据,生成所述触觉反馈参数。
35、在一些实施例中,所述第二生成单元还用于:
36、将所述环境参数按时间维度构建成多维数据立方体;其中,所述多维数据立方体的维度包括时间、空间和参数种类;
37、将所述多维数据立方体输入目标网络进行特征提提取,得到所述虚拟物体在环境因素作用下所述微观纤维变化特征向量。
38、在一些实施例中,所述第二生成单元还用于:
39、基于所述折叠行为时序数据检测所述虚拟物体的布料表面高度;
40、对所述虚拟物体的布料表面高度分别在水平和垂直方向进行计算,得到所述折叠行为时序数据对应的梯度图;
41、提取所述梯度图中各个像素点的特征值,并将所述各个像素点的特征值中满足目标条件的像素点确定为折痕区域;
42、对所述折痕区域对应的检测结果图进行增强处理,得到所述折痕特征向量对应的折痕图。
43、在一些实施例中,所述第二生成单元还用于:
44、基于所述微观纤维变化特征向量,生成对应的老化纹理图;
45、根据当前环境参数确定折痕和老化效果的影响权重,将基础布料纹理与所述折痕图和所述老化纹理图进行融合处理,生成所述历史感纹理贴图。
46、在一些实施例中,所述确定单元还用于:
47、将所述触觉反馈参数转换为电信号,通过驱动电路控制人机交互设备内所述电信号对应的振动电机的转速和振幅,生成与所述虚拟物体材质和当前交互状态相匹配的所述触觉反馈。
48、在一些实施例中,所述显示单元还用于:
49、根据采集到的实时光照数据,计算次表面散射效果参数;其中,所述实时光照数据包括光照强度、光照方向和光谱分布中的至少一种;
50、将所述次表面散射效果参数应用于所述历史感纹理贴图,生成并渲染具有真实光影效果的纹理图像。
51、根据本公开的第三方面,提供了一种电子设备,包括:
52、至少一个处理器;以及
53、与所述至少一个处理器通信连接的存储器;其中,
54、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行前述第一方面所述的方法。
55、根据本公开的第四方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行前述第一方面所述的方法。
56、根据本公开的第五方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如前述第一方面所述的方法。
57、本公开提供的虚拟物体纹理的模拟方法及装置、电子设备和存储介质,采集用户与虚拟物体交互时的力反馈数据、震动频率数据以及环境参数数据;基于所述震动频率数据对应的压力值从材质库中匹配对应的物理响应数据,生成触觉反馈参数;根据所述环境参数时序数据生成微观纤维变化特征向量,及根据交互过程中的折叠行为时序数据生成折痕特征向量,并基于所述微观纤维变化特征向量和所述折痕特征向量生成历史感纹理贴图;根据所述触觉反馈参数确定当前交互状态和环境条件相匹配的触觉反馈,并将所述历史感纹理贴图映射至虚拟物体表面进行渲染显示。本公开实施例整合多模态传感数据与环境参数,动态生成柔性物体的历史感纹理与触觉反馈,提升混合现实场景中柔性物体模拟的真实感和沉浸式交互体验。
58、应当理解,本部分所描述的内容并非旨在标识本技术的实施例的关键或重要特征,也不用于限制本技术的范围。本技术的其它特征将通过以下的说明书而变得容易理解。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com