基于全息投影仪表的交互方法、装置、车辆、介质及程序与流程

摘要: 本技术涉及智能座舱,特别涉及一种基于全息投影仪表的交互方法、装置、车辆、介质及程序。背景技术:1、随着智能座舱技术的快速发展,车载人机交互正从传统的物理按键、触...
基于全息投影仪表的交互方法、装置、车辆、介质及程序与流程

本技术涉及智能座舱,特别涉及一种基于全息投影仪表的交互方法、装置、车辆、介质及程序。

背景技术:

1、随着智能座舱技术的快速发展,车载人机交互正从传统的物理按键、触摸屏向更加自然、沉浸的交互方式演进。全息投影仪表作为一种新兴的信息显示与交互载体,能够在车辆座舱内空中呈现三维虚拟影像,为用户提供悬浮式、无介质的视觉交互体验。

2、相关技术中,全息交互系统普遍仅依赖视觉和听觉通道,无法满足用户的多种交互体验,导致了显著的交互空白与体验断层。

技术实现思路

1、本技术提供一种基于全息投影仪表的交互方法、装置、车辆、介质及程序,以解决相关技术中智能座舱内的全息交互均依赖于视觉和听觉,无法满足用户的交互需求,导致体验感较差等问题。

2、本技术第一方面实施例提供一种基于全息投影仪表的交互方法,包括以下步骤:获取全息投影仪表在车辆座舱内呈现的三维虚拟影像;获取多个用户手部的图像数据,根据图像数据确定用户身份标识以及用户手部在三维虚拟影像的预设交互区域对应的目标位置和目标轨迹,根据目标位置确定三维虚拟影像对应的虚拟对象属性,根据目标轨迹确定用户的交互意图,其中,虚拟对象属性包括材质、表面纹理、刚度和硬度的至少一种;根据身份标识确定对应的交互权限,根据交互权限、交互意图和虚拟对象属性生成对应的触觉反馈参数,根据触觉反馈参数驱动触觉反馈装置阵列,在目标位置处生成对应的触觉反馈力,识别车辆当前状态,根据车辆当前状态调整触觉反馈力。

3、可选地,根据图像数据确定用户身份标识,包括:获取用户手部在车辆座舱中的空间位置与预设座椅区域的对应关系确定身份标识。

4、可选地,根据身份标识确定交互权限,包括:若身份标识为驾驶员,则驾驶员的交互权限为第一等级,第一等级对应的触觉反馈参数受车辆当前状态的约束调节;若身份标识为乘客,则乘客的交互权限为第二等级,第二等级低于第一等级权限。

5、可选地,根据交互权限、交互意图和虚拟对象属性生成对应的触觉反馈参数,包括:以交互意图和虚拟对象属性为索引,查询目标映射关系表,确定对应的触觉反馈参数;根据交互权限调整对应的触觉反馈参数。

6、可选地,根据目标轨迹确定用户的交互意图,包括:提取目标轨迹的特征量;根据特征量计算每个候选交互意图的置信度,根据置信度确定用户的交互意图。

7、可选地,若存在候选交互意图的置信度大于置信度阈值,则根据最高置信度对应的候选交互意图生成用户的交互意图,若每个候选交互意图的置信度均小于或等于预设阈值,则根据历史时序窗口进行多数投票筛选出对应的候选交互意图,生成用户的交互意图。

8、可选地,根据图像数据确定用户身份标识以及用户手部在三维虚拟影像的预设交互区域对应的目标位置和目标轨迹,包括:提取图像数据中手部关键特征对应的二维像素坐标和深度值;将二维像素坐标和深度值转换为三维虚拟影像的预设交互区域空间坐标系下,得到目标位置;根据预设窗口内目标位置的变化趋势生成目标轨迹。

9、可选地,将二维像素坐标和深度值转换为三维虚拟影像的预设交互区域空间坐标系下,得到目标位置,包括:利用预先标定的内参矩阵与预设交互区域空间坐标系之间的坐标转换矩阵,将二维像素坐标和深度值转换为预设交互区域空间坐标系下的三维坐标;采用卡尔曼滤波对连续多帧的三维坐标进行平滑处理,输出目标位置。

10、可选地,在根据图像数据确定用户身份标识以及用户手部在三维虚拟影像的预设交互区域对应的目标位置和目标轨迹之前,包括:获取用户手部在车辆座舱的图像数据,根据图像数据确定用户手部在车辆座舱坐标系下的实时位置;根据车辆座舱坐标系下和三维虚拟影像的预设交互区域空间坐标系的映射关系,判断实时位置是否处于预设交互区域。

11、可选地,若实时位置处于预设交互区域,则获取用户手部在三维虚拟影像的预设交互区域对应的目标位置和目标轨迹,否则,控制触觉反馈装置阵列保持待机或禁用状态,其中,预设交互区域为全息投影仪表投射的目标三维空间范围。

12、可选地,根据车辆当前状态调整触觉反馈力,包括:识别车辆当前状态中当前车速和驾驶环境数据;若车速超过目标车速阈值,或,驾驶环境数据满足预设条件,则抑制非驾驶行为的触觉反馈,其中,预设条件包括:驾驶环境数据显示存在雨雪、夜间、拥堵或施工区域时。

13、可选地,抑制非驾驶行为的触觉反馈,包括:若车速超过第一预设阈值且未超过第二预设阈值,则将触觉反馈装置阵列的输出强度降低至第一预设比例,并禁用与驾驶任务无关的交互动作,保留功能确认类触觉反馈;若车速超过第二预设阈值,或驾驶环境数据满足任一预设危险条件,则禁用非安全警示类触觉反馈,仅保留安全警示类触觉反馈;其中,第二预设阈值大于第一预设阈值。

14、可选地,根据车辆当前状态调整触觉反馈力,还包括:在识别到用户手部离开预设交互区域,且离开时长超过预设时间阈值时,控制触觉反馈装置阵列切换至待机状态,直至用户手部再次进入预设交互区域时,触觉反馈装置阵列恢复工作状态。

15、本技术第二方面实施例提供一种基于全息投影仪表的交互装置,包括:获取模块,用于获取全息投影仪表在车辆座舱内呈现的三维虚拟影像;处理模块,用于获取多个用户手部的图像数据,根据图像数据确定用户身份标识以及用户手部在三维虚拟影像的预设交互区域对应的目标位置和目标轨迹,根据目标位置确定三维虚拟影像对应的虚拟对象属性,根据目标轨迹确定用户的交互意图,其中,虚拟对象属性包括材质、表面纹理、刚度和硬度的至少一种;调整模块,用于根据身份标识确定对应的交互权限,根据交互权限、交互意图和虚拟对象属性生成对应的触觉反馈参数,根据触觉反馈参数驱动触觉反馈装置阵列,在目标位置处生成对应的触觉反馈力,识别车辆当前状态,根据车辆当前状态调整触觉反馈力。

16、本技术第三方面实施例提供一种车辆,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序,以执行如上述实施例的基于全息投影仪表的交互方法。

17、本技术第四方面实施例提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行,以执行如上述实施例的基于全息投影仪表的交互方法。

18、本技术第五方面实施例提供一种计算机程序产品,包括计算机程序或指令,计算机程序或指令被执行时,以实现如上述实施例的基于全息投影仪表的交互方法。

19、由此,本技术至少具有如下有益效果:

20、本技术实施例可以通过获取全息投影仪表在车辆座舱内呈现的三维虚拟影像,并获取多个用户手部的图像数据,从图像数据中同时识别每个用户的身份标识以及每个用户手部在预设交互区域内的目标位置和目标轨迹,以此为基础分别确定每个用户所交互的虚拟对象属性和交互意图,进而根据身份标识确定每个用户对应的交互权限,并将交互权限、交互意图和虚拟对象属性三者作为联合索引生成差异化的触觉反馈参数,驱动触觉反馈装置阵列在每个用户手部的目标位置处分别生成对应的触觉反馈力,同时识别车辆当前状态并据此调整触觉反馈力。与现有技术中仅支持单用户交互或虽支持多用户显示但无法区分触觉反馈的方案相比,本技术通过引入身份标识识别与交互权限分配机制,使得在同一全息投影空间内多个用户能够同时进行交互并分别获得与其身份相匹配的差异化触觉反馈体验,其中驾驶员受到车辆当前状态的约束调节以确保驾驶安全,乘客则可获得不受约束或约束程度更低的完整体验,实现了多用户场景下交互权限的精细化管理与触觉反馈的个性化输出;同时,交互权限、交互意图和虚拟对象属性的三维联合索引机制,使得触觉反馈参数的生成不仅取决于用户做什么和与什么交互,还取决于谁在交互,进一步丰富了触觉反馈的维度和个性化程度;在此基础上,通过识别车辆当前状态并据此调整触觉反馈力,确保了多用户并发交互场景下的行车安全性,有效解决了多用户全息交互场景中身份识别、权限分配与驾驶安全保障的系统性难题。

21、本技术附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本技术的实践了解到。