物品遗落提示方法及装置、控制装置、介质、产品及车辆与流程

摘要: 本公开涉及车辆控制,尤其涉及车辆座舱智能化,具体涉及物品遗落提示方法及装置、控制装置、介质、产品及车辆。背景技术:1、目前,在乘员离车场景中,为防止贵重物品或重...
物品遗落提示方法及装置、控制装置、介质、产品及车辆与流程

本公开涉及车辆控制,尤其涉及车辆座舱智能化,具体涉及物品遗落提示方法及装置、控制装置、介质、产品及车辆。

背景技术:

1、目前,在乘员离车场景中,为防止贵重物品或重要文件被遗忘在车内,通过车内搭载的人机交互系统进行遗忘提示已成为业内成熟技术方案。

2、然而,相关技术通常仅通过检测车门开启或车辆熄火状态,结合座舱内物品的存在性来判断是否发生物品遗落,并在检测到物品未取走时发出声光或远程通知。这种方案可能出现物品遗落误报,进而触发不必要的提示。这类误报不仅干扰了驾驶员的正常用车体验,也降低了用户对车辆智能提醒功能的信任度。长期频繁的无效提醒容易导致用户因提醒频繁而主动关闭提醒功能,使得物品遗落提醒在真正需要防护的场景下无法有效地发挥作用。

技术实现思路

1、本公开实施例提供物品遗落提示方法及装置、控制装置、介质、产品及车辆,能够有效识别乘员对车辆座舱内物品的遗落意图,进而实现精准的物品遗落提醒。

2、第一方面,本技术提供一种物品遗落提示方法,包括:从车辆座舱内目标区域的图像视频流中提取检测目标的交互视频流;检测目标包括乘员和物品;根据交互视频流,确定乘员对物品的交互行为意图;交互行为意图包括放置意图和非放置意图;放置意图用于指示将物品留存于车辆座舱的意图;在乘员处于预备下车状态的时长大于预设时长且交互行为意图为非放置意图的情况下,提示乘员取出物品。

3、本技术提供的物品遗落提示方法,通过提取车辆座舱内乘员和物品的交互视频流,并根据交互视频流分析确定乘员对车内物品的交互行为意图,将乘员的交互行为意图明确地划分为有意将物品留存于座舱的放置意图和非放置意图,能够从行为语义层面理解乘员的主观放置意愿,而非仅依赖物品的位置变化,从而有效地区分乘员主动放置物品与无意遗落物品的情形,克服因无法区分乘员与物品的交互行为意图而导致物品遗落误报率高的问题;进而,在确认乘员处于预备下车状态且乘员交互行为意图为非放置意图的情况下,触发提示,使得遗落物品提示仅在用户存在离车倾向且被判定为无意遗落物品时才被激活,在避免因用户主动放置物品而产生无效打扰的同时,确保了在乘员无意遗落物品时能够及时进行提醒,降低了物品遗落误报率。

4、在一些可能的实施方式中,根据交互视频流,确定乘员对物品的交互行为意图,包括:基于交互视频流,确定乘员的手部对物品的释放动作的释放类型;其中,释放类型包括无意识滑落释放类型和平稳释放类型;基于释放类型,确定交互行为意图。

5、根据上述实施方式,本技术通过交互视频流确定乘员的手部对物品的释放动作,能够有效地识别用户对于物品的释放是因手滑、无意碰触等无意识行为导致的无意识滑落释放类型,还是有意识的平稳释放类型,从而基于释放动作的释放类型确定乘员对于物品的交互行为意图,将抽象的放置意图识别转化为可量化的动作行为识别,提升了意图识别的准确性。

6、在一些可能的实施方式中,基于释放类型,确定交互行为意图,包括:在释放类型为无意识滑落释放类型的情况下,确定交互行为意图为非放置意图。

7、根据上述实施方式,本技术在乘员的手部对于物品的释放类型为无意识滑落释放类型的情况下,直接确定交互行为意图为非放置意图,在无需进行复杂的后续动作跟踪的情况下,即可快速锁定高危遗落场景,降低突发物品滑落时的漏报率。

8、在一些可能的实施方式中,基于释放类型,确定交互行为意图,包括:在释放类型为平稳释放类型,且乘员的手部存在目标动作的情况下,确定交互行为意图为非放置意图;其中,目标动作为释放动作之后的抓取动作。

9、根据上述实施方式,本技术在乘员的手部对于物品的释放类型为平稳释放类型且乘员的手部存在释放动作之后的抓取动作的情况下,表明用户虽然做出了物品放置动作但主观上并未放弃物品的真实拿取意图,基于此,确定交互行为意图为非放置意图,能够避免对于因用户短暂放置物品后而导致的遗落行为提示漏报。

10、在一些可能的实施方式中,基于释放类型,确定交互行为意图,包括:在释放类型为平稳释放类型,且乘员的手部不存在目标动作的情况下,确定交互行为意图为放置意图。

11、根据上述实施方式,本技术在乘员的手部对于物品的释放类型为平稳释放类型且乘员的手部不存在释放动作后的抓取动作的情况下,明确认定用户完成了物品的最终安置过程且无带走意愿,基于此,确定交互行为意图为放置意图,能够排除对用户有意留存物品的无效提示。

12、在一些可能的实施方式中,基于交互视频流,确定乘员的手部对物品的释放动作的释放类型,包括:基于交互视频流,确定释放动作后物品的运动加速度;在物品的重力加速度与运动加速度之间的加速度偏差值小于预设加速度偏差值的情况下,确定释放类型为无意识滑落释放类型;在加速度偏差值不小于预设加速度偏差值的情况下,确定释放类型为平稳释放类型。

13、根据上述实施方式,本技术将释放动作后物品的运动加速度与重力加速度进行比较来识别释放类型,通过引入物体滑落时所遵循的自由落体物理动力学现象作为识别核心依据,避免单纯依靠视觉特征判断释放类型时可能受到的光照、遮挡或动作幅度的干扰,提高了对于物品释放类型判定的可信度。

14、在一些可能的实施方式中,根据交互视频流,确定乘员对物品的交互行为意图,包括:基于交互视频流,确定乘员的手部与物品之间是否存在目标交互动作;其中,目标交互动作用于指示:手部存在抛物动作、抛物动作之前手部与物品接触且抛物动作之后手部与物品不接触;在手部与物品之间存在目标交互动作的情况下,确定交互行为意图为放置意图。

15、根据上述实施方式,本技术通过检测乘员的手部与物品之间是否存在抛物动作,并在存在抛物动作的情况下基于抛物动作前后乘员手部和物体之间的位置关系确定交互行为意图是否为放置意图,能够更加准确地识别用户主动抛物这一主观放置行为,进而将具有明确方向性和力度的主动抛物行为与无意识滑落行为进行明确区分,避免因用户扔放物品而被误判为存在遗落风险,进而进行提示误报,能够确保遗落物品的提示逻辑符合用户的真实主观意图。

16、在一些可能的实施方式中,乘员处于预备下车状态,包括:在满足预设条件的情况下,确定乘员处于预备下车状态;其中,预设条件包括以下至少一项:车辆的挡位位置信号切换至驻车挡;车辆的车门状态信号切换至开启状态;车辆的发动机或驱动电机的状态信号切换至停止运行状态。

17、根据上述实施方式,本技术通过车辆挡位位置信号切换至驻车挡、车门状态信号切换至开启状态或发动机/驱动电机状态信号切换至停止运行信号等至少一项信号作为确定乘员处于预备下车状态的条件,能够融合车辆的多源总线信号进行乘员预备下车状态的判定,避免了仅依赖单一传感器信号导致的状态误判,从而确保预备下车状态检测的准确性,防止在不必要的行车场景下对遗落物品进行提示误报。

18、在一些可能的实施方式中,提示乘员取出物品,包括:判断车载提示通道是否可用;在车载提示通道可用的情况下,通过车载提示通道向乘员进行物品的遗落提示;或者,在车载提示通道不可用的情况下,通过乘员的移动终端向乘员进行物品的遗落提示。

19、根据上述实施方式,本技术在车载提示通道可用的情况下,通过车载提示通道进行物品的遗落提示,以及在车载提示通道不可用的情况下,通过移动终端进行物品的遗落提示,能够有效降低因车辆熄火或下电而导致车载终端断电或网络故障而使得遗落提示无法触达用户的风险,确保在车辆电源切断或车载终端异常的极端场景下,遗落提示仍能通过移动终端及时送达用户,降低了车辆熄火或下电情况下的遗落提示失效的风险。

20、第二方面,本技术提供一种物品遗落提示装置,应用于车辆,包括:检测提取模块,用于从车辆座舱内目标区域的图像视频流中提取检测目标的交互视频流;检测目标包括乘员和物品;意图确定模块,用于根据交互视频流,确定乘员对物品的交互行为意图;交互行为意图包括放置意图和非放置意图;放置意图用于指示将物品留存于车辆座舱的意图;遗落提示模块,用于在乘员处于预备下车状态的时长大于预设时长且交互行为意图为非放置意图的情况下,提示乘员取出物品。

21、在一些可能的实施方式中,意图确定模块,用于基于交互视频流,确定乘员的手部对物品的释放动作的释放类型;其中,释放类型包括无意识滑落释放类型和平稳释放类型;基于释放类型,确定交互行为意图。

22、在一些可能的实施方式中,意图确定模块,具体用于在释放类型为无意识滑落释放类型的情况下,确定交互行为意图为非放置意图。

23、在一些可能的实施方式中,意图确定模块,具体用于在释放类型为平稳释放类型,且乘员的手部存在目标动作的情况下,确定交互行为意图为非放置意图;其中,目标动作为释放动作之后的抓取动作。

24、在一些可能的实施方式中,意图确定模块,具体用于在释放类型为平稳释放类型,且乘员的手部不存在目标动作的情况下,确定交互行为意图为放置意图。

25、在一些可能的实施方式中,意图确定模块,具体还用于基于交互视频流,确定释放动作后物品的运动加速度;在物品的重力加速度与运动加速度之间的加速度偏差值小于预设加速度偏差值的情况下,确定释放类型为无意识滑落释放类型;在加速度偏差值不小于预设加速度偏差值的情况下,确定释放类型为平稳释放类型。

26、在一些可能的实施方式中,意图确定模块,用于基于交互视频流,确定乘员的手部与物品之间是否存在目标交互动作;其中,目标交互动作用于指示:手部存在抛物动作、抛物动作之前手部与物品接触且抛物动作之后手部与物品不接触;在手部与物品之间存在目标交互动作的情况下,确定交互行为意图为放置意图。

27、在一些可能的实施方式中,乘员处于预备下车状态,包括:在满足预设条件的情况下,确定乘员处于预备下车状态;其中,预设条件包括以下至少一项:车辆的挡位位置信号切换至驻车挡;车辆的车门状态信号切换至开启状态;车辆的发动机或驱动电机的状态信号切换至停止运行状态。

28、在一些可能的实施方式中,遗落提示模块,用于判断车载提示通道是否可用;在车载提示通道可用的情况下,通过车载提示通道向乘员进行物品的遗落提示;或者,在车载提示通道不可用的情况下,通过乘员的移动终端向乘员进行物品的遗落提示。

29、第三方面,本技术提供一种控制装置,包括:存储器和处理器;存储器和处理器耦合;存储器用于存储计算机程序;处理器执行计算机程序时实现上述第一方面任一实施例的物品遗落提示方法。

30、第四方面,本技术提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述第一方面任一实施例的物品遗落提示方法。

31、第五方面,本技术提供一种计算机程序产品,该计算机程序产品包括计算机程序指令,该计算机程序指令被处理器执行时实现上述第一方面任一实施例所述的物品遗落提示方法。

32、第六方面,本技术提供一种车辆,包括上述第三方面中的控制装置;或上述第四方面中的计算机可读存储介质;或上述第五方面中的计算机程序产品。