用于确定身体限制的装置和方法与流程

摘要: 本发明涉及用于确定车辆乘员的身体限制的装置和方法。采集并处理车辆内部空间的环境数据。背景技术:1、车辆乘员的身体状态包括多种特性,如体温、体重或身高,这些特性可...
用于确定身体限制的装置和方法与流程

本发明涉及用于确定车辆乘员的身体限制的装置和方法。采集并处理车辆内部空间的环境数据。

背景技术:

1、车辆乘员的身体状态包括多种特性,如体温、体重或身高,这些特性可以借助不同的测量方法进行采集。车辆乘员的身体状态的一部分特性还涉及身体姿态,或者说涉及车辆乘员的各个身体部位的位置。

2、一种适用于采集车辆乘员的各个身体部位的位置的测量方法是身体姿态估计(human-body-pose-estimation)方法。该身体姿态估计方法也称为人体姿态估计(human-pose-estimation)方法。在已知的人体姿态估计方法中,从摄像头拍摄的视频图像流的图像序列中提取3d关键点(key points),其中,借助人体姿态估计方法可以分析车辆乘员的实际运动并确定车辆乘员的各个肢体。在常规的用于全身的运动分析中,已知的人体姿态估计方法通常使用17或18个关键点,以确定车辆乘员的身体部位(如手臂、手、头部、眼睛)的位置和运动。基于车辆乘员的至少一个关键点的位置可以在摄像头拍摄的另外的图像中追踪对应的身体部位或另外的身体部位。

3、在车辆中,身体姿态估计方法和类似的基于图像的方法尤其用于采集车辆乘员及其行为。这些信息可以提供给驾驶员辅助系统和其它辅助系统,以支持车辆乘员。

4、文献wo2023/000119a1公开了用于手势识别的方法和装置。基于从依次拍摄的图像采集的图像数据将指尖的手势动作信息分配给特定功能或交互对象。

5、文献jp2021-025393a公开了用于控制车门的装置,该装置可以自动打开和关闭车门,而无需用户专门操作。在此控制单元确定是否判定用于用户关门意图的预定条件并确定是否应关闭门。当满足用于识别关门意图的条件时,控制单元控制门驱动单元以关闭门。

6、文献jp2016-149105a公开了用于采集车辆中的人员状态的系统。由此例如可以判定人员是否清醒。这种车辆内部系统包括:采集单元,用于确定涉及车辆中的人员的信息;车辆信息输入单元,具有至少一个车辆速度传感器;信息处理单元,用于计算由采集单元和车辆信息输入单元确定的信息并存储这些信息;以及控制处理单元,用于基于信息处理单元的计算结果向每个控制信息单元输出控制信号。

7、已知的用于采集车辆乘员及其行为的系统并不构造用于采集车辆乘员的身体限制。此外,该已知系统并不构造用于对应地采集由身体限制引起的行为。因此,期望正确地采集具有身体限制的人员的身体状态并在这些人员乘坐车辆行驶时为其提供支持。

技术实现思路

1、本发明的任务在于提供用于确定身体限制的装置和方法,通过该装置和方法可以简单地确定车辆乘员的身体限制。

2、该任务通过一种具有权利要求1的特征的装置以及一种具有独立方法权利要求的特征的方法得以解决。有利的扩展方案在从属权利要求中给出。

3、车辆乘员可能处于身体限制状态,这使其难以或无法不受限制地使用车辆功能。例如车辆乘员的手臂上可能佩戴有石膏绷带。基于利用石膏绷带的固定,佩戴石膏绷带的车辆乘员于是只能非常限制地使该手臂运动。借助根据权利要求1所述的装置,可以基于车辆内部空间的环境数据判定手臂的身体限制。对于其它身体部位(如车辆乘员的腿、手、颈部、躯干和/或头部)也可能存在限制,此时确定该身体部位的限制。通过具有权利要求1的特征的装置实现:可以判定对于车辆乘员的身体限制。基于该判定,可以有针对性地在车辆乘员与车辆交互时为其提供支持。

4、车辆乘员可以是驾驶员或副驾驶或后排座椅之一上的同乘者。

5、身体限制可能由多种损伤引起。这例如包括骨折、肌肉紧张、肥胖、怀孕、高龄、身体部位缺失、肌肉或神经疾病,或也包括外部损伤,如医用矫形衣、限制性衣物、石膏绷带或车辆内部空间中的物体。

6、身体部位的身体限制可以通过各种环境数据来判定。例如可以借助人工智能处理图像数据,以确定和解释图像内容,从而能够判定身体限制。此外,可以处理图像数据,以基于先前的身体运动确定预计无法达到的身体姿势。基于无法达到的身体姿势,也可以判定身体限制。替代地或附加地,可以基于与车辆乘员的体重有关的重量数据以及基于与车辆乘员的身高有关的图像数据确定车辆乘员是否肥胖,从而也可以判定此类身体限制。

7、身体运动可以是身体作为整体的运动,或身体区段(如上半身或下半身)的运动,或位于两个关节之间或在关节处位于末端的各个身体肢体的运动,或各个身体部位(如手臂、手、颈部或头部)的运动。

8、有利的是,所述处理单元构造用于借助环境数据确定关于车辆乘员的至少一个身体运动的信息。此外,所述处理单元构造用于确定车辆乘员的至少一个在身体运动中运动的身体部位的运动自由度。此外,所述处理单元构造用于将车辆乘员的身体部位的所确定的运动自由度与该身体部位的运动自由度的预设存储的极限值进行比较。在低于该极限值时,处理单元可以判定身体部位的身体限制。由此可以特别可靠地判定身体限制,因为受到限制的运动自由度具体地作为身体限制对车辆乘员产生影响。

9、运动自由度描述了一个身体部位相对于与该身体部位连接的另一身体部位所能占据的位置区域。运动自由度例如可以通过如下方式确定:为该身体部位与该另一身体部位之间的连接点(例如关节)分配一个参考点,并且为该身体部位的另一点(其例如可以是末端的,或者可以位于另一个最接近的关节处)分配一个运动点。随后,测量参考点与运动点彼此之间可占据何种空间布置,据此可以计算运动自由度。参考点和运动点也可以根据需要以其它方式分配。运动自由度还可以借助另外的方法确定,如身体姿态估计方法,或在借助神经网络或人工智能的情况下确定。

10、用于身体部位的运动自由度的极限值例如可以依据同一身体部位的人群平均运动自由度。此外,极限值可以包括身体部位的运动速度的平均值和/或在身体部位运动时的加速度的平均值。极限值还可以考虑另外的因素,如性别或年龄,尤其是作为偏移量。

11、有利的是,所述处理单元构造用于借助身体姿态估计方法确定在身体运动中运动的身体部位的运动自由度。由此可以以特别高的精度确定身体运动,从而能够更正确地确定为运动的身体部位确定的运动自由度。还有利的是,借助人工智能辅助方法确定在身体运动中运动的身体部位的运动自由度。由此可采集的身体运动的类型特别灵活,从而能够非常精确地确定具有身体限制的身体部位。

12、此外有利的是,所述处理单元构造用于借助环境数据确定关于车辆乘员的面部表情的信息。所述处理单元可以在面部因疼痛而扭曲时将该面部表情分类为疼痛相关面部表情。分类为疼痛相关面部表情例如可以基于车辆乘员的面部轮廓与数据库的模式匹配进行,在该数据库中存储有因疼痛而扭曲的面部的各种轮廓模式。分类为疼痛相关面部表情例如还可以借助经过训练以识别因疼痛而扭曲的面部的人工智能辅助方法进行。此外,所述处理单元构造用于将关于疼痛相关面部表情的信息分配给身体运动。因此,所述处理单元可以基于分配给疼痛相关面部表情的身体运动判定车辆乘员的因疼痛导致的限制。车辆乘员的因疼痛导致的限制表示车辆乘员在其行为方面因疼痛而受到限制。通过判定车辆乘员的因疼痛导致的限制可以正确采集车辆乘员的行为,从而能够基于该判定在车辆乘员与车辆交互时有针对性地为其提供支持。

13、此外有利的是,所述处理单元构造用于基于关于车辆乘员的身体运动或另外的身体运动(尤其是另外的身体部位的另外的身体运动)的信息确定车辆乘员操纵车辆的操作元件的意图。车辆乘员的意图对应于车辆乘员的打算或计划,例如打开车门、设置通风或打开手套箱。车辆的操作元件是车辆的可被操纵的元件,例如开关、滑动调节器、旋转开关、操纵杆、按钮、按键或触摸显示器。所述处理单元还构造用于基于所判定的身体限制以及操作元件的位置确定车辆乘员是否能够操纵操作元件。同样有利的是,所述处理单元构造用于基于所判定的因疼痛导致的限制以及操作元件的位置确定车辆乘员是否能够无疼痛地操纵操作元件。此外有利的是,所述装置构造用于仅在车辆乘员不能操纵操作元件或车辆乘员不能无疼痛地操纵操作元件时才激活分配给操作元件的操作功能。由此,车辆乘员能够不受限制地使用车辆的功能。此外,对于车辆乘员产生一种自主的使用感受,因为当车辆乘员能够无痛地激活某一操作功能时,不会预先替其激活该操作功能。

14、有利的是,所述处理单元构造用于基于环境数据以及基于预设存储的限制确定是否允许激活分配给操作元件的操作功能。所述处理单元例如可以基于环境数据确定车辆中是否存在障碍物,基于该障碍物,激活某一操作功能可能不合理。所述处理单元例如可以确定,当在副驾驶座椅后方的后排座椅上坐着人、其腿部会因此被夹住时,副驾驶座椅向后排座椅的移位是不被允许的。预设存储的限制是定义的规则,在这些规则下特定行为是不被允许的。这例如包括系安全带义务,即在行驶期间打开安全带是不被允许的,或者说也是危险的。有利的是,所述处理单元还构造用于仅在允许激活分配给操作元件的操作功能时才激活分配给操作元件的操作功能。由此提高了车辆行驶运行中的安全性。

15、此外有利的是,所述装置包括输出单元和/或输入单元。输出单元例如可以是扬声器或显示器,并且输入单元例如可以是麦克风或触摸显示器。有利的是,所述处理单元构造用于在激活分配给操作元件的操作功能之前通过输出单元向车辆乘员提议激活所确定的操作功能。此外有利的是,所述处理单元构造用于通过输入单元采集对激活操作功能的确认并且仅在发生确认时才激活分配给操作元件的操作功能。由此确保所确定的意图与车辆乘员的实际意图一致。

16、有利的是,所述处理单元构造用于基于环境数据确定关于车辆乘员的视线方向的信息。此外有利的是,所述处理单元构造用于基于关于身体运动的信息和关于视线方向的信息确定车辆乘员操纵车辆的操作元件的意图。由此可以以特别高的概率正确确定车辆乘员的意图。

17、此外有利的是,所述处理单元构造用于基于所判定的身体限制和/或基于所判定的因疼痛导致的限制使显示单元移位和/或调整在显示单元上示出的显示元素。由此减少车辆乘员在与车辆交互时的限制。显示单元例如是用于在车辆中视觉再现信息的单元。显示元素例如是显示界面上的信息元素,如车辆环境的视频流。

18、有利的是,所述处理单元构造用于将所判定的身体限制和/或所判定的因疼痛导致的限制作为车辆乘员相关信息进行存储。此外有利的是,将所述车辆乘员相关信息存储在中央数据库和/或移动存储单元中。中央数据库例如是车辆制造商的数据库或其它中央数据库。移动存储单元例如是智能手机或智能手表或具有存储功能的车辆钥匙或其它具有存储器的移动设备。同样有利的是,所述处理单元构造用于优选从中央数据库和/或移动存储单元中读取所述车辆乘员相关信息。此外有利的是,所述处理单元构造用于基于存储的和/或读取的车辆乘员相关信息确定车辆乘员的所判定的身体限制和/或所判定的因疼痛导致的限制。由此,一旦车辆乘员位于车辆中,就可以立即判定身体限制和/或因疼痛导致的限制。因此,可以更快地在车辆乘员与车辆交互时有针对性地为其提供支持。此外,车辆乘员在与包括相同类型装置的另外的车辆交互时也可以更快地得到有针对性的支持。

19、有利的是,所述环境采集单元包括至少一个内部空间摄像头。该内部空间摄像头构造用于采集车辆内部空间的至少一部分的至少一个图像作为环境信息并生成与该图像对应的图像数据作为环境数据。摄像头可以集成到车辆的内后视镜中或集成到内后视镜的壳体中。摄像头也可以布置在驾驶员和/或副驾驶上方的车顶内衬的区域中。此外,摄像头也可以布置在驾驶员侧和/或副驾驶侧的b柱和/或a柱上和/或布置在车辆的中央显示单元上。通过在车辆中的多个位置中布置摄像头,与仅使用一个摄像头采集车辆内部空间相比,可以扩大车辆内部空间中的可采集区域。同样有利的是,内部空间摄像头例如是红外摄像头和/或rgb摄像头和/或飞行时间摄像头(tof摄像头)。由此可以高质量采集环境数据,从而能够简单地确定关于身体运动的信息以及运动自由度。多种摄像头拍摄类型的组合提高了环境数据的质量。还有利的是,摄像头的视场具有在100°至150°范围内的采集角度,其中,摄像头优选是单目摄像头和/或rgb-ir摄像头。由此尤其是可以由处理单元基于所拍摄的ir图像进行图像处理。使用ir图像是有利的,因为这些图像与环境光无关。替代地,摄像头也可以是纯ir摄像头和/或立体摄像头(3d摄像头)。摄像头的图像数据的处理可以在由处理单元提供的计算机视觉系统中进行。rgb-ir摄像头的使用结合了不受环境光影响的可能性以及同时在存在可见光时提供rgb信息的可能性。

20、此外有利的是,所述处理单元构造用于基于检测到的身体限制和/或检测到的因疼痛导致的限制通过输出单元输出提示。该提示可以涉及操作元件和/或另外的操作元件的设置,该设置可以改变。优选地,操作元件是方向盘或车辆座椅。该提示例如可以针对检测到的身体限制和/或检测到的因疼痛导致的限制专门输出。因此,车辆乘员在其具有腿部的身体限制时可以得到其可调整座椅位置的提示,或者车辆乘员在其具有手臂的因疼痛导致的限制时可以得到其可调整方向盘位置的提示。由此,改善了车辆乘员的舒适感,并在此支持该车辆乘员全面使用车辆的所有功能。

21、具有并列方法权利要求的特征的方法具有与所要求保护的装置相同的优点。尤其是该方法可以借助涉及装置的从属权利要求的以及前述扩展方案的特征进行扩展。