用于与车辆交互的方法和系统、车辆和计算机程序产品与流程

摘要: 本发明涉及用于与车辆交互的方法和系统。本发明也涉及一种具有在此所述的系统的车辆。此外,本发明涉及一种用于实施在此所述方法的计算机程序产品。背景技术:1、如今存在...
用于与车辆交互的方法和系统、车辆和计算机程序产品与流程

本发明涉及用于与车辆交互的方法和系统。本发明也涉及一种具有在此所述的系统的车辆。此外,本发明涉及一种用于实施在此所述方法的计算机程序产品。

背景技术:

1、如今存在当前称为用户的车辆乘员(驾驶员或同行乘客)可以与车辆、特别是机动车交互以便与车辆交换信息的各种可行方案。在现有技术中例如已知具有显示器的车辆,在所述显示器上可以显示不同的信息,并且——在如今通常的触摸屏的情况下——用户可以通过所述显示器例如对于车辆的导航系统进行输入。此外,在许多车辆中存在的可行方案是,将用户的可携带设备例如智能手机、智能手表、平板电脑或笔记本电脑用于数据交换的目的与车辆(有线或无线)连接。在所有这些示例中,应传输给车辆的信息的输入和/或将可携带设备与车辆连接经常与一定的时间花费相关联,并且可能不能以简单的方式进行。由此特别是可能使车辆的驾驶员分心,或者,如果信息的输入和/或可携带设备与车辆的连接应在行驶开始之前进行,则行驶的开始可能被延迟。

技术实现思路

1、本公开的任务是至少减轻前面讨论的问题。

2、所述任务的解决方案根据独立权利要求的教导来实现。所述解决方案的不同实施方式和进一步改进方案是从属权利要求的技术方案。

3、本公开的第一方面涉及一种用于与车辆交互的方法,所述方法包括:

4、光学检测在用户的可携带设备的显示器上显示的图像内容的至少一部分,以便从所述图像内容的所述至少一部分获得第一数据;

5、在使用大语言模型或视觉大语言模型的情况下处理第一数据,以便从第一数据获得第二数据,所述第二数据能够对于所述车辆的运行是相关的;和

6、将第二数据传输给车辆组件。

7、与本公开的第一方面有关地,用户的可携带设备例如可以是智能手机、智能手表、平板电脑或笔记本电脑。

8、通过光学检测,不存在为了数据交换的目的而首先将可携带设备与车辆无线或有线连接的必要性。

9、在本公开的意义上,术语“第一数据”应理解为表示由光学检测产生的图像内容的数据。必要时,这也包括未在可携带设备的显示器上显示的图像内容,而是例如表示车辆内部空间的在可携带设备旁边“能看到”的一部分。

10、处理第一数据以由此获得第二数据,除了使用大语言模型或视觉大语言模型(或者说将大语言模型或视觉大语言模型应用于第一数据)之外,还可以包括对第一数据的预处理,以便一般地说首先使大语言模型或视觉大语言模型的应用成为可能,或者以便取得更好的结果。

11、大语言模型或视觉大语言模型的工作原理原则上从其他技术领域已知,并且因此不再详细阐述。

12、术语“能够对于车辆的运行是相关的第二数据”特别是应理解为如下数据:所述数据要么与车辆作为行进工具的(主要)目的相关,要么所述数据涉及车辆的不(或至少不直接)涉及(主要)行进目的的功能。

13、为了确定哪些数据能够对于车辆的运行是相关的,所述方法可以如原则上从大语言模型或视觉大语言模型已知的那样从第一数据中提取不同的“实体”。在所述实体中也可能存在对于车辆的运行(可能)不相关的实体。为了在能够对于车辆的运行是相关的实体与可能不对于车辆的运行是相关的实体之间进行区分,所述方法可以首先为所提取的实体配设相关性值,例如借助相应的数据集或与这样的数据集的比对来进行。则可以确定其相关性值大于某个(绝对的或相对的)阈值的那些实体作为可能对车辆的运行是相关的实体。

14、为了借助简化的示例来说明这一点:例如从句子“我建议我们在慕尼黑中的英国花园见面,因为那里有极好的氛围”中,可以通过所述方法首先提取实体“英国花园”、“慕尼黑”、“极好”和“氛围”。由于术语“英国花园”和“慕尼黑”涉及地点说明,所述方法可以为其配设相对大的相关性,而与此相对,为实体“极好”和“氛围”配设相对小的相关性。

15、第二数据在所述方法的范畴内可以被传输给的车辆组件的示例将在下文中解释。

16、下面描述所述方法的不同示例性的实施方式,只要没有明确排除或技术上不可能,所述实施方式分别可以任意地相互以及与本公开的另外描述的第二、第三和/或第四方面组合。

17、所显示的图像内容可以包含例如文本、特别是自由文本和/或图像。在文本、如地址(所述地址必要时应作为用于导航系统的输入使用,如下文还将详细描述的那样)的情况下,所述方法规定,所述地址不必须以精确预定的格式显示在用户的可携带设备的显示器上,而是该地址也可以包含在(较大的)自由文本区段中。因此,所述方法规定,所述方法或大语言模型可以将在这里相关的文本区段或相关的实体(即地址或地址的各个组成部分)识别并提取为可能对于车辆的运行是相关的。

18、第一数据可以包括基于像素的数据。第一数据在其整体上因此构成栅格图形,大语言模型也许不能直接应用于所述栅格图形。

19、为此目的,对第一数据的处理可以包括文本识别方法(或英语:ocr,“opticalcharacter recognition”,光学字符识别),以便从基于像素的数据确定基于文本的数据。然后可以将大语言模型应用于所述基于文本的数据,以获得第二数据。

20、如已经提到的,第一数据(也)可以包含图像、例如照片、例如建筑物的照片。为此目的,在使用所述视觉大语言模型的情况下对第一数据的处理可以具有与数据库中包含的图像的比较,以便分析或辨识在所述用户的可携带设备的显示器上所显示的图像内容。为了停留在建筑物的示例中:如果在可携带设备上显示的图像内容(并且因此还有第一数据)呈现一座著名建筑物,则所述方法可以规定,将该图像内容与存储的(并且例如通过互联网或其他网络可访问的)图像进行比较,以辨识所述著名建筑物。所述著名建筑物的相应地址然后可以作为“第二数据”被传输给上述车辆组件、例如车辆的导航系统。

21、第二数据例如可以涉及或辨识地址、地点或音乐标题。必要时具有街道、门牌号、城市以及必要时邮政编码和国家的地址的示例已经在上文提到。

22、在第二数据涉及或辨识地点时,术语“地点”不应仅理解为“城市”或“村庄”的意义,而是应一般地(也)理解为在地球上的点或区域。特别是,术语“地点”也应覆盖通常用英语术语“location”或“place”所理解的内容。这可以例如是建筑物或广场。对此的示例将在下文中阐述。

23、为了阐述其中第二数据涉及或辨识音乐标题的示例:例如,在用户的可携带设备的显示器上显示的图像内容可以以音乐标题的封面艺术的形式显示该音乐标题,亦即例如典型地在通过流媒体服务播放相应音乐标题期间在可携带设备的显示器上显示的图像(有或没有附加文本)。在这种情况下,第一数据将表示该封面艺术的图像。借助视觉大语言模型,所述第一数据可以根据本方法与相应数据库中所包含的音乐标题的封面艺术进行比较,以确定其涉及哪个音乐标题。这然后可以根据本公开被解释为可能对于车辆的运行是相关的,即,可以假定用户想要通过车辆的音频系统播放相应的音乐标题。

24、所述车辆组件可以包括车载计算机、导航设备、显示设备或声学输出设备。如果第二数据例如涉及或辨识地址或地点,则该地址或关于该地点的说明(例如用于该地点的经度和纬度)可以被传输给导航设备,以便开始目的地引导或将该地址或地点存储为(可能的)目的地。以类似方式,如果第二数据涉及或辨识音乐标题,则第二数据可以被传输给车辆的声学输出设备,以便能够通过声学输出设备播放所述音乐标题。但第二数据也可以首先被传输给显示设备、例如车辆的显示器,借此所述数据或所述数据的经进一步处理的版本可以在显示设备上显示。将第二数据传输给显示设备也可以与将第二数据传输给导航设备或声学输出设备并行进行。

25、所述方法可以构造为,使得第二数据原则上首先(仅)被传输给显示设备。但也可以设想的是,所述方法构造为,使得用户可以例如进行设定,从而第二数据要么原则上直接被传输给导航设备或声学输出设备,要么所述方法基于置信值自行决定,第二数据应首先被传输给显示设备还是应直接被传输给导航设备或声学输出设备。这种置信值越高,所述方法(或实施所述方法的系统)就越确信其已正确识别用户的期望。如果该置信值超过确定的(必要时可配置的)阈值,则第二数据可以被直接传输给导航设备或声学输出设备。如果置信值低于该阈值,则第二数据首先被传输给显示设备。

26、所述方法此外可以包括向所述用户输出基于第二数据的信息。如上文所表明的,这可以通过以下方式进行:在车辆的显示设备、例如显示器上显示基于第二数据的信息。以这种方式,用户可以检查所述方法(或相应的系统)是否正确解释了用户的期望,并且必要时可以(例如通过经由触摸屏的输入、经由语音输入或通过操作按键或类似方式)确认或拒绝所述结果。如果通过所述方法例如确定了地址或地点,则显示设备可以显示该地址或该地点,并要求用户确认连接的导航设备应实施到该地址或该地点的目的地引导。必要时,显示设备还可以提供仅将所述地址或地点存储为用于未来的目的地引导的目的地作为其他选项。

27、以类似方式,如果通过所述方法确定了音乐标题,则该音乐标题可以在显示设备上显示,并且可以要求用户确认:应通过车辆的连接的音频系统播放所述音乐标题。

28、备选于或附加于通过显示设备的输出,基于第二数据的信息也可以声学输出,并且所述方法或系统随后可以等待由用户经由语音输入、触摸屏或通过操作按键或类似方式的确认。

29、向所述用户输出基于第二数据的信息可以包括输出多个选项,从所述选项中,所述用户可以做出选择。这例如可以在通过所述方法确定了两个或更多可能的结果、例如多个地址或音乐标题时发生。在这种情况下,所述用户可以选择这些选项中的一个或必要时多个选项。备选地或附加地,所述多个选项也可以涉及:随着所确定的结果应发生什么。如果例如仅确定了一个地址,则可以向用户提供选项“开始目的地引导”或“存储地址”。

30、对在所述用户的可携带设备的显示器上显示的图像内容的所述至少一部分的所述光学检测可以通过所述用户的动作来触发。用户的这种动作例如可以在于,用户例如操纵车辆的开关或类似物或经由语音输入输入指令。

31、借助在车辆中安装的摄像机可以进行对在用户的可携带设备的显示器上显示的图像内容的所述至少一部分的所述光学检测。这种摄像机例如可以安装在车辆的后视镜处、特别是车辆的后视镜的基本上直接下方或安装在车辆的顶部区段或车辆的仪表板处,或集成在其中。

32、本公开的第二方面涉及一种用于与车辆交互的系统,所述系统包括:

33、光学检测设备,其设置为用于检测在用户的可携带设备的显示器上显示的图像内容的至少一部分并且从所述图像内容的所述至少一部分获得第一数据;

34、处理器,其设置为用于在使用大语言模型或视觉大语言模型的情况下处理第一数据,以便从第一数据获得第二数据,所述第二数据能够对于所述车辆的运行是相关的;以及

35、用于将第二数据传输给车辆组件的接口。

36、在本公开的意义上,这种接口可以是无线的或有线连接的。在有线连接的接口的情况下,例如在光学检测设备与连接线缆之间的连接部、必要时插头连接部可以被视为这种有线连接的接口。此外,沿着这种连接线缆的每个点都可以被视为有线连接的接口。

37、本公开的第三方面涉及一种车辆,所述车辆具有当前所述的系统。

38、本公开的第四方面涉及一种计算机程序产品,其具有存储在由计算机可读的介质上的程序代码以用于实施当前所述的方法。这种计算机程序产品必要时可以与光学检测设备和用于将第二数据传输给车辆组件的接口的相互配合地使用。

39、所述计算机程序尤其可以存储在非易失性数据载体上。优选地,这是一种光学数据载体或闪存模块形式的数据载体。当计算机程序作为这样的计算机程序应独立于处理器平台处理时,这可以是有利的,在所述处理器平台上要实施所述一个或多个程序。在另一种实现方式中,所述计算机程序可以作为文件存在于数据处理单元上、特别是服务器上,并且通过数据连接、例如互联网或专用数据连接、例如专有或本地网络可下载。此外,计算机程序可以具有多个共同作用的单独的程序模块。所述模块特别是可以被配置为或在任何情况下这样可使用,使得所述模块在分布式计算(英语“distributed computing”)的意义上在不同的设备(计算机或处理器单元)上实施,所述设备在地理上彼此间隔开并且通过数据网络相互连接。

40、关于本公开的第一方面及其有利设计所描述的特征和优点至少在技术上有意义的情况下也适用于本公开的其他方面及其有利设计方案,反之亦然。

41、在此处可能使用的术语“包括”、“包含”、“包括有”、“具有”、“有”、“带有”或其任何其他变体应涵盖非排他性的包含。这样,例如包括或具有一列元素的方法或装置不一定限于这些元素,而是可以包括未明确列出的或这种方法或这种装置固有的其他元素。

42、此外,除非明确地给出相反说明,“或”是指包含性的“或”而不是排他性的“或”。例如,条件a或b由以下条件中的每个满足:a为真(或存在)且b为假(或不存在),a为假(或不存在)且b为真(或存在),以及a和b均为真(或存在)。

43、如在此使用的术语“一个”或“一种”被定义为“一个/一种或多个/多种”的含义。术语“另一个”和“另外的”及其任何其他变体应被理解为“至少一个另外的”的含义。

44、如在此使用的术语“多个”应被理解为“两个或更多”的含义。

45、术语“配置”或“设置”用于满足的确定功能(及其各自的变化形式)当前应理解为,对应的装置已经以这样的设计或设定存在,即所述装置可以实施所述功能,或者所述装置至少是可设定的——即可配置的,使得所述装置在对应的设定之后可以实施所述功能。所述配置在此可以例如通过对过程流程或开关等的参数的相应的设定来进行,以激活或停用功能或设定。特别是,所述装置可以具有多个预先确定的配置或运行模式,从而所述配置可以借助选择这些配置或运行模式之一来进行。

46、本公开的其他特征、优点和应用可行方案从结合附图的以下描述中得出,在附图中始终对于本公开的相同或彼此对应的元件使用相同的附图标记。

47、为了清楚的图示,附图至少部分地是示意性的或强烈简化的。