用于控制车辆的内部空间中的照明的方法、用于训练机器学习模型的方法、用于数据处理的系统和计算机程序与流程

摘要: 本发明涉及一种用于控制车辆的内部空间中的照明的方法。特别是应基于来自内部空间的图像数据来适配内部空间照明的颜色,其中,特别是可以考虑干扰因素、如阴影或过曝。背景...
用于控制车辆的内部空间中的照明的方法、用于训练机器学习模型的方法、用于数据处理的系统和计算机程序与流程

本发明涉及一种用于控制车辆的内部空间中的照明的方法。特别是应基于来自内部空间的图像数据来适配内部空间照明的颜色,其中,特别是可以考虑干扰因素、如阴影或过曝。

背景技术:

1、车辆的内部空间中的照明(以下也简称为“内部空间照明”)对于舒适性、美学和安全性起着重要作用。氛围照明是一种特殊的内部空间照明,所述氛围照明特别是用于在车辆中营造舒适的氛围。通常,氛围照明是车辆内部空间的例如在侧饰板中的间接照明。然而,车辆的内部空间中的照明也可以包括直接的内部空间照明、显示仪表或显示器的照明以及车辆内部空间中的其他发光元件。

2、内部空间照明、特别是氛围照明的颜色的选择可以根据个人品味或情绪而变化。许多现代车辆提供在不同颜色之间进行选择或根据情绪或行驶情况适配颜色的可能性。这能实现内部空间的灵活的个性化。也可以存在适配内部空间照明的亮度的可能性,以便实现期望的氛围。

3、用于设定内部空间照明的颜色的最简单的方法是由用户通过信息娱乐系统或车辆中的操作单元、例如相应的触摸屏来手动控制。在此可以从预给定的调色板中、例如通过相应的菜单来选择期望的颜色。然而,这可能很繁琐并且在许多情况下仅很少地使用,经常仅用于对车辆进行一次性的个性化。为了重新改变内部空间照明的色彩设计,必须每次都调用相应的设置菜单。一些车辆也提供通过语音指令控制内部空间照明的可能性。然而,在驾驶员想要改变内部照明时,这也每次都需要驾驶员的主动干预。

4、也已知的是,在车辆中提供用于创建个性化的驾驶员配置文件的可能性,在所述驾驶员配置文件中也存储诸如内部空间照明的颜色的设定。以这种方式,一旦驾驶员进入车辆并选择或必要时借助车辆钥匙自动识别所述驾驶员的配置文件,内部空间照明就自动适配于不同驾驶员的偏好。然而,以此不可能动态适配于不同的情况。

5、先进的车辆也可以拥有传感器,所述传感器采集环境光、行驶模式、行驶速度或其他因素,并自动适配氛围照明的颜色。也可以规定,借助来自车辆的内部空间的图像数据基于所述图像数据适配内部空间照明的颜色,所述图像数据例如可以借助相应的内部空间相机来拍摄。

6、然而,特别是在车辆的内部空间中,在图像中的颜色识别方面有时可能存在困难的光照条件。例如,通过来自外部的太阳照射或其他强光源可能产生投射阴影。特别是在车辆内部空间中的表面上,也可能出现强烈反射。在既具有车辆中部中的暗的区域又具有非常亮的区域(如日光下的侧窗)的图像拍摄中正确的颜色识别也可能是困难的。然而,如果将诸如阴影或非常亮的区域的区域应用于诸如色彩平衡和白平衡的设定,则这些区域之外的颜色会失真。因此可以设有如下的图像处理,所述图像处理例如通过边缘检测识别投射阴影,以便为颜色识别将这样的区域除外。然而,这样的图像处理经常可能是繁琐且计算密集的。

技术实现思路

1、本发明的任务在于提供一种改进的用于控制车辆的内部空间中的照明的方法。特别是应在此改进基于来自车辆的内部空间的图像数据的颜色的识别。

2、该任务的解决方案根据独立权利要求的教导来实现。本发明的不同实施形式和进一步扩展方案是从属权利要求的技术方案。

3、本发明的第一方面涉及一种特别是计算机实现的用于控制车辆的内部空间中的照明的方法。在所述方法中采集第一图像数据,所述第一图像数据代表所述车辆的内部空间的至少一部分的在光的可见范围内拍摄的第一视图,以及采集第二图像数据,所述第二图像数据代表所述车辆的内部空间的至少一部分的在红外范围内拍摄的第二视图,所述第二视图与第一视图至少部分地一致、优选地基本上或完全重合。确定第二视图中的排除区域和第一视图中的有效区域,其中,为了确定所述有效区域,排除第一视图的与第二视图的所述排除区域相应的区域。然后从第一视图的有效区域中选择(提取)颜色,并且基于所选择的颜色控制或者说适配车辆的内部空间中的照明的至少一部分、例如氛围照明。

4、因此,根据第一方面的上述方法特别是基于评估如下图像数据,所述图像数据可以借助图像采集设备、如相机来采集。特别是采集具有不同的图像模态的第一图像数据和第二图像数据。在此第一图像数据在光的可见范围内拍摄。这些图像数据包含在车辆的内部空间中可见的颜色。由于在该图像中,干扰因素、例如投射阴影或过曝仅能够如前文所述通过繁琐的图像处理来识别,因此附加地采集第二图像数据,所述第二图像数据理想地基本上代表与第一图像数据相同的视图。在此第二图像数据在红外范围内拍摄。这些第二图像数据虽然不包含颜色,然而能够在第二图像数据、即红外图像中较简单地识别诸如阴影或过曝的干扰。当然,第一和第二图像数据可以以任意顺序被采集、特别是也同时被采集。

5、在第二视图中可以以简单的方式确定排除区域,然后利用所述排除区域,以便在第一视图中确定有效区域。有效区域在此给出第一视图的可以从中选择颜色的区域。有效区域于是特别是没有投射阴影或过曝,从而在有效区域中颜色被真实还原地再现。

6、借助从有效区域中选择的颜色,然后控制车辆的内部空间照明、例如氛围照明或内部空间照明的其他部分。在此,内部空间照明的颜色可以相应于所选择的颜色或由其导出,例如作为相似的颜色、例如相似的红色或蓝色调,或也作为互补色。

7、由于第二视图中的诸如阴影或过曝的干扰可以相当简单地确定,根据第一方面的方法以简单且高效的方式也实现了动态识别干扰并因此动态确定有效区域,例如当行驶期间光照条件由于太阳照射而改变时。所述方法以这种方式高效地允许动态的颜色识别。在这里,所述方法可以应用于图像序列、特别是视频或流。在例如利用边缘识别的常规的图像处理中,为此将需要对各个帧进行繁琐的处理。

8、这里所应用的概念“车辆”特别是涉及乘用车,包括所有类型的机动车、混合动力和电池运行的电动车以及如厢式货车、巴士、载重汽车和送货车等车辆。

9、这里所应用的概念“图像采集设备”特别是涉及相机、特别是数字相机。所述相机可以拍摄静止图像(照片)或活动图像(视频),特别是在可见光范围(“rgb范围”)中拍摄。图像采集设备可以采集或拍摄这样的图像并输出相应的图像数据。所述图像数据特别是代表确定的视图。在此,所述视图可以如此处所述包括不同的区域、如有效区域或排除区域。“区域”在此不必一定是单个连贯区域,而是也可以包括多个分离的子区域。

10、“图像采集设备”也可以适合于监控车辆的内部空间、特别是监控车辆乘员、特别是监控所述车辆乘员在空间中的位置和活动。可以使用红外(ir)相机(例如近红外(nir)相机)。红外图像良好地适合于监控,因为红外图像对于变化的光照条件是鲁棒的,例如即使在强烈太阳照射下也是如此。同样,在黑暗中的拍摄也是可能的。当然,可以存在相应的红外光源。同样可设想,创建驾驶员或车辆内部空间的三维模型,例如借助飞行时间(tof)相机(这里也称为“3d传感器”)。借助三维模型可以计算到相机的间距,并因此计算物体之间的距离及所述物体的活动。

11、在此处可能应用的术语“包括”、“包含”、“包括有”、“具有”、“有”、“带有”或其任何其他变体应该涵盖非排他性的包含。这样,例如包括或具有一列元素的方法或装置不一定限于这些元素,而是可以包括未明确列出的或这种方法或这种装置固有的其他元素。

12、此外,只要没有明确地给出相反说明,“或”涉及包含性的“或”而不涉及排他性的“或”。例如,条件a或b通过以下条件之一满足:a为真(或存在)且b为假(或不存在),a为假(或不存在)且b为真(或存在),以及a和b均为真(或存在)。

13、如在此应用的术语“一个”或“一种”被定义为“一个/一种或多个/多种”的含义。术语“另一个”和“另外的”及其任何其他变体应理解为“至少一个另外的”的含义。

14、如在此应用的术语“多个”应理解为“两个或更多个”的含义。

15、术语“配置”或“设置”用于满足确定的功能(及其各自的变化形式),在本发明的意义中应理解为,相应的装置已经以这样的设计或设定存在,其中所述装置可以执行所述功能,或者所述装置至少是可设定的-即可配置的,使得所述装置在相应的设定之后可以执行所述功能。所述配置在此例如可以通过对过程流程或开关等等的参数的相应的设定来进行,以用于激活或停用功能或设定。特别是,所述装置可以具有多个预先确定的配置或运行模式,从而所述配置可以借助选择这些配置或运行模式之一来进行。

16、下面描述所述方法的优选的实施形式,所述实施形式在未被明确排除或技术上不可能的情况下分别可以任意地相互组合以及与本发明的进一步的所描述的其他方面组合。

17、在一些实施形式中,这样确定排除区域,使得所述排除区域包括阴影和/或过曝区域。这样的区域不适合或至少较不适合于准确确定颜色。特别是在该区域中的颜色会失真,例如阴影区域中的颜色太暗,并且过曝区域中的颜色太亮或甚至为白色。因此应通过确定排除区域为选择颜色而排除这样的区域。也可设想,排除区域还包括其他区域,所述其他区域包含其他干扰因素或以其他方式和方法较不适合于颜色识别。

18、在一些实施形式中,将第一视图和第二视图叠加,以便确定第一视图的与第二视图的排除区域相应的要排除区域(以及因此有效区域)。通过叠加或叠放第一和第二视图,可以以简单的方式求取第一视图中的哪些区域相应于第二视图的排除区域。相应地,然后可以简单地确定第一视图中的有效区域,其方式为,从第一视图中去除或至少排除(即为选择颜色而排除)所述排除区域(或第一视图中的相应于排除区域的区域)。

19、在一些实施形式中,借助第二视图的排除区域通过反转来创建掩膜,利用所述掩膜对第一视图进行掩蔽,以便确定第一视图的有效区域。掩蔽是一种简单的图像处理,以便选择或排除图像中的一个或多个区域。特别是,当掩膜应掩蔽有效区域时,可以简单地通过反转排除区域获得所述掩膜。特别是对于第一图像数据,于是不必进行繁琐的图像处理,而仅需进行掩蔽。

20、在一些实施形式中,在第二视图中确定静态区域,其中,当针对静态区域识别出过曝时,将静态区域添加给排除区域。静态区域在此是在视图中不活动的区域。其通常是属于车辆的部分或在车辆内部空间中可见且不活动的部分。相反,自由物体,包括乘客、如驾驶员或副驾驶员是动态物体,因为所述自由物体通常可以活动。因此可以规定,同样为选择颜色而排除一个静态区域或多个静态区域。这特别是可以是窗、如侧窗或后窗,所述窗由于来自外部的太阳照射而经常强烈过曝,并且因此不适合于选择颜色(因为所述窗例如简单地呈现为白色)。静态区域例如可以由图像数据或借助3d传感器求取。

21、在一些实施形式中,从有效区域中选择颜色,其方式为,确定所述有效区域的一个像素的颜色或由所述有效区域的多个像素的颜色得到的平均值。特别是在单色的平面中,选择任意像素(像素)就足以选择相应于确定的物体的颜色、例如驾驶员的衣物的颜色。然而也可设想,确定分布在确定的区域上的多个像素的平均值。

22、在一些实施形式中,为了选择颜色,从第二图像数据确定用于有效区域(特别是还有以下描述的目标区域)的像素的亮度信息,并借助所述亮度信息对有效区域(或目标区域)的像素的颜色归一化。然后选择经归一化的颜色作为颜色。换言之,不仅可以利用红外图像来确定排除区域,而且也可以利用红外图像来确定亮度信息。此外,这也适用于没有排除区域被确定或可以被确定的情况。例如,这样也可以将虽然亮但未过曝的区域一起纳入颜色选择中。然而,通过将来自红外图像的亮度信息使用于rgb图像,然后可以进行颜色的归一化,从而与亮度无关地可以选择正确的颜色。作为示例,可以提到一件单一红色的套头衫,所述套头衫部分受到直接的太阳照射。与是否存在过曝或欠曝的问题无关,可以以红外图像中的亮度信息为基础进行适配或归一化,所述过曝或欠曝如所解释的那样可以被剔除。

23、在一些实施形式中,借助至少一个图像采集设备采集第一和第二图像数据,所述图像采集设备布置在所述车辆的内部空间中。在此可以涉及不同的图像采集设备、如相机或可以涉及同一个适合拍摄不同的模态中的、特别是rgb和ir的图像数据的图像采集设备。可以涉及例如本来就设置在车辆中的一个图像采集设备(或多个图像采集设备)。这样的相机例如可以布置在车辆的内后视镜中,因为从该位置可以获得关于车辆内部空间包括驾驶员的良好的整体视野。驾驶员监控系统例如经常具有红外相机。所述方法适合于监控车辆内部空间,因为在红外范围内采集的图像数据对不同的光照条件是鲁棒的。

24、在一些实施形式中,此外借助3d传感器采集传感器数据,其中,关于第一视图的至少一部分采集所述传感器数据,以便确定来自所述车辆的内部空间的在第一视图中可见的面的朝向。代表三维模型的传感器数据例如可以利用飞行时间相机拍摄,并且允许车辆内部空间的详细的三维视图。由三维模型例如可以求取平行的面或相对于传感器或相机具有相同间距的面,以便由此导出关于颜色的信息。特别是,所述平行的面可以具有相同的颜色强度。因此,这样识别出的面可以有利地用于选择颜色。如上所述,3d传感器也可以用于确定静态区域。

25、在一些实施形式中,此外在第一视图的有效区域中确定目标区域,并从目标区域中选择颜色。换言之,尽管有效区域给出第一视图的没有干扰的区域,但可能期望或需要的是,为选择颜色不考虑整个有效区域。因此可以在有效区域中确定目标区域。例如,车辆内部空间中属于车辆的面、例如侧饰板或扶手对于选择颜色可能不重要。这样的部分也可以如上所述作为静态区域处理。例如可以规定,选择驾驶员的上身或更准确地说驾驶员的衣物作为目标区域。例如然后可以由图像数据确定驾驶员的衣物的颜色,所述颜色然后被用作内部空间照明的颜色的基础。作为用于照明的颜色,然后可以利用衣物的颜色或至少一个与所述颜色相似的颜色。备选地,也可以选择互补色。以这种方式,内部空间照明的色彩设计的动态个性化是可能的。

26、在一些所属的实施形式中,借助经训练的机器学习模型、例如神经网络来确定目标区域。如下文还将描述的,这样的模型可以利用训练数据来训练,以便例如学习在视图中的哪些区域包含或表示驾驶员的衣物。这允许自动确定目标区域、即相关的或对于颜色选择感兴趣的区域,以便进一步为用户改善个性化体验。

27、本发明的第二方面涉及一种用于训练机器学习模型的方法,所述机器学习模型用于为根据第一方面、特别是最后描述的实施形式的方法确定目标区域。在所述方法中提供训练数据,其中,所述训练数据包括图像数据,所述图像数据代表所述车辆的内部空间的至少一部分的在光的可见范围内拍摄的第一视图,其中,在所述训练数据中定义第一视图的目标区域。然后确定第一视图的与所述目标区域相应的区域。机器学习模型特别是可以包括神经网络。

28、所述训练特别是可以作为所谓的受监督的训练进行。在模型、如神经网络的受监督的训练或学习中,利用输入数据和相应的正确的输出训练网络。这意味着,向所述网络呈现输入数据,并且所述网络尝试为这些输入预测正确的输出。随后将所述网络的预测与实际的输出比较,并如此适配网络的内部参数,使得预测更准确。该过程迭代地实施,直到所述网络能够对新的、未见过的数据做出准确的预测。

29、因此,受监督的学习例如可以用来训练模型,车辆内部空间的视图的哪些区域表示驾驶员的衣物。换言之,在训练方法的一些实施形式中,所述目标区域是第一视图的所述有效区域的子区域,所述子区域包括在所述车辆的内部空间中的用户的衣物。也可以规定,如此训练模型,使得所述模型选择衣物的正确或合适的部分,例如在驾驶员上身上的衣物的胸部区域可能比衣领更适合于颜色选择。

30、所述训练数据可以包括用于多个具有相应的目标区域的第一视图的图像数据。以这种方式可以训练模型,例如识别不同种类的衣物、如套头衫、衬衫或t恤作为驾驶员上身上的衣物。

31、本发明的第三方面涉及一种用于数据处理的系统,所述系统具有至少一个处理器,所述处理器配置为用于执行根据本发明的第一和/或第二方面的方法。

32、在一些实施形式中,所述系统包括至少一个图像采集设备,所述图像采集设备设置为用于采集可见光范围(rgb)和/或红外范围内的图像数据。特别是可以设置图像采集设备、如相机,所述图像采集设备不仅在rgb范围内而且在红外范围内可以采集图像数据。这具有优点,即这时第一视图和第二视图自动重合。

33、本发明的第四方面涉及一种包括指令的计算机程序,当所述指令在根据第三方面的系统上执行时,所述指令促使该系统执行根据第一和/或第二方面的方法。

34、所述计算机程序特别是可以存储在非易失性数据载体上。优选地,这是一种以光学数据载体或闪存模块形式的数据载体。当计算机程序本身应独立于处理器平台处理时,这能够是有利的,在所述处理器平台上要执行所述一个或多个程序。在另一种实现方式中,计算机程序可以作为文件存在于数据处理单元上、特别是服务器上,并且通过数据连接、例如互联网或专用数据连接、例如专有或本地网络可下载。此外,所述计算机程序可以具有多个共同作用的单独的程序模块。

35、根据第三方面的系统可以相应地具有程序存储器,计算机程序存储在所述程序存储器中。备选地,所述系统也可以设置为用于通过通信连接访问在外部、例如在一个或多个服务器或其他数据处理单元上可用的计算机程序,特别是以便与所述计算机程序交换数据,所述数据在所述方法或计算机程序运行期间得以应用或表示计算机程序的输出。

36、关于本发明的第一方面所解释的特征和优点相应地也适用于本发明的其他方面。