一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

增强的增强现实车辆通路的制作方法

2022-04-27 02:07:21 来源:中国专利 TAG:


1.本公开总体上涉及车辆导航系统。


背景技术:

2.在驾驶时,当太阳眩光妨碍对道路的清晰观察时,眩光可能会给驾驶员带来挑战。当太阳眩光影响交通流量时,它可能会使驾驶员付出时间延迟的代价,并且致使普通通勤让驾驶员感到不舒服。遮阳板和其他常规特征(诸如部分挡风玻璃着色)可能并不总是有效的,尤其是当在日出和日落条件期间太阳的角度可能在车辆正前方时。其他常规的驾驶员辅助系统可以使用在输出显示器上显示的标记车道来提供路径导航,以在此类眩光条件期间提供辅助。然而,当显示的导航连续地呈现在车辆显示器上时,即使不存在太阳眩光,这些“始终开启的”系统也可能没有帮助。
3.关于这些和其他考虑因素,提出了本文的公开内容。


技术实现要素:

4.本文公开的系统和方法包括在太阳眩光的情况下使用增强现实(ar)显示系统为车辆驾驶员提供通路导航的以用户为中心的增强通路(uep)系统。uep系统可包括路线观测器模块,所述路线观测器模块被编程为通过获得关于车辆内部和外部环境的实时信息以及通过获得车辆的运行方面(包括航向、速度和其他因素)来使用多个输入源确定和/或预测太阳眩光。路线观测器模块还可以使用向内的摄像头来确定驾驶员是否眯眼,这可以增加眩光的评估概率。
5.当uep系统使用加权概率函数确定驾驶员正在经历太阳眩光时,路线观测器将环境和连接性信号发送到决策模块,该决策模块并入有可包括车辆速度、位置的远程信息处理数据,以使用ar模块确定增强通路的适当导航输出。增强通路可以显示前方车辆路径的清晰轮廓,这可以辅助驾驶员在存在太阳眩光时使车辆转向。ar模块可以使用用户可选择的显示选项并进一步基于观测到的环境和操作信息来自动调整光学性质,包括ar信息的亮度、对比度和颜色。
6.实施例可以提供一种以客户为中心的系统,该系统并入有智能决策系统,该智能决策系统预测和调节车辆通路导航以减轻太阳眩光影响。当系统检测到太阳眩光情况时,uep系统自动接合ar显示系统以提供增强的用户体验。
7.在本文中更详细地提供了本公开的这些和其他优点。
附图说明
8.参考附图阐述具体实施方式。使用相同的附图标记可以指示类似或相同的项。各种实施例可以利用除了附图中示出的那些之外的元件和/或部件,并且一些元件和/或部件可能不存在于各种实施例中。附图中的元件和/或部件不一定按比例绘制。在整个本公开中,取决于背景,可以可互换地使用单数和复数术语。
9.图1描绘了其中可以实施用于提供本文所公开的系统和方法的技术和结构的示例性计算环境。
10.图2描绘了根据本公开的用于提供增强现实通路导航的示例性增强通路引擎。
11.图3示出了根据本公开的示例性驾驶员辅助技术(dat)控制器。
12.图4描绘了根据本公开的流程图。
具体实施方式
13.下文将参考附图更全面地描述本公开,附图中示出了本公开的示例性实施例,并且所述实施例不意图为限制性的。
14.图1描绘了示例性计算环境100,所述示例性计算环境可以包括车辆105,所述车辆包括汽车计算机145和车辆控制单元(vcu)165,所述车辆控制单元典型地包括被设置成与汽车计算机145进行通信的多个电子控制单元(ecu)117。移动装置120(其可以与用户140和车辆105相关联)可以使用有线和/或无线通信协议和收发器来与汽车计算机145连接。移动装置120可以经由一个或多个网络125来与车辆105通信地耦合,所述一个或多个网络可以经由一个或多个无线连接130进行通信,和/或所述移动装置可以使用近场通信(nfc)协议、协议、wi-fi、超宽带(uwb)以及其他可能的数据连接和共享技术来与车辆105直接地连接。
15.车辆105还可以接收全球定位系统(gps)175和/或与其进行通信。gps 175可以是卫星系统(如图1所描绘),诸如全球导航卫星系统(glnss)、伽利略、或导航或其他类似系统。在其他方面,gps 175可以是基于地面的导航网络或无线导航辅助领域中已知的任何其他类型的定位技术。
16.汽车计算机145可以是或包括具有一个或多个处理器150和存储器155的电子车辆控制器。在一些示例性实施例中,汽车计算机145可设置成与移动装置120和一个或多个服务器170进行通信。服务器170可为基于云的计算基础设施的一部分,并且可与远程信息处理服务递送网络(sdn)相关联和/或包括所述sdn,所述sdn向车辆105和可能是车辆车队的一部分的其他车辆(图1中未示出)提供数字数据服务。
17.尽管被示出为性能车辆,但车辆105可以采取另一种乘用或商用汽车的形式,诸如,例如汽车、卡车、运动型多用途车、跨界车辆、厢式货车、小型货车、出租车、公交车、船、拖拉机、踏板车等,并且可被配置和/或编程为包括各种类型的汽车驱动系统。示例性驱动系统可包括具有汽油、柴油或天然气动力燃烧发动机的各种类型的内燃发动机(ice)动力传动系统,其具有常规的驱动部件,诸如变速器、驱动轴、差速器等。在另一种配置中,车辆105可以被配置为电动车辆(ev)。更具体地,车辆105可以包括电池ev(bev)驱动系统,或者被配置为具有独立车载动力装置的混合动力ev(hev)、包括可连接到外部电源的hev动力传动系统的插电式hev(phev)、和/或包括具有燃烧发动机动力装置和一个或多个ev驱动系统的并联或串联混合动力传动系统。hev还可以包括用于蓄电的电池和/或超级电容器组、飞轮蓄电系统或其他发电和蓄电基础设施。车辆105还可以被配置为使用燃料电池(例如,氢燃料电池车辆(hfcv)动力传动系统等)和/或这些驱动系统和部件的任何组合将液体或固体燃料转换为可用动力的燃料电池车辆(fcv)。
18.此外,车辆105可以是手动驾驶的车辆,和/或被配置和/或编程为在完全自主(例
如,无人驾驶)模式(例如,5级自主)下或在一种或多种部分自主模式下操作。部分自主模式的示例在本领域中被广泛地理解为0级至5级自主。具有0级自主自动化的车辆可能不包括自主驾驶特征。具有1级自主的自主车辆(av)通常可以包括单个自动化驾驶员辅助特征,诸如转向或加速辅助。自适应巡航控制是1级自主系统的这样一个示例,其包括加速和转向两个方面。车辆中的2级自主可以提供转向和加速功能的部分自动化,其中自动化系统由执行非自动化操作(诸如制动和其他控制)的人类驾驶员监督。车辆中的3级自主通常可以提供对驾驶特征的条件自动化和控制。例如,3级车辆自主典型地包括“环境检测”能力,其中车辆可独立于当前的驾驶员而做出明智的决策,诸如加速驶过缓慢移动的车辆,而如果系统无法执行任务,当前的驾驶员仍准备好重新取得对车辆的控制。4级自主包括具有高级自主的车辆,其可以独立于人类驾驶员操作,但仍包括用于超驰操作的人类控制。4级自动化还可以使自驾驶模式能够响应于预定义的条件触发(诸如道路危险或系统故障)进行干预。5级自主与无需人类输入以进行操作的自主车辆系统相关联,并且通常不包括人类操作的驾驶控制。
19.根据本公开的实施例,增强通路系统107可以被配置为和/或被编程为与具有1级或2级dat控制器的车辆一起操作。因此,当车辆被配置有驾驶员辅助技术时,增强通路系统107可以向车辆105提供人类控制的一些方面。
20.移动装置120一般包括用于存储与应用程序135相关联的程序指令的存储器123,所述程序指令在由移动装置处理器121执行时执行所公开的实施例的各方面。应用程序(或“应用”)135可以是增强通路系统107的一部分,或者可以向增强通路系统107提供信息和/或从增强通路系统107接收信息。
21.在一些方面,移动装置120可以通过一个或多个无线连接130与车辆105进行通信,所述一个或多个无线连接可以在移动装置120与远程信息处理控制单元(tcu)160之间加密并建立。移动装置120可以使用与车辆105上的tcu 160相关联的无线发射器(图1中未示出)与tcu 160进行通信。发射器可使用诸如例如一个或多个网络125的无线通信网络来与移动装置120进行通信。图1中将一个或多个无线连接130描绘为经由一个或多个网络125和经由可以是车辆105与移动装置120和/或钥匙扣179之间的直接连接的一个或多个无线连接133进行通信。无线连接133可包括各种低能耗协议,包括例如ble或其他近场通信(nfc)协议。
22.网络125示出了本公开的各种实施例中讨论的已连接装置可以在其中进行通信的示例性通信基础设施。网络125可为和/或可包括互联网、专用网络、公共网络或使用任一种或多种已知的通信协议操作的其他配置,所述已知的通信协议是诸如例如传输控制协议/互联网协议(tcp/ip)、基于电气和电子工程师协会(ieee)标准802.11的wi-fi、超宽带(uwb),以及蜂窝技术,诸如时分多址(tdma)、码分多址(cdma)、高速分组接入(hspda)、长期演进(lte)、全球移动通信系统(gsm)和第五代(5g),仅举几个例子。
23.根据本公开,汽车计算机145可安装在车辆105的发动机舱中(或车辆105中的其他地方)并且可作为增强通路系统107的功能部分操作。汽车计算机145可以包括一个或多个处理器150和一个计算机可读存储器155。
24.一个或多个处理器150可以设置成与被设置成与相应的计算系统进行通信的一个或多个存储器装置(例如,存储器155和/或图1中未示出的一个或多个外部数据库)进行通
信。处理器150可利用存储器155来以代码存储程序和/或存储数据以执行根据本公开的各方面。存储器155可以是存储增强通路程序代码的非暂时性计算机可读存储器。存储器155可包括易失性存储器元件(例如,动态随机存取存储器(dram)、同步动态随机存取存储器(sdram)等)中的任一个或组合,并且可包括任何一个或多个非易失性存储器元件(例如,可擦除可编程只读存储器(eprom)、快闪存储器、电子可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)等)。
25.vcu 165可以与汽车计算机145共享电力总线178,并且可以被配置和/或编程为协调车辆105系统、连接的服务器(例如,服务器170)和作为车队的一部分操作的其他车辆(图1中未示出)之间的数据。vcu 165可以包括ecu 117的任何组合或与其通信,所述ecu诸如例如车身控制模块(bcm)193、发动机控制模块(ecm)185、变速器控制模块(tcm)190、tcu 160、车身和网络通信控制器(bancc)187、驾驶员辅助技术(dat)控制器199等。vcu 165还可以包括车辆感知系统(vps)181和/或与其通信,所述车辆感知系统与一个或多个车辆传感系统182连接和/或控制所述一个或多个车辆传感系统。在一些方面,vcu 165可以控制车辆105的操作方面,并且从存储在汽车计算机145的计算机存储器155中的一个或多个指令集实施从在移动装置120上操作的应用程序135接收的一个或多个指令集,包括作为增强通路系统107一部分操作的指令。
26.tcu 160可被配置和/或编程为向车辆105上和外的无线计算系统提供车辆连接性,并且可包括用于接收和处理来自gps 175的gps信号的导航(nav)接收器188、低功耗(ble)模块(blem)195、wi-fi收发器、超宽带(uwb)收发器和/或可被配置为用于在车辆105与其他系统、计算机和模块之间的无线通信的其他无线收发器(图1中未示出)。tcu 160可以被设置成通过总线180与ecu 117进行通信。在一些方面,tcu 160可检索数据并作为can总线中的节点发送数据。
27.blem 195可通过广播和/或监听小广告包的广播并且与根据本文所述的实施例配置的响应装置建立连接来使用和bluetooth low-通信协议来建立无线通信。例如,blem 195可包括响应或发起gatt命令和请求的客户端装置的通用属性配置文件(gatt)装置连接性,并且与移动装置120直接连接。
28.总线180可被配置为以多主控串行总线标准组织的控制器局域网(can)总线,以用于使用基于消息的协议连接作为节点的ecu 117中的两个或多个,该基于消息的协议可被配置和/或编程为允许ecu117彼此通信。总线180可以为或包括高速can(其可在can上具有高达1mb/s的位速度、在can灵活数据速率(can fd)上具有高达5mb/s的位速度),并且可包括低速或容错can(高达125kbps),在一些配置中,其可使用线性总线配置。在一些方面,ecu 117可以与主机计算机(例如,汽车计算机145、增强通路系统107和/或服务器170等)通信,并且还可以彼此通信而不必需要主机计算机。总线180可以将ecu 117与汽车计算机145连接,使得汽车计算机145可以从ecu 117检索信息、向所述ecu发送信息以及以其他方式与所述ecu交互,以执行根据本公开的实施例所述的步骤。总线180可以通过两线式总线将can总线节点(例如,ecu 117)彼此连接,所述两线式总线可以是具有标称特性阻抗的双绞线。总线180也可以使用其他通信协议解决方案(诸如面向媒体的系统传输(most)或以太网)来实现。在其他方面,总线180可以是无线车内总线。
29.vcu 165可以经由总线180通信来直接控制各种负载或者可以结合bcm 193实现这
种控制。关于vcu 165所述的ecu 117仅出于示例性目的而提供,并且不意图是限制性的或排他性的。用图1中未示出的其他控制模块进行的控制和/或通信是可能的,并且设想了这种控制。
30.在示例性实施例中,ecu 117可使用来自人类驾驶员的输入、来自自主车辆控制器的输入、增强通路系统107和/或经由通过无线连接133从其他连接的装置(诸如移动装置120和钥匙扣179等)所接收的无线信号输入来控制车辆操作和通信的各方面。当被配置为总线180中的节点时,ecu 117各自可以包括中央处理单元(cpu)、can控制器和/或收发器(图1中未示出)。例如,尽管图1中将移动装置120描绘为经由blem 195连接到车辆105,但是也可能和设想,也可或替代地经由与模块相关联的相应的收发器在移动装置120与ecu 117中的一个或多个之间建立无线连接133。
31.bcm 193通常包括传感器、车辆性能指示器和与车辆系统相关联的可变电抗器的集成,并且可以包括基于处理器的配电电路,所述基于处理器的配电电路可以控制与车身相关联的功能,诸如灯、窗户、安全、门锁和进入控件以及各种舒适控件。bcm 193还可以作为总线和网络接口的网关操作,以与远程ecu(图1中未示出)进行交互。
32.bcm 193可以协调各种车辆功能性中的任一种或多种功能,包括能量管理系统、警报、车辆防盗器、驾驶员和乘坐者进入授权系统、电话即钥匙(paak)系统、驾驶员辅助系统、av控制系统、电动窗、门、致动器以及其他功能性等。bcm 193可以被配置为用于车辆能量管理、外部照明控制、雨刮器功能性、电动窗和门功能性、供暖通风和空调系统以及驾驶员集成系统。在其他方面,bcm 193可以控制辅助设备功能性,和/或负责集成这种功能性。
33.在一些方面,车辆105可以包括一个或多个车门入口面板(dap)191,其设置在车门198的外部车门表面上并且与dap控制器(图1中未示出)连接。在一些方面,用户140可以通过在与车辆相关联的外部界面上键入个人标识号码(pin)来选择进入车辆。用户界面可以被包括作为车门入口面板(dap)191的一部分、无线小键盘、被包括作为移动装置120的一部分或者被包括作为其他界面的一部分。dap191(可以操作和/或与bancc 187或另一个ecu 117通信)可以包括界面和/或与所述界面连接,共乘乘客、用户(或诸如用户140之类的任何其他用户)可以通过所述界面输入标识凭证并从系统接收信息。在一个方面,界面可以是或包括设置在车门198上的dap 191,并且可以包括界面装置,用户可以从所述界面装置通过从列表中选择他们的唯一标识符并通过输入个人标识号码(pin)以及其他非个人标识信息来与系统交互。在一些实施例中,界面可以是移动装置、小键盘、无线或有线输入装置、车辆信息娱乐系统等。因此,应理解,尽管关于本文的实施例描述了dap,但是界面可以替代地是上述一种或多种其他类型的界面。
34.bancc 187可以包括传感和处理器功能性以及硬件以促进用户和装置认证,并且提供为车辆乘员提供定制体验的乘员定制和支持。bancc 187可以连接驾驶员辅助技术(dat)控制器199,所述控制器被配置和/或编程为提供生物特征认证控制,包括例如面部识别、指纹识别、语音识别和/或与针对其他人为因素(诸如步态识别、体热特征、眼睛跟踪等)的表征、标识和/或验证相关联的其他信息。
35.dat控制器199可以提供1级至3级自动驾驶和驾驶员辅助功能,其可以包括例如主动停车辅助、挂车倒退辅助、自适应巡航控制、车道保持和/或驾驶员状态监测等特征。dat控制器199还可以提供可用于用户认证的用户和环境输入的各方面。认证特征可以包括例
如生物特征认证和识别。
36.dat控制器199可以经由传感系统182获得输入信息,所述传感系统可以包括设置在车辆内部和/或外部的传感器(图1中未示出的传感器)。dat控制器199可以接收与驾驶员功能、车辆功能和环境输入相关联的传感器信息以及其他信息。dat控制器199可以表征用于识别存储在车辆105上的安全生物特征数据保管库(图1中未示出)中和/或经由服务器170存储的生物特征标记。
37.在其他方面,当车辆105包括1级或2级自主车辆驾驶特征时,dat控制器199还可以被配置和/或编程为控制1级和/或2级驾驶员辅助。dat控制器199可以连接和/或包括车辆感知系统(vps)181,所述车辆感知系统可以包括内部和外部传感系统(统称为传感系统182)。传感系统182可以被配置和/或编程为获得可用于生物特征认证并且用于执行驾驶员辅助操作(诸如例如主动停车、挂车倒退辅助、自适应巡航控制和车道保持、驾驶员状态监测和/或其他特征)的传感器数据。
38.汽车计算机145、vcu 165和/或增强通路系统107的计算系统架构可以省略某些计算模块。应容易理解,图1中描绘的计算环境是根据本公开的可能的实现方式的示例,并且因此不应被视为限制性的或排他性的。
39.视图a描绘了穿过配置有抬头显示器(hud)147的挡风玻璃113的道路的驾驶员视图(为清楚起见,视图a中未示出驾驶员)。hud 147可以在hud查看区域143中投射增强通路119。增强通路系统107可以确定用户140在驾驶时是否可能由于太阳眩光而感到不适。增强通路系统107使用各种数据源(可以包括用户140是否眯眼)并通过经由作为传感系统182的一部分操作的一个或多个太阳眩光检测传感器检测观测到的光入射来进行这种确定。
40.例如,vps 181可以确定光入射的轨迹,所述光入射的轨迹可以包括挡风玻璃113和/或外部对象(诸如其他车辆、建筑物等)的光反射(图1中未示出)。当用户正在驾驶车辆105时,执行uep引擎108的处理器150可以接收用户140的图像帧(图1中未示出)。处理器150可以经由作为传感系统182的一部分操作的一个或多个摄像头传感器来获得图像帧。处理器可以基于图像帧来确定用户的眯眼状态,并且确定用户140正在经历太阳眩光的概率。
41.评估太阳眩光的概率可以包括从vps 181、从存储在存储器155中的索引(图1中未示出)和/或经由服务器170获得若干数据源,以及使用加权预测器分析(在以下部分中更详细地讨论)评估各种源。输入数据的示例可以包括当日当前时间、当前位置、当前航向、车辆速度和其他动态变化的信息。输入数据还可以包括索引,所述索引包括由增强通路系统107识别和记录的太阳眩光入射历史,所述太阳眩光入射历史可以包括指示与在一个或多个先前驾驶事件、先前车辆轨迹、事故的先前位置等期间遇到的太阳眩光相关联的日期和时间的位置信息。
42.更具体地,增强通路系统107可以执行路线观测器模块(下文关于图2进行讨论),并且使用由vps 181获得的一个或多个数据点来确定来自太阳139的太阳眩光是否超过光输入的最小阈值。
43.响应于确定太阳眩光超过光输入的最小阈值,增强通路系统107可以推断出用户140在驾驶时正在经历太阳眩光,并且生成车辆路径的ar显示(在图1中描绘为增强通路119)。
44.图2描绘了以用户为中心的增强通路(uep)引擎108的示例性功能示意图,所述引
擎可以被配置和/或编程用于提供根据本公开的增强现实通路导航。uep引擎108可以接收可以包括驾驶员和环境数据205以及远程信息处理数据210的数据输入,并且基于环境数据205和远程信息处理数据210来评估动态变化的驾驶环境。uep引擎208基于评估的数据输入做出ar输出的功能决策,其中功能决策可以指导ar显示器上的增强现实通路渲染。在一个实施例中,ar显示器可以是提供车辆通路的清晰视图的抬头显示器(hud),uep引擎108在其上覆盖ar通路,或者是诸如智能眼镜的另一个ar装置(图1中未示出)。uep引擎108还可以从通知uep引擎108的用户140接收连续反馈。
45.uep引擎108可以使用路线观测器模块230提供情况评估215。路线观测器模块230可以从传感系统182、从服务器170以及经由网络125可用的其他在线资源接收驾驶员和环境数据205。驾驶员和环境数据可以包括车辆105外部的环境因素、车辆内部的环境信息以及来自传感系统182的传感信息形式的驾驶员输入。
46.例如,关于环境因素,路线观测器模块230可以从眩光传感器(图2中未示出)接收直接太阳眩光指示信号,所述眩光传感器以可能影响用户140的角度检测太阳光的直接入射。在一个方面,眩光传感器可以指示何时在车辆105上的一个或多个位置处检测到太阳眩光。在其他方面,路线观测器模块230可以接收当日时间信息、包括太阳相对于车辆航向的位置、时间和日期的天体信息、大气状况以及其他信息,并且结合车辆位置、航向、时间和日期信息以及其他可能的输入使用天体信息,并且确定用户140可能正在经历太阳眩光。在其他方面,路线观测器模块230还可以从tcu 160接收远程信息处理数据210,所述远程信息处理数据可以包括指示车辆轨迹、车辆速度、地理位置等的导航信息。
47.关于驾驶员信息,当路线观测器模块230确定用户当前正在眯眼时,用户140在驾驶车辆105时很可能正在经历太阳眩光。然而,仅一个指示(例如,用户140正在眯眼)可能无法提供足够的太阳眩光指示。因此,路线观测器模块230可以使用一系列加权的预测指示来确定太阳眩光的当前概率是否超过最小阈值,其中路线观测器预测值是以下形式的加权输出,
48.路线观测器预测值=β1*v_
index
β2*t_
index
β3*l
_index
,
49.使得:
50.v_index是从传感系统182获得的视觉眩光检测分量;
51.t_index是当日时间索引分量,其指示当前日期和/或时间何时类似于与一个或多个先前经历的太阳眩光事件相关联的日期和/或时间,和/或当前时间何时与可能的太阳眩光事件(例如,在早晨和晚上时间期间)相关联;以及
52.l_index是位置索引分量,其指示当前车辆位置何时类似于与一个或多个先前经历的太阳眩光事件相关联的位置。
53.值β1、β2和β3是用于分配置信度和对聚合输出(聚合输出在本文中称为太阳眩光的概率)的贡献的可调权重。因此,路线观测器模块230可以根据增强通路系统107观测到每个相应索引分量的不同程度或量来将可调权重分配给β1、β2和β3中的相应一者或多者。尽管所分配的特定权重可以根据系统设计而变化,但是应理解,相对较低的权重可以是0.0或0.1,其中1.0是最大权重,并且可调权重的总和为1.0。其他权重是预期的并且是可能的。
54.例如,关于β1,当用户140略微眯起他/她的眼睛并持续短暂的时间段(例如,4秒、10秒等)时,路线观测器模块230可以向视觉眩光检测分量分配相对较低的权重。然而,想象
一下,一个人走出黑暗的室内建筑进入到明亮的阳光下,这个人的眼睛可能会紧紧地眯起,这可以通过下眼睑和上眼睑之间相对较小的距离来衡量,而在放松的眼睛姿势下没有因太阳眩光而眯眼。下眼睑和上眼睑之间的测量值相对来说将是存在太阳眩光的强烈指示。在这种情况下,当被观测到时,路线观测器模块230可以为β1分配相对较高的可调权重。路线观测器模块230可以接收用户140的图像帧,并且执行用户的眼睑之间的垂直距离的测量。在一个示例性实施例中,路线观测器模块230可以在不存在眯眼的情况下检索具有放松眼睛姿势的用户140的图像,并且将上眼睑和下眼睑之间的距离的测量值与所获得的图像帧的类似测量值进行比较以识别眯眼。面部识别领域的技术人员可以理解,存在多种获得此类信息的方式。可设想用于在操作车辆105时确定用户140是否眯眼的其他方法,并且此类方法是可能的。
55.关于β2,在当前的当日时间不同于经历先前观测到的太阳眩光实例的当日时间时,路线观测器模块230可以为当日时间指数分配相对较低的权重。不同的时间可以指示当前时间与观测到的时间相差一个时间阈值(例如,时间相差20分钟、时间相差45分钟、时间相差一小时等)。当当前时间与先前观测到的太阳眩光实例具有较小差异(例如,以分钟为单位测量)时,这可能是当前实例中太阳眩光的相对较强指示。因此,当观测到时,路线观测器模块230可以为β2分配相对较高的可调权重。另一方面,在当前实例中,较大的时间值差异可以指示相对较弱的太阳眩光概率。
56.关于β3,当当前位置与经历先前观测到的太阳眩光实例的位置相差一定距离时,路线观测者模块230可以为位置索引分配相对较低的权重。不同的位置区域时间可以指示当前位置与观测到的位置相差一定距离的阈值(例如,距离相差0.5km、距离相差1km、距离相差1.5km等)。当当前位置与观测到的太阳眩光的先前位置实例具有较小差异(例如,以km为单位测量)时,这可能是当前位置中太阳眩光的相对较强指示。因此,当观测到时,路线观测器模块230可以为β3分配相对较高的可调权重。另一方面,在当前实例中,较大的距离值差异可以指示相对较弱的太阳眩光概率。
57.路线观测器模块230可以选择性地组合输入元素、评估路线观测器预测值(ropv),并且将ropv提供给决策模块235以用于功能示意图的感知和功能决策制定220部分。
58.决策模块235可以获得远程信息处理数据210,包括车辆速度、车辆位置和用户活动,以使用ar通路渲染模块225来设置用于显示ar输出的光学性质。在一些方面,ar通路渲染模块225可以基于用户可选选项来设置光学性质,所述用户可选选项可以包括增强通路119的自动ar渲染(参见图1),或者无动作(这意味着禁用自动渲染选项)。在一个实施例中,决策模块235可以经由ar显示器240输出用于增强输出的用户可选选项,所述ar显示器可以包括增强通路119(如图1所示)。替代地,决策模块235可以使用车辆信息娱乐系统(图2中未示出)输出用户可选选项,并且基于从用户140接收的选择来设置用户可选选项。决策模块235可以基于以下表达式来确定是否要示出增强通路119:
59.如果(ropv》xi,并且v
spd
》=yi,并且ui《ua《zi,
60.则afm_output=mi;
61.使得,
62.ropv是路线观测器预测值(在0和1之间);
63.ua是将车辆驾驶状态指示为三个独立的非加权值的总和的用户活动值,所述三个
独立的非加权值的总和是基于加速度计值、转向值和制动动作值的在0与1之间的值;以及
64.afm_output:mi=(1、2或0)是用户可选择的动作,其中,
65.2:当检测到太阳眩光时,系统推荐动作;
66.1:自动激活ar渲染;以及
67.0:无动作。
68.在其他方面,决策模块235可以基于诸如太阳眩光的角度的观测到的环境方面并且进一步基于诸如挡风玻璃的固定角度的静态方面来确定车辆路径的ar显示的光学设置。光学设置可以包括用于ar增强道路的输出的显示特性,包括例如亮度设置、对比度设置和颜色设置。因此,增强通路系统107可以在检测到太阳眩光时基于用户可选择的和自动的特征来提供以用户为中心的增强车辆导航,所述用户可选择的和自动的特征可以仅在需要时、仅在用户期望此类导航时以及在优化的输出模式下提供此类导航,使得用户140可以在各种操作场景、日光位置等中舒适地查看导航。
69.图3描绘了根据实施例的示例性dat控制器199。如先前附图中所解释的,dat控制器199可以提供自动驾驶和驾驶员辅助功能,并且可以提供用户和环境辅助的各方面。dat控制器199可以促进用户认证,诸如生物特征认证,其可以包括面部识别、指纹识别、语音识别、步态识别以及其他独特和非独特的生物特征方面。dat控制器199还可以提供车辆监测以及与驾驶辅助的多媒体集成。
70.在一个示例性实施例中,dat控制器199可以包括传感器i/o模块305、底盘i/o模块307、生物特征识别模块(brm)310、步态识别模块315、主动停车辅助模块320、盲点信息系统(blis)模块325、挂车倒退辅助模块330、车道保持控制模块335、车辆观察系统模块340(包括例如一个或多个摄像头)、自适应巡航控制模块345、驾驶员状态监测系统350和增强现实集成模块355以及其他系统。应理解,图3中描绘的功能示意图是作为dat控制器199的功能能力的概述而提供的,并且不意图进行限制。在一些实施例中,车辆105可以包括更多或更少的模块和控制系统。
71.dat控制器199可以经由传感系统182以及经由底盘i/o模块307获得输入信息,所述传感系统可以包括设置在车辆105内部和/或外部上的外部传感系统381和内部传感系统383传感器,所述底盘i/o模块可以与ecu 117通信。dat控制器199可以接收与驾驶员功能和诸如眯眼状态的生物特征输入相关联的传感器信息、环境输入以及来自传感系统182的其他信息。
72.在其他方面,当车辆105包括那些自动驾驶特征时,dat控制器199还可以被配置和/或编程为促进和/或控制1级和/或2级驾驶员辅助动作。dat控制器199可以连接和/或包括图1所示的车辆感知系统(vps)181,所述车辆感知系统可以包括内部和外部传感系统(统称为传感系统182)。传感系统182可以被配置和/或编程为获得可用于生物特征认证并且用于执行驾驶员辅助操作(诸如例如主动停车、挂车倒退辅助、自适应巡航控制和车道保持、驾驶员状态监测和/或其他特征)的其他传感器数据。
73.dat控制器199可以被配置和/或编程为提供针对车辆105的生物特征认证控制,包括例如面部识别、指纹识别、语音识别,和/或提供与对其他人为因素(诸如步态识别、体热特征、眼睛跟踪等)的表征、标识、乘员外表、乘员状态和/或验证相关联的其他认证信息。dat控制器199可以从外部传感系统381获得传感器信息,所述外部传感系统可以包括设置
在车辆外部和设置在可与车辆105连接的装置(诸如移动装置120和/或钥匙扣179)中的传感器。
74.dat控制器199可以进一步与传感系统182连接,所述传感系统可以包括内部传感系统383,所述内部传感系统可以包括配置在车辆内部(例如,车厢,其未在图3中描绘)的任何数量的传感器。外部传感系统381和内部传感系统383可以连接和/或包括一个或多个惯性测量单元(imu)384、摄像头传感器385、指纹传感器387和/或其他传感器389,并获得可用于表征传感器信息的生物特征数据,所述传感器信息用于标识存储在车辆105上的安全生物特征数据仓库(图3中未示出)中的生物特征标记,并且获得用于提供驾驶员辅助特征的环境数据。dat控制器199可以从传感系统182获得传感数据,所述传感数据可以包括一个或多个外部传感器响应信号。
75.图4是根据本公开的用于提供用于车辆中的太阳眩光减轻的增强现实(ar)车辆导航的示例性方法400的流程图。可以继续参考包括图1至图3的先前附图来描述图4。以下过程是示例性的,并且不限于下文描述的步骤。此外,替代实施例可以包括本文示出或描述的更多或更少的步骤,并且可以与以下示例性实施例中描述的顺序不同的顺序包括这些步骤。
76.首先参考图4,在步骤405处,方法400可以经由摄像头传感器接收驾驶车辆的用户的图像帧开始。
77.在步骤410处,方法400还可以包括基于图像帧并经由处理器确定用户的眯眼状态。该步骤可以包括接收用户的视频馈送或单个图像帧,以及评估用户眼睛的倾向以确定用户是否眯眼,这可以指示太阳眩光的存在。
78.在步骤415处,方法400还可以包括基于用户的眯眼状态来确定太阳眩光超过最小阈值的概率。该步骤可以包括确定车辆速度、确定车辆的位置和车辆轨迹,以及基于车辆速度和车辆轨迹来选择视觉舒适模式。
79.在步骤420处,方法400还可以包括基于太阳眩光的概率和眯眼状态来生成车辆路径的ar显示。该步骤可以包括基于视觉舒适模式生成车辆路径的ar显示,所述视觉舒适模式可以包括用于车辆路径的ar显示的光学设置,所述光学设置包括亮度设置、对比度设置和颜色设置。车辆路径可以包括经由一个或多个ar显示装置(可穿戴设备)(诸如ar眼镜)或经由另一个ar装置显示在与车辆挡风玻璃相关联的hud装置上的动画或图形。
80.在以上公开中,已经参考了形成以上公开的一部分的附图,附图示出了其中可实践本公开的具体实现方式。应理解,在不脱离本公开的范围的情况下,可利用其他实现方式,并且可进行结构改变。本说明书中对“一个实施例”、“实施例”、“示例实施例”等的引用指示所描述的实施例可包括特定特征、结构或特性,但每个实施例可不一定包括所述特定特征、结构或特性。另外,此类短语不一定是指同一实施例。另外,当结合实施例描述特征、结构或特性时,无论是否明确描述,本领域的技术人员都将认识到结合其他实施例的此类特征、结构或特性。
81.此外,在适当的情况下,本文中描述的功能可在以下项中的一者或多者中执行:硬件、软件、固件、数字部件或模拟部件。例如,一个或多个专用集成电路(asic)可以被编程为执行本文所描述的系统和程序中的一者或多者。贯穿说明书和权利要求使用某些术语来指代特定系统部件。如本领域的技术人员将了解,部件可以用不同的名称指代。本文档不意图
区分名称不同但功能相同的部件。
82.还应理解,如本文所使用的词语“示例”意图在本质上是非排他性的和非限制性的。更具体地,本文使用的词语“示例”指示若干示例中的一者,并且应理解,没有对所描述的特定示例进行不适当的强调或偏好。
83.计算机可读介质(也称为处理器可读介质)包括参与提供可由计算机(例如,由计算机的处理器)读取的数据(例如,指令)的任何非暂时性(例如,有形)介质。此类介质可采取许多形式,包括但不限于非易失性介质和易失性介质。计算装置可包括计算机可执行指令,其中所述指令可由一个或多个计算装置(诸如以上列出的那些)执行并存储在计算机可读介质上。
84.关于本文所描述的过程、系统、方法、启发法等,应理解,虽然已经将此类过程等的步骤描述为根据某个有序顺序发生,但是此类过程可用以与本文所描述的次序不同的次序执行的所描述的步骤来实践。还应理解,可同时执行某些步骤,可添加其他步骤,或者可省略本文所描述的某些步骤。换句话说,本文中对过程的描述是出于说明各种实施例的目的而提供的,并且绝不应被解释为限制权利要求。
85.因此,应理解,以上描述意在是说明性的而非限制性的。在阅读以上描述时,除所提供的示例之外的许多实施例和应用将是明显的。所述范围不应参考以上描述来确定,而是应参考所附权利要求以及享有此类权利要求的权利的等效形式的整个范围来确定。预计并且意图在于本文所讨论的技术未来将有所发展,并且所公开的系统和方法将并入到此类未来实施例中。总而言之,应理解,本技术能够进行修改和改变。
86.权利要求中所用的所有术语意图被赋予其如本文所论述的领域中的技术人员所理解的普通含义,除非在本文中做出明确的相反指示。特别地,除非权利要求叙述相反的明确限制,否则使用诸如“一个”、“该”、“所述”等单数形式冠词应被解读为叙述指示的要素中的一个或多个。除非另有特别说明或在使用时在上下文内以其他方式理解,否则诸如尤其是“能够”、“可能”、“可以”或“可”的条件语言通常意图表达某些实施例可包括某些特征、要素和/或步骤,而其他实施例可不包括某些特征、要素和/或步骤。因此,此类条件语言一般并不意图暗示一个或多个实施例无论如何都需要各特征、要素和/或步骤。
87.根据本发明的一个实施例,太阳眩光的概率基于包括指示与太阳眩光相关联的日期和时间的位置信息的历史。
88.根据本发明,提供了一种在车辆控制模块中的非暂时性计算机可读存储介质,所述非暂时性计算机可读存储介质具有存储在其上的指令,所述指令在由处理器执行时使所述处理器:经由摄像头传感器接收驾驶车辆的用户的图像帧;基于所述图像帧来确定所述用户的眯眼状态;基于所述用户的眯眼状态来确定太阳眩光超过最小阈值的概率;并且基于所述太阳眩光的概率和所述眯眼状态来生成车辆路径的ar显示。
89.根据一个实施例,本发明的特征还在于存储在其上的用于确定车辆速度的指令;确定所述车辆的位置和车辆轨迹;基于所述车辆速度和所述车辆轨迹来选择视觉舒适模式;并且基于所述视觉舒适模式生成所述车辆路径的所述ar显示。
90.根据一个实施例,所述视觉舒适模式包括用于所述车辆路径的所述ar显示的光学设置,所述光学设置包括亮度设置、颜色设置和/或对比度设置。
91.根据一个实施例,太阳眩光的概率基于来自车辆视觉系统的眩光指示信号、指示
当日时间的时间指数和/或包括指示与太阳眩光相关联的日期和时间的位置信息的历史。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献