眼睛注视跟踪校准的制作方法

1.本公开涉及操作者监控系统，例如机动车辆驾驶员监控系统。更具体地，本公开涉及驾驶员眼睛注视确定。


背景技术：

2.眼睛注视通常可以指驾驶员的眼睛在任何给定时刻注视的方向。用于操作者眼睛跟踪和提供操作者眼睛注视的系统是已知的，并且可以用于许多有用的应用中，包括检测驾驶员分心、困倦、态势感知和准备从例如自动驾驶模式进行车辆控制。
3.眼睛跟踪系统可能在它们提供的眼睛注视信息中表现出误差。一种类型的误差通常可以归类为指示的注视中的偏移或偏差。通常希望减少或消除来自眼睛跟踪系统的注视信息中的误差。


技术实现要素：

4.在一个示例性实施例中，用于车辆中的眼睛注视跟踪系统的误差估计的装置可包括操作者监控系统，其提供与车辆外部的对象对应的测量的眼睛注视信息；以及外部对象监控系统，其基于测量的眼睛注视信息和理论的眼睛注视信息来提供理论眼睛注视信息和测量的眼睛注视信息的误差。
5.除了本文所述的一个或多个特征之外，可由外部对象监控系统基于与车辆外部的对象相对应的位置信息来确定理论眼睛注视信息。
6.除了本文所述的一个或多个特征之外，测量的眼睛注视信息可包括水平视角信息和垂直视角信息中的至少一个。
7.除本文所述的一个或多个特征外，位置信息可包括对象深度的信息。
8.除本文所述的一个或多个特征外，位置信息可包括对象方向信息。
9.除本文所述的一个或多个特征外，位置信息可包括水平对象角度信息和垂直对象角度信息中的至少一个。
10.除本文所述的一个或多个特征外，外部对象监控系统可包括至少一个前视相机。
11.除本文所述的一个或多个特征外，外部对象监控系统可包括至少一个前视相机，可基于相机图像数据和车辆外部的对象的相对位移来确定位置信息。
12.在另一个示例性实施例中，一种用于估计车辆中的眼睛注视跟踪系统的误差的方法，可包括用前视相机在较早的第一时间捕捉第一外部图像，并在较晚的第二时间捕捉第二外部图像。可以在第一和第二外部图像的每一个内检测第一和第二外部图像共有的对象，其图像位置在第一外部图像和第二外部图像之间已经改变。可以为第一和第二外部图像中的每一个确定对象的相应第一和第二方向。可以确定对象在第一时间和第二时间之间的相对位移。基于对象的第一方向、对象的第二方向和对象的相对位移，可以确定对象在第一时间的第一深度和对象在第二时间的第二深度。基于对象的第一深度和对象的第二深度中相应的一个以及对象的第一方向和对象的第二方向中相应的一个，可以确定车辆操作者
在第一时间和第二时间中选定的一个观察对象的理论眼睛注视。可以从眼睛注视跟踪系统接收在第一时间和第二时间中选定的一个时间观察对象的车辆操作者的测量的眼睛注视。基于测量的眼睛注视和理论的眼睛注视，可以确定操作者的测量的眼睛注视的误差。
13.除了本文所述的一个或多个特征之外，确定车辆的操作者在第一时间和第二时间之一观察对象的理论眼睛注视可基于操作者眼睛和前视相机之间的间隔。
14.除了本文所述的一个或多个特征之外，所述对象可为静态的，确定所述对象在第一时间和第二时间之间的相对位移可基于所述车辆在第一时间和第二时间之间的位移。
15.除了本文所述的一个或多个特征之外，所述对象可为动态的，确定所述对象在第一时间和第二时间之间的相对位移可基于所述车辆在第一时间和第二时间之间的位移以及所述对象在第一时间和第二时间之间的位移。
16.除了本文所述的一个或多个特征之外，基于对象的第一方向、对象的第二方向和对象的相对位移，确定对象在第一时间的第一深度和对象在第二时间的第二深度可包括将对象的相对位移表示为矢量，并求解包含该矢量、对象的第一方向和对象的第二方向的内射函数(injective function)。
17.除了本文所述的一个或多个特征之外，测量的操作者眼睛注视可包括水平视角和垂直视角中的至少一个。
18.除了本文所述的一个或多个特征之外，对象的第一方向和对象的第二方向每个都可包括相应的水平对象角度和垂直对象角度中的至少一个。
19.除了本文所述的一个或多个特征之外，该方法还可包括基于所测量的操作者眼睛注视的确定的误差来重新校准眼睛注视跟踪系统。
20.除了本文所述的一个或多个特征之外，确定误差可包括测量的眼睛注视与理论的眼睛注视的比较、统计模型和机器学习模型中的至少一个。
21.除了本文所述的一个或多个特征之外，重新校准可在每个车辆循环中进行。
22.在另一个示例性实施例中，用于车辆中的眼睛注视跟踪系统的误差估计的装置可包括操作者监控系统，其提供与车辆外部的对象对应的测量的眼睛注视信息；以及外部对象监控系统，其确定与对象对应的位置信息，基于确定的位置信息来确定理论的眼睛注视信息，以及基于确定的理论的眼睛注视信息来确定测量的眼睛注视的误差。测量的眼睛注视中的确定误差可以在眼睛注视跟踪系统中提供误差估计。
23.除了本文所述的一个或多个特征之外，位置信息可包括对象深度信息和对象方向信息。
24.结合附图，根据以下详细说明，本公开的上述特征和优点以及其他特征和优点是显而易见的。
附图说明
25.其他特征、优点和细节仅作为示例出现在以下详细描述中，详细描述参考附图，在附图中：
26.图1示出了根据本公开的示例性系统；
27.图2示出了根据本公开的从主车辆的乘客车厢内看到的前视视图；
28.图3示出了根据本公开的示例性驾驶场景，当主车辆穿过道路时，前视相机可以在
外部图像中捕捉到该场景；
29.图4a示出了根据本公开的相对于静态对象的叠加图像的简化表示；
30.图4b示出了根据本公开的驾驶环境的俯视平面图表示；
31.图5示出了根据本公开的对象深度信息的确定；
32.图6a示出了根据本公开的关于静态对象的图像的简化表示；
33.图6b示出了根据本公开的驾驶环境的俯视平面图表示；
34.图7a示出了根据本公开的关于静态对象的图像的简化表示；
35.图7b示出了根据本公开的驾驶环境的侧视图表示；和
36.图8示出了根据本公开的用于眼睛注视误差估计的示例性处理流程。
具体实施方式
37.下面的描述本质上仅仅是示例性的并且不旨在限制本公开、其应用或用途。在整个附图中，对应的附图标记表示相同或对应的部件和特征。如本文所用，控制模块、模块、控件、控制器、控制单元、电子控制单元、处理器和类似术语是指以下一个或多个中的任一个或各种组合：专用集成电路(asic)、电子电路、中央处理单元(优选地微处理器)和相关的存储器和存储装置(只读存储器(rom)、随机存取存储器(ram)、电可编程只读存储器(eprom)、硬盘驱动器等)或执行一个或多个软件或固件程序或例程的微控制器、组合逻辑电路、输入/输出电路和设备(i/o)以及适当的信号调节和缓冲电路、高速时钟、模拟到数字(a/d)和数模(d/a)电路和其他组件，以提供所述功能。控制模块可以包括各种通信接口，包括点对点或离散线路以及到网络的有线或无线接口，包括广域网和局域网、车辆控制器局域网以及厂内和服务相关网络。本公开中阐述的控制模块的功能可以在多个联网控制模块之间的分布式控制架构中执行。软件、固件、程序、指令、例程、代码、算法和类似术语是指任何控制器可执行指令集，包括校准、数据结构和查找表。控制模块具有一组被执行以提供所述功能的控制例程。例程例如由中央处理单元执行，并且可操作以监控来自传感设备和其他联网控制模块的输入，并执行控制和诊断例程以控制致动器的操作。在正在进行的发动机和车辆运行期间，可以定期执行例程。替代地，例程可以响应于事件的发生、软件调用或经由用户界面输入或请求按需执行。
38.在车辆操作者半自主或全自主地对车辆进行道路操作期间，车辆可以是驾驶场景中的观察者，该驾驶场景包括驾驶环境，例如道路、周围基础设施、对象、标志、危险和其他共享道路的车辆在此统称为对象或目标。对象可以是静态的，例如道路标志，也可以是动态的，例如穿过道路的另一辆车。观察车辆在本文中可以被称为主车辆。共享道路的其他车辆在本文中可以被称为目标车辆。术语驾驶员和操作者可以互换使用。
39.主车辆可以配备有各种传感器和通信硬件和系统。图1中示出了示例性主车辆101，图1示出了根据本公开的示例性系统100。主车辆101可以是非自主车辆或自主或半自主车辆。短语自主或半自主车辆，以及任何衍生术语，广义上是指能够自动执行与驾驶相关的动作或功能而无需驾驶员请求的任何车辆，并包括落入汽车工程师学会(sae)国际分类系统的1-5级的动作。主车辆101可以包括控制系统102，该控制系统102包括多个联网的电子控制单元(ecu)117，其可以经由总线结构111通信地联接以执行控制功能和信息共享，包括在本地或以分布式方式执行控制例程。总线结构111可以是控制器局域网(can)或其他类
似网络的一部分，如本领域普通技术人员所熟知的。一种示例性ecu可包括发动机控制模块(ecm)，该发动机控制模块(ecm)主要基于包括can总线信息的多个输入来执行与内燃机监控、控制和诊断相关的功能。ecm输入可以直接联接到ecm，或者可以通过总线结构111从各种众所周知的传感器、计算、推导、合成、其他ecu和传感器提供给ecm或在ecm内确定，如本领域普通技术人员所公知的。电池电动车辆(bev)可包括主要执行bev动力系功能的推进系统控制模块(pscm)，包括控制车轮扭矩以及电池组内电池的充电和充电平衡。本领域普通技术人员认识到，多个其他ecu 117可以是主车辆101上的控制器网络的一部分并且可以执行与各种其他车辆系统(例如底盘、转向、制动、传输、通信、信息娱乐等)相关的其他功能。所有联网的ecu都可以通过can总线获得和访问各种车辆相关信息，例如诸如速度、航向、转向角、多轴加速度、摇摆(yaw)、俯仰、侧倾等车辆动态信息。示例性ecu可包括外部对象计算模块(eocm)113，其主要执行与感测车辆101外部环境相关的功能，更具体地，与车道、路面和对象感测相关的功能。eocm 113从各种外部对象传感器119和其他来源接收信息。仅作为示例而非限制，eocm 113可从一个或多个雷达传感器、激光雷达传感器、超声波传感器、二维(2d)相机、三维(3d)相机、全球定位系统、车辆到车辆通信系统和车辆到基础设施通信系统，以及从车载或非车载数据库，例如地图和基础设施数据库，接收信息。eocm 113因此可以访问位置数据、距离数据、速率数据和图像数据，这些数据在确定道路和目标车辆信息中可能是有用的，例如道路特征和目标车辆几何、距离和速率信息等。传感器119可以定位在车辆周围的各个周边点，包括前部、后部、拐角、侧面等，如车辆101中在这些位置处的大点所示。可以适当地选择传感器119的定位，以便为特定应用提供所需的传感器覆盖范围。虽然传感器119被示为直接联接到eocm 113，但输入可以通过总线结构111提供给eocm 113，如本领域普通技术人员所熟知的。另一示例性ecu可包括驾驶员监控模块(dmm)115，其任务是监控车辆内的驾驶员和/或乘客并且主要执行与感测车辆101内的环境相关的功能，更具体地，与驾驶员与车辆的交互、驾驶员注意力、乘员姿势和定位、安全带约束定位以及车辆内的其他特性和功能相关的功能。dmm 115可以从各种传感器121和其他源接收信息。仅作为示例而非限制，dmm 115可以从一个或多个二维(2d)相机和/或三维(3d)相机，包括红外(ir)和/或近ir相机，接收信息。
40.主车辆101可配备一般在123处表示的无线通信能力，其可通过已知的自组(ad-hoc)网、车辆对行人(v2p)通信、车辆对云(v2c)通信(如通过地面无线电(如蜂窝)塔105)或车辆对一切(v2x)通信，进行gps卫星107通信、车辆对车辆(v2v)和车辆对基础设施(v2i)通信中的一种或多种。在本公开中，提及v2x被理解为表示将车辆连接到车辆外的资源和系统(包括但不限于v2v、v2i、v2p、v2c)的任何一种或多种无线通信能力。
41.本文对示例性系统100的描述并非详尽无遗。对各种示例性系统的描述也不应被解释为是完全必需的。因此，本领域普通技术人员将理解，根据本公开，来自所描述的示例性系统100的一些、所有和附加技术可以用于各种实施方式中。本领域普通技术人员将会理解，所描述的车辆硬件仅仅是为了说明与本公开的设备和方法一起使用的一些更相关的硬件组件，并不意味着是用于实施本发明的设备和方法的车辆硬件的精确或详尽的表示。此外，车辆硬件的结构或架构可以与图1所示的结构或架构有显著不同(例如，单独的ecu可以彼此或与其他设备集成或以其他方式组合，而不是所有都是单独的、独立的部件)。由于无数可能的布置，并且为了简洁和清楚起见，结合图1所示的实施例来描述车辆硬件，但是应
当理解，本系统和方法不限于这样的实施例。
42.图2示出了从车辆101的乘客车厢200内看到的前视图。乘客车厢200可以包括一个或多个前视相机201(以下称为相机201),其被配置为通过风挡203捕捉基本上前视的驾驶场景。相机201可以安装在仪表板211上、后视镜213上或后视镜213内、乘客车厢顶篷下面、a-柱处或任何其他提供前视驾驶场景的无障碍视野的位置。替代地，相机201可以位于乘客车厢的外部。相机201安装在驾驶室内，并为本系统和方法提供相机图像数据。尽管以下示例在生成相应图像或静止帧的相机的背景下描述了相机201，但是相机201可以包括工业中已知或使用的任何合适的相机或视觉系统，只要它能够捕获外部图像、表示和/或关于车辆外部环境的其他信息。取决于特定的应用，相机201可以包括:静态相机、视频相机；bw和/或彩色相机；模拟和/或数字相机；宽和/或窄视场(fov)相机；并且可以是单声道和/或立体声系统的一部分，列举一些可能性。根据非限制性示例，车辆硬件包括相机201，相机201是cmos视频相机，并且直接或经由总线结构111向eocm 113提供相机图像数据。相机201可以是广角相机(例如，具有大约170
°
或更大的fov)，从而可以获得相关前方驾驶场景的全视图或接近全视图。由相机201输出的相机图像数据可以包括原始视频或静止图像数据(即，没有或很少预处理)，或者在相机201具有其自己的图像处理资源并且在将捕获的图像作为相机图像数据输出之前对其执行预处理的情况下，它可以包括预处理的视频或静止图像数据。
43.图2进一步示出了乘客车厢200，其包括一个或多个后视相机209(以下称为相机209),其被配置为至少捕捉驾驶员眼睛的图像。相机209可以安装在仪表板211上、后视镜213上或后视镜213内、乘客车厢顶篷下面、a-柱或任何其他提供驾驶员无障碍视野的位置。光源207可以被包括作为相机209的一部分或者与相机209分离。光源207可以优选是ir或近ir光源，例如所示的发光二极管(led)。根据非限制性示例，相机209直接或经由总线结构111向dmm 115提供相机图像数据。由相机209输出的相机图像数据可以包括原始视频或静止图像数据(即，没有或很少预处理)，或者在相机209具有其自己的图像处理资源并且在将捕获的图像输出为相机图像数据之前对其执行预处理的情况下，它可以包括预处理的视频或静止图像数据。dmm 115根据已知技术确定驾驶员的注视方向。例如，一种技术被称为瞳孔中心角膜反射，其可以使用光源207照亮驾驶员的眼睛，并使用相机209捕获眼睛的图像，包括来自一只或两只眼睛的角膜和瞳孔的光的反射。可以根据角膜和瞳孔的反射几何形状以及反射的附加几何特征来确定注视方向。包括已知图像处理算法(包括人工智能(ai))的dmm 115、相机209和光源207一起构成了可以提供注视信息的示例性眼睛跟踪系统。在本公开的范围内，可以采用替代的眼睛跟踪系统，包括替代的眼睛跟踪技术和算法。注视信息可以由一个向量或多个分量向量来表示。例如，注视信息由对应于水平角度分量(即，左/右)的向量和对应于仰角分量(即，上/下)的向量来表示。
44.根据本公开，驾驶员眼睛注视可由眼睛跟踪系统测量和提供，并与基于外部传感器(如相机)感测的外部对象位置确定的理论眼睛注视进行比较。从这种比较中可以确定驾驶员测量的眼睛注视与理论眼睛注视的偏差，并根据需要进行校正。如这里所使用的，术语“比较”可以指根据理论眼睛注视对测量的眼睛注视的任何评估，并且可以包括例如简单的标量比较以及统计建模或机器学习方法。
45.图3示出了示例性驾驶场景300，当主车辆101穿过道路315时，前视相机201可在外
部图像中捕捉该场景。来自相机201的图像可以在顶部边缘303、底部边缘305、左侧边缘307和右侧边缘309受到边界限制。水平图像中心线311和垂直图像中心线313是正交的图像结构，并且理想地基本上对应于水平方向和垂直方向，具有适当的相机201取向和校准。类似地，顶部边缘303和底部边缘305期望地对应于水平方向，而左侧边缘307和右侧边缘309期望地对应于垂直方向。图3的示例性驾驶场景包括双车道道路315，相邻车道由车道标志317区分。路肩319被图示为界定双车道道路315。图3表示在时间上分开(例如相隔几秒钟)的两幅图像的叠加。两幅图像中的示例性对象包括静态对象321和动态对象323，在本实施例中，它们分别是路标和前方车辆。在时间t0静态对象321的较早捕获的图像被指定为321a，而在时间t0动态对象323的较早捕获的图像被指定为323a。静态对象321在时间t1的较晚捕获的图像被指定为321b，而动态对象323在时间t1的较晚捕获的图像被指定为323b。在时间t0对象321和323的较早捕获的图像在图3中用虚线示出，而在时间t1对象321和323的较晚捕获的图像在图3中用实线示出。
46.图4a表示相对于静态对象321的图3的重叠图像的简化表示。在该示例中，静态对象321表示相机201和eocm 113可以在不同的时间戳，例如在相隔几秒的较早时间t0和较晚时间t1，优选地在主车辆101穿过道路时，捕获和处理的任何静态对象或目标。时间间隔可以由诸如车辆速度和两个时间戳之间的对象的相对位移这样的因素来确定。通过eocm 113的处理可以包括例如图像裁剪、分割、对象识别、提取和分类以及本领域技术人员公知的其他图像处理功能。因此，静态对象321的较早和较晚捕获的图像分别被标记为ia和ib。还示出了顶部边缘303、底部边缘305、左侧边缘307、右侧边缘309和垂直图像中心线313。在如上所述捕获和重叠的图像内，可以确定静态对象ia和ib的较早和较晚捕获的图像中的每一个的图像距离w1和w2。例如，图像距离w1和w2可以以像素为单位进行缩放。图像距离w1和w2可以从垂直场景中心线313开始测量。垂直图像中心线313可以是用于确定图像距离w1和w2的任意锚点或参考，应当理解，可以利用包括左边缘307和右边缘309的其他参考。类似地，中心点可以是对象图像上的任意点，用于确定图像距离w1和w2，应当理解，可以利用其他图像参考点，包括边缘、拐角、车辆部件，例如车轮、车身面板、刹车灯等。在本公开中，中心点被用作对象和对象图像上的参考点，并且可以在附图中用标记a和b来指定。用于对象投影的图像平面403可以被任意定义在相机201前方的某个距离处，使得图像距离w1和w2可以被映射到图像平面。图4b示出了示例性图像平面403，图4b是图3和图4a所示驾驶环境的俯视平面图。图像平面403距离前视相机201任意距离d，例如5米。垂直图像中心线313与图像平面403垂直相交。图像距离w1和w2可以根据预定的缩放因子或函数被映射到图像平面，以返回图像平面距离w1′
和w2′
。图像平面距离w1′
对应于投影图像ia′
，图像平面距离w2′
对应于投影图像ib′
。从图像平面距离w1′
和w2′
以及距离d，可以确定相应的图像平面角度αh＝tan-1
(d/w1′
)和βh＝tan-1
(d/w2′
)。应当理解，所示的图像平面角度在水平面上，因此用下标h标记，并且可以称为水平图像平面角度或水平对象角度。还应当理解，所示的水平图像平面角度是相对于前视相机201的原点o和垂直图像中心线313的较早和较晚时间戳处的静态对象321所对应的方位角αh
′
和βh
′
的互补角。水平图像平面角αh和βh或者它们的互补方位角αh′
和βh′
可以分别在较早和较晚的时间t0和t1定义静态对象321的方向。应当理解，光线和分别表示静态对象321在时间t0和时间t1的方向。
47.另外参考图5，可以确定对象的深度。静态对象321的相对位移由矢量503表示，
该矢量可以从can总线车辆位置信息和运动学信息从主车辆从其在时间t0的第一位置到其在时间t1的第二位置的主车辆位移导出。在静态对象的情况下，矢量503可以简单地建模为主车辆101位移矢量的逆(inverse)。根据本公开，与动态对象的位置和运动相关的信息可以基于外部对象传感器119。在一个实施例中，eocm 113可以从外部对象传感器119接收和导出运动学信息，外部对象传感器119包括一个或多个距离/速率能力的传感器，例如雷达、激光雷达、超声波和视觉传感器，其提供直接对应于静态和动态对象位置及其时间导数的数据。也就是说，对象在主车辆101的参考系内的位置、范围、速度、加速度和加加速度(jerk)可以从这种范围/速率能力的传感器获得。此外，已知距离/速率传感器也可以提供移动对象摇摆速率，也在主车辆101的参考系内。外部对象传感器119优选地以车辆标准纵向(x)和横向(y)解析(resolve)分量提供位置、范围、速度、加速度和加加速度度量(metric)。否则，这种解析可以在eocm 113中执行。取决于“传感器处”信号处理的程度，下游传感器处理可以包括各种滤波。此外，在外部对象传感器119在数字上和/或拓扑上是多种多样的情况下，下游传感器处理可以包括传感器融合。因此，可以理解，移动对象运动学信息可以包括:纵向位置(v
t
p
x
)、速度(v
tvx
)和加速度(v
tax
)；横向位置(v
t
py)、速度(v
tvy
)和加速度(v
tay
)；和摇摆速率同样在主车辆101的参考系内，来自主车辆101的can总线数据可以提供主车辆运动学信息，包括:主车辆纵向位置(vhp
x
)、速度(v
hvx
)和加速度(v
hax
)；主车辆横向位置(vhpy)、速度(v
hvy
)和加速度(v
hay
)；和主车辆横摆率还可以包括基于车辆侧倾(roll)、俯仰和垂直的信息。
48.在另一个实施例中，主车辆101和道路上的另一个车辆可以是v2x能力的，允许利用例如专用短程通信(dsrc)从另一个车辆传输相关信息以供主车辆101接收。因此，相对于另一车辆的can总线数据的v2x通信，另一车辆可以提供其运动学信息，包括v
t
p
x
、v
tvx
、v
tax
、v
t
py、v
tvy
、v
tay
和因此，应当理解，所提供的另一车辆的运动信息将在该另一车辆的参考系内。本领域普通技术人员将认识到，v2x信息传输可以直接在车辆之间进行，或者通过v2v网状网络经由一个或多个其他相邻节点(周围的车辆或基础设施)进行。类似地，本领域普通技术人员将认识到，v2x信息传输可以通过v2c路由通信的方式进行，这可以包括附加的云资源和数据增强和处理，以及扩展主车辆101和其他车辆之间的通信距离。
49.因此，动态对象(例如穿过道路的另一车辆)的相对位移可通过附加考虑从时间t0到时间t1的这种其他车辆运动学来导出，该信息可从主车辆外部对象传感器119导出或经由所述v2x通信来提供。对于在表示在时间t0和时间t1处的静态对象321的方向的光线(ray)411和413之间的封闭空间内的矢量503，存在唯一的矢量拟合解。因此，矢量503和时间戳方向(即，光线411和413)之间的内射函数存在，并且可以用于确定静态对象在相应时间t0和t1时的位置。从对象的方向和相对位移，静态对象在时间t0时距原点o的深度da和静态对象在时间t1时距原点o的深度db因此是已知的。对象的深度和方向信息共同定义了对象的位置。
50.图6a对应于图4a，但是仅相对于在时间t0捕获的静态对象321的较早图像。如同在图4b中一样，示例性图像平面403在图6b中示出，并且也是驾驶环境的俯视平面图表示。图6b包括参考静态对象321的深度da、静态对象321的方向(即光线411和相应的水平图像平面角或水平对象角αh)。此外，图6b示出了驾驶员的眼睛601。从已知的深度da和方向，并且
如果需要，进一步利用已知的驾驶员眼睛601从前视相机201原点o的位置偏移，可以确定理论水平视角γh。应当理解，替代地，可以利用在时间t1捕获的静态对象321的较晚图像来遵循相同的过程。
51.相对于在时间t0捕获的静态对象321的早期图像321b，图7a对应于图6a。如同在图6b中一样，在图7b中示出了示例性图像平面403；然而，图7b是驾驶环境的侧视图表示，并且是对图6b的俯视图中所示的水平表示的垂直模拟的指导。图7b包括参考静态对象321的深度da、静态对象321的方向(即光线411和相应的垂直图像平面角或垂直对象角αv)。此外，图7b示出了驾驶员的眼睛601。从已知的深度da和方向，并且如果需要，进一步利用已知的驾驶员眼睛601从前视相机201原点o的位置偏移，可以确定理论垂直视角γv。应当理解，替代地，可以利用在时间t1捕获的静态对象321的后期图像321b来遵循相同的过程。
52.应理解，虽然单对时间分离图像可充分说明当前主题，但可采用多对这样的时间分离图像。例如，围绕特定的一对时间戳聚类的多对图像可以有利地用于从图像信号信息中有效地过滤噪声和干扰(例如，由于车辆动态)。此外，当操作者跟踪对象时，在宽范围的注视角度上收集和评估的多对图像可以有利地提供作为注视角度的函数的信息。
53.图8示出了根据本公开的眼睛注视误差估计的示例性流程。该流程适于在由dmm 115进行的眼睛注视确定(即，测量的眼睛注视)的活跃时段期间使用。因此，误差校正可以有利地实时完成，从而减少离线校准过程的频率。过程800可以主要由eocm 113通过执行计算机程序代码来实现。然而，某些步骤，例如校准请求，可能需要车辆101操作者方面的动作，这些动作可以通过各种用户接口来解释，包括例如通过对话管理器或其他用户接口与车辆101的驾驶室中的触摸屏显示器进行接口。此外，过程800的各种计算机实现的方面可以在一个或多个其他ecu内排他地或以分布式方式执行，如前所公开的并且不必限于由eocm 113排他地执行。过程800被示为具有基本线性例程中的各个任务的流程图。本领域技术人员将会理解，所描述的过程可以用包括例如状态流程图和活动图的替代方式来表示。本领域技术人员还理解，过程800流程图中的各种任务可以以不同的顺序和/或同时实现，并且可以合并或拆分。
54.包括dmm 115和eocm 113的车辆处于操作就绪状态时，可随时启动(801)过程800。可以评估(803)一个或多个进入条件以确定过程800是否是期望的和有能力的。例如，自过程800的先前执行以来的时间或周期阈值可能是所需的进入条件，用于运行过程800的手动驾驶员校准请求也可能是所需的进入条件。过程800可以在一驾驶周期中运行多次，或者可以更受限制，例如在每个驾驶周期中运行一次。可以周期性地评估(803)进入条件，直到满足为止，此后过程800可以继续从前视相机201读取图像(805)。图像读取(805)可以包括以规则或可变的时间戳周期性地捕获图像，或者从包括时间戳信息的连续视频馈送缓冲器中提取静止图像。接下来使用捕获的图像执行对象检测(807)。图像读取(805)和对象检测(807)可以包括图像裁剪、分割、对象识别、提取和分类以及其他图像处理功能。为一对时间分离的图像确定(809)对象方向，例如水平和垂直图像平面角度(水平和垂直对象角度),并且为同一对时间分离的图像确定(811)对象深度。在时间分离期间的车辆运动和对象运动用于确定相对对象位移(813)。根据需要，使用对象位移信息、对象方向信息和驾驶员眼睛/相机分离信息来确定在给定时间戳驾驶员眼睛对对象的理论水平和垂直视角(815)。然后，提供同一时间戳的对象的dmm 115水平和垂直视角信息，并将其与理论水平和垂直视角进
行比较(817)，由此可以确定估计的偏差或误差以及相应的校正(819)。可以通过例如dmm 115提供的视角信息和理论视角信息之间的简单比较来进行误差确定。替代地，可以使用dmm 115提供的信息和相应的理论信息的多个事件来采用统计模型，例如回归。多个事件(incidents)可以对应于时间上聚类的时间戳或更广泛分布的时间戳(例如，与通过宽范围的视角跟踪对象相关)。例如，后一个示例在开发误差可能随视角变化的动态误差行为时可能是特别有用的。另一种误差确定技术可以包括机器学习，该机器学习可以在车辆上、经由云或数据中心后台处理在车辆外或其组合使用。然后可以将校正提供给dmm 115用于重新校准(821)。过程800的当前迭代然后结束(823)。
55.除非明确描述为“直接”，否则在上述公开内容中描述第一和第二元件之间的关系时，该关系可为第一和第二元件之间不存在其他中间元件的直接关系，但也可为第一和第二元件之间存在一个或多个中间元件(空间或功能)的间接关系。
56.应理解，可按不同顺序(或同时)执行方法中的一个或多个步骤，而不会改变本发明的原理。此外，虽然每个实施例在上面被描述为具有某些特征，但是关于本公开的任何实施例描述的那些特征中的任何一个或多个可以在任何其他实施例的特征中实现和/或与任何其他实施例的特征组合实现，即使该组合没有被明确描述。换句话说，所描述的实施例不是互斥的，并且一个或多个实施例彼此的置换仍在本公开的范围内。
57.虽然已参照示例性实施例对上述公开内容进行了描述，但本领域技术人员应理解，在不脱离其范围的情况下，可对其进行各种改变并可对其元件进行等效替换。此外，在不脱离本公开的实质范围的情况下，可以进行许多修改以使特定的情况或材料适应本公开的教导。因此，意图是本公开不限于所公开的特定实施例，而是将包括落入其范围内的所有实施例。