摄像机、平视显示器系统以及移动体的制作方法

1.本公开涉及摄像机、平视显示器系统以及移动体。


背景技术：

2.在专利文献1中记载了现有技术的一个例子。
3.在先技术文献
4.专利文献
5.专利文献1：国际公开第2018/142610号小册子


技术实现要素：

6.本公开涉及的摄像机具备摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为，生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围(eye box)中的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。
7.本公开涉及的平视显示器系统具备摄像机和平视显示器。所述摄像机包含摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含所述平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为，生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围中的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。所述平视显示器包含显示面板、光学元件、光学系统、接收部和处理器。所述显示面板构成为对显示图像进行显示。所述光学元件构成为规定从所述显示面板射出的图像光的传播方向。所述光学系统构成为使由所述光学元件规定了传播方向的所述图像光朝向所述利用者的眼睛的方向传播，在所述利用者的视野内投影所述显示图像的虚像。所述接收部构成为接收从所述输出部输出的所述第2图像。所述处理器构成为使所述显示面板显示包含相互具有视差的第1显示图像和第2显示图像的所述显示图像。所述处理器构成为能够基于根据从所述摄像机接收到的所述第2图像检测到的所述利用者的眼睛的位置，变更所述显示面板上的显示所述第1显示图像的区域和显示所述第2显示图像的区域。
8.本公开涉及的移动体具备平视显示器系统。平视显示器系统包含摄像机和平视显示器。所述摄像机具有摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含所述平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围中的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。所述平视显示器具有显示面板、光学元件、光学系统、接收部和处理器。所述显示面板构成为对显示图像进行显示。所述光学元件构成为规定从所述显示面板射出的图像光的传播方向。所述光学系统构成为使由所述光学元件规定了传播方向的所述图像光朝向
所述利用者的眼睛的方向传播，在所述利用者的视野内投影所述显示图像的虚像。所述接收部构成为接收从所述输出部输出的所述第2图像。所述处理器构成为使所述显示面板显示包含相互具有视差的第1显示图像和第2显示图像的所述显示图像。所述处理器构成为能够基于根据从所述摄像机接收到的所述第2图像检测到的所述利用者的眼睛的位置，变更所述显示面板上的显示所述第1显示图像的区域和显示所述第2显示图像的区域。
附图说明
9.本公开的目的、特点以及优点，会通过下述的详细说明和附图而变得更加明确。
10.图1是示出搭载于移动体的平视显示器系统的一个例子的图。
11.图2是示出图1所示的摄像机的概略结构的图。
12.图3是图2所示的数字信号处理部进行的处理的流程图。
13.图4是说明由摄像机拍摄的图像的图。
14.图5是示出图1所示的平视显示器的概略结构的图。
15.图6是示出从进深方向观察图5所示的显示面板的例子的图。
16.图7是示出从进深方向观察图5所示的视差屏障的例子的图。
17.图8是用于说明图1所示的虚像与利用者的眼睛的关系的图。
18.图9是说明显示面板的虚像中的子像素的显示例的图。
19.图10是说明显示面板的虚像中的子像素的显示例的图。
20.图11是示出平视显示器系统的另一例的图。
21.图12是示出图11所示的摄像机的概略结构的图。
具体实施方式
22.首先，作为本公开的平视显示器系统作为基础的结构的平视显示器系统，已知有使相互具有视差的图像传播到利用者的左右眼，在利用者的视野内投影被视觉辨认为具有进深的三维图像的虚像的平视显示器系统。
23.为了使利用者的左右眼视觉辨认适当的图像，显示三维图像的平视显示器系统包含用于检测利用者的眼睛的位置的摄像机。利用者的眼睛的位置进行变化。因此，摄像机需要实时追踪利用者的眼睛的位置。这样的摄像机有时兼用作监视驾驶员的头部和/或眼睑的活动的驾驶员监视器用的摄像机。
24.在平视显示器系统中使用的摄像机优选检测眼睛的位置的性能高。
25.以下，参照附图对本公开的实施方式进行说明。另外，在以下的说明中使用的附图是示意性的图。附图上的尺寸、比率等未必与现实一致。
26.[平视显示器系统的概要]
[0027]
如图1所示，本公开的一个实施方式涉及的平视显示器系统100包含摄像机10和平视显示器(hud：head up display)20。平视显示器系统100可以搭载在移动体30。
[0028]
如以下详细说明的那样，平视显示器系统100使从hud20的显示装置23射出的图像光朝向利用者31的多个眼睛32传播。由此，平视显示器系统100在利用者31的视野内显示虚像。在平视显示器系统100中存在利用者31的眼睛能够视觉辨认hud20所显示的虚像的区域。利用者31的眼睛能够视觉辨认hud20所显示的虚像的区域被称为眼动范围33。在利用者
31的多个眼睛32位于眼动范围33之外时，利用者31无法观察hud20所显示的虚像。
[0029]
在图1以及后述的图8中，通过利用者31的左眼32l以及右眼32r的直线的方向即眼间方向被表示为u轴方向。利用者31的前后方向被表示为w轴方向。与u轴方向以及w轴方向垂直的高度方向被表示为v轴方向。
[0030]
(摄像机)
[0031]
平视显示器系统100构成为使用摄像机10来检测观察三维图像的利用者31的多个眼睛32的位置。利用者31的多个眼睛32包含利用者31的左眼32l(第1眼)以及右眼32r(第2眼)。在本技术中，不特别区分利用者31的左眼32l和右眼32r，有时将左眼32l以及右眼32r统一记载为多个眼睛32。摄像机10构成为对hud20输出包含利用者31的多个眼睛32的图像。在平视显示器系统100搭载在作为车辆的移动体30的情况下，利用者31可以是移动体30的驾驶员。
[0032]
在平视显示器系统100搭载在作为车辆的移动体30的情况下，摄像机10可以安装在室内镜。摄像机10也可以安装在仪表面板内的例如仪表(cluster)。摄像机10也可以安装在中心面板。摄像机10也可以安装在配置于方向盘的中心的该方向盘的支承部。摄像机10还可以安装在仪表盘(dashboard)上。
[0033]
如图2所示，在一个实施方式中，摄像机10包含透镜11、摄像元件12、模拟信号处理部13、a/d转换部14、数字信号处理部15、输出部16以及摄像机控制部17。模拟信号处理部13、a/d转换部14、数字信号处理部15以及摄像机控制部17也被统称为信号处理部18。模拟信号处理部13、a/d转换部14、数字信号处理部15以及摄像机控制部17的各部进行的处理也能够改称为信号处理部18进行的处理。信号处理部18也能够改称为信号处理电路。
[0034]
透镜11构成为使hud20的包含利用者31的多个眼睛32的被摄体的像在摄像元件12的受光面上成像。透镜11也可以包含一个以上的透镜。
[0035]
摄像元件12构成为按照每个图像元素对在受光面成像的被摄体的像进行光电转换，获取各图像元素的信号作为第1图像。摄像元件12能够将第1图像作为电信号输出。摄像元件12例如可以包含ccd(charge coupled device：电荷耦合器件)摄像元件或cmos(complementary metal oxide semiconductor，互补金属氧化物半导体)摄像元件。第1图像具有能够检测利用者31的多个眼睛32的瞳孔的位置的分辨率。
[0036]
模拟信号处理部13包含模拟信号处理电路。模拟信号处理部13能够对摄像元件12获取到的表示第1图像的模拟信号实施各种模拟信号处理。模拟信号处理包含相关双采样处理以及放大处理等。
[0037]
a/d转换部14包含将由模拟信号处理部13实施了模拟信号处理的模拟信号转换为数字信号的模拟-数字转换电路。从a/d转换部14输出的数字化后的第1图像可以保存在内置于摄像机10的存储器。模拟信号处理部13以及a/d转换部14可以内置于摄像元件12。
[0038]
数字信号处理部15包含dsp(digital signal processor，数字信号处理器)等数字信号处理用的处理器。数字信号处理部15预先存储将三维空间的眼动范围33转换为由摄像机10拍摄的二维坐标的区域而得的信息。将在由摄像机10拍摄的图像上转换了眼动范围33的区域称为包含眼动范围33的区域。数字信号处理部15可以具有存储包含眼动范围33的区域的存储器。
[0039]
图3的流程图中表示数字信号处理部15执行的处理的一个例子。
[0040]
数字信号处理部15获取由a/d转换部14转换为数字信号的第1图像(步骤s01)。
[0041]
数字信号处理部15在第1阶段的处理中使不包含预先设定的眼动范围33的区域的分辨率下降(步骤s02)。使分辨率下降的处理能够通过按照给定的规则对数字化后的第1图像的图像元素的信息的一部分进行间隔剔除来进行。数字信号处理部15不使第1图像的包含眼动范围33的区域的分辨率变化。
[0042]
数字信号处理部15在第2阶段的处理中，对使不包含眼动范围33的区域的分辨率下降的图像实施各种图像处理，生成第2图像(步骤s03)。图像处理包含颜色插补处理、颜色校正处理、亮度校正处理、噪声去除处理等。
[0043]
数字信号处理部15将第2图像交给输出部16(步骤s04)。
[0044]
数字信号处理部15在步骤s02的第1阶段的处理中，使第1图像的不包含眼动范围33的区域的图像的分辨率下降，因此能够使步骤s03的第2阶段的处理高速化。数字信号处理部15使不包含眼动范围33的区域的图像的分辨率下降，因此能够使由此得到的第2图像的整体的信息量降低。
[0045]
输出部16是包含与有线和/或无线通信对应的通信用lsi等通信用的电路、连接器、和/或天线等的摄像机10的输出接口。输出部16构成为向hud20输出由数字信号处理部15实施了图像处理的第2图像的图像信号。输出部16构成为对输出到hud20的图像信号实施用于在与hud20之间进行通信的协议处理。输出部16可以经由有线、无线以及can(controller area network，控制器局域网)等通信网络对hud20输出图像信号。
[0046]
摄像机控制部17能够控制摄像元件12、模拟信号处理部13、a/d转换部14、数字信号处理部15以及输出部16的各部。摄像机控制部17包含一个以上的处理器。
[0047]
如图4所示，摄像机10输出的第2图像40包含高分辨率区域41和低分辨率区域42。高分辨率区域41是包含能够视觉辨认hud20所显示的虚像的区域即眼动范围33的区域。低分辨率区域42是未包含眼动范围33的区域。摄像机10的第2图像40中的高分辨率区域41基于摄像机10与hud20的位置关系而预先决定。
[0048]
(平视显示器)
[0049]
一个实施方式涉及的hud20包含反射器21、光学构件22以及显示装置23。反射器21和光学构件22构成hud20的光学系统。hud20的光学系统除了反射器21以及光学构件22以外，也可以还包含透镜以及反射镜等光学元件。在其他实施方式中，hud20的光学系统也能够不使用反射器21而仅包含透镜。
[0050]
反射器21构成为使从显示装置23射出的图像光朝向光学构件22的给定区域反射。给定区域是由该给定区域反射的图像光朝向利用者31的眼睛32的区域。给定区域能够由利用者31的多个眼睛32相对于光学构件22的方向、以及图像光向光学构件22的入射方向来确定。反射器21可以是凹面镜。包含反射器21的光学系统可以具有正折射率。
[0051]
光学构件22构成为使从显示装置23射出并由反射器21反射的图像光朝向利用者31的左眼32l以及右眼32r反射。例如，移动体30的风挡可以兼用作光学构件22。作为光学构件22，也可以是被称为组合器(combiner)的平视显示器用的板状的构件位于风挡的内侧。hud20使从显示装置23射出的光沿着光路p行进至利用者31的左眼32l以及右眼32r。利用者31能够将沿着光路p到达的光作为虚像而视觉辨认。
[0052]
(显示装置)
[0053]
如图5所示，显示装置23能够包含输入部24、照射器25、显示面板26、作为光学元件的视差屏障27、控制器28和存储器29。
[0054]
输入部24构成为从摄像机10接收第2图像40。输入部24具有遵循与摄像机10之间的通信方式的通信功能。输入部24具备有线和/或无线通信的接口。输入部24可以包含通信用的电路。在通信用的电路中包含通信用的lsi。输入部24能够包含与有线通信对应的电连接器以及光连接器等连接器。输入部24能够包含与无线通信对应的天线。
[0055]
照射器25构成为能够对显示面板26进行面照射。照射器25可以包含光源、导光板、扩散板、扩散片等。照射器25通过光源出射照射光，通过导光板、扩散板、扩散片等使照射光在显示面板26的面方向上均匀化。然后，照射器25能够将均匀化后的光向显示面板26出射。
[0056]
显示面板26例如能够采用透射型的液晶显示面板等显示面板。作为显示面板26，并不限于透射型的液晶面板，能够使用有机el等其他显示面板。作为显示面板26，在使用了自发光型的显示面板的情况下，显示装置23也可以不具备照射器25。
[0057]
如图6所示，显示面板26在形成为面状的有源区域a上具有多个划分区域。有源区域a能够显示视差图像。视差图像包含后述的左眼图像和相对于左眼图像具有视差的右眼图像。在本实施方式中，左眼图像为第1显示图像。右眼图像为第2显示图像。划分区域是在第1方向以及与第1方向正交的第2方向上划分的区域。与第1方向以及第2方向正交的方向被称为第3方向。第1方向也可以被称为水平方向。第2方向也可以被称为铅垂方向。第3方向也可以被称为进深方向。但是，第1方向、第2方向以及第3方向分别并不限于这些。在图5至图7中，第1方向被表示为x轴方向。第2方向被表示为y轴方向。第3方向被表示为z轴方向。
[0058]
在划分区域的每一个中，对应有一个子像素。因此，有源区域a具备沿着水平方向以及铅垂方向排列为格子状的多个子像素。
[0059]
各子像素能够对应于r(red，红)、g(green，绿)、b(blue，蓝)的任意颜色，并将r、g、b这三个子像素作为一组来构成一个像素。一个像素能够称为一个图像元素。水平方向例如是构成一个像素的多个子像素排列的方向。铅垂方向例如是相同的颜色的多个子像素排列的方向。
[0060]
排列于有源区域a的多个子像素通过控制器28的控制，构成子像素组pg。多个子像素组pg在水平方向上重复地排列。多个子像素组pg能够在铅垂方向上排列在相同的位置以及能够偏移地排列。例如，多个子像素组pg能够在铅垂方向上与在水平方向上偏移了一个子像素的量的位置相邻而重复地排列。各个子像素组pg包含给定的行数以及列数的多个子像素。具体地，各个子像素组pg包含在铅直方向上连续地排列b个(b行)，在水平方向上连续地排列2
×
n个(2
×
n列)的(2
×n×
b)个多个子像素p1～pn(n＝2
×n×
b)。在图6所示的例子中，n＝6、b＝1。在有源区域a配置有多个子像素组pg，所述多个子像素组pg包含在铅垂方向上连续地排列1个，在水平方向上连续地排列12个的12个子像素p1～p12。在图6所示的例子中，对一部分子像素组pg标注符号。
[0061]
子像素组pg是控制器28进行用于显示图像的控制的最小单位。各个子像素组pg所包含的各子像素通过识别信息p1～pn(n＝2
×n×
b)来识别。全部子像素组pg的具有相同的识别信息的多个子像素p1～pn(n＝2
×n×
b)由控制器28同时控制。例如，控制器28在将使多个子像素p1显示的图像从左眼图像切换为右眼图像的情况下，能够将使全部的多个子像素组pg中的各个子像素p1显示的图像从左眼图像同时切换为右眼图像。
[0062]
如图5所示，视差屏障27由沿着有源区域a的平面形成，并从有源区域a分离给定距离(间隙)g而配置。视差屏障27也可以相对于显示面板26位于照射器25的相反侧。视差屏障27也可以位于显示面板26的照射器25侧。
[0063]
如图7所示，视差屏障27构成为针对作为在平面内的给定方向上延伸的多个带状区域的透光区域271的每一个，规定从子像素射出的图像光的传播方向。具体地，视差屏障27具有多个使图像光减光的减光区域272。多个减光区域272划定相互相邻的该减光区域272之间的多个透光区域271。多个透光区域271与多个减光区域272相比，光透射率高。多个透光区域271的光透射率能够设为多个减光区域272的光透射率的10倍以上，优选为100倍以上，更优选为1000倍以上。多个减光区域272与多个透光区域271相比，光透射率低。多个减光区域272也可以对图像光进行遮光。
[0064]
多个透光区域271和多个减光区域272在沿着有源区域a的给定方向上延伸，并在与给定方向正交的方向上重复交替地排列。给定方向例如是在从进深方向(z轴方向)观察显示面板26和视差屏障27时沿着子像素的对角线的方向。给定方向例如能够设为在从进深方向(z轴方向)观察显示面板26和视差屏障27时在x轴方向上横穿s个子像素的期间在y轴方向上横穿t个子像素的方向(s、t为互质的正整数)。给定方向也可以设为y轴方向。给定方向是与子像素组pg排列的方向对应的方向。例如，在图6的例子中，子像素组pg若在第2方向上偏移1行，则在第1方向上偏移1列，因此s＝1、t＝1。
[0065]
视差屏障27可以包含膜或板状构件。在该情况下，多个减光区域272包含该膜或板状构件。多个透光区域271可以是设置于膜或板状构件的开口部。膜可以包含树脂，也可以包含其他材料。板状构件可以包含树脂或金属等，也可以包含其他材料。视差屏障27并不限于膜或板状构件，也可以包含其他种类的构件。视差屏障27可以包含具有遮光性的基材。视差屏障27可以包含如下的基材，所述基材包含具有遮光性的添加物。
[0066]
视差屏障27也能够包含液晶快门。液晶快门能够根据施加的电压来控制光的透射率。液晶快门也可以包含多个图像元素，并控制各图像元素中的光的透射率。基于液晶快门的多个透光区域271以及多个减光区域272成为与液晶快门的图像元素的配置对应的区域。在视差屏障27包含液晶快门的情况下，透光区域271与减光区域272的边界能够对应于图像元素的形状而成为阶梯状。
[0067]
从显示面板26的有源区域a射出的图像光的一部分透射透光区域271，经由反射器21到达光学构件22。到达光学构件22的图像光被光学构件22反射而到达利用者31的眼睛32。由此，利用者31的眼睛32能够识别在光学构件22的前方显示于有源区域a的作为图像的虚像的第1虚像v1。将第1虚像v1被投影的面称为虚像面sv。在本技术中，前方是从利用者31观察时的光学构件22的方向。前方是移动体30的通常移动的方向。如图8所示，利用者31在表观上如同作为视差屏障27的虚像的第2虚像v2规定了来自第1虚像v1的图像光的方向那样识别图像。
[0068]
这样，利用者31在表观上如同经由第2虚像v2而视觉辨认第1虚像v1那样，识别图像。实际上，作为视差屏障27的虚像的第2虚像v2无法被视觉辨认。但是，以下设为第2虚像v2在表观上位于视差屏障27的虚像形成的位置，并且看作规定了来自第1虚像v1的图像光的传播方向而进行说明。以下，利用者31能够通过向利用者31的多个眼睛32的位置传播的图像光来视觉辨认的第1虚像v1内的区域被称为可视区域va。利用者31能够通过向利用者
31的左眼32l的位置传播的图像光来视觉辨认的第1虚像v1内的区域被称为左可视区域val。利用者31能够通过向利用者31的右眼32r的位置传播的图像光来视觉辨认的第1虚像v1内的区域被称为右可视区域var。
[0069]
图8所示的虚像屏障间距vbp以及虚像间隙vg被规定为使用了适视距离vd的以下的数式(1)以及数式(2)成立。
[0070]
e：vd＝(n
×
vhp)：vg
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数式(1)
[0071]
vd：vbp＝(vdv vg)：(2
×n×
vhp)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数式(2)
[0072]
虚像屏障间距vbp是作为第2虚像v2投影的减光区域272的与u轴方向对应的方向的配置间隔。虚像间隙vg是第2虚像v2与第1虚像v1之间的距离。适试距离vd是由从摄像机10获取到的位置信息所表示的利用者31的左眼32l以及右眼32r各自的位置与视差屏障27的虚像v2之间的距离。眼间距离e是左眼32l与右眼32r之间的距离。眼间距离e例如可以是通过产业技术综合研究所的研究计算出的值即61.1mm～64.4mm。vhp是子像素的虚像的水平方向的长度。vhp是第1虚像v1中的子像素的虚像的、与第1方向对应的方向的长度。
[0073]
如上所述，图8所示的左可视区域val是透射了视差屏障27的透光区域271的图像光到达利用者31的左眼32l、由此利用者31的左眼32l视觉辨认的虚像面sv的区域。如上所述，右可视区域var是透射了视差屏障27的透光区域271的图像光到达利用者31的右眼32r、由此利用者31的右眼32r视觉辨认的虚像面sv的区域。
[0074]
作为一个例子，在图9示出在视差屏障27的开口率为50％的情况下，从利用者31的左眼32l以及右眼32r观察的第1虚像v1的子像素的配置。在开口率为50％时，视差屏障27的透光区域271和减光区域272具有相等的眼间方向(x轴方向)的宽度。在图9中，单点划线表示视差屏障27的透光区域271与减光区域272的边界的虚像。能够从左眼32l视觉辨认的左可视区域val以及能够从右眼32r视觉辨认的右可视区域var分别是位于双点划线之间的在x以及y方向在倾斜的方向上延伸的区域。从左眼32l看不到右可视区域var。从右眼32r看不到左可视区域val。
[0075]
在图9的例子中，在左可视区域val中包含排列于有源区域a的子像素p2至p5的整体和子像素p1以及p6的大部分的虚像。利用者31的左眼32l难以视觉辨认排列于有源区域a的子像素p7至p12的虚像。在右可视区域var中包含排列于有源区域a的子像素p8至p11的整体和子像素p7以及p12的大部分的虚像。利用者31的右眼32r难以视觉辨认排列于有源区域a的子像素p1至p6的虚像。控制器28能够在子像素p1至p6显示左眼图像。控制器28能够在子像素p7至p12显示右眼图像。通过这样，利用者31的左眼32l主要视觉辨认左可视区域val的左眼图像的虚像，右眼32r主要视觉辨认右可视区域var的右眼图像的虚像。如上所述，左眼图像以及右眼图像是相互具有视差的视差图像。因此，利用者31将左眼图像以及右眼图像视觉辨认为三维图像。
[0076]
控制器28能够与平视显示器系统100的各构成要素连接，并控制各构成要素。由控制器28控制的构成要素包含摄像机10以及显示面板26。控制器28例如构成为处理器。控制器28也可以包含一个以上的处理器。处理器也可以包含使其读入特定的程序来执行特定的功能的通用的处理器、以及专用于特定的处理的专用的处理器。专用的处理器可以包含面向特定用途的ic(asic：application specific integrated circuit，特定用途集成电路)。处理器可以包含可编程逻辑器件(pld：programmable logic device)。pld可以包含
fpga(field-programmable gate array，现场可编程门阵列)。控制器28可以是一个或多个处理器协作的soc(system-on-a-chip，片上系统)以及sip(system in a package，系统级封装)中的任一个。控制器28也可以具备存储部，并在存储部中保存各种信息、或用于使平视显示器系统100的各构成要素动作的程序等。存储部例如可以包含半导体存储器等。存储部也可以作为控制器28的工作存储器发挥功能。
[0077]
存储器29例如包含ram(random access memory，随机存取存储器)以及rom(read only memory，只读存储器)等任意的存储设备。存储器29存储由输入部24接受到的信息以及由控制器28进行了转换的信息等。
[0078]
(显示面板所显示的图像的控制)
[0079]
控制器28能够基于经由输入部24从摄像机10获取到的第2图像40，检测利用者31的左眼32l以及右眼32r的位置。如以下说明的那样，控制器28基于左眼32l以及右眼32r的位置的信息，使显示面板26显示相互具有视差的右眼图像以及左眼图像。控制器28在右眼图像和左眼图像之间切换由显示面板26的各子像素显示的图像来进行控制。
[0080]
如前述的那样，控制器28在可从利用者31的左眼32l观察到的第1虚像v1的左可视区域val位于图9的位置时，能够使子像素p1至p6显示左眼图像。控制器28在可从利用者31的右眼32r观察到的第1虚像v1的右可视区域var位于图9的位置时，能够使子像素p7至p12显示右眼图像。另外，在其他实施方式中，控制器28能够使子像素p2至p5显示左眼图像，使子像素p8至p11显示右眼图像，使其他子像素p1、p6、p7以及p12进行具有0的亮度值的黑显示。在该情况下，能够特别降低串扰的产生。
[0081]
若利用者31的多个眼睛32的位置变化，则能够由利用者31的左眼32l以及右眼32r视觉辨认虚像的子像素p1至p12的范围变化。控制器28根据利用者31的多个眼睛32的位置，从各个子像素组pg的子像素p1至p12中决定显示左眼图像的子像素和显示右眼图像的子像素。控制器28使决定为显示左眼图像的子像素显示左眼图像。控制器28使决定为显示右眼图像的子像素显示右眼图像。
[0082]
例如，如图9所示，在观察第1虚像v1的状态下，在利用者31的多个眼睛32相对地向左移动的情况下，作为视差屏障27的虚像的第2虚像v2向右移动。例如，在从利用者31观察到的视差屏障27的透光区域271与减光区域272的边界的虚像如图10那样向右移动的情况下，左可视区域val以及右可视区域var也向右移动。在图10的情况下，子像素p3至p6的整体和子像素p2以及p7的大部分包含在左可视区域val。子像素p9至p12的全部和子像素p8以及p1的大部分包含在右可视区域var。因此，控制器28能够使显示面板26的子像素p2至p7显示左眼图像。控制器28能够使显示面板26的子像素p1、以及p8至p12显示右眼图像。即，根据利用者31的多个眼睛32的位置移动，子像素p1所显示的图像从左眼图像切换为右眼图像。同样地，子像素p7所显示的图像从右眼图像切换为左眼图像。
[0083]
控制器28对显示面板26进行控制，以使左眼图像和右眼图像作为三维图像投影在利用者31的视野内。控制器28使显示面板26显示以使得左眼图像和右眼图像所包含的显示对象的立体物的图像具有要求的视差。控制器28也可以使显示面板26显示预先存储于存储器29的具有视差的图像。控制器28也可以实时地根据在三维图像中想要显示的立体物的距离来计算视差，并生成在显示面板26显示的左眼图像以及右眼图像。
[0084]
图1所示的眼动范围33由显示装置23的位置、射出左眼图像以及右眼图像的图像
光的朝向、反射器21的形状、位置以及朝向、以及光学构件22的形状、位置以及朝向等决定。眼动范围33为从显示装置23出射的左眼图像以及右眼图像的图像光能够到达，并且距第2虚像v2的距离位于满足数式(1)以及(2)的适视距离vd的附近的区域。在利用者31的多个眼睛32位于眼动范围33中时，利用者31能够通过hud20视觉辨认三维图像。
[0085]
在显示装置23的控制器28检测利用者31的多个眼睛32的位置时，控制器28从包含眼动范围33的高分辨率区域41检测利用者31的多个眼睛32的瞳孔位置。在hud20中，为了如上述那样基于利用者31的瞳孔的位置进行子像素单位的图像的切换，需要能够检测瞳孔位置的高分辨率的图像。
[0086]
搭载在车辆的摄像机10能够构成为将图像信息还向hud20以外的装置输出。在hud20以外的装置中包含监视驾驶员的驾驶状况的驾驶员监视器。驾驶员监视器监视驾驶员的头或眼睑的活动等，在探测到利用者31感到睡意等危险的驾驶状态时，能够使用声音或振动等进行警告。在驾驶员监视器中，为了判定利用者31的睡意，不仅需要眼动范围33的图像，而且还需要不包含在眼动范围33的区域的图像。在驾驶员监视器中，不需要探测利用者31的多个眼睛32的瞳孔的程度的高分辨率的图像。
[0087]
根据本实施方式，由于将第2图像40的不包含眼动范围33的区域设为了低分辨率区域42，所以能够降低从摄像机10的输出部16向显示装置23的输入部24发送的图像信息的信息量。由此，能够降低图像信息的通信所花费的延迟时间、即等待时间(latency)。因此，平视显示器系统100能够一边用摄像机10来高精度地检测眼睛的位置，一边使处理的延迟降低。因而，检测多个眼睛32的位置的性能提高。
[0088]
根据本实施方式，摄像机10的数字信号处理部15在进行第2阶段的各种图像处理之前，作为第1阶段使第1图像的不包含眼动范围33的区域的分辨率下降了。由此，能够使包含颜色插补处理、颜色校正处理、亮度校正处理、噪声去除处理等的第2阶段的图像处理高速化。
[0089]
根据本实施方式，在将同一摄像机10利用于hud20和hud20以外的装置的情况下，为了用于hud20，仅针对限定于图像整体的一部分的高分辨率区域41进行利用者31的多个眼睛32的检测。在不需要利用者31的高分辨率的图像的hud20以外的用途中，使用包含使分辨率下降的低分辨率区域42的第2图像40的整体。由此，作为包含平视显示器系统100的系统整体，处理的延迟降低，性能得到改善。
[0090]
[平视显示器系统的其他结构例]
[0091]
在上述实施方式中，眼动范围33固定在预先设定的区域。在该情况下，眼动范围33需要与利用者31的坐高以及驾驶姿势等的差异对应地设定在多个眼睛32可能位于的较宽的区域。由于hud20的光学系统的配置等的制约等，眼动范围33有时无法设定在较宽的区域。在这样的情况下，hud20也能够具有根据利用者31的多个眼睛32的位置来调整眼动范围33的位置的结构。
[0092]
在图11示出本公开的其他实施方式涉及的平视显示器系统110。在图11中，与图1的平视显示器系统100的构成要素相同或类似的构成要素被标注与图1的对应的构成要素相同的名称以及符号。只要没有特别说明，标注了与图1相同的符号的构成要素具有与图1的对应的构成要素相同的结构以及功能。
[0093]
平视显示器系统110的反射器21构成为能够根据利用者31的多个眼睛32的位置来
调整位置以及朝向中的至少一者。hud20具有用于调整反射器21的位置以及朝向中的至少一者的调整机构51。调整机构51包含驱动装置。驱动装置例如能够采用步进马达。调整机构51可以通过由利用者31的手动进行的操作来驱动。调整机构51可以由控制器28基于显示装置23从摄像机10获取到的多个眼睛32的位置进行控制。hud20可以具有用于对摄像机10输出与眼动范围33的位置相关的信息的发送部52。与眼动范围33的位置相关的信息例如是基于调整机构51的反射器21的驱动信息。发送部52包含通过有线或无线对摄像机10发送信息的通信接口。
[0094]
如图12所示，摄像机10具备获取与眼动范围33的位置相关的信息的获取部53。获取部53包含与发送部52的传输方式对应的通信接口。摄像机控制部17根据经由获取部53获取到的与眼动范围33的位置相关的信息，更新数字信号处理部15具有的包含眼动范围33的区域的信息。数字信号处理部15根据从获取部53获取到的与眼动范围33的位置相关的信息，生成使不包含眼动范围33的区域的分辨率下降的第2图像。
[0095]
通过如以上那样的结构，能够与利用者31的坐高的位置以及驾驶姿势的差异无关地将眼动范围33设定在适当的位置。由此，数字信号处理部15能够生成将包含所设定的眼动范围33的区域设为高分辨率区域41、将不包含眼动范围33的区域设为低分辨率区域42的第2图像40。因此，与图1所示的实施方式同样地，平视显示器系统110能够一边用摄像机10来高精度地检测眼睛的位置，一边使处理的延迟降低。
[0096]
在本公开中的“移动体”中包含车辆、船舶、飞机。在本公开中的“车辆”中包含汽车以及工业车辆，但是并不限于此，也可以包含铁道车辆以及生活车辆、在滑行路上行驶的固定翼机。汽车包含乘用车、卡车、公共汽车、两轮车以及无轨电车等，但是并不限于此，也可以包含在道路上行驶的其他车辆。工业车辆包含面向农业以及建设的工业车辆。工业车辆包含叉车以及高尔夫车，但是并不限于此。在面向农业的工业车辆中包含拖拉机、耕耘机、移植机、割捆机(binder)、联合收割机以及割草机，但是并不限于此。在面向建设的工业车辆中包含推土机、铲土机(scraper)、挖土机、起重机车、翻斗车以及压路机，但是并不限于此。车辆包含通过人力而行驶的车辆。另外，车辆的分类并不限于上述。例如，在汽车中可以包含能够在道路上行驶的工业车辆，也可以在多个分类中包含相同的车辆。在本公开中的船舶中包含海上喷气机、船只、油轮。在本公开中的飞机中包含固定翼机、旋转翼机。
[0097]
对于本公开涉及的实施方式，基于各附图以及实施例进行了说明，但是需要注意的是，只要是本领域技术人员，就容易基于本公开进行各种变形或修正。因此，需要注意的是，这些变形或修正包含在本公开的范围内。例如，各结构部或各步骤等所包含的功能等能够在逻辑上不矛盾地进行再配置，能够将多个结构部或步骤等组合为一个，或者进行分割。本公开涉及的实施方式也能够作为由装置所具备的处理器执行的方法、程序、或记录有程序的存储介质来实现。需要理解的是，在本公开的范围内也包含这些。
[0098]
在本公开中，“第1”以及“第2”等的记载是用于区分该结构的识别符。本公开中的通过“第1”以及“第2”等的记载来区分的结构能够交换该结构中的编号。例如，第1透镜能够与第2透镜交换作为识别符的“第1”和“第2”。识别符的交换同时进行。在识别符的交换后，该结构也被区分。识别符可以删除。删除了识别符的结构通过符号来区分。不能仅基于本公开中的“第1”以及“第2”等识别符的记载，而利用于该结构的顺序的解释、存在小的编号的识别符的依据。
[0099]
在本公开中，x轴方向、y轴方向以及z轴方向是为了便于说明而设置的，也可以相互替换。本公开涉及的结构使用了将x轴方向、y轴方向以及z轴方向作为各轴的正交坐标系来进行了说明。本公开涉及的各结构的位置关系并不限定于处于正交关系。对于u轴方向、v轴方向以及w轴方向也是同样的。
[0100]
在上述实施方式中，将规定图像光的传播方向的光学元件设为了视差屏障。但是，光学元件并不限于此。作为光学元件，也能够是使用双凸透镜的结构。
[0101]
在上述实施方式中，利用者31的多个眼睛32的位置在显示装置23的控制器28中基于第2图像40而被检测到。利用者31的多个眼睛32的位置可以基于由数字信号处理部15生成的第2图像40，在摄像机10中检测。例如，摄像机10可以将给定的位置作为原点，检测从原点起的多个眼睛32的位置的位移方向以及位移量。在摄像机10中检测利用者31的多个眼睛32的位置的情况下，从摄像机10的输出部16对显示装置23的输入部24发送表示多个眼睛32的位置的信息。控制器28能够按照获取到的表示多个眼睛32的位置的信息来控制显示面板26。
[0102]
本公开可以是以下实施方式。
[0103]
本公开涉及的摄像机具备摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为，生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。
[0104]
本公开涉及的平视显示器系统具备摄像机和平视显示器。所述摄像机包含摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含所述平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为，生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。所述平视显示器包含显示面板、光学元件、光学系统、接收部和处理器。所述显示面板构成为对显示图像进行显示。所述光学元件构成为规定从所述显示面板射出的图像光的传播方向。所述光学系统构成为使由所述光学元件规定了传播方向的所述图像光朝向所述利用者的眼睛的方向传播，在所述利用者的视野内投影所述显示图像的虚像。所述接收部构成为接收从所述输出部输出的所述第2图像。所述处理器构成为使所述显示面板显示包含相互具有视差的第1显示图像和第2显示图像的所述显示图像。所述处理器构成为能够基于根据从所述摄像机接收到的所述第2图像检测到的所述利用者的眼睛的位置，变更所述显示面板上的显示所述第1显示图像的区域和显示所述第2显示图像的区域。
[0105]
本公开涉及的移动体具备平视显示器系统。平视显示器系统包含摄像机和平视显示器。所述摄像机具有摄像元件、信号处理部和输出部。所述摄像元件构成为获取包含所述平视显示器的利用者的眼睛的被摄体的第1图像。所述信号处理部构成为生成使所述第1图像中的、未包含在所述利用者的眼睛能够视觉辨认所述平视显示器所显示的虚像的区域即眼动范围的区域的分辨率下降的第2图像。所述输出部构成为向所述平视显示器输出所述第2图像。所述平视显示器具有显示面板、光学元件、光学系统、接收部和处理器。所述显示面板构成为对显示图像进行显示。所述光学元件构成为规定从所述显示面板射出的图像光
的传播方向。所述光学系统构成为使由所述光学元件规定了传播方向的所述图像光朝向所述利用者的眼睛的方向传播，在所述利用者的视野内投影所述显示图像的虚像。所述接收部构成为接收从所述输出部输出的所述第2图像。所述处理器构成为使所述显示面板显示包含相互具有视差的第1显示图像和第2显示图像的所述显示图像。所述处理器构成为能够基于根据从所述摄像机接收到的所述第2图像检测到的所述利用者的眼睛的位置，变更所述显示面板上的显示所述第1显示图像的区域和显示所述第2显示图像的区域。
[0106]
根据本公开的实施方式，能够提供提高了检测眼睛的位置的性能的摄像机、平视显示器系统以及具备所述平视显示器系统的移动体。
[0107]
本公开能够在不脱离其精神或主要特征的情况下以其他各种方式实施。因此，前述的实施方式在所有的方面只不过仅仅是例示，本公开的范围是权利要求书所示的范围，不受说明书正文的任何约束。进而，属于权利要求书的变形、变更全部在本公开的范围内。
[0108]
符号说明
[0109]
10
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像机
[0110]
11
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
透镜
[0111]
12
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像元件
[0112]
13
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
模拟信号处理部
[0113]
14
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
a/d转换部
[0114]
15
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
数字信号处理部
[0115]
16
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输出部
[0116]
17
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像机控制部
[0117]
18
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
信号处理部
[0118]
20
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
平视显示器(hud)
[0119]
21
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
反射器(光学系统)
[0120]
22
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
光学构件(光学系统)
[0121]
23
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示装置
[0122]
24
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
输入部
[0123]
25
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
照射器
[0124]
26
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
显示面板
[0125]
27
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
视差屏障
[0126]
28
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
控制器
[0127]
29
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
存储器
[0128]
30
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
移动体
[0129]
31
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
利用者
[0130]
32
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
眼睛
[0131]
32l
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
左眼(第1眼)
[0132]
32r
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
右眼(第2眼)
[0133]
33
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
眼动范围
[0134]
40
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
摄像机图像
[0135]
41
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
高分辨率区域
[0136]
42
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
低分辨率区域
[0137]
51
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
调整机构
[0138]
52
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
发送部
[0139]
53
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
获取部
[0140]
100、110
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
平视显示器系统
[0141]
271
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
透光区域
[0142]
272
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
减光区域
[0143]aꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
有源区域
[0144]
is
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
立体物像
[0145]
sv
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
虚像面
[0146]
v1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第1虚像
[0147]
v2
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
第2虚像
[0148]
val
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
左可视区域
[0149]
var
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
右可视区域。