增强现实用图像的影像校正装置的制作方法

1.本发明涉及一种增强现实用图像的影像校正装置，更详细地，涉及一种能够提供具有均匀的亮度分布的增强现实用图像的增强现实用图像的影像校正装置。


背景技术：

2.如所周知，增强现实(ar，augmented reality)是指在现实世界的实际影像上叠加由计算机等提供的虚拟的影像或图像来提供。
3.为了实现这样的增强现实，需要一种能够将由诸如计算机的设备生成的虚拟的影像或图像叠加在现实世界的影像上来提供的光学系统。作为这样的光学系统，使用诸如利用hmd(head mounted display，头戴式显示器)或眼镜型装置来反射或折射虚拟影像的棱镜等的光学机构的技术为人所知。
4.然而，这些利用以往的光学系统的装置的问题在于，由于结构复杂，重量和体积相当大，用户佩戴起来不方便，并且制造工艺也复杂，因而制造成本较高。
5.此外，以往的装置的局限性在于，当用户在注视现实世界时改变焦距时，虚拟影像会失焦。为了解决该问题，提出了诸如利用能够调节虚拟影像的焦距的棱镜等结构，或者根据焦距的变更对可变焦透镜进行电控制等技术。然而，这种技术也存在用户需要进行单独的操作来调节焦距，或者需要用于控制焦距的单独的处理器等硬件和软件的问题。
6.为了解决这种现有技术的问题，如专利文献1所记载，本技术人曾开发一种能够通过利用尺寸小于人的瞳孔的反射部将虚拟影像，即增强现实用图像，通过瞳孔投影到视网膜来实现增强现实的装置。
7.图1是示出如由本技术人申请的专利文献1所公开的增强现实用光学装置100的图。
8.图1的增强现实用光学装置100包括光学机构10、反射部20、图像射出部30以及框架部40。
9.光学机构10是使作为从实际事物射出的图像光的实际事物图像光的至少一部分透过的机构，例如可以是眼镜镜片，在其内部埋设配置有反射部30。此外，光学机构10还执行以向瞳孔传递的方式透射从反射部20反射的增强现实图像光的功能。
10.框架部40是固定和支撑图像射出部30和光学机构10的机构，例如可以是眼镜架等。
11.图像射出部30是射出作为与虚拟影像，即增强现实用图像相应的图像光的增强现实图像光的机构，例如可以具备将增强现实用图像显示于屏幕以放射增强现实图像光的小型显示装置、以及用于将从显示装置放射的图像光准直成平行光的准直器(collimator)。
12.反射部20通过朝向用户的瞳孔50反射从图像射出部30射出的增强现实用图像光来提供增强现实用图像。
13.图1的反射部20形成为小于人的一般的瞳孔的尺寸的尺寸，即8mm以下，当将反射部20形成得小于瞳孔时，可以使通过反射部20入射至瞳孔的光的景深接近无限远，即，使景
深很深。
14.景深(depth of field)是指被识别为对焦的范围，景深变深意味着增强现实用图像的焦距也变深。因此，当景深变深时，即使用户在注视实际世界时改变实际世界的焦距，增强现实用图像的焦点也会与此无关地始终被识别为对焦。这可以看作是一种针孔效应(pinhole effect)。因此，即使用户在注视存在于实际世界中的实际事物时改变焦距，对于增强现实用图像，也始终可以看到清晰的虚拟影像。
15.图2和图3示出了配置多个反射部20的增强现实用光学装置200，图2是增强现实用光学装置200的侧视图，图3是增强现实用光学装置200的正视图。
16.图2和图3与图1的增强现实用光学装置100基本相同，不同之处在于，反射部20以多个阵列(array)的形式配置，以便能够提供更广的视角。
17.即，图2和图3的增强现实用光学装置200中的反射部20以4
×
9的阵列形式配置，如图2所示，当从侧面观察增强现实用光学装置200时，构成下侧的行的反射部20配置为位于更靠近瞳孔50的位置，以使每个反射部20能够接收从图像射出部30射出的增强现实用图像。
18.图像射出部30从诸如计算机、智能手机等的影像播放装置(未图示)接收允许能够在图像射出部30显示增强现实图像的增强现实图像信息，并射出与增强现实图像信息相应的增强现实图像光，并传递至多个反射部20。
19.多个反射部20通过反射从图像射出部30射出的增强现实图像光而传递至用户的眼睛的瞳孔50来为用户提供与增强现实图像光相应的增强现实图像。
20.具有这样的多个反射部20的增强现实用光学装置200具有能够提供更广的视角的优点，但存在提供给用户的增强现实用图像的亮度分布不均匀的问题。
21.图4是用于说明用户通过图2和图3的增强现实用光学装置200观测的增强现实用图像的亮度分布不均匀的问题的图。
22.图4的(a)示出了在图像射出部30中显示增强现实用图像的状态的屏幕，图4的(b)示出了作为用户通过增强现实用光学装置200观测图4的(a)的增强现实用图像的观察影像(observed image)的增强现实用图像，需要注意的是，在图4中，为了说明本发明的原理，屏幕的对比度呈现得有些夸张。
23.如图4的(a)所示，亮度分布均匀的增强现实用图像显示于图像射出部30的显示部。然而，当这样的增强现实用图像经由多个反射部20被传递至瞳孔50时，如图4的(b)所示，用户将观察到亮度分布不均匀的影像。
24.图4的(b)中用白色表示的部分是因从相邻的反射部20反射的光而显得比周边区域更亮的区域。
25.这样的亮度分布的不均匀性与反射部20的形状、大小及排列结构和瞳孔直径、出瞳距离(瞳孔与反射部20的距离，eye relief)、眼球的焦点位置、眼球的水平位置等有关。因此，在利用多个反射部20的增强现实用光学装置200中可能会出现的问题是，由于亮度分布的不均匀性，用户最终观察到的增强现实用图像不清楚或不清晰。
26.[专利文献1]
[0027]
韩国授权专利公报10-1660519号(2016.09.29公告)


技术实现要素：

[0028]
技术问题
[0029]
为了解决如上所述的问题，本发明的目的在于，提供一种使用多个反射部提供增强现实用图像的增强现实用光学装置，即，通过预先校正增强现实用图像的亮度分布信息，能够提供具有均匀的亮度分布的增强现实用图像，以便能够解决亮度分布不均匀的问题的增强现实用图像的影像校正装置。
[0030]
技术方案
[0031]
为了解决如上所述的课题，本发明提供一种增强现实用图像的影像校正装置，其与增强现实用光学装置结合，所述增强现实用光学装置具备射出与增强现实用图像相应的增强现实图像光的图像射出部、使作为从实际事物射出的图像光的实际事物图像光的至少一部分朝向用户的瞳孔透过的光学机构、以及配置于所述光学机构的内部以反射由图像射出部射出的增强现实图像光而传递至用户的瞳孔的多个反射部，所述增强现实用图像的影像校正装置的特征在于，包括：补偿函数决定部，其在由所述图像射出部射出原本增强现实用图像时，决定用于校正用户通过所述增强现实用光学装置观察的观察影像的亮度信息的补偿函数；以及校正图像信息生成部，其基于由所述补偿函数决定部决定的补偿函数和原本增强现实用图像信息生成校正增强现实用图像信息，所述图像射出部射出与由所述校正图像信息生成部生成的校正增强现实用图像信息相应的校正增强现实图像光，所述多个反射部反射由所述图像射出部射出的校正增强现实图像光而传递至用户的瞳孔。
[0032]
其中，所述补偿函数决定部可以通过数式决定补偿函数，其中，α是比例因子(scaling factor)，m(x，y)是反射部的形态函数，p(x，y)是反射部的排列函数，psf(x，y)是眼球点扩散函数(eye point spread function，psf)，*是卷积算子(convolution operator))。
[0033]
此外，所述反射部的形态函数m(x，y)可以由决定，其中，x、y是以二维坐标系表示配置有反射部的平面时的坐标值，r是反射部的半径，在小于r的情况下为1，在其他情况下为0。
[0034]
此外，所述反射部的排列函数p(x，y)可以是表示多个反射部的中心的位置的函数。
[0035]
此外，所述反射部的排列函数p(x，y)可以由数式决定，其中，h是横向的反射部的数量，w是纵向的反射部的数量，wh是反射部的横向的间距，wv是反射部的纵向的间距，δ是狄拉克函数(dirac delta function)，x、y是以二维坐标系表示配置有反射部的平面时的各反射部的坐标值。
[0036]
此外，所述反射部的排列函数p(x，y)可以由数式
决定，其中，h是横向的反射部的数量，w是纵向的反射部的数量，wh是反射部的横向的间距，wv是反射部的纵向的间距，δ是狄拉克函数(dirac delta function)，x、y是以二维坐标系表示配置有反射部的平面时的各反射部的坐标值。
[0037]
此外，所述眼球点扩散函数可以基于瞳孔的直径、基准影像距离以及出瞳距离来决定。
[0038]
此外，所述眼球点扩散函数可以由决定，其中，c是模糊直径(blur diameter)，
[0039]
此外，所述校正图像信息生成部可以通过以下数式生成校正增强现实用图像信息：校正增强现实用图像信息＝原本增强现实用图像信息
×
补偿函数。
[0040]
此外，所述影像校正装置还可以包括深度摄像头，该深度摄像头测量基准影像距离，所述补偿函数决定部从所述深度摄像头接收基准影像距离以计算眼球点扩散函数。
[0041]
此外，所述影像校正装置还可以包括眼球追踪装置，该眼球追踪装置测量瞳孔的直径和出瞳距离，所述补偿函数决定部从所述眼球追踪装置接收瞳孔的直径和出瞳距离以计算眼球点扩散函数。
[0042]
此外，所述补偿函数决定部可以从所述眼球追踪装置接收瞳孔的相对位置信息以计算反射部的排列函数的偏移值，并基于此来决定反射部的排列函数p(x，y)。
[0043]
发明的效果
[0044]
根据本发明可以提供一种使用多个反射部提供增强现实用图像的增强现实用光学装置，即，通过预先校正增强现实用图像的亮度分布信息，能够提供具有均匀的亮度分布的增强现实用图像，以便能够解决亮度分布不均匀的问题的增强现实用图像的影像校正装置。
附图说明
[0045]
图1是示出如由本技术人申请的专利文献1所公开的增强现实用光学装置100的图。
[0046]
图2和图3示出了配置多个反射部20的增强现实用光学装置200，图2是增强现实用光学装置200的侧视图，图3是增强现实用光学装置200的正视图。
[0047]
图4是用于说明用户通过图2和图3的增强现实用光学装置200观测的增强现实用图像的亮度分布不均匀的问题的图。
[0048]
图5是示出本发明的一实施例的增强现实用图像的影像校正装置300和增强现实用光学装置200的图。
[0049]
图6示出反射部20的排列函数的另一例。
[0050]
图7是示出眼球点扩散函数的一例的图。
[0051]
图8是用于说明眼球点扩散函数的c、da、do、dm的图。
[0052]
图9示出眼球点扩散函数的另一例。
[0053]
图10示出通过反射部20的形态函数、反射部20的排列函数及眼球点扩散函数的卷积运算表达用户观察的观察影像的亮度分布的原理。
[0054]
图11用于说明通过预先校正用户观察的观察影像，能够获得具有均匀的亮度分布的观察影像的本发明的原理。
[0055]
图12是将应用本发明的影像校正装置300的情况的观察影像与未应用影像校正装置300的情况的观察影像进行比较而示出的图。
具体实施方式
[0056]
下面参照附图对本发明的实施例进行详细描述。
[0057]
图5是示出本发明的一实施例的增强现实用图像的影像校正装置300和增强现实用光学装置200的图。
[0058]
图5的实施例的增强现实用图像的影像校正装置300(以下简称为“影像校正装置300”)基于原本增强现实用图像信息生成校正增强现实用图像信息，并将生成的校正增强现实用图像信息传输至增强现实用光学装置200的图像射出部30，由此执行通过增强现实用光学装置200为用户提供具有均匀的亮度分布的校正增强现实用图像的功能。
[0059]
影像校正装置300包括补偿函数决定部310和校正图像信息生成部320，对此将后述，首先，对应用本发明的影像校正装置300的增强现实用光学装置200的结构及动作进行示意性的说明。
[0060]
如在前文中参照图2和图3在背景技术中所描述，增强现实用光学装置200具备光学机构10、多个反射部20以及图像射出部30。
[0061]
光学机构10是使作为从实际事物射出的图像光的实际事物图像光的至少一部分朝向用户的眼睛的瞳孔50透过的机构，多个反射部20是配置于所述光学机构10的内部以反射由图像射出部30射出的校正增强现实图像光而传递至用户的瞳孔50的机构。
[0062]
其中，如前文中在背景技术中所描述，多个反射部20分别形成为尺寸小于人的平均的瞳孔的尺寸，即8mm以下，更优选地形成为4mm以下，以便能够通过加深景深来获得针孔效应。
[0063]
图像射出部30是从影像校正装置300接收校正增强现实用图像信息，并射出与其相应的校正增强现实图像光的机构。图像射出部30例如可以由诸如小型的lcd的显示装置和准直器构成。由于这样的图像射出部30本身不是本发明的直接的目的，并且在现有技术中是已知的，因此省略详细描述。
[0064]
在图5中，图示为多个反射部20从图像射出部30直接接收校正增强现实图像光，但这是示例性的，显而易见地，也可以构成为使来自图像射出部30的校正增强现实图像光在光学机构10的内面至少全反射一次而被传递至反射部20。
[0065]
此外，如前所述，多个反射部20被配置为当从光学机构10的侧面观察时构成下侧的行的反射部20位于更靠近瞳孔50的位置，但这也是示例性的，当然，也可以具有其他配置结构。
[0066]
即，应用本发明的影像校正装置300的增强现实用光学装置200在反射部20的具体
的配置结构或图像射出部30与瞳孔50之间的光路上没有特殊的限制，可以应用于所有使用多个反射部20将增强现实图像光传递至用户的瞳孔50的增强现实用光学装置200。
[0067]
接下来，对影像校正装置300进行描述。
[0068]
影像校正装置300包括补偿函数决定部310和校正图像信息生成部320。
[0069]
补偿函数决定部310决定用于校正在由图像射出部30射出原本增强现实用图像时用户通过增强现实用光学装置200观察的观察影像的亮度信息的补偿函数，校正图像信息生成部320执行基于由所述补偿函数决定部310决定的补偿函数来生成校正增强现实用图像信息的功能。
[0070]
首先，补偿函数决定部310例如从包括在诸如计算机或智能手机的设备中的影像播放装置(未图示)接收原本增强现实用图像信息，并基于此决定用于校正在通过图像射出部30射出原本增强现实用图像时用户观察的观察影像的亮度信息的补偿函数并传输至校正图像信息生成部320。
[0071]
其中，增强现实用图像信息是允许增强现实用图像能够从图像射出部30作为增强现实用图像光射出的信息，是指用于将增强现实用图像显示于包括在图像射出部30中的显示部(未图示)的信息。
[0072]
通常，就用于将在显示部上显示图像的信息而言，当该图像由m
×
n个像素(pixel)构成时，由各像素的r(red，红)、g(green，绿)、b(blue，蓝)各颜色的强度值(intensity value)所构成的m
×n×
3的三维阵列(array)构成。其中，各像素的r(red，红)、g(green，绿)、b(blue，蓝)各颜色的强度值对应于相应像素的r、g、b各颜色的亮度。强度值的范围通常以取值在0～255之间的方式用8比特表示，并且通过各颜色的组合，可以具有256
×
256
×
256种组合。
[0073]
增强现实用图像信息也以能够在包括在图像射出部30中的显示部上显示增强现实用图像的方式在相应增强现实用图像由m
×
n个像素(pixel)构成的情况下由各像素的r、g、b各颜色的强度值所构成的m
×n×
3的三维阵列构成，并且这可以用矩阵(matrix)来标记。
[0074]
另一方面，在本发明中，“原本(original)”增强现实用图像信息是指未由本发明的影像校正装置300进行亮度信息的校正的状态下的增强现实用图像的图像信息，“校正(pre-compensated)”增强现实用图像信息是指具有由本发明的影像校正装置300校正的亮度信息的校正增强现实用图像的图像信息。
[0075]
用于校正在通过图像射出部30射出原本增强现实用图像时用户观察的观察影像的亮度信息的补偿函数(compensation function)可以由如下数式决定。
[0076][0077]
其中，α是比例因子(scaling factor)，是用于在校正增强现实用图像的亮度超过图像射出部30的显示部能够呈现的范围时将其归一化(normalization)以使其与显示部能够呈现的范围相应的值。这可能根据校正增强现实用图像的最大值而变化。
[0078]
此外，m(x，y)是反射部20的形态函数，p(x，y)是反射部20的排列函数，psf(x，y)是眼球点扩散函数(eye point spread function，psf)，*是卷积算子(convolution operator)。
[0079]
此外，x、y是以二维坐标系表示配置有反射部20的平面或视网膜时的x轴和y轴的坐标值。
[0080]
反射部20的形态函数m(x，y)是数学上地表示反射部20的形状的函数，例如当反射部20为圆形时，可以如下定义。
[0081][0082]
其中，x、y是以二维坐标系表示配置有反射部20的平面时的坐标值，r是反射部20的半径。
[0083]
此外，在小于r的情况下是1，在其他情况下是0。
[0084]
反射部20的排列函数(p(x，y))是描述在配置有反射部20的平面上的反射部20的配置结构的函数，是将各反射部20的中心的位置表示于配置有反射部20的平面的二维坐标系的函数。
[0085]
例如，当假设多个反射部20被排列成二维的网格形态时，表示各反射部20的中心的位置的反射部20的排列函数可以如下定义。
[0086][0087]
其中，h是横向的反射部20的数量，w是纵向的反射部20的数量，wh是反射部20的横向的间距，wv是反射部20的纵向的间距，δ是狄拉克函数(dirac delta function)。此外，x、y是以二维坐标系表示配置有反射部20的平面时的各反射部20的坐标值。
[0088]
图6示出反射部20的排列函数的另一例。
[0089]
参照图6，多个反射部20呈六边形的二维网格形态排列，被配置为每行间隔wv，每列间隔wh/2。
[0090]
在这种情况下，反射部20的排列函数可以如下定义。
[0091][0092]
在上述数式中，左侧的sigma运算表示从左侧起第奇数列的反射部20的排列，右侧的sigma运算表示第偶数列的反射部20的排列。
[0093]
其中，h是横向的反射部20的数量，w是纵向的反射部20的数量，wh是反射部20的横向的间距，wv是反射部20的纵向的间距，δ是狄拉克函数(dirac delta function)。此外，x、y是以二维坐标系表示配置有反射部20的平面时的各反射部20的坐标值。
[0094]
眼球点扩散函数(eye point spread function，psf(x，y))是指在观察距瞳孔50距离dm处的点光源时成像于视网膜上的影像的强度(intensity)值的视网膜面上的二维空间分布函数。
[0095]
图7是示出眼球点扩散函数的一例的图。
[0096]
图7的眼球点扩散函数可以由如下高斯分布(gaussian distribution)定义。
[0097][0098]
其中，c是模糊直径(blur diameter)，由定义。
[0099]
此外，da是瞳孔50的直径，do是基准影像距离(增强现实用图像中包括的客体的焦点位置)，dm是出瞳距离(瞳孔50与反射部20的距离，eye relief)，x、y是以二维坐标系表示视网膜时的坐标值。
[0100]
图8是用于说明眼球点扩散函数的c、da、do、dm的图。
[0101]
参照图8，da是瞳孔50的直径，dm是出瞳距离(eye relief，瞳孔50到反射部20的距离)。
[0102]
此外，do为基准影像距离，是指作为增强现实用图像中包括的客体的虚拟物体的位置，即焦点位置与瞳孔50之间的距离。
[0103]
另一方面，c为模糊直径，是指当一个点光源通过反射部20投影到视网膜上时点光源蔓延开的弥散圆(circle of confusion)的直径。
[0104]
的数式可以由如图8所示的三角形的比例示导出。
[0105]
图9示出眼球点扩散函数的另一例。
[0106]
可以看出图9的眼球点扩散函数呈现如下分布，即，距原点对应于瞳孔50的半径的位置上的亮度最高，对应于瞳孔50的中心的位置的亮度稍微低，并且在相较于瞳孔50的半径位于外侧的位置上亮度急剧下降。
[0107]
图9的眼球点扩散函数可以被一般化为来表示，其中，以下标表示的da、do、dm意味着眼球点扩散函数因这些值而变化。
[0108]
这样的眼球点扩散函数是由人的眼球特性而决定的函数，根据个人的视力、年龄、眼球状态等，每个人的眼球点扩散函数的详细形态可能会有所不同，但一般来说，中心部呈亮的同心圆的形态，每个人的眼球点扩散函数因瞳孔直径、基准影像距离、出瞳距离而变化，但在相同的条件下具有相同的值。
[0109]
另一方面，需要注意的是，虽然图7和图9中的眼球点扩散函数是为了便于说明而用一维函数表达的，但实际上是对应于视网膜面的分布函数，因而是根据视网膜的位置(x、y)而变化的二维函数。
[0110]
此外，图7和图9所示的眼球点扩散函数是示例性的，当然也可以使用其他眼球点扩散函数。
[0111]
可以通过这样的反射部20的形态函数(m(x，y))、反射部20的排列函数(p(x，y))、眼球点扩散函数(psf(x，y))以及比例因子(α)来决定补偿函数，这基于如下原理。
[0112]
用户观察的观察影像是由图像射出部30射出的增强现实用图像在反射部20反射并通过瞳孔50投影到视网膜上的影像，因而用户观察的观察影像的亮度可以用反射部20的形态函数(m(x，y))、反射部20的排列函数(p(x，y))以及眼球点扩散函数(psf(x，y))的卷积运算(convolution operation)乘以原本增强现实用图像的值的结果来表示。
[0113]
图10示出通过反射部20的形态函数、反射部20的排列函数及眼球点扩散函数的卷积运算表达用户观察的观察影像的亮度分布的原理。
[0114]
如图10的(a)所示，原本影像(original image)与位置无关具有相同的亮度分布，反射部20以如图10的(b)所示的宽度和间距配置，当假设具有如图10的(c)所示的眼球点扩散函数时，可以看出最终用户将观察到的观察影像(observed image)的亮度如图10的(d)所示由反射部20的形态函数(m(x，y))、反射部20的排列函数(p(x，y))以及眼球点扩散函数(eye point spread function，psf，psf(x，y))的卷积运算的结果乘以原本影像的值表示。
[0115]
其中，将原本影像与反射部20的形态函数、反射部20的排列函数及眼球点扩散函数的卷积运算的结果相乘是指，当如前所述原本影像由m
×
n个像素(pixel)时，对由各像素的r、g、b各颜色的强度值构成的m
×n×
3个像素行列与m(x，y)*p(x，y)*psf(x，y)的结果按行列的成分执行乘法运算。
[0116]
即，观察影像的亮度分布可以由下式获得。
[0117]
观察影像的亮度分布＝原本影像
×
m(x，y)*p(x，y)*psf(x，y)
[0118]
另一方面，不同于在图10的(a)中原本影像的亮度分布均匀，通过图10的(b)和(c)中的卷积运算，即，m(x，y)*p(x，y)*psf(x，y)，可以看出如图10的(d)所示的最终观察影像根据位置呈现不均匀的亮度分布。
[0119]
考虑到这样的原理，如果可以预先对传递至图像射出部30的增强现实用图像信息进行校正，以便能够使最终观察影像的亮度分布均匀，则可以获得具有均匀的亮度分布的最终观察影像。
[0120]
图11用于说明通过预先校正用户观察的观察影像，能够获得具有均匀的亮度分布的观察影像的本发明的原理。
[0121]
图11的(b)和(c)与图10的(b)和(c)相同，与图10的不同之处在于，输入如图11的(a)所示的具有亮度分布的预校正影像(pre-compe nsated image)，而不是原本影像。
[0122]
如图10中所述，由于观察影像的亮度分布可以通过预校正影像
×
m(x，y)*p(x，y)*psf(x，y)来获得，因而具有如图11的(a)所示的亮度分布的预校正影像的最终观察影像将如图11的(d)所示具有均匀的亮度分布。
[0123]
基于这样的原理，补偿函数决定部310通过数式决定补偿函数。
[0124]
另一方面，反射部20的形态和排列是在制造增强现实用光学装置200时预先决定的，因而反射部20的形态函数和排列函数是可以预先知道的值，而眼球点扩散函数中除了瞳孔50的直径，即da外，do、dm也是在设计增强现实用光学装置200时预先设定的，是不会另行被改变的值。
[0125]
因此，只要测量增强现实用光学装置200的用户的瞳孔50的直径级即可计算补偿函数。
[0126]
用户的瞳孔50的直径根据包含在增强现实用图像中而显示的主要客体的深度信息、原本增强现实用图像的亮度信息等而变化，由于主要客体的深度信息、原本增强现实用图像的亮度信息也是预先可以知道的值，因此，如果预先通过实验求出于这些值相应的用户的瞳孔50的直径的平均值，可以简便地获补偿函数。
[0127]
接下来，对校正图像信息生成部320进行描述。
[0128]
校正图像信息生成部320执行基于由补偿函数决定部310决定的补偿函数和原本增强现实用图像信息生成校正增强现实用图像信息并传递至图像射出部30的功能。
[0129]
其中，校正增强现实用图像信息可以通过如下数式来获得。
[0130]
校正增强现实用图像信息＝原本增强现实用图像信息
×
补偿函数
[0131]
如前所述，意指当原本增强现实用图像由m
×
n个像素构成时，对由各像素的r、g、b各颜色的强度值构成的m
×n×
3个像素行列和补偿函数按行列的成分执行乘法运算。
[0132]
基于由此生成的校正增强现实用图像信息的校正增强现实用图像的亮度分布与图11的(a)所表示的相同。
[0133]
接收到这样的校正增强现实用图像信息的图像射出部30射出与之相应的校正增强现实图像光，反射部20反射校正增强现实图像光而传递至瞳孔50以为用户提供校正增强现实用图像，由于这与图11的(b)、(c)中的反射部20的形态函数、反射部20的排列函数以及眼球点扩散函数的卷积运算相应，用户最终观察到的校正增强现实用图像具有如图11的(d)所示的均匀的亮度分布。
[0134]
图12是将应用本发明的影像校正装置300的情况的观察影像与未应用影像校正装置300的情况的观察影像进行比较而示出的图。
[0135]
在图12中，(a)示出了原本增强现实用图像显示于图像射出部30上的状态，(b)示出了在不应用影像校正装置300的情况下通过增强现实用光学装置200向瞳孔50传递原本增强现实用图像时用户观察到的观察影像。可以看出，具有如图4和图10的(d)所述不均匀的亮度分布。
[0136]
另一方面，图12的(c)示出了如前所述与由影像校正装置300生成的校正增强现实用图像信息相应的校正增强现实用图像显示于图像射出部30的状态，(d)示出了在校正增强现实用图像通过增强现实用光学装置200被传递至瞳孔50时用户观察到的最终观察影像。如图12的(d)所示，可以看出通过影像校正装置300校正亮度信息的校正增强现实用图像的观察影像具有均匀的亮度分布。因此，可以为用户提供相较于图12的(b)的情况更清晰、清楚的增强现实用图像。
[0137]
另一方面，如前所述，眼球点扩散函数因瞳孔50的直径da、出瞳距离dm、以及基准影像距离do而改变，其中，当基准影像距离do变化时，为了对其进行测量，可以使用深度摄像头(depth camera)动态地测量虚拟物体的位置与瞳孔50之间的距离。
[0138]
此外，使用眼球追踪装置时，可以动态地测量瞳孔50的直径da和出瞳距离dm。
[0139]
此外，在上述实施例中，反射部20的排列函数(p(x，y))针对固定的瞳孔50的位置进行了描述，然而，当瞳孔50的位置移动时，反射部20的排列函数(p(x，y))可能会发生偏移。此时，使用眼球追踪装置，可以实时获知瞳孔50的相对位置，因而可以校正反射部20的排列函数(p(x，y))的偏移，这在任意的反射部20的排列函数(p(x，y))中都可以应用。
[0140]
在这种情况下，如前所述的表示反射部20的中心的位置的反射部20的排列函数可以如下修改。
[0141][0142]
其中，xo、yo分别是x轴、y轴方向的偏移值。
[0143]
此外，当深度摄像头和眼球追踪装置一起使用时，测量瞳孔50的直径da、出瞳距离dm以及基准影像距离do、瞳孔50的相对位置都可以实时测量。
[0144]
因此，例如对于增强现实用图像为视频且基准影像距离变化的情况、以及因亮度的变化而导致瞳孔的直径经常变化的情况，也可以容易地适用本发明。
[0145]
由于这样的深度摄像头和眼球追踪装置在现有技术中是已知的，因而此处省略详细描述。
[0146]
虽然上文中参照本发明的优选实施例对本发明进行了描述，但本发明不限于上述实施例，当然，可以实施多种修改和变形。