图像处理设备、方法、系统、介质和学习模型的制造方法与流程

1.本发明涉及使用机器学习或深度学习(dl)从双视点图像估计其它视点图像的图像处理方法。


背景技术：

2.n.k.kalantari、t
‑
c.wang、r.m.ramamoorthi，“learning
‑
based view synthesis for light field camera(光场照相机的基于学习的视图合成)”，siggraph asia(2016)(“kalantari等人”)公开了一种使用dl从四视点图像估计其它视点图像的方法。四视点图像是通过在不同的四个视点处拍摄相同被摄体而产生的图像，而其它视点图像是仿佛通过在与四个视点不同的一个或多个视点处拍摄相同被摄体而产生的图像。
3.在使用kalantari等人所公开的方法从横向方向上具有视差(视差)的双视点图像估计其它视点图像的情况下，双视点图像中的矩形被摄体的估计精度被降低。这是因为很难找到双视点图像之间的矩形被摄体的对应点，以至于不能确定从照相机到矩形被摄体的深度。


技术实现要素：

4.本发明提供了一种图像处理设备，其可以高精度地从双视点图像估计其它视点图像。
5.根据本发明的一个方面的图像处理设备包括被配置为执行多个任务的至少一个处理器或电路，多个任务包括：获取任务，其被配置为获取通过在不同的两个视点拍摄相同被摄体而产生的两个第一图像，以及图像处理任务，其被配置为将两个第一图像输入到机器学习模型中，并估计在与两个视点不同的一个或多个视点处的第二图像。与上述图像处理设备相对应的图像处理方法也构成本发明的其它方面。一种存储有使计算机执行上述图像处理方法的计算机程序的非暂时性计算机可读存储介质也构成本发明的其它方面。
6.根据本发明的另一方面的图像处理设备包括被配置为执行多个任务的至少一个处理器或电路，多个任务包括：图像生成任务，其被配置为生成通过在不同的两个视点处拍摄相同被摄体而产生的两个第一图像，以及在与所述两个视点不同的一个或多个视点处的第二图像；以及学习任务，其被配置为将所述两个第一图像输入到机器学习模型中，将输出图像和所述第二图像彼此进行比较，并学习所述机器学习模型。与上述图像处理设备相对应的图像处理方法和制造学习模型的方法各自也构成本发明的其它方面。一种存储有使计算机执行上述图像处理方法的计算机程序的非暂时性计算机可读存储介质也构成本发明的其它方面。
7.根据本发明的其它方面的图像处理系统包括第一装置和能够与所述第一装置通信的第二装置。所述第一装置包括发送器，所述发送器被配置为发送请求所述第二装置处理通过在不同的两个视点拍摄相同被摄体而产生的两个第一图像的请求。所述第二装置包括：接收器，其被配置为接收从所述发送器发送的所述请求，以及至少一个处理器或电路，
其被配置为执行包括图像处理任务的多个任务，图像处理任务被配置为将所述两个第一图像输入到机器学习模型中，并估计在与所述两个视点不同的一个或多个视点处的第二图像。
8.从以下参照附图对示例性实施例的描述，本发明的进一步特征将变得明显。
附图说明
9.图1示出各实施例中的机器学习模型的学习流程。
10.图2是根据第一实施例的图像处理系统的框图。
11.图3是根据第一实施例的图像处理系统的外视图。
12.图4是与各实施例中的权重学习有关的流程图。
13.图5是与根据各实施例的其它视点图像的估计有关的流程图。
14.图6是根据第二实施例的图像处理系统的框图。
15.图7是根据第二实施例的图像处理系统的外视图。
16.图8是根据第三实施例的图像处理系统的框图。
17.图9是与根据第三实施例的其它视点图像的估计有关的流程图。
18.图10说明了各实施例中的概要。
19.图11示出根据各实施例的变体的机器学习模型的学习流程。
20.图12示出根据各实施例的其它变体的机器学习模型的学习流程。
具体实施方式
21.现在参照附图，将详细描述根据本发明的实施例。各个附图中的相应要素将由相同的附图标记表示，并将省略对这些要素的重复描述。
22.在给出具体描述之前，现在将给出各实施例的要点的描述。在各实施例中，在使用dl从横向方向上具有视差的双视点图像估计其它视点图像时，稳健地估计双视点图像中的矩形被摄体的其它视点图像。
23.dl采用神经网络进行图像处理。神经网络使用要与图像卷积的滤波器、添加到其上的偏差以及进行非线性变换的激活函数。滤波器和偏差被称为权重，并且通过从训练图像中学习来生成权重。本发明使用双视点图像和与其对应的其它视点图像作为训练图像。可选地，可以使用参数的激活函数来通过学习同时生成这些参数。
24.作为将滤波器与图像卷积、向图像添加偏差以及对图像进行非线性变换的重复处理的结果而在神经网络的中间层中所获得的多维阵列被称为特征图。通过多次将多个滤波器与图像卷积而获得的特征图的一个点包括与图像中对应的宽区域(感受野)有关的信息。
25.现在参照图10，将给出各实施例的概述。各实施例首先使用第一神经网络从双视点图像(第一图像)生成双视点图像的两个特征图(第一特征量)。接着，各实施例将所生成的两个特征图彼此进行比较，并提取与双视点图像的对应点有关的信息(第二特征量)。这里，与双视点图像的对应点有关的信息是用于从双视点图像中的相同被摄体的深度(距离)求出偏移量的信息。最后，由第二神经网络从与双视点图像的对应点有关的信息(第二特征量)来估计其它视点图像(第二图像)。
26.各实施例以如下方式来表征：通过比较从双视点图像所获得的两个特征图来找到
对应点。这使得与针对各像素比较双视点图像的现有技术相比，更容易找到矩形被摄体的对应点。这是因为即使对于矩形被摄体，当在宽阔区域中观察时，也能够找到对应点的线索(矩形被摄体的边缘和矩形被摄体的表面的纹理)。结果，各实施例可以稳健地估计在横向方向上具有视差的双视点图像中的矩形被摄体的其它视点图像。
27.现在将给出使用模板匹配找到双视点图像的对应点的描述。较大的模板可能能够找到双视点图像的矩形被摄体的对应点。然而，这是不现实的，因为模板越大，计算负荷就变得越重。使用特征图的各实施例仅通过加深网络就可以扩展感受野，并在双视点图像的更宽区域中搜索对应点。结果，变得容易找到双视点图像的矩形被摄体的对应点。
28.通常，在横向(或水平)方向上具有视差的双视点图像在纵向(或垂直)方向上没有视差信息。因此，难以基于双视点图像来估计在纵向方向(与预定方向正交或不同的方向)而不是两个视点所确定的横向方向(预定方向)上偏移的视点处的图像。然而，各实施例可以通过比较从双视点图像获得的两个特征图并通过找到对应点来高精度地估计从照相机到被摄体的距离。根据该结果来估计纵向方向上的视差信息，各实施例能够基于双视点图像来估计在纵向方向而不是两个视点所确定的横向方向上偏移的视点处的图像。
29.上述图像处理方法仅是说明性的，并且各实施例不限于该示例。在下面的各实施例中将描述其它图像处理方法等的细节。各实施例不限于双视点图像的两个视点在横向方向上偏移的情况，而是适用于视点在任意方向(预定方向)上偏移的图像。
30.第一实施例
31.现在将描述根据本发明第一实施例的图像处理系统。该实施例提供了用于使用神经网络从双视点图像来估计其它视点图像的图像处理的学习和执行。
32.图2是根据该实施例的图像处理系统100的框图。图3是图像处理系统100的外观图。图像处理系统100包括学习设备101、摄像设备102、图像估计设备103、显示设备104、记录介质105、输出设备106b和网络107。
33.学习设备(图像处理设备)101包括存储器101a、图像生成单元101b、特征量生成单元101c、特征量比较单元101d、图像重构单元101e和学习单元101f。
34.摄像设备102包括光学系统(摄像光学系统)102a和图像传感器102b。光学系统102a收集从被摄体空间入射到摄像设备102上的光。通过接收经由光学系统102a所形成的被摄体的光学图像来获取拍摄图像(双视点图像)。图像传感器102b是像平面相位检测传感器。这里，像平面相位检测传感器是一个像素包括单个微透镜和多个光电转换元件(光电二极管等)的图像传感器，并且因为已经通过摄像光学系统的不同瞳孔区域的光束被光电转换元件记录，所以能够同时获取多个视点图像。本发明使用一个像素在左右两侧包括两个独立的光电转换元件的图像传感器。该结构能够同时提供用右眼和左眼观看相同被摄体的双视点图像。设置有像平面相位检测传感器的摄像设备102主要用于对被摄体自动调焦(自动调焦)。根据本实施例的摄像设备102不限于该结构，并且可以是例如立体照相机，只要它能够获取双视点图像。在该情况下，图像传感器102b是ccd(电荷耦合元件)传感器、cmos(互补金属氧化物半导体)传感器等。用于存储所获取到的双视点图像的存储器和用于显示所获取到的双视点图像的显示单元、用于向外部发送信息的发送器、用于将信息存储在外部存储介质中的输出单元、用于控制摄像设备102中的各单元的控制单元等没有分别在图2和图3中示出。
35.图像估计设备(图像处理设备)103具有存储器103a、获取单元103b和图像处理单元(估计单元)103c。图像估计设备103进行用于根据所获取到的双视点图像来估计其它视点图像的图像处理。神经网络用于图像处理，并且从存储器103a读出神经网络的权重信息。学习设备101学习了权重，图像估计设备103经由网络107预先从存储器101a读出权重信息，并将权重存储在存储器103a中。要存储的权重信息可以是权重值本身，或者可以是编码形式的。稍后将描述权重学习和使用权重的图像处理的细节。
36.估计的其它视点图像被输出到显示设备104、记录介质105和输出设备106b中的至少一个。显示设备104是例如液晶显示器或投影仪。用户可以在经由显示设备104检查正在处理的图像的同时进行编辑工作等。记录介质105例如是半导体存储器、硬盘、网络上的服务器等。输出设备106b是打印机等。如果需要，图像估计设备103用以进行诸如显影处理和重新聚焦等的图像处理。重新聚焦是如下的图像处理：通过在使多视点图像相对于彼此偏移以与对应点重叠之后将这些多视点图像相加来将聚焦位置(焦点位置或焦平面)改变到对应点。也就是说，图像处理单元103c可以生成聚焦位置已经从估计的其它视点图像改变的第三图像(重新聚焦图像)。
37.现在参照图1和图4，将给出在本实施例中由学习设备101所执行的权重学习方法(用于制造学习模型的方法)的描述。图1示出神经网络的学习权重的流程(机器学习模型)。图4是与权重学习相关的流程图。图4中的各步骤主要由图像生成单元101b、特征量生成单元101c、特征量比较单元101d、图像重构单元101e或学习单元101f执行。
38.首先，在图4的步骤s101中，图像生成单元101b生成双视点片(两个第一图像)和对应的其它视点片(至少一个第二图像)。在本实施例中，双视点片是通过在不同的两个视点处拍摄相同被摄体而产生的图像(第一图像)，而其它视点片是通过在与该两个视点不同的一个或多个视点处拍摄相同被摄体而产生的图像(第二图像)。片指的是具有预定数量的像素(诸如120
×
120像素等)的图像。在本实施例中，与两个视点不同的一个或多个视点包括但不限于在与由两个视点所确定的方向正交的方向上偏移的视点，并且可以包括在与由两个视点所确定的方向不同的方向上偏移的视点。
39.本实施例通过光场照相机获取多视点图像，并根据多视点图像生成双视点片和其它视点片。例如，可以通过光场照相机获取四视点图像，并且可以根据所获取到的四视点图像生成由具有像平面相位检测传感器的照相机所获取到的对应的两视点图像。可以通过基于视点之间的关系插值视点图像来生成四视点图像到双视点图像。由光场照相机传感器和像平面相位检测传感器的配置来确定视点之间的关系。
40.然而，本实施例不限于本示例，可以通过数值计算来生成双视点片和对应的其它视点片。例如，可以通过在3dcg的三维空间中布置被摄体和照相机并通过渲染由照相机所拍摄到的对应图像来生成双视点片和对应的其它视点片。
41.接着，在步骤s102中，特征量生成单元101c使用第一神经网络从双视点片(两个第一图像)生成双视点片的特征图(两个第一特征量)。为双视点片中的各双视点片准备一个第一神经网络(对于双视点片中的各双视点片都存在)。在本实施例中，被输入双视点片的各第一神经网络具有相同的网络结构和权重。然而，本实施例不限于本示例，并且被输入双视点片的各第一神经网络可以具有不同的网络结构和/或权重。
42.本实施例将双视点片中的各双视点片输入到第一神经网络，但是本发明不限于本
示例。例如，与摄像条件和估计的其它视点片的视点有关的信息、可以与双视点片一起输入到第一神经网络。这里，摄像条件包括拍摄了双视点片的镜头的光圈值(f数)、焦距、从照相机到聚焦被摄体的距离、以及照相机侧的传感器的iso灵敏度(传感器灵敏度)、快门速度、像素间距和各种滤波器特性等。
43.将与成像条件和估计的其它视点图像的视点有关的信息输入到神经网络的一种方法是，例如，将以与镜头的f数相对应的值作为像素值的图像与双视点片组合、并将该组合输入到第一神经网络的方法。可选地，可以使用如下方法：将与镜头的f数相对应的值输入到第三神经网络，将以所获得的值作为像素值的图像与双视点片组合，并将该组合输入到第一神经网络。也就是说，与镜头的f数相对应的值可以不以其原样地输入到第一神经网络中，并且可以在通过单独准备的第三神经网络对该值进行非线性转换之后输入到第一神经网络中。此外，例如，代替将双视点片直接输入到第一神经网络中，可以输入通过将双视点片在横向方向上插值并以子像素偏移而得到的图像。
44.接着，在步骤s103中，特征量比较单元101d将分别从双视点片(两个第一图像)生成的两个特征图(两个第一特征量)彼此进行比较，并且提取与双视点片的对应点有关的信息(第二特征量)。在本实施例中，特征量比较单元101d计算两个特征图的对应点(两个特征图的相似度)并进行比较。更具体地，特征量比较单元101d基于两个特征图的矩阵积进行处理，并计算两个特征图的对应点。然而，本实施例不限于使用基于特征图的矩阵积的处理的比较方法。例如，可以使用诸如sift、surf和hog等的已用于对准的经典特征量。可选地，可以使特征图在横向方向上以子像素偏移，然后针对各像素相减来进行比较。可选地，特征图可以由第四神经网络连结并处理以进行比较。
45.接着，在步骤s104中，图像重构单元101e基于与双视点片的对应点有关的信息(第二特征量)使用第二神经网络来生成估计片(输出图像)202。估计片202是从双视点片(两个第一图像)201获得的其它视点片(第二图像)200的估计(估计图像)。
46.本实施例将与双视点片的对应点有关的信息(第二特征量)输入到第二神经网络中，但是本发明不限于本示例。例如，可以将与摄像条件和估计的其它视点图像的视点有关的信息连同与双视点片的对应点有关的信息一起输入到第二神经网络中。这里，摄像条件与步骤s102中的摄像条件相同。将与摄像条件和估计的其它视点图像的视点有关的信息输入到第二神经网络的方法与步骤s102中的方法相同。与双视点图像的对应点有关的信息可以用于扭曲双视点片，然后输入到第二神经网络中。
47.在本实施例中，如图1所示，前半分支网络表示第一神经网络，后半网络表示第二神经网络。图1中的cn表示卷积层。在卷积层cn中，计算输入和滤波器的卷积以及偏置的相加，并且通过激活函数对结果进行非线性变换。在本实施例中，滤波器的每个分量和偏置的初始值是任意的，并且通过随机数来确定。激活函数可以使用例如relu(修正线性单元)、sigmoid函数等。除最后一层外的各层中的多维数组输出被称为特征图。跳跃连接203是用于合成从非连续层输出的特征图的快捷路径。可以通过逐个要素的求和或通过在通道方向上的连结来合成特征图。在本实施例中，采用逐个要素求和。
48.图1中的附图标记204表示用于将分别从双视点片(两个第一图像)201生成的两个特征图(两个第一特征量)彼此进行比较的比较单元，并且与图2中的特征量比较单元101d的功能相对应。如上所述，在本实施例中，特征图比较方法是矩阵积，但是该方法不限于本
示例。
49.图1的虚线框205中的要素表示残差块(residual block)。尽管没有被虚线包围，但在第一神经网络中，这些残差块之前和之后的那些模块也是残差块。同样地，第二神经网络包括残差块。因此，堆叠有残差块的神经网络被称为残差网络，并且被广泛用于通过dl的图像处理。然而，本实施例不限于本示例，并且可以堆叠其它模块来形成神经网络。例如，可以使用inception模块，其中具有不同卷积滤波器大小的卷积层和多个所获得的特征图被集成以形成最终的特征图。可以使用具有密集跳跃连接的密集块。
50.可以通过对靠近输入的层中的特征图下采样和对靠近输出的层中的特征图进行上采样来减小处理负荷(卷积次数)，从而减小中间层中的特征图的大小。对特征图下采样可以使用池化、卷积步长、逆像素重组等。对特征图进行上采样可以使用反卷积或转置卷积、像素重组、插值等。
51.接着，在图4的步骤s105中，学习单元101f使用其它视点片(第二图像)200与其估计片(输出图像或估计图像)202之间的误差来更新图1所示的神经网络的权重。权重包括滤波器组件和各层的偏置。使用反向传播方法来更新权重，但是本实施例不限于本示例。小批量学习求出多个其它视点片200和对应于这些视点片的估计片202之间的误差，并更新权重。误差函数(损失函数)可以使用例如l2范数或l1范数。权重更新方法(学习方法)不限于小批量学习，并且可以采用批量学习或在线学习。仅有第二神经网络可以使用先前学习的第一神经网络的权重来训练。也就是说，第一神经网络的权重可以在没有学习的情况下固定，并且可以仅学习第二神经网络。可选地，可以仅学习第一个神经网络。尽管图1中未示出，但是在第三神经网络在步骤s102中使用的情况下，也同时更新其权重。在第四神经网络在步骤s103中使用的情况下，这一点同样适用。
52.接着，在步骤s106中，学习单元101f判断权重学习是否已经终止。可以通过判断学习(权重更新)的迭代次数是否已经达到指定值，或者更新期间的权重变化量是否小于指定值来判断终止。在判断为学习尚未终止的情况下，流程返回到步骤s101以获取多个新的双视点片(第一图像)201和其它视点片(第二图像)200。另一方面，在判断为学习已经终止的情况下，学习设备101(学习单元101f)结束学习，并将权重信息存储在存储器101a中。
53.本实施例使用图1所示的配置作为机器学习模型，但是本发明不限于本示例。例如，可以使用图11或图12所示的配置。图11示出根据本实施例的变体的机器学习模型的学习流程。如图11所示，可以使用如下机器学习模型：将双视点片(两个第一图像)201输入到共用神经网络以生成估计片(输出图像)202。也就是说，根据本实施例的机器学习模型不需要被分成像第一神经网络和第二神经网络那样的两个神经网络。图12示出根据本实施例的其它变体的机器学习模型的学习流程。如图12所示，可以使用如下机器学习模型：将来自双视点片(两个第一图像)201的第一神经网络的两个输出直接输入到第二神经网络，并生成估计片(输出图像)202。也就是说，根据本实施例的机器学习模型不需要使用用于比较第一神经网络的输出的比较单元204。
54.现在参照图5，将描述由本实施例中的图像估计设备103执行的其它视点图像的估计。图5是与其它视点图像的估计有关的流程图。图5中的各步骤主要由图像估计设备103中的获取单元103b和图像处理单元103c执行。
55.首先，在步骤s201中，获取单元103b获取与拍摄图像和权重有关的信息。拍摄图像
是与学习的情况相同的双视点图像，并且在本实施例中从摄像设备102发送拍摄图像。权重信息从学习设备101发送并存储在存储器103a中。在将图4的步骤s102中的与摄像条件和估计的其它视点图像的视点有关的信息与第一图像一起输入到第一神经网络的情况下，也获取该信息。摄像条件与拍摄图像一起从摄像设备102发送，并存储在存储器103a中。与要估计的其它视点图像的视点有关的信息由用户例如从输入设备106a输入，并存储在存储器103a中。
56.接着，在步骤s202中，图像处理单元103c将拍摄图像输入到被应用了所获取到的权重信息的神经网络，并估计其它视点图像。这里，其它视点图像是在与拍摄图像的视点不同的一个或多个视点处拍摄到的估计图像。可以使用与图1所示的配置相同的神经网络来估计其它视点图像。在将拍摄图像输入神经网络时，不需要将其裁剪成与学习期间所使用的双视点片的大小相同的大小，但为了加速处理，可以将拍摄图像分解成彼此重叠的多个片并进行处理。在这种情况下，在处理之后所获得的片可以被融合以形成其它视点图像。
57.如上所述，根据本实施例的图像估计设备103具有获取单元103b和图像处理单元103c。获取单元103b获取通过在不同的两个视点拍摄相同被摄体而产生的两个第一图像。图像处理单元103c将两个第一图像输入到机器学习模型中，并估计在与该两个视点不同的一个或多个视点处的第二图像。根据本实施例的学习设备101具有图像生成单元101b和学习单元101f。图像生成单元101b生成通过在不同的两个视点处拍摄相同被摄体而产生的两个第一图像以及在与该两个视点不同的一个或多个视点处的第二图像。学习单元101f将两个第一图像输入到机器学习模型中，将输出图像和第二图像彼此进行比较，并学习机器学习模型。
58.在本实施例中，作为示例，学习设备101和图像估计设备103是分开的构件，但是本发明不限于本示例，并且学习设备101和图像估计设备103可以彼此集成。也就是说，单个装置可以进行学习(图4所示的处理)和估计(图5所示的处理)。
59.根据本实施例的配置可以提供一种图像处理设备，其稳健地估计在横向方向上具有视差的双视点图像中的矩形被摄体的其它视点图像。
60.第二实施例
61.接着，描述根据本发明的第二实施例的图像处理系统。在本实施例中，与第一实施例同样地，使用神经网络来学习并执行用于从双视点图像估计其它视点图像的dl图像处理。根据本实施例的图像处理系统与第一实施例的图像处理系统的不同之处在于，摄像设备获取拍摄图像(双视点图像)并进行图像处理。
62.图6是根据本实施例的图像处理系统300的框图。图7是图像处理系统300的外观图。图像处理系统300包括学习设备(图像处理设备)301和经由网络303连接学习设备301的摄像设备302。学习设备301和摄像设备302不需要总是经由网络303连接。
63.学习设备301具有与第一实施例的学习设备101相同的配置。也就是说，学习设备301包括存储器311、图像生成单元312、特征量生成单元313、特征量比较单元314、图像重构单元315和学习单元316。在该配置中，学习设备301学习用于进行图像处理的权重，其中该图像处理用于使用神经网络从双视点图像来估计其它视点图像。
64.摄像设备302拍摄被摄体空间，获取拍摄图像(双视点图像)，并使用所读取到的与权重有关的信息从双视点图像估计其它视点图像。稍后将描述由摄像设备302所进行的图
像处理的细节。摄像设备302包括光学系统(摄像光学系统)321和图像传感器322。图像估计单元323具有获取单元323a和图像处理单元323b，并且使用存储在存储器324中的权重信息从双视点图像估计其它视点图像。由于学习设备301所执行的神经网络的权重的学习与第一实施例相同，因此将省略其描述，并且稍后将仅详细描述由摄像设备302所执行的图像处理的描述。
65.权重信息由学习设备301预先学习并存储在存储器311中。摄像设备302经由网络303从存储器311读出权重信息，并将其存储在存储器324中。估计的其它视点图像存储在记录介质325a中。在用户给出与估计的其它视点图像的显示有关的指示的情况下，保存的图像(估计的其它视点图像)被读出并显示在显示单元325b上。可以读出已存储在记录介质325a中的拍摄图像(双视点图像)，并且图像估计单元323可以估计其它视点图像。在用户给出指示的情况下，可以从估计的其它视点图像生成重新聚焦图像。上述一系列控制由系统控制器327进行。
66.接着，描述由本实施例中的图像估计单元323所执行的其它视点图像的估计。图像处理的过程与第一实施例中的图5相同。图像处理的各步骤主要由图像估计单元323中的获取单元323a或图像处理单元323b执行。
67.首先，在步骤s201中，获取单元323a获取拍摄图像(双视点图像)和权重信息。双视点图像已经由摄像设备302获取并存储在存储器324中。权重信息已经从学习设备301发送并存储在存储器324中。
68.接着，在步骤s202中，图像处理单元323b将拍摄图像(双视点图像)输入到被应用了所获取到的权重的神经网络，并估计其它视点图像。可以使用与图1所示的配置相同的神经网络来估计其它视点图像。
69.由于上述配置，本实施例可以提供一种图像处理系统，该图像处理系统稳健地估计在横向方向上具有视差的双视点图像中的矩形被摄体的其它视点图像。
70.第三实施例
71.接着描述根据本发明的第三实施例的图像处理系统。根据本实施例的图像处理系统与根据第一实施例和第二实施例的图像处理系统的不同之处在于包括处理设备(计算机)，该处理设备将作为图像处理对象的拍摄图像(双视点图像)发送到图像估计设备，并从图像估计设备接收从双视点图像估计的其它视点图像。
72.图8是根据本实施例的图像处理系统400的框图。图像处理系统400包括学习设备401、摄像设备402、图像估计设备(第二装置)403和计算机(处理设备、第一装置)404。学习设备401和图像估计设备403是例如服务器。计算机404是例如用户终端(个人计算机或智能手机)。计算机404经由网络405连接到图像估计设备403。图像估计设备403经由网络406连接到学习设备401。
73.计算机404和图像估计设备403彼此能够通信，并且图像估计设备403和学习设备401彼此能够通信。由于学习设备401和摄像设备402的配置与第一实施例的学习设备101和摄像设备102的配置相同，因此将省略其描述。
74.图像估计设备403包括存储器403a、获取单元403b、通信单元(接收器)403c和图像处理单元403d。存储器403a、获取单元403b和图像处理单元403d分别与根据第一实施例的图像估计设备103中的存储器103a、获取单元103b和图像处理单元103c相同。通信单元403c
用以接收从计算机404发送的请求，并将由图像估计设备403所估计的其它视点图像发送到计算机404。
75.计算机404包括通信单元(发送器)404a、显示单元404b、输入单元404c、图像处理单元404d和记录单元404e。通信单元404a用以向图像估计设备403发送用于使图像估计设备403对拍摄图像(两个第一图像和双视点图像)进行处理的请求，并接收由图像估计设备403所估计的输出图像(其它视点图像)。显示单元404b用以显示各种信息。显示单元404b上所显示的信息包括例如被发送到图像估计设备403的拍摄图像(双视点图像)、从图像估计设备403接收到的其它视点图像、以及从其它视点图像生成的重新聚焦图像(第三图像)。输入单元404c输入来自用户的指示。图像处理单元404d用以接收由图像估计设备403所估计的其它视点图像，并对其它视点图像进行图像处理。能够应用于估计的其它视点图像的图像处理包括重新聚焦处理等。记录单元404e记录从摄像设备402获取到的拍摄图像、从图像估计设备403接收到的输出图像等。
76.现在参照图9，将给出根据本实施例的图像处理的描述。图9是与本实施例中的其它视点图像的估计有关的流程图。本实施例中的图像处理等同于第一实施例中所描述的图像处理(图5)。在用户经由计算机404给出开始图像处理的指示的情况下，开始图9所示的图像处理。
77.现在将给出计算机404的操作的描述。首先，在步骤s401中，计算机404向图像估计设备403发送针对拍摄图像(双视点图像)的处理请求。向图像估计设备403发送要被处理的双视点图像的方法不受限制。例如，可以与步骤s401同时或在步骤s401之前将双视点图像上传到图像估计设备403。双视点图像可以是存储在与图像估计设备403不同的服务器上的图像。在步骤s401中，计算机404可以发送用于认证用户的id、摄像条件、与要估计的其它视点图像的视点有关的信息等，以及针对双视点图像的处理请求。接着，在步骤s402中，计算机404接收由图像估计设备403所估计的其它视点图像。
78.接着，描述图像估计设备403的操作。首先，在步骤s501中，图像估计设备403接收从计算机404发送的针对拍摄图像(双视点图像)的处理请求。图像估计设备403判断为指示了针对双视点图像的处理，并且执行步骤s502后续的处理。
79.接着，在步骤s502中，图像估计设备403获取权重信息。权重信息是通过与第一实施例相同的方法(图4)学习的信息(学习模型)。图像估计设备403可以获取来自学习设备401的权重信息，或者可以获取先前从学习设备401获取并存储在存储器403a中的权重信息。后续步骤s503与第一实施例的步骤s202相同。接着，在步骤s504中，图像估计设备403将估计的其它视点图像发送到计算机404。
80.如所讨论的，如在本实施例中，可以利用可通信地连接到图像估计设备403的计算机404来控制图像估计设备403。
81.其它实施例
82.本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。
83.当使用机器学习dl从在横向方向上具有视差的双视点图像估计其它视点图像时，各实施例可以稳健地估计双视点图像中的矩形被摄体的其它视点图像。因此，各实施例可
以提供图像处理设备、图像处理方法、存储介质、用于制造学习模型的方法和图像处理系统，它们各自都可以高精度地从双视点图像估计其它视点图像。
84.尽管参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。以下权利要求的范围将被给予最宽泛的解释，以涵盖所有这样的变体和等同的结构和功能。