图像处理装置、记录介质以及图像处理方法与流程

1.本公开涉及一种图像处理装置、图像处理程序以及图像处理方法。


背景技术：

2.在专利文献1中公开了一种如下的技术，所述技术通过根据输入图像来对语义化标签进行推断，且基于语义化标签的推断难度来制作训练数据(正确标签图像)并对该训练数据进行学习，从而提高语义化标签的推断精度。
3.在先技术文献
4.专利文献
5.专利文献1：日本特开2018-194912号公报


技术实现要素：

6.发明所要解决的课题
7.在专利文献1的技术中，为了在宽幅的场景中确保精度，需要针对大量的图像来制作训练数据。通常情况下，为了训练数据的制作而需要较高的成本。因此，谋求一种能够在不准备大量的训练数据的条件下提高推断精度的技术。
8.本公开为鉴于上述情况而完成的发明，其目的在于，提供一种能够在不准备大量的训练数据的条件下提高推断精度的图像处理装置、图像处理程序以及图像处理方法。
9.用于解决课题的手段
10.本公开所涉及的图像处理装置具备具有硬件的处理器，其中，所述处理器执行如下处理，即：通过利用预先进行了学习的识别器而针对输入图像的每个像素来推断语义化标签，从而生成语义化标签图像；通过根据所述语义化标签图像来对原始图像进行推断，从而生成复原图像；对所述输入图像与所述复原图像的第一差分进行计算；基于所述第一差分，而对推断所述语义化标签时的推断参数或者推断所述原始图像时的推断参数进行更新。
11.本公开所涉及的图像处理程序使具有硬件的处理器执行如下处理，即：通过利用预先进行了学习的识别器而针对输入图像的每个像素来推断语义化标签，从而生成语义化标签图像；通过根据所述语义化标签图像来对原始图像进行推断，从而生成复原图像；对所述输入图像与所述复原图像的第一差分进行计算；基于所述第一差分，而对推断所述语义化标签时的推断参数或者推断所述原始图像时的推断参数进行更新。
12.在本公开所涉及的图像处理方法中，具有硬件的处理器执行如下处理，即：通过利用预先进行了学习的识别器而针对输入图像的每个像素来推断语义化标签，从而生成语义化标签图像；通过根据所述语义化标签图像来对原始图像进行推断，从而生成复原图像；对所述输入图像与所述复原图像的第一差分进行计算；基于所述第一差分，而对推断所述语义化标签时的推断参数或者推断所述原始图像时的推断参数进行更新。
13.发明效果
neural network：卷积神经网络))的手法而将卷积层(convolution layer)、活性化层(relu layer，softmax layer等)、池化层(pooling layer)以及增采样层等的要素层积为多层状的网络而被构成。此外，作为语义化标签推断部11所使用的识别器以及学习完成参数的学习手法，例如可以列举基于crf(conditional random field：条件随机场)的手法、将深层学习和crf(conditional random field)组合在一起的手法、利用多个分辨率图像而实时地进行推断的手法等。
31.原始图像推断部12通过利用被预先进行了学习的识别器以及学习完成参数并根据由语义化标签推断部11所生成的语义化标签图像来对原始图像进行推断，从而生成复原图像。具体而言，原始图像推断部12利用识别器以及学习完成参数并根据语义化标签图像来对原始图像进行复原。由此，原始图像推断部12将语义化标签图像转换为复原图像，并将该复原图像输出至差分计算部13。
32.原始图像推断部12例如作为利用基于深层学习(尤其是cnn(convolutional neural network：卷积神经网络))的手法而将卷积层(convolution layer)、活性化层(relu layer，softmax layer等)、池化层(pooling layer)以及增采样层等的要素层积为多层状的网络而被构成。此外，作为原始图像推断部12所使用的识别器以及学习完成参数的学习手法，例如可以列举基于crn(cascaded refinement network：级联细化网络)的手法、基于pix2pixhd的手法等。
33.差分计算部13对输入图像和通过原始图像推断部12而被生成的复原图像的差分(第一差分)进行计算，并将该计算结果输出至参数更新部14。差分计算部13例如也可以针对输入图像的图像信息i(x，y)和复原图像的图像信息p(x，y)而对每个像素的简单的差分(i(x，y)-p(x，y))进行计算。此外，差分计算部13也可以针对输入图像的图像信息i(x，y)和复原图像的图像信息p(x，y)，并通过下述式(1)来对每个像素的关联性进行计算。
34.数学式1
35.||i(x，y)-p(x，y)||n(n＝1或2)
…
(1)
36.此外，差分计算部13也可以针对输入图像的图像信息i(x，y)和复原图像的图像信息p(x，y)而在实施了预先规定的图像转换f(
·
)之后进行差分比较。即，差分计算部13也可以对“f(i(x，y))-f(p(x，y))”进行计算。另外，作为图像转换f(
·
)，例如可以列举深层学习器(例如vgg16、vgg19等)的隐藏层输出的“perceptual loss：感知损失”。另外，在使用所述的任意一种的方法的情况下，通过差分计算部13而被计算出的差分也作为图像而被输出。而且，在本公开中，将表示该通过差分计算部13而被计算出的差分的图像定义为“重建误差图像”。
37.参数更新部14基于通过差分计算部13而被计算出的差分(重建误差图像)，而对语义化标签推断部11根据输入图像来推断语义化标签时的推断参数进行更新。
38.此处，在图1中，在左上处示出了输入图像的一个示例，在右上处示出了语义化标签图像的一个示例，在左下处示出了复原图像的一个示例，在右下处示出了重建误差图像的一个示例。如输入图像的a部分所示，例如设为在输入图像的右下处映现有警告牌。在该情况下，在语义化标签推断部11中，当未实施包含该警告牌的图像(正确标签图像)的学习的情况下，关于该警告牌的部分可能会发生标签推断缺失(参照图1的语义化标签图像的右下部分)。而且，当发生了这种标签推断缺失时，在由原始图像推断部12所生成的复原图像
中也会发生复原缺失(参照该图的复原图像的右下部分)，从而作为结果而使得重建误差图像的重建误差变大(参照该图的重建误差图像的右下部分)。
39.因此，在图像处理装置1中，在参数更新部14中对语义化标签推断部11的推断参数进行更新，以使重建误差图像的重建误差变小。例如，在深层学习中，通过误差反向传播法等而实施推断参数的更新。由此，即使在使用了不存在训练数据(正确标签图像)的输入图像的情况下，也能够提高语义化标签的推断精度。
40.即，在图像处理装置1中，首先利用限定的少量的训练数据(正确标签图像)来简单地进行初始学习，之后，基于输入图像与复原图像的差分而对语义化标签推断部11的推断参数进行更新。因此，在图像处理装置1中，能够在不使用大量的训练数据的条件下提高语义化标签的推断精度。而且，在图像处理装置1中，由于不需要准备大量的训练数据(例如利用手动操作而对输入图像赋予正确标签)，因此能够减少训练数据的制作成本。
41.(第二实施方式)
42.参照图2而对第二实施方式所涉及的图像处理装置1a进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1a具备语义化标签推断部11、原始图像推断部12、差分计算部13、参数更新部14、差分计算部15和参数更新部16。
43.差分计算部15对被预先准备的正确标签图像与通过语义化标签推断部11而被推断出的语义化标签图像的差分(第二差分)进行计算，并将该计算结果输出至参数更新部16。
44.此处，“正确标签图像”是指与输入图像相对应的语义化标签图像，并表示各语义化标签的推断准确率为100％的语义化标签图像。通常情况下，通过语义化标签推断部11而被生成的语义化标签图像针对每个像素而像例如“天气的准确率80％，道路的准确率20％
……”
那样设定有各语义化标签的推断准确率。另一方面，在正确标签图像中，像“天气的准确率100％”那样，各语义化标签的推断准确率被设定为100％。该正确标签图像既可以利用人工而被制造出，或者，也可以通过高级的学习器而被自动地制作出。
45.与差分计算部13同样地，差分计算部15既可以针对输入图像的图像信息和正确标签图像的图像信息而对每个像素的简单的差分进行计算，也可以针对该二者通过上述式(1)而对每个像素的关联性进行计算，还可以针对该二者而在实施了预先规定的图像转换f(
·
)之后进行差分比较。
46.参数更新部16基于通过差分计算部15而被计算出的差分，而对语义化标签推断部11根据输入图像而推断语义化标签时的推断参数进行更新。例如，在深层学习中，通过误差反向传播法等而实施推断参数的更新。
47.在图像处理装置1a中，在能够获取相对于输入图像的正确标签图像的情况下，除了参数更新部14中的由重建误差所实现的参数更新以外，通过参数更新部16而对语义化标签推断部11的推断参数进行更新，以使正确标签图像中所包含的标签数据(正确标签数据)与通过语义化标签推断部11而被推断出的语义化标签一致。此时，既可以使参数更新部14和参数更新部16分别工作，或者也可以取二者的更新量的权重和来同时进行更新。
48.根据图像处理装置1a，通过除了由重建误差所实现的参数更新以外还实施由正确标签图像所实现的参数更新，从而能够进一步提高语义化标签的推断精度。此外，根据图像
处理装置1a，通过实施由重建误差所实现的学习，从而与仅利用输入图像和正确标签图像而进行了学习的情况相比，能够提高语义化标签的推断精度。
49.(第三实施方式)
50.参照图3而对第三实施方式所涉及的图像处理装置1b进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1b具备语义化标签推断部11、原始图像推断部12、差分计算部13、参数更新部14和参数更新部17。
51.参数更新部17基于通过差分计算部13而被计算出的差分(第一差分)，而对原始图像推断部12根据语义化标签图像来推断原始图像时的推断参数进行更新。
52.在图像处理装置1b中，除了在参数更新部14中对语义化标签推断部11的推断参数进行更新以使重建误差图像的重建误差变小以外，还在参数更新部17中对原始图像推断部12的推断参数进行更新，以使重建误差图像的重建误差变小。例如，在深层学习中，通过误差反向传播法等而实施推断参数的更新。由此，即使在使用了不存在正确标签图像的输入图像的情况下，也能够提高原始图像的推断精度。
53.另外，图像处理装置1b也可以与图像处理装置1a组合来实施。在该情况下，分别实施由重建误差所实现的语义化标签的推断参数的更新、由正确标签图像所实现的语义化标签的推断参数的更新、以及由重建误差所实现的原始图像的推断参数的更新。通过将图像处理装置1b和图像处理装置1a组合来实施，从而能够进一步提高原始图像的推断精度。
54.(第四实施方式)
55.参照图4而对第四实施方式所涉及的图像处理装置1c进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1c具备语义化标签推断部11、标签合成部18、原始图像推断部12、差分计算部13、参数更新部14和参数更新部17。
56.标签合成部18对正确标签图像的正确标签、和通过语义化标签推断部11而被生成的语义化标签图像的语义化标签进行合成，并将包含合成后的标签的图像输出至原始图像推断部12。作为标签合成部18中的合成方法，例如可以列举正确标签图像与语义化标签图像的权重和、图像的随机选择(随机地选择正确标签图像或语义化标签图像)、局部合成(均衡地或者随机选择图像的一部分)等。而且，原始图像推断部12通过根据由标签合成部18所合成的图像而对原始图像进行推断，从而生成复原图像。
57.在图像处理装置1c中，在能够获取相对于输入图像的正确标签图像的情况下，对该正确标签图像和由语义化标签推断部11所生成的语义化标签图像进行合成，并基于合成后的图像而在原始图像推断部12中生成复原图像。如此，通过实施由正确标签图像所实现的原始图像推断部12的参数更新，从而能够进一步提高原始图像的推断精度。
58.(第五实施方式)
59.参照图5而对第五实施方式所涉及的图像处理装置1d进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1d具备语义化标签推断部11、原始图像推断部12、差分计算部13、区域合成部20、参数更新部14和更新区域计算部19。
60.更新区域计算部19将输入图像中的特定的区域作为更新区域来进行计算。更新区域计算部19在输入图像中对例如不需要学习的区域(例如上半部分、下半部分等)、或亮度较低从而学习需要时间的区域等进行掩蔽，并将该掩蔽了的区域以外的信息作为更新区域而输出至区域合成部20。
61.区域合成部20对通过差分计算部13而被计算出的重建误差图像和通过更新区域计算部19而被计算出的更新区域进行合成，并将之输出至参数更新部14。在区域合成部20中，例如对于重建误差图像和更新区域，通过实施乘法运算、加法运算、逻辑与(and)运算或者逻辑或(or)运算，从而进行合成。而且，参数更新部14针对被合成后的图像的更新区域，而对推断语义化标签时的推断参数进行更新。
62.在图像处理装置1d中，在对语义化标签推断部11中的推断参数进行更新时，并不限定更新该推断参数的区域，并且省略了不必要的部分的学习。由此，能够提高需要学习的部分的推断精度，并且能够使学习速度高速化。
63.(第六实施方式)
64.参照图6而对第六实施方式所涉及的图像处理装置1e进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1e具备语义化标签推断部11、原始图像推断部12、差分计算部13、区域合成部22、参数更新部14和语义化标签推断困难区域计算部21。
65.语义化标签推断困难区域计算部21在输入图像中对语义化标签的推断较为困难的推断困难区域进行计算。具体而言，语义化标签推断困难区域计算部21利用通过语义化标签推断部11而被推断出的语义化标签的信息，来对具有更新推断参数的价值的区域进行计算，并将该区域的信息作为推断困难区域而输出至区域合成部22。
66.例如，在设为各语义化标签的推断准确率“p
i”的情况下，推断困难区域的指标能够通过例如各语义化标签的推断准确率的熵“σipilogp
i”、各语义化标签的推断准确率的标准偏差std(pi)、各语义化标签的推断准确率的最大值之差“maxi，j(p
i-pj)”等而示出。
67.区域合成部22对通过差分计算部13而被计算出的重建误差图像和通过语义化标签推断困难区域计算部21而被计算出的推断困难区域进行合成，并将之输出至参数更新部14。在语义化标签推断困难区域计算部21中，例如对于重建误差图像和推断困难区域，通过实施乘法运算、加法运算、逻辑与(and)运算或者逻辑或(or)运算，从而进行合成。而且，参数更新部14针对被合成后的图像的推断困难区域，而对语义化标签推断部11根据输入图像而推断语义化标签时的推断参数进行更新。
68.在图像处理装置1e中，在对语义化标签推断部11中的推断参数进行更新时，并为将更新该推断参数的区域限定于语义化标签的推断较为困难的区域，并且省略了不必要的部分的学习。由此，能够提高需要学习的部分的推断精度，并且能够使学习速度高速化。
69.(第七实施方式)
70.参照图7而对第七实施方式所涉及的图像处理装置1f进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1f具备语义化标签推断部11、原始图像推断部12、差分计算部13和参数更新部14。
71.在语义化标签推断部11中，作为识别器以及学习完成参数的学习手法而使用了基于深层学习的手法。而且，语义化标签推断部11除了在深层学习的最终层所生成的语义化标签图像(即，在最终层被推断出的语义化标签的推断结果)以外，还将在深层学习的中途层(隐藏层)所生成的语义化标签图像(即，在中途层被推断出的语义化标签的推断结果)输出至原始图像推断部12。而且，原始图像推断部12通过利用在中途层所生成的语义化标签图像、和在最终层所生成的语义化标签图像中的任意一方、或者双方来对原始图像进行推断，从而生成复原图像。
72.在图像处理装置1f中，除了在深层学习的最终层所生成的、被完全抽象化的语义化标签图像以外，还基于在深层学习的中途层所生成的未被完全抽象化的语义化标签图像，来对原始图像进行推断。由此，由于中途层的语义化标签图像的复原度升高，因此对于语义化标签的推断正确的部分而言，提高了复原图像的品质，并且提高了语义化标签的推断错误的部分的检测精度(s/n)。
73.(第八实施方式)
74.参照图8而对第八实施方式所涉及的图像处理装置1g进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1g具备语义化标签推断部11、原始图像推断部12、多个差分计算部13和参数更新部14。
75.在图像处理装置1g中，原始图像推断部12以及差分计算部13被各自设置多个(n个)。多个原始图像推断部12既可以由各自不同的结构的网络而构成，也可以使识别器以及学习完成参数通过各自不同的学习手法(crn、pix2pixhd、其他的深层学习算法等)而被学习。
76.多个原始图像推断部12通过利用例如多个不同的复原方法并根据语义化标签图像来对原始图像进行推断，从而生成多个复原图像。另外，输入至多个原始图像推断部12的语义化标签图像既可以不同，例如也可以将第i个语义化标签图像(例如仅汽车标签)仅输入至第i个原始图像推断部12中。
77.在图像处理装置1g中，通过对多个原始图像推断部12中的原始图像的推断结果进行整合，从而能够准确地推断出重建误差。此外，在将特定的语义化标签分开输入至原始图像推断部12的情况下，由于限定了各原始图像推断部12应当负责的图像类别，因此提高了原始图像的复原能力。
78.(第九实施方式)
79.参照图9而对第九实施方式所涉及的图像处理装置1h进行说明。另外，在该附图中，对与所述的实施方式相同的结构标注相同的符号，并省略说明。此外，在该附图中，以由虚线来包围与第一实施方式不同的结构的方式而示出。图像处理装置1h具备语义化标签推断部11、原始图像推断部12、多个差分计算部13、参数更新部14和语义化标签区域摘要信息生成部23。
80.语义化标签区域摘要信息生成部23基于输入图像和通过语义化标签推断部11而被生成的语义化标签图像而生成语义化标签的区域摘要信息，并将之输出至原始图像推断部12。作为该区域摘要信息，可以列举出例如各语义化标签的颜色的平均值、最大值、最小值、标准偏差、区域面积、空间频率、边缘图像(例如从图像近似性地提取边缘图像的算法、
即canny算法等)、局部掩模图像等。
81.而且，原始图像推断部12在根据语义化标签图像来对原始图像进行复原时，通过利用由语义化标签区域摘要信息生成部23所生成的区域摘要信息并根据语义化标签图像来对原始图像进行推断，从而生成复原图像。
82.在图像处理装置1h中，由于通过利用区域摘要信息而对原始图像进行推断，从而对于语义化标签的推断正确的部分而言提高了复原图像的品质，因此能够提高语义化标签的推断错误的部分的检测精度(s/n)。
83.至此所说明的图像处理装置1至1h具体而言作为用于低成本且简单地进行语义化标签推断部11的学习的“语义化标签推断部的学习装置”而被利用。即，图像处理装置1至1h并非被车载的装置，在中心的开发环境等中，将通过图像处理装置1至1h而进行了学习的语义化标签推断部11导入被配置于车辆或者中心处的障碍物识别装置(例如，初始搭载、或者ota(over the air：空中下载)中的更新)中。而且，通过将例如车载摄像机的图像输入至语义化标签推断部11(既可以车载，也可以在中心侧)，从而对道路上的障碍物进行识别。
84.进一步的效果或改变例能够通过本领域技术人员而容易地导出。因此，本发明的更广泛的方式并未被限定于上文所表达且记载的特定的详细内容以及代表性的实施方式。因此，能够在不脱离通过所附的技术方案及其等价物而被定义的综合性的发明的概念的精神或者范围的条件下进行各种各样的变更。
85.符号说明
86.1、1a、1b、1c、1d、1e、1f、1g、1h 图像处理装置；
87.11 语义化标签推断部；
88.12 原始图像推断部；
89.13、15 差分计算部；
90.14、16、17 参数更新部；
91.18 标签合成部；
92.19 更新区域计算部；
93.20、22 区域合成部；
94.21 语义化标签推断困难区域计算部；
95.23 语义化标签区域摘要信息生成部。