信息处理装置和程序的制作方法

1.本公开涉及信息处理装置和程序。


背景技术：

2.近年来，作为模拟脑神经系统的机制的数学模型的神经网络已经引起关注。此外，已经提出了用于提高神经网络的训练效率的许多技术。例如，非专利文献1公开了用于即使在不能使用用于训练教师网络的训练数据时也从教师网络生成学生网络的技术。
3.现有技术文献
4.非专利文献
5.非专利文献1：kartikeya bhardwaj和另两位,“dream distillation:a data-independent model compression framework”,2019年5月17日,[online],[2020年4月1日检索],internet《https://arxiv.org/pdf/1905.07072.pdf》


技术实现要素：

[0006]
[技术问题]
[0007]
如在非专利文献1中描述的技术中，当使用教师网络产生的图像被用于训练学生网络时，为了提高学生网络进行估计的准确性，提高图像的质量是重要的。
[0008]
[问题的解决方案]
[0009]
根据本公开的一个方面，提供一种信息处理装置，所述信息处理装置包括：估计单元，使用基于教师网络生成的学生网络估计包含在输入图像中的对象的对象类别，其中，教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中，学生网络是通过将使用合成图像作为训练数据进行机器学习而生成的，该合成图像使用教师网络和真实环境图像而获得，该真实环境图像是在预期由估计单元执行估计的真实环境中通过多个不同模态获取的。
[0010]
根据本发明的另一方面，提供一种信息处理装置，该信息处理装置包括：训练单元，基于教师网络生成学生网络，该教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中训练单元通过使用合成图像作为训练数据进行机器学习而生成该学生网络，其中，合成图像使用教师网络和真实环境图像而获得，该真实环境图像是在预期使用学生网络执行估计的真实环境中通过多个不同模态获取的。
[0011]
根据本发明的另一方面，提供一种程序，用于使计算机用作信息处理装置，该信息处理装置包括：估计单元，使用基于教师网络生成的学生网络估计包含在输入图像中的对象的对象类别，该教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中该学生网络是通过使用合成图像作为训练数据进行机器学习而生成的，该合成图像使用教师网络和真实环境图像而获得，该真实环境图像在预期估计单元执行估计的真实环境中通过多个不同模态获取的。
附图说明
[0012]
图1是用于说明使用学生网络对对象类别估计的示图。
[0013]
图2是用于说明根据本公开的实施方式的使用通过多个模态获取的真实环境图像生成合成图像的示图。
[0014]
图3是用于说明根据该实施方式的四个阶段的概况的示图。
[0015]
图4是示出了根据实施方式的第一训练装置10的示例性配置的框图。
[0016]
图5是示出根据实施方式的图像生成装置20的示例性配置的框图。
[0017]
图6是示出根据本实施方式的使用图像生成单元210生成合成图像的流程的流程图。
[0018]
图7是示出了根据本实施方式的第二训练装置30的示例性配置的框图。
[0019]
图8是用于说明根据实施方式的在不同模态之间具有高相似度的合成图像的示图。
[0020]
图9是示出根据实施方式的基于模态之间的相似度的合成图像的接受/拒绝确定和训练的流程的流程图。
[0021]
图10是用于说明根据实施方式的在相同模态内具有高相似度的合成图像的示图。
[0022]
图11是示出了根据实施方式的基于模态内的相似度的合成图像的接受/拒绝确定和训练的流程的流程图。
[0023]
图12是示出根据实施方式的融合图像的实例的示图。
[0024]
图13是示出根据实施方式的相同模态内的融合图像的生成和训练的流程的流程图。
[0025]
图14是用于说明根据实施例的关注于多个不同模态的融合图像的示图。
[0026]
图15是示出根据实施方式的不同模态之间的融合图像的生成和训练的流程的流程图。
[0027]
图16是示出根据实施方式的用于对与每个模态有关的特征量分布进行相似化的处理的实例的示图。
[0028]
图17是示出根据实施方式的估计装置40的示例性配置的框图。
[0029]
图18是示出通过根据实施方式的估计装置40的处理的流程的流程图。
[0030]
图19是示出根据实施方式的信息处理装置90的示例性硬件配置的框图。
具体实施方式
[0031]
下面将参考附图详细描述本公开的优选实施例。而且，在本说明书和附图中，具有基本相同的功能配置的部件将由相同的参考标号表示，并且因此将省去其重复描述。
[0032]
此外，将按照以下顺序给出描述。
[0033]
1.实施例
[0034]
1.1.背景技术
[0035]
1.2.教师网络的生成
[0036]
1.3.合成图像的生成
[0037]
1.4.学生网络的生成
[0038]
1.5.使用学生网络的估计
[0039]
2.硬件配置示例
[0040]
3.总结
[0041]
《1.实施例》
[0042]
《《1.1.背景技术》》
[0043]
首先，将描述本公开的实施方式的概述。如上所述，近年来，已经提出了用于提高神经网络的训练效率的许多技术。这些技术包括例如称为知识蒸馏(knowledge distillation)的技术。
[0044]
知识蒸馏是用于从特定高精度训练网络(教师网络)生成与所需规范对应的新网络(学生网络)的技术。
[0045]
例如，当期望从已经使用由大规模图像数据库提供的图像训练的通用教师网络生成更适合于真实环境的学生网络时，使用知识蒸馏。
[0046]
然而，为了执行知识蒸馏，通常需要用于训练教师网络的训练数据。为此，如果用于训练教师网络的训练数据不可用，或如果可使用的训练数据量不足，则难以生成学生网络，或生成的学生网络的准确性可能降低。
[0047]
另一方面，非专利文献1公开了用于在不使用用于训练教师网络的训练数据的情况下生成学生网络的技术。
[0048]
在非专利文献1中公开的技术是将在真实环境中获取的真实环境图像输入到教师网络以生成合成图像，使用合成图像作为训练数据执行机器学习，生成学生网络。
[0049]
根据该技术，即使在不能使用用于生成教师网络的训练数据的情况下，也可以基于教师网络生成学生网络。稍后将描述合成图像的细节。
[0050]
这里，在使用如上所述的合成图像生成学生网络时，为了进一步提高生成的学生网络的准确性，提高用作训练数据的合成图像的质量是重要的。
[0051]
在这里，将考虑生成估计输入图像中包含的对象的对象类别的学生网络的情况。
[0052]
图1是用于说明使用学生网络进行对象类别估计的示图。图1示出使用利用合成图像生成的学生网络执行估计的估计装置(未示出)被安装在诸如汽车的移动体v上的情况。
[0053]
例如，安装在移动体v上的估计装置实时估计包含在输入的捕捉图像中的对象o的对象类别，并且输出估计结果。对象o可以是例如野生动物，诸如兔子。根据上述估计，能够检测到兔子已向移动体v的行进方向跳出，使移动体v采取躲避动作等。
[0054]
然而，这里，使用学生网络的对象类别的估计精确度受到在训练时使用的数据的极大影响。例如，如果在用作训练数据的图像的捕捉环境(位置、照度、距离、噪声、对象类型等)与在实际执行估计的真实环境中获取的图像的捕捉环境之间存在较大差异，则学生网络可能误估计对象o的对象类别。
[0055]
因此，在学生网络的生成中使用的训练数据被要求接近于在真实环境中实际捕捉的图像。这在上述合成图像被用作训练数据时也适用。
[0056]
根据本公开的技术构思专注于上述问题而被构思，并且使得能够进一步提高使用学生网络的估计的准确性。
[0057]
因此，在本公开的一个实施例中，合成图像可使用在真实环境中通过多个模态获取的真实环境图像来产生，学生网络可使用合成图像来产生。
[0058]
图2是用于说明根据本公开的实施方式的使用通过多个模态获取的真实环境图像
生成合成图像的示图。图2示出了与三个不同模态对应的教师网络t1至t3被用于生成与不同模态相关的合成图像s1至s3的实例。
[0059]
这里，根据本公开实施例的模态指的是用于捕获图像的装置。该表述也被广泛地用于医学领域，例如，以表达相同的含义。根据本实施例的模态的实例包括rgb相机、tof相机、lidar、偏振相机等。
[0060]
例如，当图2中示出的模态1是rgb相机时，教师网络t1使用通过分析从在真实环境中由rgb相机捕捉的多个rgb图像获得的特征量分布而产生的伪特征量来更新并获取模拟(imitate，模仿)rgb图像的合成图像s1，使得当特定合成图像被输入到教师网络t1时获得的特征量接近伪特征量。
[0061]
例如，当图2所示的模态2是tof照相机时，教师网络t2使用通过分析从在真实环境中由tof照相机捕获的多个tof图像获得的特征量分布而生成的伪特征量来更新并获取模拟tof图像的合成图像s2，使得当特定合成图像被输入到教师网络t2时获得的特征量接近伪特征量。
[0062]
例如，当图2中示出的模态3是偏振照相机时，教师网络t3使用通过分析从在真实环境中由偏振照相机捕获的多个偏振图像获得的特征量分布生成的伪特征量来更新并获取模拟偏振图像的合成图像s3，使得当特定合成图像被输入到教师网络t3时获得的特征量接近伪特征量。
[0063]
在图2中所示的合成图像s1至s3中，模态之间的差异根据纹理的类型或存在来表示。
[0064]
如上所述，根据本公开的实施例的合成图像可使用通过多个不同模态获取的真实环境图像和教师网络来生成。
[0065]
例如，如图2所示，根据本实施例的合成图像可以基于将通过相应模态获取的真实环境图像输入到与单个模态相应的多个教师网络t1至t3中的每一个来生成。
[0066]
根据本公开的实施例的学生网络的特征之一在于，学生网络使用如上所述生成的合成图像作为训练数据来生成。
[0067]
根据上述特征，学生网络可广泛和有效地学习通过每种模态获取的图像中可出现的对象o的特性(例如，关于形状、颜色、距离、偏差等的信息)，并且可提高学生网络的估计准确性。
[0068]
根据本公开的实施例的使用学生网络实现估计大致被划分为四个阶段。图3是用于说明根据本公开的实施方式的四个阶段的概要的示图。
[0069]
根据本公开的一个实施例的阶段f1是用于生成教师网络的阶段。
[0070]
根据本公开的一个实施例的阶段f2是用于使用在阶段f1中生成的教师网络来生成合成图像的阶段。
[0071]
根据本公开的一个实施例的阶段f3是用于使用在阶段f2中生成的合成图像来生成教师网络的阶段。
[0072]
根据本公开的一个实施例的阶段f4是使用在阶段f3中生成的学生网络执行估计的阶段。
[0073]
在下文中，将详细描述每个上述阶段中的处理。
[0074]
《《1.2.教师网络的生成》》
[0075]
首先，将描述在阶段f1中用于生成教师网络的方法。在根据本实施例的阶段f1，使用第一训练装置10生成教师网络。
[0076]
图4是示出根据本实施方式的第一训练装置10的示例性配置的框图。如图4所示，根据本实施例的第一训练装置10至少包括第一训练单元110。例如，第一训练装置10可进一步包括接受用户的操作的操作单元、显示各种信息的显示单元等。
[0077]
(第一训练单元110)
[0078]
根据本实施例的第一训练单元110使用存储在大规模db 50中的图像作为训练数据执行机器学习，并生成教师网络。
[0079]
关于通过第一训练单元110生成教师网络，可采用通常广泛使用的方法，因此，将省略详细流程的描述。例如，用于生成教师网络的大规模db 50包括可在因特网上获得并且在机器学习领域中的研究和开发中广泛使用的各种数据库。通过使用具有高估计精度的数据生成教师网络，可提高由稍后生成的学生网络进行估计的准确性。
[0080]
第一训练装置10可以设置在与后述的图像生成装置20、第二训练装置30不同的环境中。
[0081]
《《1.3.合成图像的生成》》
[0082]
接下来，将描述用于在阶段f2中生成合成图像的方法。在根据本实施例的阶段f2中，使用图像生成装置20生成合成图像。
[0083]
图5是示出根据本实施方式的图像生成装置20的示例性配置的框图。如图5所示，根据本实施方式的图像生成装置20至少包括图像生成单元210。例如，第一训练装置10可进一步包括接受用户的操作的操作单元、显示各种信息的显示单元等。
[0084]
根据本实施例的图像生成装置20安装在主要开发现场。开发现场包括云环境。
[0085]
(图像生成单元210)
[0086]
根据本实施例的图像生成单元210使用在阶段f1生成的教师网络和在预期由在阶段3生成的学生网络执行估计的真实环境中通过多个不同模态获取的真实环境图像来生成合成图像。
[0087]
根据本实施方式的图像生成单元210使用例如存储在真实环境db 60中的真实环境图像生成合成图像，并且将生成的合成图像存储在生成图像db 70中。
[0088]
根据本实施例的合成图像可以基于对通过将真实环境图像输入到教师网络而获得的特征量添加噪声而生成。
[0089]
在下文中，将详细描述通过根据本实施方式的图像生成单元210生成合成图像。图6是示出根据本实施方式的使用图像生成单元210的合成图像生成的流程的流程图。
[0090]
在根据本实施例的阶段f2中，首先，指定与要生成的合成图像有关的模态和对象类别(s202)。该指定可以由用户(开发者等)做出。
[0091]
接下来，图像生成单元210基于在步骤s202中指定的模态和对象类别，从真实环境db 60获取对应的真实环境图像(s204)。
[0092]
接下来，图像生成单元210将在步骤s204中获取的真实环境图像输入到教师网络并获取特征量(s206)。特征量可以是在教师网络中平均池化(average pooling)之后的特征量。
[0093]
接下来，图像生成单元210使用t-sne等将在步骤s206中获取的特征量投影到特定
空间上(s208)。
[0094]
图像生成单元210重复执行步骤s204至s208的处理，直到收集了足够数量的数据。
[0095]
此处，当收集了足够数量的数据时，图像生成单元210获取指定数量的集群中心并且执行k均值(s210)。
[0096]
接下来，图像生成单元210从在步骤s210中获得的群集数据中获得主成分(s212)。应注意，在步骤s208中不必执行使用上述t-sne等在空间上的投影。
[0097]
接下来，图像生成单元210通过在步骤s212中获得的主成分方向上添加噪声来生成新的特征量(s214)。
[0098]
也就是说，可以说，根据本实施例的合成图像基于在通过将真实环境图像输入到教师网络而获得的特征量分布中的主成分方向上添加噪声而生成。
[0099]
随后，图像生成单元210生成合成图像，使得在步骤s206中获取的特征量和在步骤s214中生成的特征量之间的差减小(s216)。
[0100]
也就是说，可以说，根据本实施例的合成图像被生成为使得通过将真实环境图像输入到教师网络而获得的平均池化后的特征量与对特征量在主成分方向上添加了噪声的特征量之间的差减小。
[0101]
该处理可以由下面的数学公式(1)表示。
[0102]
[数学式.1]
[0103][0104]
在上述公式(1)中，xi是所生成的合成图像，g(xi)是当x被输入时在教师网络中平均池化之后的特征量，并且ti是通过在主成分方向上添加噪声所生成的特征量。
[0105]
根据本实施例的图像生成单元210重复执行步骤s214和s216的处理，直到生成预定数量的合成图像为止。
[0106]
当生成与另一模态或对象类别有关的合成图像时，图像生成单元210可以返回至步骤s202并且重复地执行以下处理。
[0107]
上面已经描述了根据本实施方式的合成图像生成的流程。关于更详细的方法，参考上述非专利文献1。
[0108]
《《1.4.学生网络的生成》》
[0109]
接下来，将描述在阶段f3中生成学生网络的方法。在根据本实施例的阶段f3中，使用第二训练装置30生成学生网络。根据本实施例的第二训练装置30是通过使用在阶段f2中生成的合成图像作为训练数据进行机器学习而生成学生网络的信息处理装置的实例。
[0110]
图7是示出根据本实施方式的第二训练装置30的示例性配置的框图。如图7所示，本实施例的第二训练装置30至少包括第二训练单元310。例如，第一训练装置10可进一步包括接受用户的操作的操作单元、显示各种信息的显示单元等。
[0111]
本实施例的第二训练装置30设置于主要的开发场所。开发站点包括云环境。
[0112]
(第二训练单元310)
[0113]
根据本实施例的第二训练单元310是基于教师网络生成学生网络的训练单元的实例，其中，教师网络通过使用存储在大规模db 50中的图像作为训练数据进行机器学习而生成。根据本实施例的第二训练单元310的特征之一是通过使用合成图像作为训练数据进行
机器学习而生成学生网络，合成图像使用教师网络和真实环境图像而获得，真实环境图像是在预期使用学生网络执行估计的真实环境中通过多个不同模态获取的。
[0114]
例如，根据本实施例的第二训练单元310从生成图像db 70获取阶段f2中生成的合成图像，并使用合成图像作为训练数据来生成学生网络。第二训练单元310可以使用存储在真实环境db中的真实环境图像作为训练数据。
[0115]
此时，根据本实施例的第二训练单元310可仅使用真实环境图像和将存储在生成图像db 70中的合成图像之中的被预测为进一步提高学生网络的估计的准确性的合成图像作为训练数据。
[0116]
如上所述的合成图像的选择使得可以更有效地提高由生成的学生网络进行的估计的准确性。
[0117]
例如，根据本实施例的第二训练单元310可将所生成的合成图像中不同模态之间的相似度超过阈值的合成图像用作训练数据。
[0118]
图8是用于说明根据本实施方式的在不同模式之间具有高度相似性的合成图像的图。图8示出了与对象类别“兔”相关的合成图像s11至s13、s21至s23、以及s31至s33。这里，假设合成图像s11至s13、s21至s21以及s31至s33与不同的模态相关。
[0119]
在图8所示的实例的情况下，在合成图像s22和s32中，作为对象的兔的一只耳朵丢失，并且与合成图像s12的相似度低。由此，可以从训练数据中排除在不同模态之间具有低相似度的合成图像。
[0120]
根据如上所述的基于不同模态之间的相似度的合成图像的接受/拒绝确定，预期将有效地提高所生成的学生网络的估计的准确性。
[0121]
当能够获取在所有模态中具有几乎相同形状的数据时，预期上述接受/拒绝确定特别有效。
[0122]
可以使用诸如模板匹配和特征点匹配的技术来计算相似度。在上述相似度计算中，可以使用用于确定相似图像的深度学习等。
[0123]
图9是示出根据本实施方式的基于模态之间的相似度的合成图像的接受/拒绝确定和训练的流程的流程图。
[0124]
首先，第二训练单元310计算生成的合成图像在不同模态之间的相似度(s302)。
[0125]
接下来，第二训练单元310排除在步骤s302中计算处的相似度等于或小于阈值的合成图像(s304)。
[0126]
接下来，第二训练单元310使用剩余的合成图像和真实环境图像作为训练数据执行训练，生成学生网络(s306)。
[0127]
如上所述，根据本实施例的学生网络可以通过使用生成的合成图像中不同模态之间的相似度超过阈值的合成图像进行机器学习而生成。
[0128]
另一方面，根据本实施例的第二训练单元310可将所生成的合成图像中在相同模态下的相似度超过阈值的合成图像用作训练数据。
[0129]
图10是用于说明根据本实施方式的在相同模态内具有高相似度的合成图像的示图。图10示出了与对象类别“兔”相关的合成图像s11至s13、s21至s23、以及s31至s33。这里，假设合成图像s11至s13、s21至s21以及s31至s33与不同的模态相关。
[0130]
在图10中所示的实例的情况下，合成图像s23缺少作为对象的兔的一只耳朵，并且
与涉及相同模态的合成图像s21和s22具有低相似性度。类似地，合成图像s31缺少作为对象的兔的一只耳朵，并且与涉及相同模态的合成图像s32和合成图像s33具有低相似度。由此，可以从训练数据中排除在相同模态内具有低相似度的合成图像。
[0131]
根据基于与如上所述的相同模态内的相似度对合成图像的接受/拒绝确定，预期将有效地提高由生成的学生网络进行的估计的准确性。
[0132]
预期当模态中的形状变化小时，上述接受/拒绝确定特别有效。在这种情况下，基于相同模态中的相似度的接受/拒绝确定与基于不同模态之间的相似度的接受/拒绝确定不同，并且即使在各模态的特征量分布不相似的情况下也是有效的。
[0133]
图11是示出根据本实施方式的基于模态的相似度进行合成图像的接受/拒绝确定和训练的流程的流程图。
[0134]
首先，第二训练单元310计算所生成的合成图像在相同模态内的相似度(s312)。
[0135]
接下来，第二训练单元310排除在步骤s312中计算出的相似度等于或小于阈值的合成图像(s314)。
[0136]
接下来，第二训练单元310使用剩余的合成图像和真实环境图像作为训练数据执行训练，生成学生网络(s316)。
[0137]
如上所述，可在产生的合成图像中，通过使用在相同模态下的相似度超过阈值的合成图像的机器学习来产生根据本实施例的学生网络。
[0138]
在以上描述中，已经描述了从多个生成的合成图像中选择将被采用作为训练数据的合成图像的情况。相反，根据本实施例的第二训练单元310可通过融合所生成的多个合成图像来生成新的合成图像，并使用该新的合成图像作为训练数据。在下文中，新的合成图像将被称为融合图像。
[0139]
也就是说，根据本实施例的学生网络可通过使用融合图像进行机器学习而生成，融合图像通过对生成的多个合成图像进行融合而获得。
[0140]
图12是示出根据本实施方式的融合图像的实例的示图。图12示出了通过融合与相同模态有关的合成图像s11和s12生成的融合图像s13。类似地，图12示出了通过融合与相同模态有关的合成图像s21和s22而生成的融合图像s23。类似地，图12示出了通过融合与相同模态有关的合成图像s31和s32而生成的融合图像s33。
[0141]
如图12所示，根据本实施例的融合图像可通过融合所生成的合成图像中与同一对象类别相关的多个合成图像来生成。
[0142]
根据本实施例的融合图像可以通过融合所生成的合成图像之中在相同模态内的相似度超过阈值的多个合成图像来生成。
[0143]
在上述情况下，为了增加相似度，可以执行诸如对准和旋转的处理。
[0144]
如果相似度足够高，则融合图像可以通过融合与不同模态相关的合成图像来生成。
[0145]
通过如上所述生成融合图像，可以生成不能在特征量空间中表达的数据，并且可以提高训练数据的多样性。
[0146]
图13是示出根据本实施方式的在相同模态内的融合图像的生成和训练的流程的流程图。
[0147]
首先，第二训练单元310计算所生成的合成图像在相同模态内的相似度(s322)。
[0148]
接下来，第二训练单元310对在步骤s322中计算出的相似度超过阈值的合成图像进行融合以生成融合图像(s324)。
[0149]
接下来，第二训练单元310使用包括在步骤s324中生成的融合图像的合成图像和真实环境图像作为训练数据执行训练，生成学生网络(s326)。在这种情况下，通过融合多个真实环境图像获得的图像可被用作训练数据。
[0150]
接下来，将描述根据本实施例的关注于多个不同模态的融合图像。图14是用于说明根据本实施方式的关注于多个不同模态的融合图像的示图。
[0151]
图14示出通过连接合成图像s11、s21和s31而生成的融合图像s41以及合成图像s11、s21和s31，合成图像s11、s21和s31是与不同模态相关的合成图像。
[0152]
如上所述，根据本实施例的融合图像可通过连接与多个不同模态有关的合成图像而生成。
[0153]
更具体地，根据本实施例的融合图像可以通过在信道方向上连接多个所生成的合成图像而生成，其中，多个所生成的合成图像的不同模态之间的相似度超过阈值。
[0154]
在上述情况下，为了增加相似度，可以执行诸如对准和旋转的处理。
[0155]
当在所有模态下可以获得具有几乎相同形状的数据时，预期上述融合图像的生成特别有效。另外，根据如上所述的融合图像，由于可以利用所有模态的信息，所以预期将提高生成的学生网络的估计的准确性。
[0156]
图15是示出根据本实施方式的不同模态之间的融合图像的生成和训练的流程的流程图。
[0157]
首先，第二训练单元310计算所生成的合成图像在不同模态之间的相似度(s332)。
[0158]
接下来，第二训练单元310在信道方向上连接在步骤s332中计算的相似度超过阈值的合成图像，以生成融合图像(s334)。
[0159]
接下来，第二训练单元310使用包括在步骤s334中生成的融合图像的合成图像和真实环境图像作为训练数据执行训练，产生学生网络(s336)。在这种情况下，可以将其中在信道方向上连接与不同模态相关的多个真实环境图像的图像用作训练数据。
[0160]
已经用具体实例描述了根据本实施方式的生成合成图像的实例。通过使用如上所述的合成图像作为训练数据，可有效地提高由生成的学生网络进行的估计的准确性。
[0161]
当如上所述基于与不同模态有关的合成图像的相似度来执行处理时，预期每个模态的特征量分布是相似的。
[0162]
然而，实际上，不能保证模态之间的特征量分布将匹配。因此，如果不执行处理，可能不能获得相似的图像，并且即使用于生成合成图像的噪声值相同，也可能意味着特征量空间中的不同距离和方向。
[0163]
鉴于上述情况，根据本实施例的合成图像可以基于对通过将真实环境图像输入到教师网络而获得的与每个模态相关的特征量分布进行相似化的处理来生成。可以对与在相同时刻从相同方向获取的多个模态相关的真实环境图像执行处理。
[0164]
根据上述处理，可以吸收模态间的特征量分布的差异，并且生成更有用的合成图像作为训练数据。
[0165]
图16是示出根据本实施方式的用于使与各个模态有关的特征量分布相似的处理的实例的示图。在该处理中，首先，获取在相同时刻从相同方向获取的与多个模态有关的真
实环境图像。
[0166]
在图16中示出的实例的情况下，第一训练单元110生成图像e11，其中，在信道方向上连接如上所述获取的多个真实环境图像，并且通过使用图像e11作为训练数据进行机器学习来生成教师网络t4。
[0167]
通过使用如上所述生成的教师网络t4，可以生成与用于生成图像e11的所有模态有关的合成图像s41。
[0168]
此外，使与每个模态有关的特征量分布相似的处理可包括：减少通过将与特定模态有关的真实环境图像输入到教师网络而获得的特征量与通过将与不同于特定模态的另一模态有关的真实环境图像输入到教师网络而获得的特征量之间的特征量空间上的距离的处理。
[0169]
该处理包括例如域适配。例如，当xs是从由rgb相机获取的真实环境图像获得的特征量，并且x
t
是从由tof相机获取的真实环境图像获得的特征量时，第一训练单元110可执行训练，使得xs的分布和x
t
的分布彼此接近。
[0170]
另外，使与每个模态有关的特征量分布相似的处理可包括将通过将与特定模态有关的真实环境图像输入到教师网络而获得的特征量转换为通过将与不同于特定模态的另一模态有关的真实环境图像输入到教师网络而获得的特征量的处理。
[0171]
根据本实施方式的第一训练单元110可以使用机器学习方法等获得将与特定模态有关的特征量投影到与另一模态有关的特征量上的变换矩阵，并且使用变换矩阵变换特征量。
[0172]
例如，当xs是从由rgb相机获取的真实环境图像获得的特征量，并且x
t
是从由tof相机获取的真实环境图像获得的特征量时，第一训练单元110可通过获得满足x
t
＝axs b的这种a和b来实现特征量的变换。虽然在此示出了线性回归问题作为实例，但是可以通过非线性回归问题来获得变换矩阵。
[0173]
如上所述，示出根据本实施例的用于使与各模态有关的特征量分布相似的处理的具体实例。这仅是示例，并且可以使用其他装置来改进与每个模态有关的特征量分布的相似度。
[0174]
《《1.5.使用学生网络的估计》》
[0175]
接下来，将描述阶段f4中使用学生网络的估计。在根据本实施例的阶段f4中，执行使用在阶段f3中生成的学生网络的估计。根据本实施例的估计装置40是使用学生网络估计对象类别的信息处理装置的实例。
[0176]
图17是示出了根据本实施方式的估计装置40的示例性配置的框图。如图17所示，根据本实施方式的估计装置40至少包括获取单元410和估计单元420。例如，估计装置40可进一步包括接收用户的操作的操作单元、显示各种信息的显示单元等。估计装置40可安装在移动体(例如，汽车)上。
[0177]
(获取单元410)
[0178]
根据本实施例的获取单元410获取真实环境中的图像。更具体地，根据本实施例的获取单元410通过用于获取真实环境图像的多个模态中的至少一个模态来获取图像，其中，真实环境图像用于生成用于训练由估计单元420使用的学生网络的合成图像。
[0179]
例如，当rgb相机和tof相机用于获取用于生成合成图像的真实环境图像时，获取
单元410使用rgb相机和tof相机中的至少一个来获取图像。
[0180]
(估计单元420)
[0181]
根据本实施例的估计单元420使用基于教师网络生成的学生网络来估计与包含在输入图像中的对象有关的对象类别，其中，该教师网络通过使用存储在大规模图像数据库中的图像进行机器学习生成的。
[0182]
例如，根据本实施例的估计单元420可以估计与包含在由获取单元410获取的图像中的对象相关的对象类别。如果存在通过用于获取用于生成合成图像的真实环境图像的模态中的至少一种模态获取的图像，则根据本实施例的估计单元420可将图像输入到学生网络并输出估计结果。
[0183]
以下，说明本实施例的估计装置40的估计流程。图18是表示本实施方式的估计装置40的处理的流程的流程图。
[0184]
如图18所示，首先，获取单元410获取与用于获取用于生成合成图像的真实环境图像的模态相同的模态的图像(s402)。
[0185]
接下来，估计单元420将在步骤s402中获取的图像输入到学生网络，并估计包含在图像中的对象的对象类别(s406)。
[0186]
随后，估计单元420输出估计结果(s406)。估计结果可以显示在例如包括在估计装置40或移动体中的显示单元上，或者可以用于控制包括在移动体中的每个装置(例如，刹车、转向等)。
[0187]
《2.硬件配置示例》
[0188]
接下来，将描述与根据本公开的实施方式的第一训练装置10、图像生成装置20、第二训练装置30以及估计装置40相同的示例性硬件配置。图19是示出根据本公开的实施方式的信息处理装置90的示例性硬件配置的框图。信息处理装置90可以是具有与每个上述装置相同的硬件配置的装置。如图19中所示，信息处理装置90包括例如处理器871、rom 872、ram 873、主机总线874、桥接器875、外部总线876、接口877、输入装置878、输出装置879、存储器880、驱动器881、连接端口882以及通信装置883。这里所示的硬件配置是示例，并且可以省略一些组件。此外，还可以包括除本文所示的组件之外的组件。
[0189]
(处理器871)
[0190]
例如，处理器871用作运算处理装置或控制装置，并且基于记录在rom 872、ram 873、存储器880、或者可移除记录介质901中的各种程序，控制组件的全部或者一些操作。
[0191]
(rom872、ram873)
[0192]
rom 872是用于存储读取到处理器871中的程序、用于计算的数据等的装置。在ram 873中，临时或永久地存储读取到处理器871中的程序、当执行程序时适当改变的各种参数等。
[0193]
(主机总线874、桥接器875、外部总线876、接口877)
[0194]
处理器871、rom 872和ram 873经由例如能够进行高速数据传输的主机总线874彼此连接。另一方面，主机总线874经由例如桥接器875连接到具有相对低的数据传输速度的外部总线876。此外，外部总线876通过接口877连接到各种部件。
[0195]
(输入装置878)
[0196]
输入装置878例如使用鼠标、键盘、触摸面板、按钮、开关、控制杆等。此外，可以使
用能够使用红外线或其他无线电波发射控制信号的遥控器作为输入装置878。输入装置878包括诸如麦克风的语音输入装置。
[0197]
(输出装置879)
[0198]
输出装置879例如是能够将所获取的信息在视觉上或听觉上通知用户的装置，诸如crt(阴极射线管)、lcd或有机el的显示装置、诸如扬声器或耳机的音频输出装置、打印机、移动电话、传真机等。根据本公开的输出装置879包括能够输出触觉刺激的各种振动装置。
[0199]
(存储器880)
[0200]
存储器880是用于存储各种类型的数据的装置。作为存储器880，例如，使用诸如硬盘驱动器(hdd)的磁存储装置、半导体存储装置、光存储装置、磁光存储装置等。
[0201]
(驱动器881)
[0202]
驱动器881是读取记录在诸如磁盘、光盘、磁光盘或半导体存储器的可移除记录介质901上的信息或者将信息写入可移除记录介质901的装置。
[0203]
(可移除记录介质901)
[0204]
例如，可移除记录介质901是dvd介质、蓝光(注册商标)介质、hddvd介质、各种半导体存储介质等。自然地，可移除记录介质901可以是例如配备有非接触型ic芯片的ic卡、电子装置等。
[0205]
(连接端口882)
[0206]
连接端口882是用于连接外部连接装置902的端口，例如，usb(通用串行总线)端口、ieee1394端口、scsi(小型计算机系统接口)、rs-232c端口或光学音频终端。
[0207]
(外部连接装置902)
[0208]
例如，外部连接装置902是打印机、便携式音乐播放器、数码相机、数码摄像机、ic记录器等。
[0209]
(通信装置883)
[0210]
通信装置883是用于连接到网络的通信装置，并且例如是用于有线或无线lan、蓝牙(注册商标)或wusb(无线usb)的通信卡、用于光通信的路由器、用于adsl(非对称数字用户线路)的路由器或用于各种通信的调制解调器。
[0211]
《3.总结》
[0212]
如上所述，根据本公开的实施例的估算装置40包括估算单元420，估算单元420使用基于教师网络生成的学生网络估计包含在输入图像中的对象的对象类别，其中，教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成。
[0213]
根据本公开的实施例的第二训练装置30包括第二训练单元310，第二训练单元310基于教师网络生成学生网络，其中，教师网络是通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成的。根据本公开的一个实施例的第二训练单元310的特征之一是通过使用合成图像作为训练数据进行机器学习而生成学生网络，其中，合成图像使用教师网络和真实环境图像而获得，真实环境图像是在预期使用学生网络执行估计的真实环境中通过多个不同模态获取的。
[0214]
根据上述配置，可进一步提高使用学生网络的估计的准确性。
[0215]
虽然已经参考如上所述的附图详细描述了本公开的优选实施例，但是本公开的技
术范围不限于这样的示例。显然，对于本公开的技术领域普通技术人员而言，能够想到在权利要求中阐述的技术构思的范围内的各种变形例或变形例，并且应当理解，这些变形例或变形例自然也落入本公开的技术范围内。
[0216]
例如，本技术可以应用于使声源可视化的图像。近年来，已经开发了用于从声源生成图像的各种技术。例如，图像生成装置20可使用可视化声源的图像来生成合成图像，第二训练装置30可使用合成图像来生成学生网络。在这种情况下，估计装置40还可使用如上所述生成的学生网络估计与声源相关的类别。
[0217]
此外，与本说明书中描述的处理相关的步骤不一定必须按照流程图或顺序图中描述的顺序按照时间顺序处理。例如，与每个装置的处理相关的步骤可以按照与所描述的顺序不同的顺序处理，或者可以并行地处理。
[0218]
本说明书中描述的每个装置的一系列处理可以使用软件、硬件、或者软件和硬件的组合来实现。构成软件的程序被预先存储在例如设置在每个装置内部或外部的记录介质(非暂时性介质)中。然后，例如，每个程序在由计算机执行时被读取到ram中并且由各种处理器执行。记录介质是例如磁盘、光盘、磁光盘或闪存。此外，上述计算机程序可以经由例如网络分布，而不使用记录介质。
[0219]
此外，在本说明书中描述的效果仅仅是解释性或示例性的，并非旨在进行限制。即，除了上述效果之外或者代替上述效果，根据本公开的技术可表现出从本文的描述中对于本领域技术人员显而易见的其他效果。
[0220]
此外，以下配置也落入本公开的技术范围内。
[0221]
(1)一种信息处理装置，包括：估计单元，使用基于教师网络生成的学生网络估计包含在输入图像中的对象的对象类别，教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中学生网络是通过使用合成图像作为训练数据进行机器学习而生成的，该合成图像使用教师网络和真实环境图像而获得，真实环境图像是在预期由估计单元执行估计的真实环境中通过多个不同模态获取的。
[0222]
(2)根据(1)所述的信息处理装置，其中，合成图像是基于对通过将真实环境图像输入到教师网络而获得的特征添加噪声而生成的。
[0223]
(3)根据(2)所述的信息处理装置，其中，合成图像是基于在通过将真实环境图像输入到教师网络而获得的特征量分布中的主分量方向上添加噪声而生成的。
[0224]
(4)根据(3)所述的信息处理装置，其中，生成合成图像，使得通过将真实环境图像输入教师网络而获得的平均池化后的特征量与对特征量在主分量方向上添加噪声得到的特征量之间的差减小。
[0225]
(5)根据(1)至(4)中任一项所述的信息处理装置，其中，学生网络是通过使用所生成的合成图像之中的在不同模态之间的相似度超过阈值的合成图像进行机器学习而生成的。
[0226]
(6)根据(1)至(5)中任一项所述的信息处理装置，其中，学生网络是通过使用所生成的合成图像之中的在相同模态下的相似度超过阈值的合成图像进行机器学习而生成的。
[0227]
(7)根据(1)至(6)中任一项所述的信息处理装置，其中，学生网络是通过使用融合图像进行机器学习而生成的，其中，融合图像是通过融合多个所生成的合成图像而获得的。
[0228]
(8)根据(7)所述的信息处理装置，其中，融合图像是通过融合所生成的合成图像
中的相似度超过阈值的多个合成图像而生成的。
[0229]
(9)根据(7)或(8)所述的信息处理装置，其中，融合图像是通过融合所生成的合成图像之中的与相同对象类别相关的多个合成图像而生成的。
[0230]
(10)根据(7)至(9)中任一项所述的信息处理装置，其中，融合图像是通过连接与多个不同模态有关的合成图像而生成的。
[0231]
(11)根据(10)所述的信息处理装置，其中，融合图像是通过在信道方向上将不同模态间的相似度超过阈值的多个所生成的合成图像连接起来而生成的。
[0232]
(12)根据(1)至(11)中任一项所述的信息处理装置，其中，合成图像是基于将通过相应模态获取的真实环境图像输入到对应于单个模态的多个教师网络中的每一个而生成的。
[0233]
(13)根据(1)至(11)中任一项所述的信息处理装置，其中，合成图像是基于使通过将真实环境图像输入到教师网络而获得的与每个模态有关的特征量分布相似的处理而生成的。
[0234]
(14)根据(13)所述的信息处理装置，其中，合成图像使用教师网络而生成，教师网络通过使用在信道方向上通过连接与在相同时刻从相同方向获取的多个模态有关的真实环境图像而获得的图像作为训练数据进行机器学习而生成。
[0235]
(15)根据(13)所述的信息处理装置，其中，合成图像是基于减小通过将与特定模态有关的真实环境图像输入到教师网络而获得的特征量与通过将与特定模态不同的另一模态有关的真实环境图像输入到教师网络而获得的特征量之间的特征量空间上的距离的处理而生成。
[0236]
(16)根据(13)所述的信息处理装置，其中，合成图像是基于对通过将与特定模态有关的真实环境图像输入到教师网络而获得的特征量和通过将与特定模态不同的另一模态有关的真实环境图像输入到教师网络而获得的特征量进行变换的处理而生成。
[0237]
(17)根据(1)至(16)中任一项所述的信息处理装置，进一步包括：获取单元，获取真实环境中的图像，其中，估计单元估计与获取单元获取的图像中包含的对象有关的对象类别。
[0238]
(18)根据(17)所述的信息处理装置，其中，获取单元通过用于获取用于生成合成图像的真实环境图像的多个模态中的至少一个模态来获取图像。
[0239]
(19)一种信息处理装置，包括：训练单元，基于教师网络生成学生网络，该教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中，该训练单元通过使用合成图像作为训练数据进行机器学习而生成学生网络，该合成图像使用教师网络和真实环境图像而获得，该真实环境图像是在预期使用学生网络执行估计的真实环境中通过多个不同模态获取的。
[0240]
(20)一种程序，用于使计算机用作信息处理装置，该信息处理装置包括：估计单元，使用基于教师网络生成的学生网络估计包含在输入图像中的对象的对象类别，其中，教师网络通过使用存储在大规模图像数据库中的图像作为训练数据进行机器学习而生成，其中，学生网络是通过使用合成图像作为训练数据进行机器学习而生成的，合成图像使用教师网络和真实环境图像而获得，真实环境图像是在预期由估计单元执行估计的真实环境中通过多个不同模态获取的。
[0241]
符号说明
[0242]
10 第一训练装置
[0243]
110 第一训练单元
[0244]
20 图像生成装置
[0245]
210 图像生成单元
[0246]
30 第二训练装置
[0247]
310 第三训练单元
[0248]
40 估计单元
[0249]
410 获取单元
[0250]
420 估计单元
[0251]
50 大规模db
[0252]
60 真实环境db
[0253]
70 生成图像db。