用于检索多光谱BRDF参数的计算机实施的方法和系统与流程

用于检索多光谱brdf参数的计算机实施的方法和系统
技术领域
1.本发明涉及用于检索多光谱brdf参数的计算机实施的方法、系统、手持设备和程序。


背景技术：

2.在现代开发过程中，在实际开发进程和/或原型设计进程开始之前，会进行大量不同的模拟。为了模拟并且为达到真实感模拟结果，有必要在模拟中尽可能真实地模拟要使用的材料。因而，在模拟中材料对于渲染真实感3d物体发挥着重要的作用，例如计算机绘图。尤其是，所使用的材料可以限定光如何与物体相互作用。这种相互作用应以用于进一步使用的方式加以识别和描述。
3.一些材料组由被称为双向反射分布函数(brdf)的函数来限定。brdf限定了光或其他电磁辐射如何与物体表面相互作用。此外，brdf表示针对在任何入射角下材料表面反射行为的函数。对于以给定入射角入射到材料上的每个光束，它提供了针对所发射的每个光束的辐射密度与辐照度的商。例如，入射光可能不会在表面下透射，或者其是逼近的。对于照片级真实的渲染，brdf函数被认为与波长无关并且仅被检索r、g、b通道。对于传感器真实渲染，波长可以发挥重要作用(例如激光雷达、红外传感器等)。由于材料在不同状态下的未知行为并且因而其brdf未知，因此有必要测量这些信息。
4.最先进的工艺需要复杂和广泛的设置以及昂贵的装备。此外，为了测量例如汽车的材料，要求在不同的局部照明模型中用最先进的工艺进行大量的迭代，为这种数据采集花费了大量的时间和硬件并且使得其效率更低。进一步地，在使用了这些材料的大型资产数据库(几何图形、材料、属于模拟世界的纹理)的情况下，选择去收集和测量材料的代价高，因为精细划分样本的简单存储对内存的要求高。另外，一般不存在多光谱属性。
5.需要用更有效的方法和系统来测量用于模拟的材料的brdf。


技术实现要素：

6.本发明的目的是改进多光谱brdf参数的检索。尤其是，应该消除上述缺点。
7.该目的通过根据具有相应要求保护特征的独立权利要求的主题来实现。有利的实施例是从属权利要求的主题、描述和图。
8.根据第一方面，本发明涉及一种用于通过使用红绿蓝深度rgb-d数据来检索多光谱双向反射分布函数brdf参数的计算机实施的方法。该方法包括以下步骤：
[0009]-由rgb-d相机拍摄场景中一个或多个物体的至少一个图像，其中，一个或多个物体的所拍摄的至少一个图像包括rgb-d数据，该rgb-d数据包括物体的颜色和几何形状信息。
[0010]
rgb-d相机的使用提供了包括物体的高度准确的信息的图像。rgb-d图像是rgb图像及其对应的深度图像的组合。深度图像是图像通道，其中每个像素与图像平面和rgb图像中对应的物体之间的距离相关。
[0011]
颜色和几何形状信息可以包括一个或多个物体的表面上的点的信息。该信息可以包括rgb值和深度值，尤其是从rgb-d相机的特定方向取得的这些点的距离。rgb值包括针对每个单个点的红色、绿色和蓝色分量。图像中每个像素的每个点的各自的颜色由存储在像素位置的每个颜色平面中的红色、绿色和蓝色强度的组合来确定。图像可以按具有例如24位的图形文件格式存储，其中红色、绿色和蓝色分量各自为8位。这产生了1600万种颜色可能性。进一步地，可以使用例如8位或16位的图形文件格式，其中应用了与24位类似的位分布。
[0012]-由处理单元通过使用rgb-d数据来将一个或多个物体的所拍摄的至少一个图像重建为一个或多个3d重建。重建步骤可以包括物体表面的数字创建，该数字创建在某种程度上符合由rgb-d相机取得的点。
[0013]-由深度神经网络基于3d重建来对一个或多个物体的表面的brdf进行分类，其中深度神经网络包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层。
[0014]-通过使用迭代优化方法以逼近经分类的brdf来检索多光谱brdf参数。
[0015]
利用根据本发明的方法和系统，可以基于未知但传感器真实感渲染所要求的材料类型来检索材料的多光谱属性。
[0016]
进一步地，优化过程包括分类和多光谱参数估计，这使得多光谱brdf参数的检索更加有效、快速和准确。
[0017]
有利的是，物体的检索到的brdf参数可以用来验证传感器的正确操作，例如在汽车中，和/或校准传感器以正确测量物体的表面，从而也正确测量物体(例如汽车、路标)本身。例如，识别物体对于自动驾驶来说很重要。汽车的传感器必须检测位于汽车周围的每个物体，与材料无关并且在每种光线情况下(即反射、强度等)。通过使用用于模拟的经检索的brdf参数，在模拟中验证传感器更加有效，因为在变化的光线条件下，对于所有材料的验证和校准不再需要在外面的真实环境中执行。由brdf函数描述的每个光线条件和材料行为都是可用的。
[0018]
此外，材料的检索到的多光谱brdf参数可以被存储在材料资产数据库中，并且可被用于模拟和测试目的，以及用于在计算机和电影场景中创建数字环境和物体。
[0019]
在本发明的优选实施例中，检索多光谱brdf参数的步骤还包括估计brdf的光谱参数。
[0020]
在本发明的优选实施例中，检索多光谱brdf参数的步骤还包括估计环境贴图的光谱属性。环境贴图的光谱属性描述了从全方向到达估计brdf参数的点的光。
[0021]
通常，brdf被写作两个单位向量的函数和波长的函数。这两个向量对相对于表面法线的反射的入射和出射方向进行编码。当在第一方向上到达时，brdf测量有多少光在第二方向上被散射。总体上，brdf被建模为具有独立于波长λ的参数p的函数。通过使用每λ基于球面谐波的函数，可以对环境贴图进行建模。当使用rgb-d相机来重建物体时，rgb-d相机将关于物体反射率的每点每rgb通道的光谱曲线(相机光谱曲线)整合，这是brdf与环境的组合。以这种方式，可以检索光谱brdf参数。
[0022]
在本发明的优选实施例中，一个或多个物体的3d重建包括一个或多个物体的rgb值和表面法线。表面法线(也被描述为法线)可以是物体的诸如垂直于给定物体的线或向量。例如，在二维空间中，给定点处曲线的法线是垂直于该点处曲线的切线的线。在三维空
间中，物体某个点处表面的法线是垂直于该点表面的切面的向量。法线可以用来确定表面朝向光源的取向，例如平坦阴影，或者每个角的取向以模拟曲面。
[0023]
在本发明的优选实施例中，经分类的brdf包括brdf的光谱参数和一个或多个物体的环境映射的光谱属性。brdf的光谱参数可以通过使用相机rgb-d规格来测量。通过已知相机的光谱曲线，可以测量表面的rgb-d模型还有表面的出射光。为了渲染具有光谱brdf的图像，有必要为材料提供一个环境来与之相互作用。有利的是，环境映射描述了给定的环境照明。表面的外观，尤其是反射表面可以被逼近。此外，通过提供环境映射的光谱属性，检索多光谱brdf参数与环境及其光线条件无关。因而不要求提供特定和可调节灯光设置的暗室或实验室。
[0024]
在本发明的优选实施例中，深度神经网络包括卷积神经网络。在本发明的另一优选实施例中，深度神经网络包括递归神经网络。在本发明的另一优选实施例中，深度神经网络包括前馈神经网络。
[0025]
深度神经网络是由两个以上的层组成的具有一定复杂性的神经网络。深度神经网络使用数学模型来以复杂的方式处理数据。深度神经网络一般包括模拟人脑活动的技术，尤其是图案识别。神经网络包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层。每个层都执行特定类型的数据排序和归档。尤其是，神经网络适用于处理未标记和/或非结构化数据。尤其是，神经网络表示一类机器学习，其中人工智能被用来对信息进行分类和排序。
[0026]
网络是深度学习(也被称为深度结构化学习或分层学习)人工神经网络(ann)。它可以包含一个以上的隐藏层。网络使用基于学习数据表示的机器学习方法，而不是任务特定算法。优选地，学习是监督式的或部分监督式的。网络的组成还可以有一个或多个卷积层。尤其是，它可以由完全卷积的网络组成，完全卷积的网络以端到端的方式被训练，可选地跳过连接。它使用汇集层和解卷积层。网络将图像作为输入并且提供一个或多个图像作为输出。网络以端到端的方式被训练，例如通过直接将整个所产生的输出与整个基本真实(例如整个分割掩码(而不是考虑补丁和标签))进行比较。它可能使用深度监督来训练，其中损失函数由在每个解析度计算的成本的组合而组成。
[0027]
训练可以包括为不同的材料提供不同光线方向和不同rgb-d模型，从而得到不同的brdf。输入与预期输出的组合可以用来训练深度神经网络。
[0028]
根据优选实施例，迭代优化方法包括l2范数优化。l2范数优化等于最小二乘法。最小二乘法是回归分析中逼近超定方程组的解的一种方法。它基本上是使目标值与估计值之间差值的平方和最小化。由于l2范数将误差平方(如果误差＞1，则增大很多)，模型将看到比例如l1范数大得多的误差，因此模型对该示例更加敏感，并且调节模型以使该误差最小化。
[0029]
l2范数包括解析解，在计算上，这允许高效地计算l2范数解。
[0030]
根据另一优选实施例，迭代优化方法包括levenberg-marquandt优化。levenberg-marquardt算法是用于使用最小二乘法来求解非线性均衡问题的数值优化算法。该方法将高斯牛顿法与强制函数值下降的正则化技术结合。levenberg-marquardt算法比高斯牛顿法法稳健得多，即，即使在较差的启动条件下其也能以高概率收敛。
[0031]
以这种方式，通过使用迭代优化，可以使在估计brdf参数时由于物体表面上不同
且不可预测的光入射而发生的误差最小化。因此，本发明允许在没有先前限定的光线条件的未知环境中检索brdf。物体可以放在不同的灯光条件下，并且物体的材料将根据这些不同的灯光条件来表现。
[0032]
在进一步的可能实施例中，迭代优化使逼近误差最小化，直到估计内的误差量低于手动测量内的误差量。以这种方式，光的误差和关于brdf的误差可以被最小化。如果估计内的误差量低于手动测量内的误差，则表明已经找到了与brdf的频谱参数相对应的环境。在这种情况下，这些参数对应于已经拍摄的材料的brdf参数。迭代可以停止，否则继续。例如，对于深度神经网络的训练阶段，已经继续进行了人工测量。在进一步的实施例中，将阈值添加到估计出的误差中。阈值可以通过实验来确定。
[0033]
选取的阈值越高，估计的准确度就越高。选取的阈值越低，方法的计算和检索多光谱brdf参数所需的时间就越短。
[0034]
到目前为止，已经相对于要求保护的方法描述了本发明。本发明的特征、优点或替代实施例可以被分配给其他要求保护的对象(例如，计算机程序或系统，即装置或计算机程序产品)，反之亦然。换句话说，关于该系统要求保护或描述的主题可以用在该方法的上下文中描述或要求保护的特征来改进，反之亦然。在这种情况下，该方法的功能特征分别由系统的结构单元来体现，反之亦然。一般地，在计算机科学中，软件实施方式和对应的硬件实施方式是等同的。因此，例如，用于“存储”数据的方法步骤可以用存储单元和将数据写入存储的相应的指令来执行。为了避免冗余，尽管该装置也可以用在参考该方法描述的替代实施例中，但是这些实施例不再针对该装置进行明确描述。
[0035]
在另一方面中，本发明可以涉及一种用于通过使用红绿蓝深度rgbd数据来检索多光谱双向反射分布函数brdf参数的系统，该系统包括：
[0036]-图像拍摄设备，适于拍摄场景中一个或多个物体的至少一个图像，其中，一个或多个物体的所拍摄的至少一个图像包括rgbd数据，该rgbd数据包括物体的颜色和几何形状信息；
[0037]-计算机单元，包括：
[0038]-用于存储深度神经网络的存储器单元，深度神经网络包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层；
[0039]-至少一个处理单元，适于存储程序指令，当该程序指令在至少一个处理单元上执行时使该系统：
[0040]-通过使用rgdb数据来将一个或多个物体的所拍摄的至少一个图像重建为一个或多个3d重建；
[0041]-使用深度神经网络，基于3d重建对一个或多个物体的表面上的brdf类型进行分类；以及
[0042]-通过使用迭代优化方法以逼近经分类的brdf类型来检索多光谱brdf参数。
[0043]
在另一方面中，本发明可以被实施为被配置为执行该方法的实施例之一的手持设备。手持设备可以包括例如移动电话、平板电脑、膝上型电脑、笔记本电脑和/或pda。相机，尤其是rgb-d相机可以被包括在手持设备中，或者经由有线或无线连接来连接到手持设备的连接接口。
[0044]
在另一方面中，本发明可以被实施为包括程序元素的计算机程序产品，当程序元
素被加载到电子设备的存储器中时，该计算机程序产品促使电子设备进行根据前述方法权利要求任一项用于检索多光谱双向反射分布函数brdf参数的方法的步骤。电子设备包括适于执行程序的每种设备。
[0045]
作为本发明的一部分的是，并非该方法的所有步骤都必须在同一组件或计算机实例上执行，而是也可以在不同的计算机实例上执行。
[0046]
另外，有可能的是，作为分布式系统，上述方法的个体步骤可以在一个单元中进行，而剩余的组件可以在另一单元中进行。
[0047]
本发明，尤其是前面提到的方法，可以是作为可加载到网络单元的处理单元(例如医师的(例如移动)设备和/或服务器)中的计算机程序来提供的。计算机程序包括当由处理单元处理时适于执行如前面提到的方法的步骤的代码。计算机程序可以被存储在非易失性计算机可读介质或数据载体上，如记忆棒。计算机程序也可以从服务器实体以可下载的形式下载。计算机程序可以被虚拟化和/或可以分布在不同的网络节点上。
[0048]
计算机程序可以作为计算机程序产品提供、投放市场、使用、导入和/或存储(并且因此可以作为计算机程序产品的一部分)。因此，计算机程序可以在存储介质(计算机可读介质，如计算机盘或记忆棒等)上提供。替代地，计算机程序可以经由下载借助于到服务器的相应的网络连接来提供，服务器通过提供到其上存储有计算机程序的服务器的链接来存储计算机程序。“计算机可读介质”或“存储介质”可以是可以包含、存储、通信、传播或传输供指令执行系统、装置或设备使用或与其结合使用的程序的任何介质。计算机可读介质可以是例如但不限于电子、磁、光、电磁、红外或半导体系统、装置、设备或传播介质。计算机可读介质的更特定的示例(非穷举列表)可以包括以下：具有一条或多条导线的电连接、便携式计算机软磁盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪速存储器)、光纤和便携式压缩盘只读存储器(cdrom)。
[0049]
术语“计算机”或“计算单元”是指包括处理器的任何电子设备，诸如通用中央处理单元(cpu)、专用处理器或微控制器。处理器适于执行特殊计算任务，即，用于检索多光谱双向反射分布函数(brdf)参数。计算机或计算单元能够接收数据(输入)，能够在其上执行预定操作序列，以及能够由此产生信息或信号(输出)形式的结果。根据上下文，术语“计算机”或“计算单元”将意味着尤其是处理器，或者可以更一般地指与包含在单个机箱或壳体内的相关元件的集合物相关联的处理器。
[0050]
本文描述的系统和方法可以由一个计算机程序或多个计算机程序来实施，这些计算机程序可以按多样的形式存在于单个计算机系统中的或跨多个计算机系统的活动和非活动状态两者中。例如，它们可以作为(多个)软件程序存在，这些软件程序的组成有源代码、目标代码、可执行代码或用于执行一些步骤的其他格式中的程序指令。以上任何一个都可以在包括存储设备和信号的计算机可读介质上以压缩或未经压缩的形式来实施。
[0051]
鉴于下文的说明书和实施例，上文描述的本发明的属性、特征和优点，以及它们实现的方式(这些将在图的上下文中更详细地描述)变得更清楚和更容易理解。以下描述并不会将本发明限制在所包含的实施例上。在不同的图中，相同的组件或部件可以用相同的参考标号来标记。一般地，这些图不是按比例的。应当理解，本发明的优选实施例也可以是从属权利要求或上述实施例与相应的独立权利要求的任何组合。
附图说明
[0052]
在下文中，将参考附图来更详细地描述本发明的不同方面的可能实施例。
[0053]
图1示出了用于检索多光谱双向反射分布函数(brdf)参数的方法的可能实施例的流程图；并且
[0054]
图2示出了用于通过使用红绿蓝深度rgb-d数据来检索多光谱双向反射分布函数brdf参数的系统架构的可能实施例的框图。
具体实施方式
[0055]
图1示意性地示出了用于检索多光谱双向反射分布函数brdf参数的方法1的可能实施例的流程图。brdf是针对在任何入射角下材料表面反射行为的函数。对于以给定入射角入射到材料上的每个光束，它提供了针对所发射的每个光束的辐射密度与辐照度的商。例如，brdf被用在真实感3d计算机绘图中，在计算机绘图中，brdf表示基础渲染方程的一部分，并且用于尽可能真实和物理正确地表示表面。
[0056]
在所图示的示例性实施例中，该方法包括几个主要步骤。在第一步骤s1中，由rgb-d相机11拍摄场景中的一个或多个物体30(见图2和对应的描述)的至少一个图像。一个或多个物体30的所拍摄的至少一个图像包括rgb-d数据，该rgb-d数据包括物体30的颜色和几何形状信息。在步骤s1中，推导了材料的参数。这包括由rgb-d相机11对于每个射入角测量出射角，以创建针对每一个体材料的模型。每种材料都以不同的方式勾画其表面上的光，这是由参数描述的。这些参数可以通过处理由rgb-d相机11拍摄的图像来估计。
[0057]
通过使用rgb-d相机11的已知光谱曲线，检索多光谱brdf属性，并且可以辨别多光谱环境贴图。只通过在一个光斑上使用rgb-d相机11就可以测量材料。例如，拍摄具有特定尺寸的独特材料表面的板块。rgb-d相机11用其图像拍摄独特材料表面的点作为包括rgb-d数据的像素。rgb-d数据包括红色、绿色和蓝色的颜色信息以及深度信息。由rgb-d相机11拍摄的图像包括来自rgb-d相机11所指向的表面的点的所有光信息(反射)。进一步地，来自环境的光与表面的反射被加在一起。由此，本发明估计光线方向和brdf的参数。
[0058]
在进一步的步骤s2中，由处理单元通过使用rgb-d数据来将一个或多个物体30的至少一个图像重建为一个或多个3d重建。由rgb-d相机提供的rgb-d数据包括rgb值和深度值。这些值描述了由图像记录的物体30的表面上的3d点。rgb值和深度值可以用来创建符合这些点的表面。所创建的表面被用来估计法线。这得到来自物体30的表面上的点的数字信息，其包括方向rgb-d数据。数字信息包括对于每个方向的点的深度信息。
[0059]
在进一步的步骤s3中，一个或多个物体30的表面的brdf由深度神经网络20基于3d重建来分类。深度神经网络20包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层。将物体限定为表面法线的3d重建和rgb值的方向被放入深度神经网络20的不同层中。深度神经网络20可以由几个已知的输入值和输出值来训练。训练包括确定所提供的训练输入值与输出值之间的关系。根据经训练的数据集，进一步的brdf分类可以通过使用未知或新的输入数据来执行。例如，训练可以被执行用于测试和模拟目的所要求的几种材料模型。
[0060]
在进一步的步骤s4中，通过使用迭代优化方法以逼近经分类的brdf来检索多光谱brdf参数。在实施例中，步骤s4可以包括估计brdf的光谱参数并且估计环境贴图的光谱属性。步骤s4被迭代it.直到达到某个很小的误差值为止。环境贴图限定了来自每个方向的射
入光。环境属性包括来自于每个方向的光的量值。当达到一个标准(例如估计的误差量)时，迭代优化方法停止。误差量可以通过实践研究来确定，目的是达到方法的最大准确度和/或性能。优化方法可以包括l2范数优化或levenberg-marquandt优化。有利的是，利用本发明的方法，来自物体30的表面的brdf参数可以在每个状态下被估计，并且与照明条件无关。
[0061]
在等式(1)中，可以计算来自物体30的表面出射辐射率。出射辐射率lo(x，ωo，λ)可以通过ω

对物体30的表面点上的射入辐射率li(ωi，λ)和双向反射分布函数ρ(x，ωi，ωo，λ，p)的积分来计算。
[0062][0063]
双向反射分布函数包括x作为待扫描物体30的表面上的位置。它还包括射入方向向量ωi和出射方向向量ωo。参数γ描述了光的波长。参数n描述了表面法线。
[0064]
在等式(2)中，示出了重建步骤之后的颜色响应(例如，rgb、xyz)的三刺激表示。从物体30的表面的每个点，估计包括颜色响应ck(x，ωo)的rgb值。进一步地，为了估计颜色响应ck(x，ωo)，使用了基于波长的刺激函数∫
λ
ciek(λ)。ciek描述了标准曲线，例如cie 1931rgb颜色匹配函数。
[0065][0066]
在等式(3)中，指定分类步骤s3，波长λ必须被离散化。等式(3)描述了传感器(rbg-d相机)的输出ck(x，ωo)。参数x，ωo是重建的结果，并且ck是rgb值的结果。等式(3)必须被修改以获得双向反射分布函数p和射入辐射率li。
[0067][0068]
在等式(5)中，射入光用球谐函数来表示。等式(5)通过插入等式(4)来操纵，以在计算该方法时达到更好的性能并且优化该方法的处理。
[0069]
∑
m＝0cm，k，j
ym(ωi)
ꢀꢀꢀꢀꢀ
(4)
[0070]
等式(4)描述了li(ωi，λj)的球谐函数表示。参数c
m，k，j
描述了环境贴图，并且参数ym描述了光谱参数。
[0071][0072][0073]
在等式(6)中，项被重新排列。对于给定的ck(x，ωo)，可以估计环境贴图参数(光)c
m，k，j
和brdf参数ρ。
[0074][0075]
该估计包括通过使用深度神经网络来对表面上的brdf类型进行分类的步骤。进一步地，选择针对brdfp的合适的初始猜测。随后，在循环中重复(继续)估计，直到达到收敛(误差度量)。循环包括估计环境贴图参数c
m，k，j
(使用矩阵的非参数估计)以及使用不同的优化方法来估计brdfp，诸如l2范数或levenberg-marquandt优化。
[0076]
图2示意性地示出了用于通过使用红绿蓝深度rgb-d数据来检索多光谱双向反射分布函数brdf参数的系统架构10的可能实施例的框图。
[0077]
如在图2的框图中所看到的，系统10被用于通过使用红绿蓝深度rgb-d数据来检索多光谱双向反射分布函数brdf参数。在所图示的实施例中，系统10包括rgb-d相机11和计算单元12。rgb-d相机11和计算单元12被构建为两个独立的实体。在该实施例中，rgb-d相机11和计算单元12经由通信连接15来连接。通信连接15可以用于计算单元12与rgb-d相机11之间的双向数据交换。数据交换可以包括发送和接收控制信号和/或数据信号。通信连接15可以包括无线通信连接诸如wi-fi、蓝牙、蓝牙低功耗、nfc、红外线，和/或有线通信连接诸如串行通信连接，包括pci-express、千兆位以太网、hdmi、usb标准3.1及更低版本、sata、dvi或以太网。rgb-d相机11和计算单元12包括用于连接到对应的通信连接15的通信连接接口。
[0078]
在所图示的实施例中，计算单元12包括存储器单元13和处理单元14。系统10中的用于检索多光谱双向反射分布函数brdf参数的计算单元12可以形成作为计算机、个人计算机或计算机网络中的工作站，并且可以包括处理单元14(一个或多个处理器)、存储器单元13和将包括存储单元13在内的各种系统组件耦合到处理单元14的系统总线。系统总线可以是几种类型的总线结构之一，包括存储器总线或存储器控制器、外围总线和使用任意数量的总线架构的局部总线。存储单元13可以包含只读存储器(rom)和/或随机存取存储器(ram)。基本输入/输出系统(bios)可以被存储在rom中，该bios包含有助于在pc内的元件之间传输信息的基本例程，例如在启动时。计算单元还可以包括用于从硬盘读取和写入硬盘的硬盘驱动器和用于从可移动(磁性)光盘(诸如压缩盘(cd)或其他(磁性)光学介质)读取或写入可移动(磁性)光盘的光盘驱动器。驱动器和相关联的存储介质为计算机提供对机器可读指令、数据结构、程序模块和其他数据的非易失性存储。尽管本文描述的示例性环境使用硬盘和可移动(磁)光盘，但是本领域技术人员将会理解，可以使用其他类型的存储介质(诸如闪存卡、数字视频盘、随机存取存储器(rams)、只读存储器(rom)等)来代替或补充上面呈现的存储设备。几个程序模块可以被存储在硬盘、(磁)光盘、rom或ram上，诸如操作系统、一个或多个应用程序，诸如计算输出的方法和/或其他程序模块和/或程序数据。
[0079]
用户可以经由输入设备(诸如键盘和点击设备)将命令和信息键入到计算机中。也可以包括其他输入设备，诸如麦克风、操纵杆、扫描仪等。这些和其他输入设备往往经由耦合到系统总线的串行接口来连接到处理单元14。然而，输入设备也可以经由其他接口来连接，诸如并行端口、游戏端口或通用串行总线(usb)。监视器(例如gui)或其他类型的显示设备也可以经由诸如视频适配器之类的接口连接到系统总线。除了显示器，计算机还可以包含其他外围输出设备，诸如扬声器和打印机。
[0080]
计算单元12可以在限定了到一个或多个远程计算机的逻辑连接的网络环境中操作。远程计算机可以是另一个人计算机、服务器、路由器、网络pc、对等设备或另一共享网络节点，并且可以包含与个人计算机相关的许多或所有上述元件。逻辑连接包括局域网(lan)和广域网(wan)、内部网和互联网。
[0081]
此外，计算单元12可以被实施为微控制器或可编程芯片(诸如assic或fpga)上的片上系统设计。
[0082]
存储器单元13可以存储深度神经网络20。
[0083]
处理单元12适于存储程序指令，当程序指令在处理单元14上执行时，使系统通过使用rgb-d数据来将一个或多个物体30的所拍摄的至少一个图像重建为一个或多个3d重建。进一步地，处理单元使用深度神经网络20，基于3d重建来对一个或多个物体30的表面上
的brdf进行分类。进一步地，处理单元12通过使用迭代优化以逼近经分类的brdf来检索多光谱brdf参数。处理单元12可以包括适于存储和执行程序指令的几个处理单元。
[0084]
rgb-d相机11可以是特定类型的深度感测相机设备，其可以与rgb相机相关联地工作，rgb相机能够基于每像素用深度信息(与到传感器的距离相关)来增强物体30的普通图像。相机组件可以是红外传感器、红外相机和/或rgb相机。深度与颜色信息的同步输出流被转换为空间信息。在近红外范围内，ir投影仪发出人眼可见的经编码的小圆点图案。例如，cmos传感器接收由物体和/或场景反射的图像并且基于跨对应的点的视差的相机距离来计算具有例如vga分辨率的深度矩阵(rgb图像可以被分配给该深度矩阵)。计算可以在相机中的芯片上用并行算法来进行，这大大减少了主计算机的负荷。这仅描述了在根据本发明的系统10中使用的rgb-d相机11的示例性实施例。本发明不限于上述实施例。rgb-d相机的进一步配置和实施方式是可想象的。
[0085]
rgb-d相机11被配置为拍摄场景中的一个或多个物体30的至少一个图像。在实施例中，rbd-d相机11取决于物体30的表面(材料)来拍摄场景中一个或多个物体30的一系列图像。一个图像和/或一系列图像可以在相机中被处理或者由计算机单元12的处理单元14来处理。在实施例中，rgb-d相机11可以包括用于在处理或发送图像之前存储一个图像和/或一系列图像的存储器。一个或多个物体30的所拍摄的至少一个图像包括rgb-d数据，该rgb-d数据包括物体30的颜色和几何形状信息。
[0086]
在根据本发明的系统10的替代实施例中，包括rgb-d相机11和计算机单元12的系统10可以被构建在一个单一实体中。系统10可以被构建为手持设备，诸如移动电话、平板电脑、膝上型电脑和/或pda，包括rgb-d相机11、处理单元13和存储器单元13。
[0087]
本发明的保护范围由所附权利要求指定并且不受说明书中解释的或图中示出的特征的限制。
[0088]
总体上本发明涉及用于通过使用红绿蓝深度rgb-d数据来检索多光谱双向反射分布函数brdf参数的计算机实施的方法和装置。该方法包括以下步骤：
[0089]
由rgb-d相机11拍摄s1场景中一个或多个物体30的至少一个图像，其中，一个或多个物体30的所拍摄的至少一个图像包括rgb-d数据，该rgb-d数据包括物体30的颜色和几何形状信息；
[0090]
由处理单元通过使用rgb-d数据来将一个或多个物体30的所拍摄的至少一个图像重建s2为一个或多个3d重建；
[0091]
由深度神经网络20基于3d重建来对一个或多个物体30的表面的brdf进行分类s3，其中，深度神经网络20包括输入层、输出层以及输入层与输出层之间的至少一个隐藏层；以及通过使用迭代优化方法以逼近经分类的brdf来检索s4多光谱brdf参数。
[0092]
归功于本发明，可以检索特定环境中的物体的多光谱brdf参数。