本技术涉及能够基于偏光图像容易地确定材料的图像处理装置、信息生成装置及其方法。
背景技术
作为相关技术中的确定材料的方法，专利文献1公开了通过捕获已经穿过材料或者已经从该材料反射的光、将该光进行散射，并且将基于所散射的光生成的信号信息与预先登记的材料的信号信息进行比较来指定未知材料的类型。
引用列表
专利文献
专利文献1：日本专利申请特许公开第2002-243639号
技术实现要素：
本发明要解决的问题
顺便提及，预先登记的材料的信号信息是在一定环境和条件下的测量结果。因此，需要针对每种环境以及针对每种条件预先提供材料的信号信息，以根据基于散射光生成的信号信息来指定材料的类型。此外，在环境或条件发生变化的情况下，需要在每次环境或条件发生变化时测量该环境或条件以及生成信号信息，因此，不容易确定材料的类型。.
因此，本技术旨在提供能够基于偏光图像容易地确定材料的图像处理装置、信息生成装置及其方法。
问题的解决方案
根据本技术的第一方面，
提供了一种图像处理装置，包括：
确定环境信息获取单元，其被配置成获取材料确定环境中的光源的入射偏振光信息；
确定目标信息获取单元，其被配置成从通过捕获材料确定环境中的材料确定目标的图像而获得的偏光图像中获取出射偏振光信息；以及
确定处理单元，其被配置成基于在确定环境信息获取单元处获取的入射偏振光信息、在确定目标信息获取单元处获取的出射偏振光信息以及指示入射偏振光的每个入射方向和反射光的每个出射方向的偏光和反射特性并且预先生成的材料偏光特性信息，来确定材料确定目标的材料。
在该技术中，确定环境信息获取单元获取入射偏振光信息，例如材料确定环境中的光源的入射斯托克斯矢量。此外，确定目标信息获取单元从通过捕获材料确定环境中的材料确定目标的图像而获得的偏光图像中获取出射偏振光信息，例如出射斯托克斯矢量。确定处理单元使用入射偏振光信息、出射偏振光信息以及作为入射偏振光的每个入射方向以及反射光的每个出射方向的指示穆勒(Mueller)矩阵并且预先生成并存储在信息存储单元中的材料偏光特性信息。此外，确定处理单元可以使用经归一化的入射偏振光信息、出射偏振光信息和材料偏光特性信息。
确定处理单元计算使用根据入射偏振光在材料确定目标上的入射方向、来自材料确定目标的反射光的出射方向选择的材料偏光特性信息估计的出射偏振光信息和入射偏振光信息中的一个与入射偏振光信息和出射偏振光信息中的另一个的误差。例如，确定处理单元使用所选择的材料偏光特性信息和入射偏振光信息生成估计出射偏振光信息，并且计算估计出射偏振光信息与在确定目标信息获取单元处获取的出射偏振光信息之间的误差。此外，确定处理单元可以使用所选择的材料偏光特性信息以及在确定目标信息获取单元处获取的出射偏振光信息计算估计入射偏振光信息，并且可以计算估计入射偏振光信息与在确定环境信息获取单元处获取的入射偏振光信息之间的误差。
确定处理单元基于计算出的误差来确定材料确定目标的材料。例如，针对多种材料中的每一种生成材料偏光特性信息，并且确定处理单元在计算出的误差中的最小误差或者最小误差小于预先设置的阈值的情况下将具有最小误差的材料确定为材料确定目标的材料。确定环境信息获取单元将材料确定环境分割为多个区域，并且将每个区域的平均入射方向和平均入射偏振光信息设置为该区域的入射方向和入射偏振光信息。此外，确定环境信息获取单元可以获取材料确定环境中的多个光源中的每一个的入射偏振光信息，并且确定处理单元可以使用多个光源中的每一个的入射偏振光信息来计算误差，并且可以使用从多个光源中的每一个的入射偏振光信息中选择的光源的入射偏振光信息来计算误差。
此外，图像处理装置还可以包括：检测区域设置单元，其被配置成根据通过捕获材料确定目标的图像而获得的偏光图像设置目标被摄体检测区域；以及区域检测单元，其被配置成基于确定处理单元处的材料确定结果从在检测区域设置单元处设置的目标被摄体检测区域中检测目标被摄体区域。
根据本技术的第二方面，
提供了一种图像处理方法，包括：
在确定环境信息获取单元处获取材料确定环境中的光源的入射偏振光信息；
在确定环境信息获取单元处从通过捕获材料确定环境中的材料确定目标的图像而获得的偏光图像中获取出射偏振光信息；以及
在确定处理单元处基于在确定环境信息获取单元处获取的入射偏振光信息、在确定目标信息获取单元处获取的出射偏振光信息以及针对每种材料指示入射偏振光的每个入射方向和反射光的每个出射方向的偏光和反射特性并且预先生成的材料偏光特性信息，确定材料确定目标的材料。
根据本技术的第三方面，
提供了一种信息生成装置，包括：
光源信息获取单元，其被配置成从设置有材料明显的信息生成目标的测量环境中的光源针对每个入射方向获取信息生成目标上的入射偏振光的入射偏振光信息；
出射偏振光信息获取单元，其被配置成针对每个出射方向获取来自信息生成目标的反射光的出射偏振光信息；以及
材料偏光特性信息生成单元，其被配置成使用在光源信息获取单元处获取的入射偏振光信息以及在出射偏振光信息获取单元处获取的出射偏振光信息，针对每个方向生成指示在入射偏振光的入射方向和反射光的出射方向上的偏光和反射特性的材料偏光特性信息。
在本技术中，针对每个入射方向和每种材料，光源信息获取单元从其中设置了其材料明显的信息生成目标的测量环境中的光源获取入射偏振光信息，例如，信息生成目标上的入射偏振光的入射斯托克斯矢量。出射偏振光信息获取单元基于被配置成通过捕获信息生成目标的图像来生成多个偏光方向上的偏光图像的信息生成目标成像单元以及在信息生成目标成像单元处生成的偏光图像的观测值，来获取每个出射方向和每个材料的出射偏振光信息，例如，来自信息生成目标的反射光的出射斯托克斯矢量。对于每个方向和每个材料，材料偏光特性信息生成单元使用入射偏振光信息和出射偏振光信息生成指示入射偏振光的入射方向和反射光的出射方向的偏光特性和反射特性的材料偏光特性信息，例如穆勒矩阵。此外，材料偏光特性信息生成单元可以生成经归一化的材料偏光特性信息。
根据本技术的第四方面
提供了一种信息生成方法，包括：
在光源信息获取单元处，从设置有材料明显的信息生成目标的测量环境中的光源针对每个入射方向获取信息生成目标上的入射偏振光的入射偏振光信息；
在出射偏振光信息获取单元处，针对每个出射方向获取来自信息生成目标的反射光的出射偏振光信息；以及
在材料偏光特性信息生成单元处，使用在光源信息获取单元处获取的入射偏振光信息以及在出射偏振光信息获取单元处获取的出射偏振光信息，针对每个方向生成指示在入射偏振光的入射方向和反射光的出射方向上的偏光和反射特性的材料偏光特性信息。
附图说明
图1是用于说明偏光和反射特性的视图。
图2是示出材料确定系统的配置的示例的视图。
图3是示出信息生成装置的配置的示例的视图。
图4是示出信息生成装置的操作的示例的流程图。
图5是详细示出信息生成装置的操作的流程图(No.1)。
图6是详细示出信息生成装置的操作的流程图(No.2)。
图7是示出材料偏光特性信息的示例的视图。
图8是示出图像处理装置的配置的示例的视图。
图9是示出环境成像单元311的配置的示例的视图。
图10是示出在环境成像单元311处生成的偏光图像的示例的视图。
图11是示出偏光图像的分割的示例的视图。
图12是示出图像处理装置的操作的示例的流程图。
图13是示出第一操作示例的流程图。
图14是示出第二操作示例的流程图。
图15是示出第三操作示例的流程图。
图16是示出第三操作示例的视图。
图17是示出将具有基本相同外观的对象进行区分的情况的示例的视图。
图18是示出以像素为单位呈现确定结果的情况的示例的视图。
图19是示出用于获取偏光图像的其他方法的示例的视图。
具体实施方式
下面将描述用于实现本技术的实施方式。注意，将按以下顺序提供描述。
1.偏光和反射特性
2.材料确定系统的配置
3.信息生成装置
3-1.信息生成装置的配置
3-2.信息生成装置的操作
4.图像处理装置
4-1.图像处理装置的配置
4-2.图像处理装置的操作
4-2-1.确定处理单元的第一操作
4-2-2.确定处理单元的第二操作
5.图像处理装置的操作的示例
5-1.第一操作示例
5-2.第二操作示例
5-3.第三操作示例
5-4.其他操作的示例
6.其他配置和操作
7.应用示例
<1.偏光和反射特性>
图1是用于说明偏光和反射特性的视图。从光源LT出射的光经由偏光器例如线性偏光器PL1照射测量对象OB，并且成像装置CM例如经由线性偏光器PL2捕获测量对象OB的图像。注意，Z方向指示天顶方向，角度θ是天顶角。
在线性偏光器(PL1和PL2)的偏光方向被设置为例如0°、45°、90°和135°，并且通过使用成像装置CM来捕获测量对象的图像而获得的像素值被设置为观测值I的情况下，在偏光方向为0°的情况下的观测值I(0°)、在偏光方向为45°的情况下的观测值I(45°)、在偏光方向为90°的情况下的观测值I(90°)与在偏光方向为135°的情况下的观测值I(135°)之间的关系可以表示为斯托克斯(Stokes)矢量VS＝[s0,s1,s2]T。注意，斯托克斯矢量与观测值之间的关系如表达式(1)所示。
[数学式1]
在斯托克斯矢量中，分量s0指示非偏光亮度或平均亮度。此外，分量s1指示0°与90°之间的偏光方向的强度差，分量s2指示45°与135°之间的偏光方向的强度差。换句话说，0°的斯托克斯矢量变成[1,1,0]T，45°的斯托克斯矢量变成[1,0,1]T，90°的斯托克斯矢量变成[1,-1,0]T，135°的斯托克斯矢量变为[1,0,-1]T。
这里，在将照射在测量对象OB上的入射方向ωi上的光的斯托克斯矢量设置为“VSi”，将在成像装置CM处测量的出射方向ωo上的光的斯托克斯矢量设置为“VSo”，并且将入射方向ωi和出射方向ωo的情况下的穆勒矩阵设置为M(ωo,ωi)的情况下，表达式(2)成立。注意，表达式(3)是表达式(2)的行列式表示。
M(ωo,ωi)·VSi＝VSo...(2)
[数学式2]
在照射到测量对象OB上的入射光的偏光方向为0°的情况下，表达式(3)变为表达式(4)。此外，在入射光的偏光方向为45°的情况下，表达式(3)变为表达式(5)，在入射光的偏光方向为90°的情况下，表达式(3)变为表达式(6)，并且在入射光的偏光方向为135°的情况下，表达式(3)变为表达式(7)。
[数学式3]
因此，可以基于表达式(4)至表达式(7)来计算表达式(8)中指示的穆勒矩阵M(ωo,ωi)。此外，执行归一化以消除穆勒矩阵M(ωo,ωi)中的亮度的影响。表达式(9)指示归一化后的穆勒矩阵M(ωo,ωi)。
[数学式4]
以这种方式计算的穆勒矩阵指示测量对象的材料所特有的偏光和反射特性。此外，偏光和反射特性与外部环境无关，因此，只要测量一次特性，就可以在任何位置处利用，而不必重复获取偏光和反射特性。
<2.材料确定系统的配置>
材料确定系统基于指示针对每种材料的入射偏振光的每个入射方向ωi以及反射光的每个出射方向ωo的偏光和反射特性的材料偏光特性信息、基于来自材料确定目标的出射方向ωo的反射光的偏光图像计算出的出射偏振光信息以及入射方向ωi的入射偏振光的入射偏振光信息来确定材料确定目标的材料。
图2示出了材料确定系统的配置的示例。材料确定系统10包括信息生成装置20和图像处理装置30。信息生成装置20使用已知材料针对每种材料生成材料偏光特性信息。注意，信息生成装置20可以将生成的材料偏光特性信息登记在数据库单元50中或者可以将生成的偏光特性信息输出到图像处理装置30。图像处理装置30捕获材料确定目标的图像以获取偏光图像，并且基于偏光图像计算偏光和反射特性。此外，图像处理装置30基于从信息生成装置20或数据库单元50获取的材料偏光特性信息、计算出的偏光和反射特性、入射方向ωi和出射方向ωo来确定材料确定目标的材料。
<3.信息生成装置>
<3-1.信息生成装置的配置>
图3示出了信息生成装置的配置的示例。信息生成装置20包括光源信息获取单元21、出射偏振光信息获取单元22和材料偏光特性信息生成单元23。
光源信息获取单元21获取关于光源的入射偏振光信息。光源信息获取单元21包括光源成像单元211和入射偏振光信息计算单元212。
光源成像单元211包括成像单元和偏光板，该偏光板可以改变偏光方向并且被设置在成像单元的前方。光源成像单元211在成像单元处针对每个偏光方向捕获光源的图像以生成多个偏光方向的偏光图像，同时将多个预定偏光方向设置为偏光板的偏光方向(线性偏光)，并且将偏光图像输出到入射偏振光信息计算单元212。
入射偏振光信息计算单元212基于在光源成像单元211处生成的偏光图像来计算每个入射方向的入射斯托克斯矢量。入射偏振光信息计算单元212将计算出的每个入射方向的入射斯托克斯矢量(例如，入射方向ωi1至ωim上的入射斯托克斯矢量VSi1至VSim)输出到材料偏光特性信息生成单元23作为入射偏振光信息。注意，入射方向可以通过被控制在信息生成装置20处的光源的位置来确定，或者可以根据光源获取位置信息以确定光源相对于光源成像单元211的方向。此外，入射偏振光信息计算单元212可以采用从外部输入指示入射方向的信息的配置。
出射偏振光信息获取单元22预先获取关于来自其材料明显的信息生成目标的反射光的出射偏振光信息。出射偏振光信息获取单元22包括已知材料成像单元221和出射偏振光信息计算单元222。
已知材料成像单元221包括成像单元和偏光板，该偏光板可以改变偏光方向并且被设置在成像单元前方。已知材料成像单元221捕获信息生成目标的图像以生成每个偏光方向的偏光图像，同时将多个预定偏光方向设置为偏光板的偏光方向(线性偏光)。此外，已知材料成像单元221在成像之前执行校准，并且获得在摄像装置坐标系中入射到已知材料成像单元221的像素上的反射光的方向(出射方向ωo)。注意，可以使用任何方法执行校准，并且校准被执行成使得可以通过使用外部参数以及通过校准生成的内部参数获得摄像装置坐标系中的出射方向ωo。此外，已知材料成像单元221可以从不同方向，例如从不同天顶角的方向捕获信息生成目标的图像，并且针对多个偏光方向中的每一个生成不同出射方向ωo的偏光图像。
出射偏振光信息计算单元222使用由在已知材料成像单元221处生成的偏光图像指示的观测值(像素值)计算出射斯托克斯矢量VSo。此外，出射偏振光信息计算单元222使用针对每个出射方向生成的不同偏光方向上的偏光图像计算每个出射方向的反射斯托克斯矢量。出射偏振光信息计算单元222将计算出的每个出射方向的出射斯托克斯矢量，例如出射方向ωo1至ωon上的出射斯托克斯矢量VSo1至VSon输出到材料偏光特性信息生成单元23作为出射偏振光信息。
材料偏光特性信息生成单元23生成指示信息生成目标的偏光特性和反射特性的材料偏光特性信息。偏光和反射特性计算单元231和材料偏光特性信息生成单元232被包括在内。
例如，偏光和反射特性计算单元231基于从光源信息获取单元21提供的入射偏振光信息中指示的入射方向ωi1至ωim上的入射斯托克斯矢量VSi1至VSim以及从出射偏振光信息获取单元22提供的出射偏振光信息中指示的出射方向ωo1至ωon上的出射斯托克斯矢量VSo1至VSon来计算偏光和反射特性，针对入射方向和出射方向基于表达式(2)计算穆勒矩阵。例如，偏光和反射特性计算单元231基于入射方向ωi1的入射斯托克斯矢量VSi1和出射方向ωo1的出射斯托克斯矢量VSo1来计算穆勒矩阵M(ωo1,ωi1)。此外，偏光和反射特性计算单元231基于入射方向ωim的入射斯托克斯矢量VSim和出射方向ωon的出射斯托克斯矢量VSon来计算穆勒矩阵M(ωon,ωim)。材料偏光特性信息生成单元23对计算出的穆勒矩阵进行归一化，并且将经归一化的穆勒矩阵输出到材料偏光特性信息生成单元232。
材料偏光特性信息生成单元232通过使入射方向和出射方向与在偏光和反射特性计算单元231处计算的偏光和反射特性信息(例如，经归一化的穆勒矩阵)相关联来生成材料偏光特性信息。此外，光源信息获取单元21和出射偏振光信息获取单元22获取每种已知材料的入射偏振光信息和出射偏振光信息，并且偏光和反射特性计算单元231生成每种已知材料的偏光和反射特性信息，并且生成其中入射方向和出射方向与每种已知材料的偏光和反射特性信息相关联的材料确定信息。如上所述，材料偏光特性信息生成单元232将生成的材料偏光特性信息输出到例如数据库单元50。注意，数据库单元50可以被设置在信息生成装置20处或者可以被设置在图像处理装置30处。此外，数据库单元50可以被设置在不同于信息生成装置20和图像处理装置30的外部装置处。
<3-2.信息生成装置的操作>
随后，将描述信息生成装置20的操作。图4是示出信息生成装置的操作的示例的流程图。在步骤ST1中，信息生成装置20初始化成像单元。信息生成装置20对光源信息获取单元21的光源成像单元211和出射偏振光信息获取单元22的已知材料成像单元221进行初始化。信息生成装置20对光源成像单元211和已知材料成像单元221进行校准，使得坐标系彼此匹配，并且处理进行到步骤ST2。
在步骤ST2中，信息生成装置20获取测量环境的入射偏振光信息。信息生成装置20的光源信息获取单元21获取入射方向以及指示每个入射方向的入射斯托克斯矢量的入射偏振光信息，并且处理进行到步骤ST3。
在步骤ST3中，信息生成装置20获取出射偏振光信息。信息生成装置20的出射偏振光信息获取单元22针对每个光源的入射方向获取指示每个出射方向的出射斯托克斯矢量的出射偏振光信息，并且处理进行到步骤ST4。
在步骤ST4中，信息生成装置20生成材料偏光特性信息。信息生成装置20的材料偏光特性信息生成单元23基于在步骤ST2中获取的入射偏振光信息以及在步骤ST3中获取的出射偏振光信息，针对入射方向和出射方向的每个组合生成偏光和反射特性。例如，材料偏光特性信息生成单元23使用入射方向ωi上的入射斯托克斯矢量VSi和传输方向ωo上的出射斯托克斯矢量VSo，计算每个入射方向和每个出射方向的穆勒矩阵M(ωo,ωi)。方向。此外，材料偏光特性信息生成单元23通过使入射方向和出射方向与偏光和反射特性信息相关联来生成材料偏光特性信息，并且处理进行到步骤ST5。
在步骤ST5中，信息生成装置20确定各材料的材料偏光特性信息的生成是否已完成。在存在尚未生成材料偏光特性信息的材料的情况下，处理进行到步骤ST6，并且在各材料的材料偏光特性信息的生成已完成的情况下，信息生成装置20结束处理。
在步骤ST6中，信息生成装置20更新材料。信息生成装置20将在出射偏振光信息获取单元22的已知材料成像单元221处要对其捕获图像的被摄体偏光为尚未针对其生成材料偏光特性信息的材料，并且处理返回到步骤ST3。
此外，图5和图6是详细示出信息生成装置的操作的流程图。图5和图6指示在方位角方向的每个角度θa和天顶方向的每个角度θb的位置处使用入射方向和入射斯托克斯矢量的情况。此外，已知材料成像单元221的成像方向在天顶方向上针对每个角度θc移动。更进一步，光源成像单元211和已知材料成像单元221将偏光方向切换为“0°、45°、90°和135°”。注意，入射偏振光信息是预先获取的。
在步骤ST11中，信息生成装置20初始化已知材料成像单元。信息生成装置20的出射偏振光信息获取单元22校准已知材料成像单元221以将方位角和天顶角设置为0°，并且处理进行到步骤ST12。
在步骤ST12中，信息生成装置20初始化光源天顶角。信息生成装置20的光源信息获取单元21对光源成像单元211进行初始化，并且将已知材料成像单元221的天顶角为0°的方向设置为光源成像单元211的天顶角为0°的方向，并且处理进行到步骤ST13。
在步骤ST13中，信息生成装置20初始化光源方位角。信息生成装置20的光源信息获取单元21对光源成像单元211进行初始化，并且将已知材料成像单元221的方向为0°的方向设置为光源成像单元211的方位角为0°的方向，并且处理进行到步骤ST14。
在步骤ST14中，信息生成装置20初始化光源侧的偏光板。信息生成装置20的光源信息获取单元21将在光源成像单元211处使用的偏光板的偏光方向设置为0°，并且处理进行到步骤ST15。
在步骤ST15中，信息生成装置20初始化已知材料成像侧的偏光板。信息生成装置20的出射偏振光信息获取单元22将已知材料成像单元221处使用的偏光板的偏光方向设置为0°，并且处理进行到步骤ST16。
在步骤ST16中，信息生成装置20捕获信息生成目标的图像。已知材料成像单元221捕获其材料明显的信息生成目标的图像以生成偏光图像，并且处理进行到步骤ST17。
在步骤ST17中，信息生成装置20将已知材料成像侧的偏光板旋转45°。信息生成装置20的出射偏振光信息获取单元22将偏光板的偏光方向旋转45°，并且处理进行到步骤ST18。
在步骤ST18中，信息生成装置20确定已知材料成像侧的偏光方向是否小于180°。信息生成装置20的出射偏振光信息获取单元22的处理在旋转后的偏光方向小于180°的情况下返回到步骤ST16，并且在旋转后的偏光方向等于或大于180°的情况下进行到步骤ST19。
在步骤ST19中，信息生成装置20获取出射偏振光信息。通过执行从步骤ST16至步骤ST18的处理生成在偏光方向为“0°、45°、90°和135°”的情况下的各个偏光图像，因此，信息生成装置20基于生成的偏光图像来计算出射斯托克斯矢量，并且处理进行到步骤ST20。
在步骤ST20中，信息生成装置20将光源侧的偏光板旋转45°。信息生成装置20的光源信息获取单元21将偏光板的偏光方向旋转45°，并且处理进行到步骤ST21。
在步骤ST21中，信息生成装置20确定光源侧的偏光方向是否小于180°。信息生成装置20的光源信息获取单元21的处理在旋转后的偏光方向小于180°的情况下返回到步骤ST15，并且在旋转后的偏光方向等于或大于180°的情况下进行到步骤ST22。
在步骤ST22中，信息生成装置20计算偏光和反射特性。信息生成装置20的光源信息获取单元21基于在信息生成目标的入射偏振光的偏光的方向为“0°、45°、90°和135°”的情况下的出射斯托克斯矢量来计算穆勒矩阵。换言之，光源信息获取单元21基于上述表达式(4)至(7)来计算表达式(8)中指示的穆勒矩阵，并且处理进行到步骤ST23。
在步骤ST23中，信息生成装置20存储材料偏光特性信息。信息生成装置20的光源信息获取单元21生成其中指示光源的方向的入射方向ωi以及指示已知材料成像单元221的方向的出射方向ωo与在步骤ST22中计算出的穆勒矩阵相关联材料偏光特性信息，并且将材料偏光特性信息存储在数据库单元等中，并且处理进行到步骤ST24。
在步骤ST24中，信息生成装置20将光源方位角移动θa°。信息生成装置20的光源信息获取单元21将光源成像单元211的方位角移动θa°，并且处理进行到步骤ST25。
在步骤ST25中，信息生成装置20确定光源方位角是否小于360°。信息生成装置20的光源信息获取单元21的处理在光源方位角小于360°的情况下返回到步骤ST14，并且在光源方位角等于或大于360°的情况下进行到步骤ST26。
在步骤ST26中，信息生成装置20将光源天顶角移动θb°。信息生成装置20的光源信息获取单元21将光源成像单元211的天顶角移动θb°，并且处理进行到步骤ST27。
在步骤ST27中，信息生成装置20确定光源天顶角是否小于90°。信息生成装置20的光源信息获取单元21的处理在光源天顶角小于90°的情况下返回到步骤ST13，并且在光源天顶角等于或大于90°的情况下进行到步骤ST28。换言之，通过执行从步骤ST13到步骤ST27的处理，针对一个出射方向，将方位角的分辨率为θa°、天顶方向的分辨率为θb°的每个入射方向的材料偏光特性信息存储在数据库单元等中。
在步骤ST28中，信息生成装置20将已知材料成像单元的天顶角移动θc°。信息生成装置20的出射偏振光信息获取单元22将已知材料成像单元221的天顶角移动θc°，并且处理进行到步骤ST29。
在步骤ST29中，信息生成装置20确定已知材料成像单元的天顶角是否小于90°。信息生成装置20的出射偏振光信息获取单元22的处理在已知材料成像单元221的天顶角小于90°的情况下返回到步骤ST12，并且在天顶角等于或大于90°时出射偏振光信息获取单元22结束处理。因此，针对其中方位角方向的分辨率为角度θa、天顶方向的分辨率为角度θb的每个入射方向以及针对其中天顶方向的分辨率为角度θc的每个出射方向的材料偏光特性信息被存储在数据库单元等中。
此外，通过对其材料不同的每个信息生成目标执行图5和图6所示的处理，可以针对每种材料，将针对其中方位方向的分辨率为角度θa以及天顶方向的分辨率为角度θb的每个入射方向并且对于其中天顶方向的分辨率是角度θc的每个出射方向的材料偏光特性信息存储在数据库单元等中。
以这种方式，根据本技术的信息生成装置，可以生成指示独立于外部环境并且特定于材料的偏光和反射特性的材料偏光特性信息。图7示出了材料偏光特性信息的示例，并且示出了例如材料MT1的入射方向ωi1至ωim和出射方向ωo1至ωon的每个组合的穆勒矩阵M(ωo1,ωi1)至M(ωon,ωim)。此外，图7示出了材料MT2的入射方向ωi1至ωim和出射方向ωo1至ωon的每个组合的穆勒矩阵M(ωo1,ωi1)至M(ωon,ωim)。注意，图7示出了q种类型的不同材料对于入射方向和出射方向的每个组合的材料偏光特性。
<4.图像处理装置>
<4-1.图像处理装置的配置>
接下来将描述图像处理装置的配置。图8示出了图像处理装置的配置的示例。图像处理装置30包括确定环境信息获取单元31、确定目标信息获取单元32、信息存储单元33和确定处理单元34。
确定环境信息获取单元31获取材料确定环境中的光源的入射偏振光信息。确定环境信息获取单元31包括环境成像单元311和入射偏振光信息计算单元312。
图9示出了环境成像单元311的配置的示例。环境成像单元311包括例如具有不同成像方向的多个成像单元3111以及可以改变偏光方向并且被设置在各个成像单元的前方的偏光板3112。注意，各个偏光板3112具有相同的偏光方向。环境成像单元311在捕获材料确定目标的图像时捕获环境的图像以生成例如针对多个偏光方向中的每一个的全球面偏光图像。注意，环境成像单元311可以使用鱼眼镜头等通过一个成像单元3111和一个偏光板3112来获取多个偏光方向中的每一个的全球面偏光图像。此外，环境成像单元311并不总是生成全球面偏光图像。例如，在仅在有限范围内设置光源的情况下，环境成像单元311可以生成有限范围内的偏光图像。
图10示出了在环境成像单元311处生成的偏光图像的示例。注意，图10的(a)示出了指示全球面的鱼眼图像的示例，图10的(b)示出了通过将鱼眼图像展开在圆柱表面上而获得的展开图像的示例。
入射偏振光信息计算单元312将在环境成像单元311处生成的偏光图像在天顶方向和方位角方向上分割，对于每个分割的区域计算区域内的平均入射斯托克斯矢量和光束的平均入射方向，以将平均入射斯托克斯矢量和平均入射方向设置为入射偏振光信息，并且将入射偏振光信息输出到信息存储单元33。
图11示出了偏光图像的分割的示例。注意，图11的(a)示出了图10的(a)所示的鱼眼图像的分割的示例，图11的(b)示出了图10的(b)所示的展开图像的分割的示例。
这里，如图11的(c)所示，在入射方向ωi的入射偏振光的光源位置被包括在区域ARi中的情况下，入射偏振光信息计算单元312计算平均入射方向ωi1和区域ARi中的平均入射斯托克斯矢量VSi1。入射偏振光信息计算单元312以类似方式计算其他区域的平均入射方向和平均入射斯托克斯矢量。入射偏振光信息计算单元312将计算出的每个入射方向的入射斯托克斯矢量输出到信息存储单元33。
此外，确定环境信息获取单元31在捕获材料确定目标的图像时计算每个光源的入射斯托克斯矢量，并且将指示每个光源的每个入射方向的入射斯托克斯矢量的入射偏振光信息输出到信息存储单元33。
确定目标信息获取单元32获取关于来自材料确定目标的反射光的出射偏振光信息。确定目标信息获取单元32包括确定目标成像单元321和出射偏振光信息计算单元322。
确定目标成像单元321包括成像单元以及可以改变偏光方向并且被设置在成像单元的前方的偏光板。确定目标成像单元321从出射方向ωo捕获材料确定目标的图像，以生成多个偏光方向中的每一个的偏光图像。此外，确定目标成像单元321在成像前以与上述已知材料成像单元221类似的方式进行校准等，使得可以通过使用外部参数以及通过校准生成的内部参数获得摄像装置坐标系中的出射方向ωo。
出射偏振光信息计算单元322使用由在确定目标成像单元321处生成的偏光图像表示的观测值(像素值)计算出射斯托克斯矢量VSo。此外，出射偏振光信息计算单元222将指示出射方向ωo和出射斯托克斯矢量VSo的出射偏振光信息输出给确定处理单元34。
信息存储单元33存储在信息生成装置20处生成的材料偏光特性信息以及在确定环境信息获取单元31处获取的入射偏振光信息。注意，信息存储单元33可以存储从信息生成装置20获取的材料偏光特性信息，或者可以存储从数据库单元获取的材料偏光特性信息。
确定处理单元34基于在确定环境信息获取单元31处获取的入射偏振光信息、在确定目标信息获取单元32处获取的出射偏振光信息以及是预先生成的并且指示入射偏振光的每个入射方向和反射偏振光的每个出射方向的偏光和反射特性的材料偏光特性信息。确定处理单元34包括估计处理单元341、误差计算单元342和材料确定处理单元343。
估计处理单元341使用根据入射偏振光在材料确定目标上的入射方向、从材料确定目标的反射光的出射方向选择的材料偏光特性信息、以及在确定环境信息获取单元处获取的入射偏振光信息和在确定目标信息获取单元处获取的出射偏振光信息中的另一个来估计入射偏振光信息和出射偏振光信息之一。
估计处理单元341从信息存储单元33中获取在确定环境信息获取单元31处获取的入射偏振光信息。此外，估计处理单元341从信息存储单元33获取与在确定环境信息获取单元31处获取的入射偏振光信息的入射方向ωi以及入射在确定目标成像单元321上的反射光的出射方向ωo对应的材料偏光特性信息。估计处理单元341基于获取的入射偏振光信息和材料偏光特性信息来估计出射偏振光信息，或者基于获取的材料偏光特性信息以及在确定目标信息获取单元32处获取的出射偏振光信息来估计入射偏振光信息。
例如，估计处理单元341从信息存储单元33获取与入射方向ωi和在确定目标信息获取单元32处获取的出射偏振光信息的出射方向ωo对应的每种材料的穆勒矩阵M(ωo,ωi)。此外，估计处理单元341从信息存储单元33获取入射方向ωi上的入射斯托克斯矢量VSi(ωi)。估计处理单元341针对每种材料，基于穆勒矩阵M(ωo,ωi)和入射斯托克斯矢量VSi(ωi)来计算其入射方向不限于特定方向的估计出射斯托克斯矢量VSEo(ωo)，或者基于穆勒矩阵M(ωo,ωi)的逆矩阵和出射斯托克斯矢量VSo(ωo)来计算估计入射斯托克斯矢量VSEi(ωi)，并且将估计出射斯托克斯矢量VSEo(ωo)和估计入射斯托克斯矢量VSEi(ωi)输出到误差计算单元342。
误差计算单元342针对每种材料计算在估计处理单元341处估计的出射偏振光信息与在确定目标信息获取单元32处获得的出射偏振光信息之间的误差或者在估计处理单元341处估计的入射偏振光信息与在确定环境信息获取单元31处获取的入射方向ωi上的入射偏振光信息之间的误差。例如，误差计算单元342针对每种材料计算在估计处理单元341处估计的估计出射斯托克斯矢量VSEo(ωo)与在确定目标信息获取单元32处获取的出射斯托克斯矢量VSo(ωo)之间的误差或者在估计处理单元341处估计的估计入射斯托克斯矢量VSEi(ωi)与每个入射方向的入射斯托克斯矢量VSi(ωi)之间的误差的积分值，并且将该积分值输出到材料确定处理单元343。
材料确定处理单元343基于在误差计算单元342处计算的误差(或者误差的积分值)来确定材料确定目标的材料。例如，材料确定处理单元343将使得在误差计算单元342处针对每种材料计算的误差变为最小误差的材料确定为材料确定目标的材料。此外，在计算出的误差中的最小误差小于预先设置的阈值的情况下，确定处理单元可以将具有最小误差的材料确定为材料确定目标的材料。此外，确定处理单元可以计算特定材料的误差，并且在计算出的误差小于预先设置的阈值的情况下，可以将该特定材料确定为材料确定目标的材料。换言之，确定处理单元还可以确定该材料是否为期望的材料以及确定该材料。
<4-2.图像处理装置的操作>
图12是示出图像处理装置的操作的示例的流程图。在步骤ST31中，图像处理装置30初始化确定目标成像单元。图像处理装置30初始化确定目标信息获取单元32的确定目标成像单元321。图像处理装置30校准确定目标成像单元321，使得坐标系匹配，并且处理进行到步骤ST32。
在步骤ST32中，图像处理装置30获取材料确定环境的入射偏振光信息。图像处理装置30的确定环境信息获取单元31基于通过捕获材料确定环境的图像而获得的偏光图像获取光源的入射偏振光信息，并且处理进行到步骤ST33。
在步骤ST33中，图像处理装置30获取出射偏振光信息。图像处理装置30的确定目标信息获取单元32获取指示材料确定目标的出射斯托克斯矢量和出射方向的出射偏振光信息，并且处理进行到步骤ST34。
在步骤ST34中，图像处理装置30执行确定处理。图像处理装置30的确定处理单元34基于在步骤ST32中检测到的入射方向、在步骤ST33中获取的出射偏振光信息以及预先存储在信息存储单元33中材料偏光特性信息和入射偏振光信息来确定材料确定目标的材料。
<4-2-1.确定处理单元的第一操作>
在确定处理单元34的第一操作中，基于与当捕获材料确定目标的图像时的多个入射方向ωi、提供给确定目标成像单元321的反射光的出射方向ωo以及在确定环境信息获取单元31处获取的入射方向ωi上的入射偏振光信息对应的偏光和反射特性信息来估计出射偏光信息，并且基于估计出射偏振光信息以及在确定目标信息获取单元32处获取的出射偏振光信息来材料确定目标的材料。
确定处理单元34使用入射方向ωi上的入射斯托克斯矢量VSi(ωi)以及从信息存储单元33获取的穆勒矩阵M(ωo,ωi)执行表达式(10)的运算，并且计算出射方向ωo上的估计出射斯托克斯矢量VSeo(ωo)。
M(ωo,ωi)·VSi(ωi)＝VSeo(ωo)...(10)
此外，确定处理单元34通过执行表达式(11)所示的运算并且对多个入射方向ωi中的每一个的估计出射斯托克斯矢量VSeo(ωo)进行积分，来计算入射方向不限于特定方向的估计出射斯托克斯矢量VSEo(ωo)。
[数学式5]
确定处理单元34基于表达式(12)来计算估计出射斯托克斯矢量VSEo(ωo)与在确定目标信息获取单元32处获取的出射斯托克斯矢量VSo(ωo)之间的误差E(ωo)。此外，可以在误差E(ωo)的计算中使用经归一化的斯托克斯矢量以防止亮度分量的影响。另外，表达式(13)指示归一化前的斯托克斯矢量，表示式(14)指示归一化后的斯托克斯矢量。
[数学式6]
E(ωo)＝||VSo(ωo)-VSEo(ωo)||…(12)
确定处理单元34针对每种材料使用穆勒矩阵执行上述处理，将针对每种材料计算的误差E(ωo)-1与E(ωo)-q(其中q是材料的数量)进行比较，并且确定最小误差E(ωo)min。此外，在误差E(ωo)min小于预先设置的阈值Tho的情况下，确定处理单元34将与用于计算误差E(ωo)min的穆勒矩阵对应的材料确定为材料确定目标。此外，在误差E(ωo)min等于或大于阈值Tho的情况下，确定处理单元34确定无法确定材料确定目标的材料。注意，可以通过调整阈值Tho来调整材料的确定精度。通过上述处理，可以确定材料确定目标的材料。
<4-2-2.确定处理单元的第二操作>
在确定处理单元34的第第二操作中，基于与捕获材料确定目标的图像时的多个入射方向ωi以及提供给确定目标成像单元321的反射光的出射方向ωo对应的偏光和反射特性信息以及在确定目标信息获取单元32处获取的出射偏振光信息来估计入射偏振光信息，并且基于估计入射偏振光信息以及在确定环境信息获取单元31获取的每个入射方向的入射偏振光信息来确定材料确定目标的材料。
确定处理单元34使用与入射方向ωi和出射方向ωo对应的穆勒矩阵的逆矩阵M-1(ωo,ωi)以及在确定目标信息获取单元32处获取的出射斯托克斯矢量VSo(ωo)来执行表达式(15)的运算，并且计算入射方向ωi上的估计入射斯托克斯矢量VSEi(ωi)。
VSEi(ωi)＝M-1(ωo,ωi)·VSo(ωo)...(15)
确定处理单元34基于表达式(16)来计算入射方向ωi上的入射斯托克斯矢量VSi(ωi)与估计入射斯托克斯矢量VSEi(ωi)之间的误差e(ωo,ωi)。此外，在误差e(ωo,ωi)的计算中使用经归一化的斯托克斯矢量以防止亮度分量的影响。此外，在入射方向不限于特定方向的情况下，确定处理单元34通过执行表达式(17)中所示的操作并且对针对多个入射方向ωi中的每一个计算的误差e(ωo,ωi)进行积分来计算误差E(ωi)。
[数学式7]
e(ωo,ωi)＝||VSi(ωi)-VSEi(ωi)||…(16)
确定处理单元34针对每种材料使用穆勒矩阵执行上述处理，将针对每种材料计算的误差E(ωi)-1与E(ωi)-q(其中q是材料的数量)进行比较，并且确定最小误差E(ωi)min。此外，在误差E(ωi)min小于预先设置的阈值Thi的情况下，确定处理单元34将与用于计算误差E(ωi)min的穆勒矩阵对应的已知材料确定为材料确定目标的材料。此外，在误差E(ωi)min等于或大于阈值Thi的情况下，确定处理单元34确定无法确定材料确定目标的材料。注意，可以通过调整阈值Thi来改变材料的确定精度。通过上述处理，可以确定材料确定目标的材料。
以这种方式，根据本技术的图像处理装置，可以基于在信息生成装置处生成的并且指示该材料特有的偏光和反射特性、材料确定环境中的光源的入射偏振光信息以及从材料确定目标的偏光图像中获取的出射偏振光信息的材料偏光特性信息来确定材料确定目标的材料。
<5.图像处理装置的操作示例>
<5-1.第一操作示例>
在第一运算示例中，信息存储单元33中存储了多种(q种)材料的穆勒矩阵和多种(r种)光源的入射斯托克斯矢量。
图13是示出第一操作示例的流程图。在步骤ST41中，图像处理装置初始化确定目标成像单元。图像处理装置30的确定目标信息获取单元32校准确定目标成像单元321，并且处理进行到步骤ST42。
在步骤ST42中，图像处理装置计算确定目标像素u的误差。图像处理装置30的确定处理单元34针对第i(其中i＝0,1,...q)个类型的材料和第j(其中j＝0,1,...,r)个类型的光源的每个组合计算误差eij，并且处理进行到步骤ST43。
在步骤ST43中，图像处理装置检测最小误差Emin。图像处理装置30的确定处理单元34基于表达式(18)来计算使误差变为最小的材料和光源的组合x，y，并且将材料和光源的组合x，y的误差设置为最小误差Emin，如表达式(19)所示。
[数学式8]
Emin＝ex,y...(19)
在步骤ST44中，图像处理装置确定最小误差Emin是否小于阈值Tha。图像处理装置30的确定处理单元34的处理在确定为在步骤ST43中检测出的最小误差Emin小于阈值Tha的情况下进行到步骤ST45，并且在最小误差Emin等于或大于阈值Tha的情况下进行到步骤ST46。
在步骤ST45中，图像处理装置将具有最小误差Emin的材料确定为材料确定目标的材料，并且处理进行到步骤ST47。
在步骤ST46中，图像处理装置确定材料确定目标的材料是未知材料，并且处理进行到步骤ST47。
在步骤ST47中，图像处理装置确定是否已完成所有像素的确定。图像处理装置30的处理在未完成所有像素的确定的情况下进行到步骤ST48，并且在所有像素的确定已完成的情况下进行到步骤ST49。
在步骤ST48中，图像处理装置更新确定目标像素。图像处理装置30选择尚未对其执行材料确定的新像素作为确定目标像素，并且处理返回到步骤ST42。
在步骤ST49中，图像处理装置输出确定结果。例如，图像处理装置30基于材料的确定结果，用相同颜色、相同亮度等显示材料被确定为相同材料的图像区域。此外，图像处理装置30用不同颜色或亮度显示材料被确定为不同材料的区域。
以这种方式，根据第一操作示例，可以确定包括在确定目标成像单元321的成像范围内的各个被摄体的材料。另外，材料的差异被指示为显示属性的差异，因此可以容易地确定材料的差异。
<5-2.第二操作示例>
在第二运算示例中，将多个(q个)材料的穆勒矩阵和多个(r个)光源的入射斯托克斯矢量存储在信息存储单元33中。此外，与第一运算示例不同，根据材料被确定时的条件选择光源，并且使用所选择的光源的入射偏振光信息确定材料。
例如，在确定为室内的情况下，使用室内照明光源的入射偏振光信息。此外，在室外确定材料的情况下，使用在光源是太阳的情况下的入射偏振光信息。此外，在夜间在室外确定材料的情况下，使用照射偏振光确定目标的位置的光源的入射偏振光信息。
图14是示出第二操作示例的流程图。在步骤ST51中，图像处理装置初始化确定目标成像单元。图像处理装置30的确定目标信息获取单元32校准确定目标成像单元321，并且处理进行到步骤ST52。
在步骤ST52中，材料确定单元选择光源。图像处理装置30的确定环境信息获取单元31根据捕获材料确定目标的图像时的条件选择光源，并且处理进行到步骤ST53。
在步骤ST53中，图像处理装置计算确定目标像素u的误差。图像处理装置30的确定处理单元34针对第i(其中i＝0,1,...q)个类型的每种材料计算误差ei，并且处理进行到步骤ST54。
在步骤ST54中，图像处理装置检测最小误差Emin。图像处理装置30的确定处理单元34基于表达式(20)来检测误差变为最小的材料x，并且将材料x的误差设置为表达式(21)所示的最小误差Emin。注意，“y”指示所选择的光源。
[数学式9]
Emin＝exy...(21)
在步骤ST55中，图像处理装置确定最小误差Emin是否小于阈值Tha。图像处理装置30的确定处理单元34的处理在步骤ST54中确定检测出的最小误差Emin小于阈值Tha的情况下进行到步骤ST56，在最小误差Emin等于或大于阈值Tha的情况下进行到步骤ST57。
在步骤ST56中，图像处理装置将具有最小误差Emin的材料确定为材料确定目标的材料，并且处理进行到步骤ST58。
在步骤ST57中，图像处理装置确定材料确定目标的材料是未知材料，并且处理进行到步骤ST58。
在步骤ST58中，图像处理装置确定是否已经完成所有像素的确定。图像处理装置30的处理在所有像素的确定尚未完成的情况下进行到步骤ST59，并且在所有像素的确定已完成的情况下进行到步骤ST60。
在步骤ST59中，图像处理装置更新确定目标像素。图像处理装置30选择尚未对其进行材料确定的新像素作为确定目标像素，并且处理返回到步骤ST53。
在步骤ST60中，图像处理装置输出确定结果。例如，图像处理装置30基于材料的确定结果，用相同颜色、相同亮度等显示材料被确定为相同材料的图像区域。此外，图像处理装置30用不同颜色或亮度显示材料被确定为不同材料的区域。
以这种方式，根据第二操作示例，类似于第一操作示例，可以确定确定目标成像单元321的成像范围中包括的各个被摄体的材料。此外，材料的差异被指示为显示属性的差异，从而可以容易地确定材料的差异。此外，在第二操作示例中，指定了光源，从而可以比第一操作示例更容易地确定材料。
<5-3.第三操作示例>
在第三操作示例中，将针对图像处理装置30还包括检测区域设置单元的情况进行描述，该检测区域设置单元被配置成根据通过捕获材料确定目标的图像而获得的偏光图像设置目标被摄体检测区域。区域检测单元被配置成基于确定处理单元处的材料确定结果，从检测区域设置单元处设置的目标被摄体检测区域中检测目标被摄体区域。
图15是示出第三操作示例的流程图。在步骤ST71中，图像处理装置初始化确定目标成像单元。图像处理装置30的确定目标信息获取单元32校准确定目标成像单元321，并且处理进行到步骤ST72。
在步骤ST72中，设置目标被摄体检测区域。图像处理装置30的检测区域设置单元根据在确定目标成像单元321处生成的偏光图像或者基于使用相关技术中的方法获得的偏光图像生成的非偏光图像来设置包括材料确定目标(目标被摄体)的目标被摄体检测区域。例如，检测区域设置单元检测背景区域并且将与背景区域不同的区域设置为目标被摄体检测区域，并且处理进行到步骤ST73。
在步骤ST73中，图像处理装置计算目标被摄体检测区域中的确定目标像素u的误差。图像处理装置30的确定处理单元34针对第i(其中i＝0,1,...q)个类型的材料和第j(其中j＝0,1,...,r)个类型的光源的每个组合计算误差eij，并且处理进行到步骤ST74。
在步骤ST74中，图像处理装置检测最小误差Emin。图像处理装置30的确定处理单元34以与第一操作示例类似的方式检测最小误差Emin，并且处理进行到步骤ST75。
在步骤ST75中，图像处理装置确定最小误差Emin是否小于阈值Tha。图像处理装置30的确定处理单元34的处理在步骤ST74中确定检测出的最小误差Emin小于阈值Tha的情况下进行到步骤ST76，在最小误差Emin等于或大于阈值Tha的情况下进行到步骤ST77。
在步骤ST76中，图像处理装置将具有最小误差Emin的材料确定为与确定目标像素u对应的被摄体的材料，并且处理进行到78。
在步骤ST77中，图像处理装置确定与确定目标像素u对应的被摄体的材料是未知材料，并且处理进行到步骤ST78。
在步骤ST78中，图像处理装置确定目标被摄体检测区域中的材料的确定是否已经完成。图像处理装置30的处理在目标被摄体检测区域中存在未执行材料确定的像素的情况下进行到步骤ST79，并且在已完成目标被摄体检测区域内的各个像素的确定的情况下进行到步骤ST80。
在步骤ST79中，图像处理装置更新确定目标像素。图像处理装置30选择尚未对其执行材料确定的新像素作为确定目标像素，并且处理返回到步骤ST73。
在步骤ST80中，图像处理装置输出确定结果。例如，图像处理装置30基于材料的确定结果，用相同颜色、相同亮度等显示材料被确定为相同材料的图像区域。此外，图像处理装置30用不同颜色或亮度显示材料被确定为不同材料的区域。
图16示出了第三操作示例，在第三操作示例中，例如，目标被摄体是车辆Ga，并且道路Gb包括车辆Ga的阴影Gc。图16的(a)用虚线指示确定目标成像单元321的成像范围AP。图16的(b)示出了如下情况：使用现有技术的方法从成像范围AP的图像中提取目标被摄体检测区域ARa，同时排除背景区域，并且目标被摄体检测区域ARa包括在道路Gb上生成的车辆的阴影Gc以及车辆Ga。图16的(c)示出了材料确定结果。在将道路特有的穆勒矩阵存储在信息存储单元33中的情况下，可以检测到目标被摄体检测区域ARa中的道路Gb。因此，可以将通过从目标被摄体检测区域ARa中排除道路Gb的阴影Gc的部分而获得的区域确定为作为目标被摄体的车辆的图像区域。因此，例如，如图16的(d)所示，可以高精度地检测指示车辆的矩形区域ARb。
以这种方式，根据本技术，即使在难以基于被摄体的颜色、亮度等确定期望被摄体的区域的情况下，也可以基于指示与外部环境无关的材料所特有的偏光和反射特性的材料偏光特性信息来分割材料，从而可以确定期望被摄体的区域。
<5-4.其他操作示例>
在其他操作示例中，具有基本相同外观的对象彼此区分。图17示出了例如使用肥皂、牙膏、盐和乳制品作为具有基本相同外观的对象的情况的示例。在这种情况下，在信息生成装置20处生成的各个对象的材料偏光特性信息被预先存储在信息存储单元33中。此外，在信息存储单元33中预先存储了捕获材料确定目标的图像时的入射偏振光信息。
图像处理装置30在校准之后捕获材料确定目标的图像，并且将如上所述使用每种材料的穆勒矩阵的估计结果的误差最小的材料确定为材料确定目标的材料。因此，虽然如图17的(a)所示，在现有技术中无法从利用成像单元3211捕获的图像中彼此区分具有基本相同外观的对象，但是本技术的使用使得基于利用包括成像单元3211和偏光板3212的确定目标成像单元321获取的偏光图像将具有基本相同的外观的对象根据材料的差异来区分彼此成为可能，如图17的(b)所示。此外，虽然未示出，但是即使在外观因阴影等的影响而不同的情况下，也能够将由基本相同的材料形成的对象彼此区分。
此外，图像处理装置30可以针对在确定目标成像单元321处获取的偏光图像的每个像素确定材料，因此，确定结果可以以图像为单位呈现。图18示出了以像素为单位呈现确定结果的情况的示例。图18的(a)示出了在包括成像单元3211和偏光板3212的确定目标成像单元321处获取的偏光图像包括对象OBa、OBb和OBc的情况的示例。图18(b)示出了确定结果的示例，并且仅显示了材料被确定的对象OBa、OBc。此外，如上所述计算误差，因此，如图18的(c)所示，可以根据误差设置对象的灰度等，以便能够识别材料的确定精度。
此外，在要确定材料的目标被设置在室内的情况下，图像处理装置可以使用适合于材料的光源。在这种情况下，在使用适合材料的光源的情况下，信息生成装置可以通过生成材料偏光特性信息来高精度地确定材料。
<6.其他配置和操作>
顺便提及，虽然已经描述了在成像单元的前方设置偏光板并且通过在上述信息生成装置和图像处理装置中旋转偏光板的同时执行成像来获取具有不同偏光方向的多个偏光图像的情况的示例，但是也可以使用其他方法获取偏光图像。
图19示出了用于获取偏光图像的其他方法的示例。例如，如图19的(a)所示，通过在偏光图像获取单元中执行成像来生成偏光图像，其中在图像传感器501处设置包括多个偏光方向的像素的配置的偏光滤光器502。注意，图19的(a)示出了包括在四个不同偏光方向(偏光方向用箭头表示)上的像素的偏光滤光器502被布置在图像传感器501的前方的情况的示例。此外，如图19(b)所示，偏光图像获取单元可以利用多透镜阵列的配置生成不同偏光方向的多个偏光图像。例如，在图像传感器501的前表面设置多个(附图中为四个)透镜503，通过各个透镜503在图像传感器501的成像面上分别形成被摄体的光学图像。此外，在各个透镜503的前表面上设置偏光板504，并且在将不同的方向设置为偏光板504的偏光方向的同时生成不同偏光方向的多个偏光图像。偏光图像获取单元的这种配置使得一次成像就能够获取多个偏光图像。注意，偏光图像获取单元可以通过在图像传感器501处设置滤色器来生成三基色的偏光图像。此外，可以通过针对每个偏光方向设置的成像单元来生成多个偏光图像。
<7.应用示例>
根据本公开的技术可以应用于各种领域。例如，根据本公开的技术还可以实现为安装在任何类型的移动体中的装置，所述移动体例如汽车、电动汽车、混合动力汽车、摩托车、自行车、个人移动装置、飞机、无人机、船舶或机器人。例如，利用材料的确定结果向驾驶者展示驾驶者周围的环境，使驾驶者更容易掌握环境，从而可以减轻驾驶者的疲劳。此外，可以实现更安全的自动驾驶等。此外，通过将本技术应用于工厂生产过程中使用的装置等，可以防止不同材料的部件等混入。此外，对于监测领域，通过应用本技术，可以通过利用材料的确定结果，实现针对材料以及例如对象的形状和运动的监视操作。
本说明书中所描述的一系列处理可以由硬件、软件或者硬件和软件的组合配置来执行。在通过软件执行处理的情况下，可以将记录了处理序列的程序安装在嵌入在专用硬件的计算机中的存储器中，以执行该程序。替选地，程序可以安装在能够执行要执行的各种处理的通用计算机中。
例如，可以将程序预先记录在作为记录介质的硬盘、固态驱动器(SSD)或只读存储器(ROM)上。替选地，可以将程序暂时或永久地存储(记录)在可移动记录介质中(上)，所述可移动记录介质例如是柔性盘、致密盘只读存储器(CD-ROM)、磁光盘(MO)盘、数字通用盘(DVD)、蓝光盘(注册商标)(BD)、磁盘或半导体存储卡。可以提供作为所谓的封装软件的这种可移动记录介质。
另外，不仅可以将程序从可移动记录介质安装在计算机上，而且可以经由网络如LAN(局域网)或因特网从下载站点无线地或通过电线将程序递送至计算机。在这样的计算机中，以上述方式传送的程序可以被接收并且安装在诸如内置硬件之类的记录介质上。
此外，本说明书中描述的效果不是限制性的而仅仅是示例，并且可能存在以上未描述的附加效果。此外，本技术不应被理解为限于本技术的上述实施方式。本技术的实施方式以举例的形式公开了本技术，显然，本领域技术人员可以在不脱离本技术的主旨的情况下对实施方式进行修改或替换。应考虑权利要求来确定本技术。
另外，本技术的图像处理装置也可以如下来配置。
(1)一种图像处理装置，包括：
确定环境信息获取单元，其被配置成获取材料确定环境中的光源的入射偏振光信息；
确定目标信息获取单元，其被配置成从通过捕获所述材料确定环境中的材料确定目标的图像而获得的偏光图像中获取出射偏振光信息；以及
确定处理单元，其被配置成基于在所述确定环境信息获取单元处获取的入射偏振光信息、在所述确定目标信息获取单元处获取的出射偏振光信息以及指示入射偏振光的每个入射方向和反射光的每个出射方向的偏光和反射特性并且被预先生成的材料偏光特性信息，来确定所述材料确定目标的材料。
(2)根据(1)所述的图像处理装置，其中，所述确定处理单元计算使用根据入射偏振光在所述材料确定目标上的入射方向、来自所述材料确定目标的反射光的出射方向选择的材料偏光特性信息估计的出射偏振光信息和入射偏振光信息中的一个与在所述确定环境信息获取单元处获取的入射偏振光信息和在所述确定目标信息获取单元处获取的出射偏振光信息中的另一个的误差，并且基于所计算的误差来确定所述材料确定目标的材料。
(3)根据(2)所述的图像处理装置，其中，所述确定处理单元使用所选择的材料偏光特性信息和所述入射偏振光信息生成估计出射偏振光信息，并且基于所述估计出射偏振光信息与在所述确定目标信息获取单元处获取的出射偏振光信息之间的误差来确定所述材料确定目标的材料。
(4)根据(2)的图像处理装置，其中，所述确定处理单元使用所选择的材料偏光特性信息以及在所述确定目标信息获取单元处获取的出射偏振光信息计算估计入射偏振光信息，并且基于所述估计入射偏振光信息与在所述确定环境信息获取单元处获取的入射偏振光信息之间的误差来确定所述材料确定目标的材料。
(5)根据(2)至(4)中任一项所述的图像处理装置，其中，针对多种材料中的每一种生成所述材料偏光特性信息，并且
所述确定处理单元根据各个材料选择所述材料偏光特性信息中的与所述入射偏振光的入射方向和反射光的出射方向对应的材料偏光特性信息，计算每种材料的误差，并且将误差最小的材料确定为所述材料确定目标的材料。
(6)根据(5)所述的图像处理装置，其中，针对多种材料中的每一种生成所述材料偏光特性信息，并且
在计算出的误差中的最小误差小于预先设置的阈值的情况下，所述确定处理单元将具有所述最小误差的材料确定为所述材料确定目标的材料。
(7)根据(2)至(6)中任一项所述的图像处理装置，其中，所述确定环境信息获取单元获取所述材料确定环境中的多个光源中的每一个的入射偏振光信息，并且
所述确定处理单元使用所述多个光源中的每一个的入射偏振光信息计算所述误差，并且将误差最小的材料确定为所述材料确定目标的材料。
(8)根据(2)至(6)中任一项所述的图像处理装置，其中，所述确定环境信息获取单元获取所述材料确定环境中的多个光源中的每一个的入射偏振光信息，并且
所述确定处理单元使用从所述多个光源中的每一个的入射偏振光信息中选择的光源的入射偏振光信息计算所述误差，并且将误差最小的材料确定为所述材料确定目标的材料。
(9)根据(1)至(6)中任一项所述的图像处理装置，还包括：检测区域设置单元，其被配置成根据通过捕获所述材料确定目标的图像而获得的偏光图像设置目标被摄体检测区域；以及
区域检测单元，其被配置成基于所述确定处理单元处的材料确定结果从在所述检测区域设置单元处设置的目标被摄体检测区域中检测目标被摄体区域。
(10)根据(1)至(9)中任一项所述的图像处理装置，其中，所述材料偏光特性信息和在所述确定环境信息获取单元处获取的入射偏振光信息被预先存储在信息存储单元中，并且所述确定处理单元使用存储在所述信息存储单元中的所述入射偏振光信息和所述材料偏光特性信息确定所述材料确定目标的材料。
(11)根据(1)至(10)中任一项所述的图像处理装置，其中，所述确定环境信息获取单元将所述材料确定环境分割成多个区域，并且将每个区域的平均入射方向和平均入射偏振光信息设置为该区域的入射方向和入射偏振光信息。
(12)根据(1)至(11)中任一项所述的图像处理装置，其中，所述确定处理单元基于经归一化的入射偏振光信息、出射偏振光信息和材料偏光特性信息来确定所述材料确定目标的材料。
另外，本技术的信息生成装置也可以如下配置。
(1)一种信息生成装置，包括：
光源信息获取单元，其被配置成从设置有材料明显的信息生成目标的测量环境中的光源针对每个入射方向获取入射偏振光的关于所述信息生成目标的入射偏振光信息；
出射偏振光信息获取单元，其被配置成针对每个出射方向获取来自所述信息生成目标的反射光的出射偏振光信息；以及
材料偏光特性信息生成单元，其被配置成使用在所述光源信息获取单元处获取的所述入射偏振光信息以及在所述出射偏振光信息获取单元处获取的出射偏振光信息，针对每个方向生成指示在所述入射偏振光的入射方向和所述反射光的出射方向上的偏光和反射特性的材料偏光特性信息。
(2)根据(1)的信息生成装置，其中，设置了多种材料，
所述光源信息获取单元获取每种材料的入射偏振光信息，
所述出射偏振光信息获取单元获取每种材料的出射偏振光信息，并且
所述材料偏光特性信息生成单元针对每种材料生成指示每个入射方向和每个出射方向的偏光和反射特性的材料偏光特性信息。
(3)根据(1)或(2)所述的信息生成装置，其中，所述出射偏振光信息获取单元基于被配置成通过捕获所述信息生成目标的图像来生成多个偏光方向上的偏光图像的信息生成目标成像单元以及在所述信息生成目标成像单元处生成的偏光图像的观测值，来获取所述出射偏振光信息
(4)根据(1)至(3)中任一项所述的信息生成装置，其中，所述材料偏光特性信息生成单元生成经归一化的材料偏光特性信息。
(5)根据(1)至(4)中任一项的信息生成装置，其中，所述入射偏振光信息指示所述入射偏振光的斯托克斯矢量，所述出射偏振光信息指示所述反射光的斯托克斯矢量，并且所述材料偏光特性信息指示穆勒矩阵。
附图标记列表
10 材料确定系统
20 信息生成装置
21 光源信息获取单元
22 出射偏振光信息获取单元
23 材料偏光特性信息生成单元
30 图像处理装置
31 确定环境信息获取单元
32 确定目标信息获取单元
33 信息存储单元
34 确定处理单元
50 数据库单元
211 光源成像单元
212 入射偏振光信息计算单元
221 已知材料成像单元
222 出射偏振光信息计算单元
231 偏光和反射特性计算单元
232 材料偏光特性信息生成单元
311 环境成像单元
312 入射偏振光信息计算单元
321 确定目标成像单元
322 出射偏振光信息计算单元
341 估计处理单元
342 误差计算单元
343 材料确定处理单元
501 图像传感器
502 偏光滤光器
503 透镜
504 偏光板
3111、3211 成像单元
3112、3212 偏光板
本文用于企业家、创业者技术爱好者查询，结果仅供参考。
