填充率测量方法、信息处理装置以及程序与流程

1.本公开涉及填充率测量方法、信息处理装置以及程序。


背景技术：

2.专利文献1中公开了一种利用三维激光扫描仪来获得三维形状的三维形状测量装置。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2015-87319号公报


技术实现要素：

6.发明所要解决的课题
7.针对测量的三维形状的应用例，没有进行充分地讨论。例如，关于示出在规定的存放空间中存放了多少测量对象物的填充率，没有充分地讨论该填充率的计算。
8.本公开提供一种能够算出测量对象物的填充率的填充率测量方法等。
9.用于解决课题的手段
10.在本公开的一个形态所涉及的填充率测量方法中，获得空间三维模型，所述空间三维模型是通过形成有开口且具有第1存放空间的第1存放部，由与所述第1存放部相对的测距传感器经由所述开口进行测量而得到的模型，所述第1存放空间用于存放测量对象物，获得存放三维模型，所述存放三维模型是没有存放所述测量对象物的所述第1存放部的三维模型，利用获得的所述空间三维模型以及所述存放三维模型，提取所述空间三维模型中的对象物部分，所述对象物部分是所述空间三维模型中与所述测量对象物对应的部分，利用提取的所述对象物部分，估计对象物三维模型，所述对象物三维模型是所述第1存放空间内的测量对象物的三维模型，利用所述存放三维模型以及所述对象物三维模型，算出所述测量对象物相对于所述第1存放空间的第1填充率。
11.本公开的一个实施方式所涉及的信息处理装置具备处理器以及存储器，所述处理器利用所述存储器，获得空间三维模型，所述空间三维模型是通过形成有开口且具有第1存放空间的第1存放部，由与所述第1存放部相对的测距传感器经由所述开口进行测量而得到的模型，所述第1存放空间用于存放测量对象物，获得存放三维模型，所述存放三维模型是没有存放所述测量对象物的所述第1存放部的三维模型，利用获得的所述空间三维模型以及所述存放三维模型，提取所述存放三维模型中的对象物部分，所述对象物部分是所述存放三维模型中与所述测量对象物对应的部分，利用提取的所述对象物部分，估计对象物三维模型，所述对象物三维模型是所述第1存放空间内的测量对象物的三维模型，利用所述存放三维模型以及所述对象物三维模型，算出所述测量对象物相对于所述第1存放空间的第1填充率。
12.另外，本公开可以作为使计算机执行上述的填充率测量方法中步骤的程序来实
现。并且，本公开可以作为能够由记录了这些程序的计算机可读取的cd-rom等非暂时性的记录介质来实现。并且，本公开也可以作为示出这些程序的信息、数据或信号来实现。于是，这些程序、信息、数据以及信号可以通过互联网等通信网络来分发。
13.发明的效果
14.通过本公开，能够提供一种能够算出测量对象物的填充率的填充率测量方法等。
附图说明
15.图1是用于说明实施方式所涉及的填充率测量方法的概要的图。
16.图2是示出实施方式所涉及的三维测量系统的特征性构成的方框图。
17.图3是用于说明测距传感器的构成的第1例的图。
18.图4是用于说明测距传感器的构成的第2例的图。
19.图5是用于说明测距传感器的构成的第3例的图。
20.图6是示出第1例的坐标系计算部的构成的方框图。
21.图7是用于说明第1例的坐标系计算部进行的测量坐标系的计算方法的图。
22.图8是示出第2例的坐标系计算部的构成的方框图。
23.图9是用于说明第2例的坐标系计算部进行测量坐标系的计算方法的图。
24.图10是示出第3例的坐标系计算部的构成的方框图。
25.图11是用于说明第3例的坐标系计算部进行的测量坐标系的计算方法的图。
26.图12是示出模型生成部的一个构成例的方框图。
27.图13是由模型生成部计算存放空间的容积的处理的流程图。
28.图14是示出填充率计算部的一个构成例的方框图。
29.图15是用于说明填充率计算部进行的填充率的计算方法的一个例子的图。
30.图16是用于说明填充率计算部进行的填充率的计算方法的另一个例子的图。
31.图17是由信息处理装置进行的填充率测量方法的流程图。
32.图18是由第1例的坐标系计算部计算测量坐标系的处理的流程图。
33.图19是由第2例的坐标系计算部计算测量坐标系的处理的流程图。
34.图20是由第3例的坐标系计算部计算测量坐标系的处理的流程图。
35.图21是用于说明填充率的计算方法的图。
36.图22是示出变形例1所涉及的填充率计算部的计算部的一个构成例的方框图。
37.图23是变形例1所涉及的填充率计算部的填充率计算处理的流程图。
38.图24示出了将2个以上的搁架存放在卡车的货箱等存放空间时的例子。
39.图25是示出货箱的存放空间中存放的搁架、与搁架的填充率的关系的表。
40.图26是示出变形例2所涉及的填充率计算部的计算部的一个构成例的方框图。
41.图27是变形例2所涉及的填充率计算部的填充率计算处理的流程图。
42.图28是用于说明变形例3所涉及的物流台车的构成的图。
43.图29是示出变形例3所涉及的填充率计算部的一个构成例的方框图。
44.图30是变形例3所涉及的填充率计算部的填充率计算处理的流程图。
45.图31是用于说明计算填充率的第2方法的一个例子的图。
46.图32是用于说明计算填充率的第2方法的另一个例子的图。
47.图33是用于说明变形例4所涉及的空间三维模型的生成方法的图。
48.图34是用于说明变形例5所涉及的空间三维模型的生成方法的图。
具体实施方式
49.(得到本公开的经过)
50.在物流、流通现场，需要对货物等测量对象物相对于存放空间的填充率进行测量，并希望提高存放空间的使用效率。并且，在物流、流通现场由于很多的集装箱等存放部中存放测量对象物，因此希望在短时间内能够测量更多的填充率。然而，没有充分地探讨填充率的简单的测量方法。
51.于是，本公开提供一种填充率测量方法等，通过对存放有测量对象物的存放部适用生成三维模型的手段，从而能够在短时间内简单地算出更多的存放部的填充率。
52.在本公开的一个形态所涉及的填充率测量方法中，获得空间三维模型，所述空间三维模型是通过形成有开口且具有第1存放空间的第1存放部，由与所述第1存放部相对的测距传感器经由所述开口进行测量而得到的模型，所述第1存放空间用于存放测量对象物，获得存放三维模型，所述存放三维模型是没有存放所述测量对象物的所述第1存放部的三维模型，利用获得的所述空间三维模型以及所述存放三维模型，提取所述空间三维模型中的对象物部分，所述对象物部分是所述空间三维模型中与所述测量对象物对应的部分，利用提取的所述对象物部分，估计对象物三维模型，所述对象物三维模型是所述第1存放空间内的测量对象物的三维模型，利用所述存放三维模型以及所述对象物三维模型，算出所述测量对象物相对于所述第1存放空间的第1填充率。
53.据此，利用测量存放了测量对象物的状态下的第1存放部而得到的空间三维模型、没有存放测量对象物的第1存放部的存放三维模型，来提取对象物部分，利用提取的对象物部分，来估计测量对象物的对象物三维模型。据此，仅对存放了测量对象物的状态下的第1存放部进行测量，就能够容易地算出测量对象物针对第1存放空间的第1填充率。
54.并且也可以是，在所述估计中，根据以所述第1存放部的一部分的形状为基准的第1三维坐标系，对所述对象物三维模型进行估计。
55.因此，能够减轻对对象物三维模型进行估计时的处理量。
56.并且也可以是，进一步仅以所述第1存放部的所述一部分的形状为基准，算出所述第1三维坐标系。
57.因此，能够仅将图像上容易提取的第1存放部的一部的形状，用于第1三维坐标系的算出。据此能够使对象物三维模型的估计处理速度提高，并且能够使第1三维坐标系的计算精度提高。
58.并且也可以是，所述一部分的形状为所述开口的形状。
59.因此，能够容易地算出以开口的形状为基准的坐标系，并根据算出的坐标系对对象物三维模型进行估计。
60.并且也可以是，在所述估计中，根据以被设置在所述第1存放部的标记的位置为基准的第1三维坐标系，对所述对象物三维模型进行估计。
61.因此，能够容易地算出以标记为基准的坐标系，根据算出的坐标系来估计对象物三维模型。
62.并且也可以是，在所述估计中，在从所述测距传感器朝向所述测量对象物的方向中，根据所述测量对象物的与所述测距传感器对应的第1部分的形状，来对所述测量对象物的与所述测距传感器不对应的第2部分的形状进行估计，从而对所述对象物三维模型进行估计。
63.因此，即使存在测量对象物的与测距传感器不对应的第2部分的形状的情况下，也能够对对象物三维模型进行估计。
64.并且也可以是，所述第1存放部进一步具有开闭部，所述开闭部具有贯通孔，并且以在闭状态下覆盖所述开口的方式而被配置，所述第1部分是在所述方向中，与闭状态的所述开闭部的所述贯通孔相对的部分，所述第2部分是在所述方向中，由闭状态的所述开闭部遮挡的部分，所述填充率测量方法进一步对所述开闭部是开状态还是闭状态进行判断，在所述开闭部为所述开状态的情况下，通过进行所述提取以及所述估计，来对所述对象物三维模型进行估计，在所述开闭部为所述闭状态的情况下，根据所述第1部分，对所述第2部分进行估计，利用所述第1部分和估计的所述第2部分、以及所述存放三维模型，对所述对象物三维模型进行估计。
65.据此，即使在被设置了对开口进行开闭的开闭部的第1存放部存放测量对象物，也能够按照开闭部的开闭状态，对对象物三维模型的估计方法进行切换，从而能够恰当地估计对象物三维模型。
66.并且也可以是，所述方向是沿着水平方向的方向。
67.因此，为了能够从没有设置具有贯通孔的开闭部的方向进行测量，而需要对测距传感器的位置进行调整这种工作就可以不必执行，从而测距传感器的设置灵活性增高。因此，即使不完全调整测距传感器的位置，也能够通过测距传感器而得到用于对对象物三维模型进行估计的测量结果。
68.并且也可以是，在所述算出中，将所述第1存放空间中存放的所述测量对象物的体积，相对于所述第1存放空间中的能够存放所述测量对象物的空间的容积的比例，作为所述第1填充率来算出。
69.因此，能够算出用于对在第1存放空间的空余的空间中能够存放多少测量对象物进行恰当地判断的第1填充率。
70.并且也可以是，所述第1存放部以及添加的第1存放部，被存放在第2存放部所具有的第2存放空间，所述填充率测量方法进一步算出所述第1存放部以及所述添加的第1存放部相对于所述第2存放空间的第2填充率。
71.因此，能够恰当地算出第2存放空间中存放了1个以上的第1存放部的情况下的第2填充率。
72.并且也可以是，所述存放三维模型是由所述测距传感器以及添加的测距传感器测量的三维模型。
73.因此，能够生成遮挡少的存放三维模型。
74.并且，所述测距传感器被固定的位置位于所述第1存放部的上方，且所述测距传感器至少具有2台用于生成所述空间三维模型的相机。
75.据此，在测距传感器被固定在第1存放部的上方的情况下，由测距传感器的2台相机拍摄的图像被限定在地面或者第1存放部的台座(底面)等，由于除第1存放部以外，不存
在可动的物体，因此能够容易地从背景中剪取测量对象物。
76.本公开的一个形态所涉及的信息处理装置具备处理器以及存储器，所述处理器利用所述存储器，获得空间三维模型，所述空间三维模型是通过形成有开口且具有第1存放空间的第1存放部，由与所述第1存放部相对的测距传感器经由所述开口进行测量而得到的模型，所述第1存放空间用于存放测量对象物，获得存放三维模型，所述存放三维模型是没有存放所述测量对象物的所述第1存放部的三维模型，利用获得的所述空间三维模型以及所述存放三维模型，提取所述存放三维模型中的对象物部分，所述对象物部分是所述存放三维模型中与所述测量对象物对应的部分，利用提取的所述对象物部分，估计对象物三维模型，所述对象物三维模型是所述第1存放空间内的测量对象物的三维模型，利用所述存放三维模型以及所述对象物三维模型，算出所述测量对象物相对于所述第1存放空间的第1填充率。
77.据此，能够利用测量存放了测量对象物的状态下的第1存放部而得到的空间三维模型、以及没有存放测量对象物的状态下第1存放部的存放三维模型，来提取对象物部分，并利用提取的对象物部分，来估计测量对象物的对象物三维模型。据此，仅通过对存放了测量对象物的状态下的第1存放部进行测量，就能够容易地算出测量对象物相对于第1存放空间的第1填充率。
78.另外，本公开可以作为使计算机执行上述的填充率测量方法中包括的步骤的程序来实现。并且，本公开也可以作为能够由记录了这些程序的计算机可读取的cd-rom等非暂时性记录介质来实现。并且，本公开可以作为示出这些程序的信息、数据或信号来实现。于是，这些程序、信息、数据以及信号可以通过互联网等通信网络来分发。
79.以下将利用附图对本公开所涉及的填充率测量方法等的各个实施方式进行详细说明。另外，以下将要说明的各实施方式均为示出本公开的一个具体例子。因此，以下的各实施方式所示的数值、形状、材料、构成要素、构成要素的配置以及连接方式、步骤、步骤的顺序等为一个例子，其主旨并非是对本公开进行限定。
80.并且，各个图为模式图，并非严谨的图示。并且在各个图中，对于实质上相同的构成赋予相同的符号，并省略或简化重复的说明。
81.(实施方式)
82.参照图1对实施方式所涉及的填充率测量方法的概要进行说明。
83.图1是用于说明实施方式所涉及的填充率测量方法的概要的图。
84.如图1所示，在填充率测量方法中，利用测距传感器210对具有存放空间101的搁架102中存放的货物103进行测量。于是，利用得到的测量结果，计算货物103相对于存放空间101的填充率。在搁架102形成有用于将货物103放入或从存放空间101取出的开口102a。测距传感器210被配置在与搁架102的开口102a相对的位置，并以朝向对包括开口102a的搁架102进行测量的方向而被配置，从开口102a对包括存放空间101的内部的测量区域r1进行测量。
85.另外，关于搁架102的形状，例如是图1所示的箱状。搁架只要被构成为具有载放货物103的载放面、以及在载放面的上方存放货物103的存放空间101，也可以不是箱状。搁架102是第1存放部的一个例子。存放空间101是第1存放空间的一个例子。存放空间101虽然是搁架102所具有的内部空间，但是并非受此所限，也可以是存放货物103等测量对象物的仓
库内的空间。货物103是测量对象物的一个例子。测量对象物并非受货物103所限，也可以是商品。即测量对象物只要是可搬运的物体，就可以是任意的物体。
86.图2是示出实施方式所涉及的三维测量系统的特征性构成的方框图。图3是用于说明测距传感器的构成的第1例的图。图4是用于说明测距传感器的构成的第2例的图。图5是用于说明测距传感器的构成的第3例的图。
87.如图2所示，三维测量系统200具备测距传感器210以及信息处理装置220。三维测量系统200可以具备多个测距传感器210，也可以具备1个测距传感器210。
88.测距传感器210对包括搁架102的存放空间101的三维空间，经由搁架102的开口102a进行测量，从而获得包括搁架102以及搁架102的存放空间101的测量结果。具体而言，测距传感器210生成由三维点的集合来表现的空间三维模型，所述三维点示出搁架102或货物103(以下称为测量对象)上(测量对象的表面)的多个测量点各自的三维位置。三维点的集合称为三维点云。三维点云的各个三维点所示的三维位置例如由xyz轴构成的三维坐标空间的x成分、y成分、z成分所形成的三值信息的三维坐标来表示。另外，三维模型不仅是三维坐标，而且可以包括示出各个点的颜色的颜色信息、或表示各个点以及其周边的表面形状的形状信息。颜色信息例如可以由rgb的颜色空间来表现，也可以由hsv、hls、yuv的其他的颜色空间来表现。
89.关于测距传感器210的具体例，将用图3～图5来说明。
90.如图3所示，第1例的测距传感器210通过发出电磁波，并获得发出的电磁波由测量对象反射的反射波，来生成空间三维模型。具体而言，测距传感器210对发出的电磁波从被发出后，由测量对象反射，直到返回到测距传感器210所用的时间进行测量，利用测量的时间以及测量时使用的电磁波的波长，来算出测距传感器210与测量对象的表面上的点p1之间的距离。测距传感器210从测距传感器210的基准点，向预先决定的放射状的多个方向发出电磁波。例如可以是，测距传感器210向水平方向上的各个方向，以第1角度间隔发出电磁波，向垂直方向上的各个方向，以第2角度间隔发出电磁波。因此，测距传感器210通过对测距传感器210与测距传感器210周围的多个方向中各个方向上的测量对象之间的距离进行检测，从而能够算出测量对象上的多个点的三维坐标。这样，测距传感器210能够算出示出测量对象上的多个三维位置的位置信息，从而能够生成具有位置信息的空间三维模型。位置信息可以是包括示出多个三维位置的多个三维点的三维点云。
91.如图3所示，第1例的测距传感器210是具有照射作为电磁波的激光的激光照射部211、以及接受照射的激光由测量对象反射的反射光的激光受光部212的三维激光测量器。测距传感器210通过设置针对具备激光照射部211以及激光受光部212的单元以不同的双轴来转动或摆动的可动式的扫描镜、或者在照射或接受的激光的路径上设置以双轴来摆动的可动式的扫描镜，从而以激光在测量对象上扫描，所述扫描镜是mems(micro electro mechanical systems：微机电系统)扫描镜。据此，测距传感器210能够生成测量对象的高精度且高密度的三维模型。
92.虽然举例示出了测距传感器210是通过照射激光来测量与测量对象之间的距离的三维激光测量器，但是并非受此所限，也可以是通过射出毫米波来测量与测量对象之间的距离的毫米波雷达测量器。
93.并且，测距传感器210也可以生成具有颜色信息的三维模型。第1颜色信息是利用
由测距传感器210拍摄的图像而生成的颜色信息，并且是示出第1三维点云中包括的多个第1三维点各自的颜色的颜色信息。
94.具体而言，测距传感器210也可以内置用于对测距传感器210的周围的测量对象进行拍摄的相机。测距传感器210通过内置的相机对包括测距传感器210照射的激光的照射范围的区域进行拍摄，来生成图像。并且，由相机拍摄的摄像范围与照射范围预先建立对应。具体而言，由测距传感器210照射的激光的多个方向、与由相机拍摄的图像中的各像素预先建立对应，作为示出三维点云中包含的多个三维点的各自的颜色的颜色信息，测距传感器210对与该三维点的方向建立了对应的图像的像素值进行设定。
95.第2例的测距传感器210a如图4所示，是采用了结构光技术的测距传感器。测距传感器210a具有红外图案照射部211a以及红外相机212a。红外图案照射部211a将预先决定的红外图案213a投影到测量对象的表面。红外相机212a通过对被投影了红外图案213a的测量对象进行拍摄，从而获得红外图像。测距传感器210a搜索得到的红外图像中包含的红外图案213a，根据通过对实际空间中的测量对象上的红外图案中的一点p1的位置、红外图案照射部211a的位置以及红外相机212a的位置这3个位置进行连结而得到的三角形，来算出从红外图案照射部211a或者红外相机212a到测量对象上的上述一点p1的位置的距离。据此，测距传感器210a能够获得测量对象上的测量点的三维点。
96.另外，测距传感器210a通过使具有红外图案照射部211a和红外相机212a的测距传感器210a的单元移动、或者将由红外图案照射部211a照射的红外图案视为细小的纹理，从而能够获得高密度的三维模型。
97.并且也可以是，测距传感器210a通过利用红外相机212a能够获得的颜色信息的可见光区域，并考虑红外图案照射部211a或者红外相机212a的位置或者朝向，将得到的可见光区域与三维点建立关联，据此来生成具有颜色信息的三维模型。并且也可以是，测距传感器210a进一步具有用于附加颜色信息的可见光相机。
98.第3例的测距传感器210b如图5所示，是以立体相机测量来测量三维点的测距传感器。测距传感器210b是具有2个相机211b和212b的立体相机。测距传感器210b通过以2个相机211b和212b同步的定时对测量对象进行拍摄，来获得具有视差的立体图像。测距传感器210b利用得到的立体图像(2张图像)，进行2张图像间的特征点的匹配处理，并以像素精度或者小数像素精度来获得2张图像间的定位信息。测距传感器210b根据通过对实际空间中的测量对象上的一点p1的匹配位置、2个相机211b和212b的各自的位置这3个位置进行连结而得到的三角形，来算出从2个相机211b和212b的任一个相机到测量对象上的匹配位置(即点p1)的距离。据此，测距传感器210b能够获得测量对象上的测量点的三维点。
99.另外，测距传感器210b通过使具有2个相机211b和212b的测距传感器210b的单元移动、或者将搭载于测距传感器210b的相机的数量增加到3个以上，拍摄同一个测量对象并进行匹配处理，从而能够得到高精度的三维模型。
100.并且，通过使测距传感器210b所具有的相机211b和212b采用可见光相机，从而能够容易地将颜色信息附加到获得的三维模型。
101.另外，在本实施方式中，虽然对信息处理装置220具备第1例的测距传感器210为例进行了说明，不过也可以取代第1例的测距传感器210，而具备第2例的测距传感器210a或者第3例的测距传感器210b。
102.另外，2个相机211b和212b能够拍摄包括可见光图像或红外图像的黑白图像。在这种情况下，三维测量系统200中的2张图像间的匹配处理例如可以采用slam(simultaneous localization and mapping：同步定位与地图构建)或sfm(structure from motion：运动恢复结构)来执行。并且也可以是，利用示出通过进行该处理而得到的相机211b和212b的位置以及姿势的信息，通过mvs(multi view stereo：多视角立体视觉)来增加测量空间模型的点云密度。
103.返回到图2对信息处理装置220的构成进行说明。
104.信息处理装置220具备：获得部221、坐标系计算部222、模型生成部223、填充率计算部224、以及存储部225。
105.获得部221获得由测距传感器210生成的空间三维模型以及图像。具体而言，获得部221可以从测距传感器210获得空间三维模型以及图像。由获得部221获得的空间三维模型以及图像可以由存储部225存储。
106.坐标系计算部222利用空间三维模型以及图像，算出测距传感器210与搁架102之间的位置关系。据此，坐标系计算部222算出将搁架102的一部分的形状作为基准的测量坐标系。坐标系计算部222也可以算出仅将搁架102的一部分的形状作为基准的测量坐标系。具体而言，作为成为算出测量坐标系的基准的一部分的形状，坐标系计算部222将搁架102的开口102a的形状作为基准，算出测量坐标系。另外，关于成为算出测量坐标系的基准的开口102a的形状，如实施方式所示，在开口102a的形状为矩形的情况下，可以是开口102a的形状的角部，也可以是该开口102a的形状的边。
107.另外，测量坐标系是三维正交坐标系，是第1三维坐标系的一个例子。通过算出测量坐标系，从而能够确定以搁架102为基准时的测距传感器210的相对位置以及姿势。即，能够将测距传感器210的传感器坐标系与测量坐标系对准，来进行搁架102与测距传感器210之间的校准。另外，传感器坐标系是三维正交坐标系。
108.另外，在本实施方式中，关于长方体形状的搁架102，虽然是在搁架102的一个面上具有开口102a，但是并非受此所限。搁架例如可以在前后的两个面上具有开口，或者在前侧和上侧的两个面上具有开口等，可以被构成为在长方体形状中的多个面上设置开口。在搁架具有多个开口的情况下，针对多个开口中的一个开口，可以设定后述的规定的基准位置。规定的基准位置可以被设定在搁架102的三维模型即存放三维模型所具有的不存在三维点或体素的空间。
109.在此，利用图6以及图7对第1例的坐标系计算部222进行说明。
110.图6是示出第1例的坐标系计算部的构成的方框图。图7是用于说明由第1例的坐标系计算部进行的测量坐标系的计算方法的图。
111.坐标系计算部222算出测量坐标系。测量坐标系是成为空间三维模型的基准的三维坐标系。例如，测距传感器210被设置在测量坐标系的原点，以正对搁架102的开口102a的朝向而被设置。此时，在测量坐标系中，将测距传感器210朝上的方向设为x轴，将朝右的方向设为y轴，将朝向跟前的方向设为z轴。坐标系计算部222具有辅助部301和计算部302。
112.如图7的(a)所示，辅助部301实时地依次获得由获得部221获得的作为测距传感器210的测量结果的图像2001，将调整用标记2002重叠到依次获得的图像2001的每一个。辅助部301将在图像2001上重叠了调整用标记2002的重叠图像2003，依次输出到未图示的显示
装置。显示装置对由信息处理装置220输出的重叠图像2003依次进行显示。另外，辅助部301以及显示装置也可以与测距传感器210被一体设置。
113.调整用标记2002是用于支援用户移动测距传感器210的标记，以使测距传感器210相对于搁架102的位置以及姿势成为特定的位置以及姿势。用户能够一边看显示装置上显示的重叠图像2003，一边变更测距传感器210的位置以及姿势，以使调整用标记2002重叠到搁架102的规定的基准位置，将测距传感器210配置成相对于搁架102为特定的位置以及姿势。搁架102的规定的基准位置例如是搁架102四边形的开口102a的4个角的位置。
114.当测距传感器210以相对于搁架102为特定的位置以及姿势被配置时，则生成在与搁架102的开口102a的4个角的位置对应的4个位置重叠了4个调整用标记2002的重叠图像2003。例如，用户移动测距传感器210，以使调整用标记2002向图7的(a)所示的箭头的方向移动，据此，如图7的(b)所示，能够将4个调整用标记2002与开口102a的4个角的位置对准。
115.另外，虽然是辅助部301将调整用标记2002重叠到图像2001，不过也可以是在空间三维模型重叠调整用标记，将被重叠了调整用标记的空间三维模型显示到显示装置。
116.如图7的(c)所示，计算部302算出示出将4个调整用标记2002对准开口102a的4个角的位置时的测距传感器210、与搁架102的位置关系的旋转矩阵2005以及平移向量2006。计算部302利用算出的旋转矩阵2005以及平移向量2006，对测距传感器210的传感器坐标系2004进行变换，从而算出将开口102a的任意的角(4个角中的1个角)作为原点的测量坐标系2000。另外，在4个调整用标记2002对准了开口102a的4个角的位置时，用户也可以向未图示的输入装置进行输入。也可以是，信息处理装置220在有来自输入装置的该输入时则进行获得的工作，据此在4个调整用标记2002对准了开口102a的4个角的位置时进行判断。并且也可以是，信息处理装置220通过对图像2001进行解析，来判断4个调整用标记2002是否对准了开口102a的4个角的位置。
117.接着，利用图8以及图9对第2例的坐标系计算部222a进行说明。
118.图8是示出第2例的坐标系计算部的构成的方框图。图9是用于说明第2例的坐标系计算部进行的测量坐标系的计算方法的图。
119.坐标系计算部222a具有检测部311、提取部312、以及计算部313。
120.如图9的(a)所示，检测部311利用由获得部221获得的作为测距传感器210的测量结果的空间三维模型2011、以及图9的(b)所示的存放三维模型2012，如图9的(c)所示那样检测与搁架102对应的搁架区域2014。另外，存放三维模型2012是没有存放货物103的搁架102的三维模型，是针对没有存放货物103时的搁架102预先利用测距传感器210的测量结果来生成的三维模型。存放三维模型2012由后述的模型生成部223生成，被存储到存储部225。存放三维模型2012也可以包括示出搁架102的开口102a的4个角的位置的位置信息2013。
121.如图9的(d)所示，提取部312利用存放三维模型2012中的位置信息2013，来提取搁架区域2014中的开口2015的4个角的位置即4个开口部端点2016。以4个开口部端点2016规定的开口2015的形状是成为算出测量坐标系的基准的一部分的形状的一个例子。
122.如图9的(e)所示，计算部313根据从测距传感器210看到的4个开口部端点2016的形状，算出示出测距传感器210与搁架102的位置关系的旋转矩阵2017以及平移向量2018。计算部313利用旋转矩阵2017以及平移向量2018，通过对测距传感器210的传感器坐标系2004进行变换，来算出测量坐标系2000。具体而言，计算部313将旋转矩阵2017设为r、将平
移向量2018设为t，传感器坐标系2004中的三维点x能够通过以下的式1，变换为测量坐标系2000的三维点x。据此，计算部313能够算出测量坐标系2000。
123.x＝rx t
…
式1
124.接着，利用图10以及图11对第3例的坐标系计算部222b进行说明。
125.图10是示出第3例的坐标系计算部的构成的方框图。图11是用于说明第3例的坐标系计算部进行的测量坐标系的计算方法的图。
126.坐标系计算部222b具有检测部321、提取部322、以及计算部323。在第3例中，在搁架102的特定的位置(例如上表面的位置)上配置了标记104，坐标系计算部222b将标记104的位置作为基准，来确定测量坐标系2000。即这种情况下的测量坐标系2000是将设置在搁架102的标记104的位置作为基准的坐标系。
127.另外，标记104例如具有格纹图案。标记104只要是具有规定的形状的对准标记(定位标记)，并非受格纹图案所限。
128.如图11的(a)所示，检测部321从由获得部221获得的作为测距传感器210的测量结果的图像2021中，如图11的(c)所示那样检测与被设置在搁架102的标记104对应的标记区域2024。
129.提取部322从图像2021上的标记区域2024中，如图11的(d)那样提取格纹图案的轮廓，即提取图案轮廓2025。
130.计算部323根据提取的图案轮廓2025的形状，算出示出测距传感器210与标记104的位置关系的旋转矩阵2026以及平移向量2027。计算部323利用旋转矩阵2026以及平移向量2027、与图11的(b)所示的存放三维模型2022以及标记2023的位置关系，算出测距传感器210以及搁架102的三维的位置关系，利用算出的三维的位置关系，对传感器坐标系2004进行变换，从而算出测量坐标系2000。另外，存放三维模型2022以及标记2023的位置关系可以是事先被测量的，也可以是根据配置了标记104的搁架102的设计数据而被事先生成。
131.返回到图2对模型生成部223进行说明。
132.模型生成部223生成没有存放货物103的搁架102的三维模型即存放三维模型。模型生成部223获得由测距传感器210进行的没有存放货物103的搁架102的测量结果，生成存放三维模型。关于模型生成部223的具体的处理将后述。生成的存放三维模型被存储到存储部225。
133.在此，利用图12以及图13对模型生成部223进行具体说明。
134.图12是示出模型生成部的一个构成例的方框图。图13是由模型生成部算出存放空间的容积的处理的流程图。
135.模型生成部223具有检测部401、生成部402、以及容积计算部403。
136.检测部401从由测距传感器210测量的空间三维模型中，检测与搁架102对应的搁架区域(s101)。检测部401在三维测量系统200具备多个测距传感器210的情况下，针对多个测距传感器210的每一个，进行步骤s101的处理。据此，检测部401检测与多个测距传感器210分别对应的多个搁架区域。
137.生成部402在三维测量系统200具备多个测距传感器210的情况下，对多个搁架区域进行统合，生成存放三维模型(s102)。具体而言，生成部402为了对多个搁架区域进行统合，可以通过icp(iterative closest point：迭代最近点算法)来进行三维点云的对准，也
可以预先算出多台测距传感器210的相对位置关系，根据算出的相对位置关系，对多个搁架区域进行统合。相对位置关系的算出可以是将多个测距传感器210分别获得的多个图像作为多视点图像，利用sfm(structure from motion：运动恢复结构)来算出。多个测距传感器210可以根据决定了相对位置关系的设计图来设置。
138.另外也可以是，不使多台测距传感器210移动，而是使1台测距传感器210移动，利用从多个位置测量的多个测量结果，对从多个测量结果分别得到的多个搁架区域进行统合，从而生成搁架102的存放三维模型。
139.另外，存放三维模型的生成也可以不利用由测距传感器210测量的结果，而是根据搁架102的设计时的3dcad数据来生成，也可以根据搁架102尺寸测量数据或者厂家公开的器材规格数据来生成。
140.另外，在三维测量系统200不具备多个测距传感器210，而仅具备一个测距传感器210，利用从一个位置测量的一个测量结果的情况下，模型生成部223也可以不具有生成部402。即模型生成部223也可以不执行步骤s102。
141.容积计算部403利用存放三维模型，算出搁架102的存放空间101的容积(s103)。
142.返回到图2对填充率计算部224进行说明。
143.填充率计算部224算出货物103相对于搁架102的存放空间101的填充率。填充率计算部224例如可以利用由测距传感器210获得的空间三维模型、图像以及测量坐标系2000，算出货物103的体积相对于存放空间101的容积的比例，将该比例作为填充率。
144.在此，利用图14以及图15对填充率计算部224进行具体说明。
145.图14是示出填充率计算部的一个构成例的方框图。图15是用于说明填充率计算部进行的填充率的计算方法的一个例子的图。另外，图15示出了测距传感器210正对于搁架102的开口102a的情况的例子。测距传感器210被配置在形成有搁架102的开口102a的z轴负方向侧，通过搁架102的开口102a来测量搁架102的存放空间101。即在铅直方向上，测距传感器210被配置在搁架102的上方。该例子是以第1例的坐标系计算部222测量测量坐标系2000的情况下的例子。即在这种情况下，传感器坐标系2004与测量坐标系2000一致。
146.填充率计算部224具有提取部501、估计部502、以及计算部503。
147.提取部501利用空间三维模型2011以及存放三维模型，提取空间三维模型中的与货物103对应的部分即货物区域2033。具体而言，提取部501对图15的(a)所示的由获得部221获得的作为测距传感器210的测量结果的空间三维模型2011的数据结构进行变换，通过进行体素数据化，来生成图15的(b)所示的体素数据2031。提取部501利用生成的体素数据2031、以及图15的(c)所示的被体素化的存放三维模型即存放三维模型2032，通过从体素数据2031中减去存放三维模型2032，从而提取图15的(d)所示的货物区域2033，该货物区域2033是体素数据2031中的测量了货物103的结果的区域。货物区域2033是与测量对象物对应的部分即对象物部分的一个例子。
148.估计部502利用提取的货物区域2033，来估计存放空间101内的货物103的三维模型即货物模型2034。具体而言，估计部502利用货物区域2033，在测距传感器210与搁架102的排列方向即z轴方向上，对相对于测距传感器210而言，由货物103挡住的区域进行插补，即在z轴正方向侧对货物区域2033进行插补。估计部502例如针对构成货物区域2033的多个体素的每一个，判断该体素是否为多个体素中的比配置在z轴的最正方向侧的最远体素靠
近z轴负方向侧的体素。估计部502在判断为是比最远体素被配置在靠近z轴负方向侧的体素的情况下，在与该体素相比没有被配置在z轴正方向侧体素时，直到与最远体素为相同的z轴方向上的位置为止，对体素进行插补。据此，估计部502对图15的(e)所示的货物模型2034进行估计。
149.计算部503利用存放三维模型以及货物模型2034，算出货物103相对于存放空间101的第1填充率。具体而言，计算部503对构成货物模型2034的多个体素的数量进行计数，通过将计数出的数量与预先决定的体素尺寸相乘，从而算出货物103的体积。计算部503将算出的货物103的体积相对于由模型生成部223算出的搁架102的存放空间101的容积的比例，作为第1填充率来算出。
150.测距传感器210也可以不与搁架102的开口102a正对。图16是用于说明填充率计算部进行的填充率的计算方法的另一个例子的图。图16示出了测距传感器210相对于搁架102的开口102a被倾斜配置的情况下的例子。该例子是以第2例的坐标系计算部222a或者第3例的坐标系计算部222b，测量坐标系2000被测量的情况。即在这种情况下，传感器坐标系2004与测量坐标系2000不同。
151.图16的例子中使用的坐标系是测量坐标系2000。估计部502利用货物区域2033，在测距传感器210和搁架102的排列方向上，即在测量坐标系2000的z轴方向上，对相对于测距传感器210而言，货物103被遮住的区域进行插补，即在z轴正方向侧对货物区域2033进行插补。
152.由填充率计算部224进行的其他的处理由于与图15的情况相同，因此省略说明。
153.另外，在由坐标系计算部222进行的测量坐标系的算出、以及由填充率计算部224进行的填充率的算出中所使用的空间三维模型与图像的配对，可以是由测距传感器210在同一时刻的测量结果，也可以是在不同时刻的测量结果。
154.测距传感器210与信息处理装置220可以通过通信网络，以彼此能够相互通信的方式来连接。通信网络可以是互联网等公众通信网，或者可以是专用通信网。据此，由测距传感器210得到的空间三维模型以及图像经由通信网络，从测距传感器210被发送到信息处理装置220。
155.并且，信息处理装置220也可以不经由通信网络，而从测距传感器210获得空间三维模型以及图像。例如，空间三维模型以及图像可以从测距传感器210暂时存储到硬盘驱动器(hdd)或固态驱动器(ssd)等外部存储装置，信息处理装置220从外部存储装置获得空间三维模型以及图像。并且，外部存储装置也可以是云服务器。
156.信息处理装置220例如至少具备计算机系统，该计算机系统具备：控制程序、执行该控制程序的处理器或逻辑电路等处理电路、存储该控制程序的内部存储器或能够接入的外部存储器等记录装置。信息处理装置220的各处理部的功能可以由软件实现，也可以由硬件实现。
157.接着，对信息处理装置220的工作进行说明。
158.图17是由信息处理装置进行的填充率测量方法的流程图。
159.信息处理装置220从测距传感器210获得空间三维模型(s111)。此时，信息处理装置220还可以从测距传感器210获得测量对象的图像。
160.信息处理装置220获得存储部225中存储的存放三维模型(s112)。
161.信息处理装置220算出以搁架102的开口102a的形状为基准的测量坐标系(s113)。步骤s113是由坐标系计算部222进行的处理。
162.信息处理装置220利用空间三维模型2011的体素数据2031以及存放三维模型2032，提取体素数据2031中的与货物103对应的货物区域2033(s114)。步骤s114是由填充率计算部224的提取部501进行的处理。
163.信息处理装置220利用提取的货物区域2033，对存放空间101内的货物103的三维模型即货物模型2034进行估计(s115)。步骤s115是由填充率计算部224的估计部502进行的处理。
164.信息处理装置220利用存放三维模型以及货物模型2034，算出货物103相对于存放空间101的第1填充率(s116)。步骤s116是由填充率计算部224的计算部503进行的处理。
165.图18是由第1例的坐标系计算部算出测量坐标系的处理(s113)的流程图。
166.坐标系计算部222实时地依次获得由获得部221获得的作为测距传感器210的测量结果的图像2001，针对依次获得的图像2001的每一个重叠调整用标记2002(s121)。步骤s121是由坐标系计算部222的辅助部301进行的处理。
167.坐标系计算部222获得测距传感器210的位置以及姿势(s122)。步骤s121是由坐标系计算部222的辅助部301进行的处理。
168.坐标系计算部222利用在将4个调整用标记2002对准开口102a的4个角的位置时的测距传感器210的位置以及姿势，对测距传感器210的传感器坐标系2004进行确定，利用确定的传感器坐标系2004，算出测量坐标系2000(s123)。步骤s123是由坐标系计算部222的计算部302进行的处理。
169.图19是由第2例的坐标系计算部算出测量坐标系的处理(s113)的流程图。
170.坐标系计算部222a利用由获得部221获得的作为测距传感器210的测量结果的空间三维模型2011、以及存放三维模型2012，检测与搁架102对应的搁架区域2014(s121a)。步骤s121a是由坐标系计算部222a的检测部311进行的处理。
171.坐标系计算部222a利用存放三维模型2012中的位置信息2013，提取搁架区域2014中的开口2015的4个角的位置即4个开口部端点2016(s122a)。步骤s122a是由坐标系计算部222a的提取部312进行的处理。
172.坐标系计算部222a根据从测距传感器210看到的4个开口部端点2016的形状，算出示出测距传感器210和搁架102的位置关系的旋转矩阵2017以及平移向量2018。于是，坐标系计算部222a利用旋转矩阵2017以及平移向量2018，通过对测距传感器210的传感器坐标系2004进行变换，来算出测量坐标系2000(s123a)。步骤s123a是由坐标系计算部222a的计算部313进行的处理。
173.图20是由第3例的坐标系计算部算出测量坐标系的处理(s113)的流程图。
174.坐标系计算部222b从由获得部221获得的作为测距传感器210的测量结果的图像2021中，检测标记区域2024(s121b)。步骤s121b是由坐标系计算部222b的检测部321进行的处理。
175.坐标系计算部222b从图像2021上的标记区域2024中提取图案轮廓2025(s122b)。步骤s122b是由坐标系计算部222b的提取部322进行的处理。
176.坐标系计算部222b根据提取的图案轮廓2025的形状，算出示出测距传感器210和
标记104的位置关系的旋转矩阵2026以及平移向量2027。于是，坐标系计算部222b利用旋转矩阵2026以及平移向量2027、以及存放三维模型2022与标记2023的位置关系，算出测距传感器210以及搁架102的三维的位置关系，并利用算出的三维的位置关系，对传感器坐标系2004进行变换，从而算出测量坐标系2000(s123b)。步骤s123b是由坐标系计算部222b的计算部323进行的处理。
177.另外，由信息处理装置220算出的填充率可以从信息处理装置220输出。填充率可以由信息处理装置220所具备的未图示的显示装置来显示，也可以被发送到与信息处理装置220不同的外部装置。例如，算出的填充率被输出到货物運搬系统，用于货物運搬系统的控制。
178.通过本实施方式所涉及的填充率测量方法，利用货物区域2033来对货物103的货物模型2034进行估计，货物区域2033是利用存放了货物103的状态下的搁架102被测量而得到的空间三维模型、以及没有存放货物103的搁架102的存放三维模型，而被提取的区域。据此，仅进行存放了货物103的状态下的搁架102的测量，就能够容易地算出货物103相对于存放空间101的第1填充率。
179.并且，在填充率测量方法中，根据以搁架102的一部分的形状为基准的三维坐标系，对货物模型2034进行估计。因此，能够减轻对货物模型2034进行估计时的处理量。
180.并且在填充率测量方法中，根据仅以搁架102的一部分的形状为基准的三维坐标系，对货物模型2034进行估计。能够仅将图像上容易提取的第1存放部的一部分的形状用于测量坐标系的算出。因此能够提高在对货物模型进行估计时的处理速度，并能够提高测量坐标系的计算精度。
181.并且在填充率测量方法中，三维坐标系是具有z轴的三维正交坐标系，在进行估计时，通过对货物区域2033的z轴负方向相反的z轴正方向侧进行插补，来对货物模型2034进行估计。因此，能够有效地减轻对货物模型2034进行估计时的处理量。
182.并且在填充率测量方法中，三维坐标系是以搁架102的开口102a的形状为基准的坐标系。因此，能够容易地算出以搁架102开口102a的形状为基准的坐标系，根据算出的坐标系，能够对货物模型2034进行估计。
183.并且在填充率测量方法中，三维坐标系是以设置在搁架102的标记104为基准的坐标系。因此，能够容易地算出以标记104为基准的坐标系，根据算出的坐标系，能够对货物模型2034进行估计。
184.并且在填充率测量方法中，测距传感器210b至少具有用于生成空间三维模型的2台相机。像这种包括测距传感器210b在内的测距传感器210被固定在第1存放部的上方。
185.这样，在测距传感器210被固定在第1存放部的上方的情况下，在第1存放部像后述的物流台车等将会移动时，存在于测距传感器210的测量范围内的被限定为是地面或者物流台车的台座(底面)等，由于除了物流台车以外没有将会移动的物体，因此能够根据测量结果容易地从背景中剪取测量对象物。另外，测量范围是指，在测距传感器210具有相机的情况下，则相机的拍摄范围。并且，在测距传感器210被固定在上方以外的位置的情况下，由于在第1存放部以外也会有可动物体容易进入到测量范围内的情况，因此难于从背景中剪取测量对象物。
186.(变形例1)
187.在上述实施方式所涉及的信息处理装置220中，虽然是将存放空间101中存放的货物103的体积相对于存放空间101的容积的比例作为填充率来算出的，但是并非受此所限。
188.图21是用于说明填充率的计算方法的图。
189.在图21的(a)以及(b)中，搁架102的存放空间101具有正好能够存放16个货物103的容积。如图21的(a)所示，在不留有空隙地配置了8个货物103的情况下，在存放空间101的空出的空间内还能够存放8个货物103。然而在图21的(b)中，在以留有空隙的状态配置了货物的情况下，如果想要在存放空间101的剩余的空间内存放8个货物103，则需要使已经存放的货物103移动位置。在不移动已经存放的货物103的情况下，若在存放空间101的剩余空间内存放货物103，则只能存放6个货物103。
190.这样，在图21的(a)的情况和图21的(b)的情况下，虽然在存放空间101的剩余空间内能够存放的货物103不同，但是在这两种情况下算出的填充率相同，均为50％。为此可以想到与存放空间101的剩余空间的形状相吻合，来算出考虑到实质上能够存放的空间的填充率。
191.图22是示出变形例1所涉及的填充率计算部的计算部的一个构成例的方框图。图23是由变形例1所涉及的填充率计算部的计算部进行填充率计算处理的流程图。
192.如图22所示，计算部503具有货物体积计算部601、区域划分部602、预定货物测量部603、区域估计部604、以及计算部605。
193.货物体积计算部601根据货物模型2034，算出货物103的体积即货物体积(s131)。货物体积计算部601以与实施方式相同的方法，算出存放空间101中存放的货物103的体积。
194.接着，区域划分部602将空间三维模型2011的存放空间101划分为，货物103占用的占用区域2041和货物103没有占用的空余区域2042(s132)。
195.接着，预定货物测量部603算出预定将要存放的货物的一个所具有的体积(s133)。在预定存放的货物的形状以及大小是图21的(c)所示的多个种类的情况下，预定货物测量部603算出每个种类的相当于一个货物的体积。例如，预定货物测量部603分别算出货物103a的体积、货物103b的体积、以及货物103c的体积。
196.接着，区域估计部604对在空余区域2042能够存放最多的预定存放的货物103的放置方法进行估计，并对这种情况下的预定存放的货物103的数量进行估计。即区域估计部604对在空余区域2042能够存放的预定存放的货物103的最大数量进行估计。区域估计部604通过将一个货物所具有的体积与能够存放的数量相乘，从而算出空余区域2042中能够存放的容积(s134)。
197.另外也可以是，在货物有多个种类的情况下，区域估计部604对每个种类估计能够存放多少个货物，也可以对多个种类混合的情况下能够存放多少个货物进行估计。在多个种类混合地存放货物的情况下，区域估计部604将每个种类的相当于一个货物的体积与该种类的能够存放的货物的数量相乘，将通过该相乘而得到的容积的累计值，作为空余区域2042中的能够存放的容积来算出。例如，在区域估计部604估计到货物103a能够存放n1个、货物103b能够存放n2个、货物103c能够存放n3个的情况下，将货物103a的体积与n1相乘后的第1体积、货物103b的体积与n2相乘后的第2体积、以及货物103c的体积与n3相乘后的第3体积的累计值，作为空余区域2042中能够存放的容积来算出。另外，n1、n2以及n3分别是0以上的整数。
198.计算部605通过将已存放的货物的体积和能够存放的容积适用于以下的式2，来算出填充率(s135)。
199.填充率(％)＝(已存放的货物的体积)/(已存放的货物的体积 能够存放的容积)
×
100
…
式2
200.这样，填充率计算部224将存放空间101中的已存放的货物103的体积相对于存放空间101中能够存放货物103的空间的容积的比例，作为填充率来算出。
201.据此，能够算出用于恰当地判断在存放空间101的空出的空间能够存放多少个货物103的第1填充率。
202.(变形例2)
203.在上述实施方式所涉及的信息处理装置220中，虽然算出的是相对于一个搁架102的存放空间101的货物103的填充率，不过也可以算出相对于2个以上的搁架102的存放空间101的货物103的填充率。
204.图24示出了2个以上的搁架被放置在卡车的货箱等存放空间的情况的例子。图25是示出货箱的存放空间中存放的搁架与搁架的填充率的关系的表。
205.如图24所示，在具有存放空间105的货箱106中存放了多个物流台车112。货箱106例如可以是卡车的厢式货箱。货箱106是第2存放部的一个例子。第2存放部并非受货箱106所限，也可以是集装箱，还可以是仓库。
206.存放空间105是第2存放空间的一个例子。存放空间105具有能够存放多个物流台车112的大小的容积。在变形例2中，存放空间105能够存放6个物流台车112。存放空间105由于能够存放多个物流台车112，因此存放空间105是比存放空间111大的空间。
207.物流台车112具有能够存放多个货物103的存放空间111。物流台车112是第1存放部的一个例子。存放空间111是第1存放空间的一个例子。另外，存放空间105中可以存放实施方式中说明的搁架102。
208.多个货物103不是直接存放在货箱106，而是存放在多个物流台车112。于是，存放了多个货物103的物流台车112被存放在货箱106中。
209.对在这种情况下的填充率计算部224的计算部503的构成进行说明。
210.图26是示出变形例2所涉及的填充率计算部的计算部的一个构成例的方框图。图27是变形例2所涉及的填充率计算部的计算部进行的填充率计算处理的流程图。
211.如图26所示，变形例2所涉及的计算部503具有获得部701、计数部702、以及计算部703。
212.获得部701获得货箱106中能够存放的物流台车112的数量(s141)。在变形例2的情况下，由于货箱106中能够存放的物流台车112的最大数量是6个，因此获得6。
213.计数部702对货箱106中存放的物流台车112的数量进行计数(s142)。在图24所示的物流台车112被存放在货箱106的情况下，计数部702将物流台车112的数量计数为3台。
214.计算部703算出第2填充率，该第2填充率是1台以上的物流台车112相对于货箱106的填充率(s143)。具体而言，计算部703可以将货箱106中已存放的物流台车112的数量相对于货箱106中能够存放的物流台车112的最大数量的比例，作为第2填充率来算出。例如最大6台物流台车112能够存放在货箱106，其中3台物流台车112被存放在货箱106中，因此计算部703算出第2填充率为50％。
215.另外，计算部703也可以针对货箱106中存放的1台以上的物流台车112的每一个，算出相对于该物流台车112的货物103的填充率，并利用算出的填充率，来算出货物103相对于第2存放空间的填充率。具体而言，计算部703将货物103相对于物流台车112的填充率的平均，作为货物103相对于第2存放空间的填充率来算出。在这种情况下，在货箱106的存放空间105中留有能够存放物流台车112的空间的情况下，计算部703可以将能够存放物流台车112的空余的空间中能够存放物流台车112的数量的填充率作为0％，来算出平均。
216.例如图25所示的3台物流台车112的填充率分别为70％、30％、20％，在货箱106中最多能够存放6台物流台车112的情况下，将6台物流台车112的填充率分别作为70％、30％、20％、0％、0％、0％来求出平均，将通过求出平均而得到的20％作为货物103针对第2存放空间的填充率来算出。
217.据此，能够恰当地算出在存放空间105中存放了1台以上的物流台车112的情况下的第2填充率。
218.(变形例3)
219.接着对变形例3进行说明。
220.图28是用于说明变形例3所涉及的物流台车的构成的图。
221.图28的(a)示出了开闭部113为闭状态下的物流台车112。图28的(b)示出了开闭部113为开状态下的物流台车112。
222.变形例3所涉及的物流台车112具有对开口112a进行开闭的开闭部113。开闭部113是具有多个贯通孔113a的格子状或者网眼状的罩部件。因此，即使物流台车112的开闭部113为闭状态，测距传感器210也能够通过多个贯通孔113a以及开口112a，来测量物流台车112的存放空间111的内部的三维形状。
223.这是因为测距传感器210所发出的电磁波能够从多个贯通孔113a以及开口112a通过的缘故。另外，即使在测距传感器210a的情况下也是同样，测距传感器210a照射的红外图案由于从多个贯通孔113a以及开口112a通过，因此，即使物流台车112的开闭部113为闭状态，也能够经由多个贯通孔113a以及开口112a来测量物流台车112的存放空间111的内部的三维形状。并且，即使在测距传感器210b的情况下也是同样，2个相机211b和212b能够经由多个贯通孔113a以及开口112a，对存放空间111的内部进行拍摄，从而能够测量物流台车112的存放空间111的内部的三维形状。
224.因此，信息处理装置220能够对存放空间111中是否存放了货物103进行判断。然而在开闭部113为闭状态的情况下，如果不将算出方法切换为与开状态或者不存在开闭部113的情况不同的方法，则不能求出准确的填充率。因此，变形例3所涉及的填充率计算部224在开闭部113为开状态下，以第1方法算出填充率，在开闭部113为闭状态下，以第2方法算出填充率。
225.图29是示出变形例3所涉及的填充率计算部的一个构成例的方框图。图30是变形例3所涉及的填充率计算部的填充率计算处理的流程图。
226.如图29所示，变形例3所涉及的填充率计算部224具有检测部801、切换部802、第1填充率计算部803、以及第2填充率计算部804。
227.检测部801利用空间三维模型，对开闭部113的开闭状态进行检测(s151)。具体而言，检测部801利用空间三维模型，在物流台车112的开口112a的区域的前后方向(即测距传
感器210和物流台车112的排列方向)上，在存放空间111的内部与外部的各自的位置上存在三维点云的情况下，检测为开闭部113是闭状态。在只是存放空间111的内部存在三维点云的情况下，检测部801检测为开闭部113是开状态。
228.切换部802对开闭部113是开状态还是闭状态进行判断(s152)，并按照判断结果对下一个处理进行切换。
229.第1填充率计算部803在由切换部802判断为开闭部113是开状态的情况下(s152的“开状态”)，以第1方法来算出填充率(s153)。具体而言，第1填充率计算部803通过进行与实施方式的填充率计算部224同样的处理，从而算出物流台车112的填充率。
230.第2填充率计算部804在由切换部802判断为开闭部113是闭状态的情况下(s152的“闭状态”)，以第2方法算出填充率(s154)。利用图31对第2方法进行详细说明。
231.图31是用于说明算出填充率的第2方法的一个例子的图。
232.如图31的(a)所示，设想获得了空间三维模型2051的情况。
233.图31的(b)是对空间三维模型2051中的区域r2进行了放大的图。如图31的(b)所示，第2填充率计算部804将区域r2划分为检测到开闭部113的第2部分、和检测到货物103的第1部分。
234.第1部分是在开口112a区域的里侧的包括三维点云的区域。并且，第1部分是在从测距传感器210朝向货物103的方向上，货物103的与测距传感器210对应的部分。即，第1部分是在测距传感器210朝向货物103的方向上，与闭状态的开闭部113中的贯通孔113a相对的部分。另外，开闭部113的构成也可以是具有一个贯通孔113a。并且，从测距传感器210朝向货物103的方向例如可以是沿着水平方向的方向。
235.第2部分是与包括物流台车112的开口112a的区域的前后方向上的跟前一侧的三维点云的区域对应的部分。并且，第2部分是在测距传感器210朝向货物103的方向上，货物103的与测距传感器210不对应的部分。即，第2部分是在测距传感器210朝向货物103的方向上，由闭状态的开闭部113遮挡的部分。
236.第2填充率计算部804通过对第1部分和第2部分分别进行体素化，来生成图31的(c)所示的体素数据2052。在体素数据2052中没有影线的空白的区域是第2部分被体素化的区域，点状图案的区域是第1部分被体素化的区域。
237.于是，第2填充率计算部804针对与开闭部113的区域对应的空白的区域，估计在开闭部113的里侧是否存在货物103。具体而言，第2填充率计算部804针对被体素化的区域中，与存在货物103的点状图案的体素相邻的26个体素，分配基于货物存在的概率的分数。于是如图31的(d)所示，在与存在货物103的多个体素相邻的空白的区域所示的体素，分配被算出的分数。第2填充率计算部804针对存在货物103的所有的体素进行上述的分数的分配，将分数的合计值为任意的阈值以上的由空白的区域所示的体素，判断为存在货物103。第2填充率计算部804例如在将任意的阈值设为0.1的情况下，由于判断为货物103存在于所有的区域，因此如图31的(e)所示，能够算出估计到由开闭部113遮挡的区域的形状的货物模型2053。
238.这样，信息处理装置220根据测距传感器210与货物103相对的第1部分的形状，来估计测距传感器与测量对象物不相对的第2部分的形状，因此，即使在有第2部分的情况下，也能够恰当地估计对象物三维模型。
239.另外，当被附加了在物流台车112的内部不留空隙地配置货物103这种规则的情况下，如图32所示，第2填充率计算部804可以提取配置了1个以上的货物103的区域的轮廓r3，判断为在提取的轮廓r3的内部存在货物103。于是，第2填充率计算部804可以利用开闭部113的多个贯通孔113a的区域中的三维点云，来估计轮廓r3的内部的开闭部113的区域。
240.在变形例3所涉及的填充率测量方法中，物流台车112进一步具有多个贯通孔113a，且具有对开口112a进行开闭的开闭部113。在填充率测量方法中，进一步对开闭部113是开状态还是闭状态进行判断，在开闭部113为开状态的情况下，与实施方式的填充率计算部224同样，通过进行提取以及估计，来对货物模型2034进行估计。填充率计算部224在开闭部113为闭状态的情况下，根据基于空间三维模型2011的体素数据2031中的、与开闭部113的多个贯通孔113a对应的多个第1部分，对由开闭部113遮挡的第2部分进行估计，利用多个第1部分和估计的第2部分、以及存放三维模型2032，对货物模型2034进行估计。
241.据此，即使在设置了对开口112a进行开闭的开闭部113的物流台车112中存放货物103的情况下，也能够按照开闭部113的开闭状态，将货物模型2034的估计方法切换为第1方法和第2方法，因此能够恰当地对对象物三维模型进行估计。
242.并且，在变形例3所涉及的填充率测量方法中，从测距传感器210朝向货物103的方向例如是沿着水平方向的方向。以往为了从没有设置具有贯通孔113a的开闭部113的方向来测量，而需要调整测距传感器210的位置，然而在此的测距传感器210不需要进行调整，因此测距传感器210的设置灵活性高。这样，即使不能完全调整测距传感器210的位置，也能够得到测距传感器210进行的用于估计对象物三维模型的测量结果。
243.(变形例4)
244.图33是用于说明变形例4所涉及的空间三维模型的生成方法的图。
245.如图33所示，即使在生成空间三维模型的情况下，三维测量系统200可以与模型生成部223的处理同样，对多个测距传感器210的测量结果进行统合。在这种情况下，三维测量系统200通过事前对多个测距传感器210的位置以及姿势进行校准来进行确定，根据确定的多个测距传感器210的位置以及姿势，对得到的多个测量结果进行统合，从而能够生成包括遮挡少的三维点云的空间三维模型。
246.(变形例5)
247.图34是用于说明变形例5所涉及的空间三维模型的生成方法的图。
248.如图34所示，即使在生成空间三维模型的情况下，三维测量系统200也能够以横渡一个测距传感器210的测量区域r1的方式，来使物流台车112以及一个测距传感器210的至少一方移动，可以在移动期间的多个定时，对由测距传感器210得到的多个测量结果进行统合。在这种情况下，能够算出物流台车112与一个测距传感器210之间的相对位置以及姿势，并利用相对位置以及姿势，来对多个测量结果进行统合，据此能够生成包括遮挡少的三维点云的空间三维模型。
249.(其他)
250.以上基于上述各实施方式对本公开所涉及的填充率测量方法等进行了说明，但是本公开并非受上述各实施方式所限。
251.例如，在上述实施方式中对信息处理装置等所具备的各处理部由cpu和控制程序来实现进行了说明。例如也可以是，该处理部的构成要素分别由一个或多个电子电路构成。
一个或多个电子电路可以分别是通用的电路，也可以是专用的电路。一个或多个电子电路例如可以包括半导体装置、ic(integrated circuit：集成电路)、或lsi(large scale integration：大规模集成电路)等。ic或lsi可以被集成在一个芯片，也可以被集成在多个芯片中。在此，虽然称为ic或lsi，不过可以根据集成的程度而称为系统lsi、vlsi(very large scale integration：超大规模集成电路)、或ulsi(ultra large scale integration：特大规模集成电路)。并且，在lsi制造后可编程的fpga(field programmable gate array：现场可编程门阵列)也能够用于相同的目的。
252.并且，本公开的概括地或具体的形态可以由系统、装置、方法、集成电路、或计算机程序来实现。或者，可以作为存储了该计算机程序的光盘、hdd(hard disk drive：硬盘驱动器)或半导体存储器等计算机可读取的非暂时性的记录介质来实现。并且，可以通过系统、装置、方法、集成电路、计算机程序以及记录介质的任意的组合来实现。
253.另外，对各实施方式执行本领域技术人员所能够想到的各种变形而得到的形态、以及在不脱离本公开的主旨的范围对实施方式的构成要素以及功能进行任意地组合而实现的形态均包括在本公开内。
254.本公开作为能够算出测量对象物的填充率的填充率测量方法、信息处理装置、程序等来应用。
255.符号说明
256.101、105、111 存放空间
257.102 搁架
258.102a、112a 开口
259.103、103a～103c 货物
260.104 标记
261.106 货箱
262.112 物流台车
263.113 开闭部
264.113a 贯通孔
265.200 三维测量系统
266.210、210a、210b 测距传感器
267.211 激光照射部
268.211a 红外图案照射部
269.211b和212b 相机
270.212 激光受光部
271.212a 红外相机
272.220 信息处理装置
273.221、701 获得部
274.222、222a、222b 坐标系计算部
275.223 模型生成部
276.224 填充率计算部
277.225 存储部
278.301 辅助部
279.302、313、323、503、605、703 计算部
280.311、321、401 检测部
281.312、322、501 提取部
282.402 生成部
283.403 容积计算部
284.502 估计部
285.601 货物体积计算部
286.602 区域划分部
287.603 预定货物测量部
288.604 区域估计部
289.702 计数部
290.801 检测部
291.802 切换部
292.803 第1填充率计算部
293.804 第2填充率计算部
294.2000 测量坐标系
295.2001、2021 图像
296.2002 调整用标记
297.2003 重叠图像
298.2004 传感器坐标系
299.2011、2051 空间三维模型
300.2012、2022、2032 存放三维模型
301.2013 位置信息
302.2014 搁架区域
303.2015 开口
304.2016 开口部端点
305.2017、2026 旋转矩阵
306.2018、2027 平移向量
307.2023 标记
308.2024 标记区域
309.2025 图案轮廓
310.2031、2052 体素数据
311.2033 货物区域
312.2034、2053 货物模型
313.2041 占用区域
314.2042 空余区域
315.p1 一点
316.r1 测量区域
317.r2 区域
318.r3 轮廓。