处理系统、标记方法、在该方法中检测的标记以及标记程序与流程

处理系统、标记方法、在该方法中检测的标记以及标记程序
1.相关申请的相互参照
2.本技术基于2019年7月22日申请的日本专利申请编号2019-134851号，在此援引其记载内容。
技术领域
3.本发明涉及处理系统、标记方法、在该方法中检测的标记以及标记程序。


背景技术：

4.以往，使用计算机视觉获取物体的位置信息或姿态信息的所谓物体跟踪在各种情况下得到应用。作为这样的物体跟踪中的一般的方法，例如，有通过图像处理来检测对象物的特征点，通过追踪检测出的特征点来推定对象物的位置信息或姿态信息的方法(参照非专利文献1)。但是，根据该方法，由于在特征点的检测中受到对象物的形状、纹理或运动等的影响，因此特征点的检测精度有可能不充分。
5.为了应对该问题，有将成为特征点的标记预先安装于对象物的方法。作为这样的标记的一例，已知有通过其自身发光而能够检测的标记(主动标记)。例如，在下述专利文献1中公开了如下方法，为了进行从悬吊索吊下来的货物的定位，在货物上配置成为标记的多个发光二极管，利用摄像机对该多个发光二极管的发光进行拍摄。另外，在下述专利文献2中公开了如下结构，为了检测喷墨记录装置中的输送带的移动量，在输送带的表面涂布蓄光物质，通过向该涂布区域照射规定的图案的光，使该蓄光物质发光而作为标记。
6.现有技术文献
7.专利文献
8.专利文献1：日本特表平5-505788号公报
9.专利文献2：日本特开2012-66460号公报
10.非专利文献
11.非专利文献1:alper yilmaz,omar javed,and mubarak shah,“object tracking:a survey,”acm computing surveys,vol.38,no.4,article 13,(2006)


技术实现要素：

12.发明所要解决的技术问题
13.但是，根据上述专利文献1以及专利文献2所公开的结构，需要在对象物上设置能够成为标记的光源或在对象物上涂布蓄光物质的时间劳力，并且对象物的外观、形状会发生变化。另一方面，若不使用标记来检测对象物的特征点，则如上所述，特征点的检测精度可能不充分。
14.因此，本发明提供一种不安装标记就能够检测对象物的规定的区域作为标记的处理系统、标记方法、在该方法中检测的标记以及标记程序。
15.用于解决问题的技术方案
16.本发明的一个方式所涉及的处理系统具备：照射部，向对象物照射照射光；拍摄部，对根据照射光的照射而从对象物自身放出的放出光进行拍摄；以及检测部，基于由拍摄部拍摄到的图像来检测放出光作为对象物的标记。
17.根据该方式，由于通过照射光的照射而从对象物自身放出放出光，因此不会使对象物的外观、形状变化，且不会损害对象物的可动性，能够检测对象物的规定的区域作为标记。另外，由于省去了安装标记的时间劳力，因此作业效率提高。
18.在上述方式中，照射部也可以对对象物以比放出光的发光持续时间短的间隔间歇地照射照射光。
19.根据该方式，能够在与上次的照射对应的放出光消失之前放出下一放出光，因此能够持续地检测对象物的至少一部分作为标记。
20.在上述方式中，处理系统也可以包括跟踪部，该跟踪部基于由检测部检测出的标记来跟踪对象物，照射部基于由跟踪部跟踪到的对象物的位置向对象物上的特定的区域照射照射光。
21.根据该方式，在与上次的照射对应的放出光消失之前，能够以与该放出光重叠的方式照射下一照射光，因此能够对对象物的规定的区域赋予时间上不中断的标记。
22.在上述方式中，处理系统也可以还具备对照射光进行调制的调制部，拍摄部通过对基于调制后的照射光的放出光进行拍摄，从而能够识别由检测部检测的标记。
23.根据该方式，例如在多个处理系统共存的情况下，能够识别检测出的标记是由哪个处理系统赋予的标记。或者，在多次赋予标记的情况下，能够识别检测出的标记是何时赋予的标记。
24.在上述方式中，处理系统也可以还具备进行由检测部检测的各图像中的标记的匹配的匹配部，照射光包含在二维平面上扩展的随机图案状的图案光，拍摄部在多个定时对根据照射光而从对象物自身放出的随机图案状的放出光进行拍摄，匹配部基于在多个定时拍摄到的多个图像来进行随机图案状的标记的匹配。
25.根据该方式，能够比较容易地向对象物赋予随机图案状的标记，因此与例如向对象物人为地安装标记的方法相比，匹配处理的精度提高。
26.在上述方式中，处理系统也可以还具备光路控制部，该光路控制部将从照射部照射的照射光引导至对象物的任意的区域。
27.根据该方式，即使在对象物相对于照射部相对地移动的情况下，也容易向对象物的特定的区域持续照射照射光。另外，例如在对象物的尺寸小的情况、或在对象物的表面存在照射的限制的情况下，也容易向对象物赋予标记。
28.在上述方式中，拍摄部也可以包括以100fps以上的帧率拍摄放出光的高速照相机。
29.根据该方式，如果放出光的发光持续时间为数十毫秒以上，则能够遍及多个图像对从对象物放出的放出光进行拍摄。因此，能够在不涂布蓄光材料等的情况下，针对多个对象物，将放出光用作标记。
30.在上述方式中，拍摄部也可以在停止向对象物的照射光的照射后，对从对象物自身放出的放出光进行拍摄。
31.根据该方式，在拍摄放出光时，能够区别照射光和放出光，因此能够高精度地检测
放出光作为标记。
32.在上述方式中，放出光也可以包含在照射光的照射后从对象物自身放出的延迟荧光或磷光。
33.根据该方式，由于不依赖于对象物的外观、形状，而通过对象物的蓄光现象放出放出光，因此能够相对于对象物的外观、形状可靠地检测放出光。
34.本发明的其它方式所涉及的标记方法包括：向对象物照射照射光；对根据照射光的照射而从对象物自身放出的放出光进行拍摄；以及基于拍摄到的图像来检测放出光作为对象物的标记。
35.根据该方式，通过照射光的照射而从对象物自身放出放出光，因此不会使对象物的外观、形状变化，且不会损害对象物的可动性，能够检测对象物的规定的区域作为标记。另外，由于省去了安装标记的时间劳力，因此作业效率提高。
36.本发明的其它方式所涉及的标记是在上述标记方法中检测的标记。
37.根据该方式，通过照射光的照射而从对象物自身放出的放出光作为标记发挥功能。
38.本发明的其它方式所涉及的标记程序使计算机作为如下各部发挥功能：照射部，向对象物照射照射光；拍摄部，对根据照射光的照射而从对象物自身放出的放出光进行拍摄；以及检测部，基于由拍摄部拍摄到的图像来检测放出光作为对象物的标记。
39.根据该方式，通过照射光的照射而从对象物自身放出放出光，因此不会使对象物的外观、形状变化，且不会损害对象物的可动性，能够检测对象物的规定的区域作为标记。另外，由于省去了安装标记的时间劳力，因此作业效率提高。
40.发明效果
41.根据本发明，提供一种处理系统、标记方法、在该方法中检测的标记以及标记程序，能够在不安装标记的情况下检测对象物的规定的区域作为标记。
附图说明
42.图1是表示本发明的一个实施方式所涉及的处理系统的构成例的图。
43.图2是表示图1所示的控制装置的物理结构的图。
44.图3是表示本发明的一个实施方式所涉及的处理系统的功能框图的图。
45.图4是表示由本发明的一个实施方式所涉及的处理系统获取到的发光数据的图。
46.图5是表示在照射装置照射一次脉冲状的照射光的情况下由拍摄装置拍摄的图像的影像的图。
47.图6是表示在照射装置间歇地多次照射脉冲状的照射光的情况下由拍摄装置拍摄的图像的影像的图。
48.图7是表示在照射装置照射持续的照射光的情况下由拍摄装置拍摄的图像的影像的图。
49.图8a是表示向旋转的对象物照射照射光并在照射光刚停止后由拍摄装置拍摄的图像的图。
50.图8b是表示向旋转的对象物照射照射光并从照射光的停止起100毫秒后由拍摄装置拍摄的图像的图。
51.图9是表示由本发明的一个实施方式所涉及的处理系统执行的跟踪处理的流程图。
52.图10是表示本发明的一个实施方式的第一变形例所涉及的处理系统的功能框图的图。
53.图11a是表示向牛奶盒照射空间调制后的照射光并在该照射中由拍摄装置拍摄的图像的图。
54.图11b是表示向牛奶盒照射空间调制后的照射光并在其刚停止后由拍摄装置拍摄的图像的图。
55.图12a是表示向素描簿照射空间调制后的照射光并在该照射中由拍摄装置拍摄的图像的图。
56.图12b是表示向素描簿照射空间调制后的照射光并在其刚停止后由拍摄装置拍摄的图像的图。
57.图13是表示对照射光进行强度调制的情况下的发光数据的图。
58.图14a是表示在与图13的发光数据l1对应的条件下拍摄的图像的一部分的图。
59.图14b是表示在与图13的发光数据l1对应的条件下拍摄的图像的一部分的图。
60.图15a是表示在与图13的发光数据l2对应的条件下拍摄的图像的一部分的图。
61.图15b是表示在与图13的发光数据l2对应的条件下拍摄的图像的一部分的图。
62.图16a是表示在与图13的发光数据l3对应的条件下拍摄的图像的一部分的图。
63.图16b是表示在与图13的发光数据l3对应的条件下拍摄的图像的一部分的图。
64.图17是表示本发明的一个实施方式的第二变形例所涉及的处理系统的功能框图的图。
65.图18是表示本发明的一个实施方式的第三变形例所涉及的处理系统的构成例的图。
具体实施方式
66.以下，基于附图对本发明的一个方面所涉及的实施方式(以下，也记作“本实施方式”。)进行说明。此外，在各图中，标注相同附图标记的部分具有相同或同样的结构。
67.图1是表示本实施方式所涉及的处理系统的构成例的图。处理系统10是不在对象物100上安装标记就能够检测从对象物100自身放出的放出光作为标记的系统。
68.如图1所示，处理系统10例如具备照射装置11、拍摄装置12、控制装置13。
69.照射装置11以任意的照射条件向对象物100照射照射光。照射装置11例如可以是紫外线激光器或紫外led(light emitting diode：发光二极管)。由照射装置11照射的照射光的波长可以是10nm以上。通过使用波长为10nm以上的照射光，能够简化向对象物100照射照射光的情况下的管理，能够将处理系统10的运用成本抑制得较低。另外，照射装置11可以包括产生多个不同的波长的照射光的一个或多个光源。照射装置11可以包括波长可变的激光器或led作为光源，也可以包括波长不同的多个激光器或led作为光源。照射装置11照射的照射光可以是准直光，也可以是脉冲光。如后所述，照射装置11例如可以间歇地照射照射光，或者也可以持续地照射照射光。
70.若向对象物100照射照射光，则从对象物100的被照射了照射光的区域放出放出
memory：随机存取存储器)21以及rom(read only memory：只读存储器)22、通信部23、输入部24、显示部25。这些各结构经由总线以能够相互收发数据的方式连接。此外，在本例中，对控制装置13由一台计算机构成的情况进行说明，但控制装置13也可以组合多台计算机来实现。图2所示的结构是一例，控制装置13也可以具有这些以外的结构，也可以不具有这些结构中的一部分。
78.cpu20是进行与存储于ram21或rom22中的程序的执行相关的控制、数据的运算、加工的控制部。cpu20是执行对向对象物照射照射光而从对象物自身放出的放出光进行检测的程序(以下，也称为“标记程序”。)的运算部。cpu20从通信部23或输入部24接收各种数据，将数据的运算结果显示于显示部25或存储于ram21、rom22中。
79.ram21是存储部中的可改写数据的部件，例如可以由半导体存储元件构成。ram21可以存储由cpu20执行的标记程序等。此外，这些是例示，在ram21中可以存储这些以外的数据，也可以不存储它们的一部分。
80.rom22是存储部中的可读出数据的部件，例如可以由半导体存储元件构成。rom22例如可以存储标记程序、不进行改写的数据。
81.通信部23是将控制装置13与其它设备连接的接口。通信部23可以与因特网等通信网络连接。
82.输入部24从用户接收数据的输入，例如，可以包括键盘及触摸面板。
83.显示部25在视觉上显示cpu20的运算结果，例如，可以由lcd(liquid crystal display：液晶显示器)构成。显示部25可以显示由拍摄装置12拍摄的图像等。
84.标记程序可以存储在ram21、rom22等由计算机可读取的存储介质中而提供，也可以经由通过通信部23连接的通信网络提供。在控制装置13中，通过cpu20执行标记程序，实现以下说明的各种动作。此外，这些物理结构是例示，也可以不必是独立的结构。例如，控制装置13也可以具备cpu20、ram21、rom22一体化的lsi(large-scale integration：大规模集成)。
85.返回图1，对象物100可以是任意的物体，例如包括在其整体或一部分包含有任意的蓄光成分的物体。即，本实施方式中的对象物100不是在对象物的表面人为地涂布蓄光物质的对象物，而是通过基于对象物自身的电子结构的蓄光现象而发光数毫秒～数百毫秒程度或其以上的物体，例如，包括牛奶盒、素描簿、办公用纸、混凝土、白砂糖、砂糖、巧克力、布等，但不限于此。通过使用蓄光现象产生的放出光作为标记，能够相对于对象物100的外观、形状可靠地检测放出光。
86.对象物100也可以相对于处理系统10的至少一部分相对地移动。例如图1示出对象物100静止，而照射装置11、拍摄装置12以及控制装置13沿箭头的方向一体地移动的情况。处理系统10通过检测放出光作为标记，能够进行例如对象物100的形状、对象物100相对于处理系统10的相对位置、相对姿态以及相对速度等的计测。处理系统10基于计测出的相对位置、相对姿态以及相对速度，计算实际空间中的对象物100的位置、姿态以及速度。
87.图3是表示本实施方式所涉及的处理系统的功能框图的图。照射装置11具备照射部110。拍摄装置12具备拍摄部120。控制装置13具备设定部130、检测部131、跟踪部132。
88.照射部110基于控制装置13的控制，向对象物100照射照射光。拍摄部120基于控制装置13的控制，对从对象物100放出的放出光进行拍摄。此外，在本实施方式中，示出了照射
装置11具备照射部110，而拍摄装置12具备拍摄部120的例子，但这些装置也可以不必是独立的结构。例如，控制装置13也可以具备照射部及拍摄部的功能。
89.设定部130设定照射装置11照射的照射光的照射条件，并且设定拍摄装置12上的拍摄条件。照射光的照射条件包括照射光的波长、照射光的强度、照射光的照射时间以及照射光的间隔中的至少一个。照射光的波长例如可以是紫外区域的200nm～400nm，但也可以是远紫外区域的200nm以下，也可以是可见光区域的400nm以上。
90.存在照射光的波长越短，则照射光的强度越强，照射光的照射时间越长，则放出光的发光持续时间越长的倾向。因此，为了跟踪对象物，可以将照射光的波长设定得比较短，将照射光的强度设定得比较强，将照射光的照射时间设定得比较长。但是，由于存在即使照射光的照射时间延长一定时间以上，放出光的发光持续时间也不变化的情况，因此照射光的照射时间可以设定为放出光的发光持续时间接近最大值的时间中的最短的时间。
91.拍摄装置12上的拍摄条件包括帧率、帧周期、曝光时间以及分辨率中的至少一个。此外，例如也可以根据拍摄装置12的帧率或曝光时间来适当设计照射光的照射条件。
92.检测部131取入由拍摄装置12拍摄的图像，基于该图像来检测从对象物100放出的放出光。放出光的检测方法没有特别限定，但例如可以包括对拍摄的图像进行二值化处理、实施膨胀处理或收缩处理而提高s/n比、选择提取的多个区域中的轮廓最大的区域、以及求出选择的区域的重心的坐标中的至少一个。
93.跟踪部132基于在检测部131中检测出的放出光的图像中的位置坐标来计测对象物100的形状、对象物100相对于处理系统10的相对位置、相对姿态以及相对速度中的至少一个，对对象物100进行跟踪。跟踪部132基于所计测的相对位置、相对姿态以及相对速度，计算实际空间中的对象物100的位置、姿态以及速度。跟踪部132的跟踪可以使用与将物理的标记、对象物的特征点用作标记的结构相同的方法，因此省略详细的说明。
94.通过上述结构，处理系统10例如能够基于所计测的对象物的实际空间中的位置对对象物100进行跟踪。对象物100的跟踪包括对某图像内的对象物100的移动进行追踪、以及根据对象物100的移动使拍摄装置的视野方向变动，以使对象物100继续收纳于拍摄装置的视野内。
95.图4是表示由本实施方式所涉及的处理系统10获取到的发光数据的图。该图所示的发光数据l是指，对作为对象物100的一例的素描簿照射500ms的波长为375nm的激光作为照射光，在其停止后由拍摄装置12以120fps对图像进行拍摄，根据拍摄结果的像素用10位(0～1023)表示照射照射光的区域中的中心坐标的像素的像素值。在图4中，横轴表示图像帧数，纵轴表示照射光照射的区域中的像素值。该像素值对应于放出光强度(发光强度)。
96.根据发光数据l可知，从开始拍摄起，像素值逐渐衰减。
97.在发光数据l的照射光的照射的停止后，分为指数衰减区间b1和平缓的衰减区间b2。当照射光的照射结束时，立即开始指数衰减区间b1，像素值指数地衰减。在本例的情况下，指数衰减区间b1从开始拍摄起持续9帧(75ms)左右，在该期间，像素值从最大值衰减80％左右。在指数衰减区间b1之后，平缓的衰减区间b2持续21帧(175ms)左右，在该期间像素值衰减到最小值。
98.这样，在某对象物的放出光的像素值的衰减特性为已知的情况下，能够基于在某时间检测出的标记的像素值来推测从照射光的照射停止起的经过时间。即，可以说由放出
光构成的标记均包含表示其位置的空间信息和表示其经过时间的时间信息。
99.在本例中，通过1台拍摄装置12以120fps对照射照射光后的图像进行拍摄，但拍摄装置12也可以包括以比120fps低的帧率拍摄对象物100的放出光的照相机及高速照相机，可以用高速照相机拍摄时间变化比较快的期间的放出光，可以用照相机拍摄时间变化比较慢的期间的放出光。在此，时间变化比较快的期间例如是指数衰减区间b1，时间变化比较慢的期间例如是衰减区间b2。在该情况下，高速照相机可以捕捉10nsec级的亮度的变化，即以108fps左右拍摄图像。这样，通过使用高速照相机和比较低速的照相机这2台照相机，在放出光的时间变化比较快的期间以及慢的期间，都能够以充分的时间分辨率拍摄连续图像。
100.此外，在本例中，将照射光的照射时间设为500ms，但照射时间不限于此。例如在对象物100为普通纸的情况下，若将照射光的照射时间设为200ms左右以上，则存在放出光的寿命饱和的倾向。这样，对对象物100的照射光的照射时间也可以设定为放出光的寿命饱和的照射时间以上。
101.接下来，参照图5至图7，对在各种照射条件以及拍摄条件下跟踪对象物的具体的方法进行说明。此外，以下，为了方便，以照射装置11照射点状的照射光的情况为例进行说明，但照射光不限于点状。
102.图5是表示在照射装置照射一次脉冲状的照射光的情况下由拍摄装置拍摄的图像的影像的图。在本方式(以下，也称为“方式a”。)中，放出光的发光持续时间比拍摄装置的曝光时间长。换言之，在某一拍摄中所拍摄的放出光的发光持续时间内，拍摄下一图像。图5中的(a)到(d)所示的图像按照由拍摄装置12拍摄的顺序排列。
103.当照射装置11照射一次脉冲状的照射光时，从对象物100的被照射照射光的区域放出放出光。即，对象物100的规定的区域被标记。之后，即使对象物100相对于拍摄装置12相对地移动，放出光也在发光持续时间内从该区域持续放出。
104.拍摄装置12在多个定时对对象物100进行拍摄。检测部131从所拍摄的各图像检测放出光。此时，由于对象物100相对于拍摄装置12相对地移动，因此如图5所示，在各图像间检测的放出光的位置逐渐推移。因此，跟踪部132能够基于所拍摄的多个图像中的放出光的位置的推移计算对象物100的相对速度。此外，图5是假设相对于对象物100的相对速度而拍摄装置12的曝光时间极短的情况的示意图。实际上，当对象物100在拍摄装置12的曝光时间中移动时，则如后述的图7所示，各个放出光带有规定的长度。这在后述的图6中也是同样的。
105.例如，如图5所示，在多个图像间检测出的放出光的位置相互离开x像素，拍摄装置12的帧周期为t秒的情况下，对象物100的像素相对速度vp通过vp＝x/t(像素/秒)来计算。例如，在对象物100的与拍摄装置12相对的面为平面，对象物100相对于拍摄装置12平移移动的情况下，能够从上述的像素相对速度vp向实际空间中的实际相对速度转换。
106.在方式a中，拍摄装置12的帧率越高，则在各图像间检测的放出光的间隔越窄，因此计算出的对象物100的相对速度的精度提高。另外，在方式a中，由于能够基于根据某个照射放出的放出光的位置的推移跟踪对象物100，因此能够与照射装置11和拍摄装置12之间的距离无关地计算对象物100的相对速度。此外，在上述中，以照射装置11照射一次照射光的情况为例进行了说明，但即使在照射装置11照射多次照射光的情况下，也能够应用同样的方法。
107.图6是表示在照射装置间歇地多次照射脉冲状的照射光的情况下由拍摄装置拍摄的图像的影像的图。在本方式(以下，也称为“方式b”。)中，放出光的发光持续时间比照射光的间隔长。换言之，在根据某个照射而放出的放出光的发光持续时间内，照射下一个照射光。
108.由于对象物100相对于照射装置11相对地移动，因此当照射装置11间歇地在多个(在图6中为4次)定时向相同方向照射脉冲状的照射光时，从对象物100的多个不同区域放出放出光。即，对象物100的多个(在图6中为4个)区域被标记。
109.拍摄装置12至少拍摄一次相对于拍摄装置12相对地移动的对象物100。检测部131从拍摄的图像中检测放出光。此时，由于对象物100被标记有多个区域，因此从1张图像检测出多个放出光。另外，由于放出光的强度在与对象物100的材料对应的发光特性中衰减，所以如图6所示，检测部131检测的放出光的强度从与过去的照射对应的放出光到与最新的照射对应的放出光逐渐变强。因此，跟踪部132可以基于强度按时间序列顺序识别在该1张图像上检测出的多个放出光。由此，跟踪部132能够基于强度的顺序相邻的多个放出光的间隔计算对象物100相对于拍摄装置12的相对速度。
110.例如，如图6所示，在1张图像上检测出的强度的顺序相邻的2个放出光的间隔为x像素且照射装置11的照射间隔为z秒的情况下，对象物100的像素相对速度vp通过vp＝x/z(像素/秒)计算。在该情况下，也与上述的方式a同样地，在与拍摄装置12相对的对象物100的面是平面且对象物100相对于拍摄装置12平移移动的情况下，能够从像素相对速度vp向实际空间中的实际相对速度转换。
111.在方式b中，照射装置11的间隔越短，则在某一图像中检测出的放出光的间隔越窄，因此计算出的对象物100的相对速度的精度提高。另外，在方式b中，也与方式a同样地，能够与照射装置11和拍摄装置12之间的距离无关地计算对象物100的相对速度。方式a以及方式b在例如对象物100不变形的情况或者只要追踪对象物100的某一点的动作就足够的情况等下是有效的，此时优选照射光的照射时间短。
112.图7是表示在照射装置照射持续的照射光的情况下由拍摄装置拍摄的图像的影像的图。此外，在本方式(以下，也称为“方式c”。)中，示出了照射装置11在规定的长度范围进行一次照射之后停止的情况的例子，但也可以取而代之，间歇地在多个定时照射照射光，或者也可以不停止地持续照射照射光。
113.由于对象物100相对于照射装置11相对地移动，当照射装置11照射持续的照射光时，则从对象物100中的带有规定的长度区域放出放出光。即，在方式c中，将对象物100标记为线状。
114.拍摄装置12至少拍摄一次对象物100。检测部131从拍摄到的图像中检测放出光。检测出的放出光的轨迹表示对象物100相对地移动的轨迹。在此，可知放出光的强度随着时间的经过而衰减，因此检测出的放出光的强度越强，则越是新照射的区域，若放出光的强度越弱，则越是过去照射的区域。因此，跟踪部132能够基于从1张图像检测出的放出光的轨迹和放出光的强度，对对象物100相对于照射装置11的移动轨迹进行计测。在方式c中，照射光的照射时间越长，则放出光放出的轨迹的区域越扩大，因此从对象物的轨迹得到的每一张图像的信息量变多。
115.另外，放出光在与对象物100的材料对应的发光特性下被放出。因此，控制装置13
也可以预先存储对象物100或与对象物100相同的材料中的放出光的发光特性，并基于存储的发光特性与检测出的对象物100的放出光的发光特性的比较来计算对象物100的相对速度。放出光的发光特性例如包括表示从照射光的照射起的经过时间与放出光的发光强度的关系的衰减数据、放出光的发光持续时间以及放出光的光强度的变化率等。
116.例如，若预先存储某个照射光的照射强度下的放出光的发光持续时间τ(s)，将检测出的放出光的轨迹的长度设为x像素，则对象物的像素相对速度vp通过vp＝x/τ(像素/秒)计算。在方式c中，与上述的方式a以及方式b那样照射脉冲状的照射光的方式相比，能够不受拍摄装置12的帧率、照射装置11的照射率的限制，计算更精细且连续的相对速度矢量。
117.图8a是表示向旋转的对象物照射照射光，在照射光刚停止后由拍摄装置拍摄的图像的图。图8b是向旋转的对象物照射照射光，从照射光的停止起100毫秒后由拍摄装置拍摄的图像的图。具体而言，图8a以及图8b所示的图像表示在照射装置11以及拍摄装置12静止且在与拍摄装置12的拍摄面平行的平面上以角速度17.5(rad/秒)旋转的旋转台上搭载作为对象物的一例的巧克力的状况下拍摄到的图像。在本实验中，照射装置11照射的照射光的波长为375nm，照射时间为500毫秒。拍摄装置12是组合了增益被设定为5.0的图像增强器的cmos照相机。拍摄装置12的分辨率为640
×
480像素，拍摄的帧率为240fps。另外，图8a以及图8b所示的图像是对由拍摄装置12拍摄的原图像使用规定的阈值实施二值化处理后的图像。
118.如图8a以及图8b所示，从巧克力放出的放出光200的轨迹分别描绘圆弧，且强度绕逆时针衰减。如后面所示的图18那样，在本实验中，经由镜拍摄巧克力，拍摄图像的左右反转。因此，从该放出光200的轨迹可知巧克力顺时针旋转。将巧克力上的放出光的发光持续时间设为τ(秒)，将放出光的轨迹的旋转角设为y(rad)，则巧克力的相对角速度ω通过ω＝y/τ(rad/秒)计算。
119.这样，基于在某时刻拍摄到的1张图像来解析放出光的轨迹的方法例如能够在激光照射的开始时刻照射的区域的放出光即使衰减也残留在能够充分观测的程度的、发光持续时间内的观测时使用。另一方面，在激光的照射时间比放出光的发光持续时间长的情况下，能够分别检测在不同的时刻拍摄到的2张图像中的放出光的轨迹中的明亮侧的端点、即与最近(激光照射即将结束之前)照射激光的区域对应的点，通过将从检测出的两点间的旋转台的旋转中心观察的角度的差分(rad)除以帧间时间(秒)，计算相对角速度ω。例如在本实验的情况下，图8a与图8b的帧间的时刻为100毫秒，各图像中的明亮侧的端点的角度的差分为1.77(rad)，因此相对角速度ω被计算为ω＝1.77/0.1＝17.7(rad/秒)。由此可知，大致适当地计算出了搭载有巧克力的旋转台的角速度17.5(rad/秒)。
120.图9是由本实施方式所涉及的处理系统执行的跟踪处理的流程图。
121.首先，设定部130设定照射装置11的照射条件(步骤s10)，设定拍摄装置12的拍摄条件(步骤s11)。接着，照射装置11以设定的照射条件向对象物100照射照射光(步骤s12)。
122.接着，拍摄装置12在所设定的拍摄条件下对根据照射光的照射而从对象物100自身放出的放出光进行拍摄(步骤s13)。接着，检测部131基于拍摄的图像来检测放出光(步骤s14)。接着，跟踪部132基于检测出的放出光的推移或轨迹来计算对象物100的相对速度(步骤s15)。由此，跟踪处理结束。
123.此外，如上所述，在步骤s14中，也可以对拍摄到的图像进行各种图像处理。例如，
关于放出光的检测，在所拍摄的图像中包含拍摄时的固定噪声等时，也可以在除去它们之后检测放出光。例如，也可以另外拍摄放出光衰减并经过充分的时间后的图像，通过取像素值的最大值来评价固定噪声的像素值的大小，将该评价值作为阈值来制作二值图像。在制作的二值图像中，由于排除固定噪声，因此能够将来自放出光的亮区域的图像上的重心视为放出光的中心。
124.如上所述，在本实施方式所涉及的处理系统10中，不对对象物赋予物理的标记，能够使从对象物自身的规定的区域放出的放出光作为标记发挥功能。通过该标记方法，与在对象物上安装物理的标记或涂布蓄光物质的结构相比，能够在不使对象物的外观、形状变化且不损害对象物的可动性的情况下，进行对象物的计测。另外，由于省去了安装标记的时间劳力，因此作业效率提高。
125.在本实施方式所涉及的处理系统10中，由于不依赖于对象物的颜色、素材以及形状等而赋予标记，因此能够相对于对象物100的外观、形状可靠地赋予标记。由此，即使是例如白色素色的对象物，也能够以高精度进行计测。
126.在本实施方式所涉及的处理系统10中，由预先包含于对象物的整体或一部分中的蓄光成分产生的数毫秒～数百毫秒左右的发光被用于标记。因此，例如与使用比较高的强度的激光的情况相比，不会破坏对象物或因光变质而在对象物的照射区域残留痕迹，就能够进行标记。
127.例如在通过投影仪向对象物投影图案光的结构中，当对象物移动时，图案光相对于对象物的位置发生偏移，因此无法将该图案光用作对象物的标记。另一方面，在本实施方式所涉及的处理系统10中，一旦完成标记，则即使之后对象物100移动，也从相同区域在发光持续时间内持续放出放出光，因此能够应用于对象物的跟踪等。
128.在上述专利文献2记载的结构中，基于发光单元的发光的定时与受光单元的受光的定时的关系、以及发光单元与受光单元之间的距离，计算输送带的速度。另一方面，在本实施方式所涉及的处理系统10中，与照射装置与拍摄装置之间的距离无关地，能够基于放出光的位置的推移来计算对象物相对于拍摄装置的相对速度。因此，在处理系统10中，与上述专利文献2记载的结构相比，能够测定的对象物的移动的自由度提高，例如能够测定对象物的角速度。
129.此外，在上述的实施方式中，作为处理系统10的应用例以进行对象物的跟踪的情况为例进行了说明，但本实施方式所涉及的处理系统也可以用于其它各种用途。
130.例如，处理系统10也可以应用于一边相对于外部环境高速地移动一边对外部环境进行检查的检查系统。移动体越高速地移动，则以移动体为起点的外部环境的感测效率越好。但是，当移动体高速移动时，则产生运动模糊，因此需要高精度地补偿对象物的相对的移动。关于这一点，根据本处理系统，能够计算出对象物的角速度，因此能够进行高精度且稳定的外部环境的感测。具体而言，例如，能够用于道路、电车等基础设施的检查、工厂生产线那样伴随移动的生产线检查中。在该情况下，与以往的检查系统相比，能够以高效率进行检查。
131.图10是表示本实施方式的第一变形例所涉及的处理系统的功能框图的图。此外，在本变形例以后，省略与上述的实施方式共通的事项相关的记述，仅对不同点进行说明。特别是，对于基于同样的结构的同样的作用效果，在每个实施方式中并未依次提及。
132.与上述的处理系统10相比，本变形例所涉及的处理系统10a在控制装置13a还具备调制部133这一点上不同。例如在多个处理系统同时进行标记的情况下，各处理系统为了识别各照射光是来自哪个处理系统的照射光，具备对照射光进行调制的调制部133。
133.调制部133例如也可以通过使在二维平面上扩展的照射光的图形图案变化，对照射光进行空间调制。若将照射光设为点以外的图形图案，则与照射光相应地放出光也带有图形图案，因此能够基于该放出光的图形图案对标记的种类进行识别。例如，处理系统10a还可以具备设置于照射装置11的照射口的衍射光栅，生成向各种方向倾斜的直线状的照射光。
134.图11a以及图11b是表示将空间调制后的照射光照射到牛奶盒的情况下由拍摄装置拍摄的图像的图。图12a以及图12b是表示将空间调制后的照射光照射到素描簿的情况下由拍摄装置拍摄的图像的图。图11a以及图12a表示在照射光的照射中拍摄到的图像，图11b以及图12b表示在照射光刚停止后拍摄到的图像。此外，拍摄装置的帧率为120fps，是将照射光的形状设为直线状的情况下的图像。
135.如图11b以及图12b所示，可知当照射直线状的照射光时，即使在照射光停止后也拍摄到了直线状的放出光。这些放出光沿不同的方向延伸，通过检测放出光的延伸方向，能够识别是来自哪个照射光的放出光。在照射光的图形图案具有非对称性的情况下，也可以根据放出光的图形图案的朝向来区别对象物的方向。
136.另外，调制部133也可以对照射光动态地进行空间调制，而不是静态地进行空间调制。例如调制部133也可以通过在放出光的发光持续时间内使点状的照射光以图形状移动的同时进行照射，从而生成图形图案的放出光。图形图案例如包括直线状、矩形状、圆形状、多边形状。通过放出互不相同的图形图案的放出光，可以识别各放出光。
137.由于放出光随着时间的经过而逐渐减弱，因此为了生成图形图案的放出光，需要在与最初的照射对应的放出光的发光持续时间内完成照射光的图形状的移动。例如，如图7所示，考虑照射装置11照射持续的照射光，生成长度q的直线状的图案的情况。将半径r的圆形的照射光照射时间t的情况下的放出光的发光持续时间设为mt，将照射光的移动速度设为v。为了用半径r的照射光对该直线状的图案的任意的点照射时间t，照射光的移动速度v需要满足v≤2r/t(式1)。另外，为了以移动速度v在发光持续时间mt以内照射长度q，移动速度v需要满足q 2r≤vmt(式2)。根据式1及式2，处理系统10a能够生成满足q≤2(m－1)r的长度q的直线状的图案。
138.或者，调制部133也可以通过使光的照射强度变化来对照射光进行强度调制。例如，处理系统10a还可以具备设置于照射装置11的照射口的nd(neutral density：中性密度)滤光器，根据nd滤光器中的光的透射率而使光的照射强度变化。nd滤光器中有具有能够通过旋转而使光的透射率变化，其旋转角度越大则光学浓度越线性地变高的(即，透射率变小)特性的nd滤光器。因此，调制部133例如也可以通过控制这样的nd滤光器的旋转角而使光的透射率变化，从而使照射光的强度变化。
139.图13是表示对照射光进行强度调制的情况下的发光数据的图。该图所示的发光数据l1～l3是指，对牛奶盒照射100ms照射光，表示由拍摄装置12拍摄到的图像中的照射了照射光的区域中的中心坐标的像素的像素值。发光数据l1是不设置nd滤光器的情况的结果，发光数据l2是使nd滤光器旋转90度的情况(即，透射率为30％左右)的结果，发光数据l3是
使nd滤光器旋转180度的情况(即，透射率为数％左右)的结果。在此，在图像帧13～20之间，像素值在1000左右被认为是饱和的现象，但需要注意，这是由于放出光的发光强度超过cmos影像传感器的动态范围而引起的计测上的问题，而不是本质性的现象。此外，拍摄装置12是组合了增益设定为5.0的图像增强器的cmos照相机。到第10～11帧为止，相当于照射照射光的时间，因此不进行拍摄，而第11～12帧以后相当于放出光的像素值。
140.图14a以及图14b是表示在与图13的发光数据l1对应的条件下拍摄的图像的一部分的图。图15a以及图15b是表示在与图13的发光数据l2对应的条件下拍摄的图像的一部分的图。图16a以及图16b是表示在与图13的发光数据l3对应的条件下拍摄的图像的一部分的图。图14a、图15a以及图16a分别示出照射光刚停止后拍摄的图像(图13的第11帧)，图14b、图15b以及图16b分别示出从照射光的停止起100ms后拍摄到的图像(图13的第22帧)。
141.从图13所示的图表可知，照射光的强度越强，则该时刻的像素值越高。这里，可以说能够通过照射光的强度的调制来识别放出光。
142.除了上述的调制方式以外，调制部133也可以通过使照射光的照射周期变化的时间调制、使照射光的光谱变化的波长调制、或使照射光调制为脉冲状的脉冲编码调制等调制方式来对照射光进行调制。在脉冲编码调制的情况下，为了确保所拍摄的放出光的对比度，优选考虑放出光的衰减时间而加入脉冲。例如，优选具有如下条件，基于预先得到的放出光的衰减曲线，在放出光的水平从最大值降低到规定的比例时进行下一次照射光的照射等。
143.在这些任意的调制方式中，也照射以相互不同的方式照射调制的照射光，拍摄部拍摄基于调制的照射光的放出光，由此能够识别检测部检测出的标记是由哪个处理系统赋予的标记。此外，各处理系统也可以在拍摄部的前段具备选择性地使基于调制的照射光的放出光通过的滤光器。另外，例如也可以如进行空间调制并且进行了时间调制的照射光那样，各自的调制方式重复应用。
144.另外，在一个处理系统中的照射装置多次赋予标记的情况下，也可以以使多次的照射光相互不同的方式进行调制。在该情况下，即使在拍摄部同时拍摄了多个标记的情况下，也能够识别检测到的标记是何时赋予的标记。
145.图17是表示本实施方式的第二变形例所涉及的处理系统的功能框图的图。
146.与上述的处理系统10相比，本变形例所涉及的处理系统10b在照射装置11向对象物100照射在二维平面上扩展的照射光且控制装置13b还具备匹配部134这一点上不同。
147.照射装置11照射的照射光是在与对象物100相对的二维平面上扩展的随机图案状的图案光。通过照射这样的照射光，在对象物100中从随机图案状的区域放出放出光。即，在处理系统10a中，将对象物100标记为随机图案状。
148.拍摄装置12在多个定时拍摄从对象物100自身放出的随机图案状的放出光。此外，拍摄装置12具有能够拍摄随机图案状的放出光的至少一部分的视场角。
149.匹配部134使用由拍摄装置12拍摄的多个图像进行图案匹配。由此，处理系统10b能够对图像内的对象物的相对位置、相对姿态等进行计测。
150.如以往已知的那样，通过将物理的标记安装于对象物或涂布蓄光物质这样的人为的方法，难以将标记赋予成随机图案状。关于这一点，在处理系统10b中，能够按照射光的图案放出放出光，因此能够容易地赋予随机图案状的标记。通过使用随机图案状的标记进行
图案匹配，例如与使用具有规定的规则的图案状的标记的结构相比，能够以高精度进行图案匹配。此外，并不是将照射光的图案限定为随机图案的意图，照射光也可以具有其它各种图案。
151.图18是表示本实施方式的第三变形例所涉及的处理系统的构成例的图。
152.如图18所示，处理系统10c与处理系统10相比，还具备镜14、15。此外，在图18中，省略了控制装置13的图示。
153.镜14是将从对象物100放出的放出光向拍摄装置12引导的光路控制部的一个具体例。镜15是将从照射装置11照射的照射光引导到对象物100的任意的区域的光路控制部的一个具体例。
154.镜14、15例如可以是固定的镜，也可以是由控制装置13控制动作的1轴或2轴等的电流镜。在图18中，作为一例，示出了镜14是固定的镜，镜15是电流镜的例子。在处理系统10c中，通过使用电流镜作为镜15，与使照射装置11自身移动的情况相比，能够高速地控制照射光的照射方向。因此，即使在对象物100相对于照射装置11相对地移动的情况下，也容易向对象物100的特定的区域持续照射照射光。另外，例如即使在对象物的尺寸小的情况下或在对象物的表面存在照射的限制的情况下，也容易对对象物赋予标记。
155.在使用处理系统10c，例如照射装置11以比放出光的发光持续时间短的间隔间歇地照射照射光的情况下，也可以在与上次的照射对应的放出光消失之前，以与该放出光重叠的方式照射新的照射光。具体而言，控制装置13中的跟踪部132计算从对象物100放出的放出光的相对位置以及相对速度，基于计算出的放出光的相对位置及相对速度来计算应照射下一照射光的位置。控制装置13以使向计算出的位置照射照射光的方式控制镜15。由此，在与上次的照射对应的放出光上重叠新的放出光，能够从对象物的规定的区域放出时间上不中断的放出光。换言之，能够使标记持续比放出光的发光持续时间长。
156.此外，在应照射下次的照射光的位置的计算中，在由于基于拍摄装置12的拍摄工序、基于控制装置13的图像处理工序、基于镜15的控制工序以及照射光的照射工序等各工序中的延迟而照射位置从上次的照射位置偏移的情况下，控制装置13也可以考虑这些延迟而计算应照射的位置。
157.镜14、15也可以不必具备这双方，也可以具备任一方。另外，任一方的镜也可以兼具基于照射装置11的照射光的光路的控制和基于拍摄装置12的拍摄的光路的控制。
158.以上，对本实施方式所涉及的处理系统10、10a～10c进行了说明，但上述的实施方式以及各变形例是本发明的一个具体例，并不限于此。例如，在上述的实施方式以及各变形例中，示出了利用蓄光现象而从对象物放出荧光或磷光的例子，但不限于从对象物放出的放出光为荧光以及磷光，例如也可以是通过热激发产生的红外线。在该情况下，拍摄装置也可以是能够拍摄红外线的热成像仪。通过该方式，也不依赖于对象物的外观、形状，通过对象物上的温度上升现象放出放出光，因此与上述的实施方式同样地，能够对对象物的外观、形状可靠地赋予标记。
159.以上说明的实施方式是用于容易理解本发明的实施方式，并不是用于限定解释本发明的实施方式。实施方式所具备的各要素及其配置、材料、条件、形状及尺寸等并不限定于例示的内容，能够适当变更。另外，可以对不同实施方式所示的结构之间进行部分置换或组合。
160.附图标记说明
161.10、10a～10c
…
处理系统；11
…
照射装置；12
…
拍摄装置；13、13a、13b
…
控制装置；14、15
…
镜；20
…
cpu；21
…
ram；22
…
rom；23
…
通信部；24
…
输入部；25
…
显示部；100
…
对象物；110
…
照射部；120
…
拍摄部；130
…
设定部；131
…
检测部；132
…
跟踪部；133
…
调制部；134
…
匹配部；200
…
放出光。