显示方法、检测装置以及记录介质与流程

1.本发明涉及显示方法、检测装置以及程序。


背景技术：

2.以往，为了校正投影仪的投射图像，已知有利用照相机拍摄投影仪投射的校正用图像的方法。在专利文献1中，公开了如下结构：通过投影仪投射包含位置检测用的标记图像的校正用图像，并通过检测装置拍摄校正用图像。
3.专利文献1：日本特开2019-168640号公报
4.专利文献1的结构对检测装置的拍摄图像进行包含2值化以及轮廓提取处理在内的图像处理，从而检测标记。在该结构中，为了高精度地检测标记，需要在拍摄图像中清晰地拍摄标记。然而，进行拍摄的用户不容易进行适合于标记检测的拍摄。


技术实现要素：

5.本公开的显示方法是具有显示部和拍摄部的检测装置的显示方法，其包含：取得由所述拍摄部对配置有多个标记的对象区域进行拍摄而得到的第1图像；在所述显示部上显示所述第1图像；以及使第2图像与所述第1图像重叠地显示于所述显示部，所述第2图像包含与配置于所述对象区域的所述标记的数量或多个所述标记的位置关系对应的引导。
6.本公开的检测装置具有：显示部；拍摄部；图像取得部，其取得由所述拍摄部对配置有多个标记的对象区域进行拍摄而得到的第1图像；以及控制部，其使第2图像与所述第1图像重叠地显示于所述显示部，所述第2图像包含与配置于所述对象区域的所述标记的数量或多个所述标记的位置关系对应的引导。
7.本公开的程序是由对具有显示部和拍摄部的检测装置进行控制的计算机执行的程序，其使所述计算机作为以下部分发挥功能：图像取得部，其取得由所述拍摄部对配置有多个标记的对象区域进行拍摄而得到的第1图像；以及控制部，其使第2图像与所述第1图像重叠地显示于所述显示部，所述第2图像包含与配置于所述对象区域的所述标记的数量或多个所述标记的位置关系对应的引导。
附图说明
8.图1是表示第1实施方式的图像显示系统的结构例的图。
9.图2是表示引导图像的显示例的图。
10.图3是表示引导图像的另一显示例的图。
11.图4是表示第1实施方式中的图像显示系统的动作的流程图。
12.图5是表示第1实施方式中的图像显示系统的动作的时序图。
13.图6是表示第2实施方式的图像显示系统的结构例的图。
14.图7是表示第2实施方式中的图像显示系统的动作的时序图。
15.图8是表示第3实施方式的图像显示系统的结构例的图。
16.图9是表示第3实施方式中的图像显示系统的动作的流程图。
17.图10是表示第4实施方式的图像显示系统的结构例的图。
18.图11是表示第4实施方式中的图像显示系统的动作的流程图。
19.标号说明
20.1：检测装置；2：投影仪(显示装置)；3：网络；4：图像供给装置；5：图像显示系统；10：处理装置；11：输入受理部；12：图像取得部；13：显示控制部(控制部)；14：提取部；15：校正部；16：测量部；20：第1存储装置；21：控制装置；22：第2存储装置；23：第2通信装置；24：投射部；30：触摸面板(显示部)；40：拍摄装置(拍摄部)；50：第1通信装置；g：引导图像(第2图像)；gd：引导图像数据；ggd：引导生成用数据；m、m1、m2、m3、m4、m11、m12、m13、m14：标记；nd：通知数据；p：投射图像(第3图像)；pd：图案图像数据；pg：程序；pgd：图案生成用数据；sc：被投射物(对象区域)。
具体实施方式
21.以下，参照附图说明本公开的实施方式。在以下所述的实施方式中附加了在技术上优选的各种限定。但是，本公开的实施方式不限于以下所述的方式。
22.[1.第1实施方式]
[0023]
[1-1.投射系统的结构]
[0024]
图1是表示本公开第1实施方式的图像显示系统5的结构例的框图。
[0025]
图像显示系统5包含检测装置1、投影仪2以及图像供给装置4。投影仪2以及图像供给装置4与网络3连接。作为网络3的具体例，可举出有线lan(local area network：局域网)、无线lan、bluetooth等。bluetooth是注册商标。投影仪2和图像供给装置4通过网络3以能够相互通信的方式连接。图像供给装置4向投影仪2供给图像数据。
[0026]
投影仪2根据从图像供给装置4或检测装置1供给的图像数据将图像光l投射到被投射物sc上，使投射图像p在被投射物sc上成像。投影仪2是显示装置的一例，投影仪2投射图像光l相当于显示。
[0027]
被投射物sc存在于与投影仪2对置的位置，是被投射图像光l的物体。被投射物sc只要是位于投射图像光l的位置且使投射图像p成像的物体，则没有特别限制。被投射物sc可以是由平板或幕构成的屏幕，也可以是建筑物的壁面。在被投射物sc中投射图像光l的表面不限于平坦的面，可以是曲面，也可以是具有凹凸的面。另外，在被投射物sc中投射图像光l的面也可以包含不连续的多个面。被投射物sc的表面是本公开中的对象区域的一例。
[0028]
检测装置1具有拍摄被投射物sc并显示拍摄图像的功能。检测装置1的具体方式没有限制。检测装置1例如也可以是智能手机、平板型计算机、笔记本型计算机。检测装置1也可以是数码照相机。
[0029]
[1-2.检测装置的结构]
[0030]
检测装置1具有处理装置10、第1存储装置20、触摸面板30、拍摄装置40以及第1通信装置50。
[0031]
处理装置10例如构成为包含cpu(central processing unit：中央处理单元)等处理器。处理装置10可以由单一的处理器构成，也可以由多个处理器构成。
[0032]
处理装置10从第1存储装置20读出程序pg并执行，控制检测装置1的各部分。处理
装置10执行程序pg，由此通过软件与硬件的协作，构成输入受理部11、图像取得部12、显示控制部13、提取部14、校正部15以及测量部16。
[0033]
第1存储装置20以能够由处理装置10读取的方式存储程序、数据。第1存储装置20具有非易失性地存储程序、数据的非易失性存储器。第1存储装置20的非易失性存储器例如由rom(read only memory：只读存储器)、eprom(erasable programmable read only memory：可擦可编程只读存储器)、或者eeprom(electrically erasable programmable read only memory：电可擦可编程只读存储器)、闪存构成。第1存储装置20也可以具有临时存储程序、数据的易失性存储器。易失性存储器例如是ram(radom access memory：随机存取存储器)。
[0034]
第1存储装置20存储由处理装置10执行的程序pg。第1存储装置20的易失性存储器作为执行程序pg时的工作区域被处理装置10利用。程序pg被称为应用程序、应用软件或应用。
[0035]
在第1实施方式中，第1存储装置20存储引导图像数据gd以及图案图像数据pd。关于这些，将在后面详细叙述。
[0036]
检测装置1例如也可以通过第1通信装置50从未图示的服务器等取得程序pg、引导图像数据gd、图案图像数据pd，并存储于第1存储装置20。另外，检测装置1也可以将程序pg、引导图像数据gd、图案图像数据pd预先存储于第1存储装置20。
[0037]
触摸面板30具有按照处理装置10的控制来显示各种图像、字符的未图示的显示面板。在触摸面板30的显示面板上具有检测用户的手指等的触摸操作的未图示的触摸传感器。触摸传感器由静电电容式传感器、压敏式传感器等构成。触摸传感器与显示面板重叠配置。触摸面板30作为通过触摸操作检测输入的输入部、以及在显示面板上进行显示的显示部发挥功能。
[0038]
拍摄装置40是具有由透镜组等构成的光学系统和拍摄元件的数码照相机。拍摄装置40按照处理装置10的控制来执行拍摄，将基于从拍摄元件读出的信号而生成的拍摄图像的数据输出到处理装置10。拍摄装置40对应于拍摄部的一例。
[0039]
第1通信装置50是进行基于无线lan、bluetooth等的无线数据通信的无线通信模块、或者通过线缆执行有线数据通信的有线通信模块。无线通信模块例如具有天线、rf电路、基带电路等。有线通信模块具有连接线缆的连接器、以及对经由连接器收发的信号进行处理的接口电路。
[0040]
第1通信装置50按照处理装置10的控制，与投影仪2执行通信。
[0041]
处理装置10所具有的输入受理部11通过检测对触摸面板30的操作来受理用户的输入。
[0042]
图像取得部12从拍摄装置40取得拍摄图像。图像取得部12在拍摄装置40接通的期间，每隔规定时间取得拍摄装置40的拍摄图像。图像取得部12在用户未进行指示拍摄的操作即所谓的快门操作的期间，也每隔规定时间从拍摄装置40取得拍摄图像。以下将该拍摄图像称为照相机图像。照相机图像对应于第1图像的一例。
[0043]
图像取得部12在通过输入受理部11受理了快门操作的情况下，从拍摄装置40取得拍摄图像。以下，将图像取得部12以快门操作为契机而取得的拍摄图像称为快门图像。
[0044]
显示控制部13按照处理装置10的控制，使触摸面板30的显示面板显示图像。另外，
显示控制部13通过第1通信装置50向投影仪2发送图像数据。显示控制部13对应于控制部的一例。
[0045]
提取部14进行处理，从由拍摄装置40对配置有标记m的被投射物sc进行拍摄而得到的拍摄图像中提取标记m。
[0046]
校正部15和测量部16根据通过拍摄装置40对配置有标记m的被投射物sc进行拍摄而得到的拍摄图像，执行校正处理和测量处理。
[0047]
关于提取部14、校正部15以及测量部16的功能，在后面详细叙述。
[0048]
[1-3.投影仪的结构]
[0049]
投影仪2具有控制装置21、第2存储装置22、第2通信装置23以及投射部24。控制装置21具有cpu等处理器，执行程序。控制装置21通过执行第2存储装置22所存储的未图示的基本控制程序来控制投影仪2的各部分。
[0050]
第2存储装置22具有由rom、eprom、eeprom、闪存等构成的非易失性存储器，在该非易失性存储器中存储程序和数据。第2存储装置22也可以具有ram等易失性存储器，临时存储程序、数据。
[0051]
第2通信装置23是进行基于无线lan、bluetooth等的无线数据通信的无线通信模块、或者通过线缆执行有线数据通信的有线通信模块。无线通信模块例如具有天线、rf电路、基带电路等。有线通信模块具有连接线缆的连接器、以及对经由连接器收发的信号进行处理的接口电路。第2通信装置23与检测装置1所具有的第1通信装置50之间执行通信。
[0052]
投射部24具有：光源；光调制装置，其对光源发出的光进行调制而生成图像光l；以及光学系统，其投射图像光l。光源例如是灯或固体光源。固体光源是led(light emitting diode：发光二极管)、激光光源等。光调制装置具有使用透射型液晶面板对光进行调制的结构、使用反射型液晶面板对光进行调制的结构、或者使用数字微镜器件对光进行调制的结构。投射部24按照控制装置21的控制，将图像光l投射到被投射物sc上。即，控制装置21通过控制投射部24来显示投射图像p。
[0053]
控制装置21通过投射部24显示基于第2存储装置22存储的图像数据的投射图像p。另外，控制装置21将通过第2通信装置23从检测装置1接收到的图像数据存储在第2存储装置22中，显示基于该图像数据的投射图像p。
[0054]
[1-4.与标记相关的处理]
[0055]
如图1所示，在被投射物sc上配置有多个标记m。在图1中示出4个标记m1、m2、m3、m4被配置于被投射物sc的例子。在不区分标记m1、m2、m3、m4的情况下，将它们总称为标记m。
[0056]
配置标记m是指标记m以能够被检测装置1拍摄的状态出现在被投射物sc的表面。标记m的具体结构没有限定。标记m也可以包含在投射图像p中。另外，标记m也可以是贴附于被投射物sc的表面等来设置的物体。标记m也可以描绘于被投射物sc的表面。标记m也可以是通过与投影仪2不同的投射装置投射到被投射物sc上的投射图像。对标记m进行配置包含上述所有情况。
[0057]
在第1实施方式以及后述的第2实施方式中，标记m包含于投影仪2的投射图像p。在后述的第3实施方式和第4实施方式中，标记m是设置于被投射物sc的物体。
[0058]
图像显示系统5通过检测装置1拍摄配置有多个标记m的对象区域，通过检测装置1检测拍摄图像中的标记m，并通过检测装置1确定拍摄图像中的标记m的坐标。并且，检测装
置1根据标记m的坐标，检测被投射物sc的立体形状。图像显示系统5根据检测装置1的检测结果，以与被投射物sc的形状对应的方式使投影仪2的投射图像变形。由此，能够以贴合被投射物sc的方式投射出投射图像p。
[0059]
用户操作检测装置1，以在拍摄装置40的拍摄范围、即视场角包含多个标记m的方式进行拍摄。在拍摄装置40拍摄到的拍摄图像中包含多个标记m的图像。
[0060]
在本实施方式中，投影仪2依次投射多个测量图案。检测装置1对投影仪2投射到被投射物sc的测量图案分别进行拍摄。
[0061]
测量图案是通过空间编码法或相移法生成的结构化图案。在本实施方式中，作为测量图案的一例而示出二进制代码图案。二进制代码图案是指用于使用二进制代码来表现坐标的图像。所谓二进制代码，是以2进制数表现任意数值时通过开关的开/关来表现各位的值的技术。在使用二进制代码图案作为测量图案的情况下，由投影仪2投射的图像相当于上述开关，需要表示坐标值的2进制数的位数的图像。
[0062]
坐标例如是拍摄图像中的沿着在水平方向上延伸的x轴的x坐标、以及沿着与x轴垂直的y轴的y坐标。测量图案在x坐标和y坐标中分别需要单独的图像。例如，在投影仪2的分辨率为120
×
90像素的情况下，120以及90分别由7位的2进制数表现，因此为了表现x坐标，需要7张图像，为了表现y坐标，需要7张图像。
[0063]
在利用二进制代码图案的情况下，为了抑制干扰光的影响，提高测量的鲁棒性，能够并用互补图案。互补图案是指将黑白反转后的图像。例如，将以白色表示1、用黑色表示0的二进制代码图案称为正图案，将使其反转后的互补图案称为负图案。作为测量图案的一例，在分辨率信息所示的分辨率为120
×
90像素的情况下，由投影仪2投射包含14张正图案以及14张负图案的28张测量图案。
[0064]
测量图案所包含的标记m也可以是点图案、矩形图案、多边形图案、棋盘图案、格雷码图案、相移图案、或者随机点图案等。
[0065]
标记m是为了测量图案中的位置对准而配置的。例如，如图1所示，在测量图案的4个角配置作为位置对准用的特征点的提取源的标记m。在本实施方式中，示出检测装置1从1个标记m提取1个特征点的例子。检测装置1也可以从1个标记中提取多个特征点。另外，在本实施方式中，在1个测量图案中配置有4个标记m，但配置于1个测量图案的标记m只要是2个以上即可，可以是3个，也可以是5个以上。只要在测量图案中配置有至少2个标记m，就能够进行图像的放大、缩小以及平行移动。另外，如果在测量图案中配置有3个标记m，则能够进行仿射变换，如果在测量图案中配置有4个以上的标记m，则能够进行投影变换，能够进行测量图案彼此的位置对准。
[0066]
另外，在本实施方式中，如图1所示使用四边形的标记m，但标记m的形状也可以是圆形或三角形等任意的形状。另外，在本实施方式中，标记m配置于测量图案的4个角，但也可以配置于测量图案的外侧。对于在测量图案中配置有标记m的部分，无法进行测量图案的读取，无法进行投射位置的测量。因此，为了不对测量产生影响，标记m优选配置在测量图案的外周附近或测量图案的外侧。作为更优选的一例，在本实施方式中示出在测量图案的4个角配置有标记m的例子。在被投射物sc上配置有4个标记m的情况下，检测装置1的用户调整检测装置1的位置和方向，以拍摄全部4个标记m。
[0067]
检测装置1通过图像取得部12取得拍摄装置40的拍摄图像。图像取得部12在将多
个测量图案配置于被投射物sc的期间，取得拍摄装置40对各个测量图案进行拍摄而得到的拍摄图像。提取部14、校正部15以及测量部16利用图像取得部12所取得的多个拍摄图像来执行处理。
[0068]
提取部14执行提取处理。在提取处理中，提取部14将多个拍摄图像中的1个作为基准图像，从基准图像的标记中提取作为基准图像与其他拍摄图像的位置对准时的基准的基准特征点。提取部14将多个拍摄图像中的基准图像以外的拍摄图像分别设为处理对象图像。提取部14从处理对象图像所包含的标记m的图像中提取与基准特征点对应的特征点。在本实施方式中，在1个测量图案中包含4个标记。提取部14从1个标记中提取1个特征点，因此从1个拍摄图像中提取4个特征点。
[0069]
关于从多个拍摄图像中选择基准图像的方法，可以考虑各种方式。例如，可以使用基于拍摄顺序来选择基准图像的方法。具体而言，将多个拍摄图像中的最初拍摄到的图像或最后拍摄到的图像设为基准图像。
[0070]
另外，提取部14也可以从拍摄图像中提取4个角的特征点，计算特征点的位置的平均值或中央值等统计量，将在与计算出的统计量最接近的位置存在特征点的图像作为基准图像。另外，提取部14也可以将多个拍摄图像提示给用户，使用户选择基准图像。
[0071]
校正部15执行校正处理。在校正处理中，校正部15将处理对象图像变形为从处理对象图像提取出的4个特征点各自的位置与从基准图像提取出的4个基准特征点各自的位置一致。校正部15在校正处理中，对多个处理对象图像分别进行使其变形的处理。在此，特征点的位置与基准特征点的位置一致是指两者的坐标完全一致、或者两者的坐标差异收敛于预先确定的误差范围。作为处理对象图像的变形的具体方法，可举出放大、缩小、平行移动或仿射变换等。
[0072]
例如，在通过拍摄装置40拍摄3个拍摄图像作为被投射物sc的拍摄图像的情况下，提取部14从作为2个处理对象图像中的一方的第1拍摄图像中，提取与从基准图像中提取的基准特征点对应的第1特征点。另外，提取部14从2个处理对象图像中的另一方、即与第1拍摄图像不同的第2拍摄图像中，提取与基准特征点对应的第2特征点。然后，校正部15以基准特征点的位置与第1特征点的位置一致的方式对第1拍摄图像进行变形，以基准特征点的位置与第2特征点的位置一致的方式对第2拍摄图像进行变形。
[0073]
测量部16进行测量处理。在测量处理中，测量部16根据由校正部15变形后的多个处理对象图像和基准图像中的至少2个来测量投射位置。在如本实施方式那样使用二进制代码图案作为测量图案的情况下，测量部16也可以使用由校正部15变形后的全部处理对象图像和基准图像来测量投射位置。在基准图像为正图案的拍摄图像的情况下，测量部16也可以仅使用正图案的处理对象图像来测量投射位置。同样地，在基准图像为负图案的拍摄图像的情况下，测量部16也可以仅使用负图案的处理对象图像来测量投射位置。
[0074]
在本实施方式中，为了通过投影仪2显示测量图案，检测装置1将图案图像数据pd存储于第1存储装置20。检测装置1的显示控制部13向投影仪2发送图案图像数据pd。通过投影仪2根据图案图像数据pd投射图像光l，由此在被投射物sc上出现测量图案的投射图像p。包含多个标记m的测量图案的投射图像p对应于第3图像的一例。
[0075]
图案图像数据pd优选为与投影仪2的投射部24所显示的图像的显示分辨率对应的数据。因此，显示控制部13也可以通过第1通信装置50与投影仪2执行通信，接收表示投射部
24的分辨率的分辨率信息。在该情况下，显示控制部13从第1存储装置20所存储的多个图案图像数据pd中选择与从投影仪2接收到的分辨率信息对应的图案图像数据pd，并发送到投影仪2。
[0076]
检测装置1为了辅助用户对配置于被投射物sc的标记m进行拍摄的操作，在拍摄时使触摸面板30显示引导图像。该处理由显示控制部13执行。
[0077]
图2是表示引导图像的显示例的图。
[0078]
如图2所示，在检测装置1的主体上配置有触摸面板30。检测装置1在检测装置1的拍摄装置40接通的期间，从拍摄装置40取得照相机图像，并显示于触摸面板30。在图2所示的例子中，包含4个标记m1、m2、m3、m4的照相机图像显示于触摸面板30。
[0079]
显示控制部13使触摸面板30显示图像取得部12所取得的照相机图像的整体。为了执行校正部15的校正处理以及测量部16的测量处理，优选检测装置1拍摄测量图案所包含的多个标记m。
[0080]
显示控制部13在触摸面板30上与拍摄装置40的照相机图像重叠地显示引导图像g。引导图像g是表示在照相机图像中应配置标记m的位置的图像。引导图像g是与配置于被投射物sc的标记m的数量以及多个标记m的位置关系中的至少任意一个对应的图像。引导图像g对应于第2图像的一例。
[0081]
在本实施方式中，在被投射物sc上配置4个标记m。4个标记m在水平方向以及垂直方向上各排列配置2个。详细而言，标记m1和标记m2在水平方向上排列，标记m3和标记m4在水平方向上排列。另外，标记m1和标记m3在垂直方向上排列，标记m2和标记m4在垂直方向上排列。4个标记m1、m2、m3、m4以形成矩形的顶点的方式配置。引导图像g与这4个标记m1、m2、m3、m4的位置关系对应。
[0082]
图2所示的引导图像g是将检测装置1的照相机图像划分为4个区域的图像。在本实施方式中，示出引导图像g由线段构成的例子。由引导图像g划分的区域中的1个与第1图像区域的一例对应，由引导图像g划分的区域中的另1个与第2图像区域的一例对应。第1图像区域与配置于被投射物sc的多个标记m中的任意一个对应。另外，第2图像区域与不同于第1图像区域所对应的标记m的任意一个标记m对应。由将照相机图像划分为4个区域的线段构成的引导图像g对应于表示多个图像区域的边界的图像的一例。
[0083]
显示控制部13基于第1存储装置20存储的引导图像数据gd，显示引导图像g。引导图像数据gd是用于显示与图像取得部12取得的照相机图像的分辨率以及形状对应的引导图像g的数据。引导图像数据gd可以是引导图像g的图像数据，也可以是包含用于通过运算处理等生成引导图像g的参数、运算式、程序等的数据。
[0084]
图3是表示引导图像g的另一显示例的图。
[0085]
图3所示的引导图像g包含多个矩形。引导图像g包含与配置于被投射物sc的标记m相同数量的矩形。引导图像g所包含的多个矩形的位置关系与配置于被投射物sc的多个标记m的位置关系对应。包含多个矩形的引导图像g对应于表示多个图像区域的边界的图像的一例。
[0086]
由线段构成的引导图像g能够称为引导图像g的第1形态，由矩形构成的引导图像g能够称为引导图像g的第2形态。检测装置1执行显示第1形态的引导图像g的第1模式以及显示第2形态的引导图像g的第2模式中的任意一个。另外，检测装置1也可以是能够切换执行
第1模式和第2模式的结构。在该情况下，检测装置1在第1存储装置20中存储用于显示第1形态的引导图像g的引导图像数据gd、以及用于显示第2形态的引导图像g的引导图像数据gd。另外，检测装置1也可以显示与第1形态以及第2形态不同的形态的引导图像g。例如，也可以显示用圆来表示标记m应处的区域的第3形态的引导图像g。
[0087]
引导图像g引导用户以在由引导图像g划分的各区域中包含1个标记m的方式进行拍摄。用户按照引导图像g调整检测装置1的位置、方向，由此能够得到4个标记m位于四角的图像。即，用户以标记m收敛于由引导图像g划分的区域的方式进行拍摄。提取部14以在由引导图像g划分的各区域中包含1个标记m为前提，从拍摄装置40的拍摄图像中检测标记m。具体而言，提取部14从拍摄图像中提取由引导图像g划分的1个区域，基于提取出的区域所包含的像素的值，检测标记m的位置。通过对由引导图像g划分的多个区域执行该处理，提取部14从第1图像区域检测1个标记m，从第2图像区域检测1个标记m。该处理与从拍摄图像的整体检测多个标记m的处理相比，作为对象的像素数少，因此是负荷轻的处理。因此，提取部14能够高速且高精度地检测标记m。
[0088]
标记m的位置关系是指配置于被投射物sc的多个标记m中的任意2个或其以上的标记m的相对位置关系。在被投射物sc的形状未知的情况下，无法准确地确定标记m的位置关系，因此也可以是投射图像p被投射到被投射物sc的情况下估计的标记m的位置关系。
[0089]
或者，标记m的位置关系是指投射部24基于图案图像数据pd形成的图像中的多个标记m的位置关系。投射部24的光调制装置基于图案图像数据pd，形成包含多个标记m的图像，使用所形成的图像生成图像光l。在该情况下，标记m的位置关系是指投射部24基于图案图像数据pd形成的图像所包含的多个标记m中的任意2个或2个以上的标记m的相对位置关系。在图案图像数据pd是测量图案的图像数据本身的情况下，标记m的位置关系也可以是图案图像数据pd中的标记m的位置关系。
[0090]
[1-5.投射系统的动作]
[0091]
图4是表示图像显示系统5的动作的流程图。在图4以及以下说明的图5所示的动作中，检测装置1按照程序pg进行动作。
[0092]
图像显示系统5通过检测装置1和投影仪2执行拍摄处理(步骤s1)。在拍摄处理中，投影仪2显示包含标记m的测量图案的投射图像p，检测装置1拍摄被投射物sc。
[0093]
检测装置1执行提取处理(步骤s2)。在提取处理中，处理装置10作为提取部14发挥功能。提取部14从由拍摄装置40拍摄到的多个快门图像中选择出的基准图像中提取基准特征点，从基准图像以外的快门图像即处理对象图像中提取与基准特征点对应的特征点。
[0094]
检测装置1执行校正处理(步骤s3)。在校正处理中，处理装置10作为校正部15发挥功能。校正部15对处理对象图像进行变形，使得从处理对象图像提取出的特征点的位置与基准特征点的位置一致。
[0095]
检测装置1执行测量处理(步骤s4)。在测量处理中，处理装置10作为测量部16发挥功能。测量部16根据在校正处理中变形后的处理对象图像和基准图像中的至少2个图像来测量投射位置。
[0096]
图5是表示图像显示系统5的动作的时序图。详细而言，图5示出图4的拍摄处理和提取处理中的检测装置1和投影仪2的动作。
[0097]
检测装置1选择第1存储装置20所存储的图案图像数据pd中的、由投影仪2显示的
图案图像数据pd(步骤s11)。在步骤s11中，处理装置10作为显示控制部13发挥功能。显示控制部13从图案图像数据pd中选择与投影仪2的分辨率对应的图案图像数据pd。在步骤s11中，显示控制部13也可以选择与所指定的条件对应的图案图像数据pd。例如，显示控制部13也可以选择用于显示测量图案的图案图像数据pd，该测量图案包含通过对触摸面板30的输入操作而指定的数量的标记m。
[0098]
显示控制部13选择第1存储装置20所存储的引导图像数据gd中的、与在步骤s11中选择出的图案图像数据pd对应的引导图像数据gd(步骤s12)。详细而言，显示控制部13根据在步骤s11中选择出的图案图像数据pd所包含的标记m的数量、以及图案图像数据pd，选择与显示在被投射物sc上的标记m的位置关系对应的引导图像g。
[0099]
显示控制部13通过第1通信装置50将在步骤s11中选择出的图案图像数据pd发送到投影仪2(步骤s13)。
[0100]
投影仪2通过第2通信装置23接收检测装置1发送的图案图像数据pd(步骤s31)。投影仪2的控制装置21根据接收到的图案图像数据pd控制投射部24，将与投射图像p相应的图像光l投射到被投射物sc上(步骤s32)。
[0101]
处理装置10作为图像取得部12发挥功能，接通拍摄装置40，从拍摄装置40取得照相机图像(步骤s14)。图像取得部12取得的照相机图像是在拍摄装置40接通、用户未进行快门操作的期间拍摄装置40输出的拍摄图像。
[0102]
显示控制部13将图像取得部12所取得的照相机图像显示于触摸面板30(步骤s15)。显示控制部13使基于在步骤s12中选择出的引导图像数据gd的引导图像g与照相机图像重叠地显示于触摸面板30(步骤s16)。
[0103]
在此，处理装置10判定用户是否进行了快门操作(步骤s17)。快门操作是用户触摸触摸面板30的操作、或检测装置1所具有的未图示的按钮的操作。
[0104]
在未进行快门操作的情况下(步骤s17；否)，处理装置10返回到步骤s14。
[0105]
在进行了快门操作的情况下(步骤s17；是)，处理装置10通过图像取得部12的功能，从拍摄装置40取得快门图像(步骤s18)。快门图像是在进行了快门操作的时刻由拍摄装置40生成的拍摄图像。快门图像也可以是在与照相机图像相同的拍摄条件下拍摄的相同分辨率的图像。另外，拍摄装置40也可以在进行了快门操作时，以与输出照相机图像时不同的拍摄条件进行拍摄。另外，快门图像也可以是分辨率与照相机图像不同的图像。这里，拍摄条件是指曝光、白平衡、有无手抖校正功能、是彩色摄影还是黑白摄影等。
[0106]
提取部14取得在步骤s18中取得的快门图像中的引导图像g的位置(步骤s19)。在步骤s19中，提取部14例如基于在步骤s12中选择的引导图像数据gd，确定快门图像中的引导图像g的位置，由此取得引导图像g的位置。引导图像g的位置例如是快门图像中的引导图像g的坐标。详细而言，是构成引导图像g的线段、矩形等图形、或者由引导图像g划分的区域的顶点的坐标。
[0107]
提取部14以在步骤s19中取得的引导图像g的位置为基准，进行剪切快门图像的处理(步骤s20)。在步骤s20中，提取部14剪切出包含与1个标记m对应的第1图像区域、和与另1个标记m对应的第2图像区域在内的多个区域。
[0108]
提取部14在从快门图像剪切出的各区域的图像中检测标记m的图像(步骤s21)。提取部14取得第1图像区域中包含的像素的像素值。提取部14通过对第1图像区域的像素值的
平均值与各像素的像素值进行比较的处理、对相邻的像素的像素值进行比较的处理等，来确定构成标记m的图像的像素。提取部14从标记m的图像中提取特征点，求出特征点的坐标。
[0109]
然后，提取部14使求出的特征点的坐标偏移相当于与提取出了特征点的区域对应的引导图像g的坐标的量(步骤s22)。偏移是指使特征点的坐标平行移动引导图像g的坐标量的处理。提取部14针对按照引导图像g剪切出的全部区域，按照每个区域执行步骤s21～s22的处理。
[0110]
[1-6.第1实施方式的作用]
[0111]
本公开的显示方法是基于具有触摸面板30和拍摄装置40的检测装置1的显示方法。本发明的显示方法包含：取得由拍摄装置40对配置有多个标记m的被投射物sc进行拍摄而得到的照相机图像；在触摸面板30上显示照相机图像；以及使引导图像g与照相机图像重叠地显示于触摸面板30，该引导图像g包含与配置于被投射物sc的标记m的数量或者多个标记m的位置关系对应的引导。
[0112]
本发明的检测装置1具有：触摸面板30；拍摄装置40；图像取得部12，其取得通过拍摄装置40对配置有多个标记m的被投射物sc进行拍摄而得到的照相机图像；以及显示控制部13，其使引导图像g与照相机图像重叠地显示于触摸面板，该引导图像g包含与配置于被投射物sc的标记m的数量或者多个标记m的位置关系对应的引导。
[0113]
本公开的程序pg是由对具有触摸面板30和拍摄装置40的检测装置1进行控制的计算机即处理装置10执行的程序。程序pg使处理装置10作为如下部分发挥功能：图像取得部12，其取得通过拍摄装置40对配置有多个标记m的被投射物sc进行拍摄而得到的照相机图像；以及显示控制部13，其使引导图像g与照相机图像重叠地显示于触摸面板30，该引导图像g包含与配置于被投射物sc的标记m的数量或多个标记m的位置关系对应的引导。
[0114]
由此，操作检测装置1的用户在拍摄配置于被投射物sc的标记m时，能够以引导图像g为基准进行拍摄。因此，能够容易地拍摄适合于被投射物sc的测量的图像。
[0115]
本公开的显示方法通过投影仪2将包含多个标记m的投射图像p显示于对象区域。由此，能够通过投影仪2的功能在被投射物sc上迅速地配置多个标记m。
[0116]
在第1实施方式中说明的显示方法包含：将检测装置1预先存储的图案图像数据pd从检测装置1发送到投影仪2。投影仪2根据从检测装置1发送的图案图像数据pd显示投射图像p。检测装置1基于检测装置1预先存储的引导图像数据gd来显示引导图像g。
[0117]
由此，投影仪2仅通过执行基于从检测装置1接收到的数据来投射出投射图像p的功能，就能够显示包含标记m的测量图案。因此，无需在投影仪2中安装用于显示测量图案的特定功能，就能够实现本公开的显示方法。
[0118]
本发明的显示方法通过检测装置1执行与照相机图像重叠地显示第1形态的引导图像g的第1模式、以及显示与第1形态不同的第2形态的引导图像g的第2模式中的任意模式。
[0119]
由此，能够显示适合于被投射物sc的测量的形态的引导图像g。因此，能够进一步提高用户使用检测装置1拍摄标记m的情况下的便利性。
[0120]
在本公开的显示方法中，配置于被投射物sc的多个标记m包含第1标记和第2标记。照相机图像包含多个图像区域，这多个图像区域包含第1图像区域以及第2图像区域。引导图像g是表示多个图像区域的边界的图像。例如，引导图像g是线段。第1图像区域与配置于
被投射物sc的第1标记对应，第2图像区域与第2标记对应。由此，能够使用户拍摄适合于从快门图像检测标记m的处理的拍摄图像。
[0121]
在第1实施方式中说明的显示方法中，引导图像g是将照相机图像分割为多个图像区域的线段。由此，用户能够更简单地进行调整检测装置1的位置、方向以使标记m成为与引导图像g匹配的位置的操作。
[0122]
本发明的显示方法包含：通过检测装置1，基于构成照相机图像的像素中的第1图像区域所包含的像素的值来检测第1标记的位置，基于第2图像区域所包含的像素的值来检测第2标记的位置。由此，减轻从快门图像检测标记m的图像的处理负荷，能够更高速地以高精度检测标记m。
[0123]
在第1实施方式中，以检测装置1存储图案图像数据pd的结构为例进行了说明，但存储图案图像数据pd的装置并不限定于检测装置1。例如，投影仪2也可以在第2存储装置22中存储图案图像数据pd。在该情况下，也可以是，显示控制部13在步骤s13中将指定图案图像数据pd的数据发送到投影仪2，控制装置21从第2存储装置22读出所指定的图案图像数据pd。
[0124]
[2.第2实施方式]
[0125]
图6是表示第2实施方式的图像显示系统5的结构例的图。
[0126]
在第2实施方式中，检测装置1在第1存储装置20中存储引导生成用数据ggd和图案生成用数据pgd。其他结构与第1实施方式相同。在以下的说明中，对与第1实施方式相同的结构部标注相同标号，并省略说明。
[0127]
在第1实施方式中，显示控制部13选择预先存储在第1存储装置20中的图案图像数据pd，并将所选择的图案图像数据pd发送到投影仪2。另外，显示控制部13从预先存储于第1存储装置20的引导图像数据gd中，选择与所选择的图案图像数据pd对应的引导图像数据gd，并显示引导图像g。
[0128]
在本第2实施方式中，显示控制部13利用存储在第1存储装置20中的图案生成用数据pgd，生成图案图像数据pd，并发送到投影仪2。另外，显示控制部13利用存储于第1存储装置20的引导生成用数据ggd，生成引导图像数据gd，使触摸面板30显示引导图像g。
[0129]
图案生成用数据pgd是用于生成图案图像数据pd的数据。例如，图案生成用数据pgd包含标记m的图像数据、以及指定投射图像p中包含的标记m的数量和位置的数据。图案生成用数据pgd也可以包含用于生成标记m的图像的参数、运算式。
[0130]
引导生成用数据ggd是用于显示引导图像g的数据，例如包含表示标记m的数量和标记m的位置关系中的至少任意一个的数据、以及表示引导图像g的形状的数据。
[0131]
第2实施方式的检测装置1也可以在第1存储装置20中预先存储图案图像数据pd和引导图像数据gd，但也可以不存储。
[0132]
图7是表示第2实施方式中的图像显示系统5的动作的时序图。在图7所示的动作中，对于与在第1实施方式中基于图5说明的动作相同的动作，标注相同的步骤编号并省略说明。
[0133]
检测装置1的处理装置10受理标记信息的输入(步骤s41)。标记信息是指定配置于被投射物sc的标记m的数量以及多个标记m的位置关系中的至少任意一个的信息。标记信息例如通过用户对触摸面板30的触摸操作来输入。
[0134]
显示控制部13利用图案生成用数据pgd来生成适合于在步骤s42中受理了输入的标记信息的图案图像数据pd(步骤s42)。显示控制部13利用引导生成用数据ggd来生成适合于在步骤s42中受理了输入的标记信息的引导图像数据gd(步骤s43)。在步骤s43中生成的引导图像数据gd被临时存储在第1存储装置20中，与第1实施方式的引导图像数据gd同样地被利用。
[0135]
步骤s43后的动作与第1实施方式相同。
[0136]
这样，第2实施方式的显示方法包含：通过检测装置1生成用于显示引导图像g的引导图像数据gd；生成用于显示投射图像p的图案图像数据pd；以及将图案图像数据pd从检测装置1发送到投影仪2。在本公开的显示方法中，投影仪2根据从检测装置1发送的图案图像数据pd来显示投射图像p。检测装置1基于检测装置1生成的引导图像数据gd来显示引导图像g。
[0137]
由此，即使未预先将多个图案图像数据pd存储在第1存储装置20中，也能够将多种投射图像p显示在被投射物sc上。因此，与图像显示系统5能够利用的标记m的数量以及标记m的位置关系相关的制约变少，因此能够以更高精度进行被投射物sc的测量。
[0138]
另外，检测装置1受理标记信息的输入，生成与所输入的标记信息对应的图案图像数据pd以及引导图像数据gd。因此，能够将适合于作为测量对象的被投射物sc的标记m配置于被投射物sc并进行拍摄。因此，能够以更高精度进行被投射物sc的测量。
[0139]
在第2实施方式中，在作为标记信息而输入的内容被预先确定的情况下，也可以省略步骤s41。例如，在事先决定了标记m的数量以及标记m的位置关系中的任意1个以上的情况下，省略步骤s41。在该情况下，在步骤s42以及步骤s43中，与预先决定的标记m的数量以及标记m的位置关系中的至少任意一个对应地，生成图案图像数据pd以及引导图像数据gd。
[0140]
[3.第3实施方式]
[0141]
图8是表示第3实施方式的图像显示系统5的结构例的图。
[0142]
如上所述，在第3实施方式中，配置于被投射物sc的标记m是贴附于被投射物sc的表面等而设置的物体、或者描绘于被投射物sc的表面的标记。以下将其称为物理标记。图8示出作为物理标记的4个标记m11、m12、m13、m14被配置于被投射物sc的例子。在标记m是物理标记的情况下，也与第1实施方式和第2实施方式同样地，配置于被投射物sc的标记m的数量为2个以上即可。
[0143]
物理标记也可以是拍摄装置40的拍摄图像中映现的、位于被投射物sc上的花纹或突起等特征性的物体。物理标记的形状可以是圆形、四边形或三角形等任意的形状，另外，标记的配置位置相对于被投射物sc可以是任意的位置。物理标记的固定方法可以采用任意的方法，也可以是粘合带、粘扣带、磁铁等。
[0144]
在第3实施方式中，检测装置1在第1存储装置20中存储引导生成用数据ggd。其他结构与第1实施方式以及第2实施方式相同。在以下的说明中，对与第1实施方式相同的结构部标注相同标号，并省略说明。
[0145]
在第3实施方式中，显示控制部13生成与设置于被投射物sc的物理标记即标记m对应的引导图像数据gd，使触摸面板30显示引导图像g。在生成引导图像数据gd的处理中，利用存储于第1存储装置20的引导生成用数据ggd。引导生成用数据ggd与第2实施方式相同。
[0146]
图9是表示第3实施方式中的图像显示系统5的动作的流程图。在图9所示的动作
中，对于与基于图5以及图7说明的动作相同的动作，标注相同的步骤编号并省略说明。
[0147]
检测装置1的处理装置10受理标记信息的输入(步骤s51)。标记信息是与设置于被投射物sc的物理标记、即标记m相关的信息。具体而言，是指定标记m的数量以及多个标记m的位置关系中的至少任意一个的信息。标记信息例如通过用户对触摸面板30的触摸操作来输入。
[0148]
显示控制部13利用引导生成用数据ggd来生成适合于在步骤s42中受理了输入的标记信息的引导图像数据gd(步骤s52)。在步骤s52中生成的引导图像数据gd被临时存储在第1存储装置20中，与第1实施方式的引导图像数据gd同样地被利用。
[0149]
在此，在针对配置于被投射物sc的物理标记预先确定了作为标记信息输入的内容的情况下，也可以省略步骤s51。例如，在事先决定标记m的数量以及标记m的位置关系，且检测装置1以如决定的那样配置标记m为前提来进行动作的情况下，省略步骤s51。
[0150]
在第3实施方式的显示方法中，标记m是设置或形成在存在于被投射物sc的实际物体上的物理标记。检测装置1使引导图像g与第1图像重叠地显示于触摸面板30，该引导图像g包含与配置于被投射物sc的标记m的数量或者多个标记m的位置关系对应的引导。
[0151]
由此，在利用物理标记进行被投射物sc的测量的情况下，用户通过引导图像g对由检测装置1拍摄标记m的操作进行辅助。因此，在利用物理标记的情况下，用户能够容易地拍摄适合于测量的快门图像。
[0152]
上述显示方法包含：通过检测装置1受理与配置于被投射物sc的物理标记的数量或多个物理标记的位置关系相关的信息的输入；以及基于所输入的信息，生成用于显示引导图像g的引导图像数据gd。检测装置1基于所生成的引导图像数据gd来显示引导图像g。由此，检测装置1能够显示与设置于被投射物sc的物理标记的数量、位置关系对应的引导图像g。因此，能够缓和与物理标记的设置相关的制约，能够更容易地进行被投射物sc的测量。
[0153]
[4.第4实施方式]
[0154]
图10是表示第4实施方式的图像显示系统5的结构例的图。
[0155]
在第4实施方式中，配置于被投射物sc的标记m是物理标记。
[0156]
另外，在第4实施方式中，检测装置1在第1存储装置20中存储引导图像数据gd以及通知数据nd。其他结构与第1、第2以及第3实施方式相同。在以下的说明中，对与第1实施方式相同的结构部标注相同标号，并省略说明。
[0157]
在第4实施方式中，显示控制部13按照存储于第1存储装置20的引导图像数据gd将引导图像g显示于触摸面板30。
[0158]
检测装置1使用户将与引导图像g对应的数量的标记m以与引导图像g对应的位置关系配置于被投射物sc。因此，检测装置1按照通知数据nd进行对用户的通知。对用户的通知例如通过显示控制部13在触摸面板30上显示图像或字符来实现。使用户将与引导图像g对应的数量的标记m以与引导图像g对应的位置关系配置于被投射物sc的处理对应于使物理标记的数量或者多个物理标记的位置关系与引导图像数据对应的处理的一例。即，该处理只要是对用户催促通知应配置于被投射物sc的物理标记m的数量或多个物理标记的位置关系的处理即可，没有限定。可以是向用户通知标记m的数量或位置关系的处理，也可以包含促使如通知那样配置标记m的处理，还可以包含对已如通知那样配置了标记m这一情况进行确认的处理。
[0159]
图11是表示第4实施方式中的图像显示系统5的动作的流程图。在图11所示的动作中，对于与基于图5、图7以及图9说明的动作相同的动作，标注相同的步骤编号并省略说明。
[0160]
处理装置10通过显示控制部13的功能，按照通知数据nd执行通知(步骤s61)。通知的内容是向用户通知应设置于被投射物sc的标记m的数量以及标记m的位置关系的内容。
[0161]
处理装置10等待至存在设置结束的输入为止(步骤s62)，在输入了设置结束的情况下(步骤s62；是)，转移到步骤s63。在步骤s63中，处理装置10选择存储于第1存储装置20的引导图像数据gd，执行步骤s14以后的动作。
[0162]
在此，在事先决定配置于被投射物sc的物理标记m的数量以及标记m的位置关系，且检测装置1以如决定的那样配置标记m为前提来进行动作的情况下，省略步骤s61、s62。
[0163]
在第4实施方式的显示方法中，标记m是设置或形成在存在于被投射物sc的实际物体上的物理标记。检测装置1基于检测装置1预先存储的引导图像数据gd来显示引导图像g。检测装置1执行使配置于被投射物sc的物理标记的数量或者多个物理标记的位置关系与引导图像数据gd对应的处理。
[0164]
由此，能够利用物理标记进行被投射物sc的测量。
[0165]
另外，检测装置1进行通知，使得物理标记的数量或者多个物理标记的位置关系成为与引导图像数据gd对应的状态。因此，能够使用户以适当的状态设置物理标记。用户能够按照检测装置1的通知，将标记m设置于适当的位置。因此，能够减轻使用物理标记的情况下的用户的负担。
[0166]
步骤s61中的通知并不限定于触摸面板30中的显示。在检测装置1具有声音输出功能的情况下，也可以通过声音进行通知。另外，也可以是，检测装置1向投影仪2发送基于通知数据nd的图像数据、声音数据，投影仪2进行通知。
[0167]
[5.其他实施方式]
[0168]
上述实施方式表示应用了本发明的一个具体例，本发明并不限定于此。
[0169]
在图像显示系统5中，也可以并用投影仪2的投射图像p所包含的标记m和作为物理标记的标记m。
[0170]
另外，在上述各实施方式中，作为显示装置的一例，例示了投影仪2。显示装置不限于投影仪2，也可以是在液晶显示面板上显示图像的液晶显示器。另外，也可以是在等离子体显示面板或有机el(electro luminescence：电致发光)面板上显示图像的显示装置。在该情况下，液晶显示面板、等离子体显示面板或有机el面板对应于显示部的一例。
[0171]
另外，图像显示系统5的框图所示出的各功能部表示功能性结构，不对具体的安装方式进行限制。例如，在检测装置1中，不一定需要安装与各功能部单独对应的硬件，当然还可以构成为由一个处理器执行程序来实现多个功能部的功能。此外，在上述各实施方式中可以用硬件实现由软件实现的一部分功能，或者可以用软件实现由硬件实现的一部分功能。此外，关于图像显示系统5的其他各部分的具体细节结构，能够在不脱离主旨的范围任意进行变更。