信息生成方法、信息生成系统以及记录介质与流程

1.本公开涉及信息生成方法、信息生成系统以及记录介质。


背景技术：

2.如投射映射那样，一般从投影仪将投射图像对具有三维形状的被投射物进行投射。另外，还提出了通过照相机对投射有投射图像的状态的被投射物进行拍摄，在投射图像的制作或设定等中利用该拍摄图像。例如，在专利文献1中记载了利用比投影仪的投射图像的像素数少的像素数的照相机来设定投射图像的方法。在专利文献1所公开的方法中，根据对从投影仪投射有格子图案图像的状态下的被投射物进行拍摄而得到的拍摄图像上的格子图案的坐标与格子图案图像上的格子图案的坐标之间的相对关系，取得投影仪坐标系上的像素的位置与照相机坐标系上的像素的位置之间的对应关系。另外，投影仪坐标系是表示投影仪的投射图像上的位置的坐标系。照相机坐标系是表示照相机的拍摄图像上的位置的坐标系。
3.专利文献1：日本特开2006-33357号公报
4.在投射映射的投射图像中，通常包含向具有三维形状的被投射物投射的各种投射对象(object)。由于在阅览者的眼睛中映现出与投射有投射图像的状态的被投射物的拍摄图像接近的图像，所以确认照相机坐标系中的显示区域的形状和位置是重要的。但是，以往，在投射图像中作为投射对象的配置目的地的显示区域的设定等一般在投影仪坐标系中进行，无法一边确认照相机坐标系中的显示区域的形状和位置一边设定显示区域。


技术实现要素：

5.为了解决以上的课题，本公开的信息生成方法根据从投影仪投射的第一图像和用照相机拍摄投射有所述第一图像的状态的被投射物而得到的第二图像，确定表示所述投影仪投射的投射图像上的位置的投影仪坐标系与表示由所述照相机拍摄的拍摄图像上的位置的照相机坐标系的对应关系，受理第一操作，该第一操作是在作为所述照相机坐标系和所述投影仪坐标系中的一方的第一坐标系中，指定作为从所述投影仪向所述被投射物投射的投射对象的配置目的地的第一显示区域，根据所述对应关系，将所述第一显示区域变换为作为所述照相机坐标系和所述投影仪坐标系中的另一方的第二坐标系中的作为所述投射对象的配置目的地的第二显示区域，受理变更所述第二显示区域的形状和位置中的至少一方的第二操作，根据所述第二操作生成用于变更所述投射对象的形状和位置中的至少一方的信息。
6.另外，为了解决上述课题，本公开的信息生成系统具备：输入装置；以及处理装置，所述处理装置执行根据从投影仪投射的第一图像和用照相机对投射有所述第一图像的状态下的被投射物进行拍摄而得到的第二图像，确定表示所述投影仪投射的投射图像上的位置的投影仪坐标系与表示由所述照相机拍摄到的拍摄图像上的位置的照相机坐标系之间的对应关系，受理第一操作，该第一操作是在作为所述照相机坐标系和所述投影仪坐标系
中的一方的第一坐标系中，指定作为从所述投影仪向所述被投射物投射的投射对象的配置目的地的第一显示区域，根据所述对应关系，将所述第一显示区域变换为作为所述照相机坐标系和所述投影仪坐标系中的另一方的第二坐标系中的作为所述投射对象的配置目的地的第二显示区域，受理变更所述第二显示区域的形状和位置中的至少一方的第二操作，根据所述第二操作生成用于变更所述投射对象的形状和位置中的至少一方的信息。
7.另外，为了解决上述课题，本公开的程序使计算机执行根据从投影仪投射的第一图像和用照相机对投射有所述第一图像的状态下的被投射物进行拍摄而得到的第二图像，确定表示所述投影仪投射的投射图像上的位置的投影仪坐标系与表示由所述照相机拍摄到的拍摄图像上的位置的照相机坐标系之间的对应关系，受理第一操作，该第一操作是在作为所述照相机坐标系和所述投影仪坐标系中的一方的第一坐标系中，指定作为从所述投影仪向所述被投射物投射的投射对象的配置目的地的第一显示区域，根据所述对应关系，将所述第一显示区域变换为作为所述照相机坐标系和所述投影仪坐标系中的另一方的第二坐标系中的作为所述投射对象的配置目的地的第二显示区域，受理变更所述第二显示区域的形状和位置中的至少一方的第二操作，根据所述第二操作生成用于变更所述投射对象的形状和位置中的至少一方的信息。
附图说明
8.图1是表示包括执行本公开的第一实施方式的信息生成方法的信息生成装置1a的图像显示系统5a的结构例的框图。
9.图2是表示本实施方式中的计测图案的一例的图。
10.图3是表示信息生成装置1a的处理装置40为了催促第一操作的执行而使显示装置显示的图像的一例的图。
11.图4是表示处理装置40为了催促第二操作的执行而使显示装置显示的图像的一例的图。
12.图5是表示处理装置40按照程序pa执行的信息生成方法的流程的流程图。
13.图6是示出包括执行本公开的第二实施方式的信息生成方法的信息生成装置1b的图像显示系统5b的结构例的框图；
14.图7是表示拍摄装置50的拍摄图像的一例的图。
15.图8是表示根据第一操作而设定的第一显示区域a1的一例的图。
16.图9是表示第二显示区域a2的显示例的图。
17.图10是表示信息生成装置1b按照程序pb执行的信息生成方法的流程的流程图。
18.标号说明
19.1a、1b：信息生成装置；2：投影仪；10：触摸面板；20：通信装置；30：存储装置；40：处理装置；410：确定部；420a、420b：第一受理部；430a、430b：变换部；440a、440b：第二受理部；450：生成部；50：拍摄装置；pa、pb：程序；sc：被投射物；5a、5b：图像显示系统。
具体实施方式
20.以下，参照附图对本公开的实施方式进行说明。对以下所述的实施方式附加了技术上优选的各种限定。但是，本公开的实施方式不限于以下所述的方式。
21.1.第一实施方式
22.图1是表示包括执行本公开的第一实施方式的信息生成方法的信息生成装置1a的图像显示系统5a的结构例的框图。在图像显示系统5a中，除了信息生成装置1a之外，还包括与信息生成装置1a进行通信的投影仪2。投影仪2将与从信息生成装置1a提供的图像数据对应的投射图像g1投射到被投射物sc的表面。在图1中，虽然省略了详细的图示，但投影仪2具有光源、作为光调制装置的3个显示面板、投射镜头和显示面板驱动部。3个显示面板分别与红、绿以及蓝的各色对应。在本实施方式中，显示面板是液晶光阀。显示面板驱动部根据从信息生成装置1a提供的图像数据来控制上述3个显示面板各自的光的透射率。投影仪2利用3个显示面板分别对从光源射出的光进行调制而形成图像光，从投射镜头对该图像光进行投射而在被投射物sc的表面显示投射图像g1。如图1所示，本实施方式中的被投射物sc是长方体，但也可以是三棱锥或四棱锥等通过多边形的连结而构成的三维形状、或者具有曲面的三维形状。
23.信息生成装置1a例如是智能手机。信息生成装置1a具有拍摄功能以及与投影仪2进行通信的通信功能。当信息生成装置1a与投影仪2进行网络连接时，信息生成装置1a与投影仪2进行通信，从投影仪2取得投影仪信息。投影仪信息中包含分辨率信息、以及表示在投影仪2中能够解码的压缩方式的压缩方式信息。分辨率信息是表示投影仪2中的显示面板的分辨率的信息。分辨率信息用于生成用于对由投影仪2向被投射物sc投射的投射图像的位置进行计测的计测图案。详细内容后述，在本实施方式中，使用二进制编码图案作为计测图案。压缩方式信息用于决定对表示计测图案的计测图案数据进行压缩并从信息生成装置1a向投影仪2发送的情况下的计测图案数据的压缩方式。从信息生成装置1a向投影仪2压缩并发送计测图案数据的情况下的压缩方式优选为行程编码、lzh、png以及gif等可逆压缩方式。
24.信息生成装置1a使用从投影仪2取得的分辨率信息来生成分别表示多个计测图案的计测图案数据，并将生成的计测图案数据提供给投影仪2。投影仪2将从信息生成装置1a提供的计测图案数据所示的多个计测图案各自的图像投射到被投射物sc。另外，也可以从信息生成装置1a向投影仪2发送命令，投影仪2根据该命令生成计测图案数据，在该情况下，无需在投影仪信息中包含压缩方式信息。如果是在投影仪2中生成计测图案数据的方式，则能够缩短用于从信息生成装置1a向投影仪2传递计测图案的通信时间。信息生成装置1a催促用户按照每个计测图案对由投影仪2投射有计测图案的图像的状态的被投射物sc进行拍摄。信息生成装置1a根据用户的操作，通过拍摄功能对投射有计测图案的图像的状态的被投射物sc进行拍摄。
25.信息生成装置1a根据拍摄到的多个拍摄图像和多个计测图案的图像来确定投影仪坐标系与照相机坐标系的对应关系。投影仪坐标系是表示基于投影仪2的投射图像上的位置的坐标系。作为投影仪坐标系的一例，可举出以投射图像的左上角为原点的二维坐标系。照相机坐标系是表示拍摄图像上的位置的坐标系。作为照相机坐标系的具体例，可举出以拍摄图像的左上角为原点的二维坐标系。确定投影仪坐标系与照相机坐标系的对应关系是指生成用于从一方的坐标系向另一方的坐标系映射变换的变换矩阵。
26.在本实施方式中，在投射图像中作为投射对象的配置目的地的显示区域是在照相机坐标系中指定的。并且，通过利用投影仪坐标系与照相机坐标系的对应关系，能够将在照
相机坐标系中指定的投射对象的显示区域变换为投影仪坐标系中的显示区域，在投影仪坐标系中变更显示区域的位置和形状中的至少一方。在照相机坐标系与投影仪坐标系的对应关系的精度低的情况下，若在照相机坐标系中指定显示区域，则在投影仪坐标系中显示区域有可能偏移。在投影仪坐标系中变更在照相机坐标系中指定的显示区域的位置以及形状中的至少一方是为了校正由照相机坐标系与投影仪坐标系的对应关系的精度低引起的显示区域的偏移。
27.如图1所示，信息生成装置1a包括触摸面板10、通信装置20、存储装置30、处理装置40和拍摄装置50。通信装置20是无线通信模块或有线通信模块。在通信装置20是有线通信模块的情况下，通信装置20经由通信线与投影仪2连接。信息生成装置1a与投影仪2的连接可以是不经由无线接入点装置或路由器等中继装置的直接连接，也可以是经由中继装置的间接连接。在通信装置20是无线通信模块的情况下，作为直接连接的具体例，可举出点对点(ad hoc)连接，作为间接连接的具体例，可举出经由无线接入点装置的接入点连接。另外，在通信装置20是有线通信模块的情况下，作为直接连接的具体例，可举出对等(peer-to-peer)连接，作为间接连接的具体例，可举出经由有线路由器或有线集线器的连接。通信装置20在处理装置40的控制下与投影仪2进行通信。拍摄装置50是照相机。拍摄装置50在处理装置40的控制下进行拍摄，将表示拍摄图像的图像数据提供给处理装置40。
28.触摸面板10是将显示图像的显示装置和由用户输入信息的输入装置一体化而成的装置。输入装置例如是透明的片状的接触传感器。输入装置以覆盖显示装置的显示面的方式设置。输入装置使用由与该输入装置接触的物体和该输入装置确定的静电电容来检测触摸位置，并将表示检测出的触摸位置的数据向处理装置40输出。由此，用户对触摸面板10的操作内容被传递到处理装置40。
29.存储装置30是处理装置40能够读取的记录介质。存储装置30例如包括非易失性存储器和易失性存储器。非易失性存储器例如是rom(read only memory)、eprom(erasable programmable read only memory)或eeprom(electrically erasable programmable read only memory)。易失性存储器例如是ram(radom access memory：随机存取存储器)。
30.在存储装置30的非易失性存储器中存储有由处理装置40执行的程序pa。存储装置30的易失性存储器作为执行程序pa时的工作区域被处理装置40利用。程序pa也可以被称为“应用程序”、“应用软件”或“应用”。程序pa例如经由通信装置20从未图示的服务器等取得，之后存储于存储装置30。程序pa也可以预先存储于存储装置30。
31.处理装置40例如构成为包括cpu(central processing unit)等处理器。处理装置40可以由单一的处理器构成，也可以由多个处理器构成。处理装置40以对触摸面板10进行了指示程序pa的执行开始的操作为契机，将程序pa从非易失性存储器读出到易失性存储器，开始程序pa的执行。按照程序pa工作中的处理装置40作为图1所示的确定部410、第一受理部420a、变换部430a、第二受理部440a以及生成部450发挥功能。图1所示的确定部410、第一受理部420a、变换部430a、第二受理部440a以及生成部450是通过使处理装置40按照程序pa进行动作而实现的软件模块。
32.确定部410根据从投影仪2投射的计测图案的图像和被投射有该计测图案的图像的状态下的被投射物sc的拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。从投影仪2投射的计测图案的图像是本公开中的第一图像的一例。被投射有计测图案的图像的
状态下的被投射物sc的拍摄图像是本公开中的第二图像的一例。
33.更详细地进行说明，确定部410以在信息生成装置1a与投影仪2进行了网络连接的状况下通过对触摸面板10的操作指示了确定开始为契机，而取得投影仪信息。接着，确定部410根据投影仪信息所包含的分辨率信息生成计测图案数据。确定部410控制投影仪2依次投射计测图案数据所表示的多个计测图案中的各个计测图案。另外，确定部410催促用户拍摄依次投射于被投射物sc的多个计测图案中的各个计测图案，根据用户的操作使拍摄装置50进行拍摄。然后，确定部410根据多个计测图案的图像和由拍摄装置50拍摄的多个拍摄图像来确定投影仪坐标系与照相机坐标系的对应关系。
34.更详细而言，确定部410根据多个计测图案的图像和多个拍摄图像生成用于将由拍摄装置50拍摄到的拍摄图像中的计测图案的坐标映射变换为投影仪2的显示装置中的计测图案的坐标的变换矩阵。该变换矩阵在实现向被投射物sc投射的投射图像的几何学校正的变形时也被利用。在本实施方式中，在从投影仪2投射投射图像时，从信息生成装置1a向投影仪2提供包含使用上述变换矩阵实施了几何学校正的投射对象的投射图像的图像数据，投影仪2按照该图像数据投射图像。
35.如上所述，在本实施方式中，使用二进制编码图案作为计测图案。二进制编码图案是指用于使用二进制编码来表现显示装置的坐标的图像。所谓二进制编码，是指通过开关的接通/断开来表现以2进制数表现任意数值时的各位的值的技法。在使用二进制编码图案作为计测图案的情况下，由投影仪2投射的图像相当于上述的开关，需要表示坐标值的2进制数的位数的图像。另外，x坐标和y坐标分别需要不同的图像。例如，在投影仪2的显示面板的分辨率为120
×
90的情况下，120和90分别由7位的2进制数表现，因此为了表现x坐标而需要7张图像，为了表现y坐标而需要7张图像。
36.另外，在将二进制编码图案用作计测图案的情况下，一般已知由于照明等干扰光的影响而计测的鲁棒性降低。因此，在将二进制编码图案用作计测图案的情况下，为了抑制干扰光的影响，提高计测的鲁棒性，一般并用互补图案。互补图案是指将黑白反转后的图像。以下，将用白色表示1、用黑色表示0的二进制编码图案称为“正向图案”，将使其反转后的互补图案称为“反向图案”。在本实施方式中，在分辨率信息所表示的分辨率为120
×
90的情况下，如图2所示，由确定部410生成表示正向图案为14张、反向图案为14张的合计28张的计测图案的计测图案数据。在本实施方式中，作为计测图案使用二进制编码图案，但也可以使用点图案、矩形图案、多边形图案、格子图案、格雷码图案、相移图案或随机点图案等其他结构化光。
37.第一受理部420a受理第一操作。本公开中的第一操作是在作为照相机坐标系和投影仪坐标系中的一方的第一坐标系中，指定作为从投影仪2向被投射物sc投射的投射对象的配置目的地的第一显示区域的操作。在本实施方式中，第一坐标系是照相机坐标系。第一受理部420a为了催促用户执行第一操作，使触摸面板10的显示装置显示被投射物sc的拍摄图像。关于该拍摄图像，也可以沿用在确定照相机坐标系与投影仪坐标系的对应关系时拍摄到的多个拍摄图像中的任意拍摄图像。作为第一操作的具体例，可举出通过对显示有拍摄图像的状态的触摸面板10的点击等，以描绘第一显示区域的轮廓线的方式依次指定第一显示区域的顶点的操作。作为指定矩形的第一显示区域的第一操作的具体例，可举出按照左上角的顶点、右上角、右下角、左下角的顺序点击矩形的顶点的操作。另外，作为第一操作
的其他具体例，可举出以描绘第一显示区域的轮廓线的方式滑动触摸面板10的操作。
38.图3是表示为了催促第一操作的执行而由第一受理部420a使显示装置显示的拍摄图像的一例的图。在图3中标注了斜线的阴影线的区域是通过第一操作而设定的第一显示区域a1的一例。在图3所示的例子中，被投射物sc的一个面被设定为第一显示区域a1。第一受理部420a根据第一操作，生成表示第一显示区域的各顶点在第一坐标系中的位置以及连结各顶点的顺序的第一顶点信息。作为第一顶点信息的具体例，可举出将表示第一坐标系中的各顶点的坐标的信息与表示连结顶点的顺序的信息对应起来而排列的信息。作为表示连结顶点的顺序的信息的具体例，可举出值按照顶点的触摸顺序变大的id。
39.变换部430a根据由确定部410确定的对应关系，将通过第一操作指定的第一显示区域变换为在照相机坐标系和投影仪坐标系中的另一个即第二坐标系中作为投射对象的配置目的地的第二显示区域。本实施方式中的第二坐标系是投影仪坐标系。即，变换部430a基于由确定部410确定的对应关系，将在照相机坐标系中指定的第一显示区域变换为投影仪坐标系中的第二显示区域。具体而言，变换部430a通过使用由确定部410确定的变换矩阵将表示第一顶点信息所包含的坐标的信息变换为表示第二坐标系中的坐标的信息，来生成第二顶点信息。
40.第二受理部440a受理第二操作。第二操作是在第二坐标系中变更在第一坐标系中指定的显示区域的位置以及形状的至少一方的操作。如上所述，本实施方式中的第一坐标系是照相机坐标系，第二坐标系是投影仪坐标系。即，本实施方式中的第二操作是在投影仪坐标系中变更在照相机坐标系中指定的显示区域的位置和形状中的至少一方的操作。本公开中的显示区域的位置的变更包括显示区域的平行移动和显示区域的旋转。另外，本公开中的显示区域的形状的变更包括变形为大小不同的相似形、以及变形为相似形以外的任意的形状。作为第二操作的具体例，可举出通过单击或点击等选择显示区域的顶点、边或整体并使其平行移动或旋转的操作、或者使显示区域变形为相似形的操作。
41.另外，第二受理部440a为了催促用户执行第二操作，使触摸面板10的显示装置显示包含用第一颜色涂满轮廓线的内侧且用第二颜色描绘轮廓线的状态的第二显示区域的投射图像。作为第一色的具体例，可举出红色，作为第二色的具体例，可举出蓝色。在本实施方式中，以第二颜色描绘第二显示区域的轮廓线，但也可以以第一颜色描绘。另外，在本实施方式中，用第一颜色涂满第二显示区域的轮廓线的内侧，但也可以省略第一颜色的涂满。另外，也可以省略第二显示区域的轮廓线的描绘，仅通过第二顶点信息所示的顶点的描绘来表现第二显示区域。然后，第二受理部440a在每次受理第二操作时，根据所受理的第二操作来更新第二顶点信息，并且更新显示装置的显示图像。
42.更详细地进行说明，第二受理部440a生成以与从投影仪2取得的分辨率信息所示的大小相同的大小、或者与分辨率信息所示的纵横比相同的纵横比的以第三颜色涂满的图像。作为第三色的具体例，可举出黑色。在能够将与分辨率信息所示的大小相同大小的图像显示于触摸面板10的显示装置的情况下，采用前者的方式即可，在不能显示的情况下，采用后者的方式即可。在本实施方式中，用第三色涂满的图像的左上角成为投影仪坐标系的原点。
43.接着，第二受理部440a在第三颜色的图像上描绘通过第二顶点信息来表示坐标的各顶点，进而用第二颜色描绘按照第二顶点信息表示的顺序用线段连结各顶点而得到的轮
廓线，进而将用第一颜色涂满该轮廓线的内侧而得到的图像作为投射图像显示于触摸面板10的显示装置。图4是示出包含第二显示区域a2的投射图像的一例的图。在图4中，纵线的阴影表示第三颜色，横线的阴影表示第一颜色。另外，在图4中，虚线表示用第二颜色描绘的线。另外，在图4所示的投射图像中以第三颜色涂满的区域与不从投影仪2发出图像光的区域对应。
44.生成部450根据第二操作生成用于变更投射图像中的投射对象的形状和位置中的至少一方的信息。处理装置40当指定了配置于第二显示区域的投射对象后，生成根据该信息变更了该投射对象的形状和位置中的至少一方的投射图像的图像数据，将该图像数据发送到投影仪2。通过投影仪2将该图像数据所示的投射图像投射到被投射物sc，用户能够在实际的投射图像中确认基于上述第二操作的变更结果。
45.另外，按照程序pa工作的处理装置40执行本公开的第一方式的信息生成方法。图5是表示处理装置40按照程序pa执行的信息生成方法的流程的图。如图5所示，本公开的第一方式的信息生成方法包括确定处理sa110、第一受理处理sa120、第一判定处理sa130、变换处理sa140、第二受理处理sa150、第二判定处理sa160以及生成处理sa170。
46.在确定处理sa110中，处理装置40作为确定部410发挥功能。在确定处理sa110中，处理装置40通过对触摸面板10的操作，以由用户指示了确定开始为契机，对投影仪2请求投影仪信息的发送，取得从投影仪2回复的投影仪信息。处理装置40根据从投影仪2取得的投影仪信息所包含的分辨率信息生成多个计测图案。处理装置40根据投射了多个计测图案中的各个计测图案的状态下的被投射物sc的拍摄图像、即多个拍摄图像和多个计测图案的图像，确定投影仪坐标系与照相机坐标系的对应关系。
47.第一受理处理sa120是以通过对触摸面板10的操作而由用户指示了显示区域的设定开始为契机而执行的处理。另外，在投射图像中配置多个投射对象的情况下，按照配置在投射图像中的投射对象的数量反复进行第一受理处理sa120以后的处理即可。在第一受理处理sa120中，处理装置40作为第一受理部420a发挥功能。在第一受理处理sa120中，处理装置40为了催促用户执行第一操作，使触摸面板10的显示装置显示拍摄图像。若对触摸面板10进行了第一操作，则处理装置40生成上述的第一顶点信息。当完成第一显示区域的设定时，用户通过对触摸面板10的操作而对信息生成装置1a指示显示区域的设定完成。
48.在第一判定处理sa130中，处理装置40判定是否通过对触摸面板10的操作而指示了显示区域的设定完成。在第一判定处理sa130的判定结果为“否”的情况下，处理装置40再次执行第一受理处理sa120。在第一判定处理sa130的判定结果为“是”的情况下，处理装置40执行变换处理sa140。在变换处理sa140中，处理装置40作为变换部430a发挥功能。在变换处理sa140中，处理装置40使用在确定处理sa110中确定的变换矩阵，将在第一受理处理sa120中生成的第一顶点信息变换为第二顶点信息。
49.在第二受理处理sa150中，处理装置40作为第二受理部440a发挥功能。在第二受理处理sa150中，处理装置40为了催促第二操作的执行，使触摸面板10的显示装置显示包含用第一颜色涂满轮廓线的内侧且用第二颜色描绘了轮廓线的第二显示区域的投射图像。在第二受理处理sa150中，处理装置40根据第二操作更新第二顶点信息，并且根据该第二操作更新触摸面板10的显示图像。
50.在第二判定处理sa160中，处理装置40判定是否通过对触摸面板10的操作而指示
了显示区域的变更完成。在第二判定处理sa160的判定结果为“否”的情况下，处理装置40再次执行第二受理处理sa150。在第二判定处理sa160的判定结果为“是”的情况下，处理装置40执行生成处理sa170。在生成处理sa170中，处理装置40作为生成部450发挥功能。在生成处理sa170中，处理装置40根据第二操作生成用于变更投射图像中的投射对象的形状和位置中的至少一方的信息。
51.根据本实施方式的信息生成装置1a，能够在投影仪坐标系中变更在照相机坐标系中设定的投射对象的显示区域。如上所述，在照相机坐标系与投影仪坐标系的对应关系的精度低的情况下，若在照相机坐标系中指定显示区域，则在投影仪坐标系中显示区域有可能偏移。根据本实施方式，通过在投影仪坐标系中变更在照相机坐标系中设定的显示区域的位置和形状中的至少一方，能够校正上述偏移，更高精度地设定显示区域。
52.2.第二实施方式
53.图6是示出包含执行本公开的第二实施方式的信息生成方法的信息生成装置1b和投影仪2的图像显示系统5b的结构例的框图。信息生成装置1b与信息生成装置1a的不同点在于，代替程序pa而将程序pb存储于存储装置30。信息生成装置1b的处理装置40通过执行程序pb而作为确定部410、第一受理部420b、变换部430b、第二受理部440b及生成部450发挥功能。以下，以与第一实施方式的不同点即第一受理部420b、变换部430b以及第二受理部440b为中心进行说明。
54.第一受理部420b在受理第一操作这点上与第一实施方式中的第一受理部420a相同。在本实施方式中，第一坐标系是投影仪坐标系这一点与第一实施方式不同。第一受理部420b为了催促用户执行第一操作，与第一实施方式中的第二受理部440a同样地，使投射图像显示于触摸面板10的显示装置。更详细地进行说明，第一受理部420b显示与从投影仪2取得的分辨率信息所示的大小相同的大小、或者与分辨率信息所示的纵横比相同的纵横比的黑图像。作为本实施方式中的第一操作的具体例，可举出对该投射图像指定第一显示区域的各顶点和连结顶点的顺序的操作。第一受理部420b根据第一操作，生成表示第一显示区域的各顶点以及连结顶点的顺序的第一顶点信息。
55.变换部430b与变换部430a同样地，将第一坐标系中的显示区域即第一显示区域变换为第二坐标系中的显示区域即第二显示区域。具体而言，变换部430b将表示第一显示区域的各顶点以及连结顶点的顺序的第一顶点信息变换为表示第二显示区域的各顶点以及连结顶点的顺序的第二顶点信息。但是，在本实施方式中，第一坐标系是投影仪坐标系，第二坐标系是照相机坐标系，这一点与第一实施方式不同。第二受理部440b与第二受理部440a同样地，受理在第二坐标系中变更由第一操作指定的第一显示区域的位置以及形状的至少一方的第二操作。第二受理部440b为了催促用户执行第二操作，使触摸面板10的显示装置显示拍摄装置50的拍摄图像。若更详细地进行说明，则第二受理部440b使通过第二顶点信息表示顶点的第二显示区域的图像与拍摄装置50的拍摄图像重叠地显示于显示装置。此外，第二受理部440b与第一实施方式中的第二受理部440a同样地，在每次受理第二操作时，根据所受理的第二操作来更新第二顶点信息，并且更新显示装置的显示图像。
56.由于本实施方式中的被投射物sc具有三维形状，因此被投射物sc的一部分可能未被拍摄到拍摄图像中。另外，如图7所示的拍摄图像g2那样，也存在从拍摄装置50的拍摄范围观察不到被投射物sc的一部分的情况。在拍摄图像中未拍摄到被投射物sc的一部分，第
一显示区域被划分为与拍摄图像中拍摄到的被投射物sc的部分对应的第一区域和第一区域以外的第二区域的情况下，变换部430b按照以下的要领进行向第二显示区域的变换。关于第一区域，通过由确定部410生成的变换矩阵与照相机坐标系建立对应。因此，变换部430b针对第一区域，使用上述变换矩阵将其变换为照相机坐标系中的第三区域。与此相对，关于第二区域，未通过上述变换矩阵与照相机坐标系对应。因此，变换部430b针对第二区域，基于第三区域将其变换为相机坐标系中的第四区域。然后，第二受理部440b使第三区域以及第四区域作为第二显示区域显示于显示装置来催促第二操作。
57.例如，在图8所示的投射图像g3中，具有顶点a、b、c以及d的四边形的区域是已确定对应关系的区域，通过第一操作设定了具有顶点a、b、c以及d的四边形的第一显示区域。在该情况下，具有顶点a、b、c、f以及e的五边形的区域是第一区域，具有顶点d、e以及f的三角形的区域是第二区域。另外，顶点e是线段da与线段da的交点，顶点f是线段da与线段cd的交点。
58.在如图8所示那样设定了第一显示区域a1的情况下，变换部430b使用变换矩阵来计算第一显示区域a1的4个顶点中的顶点a、b以及c在照相机坐标系中的坐标。接着，变换部430b在投影仪坐标系中求出线段da、da、cd，计算顶点e和顶点f在投影仪坐标系中的坐标。接着，变换部430b使用变换矩阵求出顶点e及顶点f在照相机坐标系中的坐标，求出照相机坐标系中通过点a及点e的第一直线和通过点c及点f的第二直线。然后，变换部430b求出第一直线与第二直线的交点，将该交点的坐标作为照相机坐标系中的顶点d的坐标。如图9所示，第二受理部440b使第二显示区域a2的图像重叠于图像g6而显示于显示装置，该图像g6是由与顶点d的坐标对应的空白的图像g4和缩小该空白的量而从拍摄图像g2切出的图像g5构成的。
59.图10是表示处理装置40按照程序pb执行的信息生成方法的流程的流程图。对比图10和图5可知，本实施方式中的信息生成方法与第一实施方式的信息生成方法的不同点在于，设置有第一受理处理sb120来代替第一受理处理sa120，设置有变换处理sb140来代替变换处理sa140，以及设置有第二受理处理sb150来代替第二受理处理sa150。以下，以与第一实施方式的不同点即第一受理处理sb120、变换处理sb140以及第二受理处理sb150为中心进行说明。
60.第一受理处理sb120与第一实施方式中的第一受理处理sa120同样地，通过对触摸面板10的操作，以由用户指示了显示区域的设定开始为契机来执行。另外，在投射图像中配置多个投射对象的情况下，按照配置在投射图像中的投射对象的数量反复进行第一受理处理sb120以后的处理即可。在第一受理处理sb120中，处理装置40作为第一受理部420b发挥功能。在第一受理处理sb120中，处理装置40为了催促用户执行第一操作，使触摸面板10的显示装置显示投射图像。在本实施方式中，处理装置40将与从投影仪2取得的分辨率信息所示的大小相同的大小、或者与分辨率信息所示的纵横比相同的纵横比的黑图像显示为上述投射图像。若对触摸面板10进行了第一操作，则处理装置40生成上述的第一顶点信息。当完成第一显示区域的设定时，用户通过对触摸面板10的操作而对信息生成装置1b指示显示区域的设定完成。如在第一实施方式中说明的那样，当指示了显示区域的设定完成时，第一判定处理sa130的判定结果为“是”。
61.如图10所示，变换处理sb140在第一判断处理sa130的判断结果为“是”的情况下被
执行。在第一判定处理sa130的判定结果为“否”的情况下，再次执行第一受理处理sb120。在变换处理sb140中，处理装置40作为变换部430b发挥功能。在变换处理sb140中，处理装置40将第一显示区域变换为第二显示区域。具体而言，处理装置40使用在确定处理sa110中确定的变换矩阵，将在第一受理处理sb120中生成的第一顶点信息变换为第二顶点信息。
62.在第二受理处理sb150中，处理装置40作为第二受理部440b发挥功能。在第二受理处理sb150中，处理装置40为了催促第二操作的执行，使触摸面板10的显示装置显示拍摄装置50的拍摄图像。若更详细地进行说明，则处理装置40使通过第二顶点信息表示顶点的第二显示区域的图像与拍摄装置50的拍摄图像重叠地显示于显示装置。另外，在第二受理处理sb150中，处理装置40根据第二操作更新第二顶点信息，并且根据该第二操作更新触摸面板10的显示图像。
63.根据本实施方式的信息生成装置1b，能够在照相机坐标系中变更在投影仪坐标系中指定的显示区域。根据本实施方式，能够将拍摄装置50无法拍摄到的范围包含在内地设定显示区域，即使在拍摄图像中未拍摄到被投射物sc的一部分的情况下，也能够变更显示区域的形状和位置中的至少一方。
64.3.变形例
65.各实施方式也可以如以下那样变更。
66.(1)各实施方式中的第一操作是以描绘第一显示区域的轮廓线的方式通过点击等依次指定第一显示区域的顶点的操作。但是，也可以使用户使用各种多边形或椭圆等预先确定的图形来指定第一显示区域。例如，在显示用于选择预定的多种图形中的任意图形的下拉菜单的情况下，将选择该下拉菜单所显示的图形的操作和变更所选择的图形的位置以及形状中的至少一方的操作设为第一操作即可。另外，也可以利用边缘检测等确定被投射物sc的整体形状或被投射物sc的各面的形状，将与该确定出的形状对应的图形包含在上述下拉菜单中。
67.(2)在第二实施方式中，在拍摄图像中未拍摄到被投射物sc的一部分、第一显示区域被划分为第一区域和第二区域的情况下，针对第一区域，使用变换矩阵变换为第三区域，针对第二区域，基于第三区域变换为第四区域，由第三区域和第四区域形成第二显示区域。但是，也可以省略第二区域向第四区域的变换，仅由第三区域形成第二显示区域。
68.(3)也可以能够切换地执行第一实施方式中的信息生成方法和第二实施方式中的信息生成方法。具体而言，除了程序pa以外，也可以将程序pb也预先存储于信息生成装置1a的存储装置30，根据用户的指示使处理装置40执行程序pa和程序pb中的一方。
69.(4)信息生成装置1a以及信息生成装置1b都是具有拍摄装置50的智能手机，但也可以是具备拍摄装置的平板终端或者具备拍摄装置的笔记本型或者固定型的个人计算机。在将笔记本型或者固定型的个人计算机用作本公开的信息生成装置的情况下，也可以将鼠标或者键盘作为输入装置来受理第一操作以及第二操作。另外，在信息生成装置能够通过经由lan等网络的数据通信取得拍摄图像的情况下，信息生成装置不需要具备拍摄装置。另外，在具有智能手机或者平板终端等便携终端以及经由lan或因特网与便携终端进行通信的服务器装置的计算机系统中，也可以使服务器装置的处理装置作为确定部410、变换部430a或者变换部430b、以及生成部450发挥功能，使该便携终端承担用于输入第一操作以及第二操作的输入装置的作用。该计算机系统是本公开的信息生成系统的一例。
70.(5)第一实施方式中的确定部410、第一受理部420a、变换部430a、第二受理部440a及生成部450是软件模块，但确定部410、第一受理部420a、变换部430a、第二受理部440a及生成部450的一部分或全部也可以是硬件。作为该硬件的一例，可举出dsp(digital signal processor)、asic(application specific integrated circuit)、pld(programmable logic device)以及fpga(field programmable gate array)。即使确定部410、第一受理部420a、变换部430a、第二受理部440a以及生成部450的一部分或者全部是硬件，也能够起到与上述第一实施方式相同的效果。第二实施方式中的第一受理部420b、变换部430b以及第二受理部440b也可以同样地一部分或者全部是硬件。
71.(6)在第一实施方式中，程序pa已存储于存储装置30。但是，也可以单独制造或发布程序pa。作为程序pa的具体的发布方法，可以考虑在闪存rom(read only memory：只读存储器)等计算机可读取的记录介质中写入上述程序pa来进行发布的方式、或者通过经由因特网等电气通信线路的下载来进行发布的方式。通过将该程序pa安装于个人计算机等一般的信息处理装置，并使该信息处理装置的cpu等计算机按照该程序进行工作，能够使该信息处理装置作为本公开的信息生成装置发挥功能。关于第二实施方式中的程序pb，也可以同样地以单体制造或发布。
72.4.根据各实施方式以及各变形例中的至少1个而掌握的方式
73.本公开不限于上述的各实施方式以及变形例，在不脱离其主旨的范围内能够以各种方式实现。例如，本公开也能够通过以下的方式来实现。与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征为了解决本公开的课题的一部分或全部，或者为了实现本公开的效果的一部分或全部，能够适当地进行替换、组合。另外，该技术特征在本说明书中只要不是作为必须的特征进行说明，就能够适当删除。
74.为了解决以上说明的课题，本公开的信息生成方法的一个方式包括确定处理sa110、第一受理处理sa120、变换处理sa140、第二受理处理sa150以及生成处理sa170。
75.在确定处理sa110中，根据从投影仪投射的第一图像和利用照相机对投射有第一图像的状态下的被投射物进行拍摄而得到的第二图像，确定表示投影仪投射的投射图像上的位置的投影仪坐标系与表示由照相机拍摄的拍摄图像上的位置的照相机坐标系之间的对应关系。
76.在第一受理处理sa120中，受理在作为照相机坐标系和投影仪坐标系中的一方的第一坐标系中指定作为从投影仪2向被投射物sc投射的投射对象的配置目的地的第一显示区域a1的第一操作。更具体而言，也可以是，第一坐标系是照相机坐标系，在第一受理处理sa120中的第一操作的受理时，通过使触摸面板10的显示装置显示拍摄装置50对被投射物sc的拍摄图像来催促第一操作的执行。
77.在变换处理sa140中，第一显示区域a1根据在确定处理sa110中确定的对应关系，被变换为在作为照相机坐标系和投影仪坐标系中的另一方的第二坐标系中作为投射对象的配置目的地的第二显示区域a2。在第一坐标系是照相机坐标系的情况下，第二坐标系是投影仪坐标系。
78.在第二受理处理sa150中，受理变更第二显示区域a2的形状和位置中的至少一方的第二操作。在第二受理处理sa150中的第二操作的受理时，也可以通过使投射图像显示于触摸面板10的显示装置来催促第二操作的执行。
79.在生成处理sa170中，根据第二操作生成用于变更投射对象的形状和位置中的至少一方的信息。根据本方式的信息生成方法，能够在投影仪坐标系中变更在照相机坐标系中指定的显示区域的形状和位置中的至少一方，即使在照相机坐标系与投影仪坐标系的对应关系的精度低的情况下，也能够高精度地设定第二显示区域a2。
80.本公开的信息生成方法的另一方式也可以是，代替第一受理处理sa120而包括第一受理处理sb120，代替变换处理sa140而包括变换处理sb140，代替第二受理处理sa150而包括第二受理处理sb150。更具体而言，第一坐标系是投影仪坐标系，在第一受理处理sb120中的第一操作的受理时，也可以通过使投射图像显示于触摸面板10的显示装置来催促第一操作的执行。另外，在第二受理处理sb150中的第二操作的受理时，也可以通过使触摸面板10的显示装置显示拍摄装置50对被投射物sc的拍摄图像来催促第二操作的执行。根据本方式，能够在照相机坐标系中变更在投影仪坐标系中设定的显示区域的位置和形状中的至少一方，能够将照相机无法拍摄到的范围包含在内地设定显示区域。
81.在第一坐标系为投影仪坐标系的情况下的更优选的方式中，在拍摄装置50拍摄的被投射物sc的拍摄图像中未拍摄到被投射物sc的一部分，第一显示区域a1被划分为与拍摄图像中拍摄到的被投射物sc的部分对应的第一区域和第一区域以外的第二区域的情况下，变换处理sb140和第二受理处理sb150的处理内容也可以如下所述。在变换处理sb140中，关于第一区域，基于对应关系变换为照相机坐标系中的第三区域，关于第二区域，基于第三区域变换为照相机坐标系中的第四区域。在第二受理处理sb150中，第三区域以及第四区域作为第二显示区域显示于触摸面板10的显示装置。根据本方式，即使在拍摄图像中未拍摄到被投射物sc的一部分的情况下，也能够变更显示区域的形状和位置中的至少一方。
82.为了解决以上说明的课题，本公开的信息生成系统的一个方式具备输入装置和处理装置40。而且，处理装置40执行前述的确定处理sa110、第一受理处理sa120、变换处理sa140、第二受理处理sa150以及生成处理sa170、或者确定处理sa110、第一受理处理sb120、变换处理sb140、第二受理处理sb150以及生成处理sa170。根据本方式的信息处理系统，也能够在照相机坐标系和投影仪坐标系中的另一方的坐标系中变更在一方的坐标系中指定的显示区域的形状和位置中的至少一方。
83.在更优选的方式的信息生成系统中，处理装置40也可以使投影仪2投射基于根据第二操作生成的信息而变更了投射对象的形状和位置中的至少一方后的投射图像。根据本方式，能够通过投影仪的投射图像使用户掌握第二操作的变更结果。
84.为了解决以上说明的课题，本公开的程序的一个方式使计算机执行上述的确定处理sa110、第一受理处理sa120、变换处理sa140、第二受理处理sa150以及生成处理sa170。另外，本公开的程序的其他方式使计算机执行上述的确定处理sa110、第一受理处理sb120、变换处理sb140、第二受理处理sb150以及生成处理sa170。根据本方式的程序，能够在照相机坐标系和投影仪坐标系中的另一方的坐标系中变更在一方的坐标系中指定的显示区域的形状和位置中的至少一方。