使用已知图像使图像获取稳定的方法、程序和电子装置与流程

1.本发明涉及用于使用已知图像来使图像获取稳定的方法、程序和电子装置。


背景技术：

2.已知有用于向访问了诸如商店等的预定场所的用户授予在线游戏等的特权的登记服务。专利文献1公开了一种系统，其中，在提供了用于向访问了张贴有预定张贴通告的场所的移动终端装置的用户授予在线游戏的特权等的服务时，如果基于作为移动终端存储单元中所存储的张贴通告的图像的已知基准图像而判断为在图像获取区域内获取到了张贴通告的图像，则允许用户获取张贴通告及其周边区域的图像，将通过对该获取图像进行标准化所获得的标准化图像与已被认证且存储在服务器中的已认证图像进行比较，并且基于这两者之间的相似度来确认用户的访问。
3.现有技术文献
4.专利文献
5.专利文献1：日本特开2018-173811(日本专利第6181893号)


技术实现要素：

6.发明要解决的问题
7.然而，存在如下的情况：在获取到张贴通告及其周边区域的图像时，由于图像质量的下降(诸如存在由照相机抖动等引起的模糊的图像失真等)而导致不能准确地进行对图像的真实性判断。
8.用于解决问题的方案
9.本发明是有鉴于上述问题而作出的，并且具有如以下所述的特征。也就是说，根据一个实施例，本发明提供一种电子装置执行的方法，所述电子装置用于获取包括对象物的周边的图像，所述电子装置包括陀螺仪传感器、加速度传感器和方位传感器中的至少一个传感器、图像获取单元和存储单元，所述存储单元用于存储作为对象物图像的基准图像，并且所述方法的特征在于包括：用于确定在所述基准图像被放置在所述图像获取单元要获取的空间图像的预定区域内的情况下的表示所述基准图像中的局部特征量的特征点的位置的步骤；以及用于重复计算特征点距离的步骤，该步骤重复执行以下步骤：利用所述图像获取单元获取空间图像，从所述图像获取单元所获取的空间图像中检测与所述基准图像中的特征点相对应的点，以及计算与所述基准图像中的特征点相对应的所检测到的点的位置和与所检测到的点相对应的特征点的所确定的位置之间的距离；判断步骤，用于基于从传感器中的所述至少一个传感器获得的传感器值的变化量、以及所计算出的距离，判断所述电子装置的移动量是否等于或小于预定容许基准值；以及图像存储步骤，用于在判断为所述电子装置的移动量等于或小于所述容许基准值的情况下，将所述图像获取单元所获取的空间图像作为期望图像存储在所述存储单元中。
10.在用于计算所述距离的步骤中，可以计算与所述基准图像中的特征点相对应的所
检测到的点的位置和与所检测到的点相对应的特征点的所确定的位置之间的距离的统计值。
11.所述距离的统计值可以是重复计算的距离之间的距离差的统计值。
12.在所述判断步骤中，可以在预定时间段期间的传感器值的变化量的合计等于或小于预定传感器值变化阈值、并且所述距离的统计值等于或小于预定距离阈值的情况下，判断为所述电子装置的移动量等于或小于所述预定容许基准值。
13.可以在所获取的空间图像中检测到的与特征点相对应的点的数量等于或大于预定数量的情况下，执行所述图像存储步骤。
14.此外，所述存储单元可以存储对象物图像的两个或多于两个模板图像，并且所述基准图像可以是从所述两个或多于两个模板图像中确定的一个模板图像，以及所述方法可以还包括以下步骤：从所述两个或多于两个模板图像中选择一个模板图像；利用所述图像获取单元获取空间图像；从所述图像获取单元所获取的空间图像中检测与所选择的一个模板图像中的特征点相对应的点；以及在与特征点相对应的所检测到的点的数量等于或大于预定基准值的情况下，将所选择的一个模板图像确定为所述基准图像。
15.此外，还可以进一步包括：在将所述图像获取单元所获取的空间图像显示在所述电子装置的显示单元上时，显示如下的线，所述线用于将在所述基准图像被放置在所述图像获取单元所获取的空间图像的预定区域内的情况下的特征点的位置连接到与特征点相对应的所检测到的点的位置。
16.可以使用作为所述期望图像而存储的图像来确认出所述电子装置的用户访问了预定张贴场所并且查看了张贴在所述张贴场所的用作对象物的张贴通告。
17.此外，根据一个实施例，本发明提供用于使得一个或多于一个计算机执行上述方法的程序。
18.根据一个实施例，本发明提供用于存储上述程序的计算机可读记录介质。
19.根据一个实施例，本发明提供一种电子装置，用于获取包括对象物的周边的图像，所述电子装置的特征在于包括：陀螺仪传感器、加速度传感器和方位传感器中的至少一个传感器；图像获取单元；存储单元，用于存储作为对象物图像的基准图像；特征点位置确定单元，用于确定在所述基准图像被放置在所述图像获取单元要获取的空间图像的预定区域内的情况下的表示所述基准图像中的局部特征量的特征点的位置；特征点距离计算单元，用于重复计算特征点距离，所述特征点距离计算单元重复执行以下操作：获得利用所述图像获取单元所获取的空间图像，从所述图像获取单元所获取的空间图像中检测与所述基准图像中的特征点相对应的点，以及计算与所述基准图像中的特征点相对应的所检测到的点的位置和与所检测到的点相对应的特征点的所确定的位置之间的距离；判断单元，用于基于从传感器中的所述至少一个传感器获得的传感器值的变化量、以及所计算出的距离，判断所述电子装置的移动量是否等于或小于预定容许基准值；以及控制单元，用于在判断为所述电子装置的移动量等于或小于所述容许基准值的情况下，将所述图像获取单元所获取的空间图像作为期望图像存储在所述存储单元中。
20.发明的效果
21.根据本发明，可以在电子装置稳定的状态下从一定距离和角度获取包括周边图像的对象物图像，由此使得可以防止图像质量的下降，诸如存在由照相机抖动等引起的模糊
的图像失真等。
附图说明
22.图1是示出根据本发明的一个实施例的系统的整体结构的图。
23.图2示出根据本发明的实施例的电子装置和服务器的硬件结构图。
24.图3示出根据本发明的实施例的电子装置和服务器的功能框图。
25.图4是示出根据本发明的实施例的信息处理的流程图。
26.图5是示出根据本发明的实施例的画面显示示例的图。
27.图6是示出根据本发明的实施例的信息处理的流程图。
28.图7是示出根据本发明的实施例的信息处理的流程图。
29.图8是示出根据本发明的实施例的画面显示示例的图。
具体实施方式
30.以下将参考附图来说明使用本发明的查看确认系统的一个实施例。如图1所示，本实施例的系统100可以通过包括经由诸如因特网等的网络110彼此通信地连接的一个或多于一个电子装置120以及服务器130的系统来实现。
31.图2包括示出根据本发明的实施例的各个电子装置120的硬件结构和服务器130的硬件结构的框图。电子装置120包括处理器201、显示装置202、输入装置203、图像获取装置204、传感器205、存储装置206和通信装置207。这些构成装置通过总线208连接。注意，假定在总线208与各个构成装置之间根据需要插入接口。在本实施例中，电子装置120是智能电话。可替代地，电子装置120可以是诸如移动电话、平板终端、便携式游戏机或数字照相机等的终端，只要该终端包括上述结构即可。
32.类似地，服务器130包括处理器251、显示装置252、输入装置253、存储装置254和通信装置255。这些构成装置通过总线258连接。注意，假定在总线258与各个构成装置之间根据需要插入接口。在本实施例中，服务器130由计算机实现。
33.处理器201和251分别控制电子装置120和服务器130处的整体操作，并且例如是cpu。注意，诸如mpu等的电子电路也可以用作处理器201和251。处理器201和251分别加载并执行存储装置206和254中所存储的程序209和256以及数据，由此使得可以执行实现本发明所需的各种处理。
34.显示装置(显示器)202和252分别在处理器201和251的控制下向电子装置120的用户和服务器130的用户显示应用画面等。显示装置202和252优选是液晶显示器，或者可以是使用有机el的显示器、或者等离子体显示器等。
35.输入装置203和253是用于接受来自用户的向电子装置120和服务器130的输入的用户接口，并且例如是触摸屏、触摸板、键盘或鼠标。在本实施例中，由于电子装置120是智能电话，因此电子装置120包括触摸屏作为输入装置203，并且触摸屏还用作显示装置202，由此显示装置202和输入装置203具有一体化结构。显示装置202和输入装置203可以具有布置在不同位置处的单独形式。由于服务器130是计算机，因此假定服务器130包括键盘和鼠标作为输入装置，并且包括液晶显示器作为显示装置。
36.图像获取装置204可以是用于获取现实空间区域的静止图像或运动图像的照相
机。传感器205可以测量与电子装置的移动有关的信息，并且可以是陀螺仪传感器、加速度传感器和方位传感器中的至少一个传感器。
37.存储装置206和254是包括主存储器、缓冲存储器和存储区并且被包括在一般的智能电话和计算机中的存储装置，诸如磁存储装置、以及使用作为易失性存储器的ram和作为非易失性存储器的闪速存储器(诸如emmc、ufs或ssd等)的存储装置等。存储装置206和254可以包括外部存储器。例如，存储装置206存储应用，并且存储装置254存储服务器应用。应用包括用于执行应用的事件的程序和在执行这些程序时要参考的各种数据。
38.通信装置207和255可以经由网络110(图2中未示出)向其他装置发送数据和从其他装置接收数据。例如，通信装置207和255进行移动通信或无线通信(诸如使用无线lan的通信)以连接到网络110。电子装置120使用通信装置207以经由网络与服务器130进行通信。通信装置207和255还可以进行使用以太网(ethernet，注册商标)线缆等的有线通信。
39.图3示出根据本发明的实施例的电子装置120和服务器130的功能框图的示例。电子装置120包括控制单元301、显示单元302、输入单元303、图像获取单元304、传感器单元305、存储单元306、通信单元307、特征点提取单元308、特征点位置确定单元309、特征点距离计算单元310、判断单元311和基准图像确定单元312。服务器130包括控制单元351、显示单元352、输入单元353、存储单元354和通信单元355。
40.在本实施例中，在处理器201和251执行程序时实现这些功能。例如，要执行的程序存储在存储装置206和254中。由于如上所述、通过加载程序来实现各种功能，因此一个部件(功能)的一部分或全部可以包括在另一部件中。可替代地，这些功能也可以通过配置各自实现各个功能的一部分或全部的电子电路等借助于硬件来实现。
41.在执行本实施例的应用的功能时，电子装置120的控制单元301执行控制处理。显示单元302显示用于控制应用的功能的应用画面，并且根据应用的功能和用户操作来显示应用画面。此外，显示单元302显示由图像获取装置204获取到的图像。输入单元303接受来自电子装置120的用户的输入。在本实施例中，使用包括显示单元302和输入单元303的触摸屏，并且通过触摸检测功能实现操作接受单元。
42.图像获取单元304获取现实空间区域的静止图像或运动图像。图像获取意味着生成用于静止图像的采用jpeg格式等的数字数据或者用于运动图像的采用mpeg格式等的数字数据。这里，图像获取单元304例如可以以每秒30帧或每秒60帧进行图像获取，可以将各个帧中的获取图像临时存储在存储单元306内包括的缓冲器中，并且可以将这些图像显示在显示单元302上。传感器单元305可以通过使用传感器205来实现，并且测量至少一个传感器值，该至少一个传感器值表示与电子装置的移动有关的信息，诸如表示在电子装置转动时的角速度的信息、表示在电子装置移动时的加速度的信息或表示电子装置的方位的信息等。
43.存储单元306存储由控制单元301执行的信息处理所需的信息。在本实施例中，假定对象物是张贴在预定张贴场所的通告。存储单元306将作为已知张贴通告图像的模板图像以与表示张贴通告的种类的张贴通告识别信息(id)链接的方式存储。模板图像例如可以是位图图像数据。尽管在本实施例中使用多个种类的张贴通告，但也可以仅使用一个种类的张贴通告。在仅存在一个种类的模板图像的情况下，该模板图像不需要与张贴通告id链接。从模板图像中选择的一个图像可以被确定为基准图像。基准图像是用作由后面要说明
的基准图像确定单元312从多个模板图像中作为判定标准所确定的基准的图像。
44.模板图像例如在被包括在查看确认应用中的状态下，可以从服务器130被下载到电子装置120的存储单元306。可以基于经由通信单元307从服务器130接收到的信息来在预定定时更新电子装置的存储单元306中所存储的模板图像。例如，可以下载基准张贴通告图像，以在用于特权指派的游戏事件中的更新定时或者按固定间隔进行更新。可替代地，每次在执行查看确认处理之前，都可以从服务器130获得基准张贴通告图像，并将其存储在存储单元306中。可替代地，在查看确认应用用作web浏览器以访问用于获取查看图像的网站时，可以下载基准张贴通告图像。
45.存储单元306可以将由图像获取单元304获取到的现实空间区域的图像作为期望图像进行存储，并且为了存储该期望图像而具有作为用于临时保存由图像获取单元304重复获取到的现实空间区域的图像的缓冲器的功能。期望图像例如可以是后续处理所使用的信息，在该后续处理中，通过使用期望图像信息来发送查看确认请求。
46.特征点提取单元308从由图像获取单元304获取到的现实空间区域的图像以及模板图像中提取作为表示这些图像中的局部特征量的点的特征点(关键点)。例如，可以通过使用orb(定向fast和旋转brief)算法来实现特征点的提取。特征点位置确定单元309确定在基准图像放置在要由图像获取单元获取的现实空间区域的图像的预定区域内的情况下的特征点的位置。例如，可以通过表示图像中的坐标的坐标信息x、y来识别特征点的位置。
47.特征点距离计算单元310重复计算特征点距离。具体地，特征点距离计算单元310获得由图像获取单元304获取到的空间的图像，从由图像获取单元304获取到的空间的图像中检测与基准图像中的特征点相对应的点，并且以重复方式计算与基准图像中的特征点相对应的所检测到的点的位置和与所检测到的点相对应的特征点的所确定的位置之间的距离。
48.判断单元311基于从传感器单元305获得的至少一个传感器值的变化量以及所计算出的距离来判断电子装置的移动量是否等于或小于预定容许基准值。如果判断为电子装置的移动量等于或小于容许基准值，则控制单元301获得由图像获取单元304获取到的空间的图像，并且将该空间的图像作为期望图像存储在存储单元中。
49.基准图像确定单元312从存储单元306中所存储的作为对象物图像的两个或多于两个模板图像中选择一个模板图像，并且将该模板图像确定为基准图像。基准图像确定单元312通过使用图像获取单元304来获取空间的图像，从通过使用图像获取单元304所获取到的空间的图像中检测与所选择的一个模板图像中的特征点相对应的点，并且在与特征点相对应的所检测到的点的数量等于或大于预定基准值的情况下，将所选择的模板图像确定为基准图像。模板图像中的特征点可以是预先检测到并且连同表示这些特征点的信息一起存储在存储单元306中的，或者可以是在从存储单元306读取模板图像之后并且在执行任何处理或各处理之前检测到的。
50.接着，图4示出本实施例中的电子装置120和服务器130处的操作的流程图。在本实施例中，将说明如下的示例情况：用作电子装置120的智能电话的用户需要查看在预定场所张贴的用作对象物的张贴通告(海报)，以获得要在用户玩的在线游戏中使用的物品；然而，本发明可以用于任何系统，只要该系统使用在通过使用已知图像使电子装置120稳定的状态下获取到的对象物图像即可。
51.在本实施例中，为了查看确认，用户访问张贴有张贴通告的张贴场所，获取张贴通告的图像，并将包括所获取到的图像的查看确认请求发送到服务器，并且服务器进行用于判断所获取到的图像是否不是由另一个人获取到的图像的真实性判断，由此确认查看请求的正当性。这里，用户需要通过将张贴通告和张贴通告的周边区域包括在图像中来获取图像以进行查看确认。因此，可以提高不正当查看确认请求的检测精度。这是因为，连同张贴通告的图像一起获取到的周边图像在每次进行图像获取时都根据获取时间、角度等而改变，由此获取完全相同的图像的可能性非常低。尽管存在通过使用智能电话的地点信息来确认为用户访问了张贴有张贴通告的张贴场所的已知技术，但难以检测伪装在家里等处从网站获得的张贴通告图像的gps值的不正当性。通过使用本实施例，可以有效地防止通过篡改地点信息的不正当登记。
52.在服务器处图像被认证为正当查看图像之后，认识到用户实际访问了该场所并查看了海报，并且针对用户的游戏账户分发物品。在本实施例中，尽管张贴通告是印刷在纸张上的海报，但可以使用诸如液晶面板等的显示装置、或者广告牌，只要显示装置或广告牌用于张贴信息等即可。
53.首先，在本实施例中，用户将查看确认应用作为程序209下载并安装在电子装置120中，访问预定的张贴场所，并查看海报。当用户激活电子装置120中的查看确认应用以获取海报的图像时，电子装置120执行查看确认请求处理(s401)。
54.查看确认请求处理(s401)包括基准图像确定处理(s402)、期望图像存储处理(s404)和查看确认请求传输处理(s406)。在基准图像确定处理(s402)中，将从存储单元306内存储的作为对象物图像的两个或多于两个模板图像中选择的一个模板图像确定为基准图像。在存在预定场所处张贴的多个种类的张贴通告的情况下，优选识别用户试图获取图像的张贴通告。在这种情况下，预先将在预定场所张贴的多个张贴通告的图像作为模板图像存储在存储单元中，并且从这些模板图像中，将与用户尝试获取的图像相对应的模板图像确定为基准图像。
55.例如，在如仅存在一个张贴通告的情况那样、唯一地识别张贴通告的情况下，可以省略基准图像确定处理。此外，在将张贴通告张贴在多个场所的情况下，还可以将模板图像以与地点信息链接的方式存储在存储单元306中，通过使用gps传感器等识别电子装置120的地点，基于所识别的地点信息来选择与可以获取到的图像相对应的模板图像，并从所选择的模板图像中确定基准图像。
56.在期望图像存储处理(s404)中，基于基准图像和从电子装置120的传感器单元305获得的传感器值，将在电子装置的移动量满足预定允许水平时的获取图像作为期望图像进行存储。然后，在查看确认请求传输处理(s406)中，将包括所存储的期望图像的查看请求发送到服务器130。
57.图5示出根据一个示例的显示单元302上所显示的查看确认应用的显示画面500。如图5的(a)所示，显示单元302显示由图像获取单元304获取到的空间的图像、表示内部应包括海报502的预定区域的框501、以及指示用户将整个海报包括在框内的消息。这里，图像获取单元304的整个图像获取区域503显示在显示单元302上，并且框501具有比整个图像获取区域小的区域。因此，当海报502包括在框501内时，海报502的周边图像505显示在框501的外侧区域中。通过被指示将海报包括在框501内，用户移动电子装置120。因此，可以从一
定距离和角度获得包括周边图像的获取图像。一定距离和角度不必是严格恒定的。距离和角度仅需要落在判断为满足后面要说明的用于获取期望图像的预定条件的范围内。
58.在本发明中，在期望图像中作为海报的对象物不一定恰好包括框501内。在后面要详细说明的期望图像存储处理(s404)中，当判断满足预定条件时，将获取图像设置为期望图像。优选地，在作为对象物的海报包括在与放置有基准图像的区域重叠的框501的附近区域中时，进行图像获取。用户可以使用框501作为满足该要求的引导。
59.服务器130接收到查看确认请求并执行查看确认处理(s408)。在查看确认处理中，服务器130判断用户的查看是否是不正当的。在尽管用户实际上并未访问张贴场所、但用户在假装用户访问了张贴场所的同时进行查看确认请求的情况下，该查看也被判断为是不正当的。在用户实际访问了张贴有张贴通告的场所并查看了张贴通告之后、用户进行查看确认请求的情况下，该查看被判断为是正当的。服务器130基于关于查看是否不正当的判断结果来进行处理。
60.在执行查看确认处理(s408)之后，服务器130基于判断结果向电子装置120发送判断结果通知，并且电子装置120可以执行基于通知的处理(s410)。例如，如果判断结果表示查看是正当的，则服务器130针对发送了查看图像的用户、基于用户id来执行用于特权指派的处理，并发送表示执行了特权指派的信息作为判断结果通知，并且电子装置120将该信息显示在电子装置的显示单元上以能够向用户进行通知。判断结果通知处理并不总是必要的。例如，也可以仅在服务器处进行特权指派处理而不进行特权指派的通知，或者也可以在判断结果表示查看为不正当的情况下仅进行针对用户的帐户暂停处理。查看确认处理(s408)和基于通知的处理(s410)可以是任何处理，只要可以进行查看确认的处理并且可以执行基于通知的处理即可。
61.接着，图6示出本实施例中的基准图像确定处理(s402)的更具体的处理内容。当用户激活电子装置120处的查看确认应用时，电子装置120将针对模板图像的计数器i重置为0(s601)，激活图像获取单元304，并开始获取现实空间区域的图像(s602)。尽管图像获取单元304的图像获取通常可以按约每秒30帧或每秒60帧进行，但在本实施例中，假定按每秒5次的频度进行使用orb算法的特征量的计算，并且通过从由图像获取单元获取到的帧中按每秒5帧捕获帧来进行s602中的现实空间图像获取。
62.在s602中获取到一帧中的图像之后，进行用于从获取图像中提取特征点的提取处理(s604)。假定使用orb(定向fast和旋转brief)算法来提取特征点。这里，假定在存储单元306中存储有四个模板图像(t0至t3)。基准图像确定单元312从存储单元306读取模板图像t0，并且执行用于从模板图像t0中提取特征点的提取处理(s606)。如果包括与特征点有关的信息的模板图像预先存储在存储单元306中，则可以省略特征点提取处理。
63.接着，检测与模板图像t0中的特征点相对应的获取图像中的特征点(s608)。该检测例如可以通过使用利用orb(定向fast和旋转brief)特征量的关键点匹配技术来实现。然后，判断模板图像t0是否与获取图像匹配(s610)。也就是说，判断模板图像t0是否与用户试图获取的对象物图像相对应。具体地，如果在s608中检测到的与模板图像t0中的特征点相对应的获取图像中的特征点的数量超过预定基准值(阈值)，则判断为模板图像t0与获取图像匹配。预定基准值例如可以是在基准图像中检测到的特征点的总数的3％。
64.如果判断为模板图像t0与获取图像不匹配，则使计数器i递增(s612)。如果计数器
i小于存储单元中所存储的模板数量(即，4)(s614)，则从存储单元306读取下一模板图像ti，并且重复执行从s606到s614的处理。在针对所有模板图像都执行了从s606到s610的处理的情况下，将计数器i重置(s601)，并且基于下次获取到的帧中的图像来重复执行从s604到s614的处理，直到确定基准图像为止。
65.在s610中判断为模板图像ti与获取图像匹配的情况下，将被判断为与获取图像匹配的模板图像ti确定为基准图像(s616)。
66.在基准图像确定处理(s402)结束之后，执行期望图像存储处理(s404)。图7示出本实施例中的期望图像存储处理(s404)的更具体的处理内容。在电子装置120处，特征点位置确定单元309确定在基准图像被放置在要由图像获取单元304获取的空间的图像的预定区域内的情况下的特征点的位置(s701)。这里，假定特征点的位置通过表示获取图像中的坐标的坐标信息x、y来识别。
67.接着，与s602一样，通过使用图像获取单元304执行现实空间区域的图像的获取(s702)。此外，从传感器单元305获得传感器值(s704)，并将这些传感器值存储在用作缓冲器的存储单元306中。在本实施例中，如上所述，假定图像获取单元304按每秒5次进行对现实空间区域的图像获取，其中该图像获取伴随有orb特征量的计算。另一方面，传感器值的测量可以按约每秒100次在传感器单元处执行。因此，按每秒5次进行图像获取(s702)，并且在获得传感器值的s704中，例如可以将在传感器单元处执行了20次的测量存储在存储单元306中。可替代地，假定与期望图像存储处理并行地执行用于获得传感器值的处理，则每次在传感器单元305处测量传感器值时，都可以将传感器值顺次存储在存储单元306中。
68.在本实施例中，尽管传感器单元305测量并输出沿着三个陀螺仪轴、三个加速度轴和三个方位轴的9轴值，但即使当使用三个陀螺仪轴、三个加速度轴和三个方位轴的任一个或两个组合时，也可以获得相同的效果。此外，传感器不需要各自具有三个轴。在紧接在基准图像确定处理之后进行的处理中，可以通过使用在基准图像确定处理中获取到的现实空间的图像来省略s702。
69.接着，与s604至s610中的处理一样，进行用于从在s702中获取到的获取图像提取特征点的提取处理(s704)，提取与基准图像中的特征点相对应的获取图像中的特征点(s708)，并且判断基准图像是否与获取图像匹配(s710)。可以基于与基准图像中的特征点相对应的获取图像中的所检测到的特征点的数量是否等于或大于预定值来进行关于基准图像是否与获取图像匹配的判断。这里使用的预定值可以被设置为比在基准图像确定处理中使用的阈值低的阈值。通过使用比基准图像确定处理中的阈值低的阈值，可以防止流程频繁地返回到基准图像确定处理。
70.在本实施例中，如果判断基准图像与获取图像不匹配，则流程返回到基准图像确定处理(s402)。在基准图像的确定不正确、或者用户改变了要获取图像的张贴通告的情况下，可以从模板图像中选择新的适当基准图像。可替代地，在检测到的特征点的数量等于或小于预定值并持续了预定时间段或更长的情况下，流程可以返回到基准图像确定处理(s401)。如果省略了s708和s710、并且确定了基准图像，则可以继续期望图像存储处理，直到基于该基准图像获得期望图像为止。
71.如果在s710中判断为基准图像与获取图像匹配，则计算与基准图像中的特征点相对应的所检测到的点的位置和与所检测到的点相对应的特征点的所确定的位置之间的距
离(s712)。可以如下定义基准图像中的特征点的集合p与获取图像中的对应特征点的集合p’之间的距离“distance(p,p’)”。
72.{式1}
[0073][0074]
这里，x(pi)表示第i个特征点处的x坐标，并且y(pi)表示第i个特征点处的y坐标。在该式中，计算出所有特征点的距离的平均值作为距离。在不同的实施例中，还可以采用用于计算距离的最大值的方法、或者用于计算距离的中值或这些值的组合的另一统计值的方法。
[0075]
在s714中，判断电子装置120的移动量是否等于或小于预定允许水平。在本实施例中，基于从传感器单元获得的传感器值的变化量和所计算出的距离来进行与移动量是否等于或小于预定允许水平有关的判断。为了计算传感器值的变化量，需要在两个或多于两个定时(优选地，在预定时间段期间)获得的多个传感器值。因此，在s714中，在没有获得所需数量的传感器值的情况下，假定移动量不满足预定允许水平，流程返回到s702，重复执行传感器值的获取和距离的计算，直到获得所需数量的数据为止，并且将所获得的数据存储在用作缓冲器的存储单元306中。以下示出要存储在用作缓冲器的存储单元306中的数据d的示例。
[0076]
{式2}
[0077]
d：＝{bitmap，id，x，y，h，w，[s0，...，s
n-1
]，[p0，...，p
m-1
]}
[0078]
{式3}
[0079]
si：＝{xi，yi，zi，ai，bi，gi，αi，βi，γi}
[0080]
{式4}
[0081][0082]
数据d具有将如下的五个数据存储最多m秒的数据结构：基准图像的位图数据“bitmap”、与基准图像链接的识别符、表示与放置在所获取到的图像中的基准图像有关的放置信息的“x,y,h,w”、从传感器获得的预定时间段的传感器值信息s、以及表示图像中的特征点的位置的信息p。数据d存储在存储单元306的缓冲器中。在该缓冲器中，如环形缓冲器那样，可以从最旧数据开始覆盖数据。
[0083]
放置信息包括获取图像中的放置有基准图像的部分的左下端的坐标(x,y)、以及海报部分的宽度(w)和高度(h)。[s0,...,s
n-1
]表示在m秒中测量到的n组传感器值，并且si表示第i个传感器值。在本实施例中，传感器值si包括沿着三个陀螺仪轴(xi,yi,zi)、三个加速度轴(ai,bi,gi)和三个方位轴(αi,βi,γi)的传感器值。[p0,...,p
m-1
]表示与在m秒中测量到的m个帧中的特征点有关的位置信息，并且pi表示与第i帧中的q个特征点有关的位置信息。假定与一个特征点p有关的位置信息包括与该特征点有关的坐标信息x、y。以下示出数据缓冲器中所存储的传感器值和与特征点有关的位置信息的历史信息的示例。
[0084]
{表1}
[0085]
时间戳加速度计(x)加速度计(y)加速度计(z)
14987985770.50.20.114987985780.41.20.514987985790.61.40.4
…………
14988006000.50.20.1
[0086]
{表2}
[0087]
时间戳陀螺仪(a)陀螺仪(b)陀螺仪(g)14987985770.30.10.1114987985782.10.90.0114987985792.21.10.03
…………
14988006000.30.10.11
[0088]
{表3}
[0089]
时间戳方位(α)方位(β)方位(γ)14987985770.80.30.414987985783.51.20.514987985793.31.00.9
…………
14988006000.50.150.2
[0090]
{表4}
[0091]
时间戳feature_point_1feature_point2
…
feature_point_x1498798500(x＝100,y＝120)(x＝300,y＝320)
…
(x,y)1498798800(x＝101,y＝120)(x＝301,y＝320)
…
(x,y)1498799100(x＝198,y＝120)(x＝304,y＝320)
…
(x,y)
……………
1498800600(x＝99,y＝121)(x＝299,y＝321)
…
(x,y)
[0092]
表1至表3分别示出在预定时间段期间来自加速度传感器、陀螺仪传感器和方位传感器的传感器值的历史数据。表4示出各获取图像中的各个特征点的坐标的历史数据。可以基于在预定时间段期间测量到的在时间上相邻的传感器值之间的差来计算传感器值的变化量。可以将所计算出的差的绝对值的合计值设置为用于判断移动量的一个基准。时间戳表示测量的时间，并且时间戳值越大，测量到的值越新。
[0093]
例如，在表1中，来自加速度计(x)的时间戳为1498798577和1498798578的值分别为0.5和0.4，因此这两者之间的差的绝对值为0.1。类似地，计算来自加速度计(y)和加速度计(z)的时间戳为1498798577和1498798578的值之间的差。也就是说，这些差为0.8和0.4。接下来的在时间上相邻的传感器值是时间戳为1498798578和1498798579的值，并且来自加速度计(x)的这些值、来自加速度计(y)的这些值和来自加速度计(z)的这些值之间的差的绝对值是0.2、0.2和0.1。如果时间戳中的从1498798577到1498798579的时间段是预定时间段，则获得这些计算出的差的合计值(即，1.8)。
[0094]
对于特征点，基于上述的式1来计算基准图像中的特征点与被指派了一个时间戳的获取图像中的对应特征点之间的距离。在本实施例中，尽管将距离的平均值计算为距离并用于判断移动量，但也可以使用距离的最大值或中值或者这些值的组合作为统计值。距离的统计值可以是针对被指派了多个时间戳的特征点的距离的统计值。假定通过获取图像的宽度将距离标准化为[0,1]。
[0095]
此外，在一个变形例中，在预定时间段期间获取到的图像中的距离之间的距离差可以用作距离的统计值。例如，在时间戳为1498798500的距离的平均值为0.05、并且时间戳为1498798800的距离的平均值为0.03的情况下，距离差为0.02。计算出所有的基于与被指派了预定时间段内的相邻时间戳的特征点有关的位置信息所计算出的距离的平均值之间的差，并且获得这些差的合计值作为距离的统计值。
[0096]
然后，在与传感器值有关的合计值等于或小于预定值并且距离的统计值等于或小于预定值的状态持续了预定时间段的情况下，假定移动量满足预定允许水平。例如，在距离的平均值等于或小于0.1并且传感器值的变化量的合计等于或小于2.0的状态持续了0.5秒的情况下，判断为移动量满足预定允许水平。
[0097]
电子装置120的传感器(诸如陀螺仪传感器、加速度传感器和方位传感器等)可以按每秒100次监测移动和转动，由此使得可以检测到电子装置120的突然移动。另一方面，由于这些传感器仅捕获用户的手的移动，因此难以对由角度的细微变化等引起的变化作出响应。在本实施例中，除这些传感器之外，还使用基准图像中的特征点与获取图像中的特征点之间的距离来判断移动量。由于获取图像中的特征点的移动与通过放大智能电话的移动所获得的移动相对应，因此可以检测到细微的智能电话抖动。由于仅按每秒5次的频度计算orb特征量，因此突然移动的检测是困难的。因此，使用利用传感器(诸如加速度传感器等)测量的传感器值以及特征点之间的距离这两者，由此使得可以自动检测既未发生突然移动也未发生细微移动的稳定状态，以能够获取高质量图像。
[0098]
此外，还可以设置所检测到的对应特征点的数量等于或大于预定值的要求。例如，还可以设置在获取图像中检测到与基准图像中的特征点的总数的15％或更多相对应的特征点的数量的要求。基于足够数量的特征点来判断移动量，从而能够获取更高质量的图像。
[0099]
在判断为移动量不满足预定允许水平的情况下，流程返回到s702。
[0100]
在判断为移动量满足预定允许水平的情况下，在s716中将由图像获取单元获取到的空间的图像作为期望图像存储在存储单元306中，并且期望图像存储处理(s404)结束。作为期望图像存储在存储单元306中的图像是在s702中已获取到的图像，可以是用于判断移动量是否满足预定允许水平的一个获取的图像，并且优选地，可以是最后获取到的并存储在用作缓冲器的存储单元306中的图像。此外，紧接在判断为移动量等于或小于预定允许水平之后在预定时间段内由图像获取单元304获取到的图像也可以被设置为期望图像。
[0101]
在期望图像存储步骤s404结束时，电子装置120在s406中向服务器130发送查看确认请求。除了期望图像之外，与所获得的传感器值和特征点有关的信息也可以包括在查看确认请求中。由于与传感器值和特征点有关的信息被认为针对各查看请求是唯一的，因此该信息可以用于在服务器130处判断查看请求的正当性。也就是说，尽管存在期望图像将与由另一用户获取到的图像类似的可能性，但与传感器值和特征点有关的信息(其是表示在获取期望图像时的电子装置120的移动的历史的数据)将与其他这样的信息一致的可能性
极低。因此，该信息可以用作对于各图像获取而言唯一的签名信息。
[0102]
通过使用本实施例，可以在无需使用附加装置的情况下在电子装置120稳定的状态下获取包括对象物图像的图像，并且防止图像质量的下降，诸如存在由照相机抖动等引起的模糊的图像失真等。通过使用本实施例，可以进行获取图像的更可靠的真实性判断。使用利用传感器(诸如加速度传感器等)测量到的传感器值以及特征点之间的距离这两者，由此使得可以自动检测既未发生突然移动也未发生细微移动的稳定状态，以使得能够获取高质量图像。
[0103]
当用户移动电子装置120以获取例如将获取图像的放置有基准图像的预定区域内的对象物包括在由框501表示的区域内的图像、并且获取在对象物包括在框501内的瞬时的图像时，由于在电子装置120正大幅移动期间获取图像，因此获取图像的质量由于照相机抖动等而往往较低。该移动可能会降低特别是登记等所用的真实性判断的精度。通过使用本实施例，即使在用户移动电子装置120以尝试获取将对象物包括在获取图像的放置有基准图像的预定区域内的图像的情况下，也在电子装置120停止移动并变得稳定之后存储期望图像，由此可以从一定角度和距离获取包括周边图像的高质量图像。
[0104]
此外，在一个变形例中，代替图5所示的查看确认应用的显示画面500中的框501，或者除了框501之外，还可以绘制和显示将获取图像上的基准图像中的特征与在获取图像中检测到的对应特征点连接的相应线段。图8示出在绘制相应线段而不是框501的情况下的示例显示画面800。由叉号标记表示的点是基准图像中的特征点801的位置，并且由圆圈标记表示的点802是获取图像中的对应特征点的位置。对应特征点的位置与对应线段803连接，由此使得可以使用户容易理解电子装置120应移动的方向和距离。各种传感器值也可以显示在显示画面800中。电子装置120的移动量还可用作用户使电子装置120稳定的引导信息。
[0105]
只要在上述的处理或操作中未出现矛盾，就可以自由地修改该处理或操作。此外，上述的实施例是用于说明本发明的示例，并且本发明不限于该实施例。本发明可以以各种形式体现，只要未背离本发明的主旨即可。此外，在本实施例中所述的有利效果仅仅是从本发明导出的最优选效果的示例，并且本发明的有利效果不限于在本实施例中所述的这些效果。
[0106]
附图标记说明
[0107]
100：系统
[0108]
110：网络
[0109]
120：电子装置
[0110]
130：服务器
[0111]
201：处理器
[0112]
202：显示装置
[0113]
203：输入装置
[0114]
204：图像获取装置
[0115]
205：传感器
[0116]
206：存储装置
[0117]
207：通信装置
[0118]
208：总线
[0119]
209：程序
[0120]
251：处理器
[0121]
252：显示装置
[0122]
253：输入装置
[0123]
254：存储装置
[0124]
255：通信装置
[0125]
256：程序
[0126]
258：总线
[0127]
301：控制单元
[0128]
302：显示单元
[0129]
303：输入单元
[0130]
304：图像获取单元
[0131]
305：传感器单元
[0132]
306：存储单元
[0133]
307：通信单元
[0134]
308：特征点提取单元
[0135]
309：特征点位置确定单元
[0136]
310：特征点距离计算单元
[0137]
311：判断单元
[0138]
312：基准图像确定单元
[0139]
351：控制单元
[0140]
352：显示单元
[0141]
353：输入单元
[0142]
354：存储单元
[0143]
355：通信单元
[0144]
500：显示画面
[0145]
800：显示画面