图像处理装置、图像处理方法和记录介质与流程

1.本技术涉及图像处理装置、图像处理方法和记录介质，并且更具体地，涉及能够提高用户的可操作性的图像处理装置、图像处理方法和记录介质。


背景技术：

2.已知一种用于生成虚拟三维空间、在三维空间中设置视点(虚拟摄像装置位置)、以及将从虚拟摄像装置位置观看的三维空间显示为3d图像的技术(参考专利文献1至3)。
3.引用列表
4.专利文献
5.专利文献1：wo 2009/084213
6.专利文献2：日本专利申请特许公开第2003-334379号
7.专利文献3：日本专利申请特许公开第2002-298160号


技术实现要素：

8.本发明要解决的问题
9.顺便提及，当观察三维虚拟空间中的观察目标时，需要使虚拟摄像装置能够相对于观察目标直观地移动，以增强用户的可操作性。
10.本技术是鉴于上述情况而开发的，并且用于提高用户的可操作性。
11.问题的解决方案
12.根据本技术的一个方面的图像处理装置包括图像处理单元，该图像处理单元：在三维虚拟空间中设置指定虚拟空间中的区域的虚拟摄像装置，该区域由显示终端显示；执行控制使得显示终端显示表示虚拟空间的背景图像以及设置在背景图像中的虚拟对象；基于由显示终端测量的测量信号来确定显示终端的俯仰旋转；基于显示终端的俯仰旋转的确定结果，使虚拟摄像装置在俯仰方向上绕虚拟对象旋转；确定显示终端的触摸面板上的触摸操作；以及基于触摸操作的确定结果，使虚拟摄像装置在虚拟空间中在偏摆方向上绕虚拟对象旋转。
13.根据本技术的一个方面的图像处理方法包括：通过图像处理装置：在三维虚拟空间中设置指定虚拟空间中的区域的虚拟摄像装置，该区域由显示终端显示；执行控制使得显示终端显示表示虚拟空间的背景图像以及设置在背景图像中的虚拟对象；基于由显示终端测量的测量信号来确定显示终端的俯仰旋转；基于显示终端的俯仰旋转的确定结果，使虚拟摄像装置在俯仰方向上绕虚拟对象旋转；确定显示终端的触摸面板上的触摸操作；以及基于触摸操作的确定结果，使虚拟摄像装置在虚拟空间中在偏摆方向上绕虚拟对象旋转。
14.根据本技术的一个方面的记录介质记录有程序，该程序用于使计算机用作图像处理单元，该图像处理单元：在三维虚拟空间中设置指定虚拟空间中的区域的虚拟摄像装置，该区域由显示终端显示；执行控制使得显示终端显示表示虚拟空间的背景图像以及设置在
背景图像中的虚拟对象；基于由显示终端测量的测量信号来确定显示终端的俯仰旋转；基于显示终端的俯仰旋转的确定结果，使虚拟摄像装置在俯仰方向上绕虚拟对象旋转；确定显示终端的触摸面板上的触摸操作；以及基于触摸操作的确定结果，使虚拟摄像装置在虚拟空间中在偏摆方向上绕虚拟对象旋转。
15.在根据本技术的一个方面的图像处理装置、图像处理方法和记录介质中，在三维虚拟空间中设置指定虚拟空间中的区域的虚拟摄像装置，该区域由显示终端显示；执行控制使得显示终端显示表示虚拟空间的背景图像以及设置在背景图像中的虚拟对象；基于由显示终端测量的测量信号来确定显示终端的俯仰旋转；基于显示终端的俯仰旋转的确定结果，使虚拟摄像装置在俯仰方向上绕虚拟对象旋转；确定显示终端的触摸面板上的触摸操作；以及基于触摸操作的确定结果，使虚拟摄像装置在虚拟空间中在偏摆方向上绕虚拟对象旋转。
16.应注意，根据本技术的一个方面的图像处理装置可以是独立装置，或者可以是包括一个装置的内部块。
附图说明
17.图1是用于描述屏幕倾斜系统中的俯仰旋转和偏摆旋转的图。
18.图2是用于以混合系统描述视点的图。
19.图3是示出屏幕触摸操作中指尖在x方向和y方向上的移动的图。
20.图4是示出屏幕触摸操作中两个指尖之间的中点和距离的图。
21.图5是示出屏幕倾斜操作中的俯仰旋转和偏摆旋转的图。
22.图6是示出设置在虚拟空间中的虚拟摄像装置、在俯仰方向上绕虚拟对象的旋转以及在偏摆方向上绕虚拟对象的旋转之间的关系的图。
23.图7是示出应用本技术的3d图像显示系统的配置的示例的图。
24.图8是示出图7中的显示终端的硬件配置的示例的图。
25.图9是示出图8中的显示终端的功能配置的示例的图。
26.图10是描述显示处理的流程的流程图。
27.图11是描述与用户的操作对应的图像处理流程的流程图。
28.图12是示出世界坐标系与虚拟摄像装置坐标之间的关系的图。
29.图13是示出新系统中的屏幕触摸操作和屏幕倾斜操作与虚拟摄像装置的移动之间的对应关系的图。
30.图14是示出计算机的配置的示例的图。
具体实施方式
31.在下文中，将参照附图描述本技术的实施方式。注意，将按照以下顺序进行描述。
32.1.本技术的实施方式
33.2.修改
34.3.计算机的配置
35.《1.本技术的实施方式》
36.作为用于观察在三维虚拟空间中与背景图像一起显示的虚拟对象的用户界面
(ui)，存在一种用于使虚拟摄像装置绕观察目标移动的系统。该系统的示例包括屏幕倾斜系统和屏幕触摸系统。
37.屏幕倾斜系统是用于通过诸如智能电话的显示终端的屏幕的倾斜使虚拟摄像装置绕观察目标转动的系统。屏幕触摸系统是用于通过显示终端的屏幕上的触摸操作来移动虚拟摄像装置位置的系统。此外，还存在其中将屏幕倾斜系统和屏幕触摸系统进行组合的混合系统。
38.在屏幕倾斜系统中，显示终端的俯仰旋转与用户的握持显示终端的手的俯仰旋转(手腕的俯仰旋转)对应。在使用屏幕倾斜系统的情况下，与使用屏幕触摸系统的情况不同，虚拟摄像装置的取向基本上与显示终端的取向相关联。
39.因此，利用屏幕倾斜系统，可以直观地识别虚拟摄像装置的取向，并且不太可能发生如在使用屏幕触摸系统的情况下的旋转方向的错误识别(错误操作)。因此，从设置在虚拟空间中的虚拟对象的观察视点来看，与使用屏幕触摸系统的情况相比，屏幕倾斜系统可以向用户提供更直观的操作。
40.此外，利用屏幕倾斜系统，响应于从终端倾斜检测器(例如惯性测量单元(imu))输出的俯仰旋转信号来执行虚拟摄像装置在俯仰方向上的旋转(绕虚拟对象的转动)。此时，如果用户仅移动手腕，则由于手中握持的显示终端的俯仰旋转，显示终端的屏幕不面向用户。
41.如果屏幕通过显示终端的俯仰旋转而朝向上或朝向下，则用户自然地调整自己的姿势，类似于观看或查看真实对象的日常移动，使得屏幕面向用户(的面部)。
42.更具体地，在通过用户的手腕的移动使显示终端经受俯仰旋转的情况下，用户通过手臂的俯仰旋转调整手自身的位置，并且同时还通过俯仰旋转使头旋转，从而保持显示终端的屏幕面向用户的状态。
43.也就是说，由于显示终端的俯仰旋转而引起的观看屏幕的困难可以通过用户的自然的日常移动来减少。
44.关于显示终端的偏摆旋转，用户可以通过利用手臂的偏摆旋转来调整自身手的位置，并且同时还执行头部的偏摆旋转，来实现保持屏幕面向用户。
45.此处，将考虑屏幕倾斜系统中的俯仰旋转和偏摆旋转的旋转量。俯仰旋转是用于从上方观看观察目标(虚拟对象)或从下方仰视观察目标的旋转。因此，期望观察目标旋转的角度是 90度作为最大值和-90度作为最小值。因此，仅需要用户能够在相对于手腕的俯仰旋转角的180度的范围内操作虚拟摄像装置50(图1的a)。
46.同时，在偏摆旋转中，为了从前方和后方都观看观察目标，需要将观察目标旋转 180度作为最大值并且-180度作为最小值，其总共为360度。因此，仅需要虚拟摄像装置50能够相对于用户的手腕的偏摆旋转角旋转360度(图1的b)。
47.然而，在用户试图利用显示终端执行这样的旋转的情况下，用户完全面对背面，并且身体负担增加。此外，在另一个人观看的环境中，可能将用户的这样的行为视为可疑行为。
48.实际上，还可以通过将用户的手腕的偏摆旋转量乘以预定系数来实现随着手腕的少量偏摆旋转的虚拟摄像装置的偏摆旋转。然而，因为虚拟摄像装置随着手腕的少量移动而移动，虚拟摄像装置难以稳定。因此，与接下来将描述的屏幕触摸系统组合使用是常见
的。
49.在屏幕触摸系统中，将显示终端的触摸面板上的竖直方向上的拖拽操作转换为虚拟摄像装置在俯仰方向上的旋转，而将显示终端的触摸面板上的横向方向上的拖拽操作转换为虚拟摄像装置在偏摆方向上的旋转。此处，仅需要拖拽使虚拟摄像装置旋转所期望的量，并且将虚拟摄像装置固定在该位置，并且因此可以将虚拟摄像装置准确地移动至期望的位置。
50.注意，利用屏幕倾斜系统，虚拟摄像装置位置总是通过反映屏幕的倾斜而改变，并且虚拟摄像装置位置不是固定的。此外，在屏幕倾斜系统中位置指定的准确度通常低于用指尖执行的屏幕触摸系统中的位置指定的准确度。
51.当然，利用屏幕触摸系统，除非用户用指尖触摸屏幕，否则无法改变虚拟摄像装置位置。尽管取决于使用应用，这可能不是问题，但是在火车中，在一只手握持诸如智能电话的显示终端，而另一只手握住扶手的情况下，难以移动虚拟摄像装置。
52.因此，如果可以提供在用户尽可能少地移动双手(即，在对用户有较少身体负担)的情况下能够进行操作的操作方法，则可以改善在用户不能使用双手的情况下的视听体验。
53.目前，利用混合系统，能够通过倾斜显示终端的屏幕来进行偏摆旋转和俯仰旋转的操作，并且能够通过触摸屏幕来进行偏摆旋转和俯仰旋转的操作。
54.然而，在通过在显示终端的屏幕上触摸操作时在竖直方向上的拖拽操作来改变虚拟摄像装置在俯仰方向的位置的情况下，即使用户在水平方向上将显示终端的屏幕保持在正前方，上方的天空、下方的地面等也不可避免地由用户可视，由此用户可能会混淆视点面对哪个方向(图2)。
55.图2示意性地示出了下述状态：在用户的视点存在于图中圆圈表示的虚拟空间中的虚拟摄像装置位置的情况下，在真实空间中观看显示终端10的屏幕的用户看到的不是想要在虚拟空间中观看的图像v1，而是上方(例如天空)的图像v2。
56.此处，上述屏幕倾斜系统、屏幕触摸系统和混合系统的特征总结如下。
57.屏幕倾斜系统的优点(正面)的示例为以下几点。首先，用户可以利用与观看或查看真实对象的日常移动类似的移动来直观地执行操作。第二，因为用户可以仅用一只手操作显示终端，所以在俯仰旋转或偏摆旋转的旋转角度较浅的情况下，身体负担较低。
58.同时，屏幕倾斜系统的缺点(负面)在于，随着俯仰旋转和偏摆旋转的旋转角度增加，用户在观看/收听时的身体负担也增加。
59.屏幕触摸系统的优点(正面)在于，可以在虚拟空间中将虚拟摄像装置位置从当前位置准确地移动至期望位置。
60.同时，屏幕触摸系统的缺点(负面)在于，除非用户用指尖触摸显示终端的屏幕，否则无法移动虚拟摄像装置，并且因此，由于触摸操作而施加身体负担。
61.混合系统的优点(正面)的示例为以下几点。首先，因为与屏幕倾斜系统的情况类似，用户可以仅用一只手操作显示终端，所以在旋转角度浅的情况下，身体负担较小。
62.第二，与屏幕触摸系统的情况类似，可以在虚拟空间中将虚拟摄像装置位置从当前位置准确地移动至期望位置。第三，除非利用屏幕触摸执行俯仰旋转的改变，否则用户可以利用与观看或仰视真实对象的日常移动类似的移动来执行直观操作。
63.同时，混合系统的缺点(负面)在于，因为不仅可以执行屏幕倾斜操作而且可以执行屏幕触摸操作，所以可以显示具有与显示终端的屏幕的倾斜不同的倾斜的图像(图2)。
64.因此，在应用了本技术的系统(在下文中，称为新系统)中，通过在屏幕触摸操作时触摸屏幕的操作使虚拟摄像装置在偏摆方向上旋转，以及通过在屏幕倾斜操作时屏幕的倾斜使虚拟摄像装置在俯仰方向和偏摆方向上旋转，由此改变虚拟摄像装置相对于虚拟对象的位置。
65.利用该布置，可以避免由于具有与显示终端的屏幕的倾斜不同的倾斜的屏幕显示而出现的颠倒等使用户混淆，并且可以执行使虚拟摄像装置绕观察目标(虚拟对象)移动的更直观的操作。因此，可以提高用户的可操作性。
66.(术语定义)
67.此处，在描述新系统的详细内容之前，将定义本公开内容中使用的术语。
[0068]“虚拟摄像装置”指定由显示终端(的屏幕)在三维虚拟空间中显示的区域。虚拟空间中的虚拟摄像装置位置与用户观看显示终端的屏幕的视点的位置对应。
[0069]“背景图像”是表示三维虚拟空间的图像。背景图像包括具有至少180度或更宽的视角的广角图像。“虚拟对象”是设置在背景图像中的对象(物体)。
[0070]
虚拟对象是由用户观察到的观察目标。尽管虚拟对象根据所提供的服务而变化，但用户希望关注的运动员、名人等是观察目标。将被观察的虚拟对象不限于人，并且可以是生物(例如狗、猫或昆虫)、物体(例如艺术品)等。此外，将被观察的虚拟对象的数目不限于一个，并且可以多于一个，并且此外，虚拟对象可以不必是静止的，并且可以是移动的。
[0071]
注意，与“虚拟空间”相对的真实生活中的空间被称为“真实空间”。此外，与“虚拟对象”相对的真实生活中的对象被称为“真实对象”。
[0072]
屏幕触摸操作时的“x方向上的指尖移动”和“y方向上的指尖移动”表示如图3所示的操作。然而，图3示出了显示终端10的屏幕处于横向取向的情况。
[0073]“x方向上的指尖移动”是在手指与显示终端10的触摸面板110的屏幕接触的状态下在水平方向(x方向)上移动用户的手指的操作(图3中指向水平方向的箭头)。“y方向上的指尖移动”是在手指与触摸面板110的屏幕接触的状态下在垂直方向(y方向)上移动用户的手指的操作(图3中指向垂直方向的箭头)。
[0074]
注意，“x方向上的指尖移动”和“y方向上的指尖移动”可以不仅是用户的一个手指的指尖的移动(该指尖在图3所示的屏幕上)，而且是同时与屏幕接触的两个或更多个手指(例如食指和中指)的指尖的移动。
[0075]
此外，尽管图3将图中从左侧朝向右侧的操作示出为水平方向上的移动，但水平方向上的移动也可以为图中从右侧朝向左侧的操作。此外，尽管图3将图中从下侧朝向上侧的操作示出为垂直方向上的移动，但垂直方向上的移动也可以为图中从上侧朝向下侧的操作。
[0076]
此外，屏幕触摸操作时的“两个指尖之间的距离”和“两个指尖之间的中点”表示如图4所示的操作。然而，图4示出了显示终端10的屏幕处于横向取向的情况。
[0077]“两个指尖之间的距离”是用户的两个指尖与触摸面板110的屏幕接触的情况下两个指尖之间的距离(图4中的箭头)。“两个指尖之间的中点”是用户的两个指尖与触摸面板110的屏幕接触的情况下两个指尖之间的中点的位置。换言之，也可以说“两个指尖之间的
中点”是“两个指尖之间的距离”的中间位置(图4中箭头上的十字标记)。
[0078]
注意，尽管图4例示了“两个指尖之间的距离”是用户的左手和右手的食指的指尖之间的距离的情况，但是该距离可以是一只手的两个手指(例如食指和中指)的指尖之间的距离。
[0079]
屏幕倾斜操作中的“俯仰旋转”和“偏摆旋转”表示如图5所示的旋转。然而，图5示出了显示终端10的屏幕处于横向取向的情况。
[0080]“俯仰旋转”指示以图中的横向方向(水平方向上的虚线)作为轴的竖直方向上的旋转(图5)。具体地，如图5所示，在诸如智能电话的显示终端10的屏幕处于横向取向的情况下，将以较长方向作为轴的竖直方向上的旋转称为俯仰旋转。
[0081]“偏摆旋转”指示以图中的竖直方向(垂直方向上的虚线)作为轴的横向方向上的旋转(图5)。具体地，如图5所示，在显示终端10的屏幕处于横向取向的情况下，将以与较长方向垂直的方向(较短方向)作为轴的横向方向上的旋转称为偏摆旋转。
[0082]
注意，尽管未示出，但是在显示终端10的屏幕处于竖直取向的情况下，将以较短方向作为轴的竖直方向上的旋转称为“俯仰旋转”，而将以较长方向作为轴的在横向方向上的旋转称为“偏摆旋转”。
[0083]
虚拟摄像装置在虚拟空间中的“俯仰方向上的旋转”和“偏摆方向上的旋转”指示如图6所示的旋转。
[0084]“虚拟摄像装置在俯仰方向上的旋转”指示虚拟摄像装置在y-z平面上沿着以虚拟对象60为中心的球体的表面(球面)移动(图6)。
[0085]“虚拟摄像装置在偏摆方向上的旋转”指示虚拟摄像装置在x-z平面上沿着以虚拟对象60为中心的球体的球面移动(图6)。
[0086]
即，也可以说，“虚拟摄像装置在俯仰方向上的旋转”和“虚拟摄像装置在偏摆方向上的旋转”表示虚拟摄像装置绕虚拟对象60的转动。当虚拟摄像装置绕作为观察目标的虚拟对象60转动时，在观看虚拟对象60的同时绕虚拟对象60旋转的视点的移动能够作为用户的视点的位置。
[0087]
在图6中，将虚拟对象60的中心(例如重心)设置为虚拟摄像装置的“旋转中心(旋转中心位置)”，将从旋转中心到虚拟摄像装置的距离设置为“旋转半径(r)”。
[0088]
注意，在本公开内容中，“拖拽操作”是在保持手指与显示终端10的屏幕接触的同时将手指移动到目标位置然后释放手指的操作。“捏合(pinch-in)操作”是在显示终端10的屏幕上以捏合动作移动两个手指以缩小屏幕的操作。“张开(pinch-out)操作”是在显示终端10的屏幕上以展开动作移动两个手指以放大屏幕的操作。
[0089]
在下文中，将参照图7至图13描述新系统的详细内容。
[0090]
(系统的配置)
[0091]
图7示出了与新系统兼容的3d图像显示系统1的配置的示例。
[0092]
3d图像显示系统1包括显示终端10-1至10-n(n：1或更大的整数)，以及分发服务器20。
[0093]
在3d图像显示系统1中，显示终端10-1至10-n和分发服务器20经由网络30相互连接。网络30包括诸如因特网、内联网或移动电话网络的通信网络。
[0094]
显示终端10-1是具有显示器的移动终端，例如智能电话、平板终端、可穿戴装置或
便携式游戏机。
[0095]
响应于用户的操作等，显示终端10-1经由网络30向分发服务器20发送对应用的分发请求。显示终端10-1经由网络30接收从分发服务器20分发的应用。
[0096]
该应用是用于观看和收听运动员、名人、计算机图形中的人物(化身)等的3d图像(其图像是基于3d数据在自由视点视频中捕获的)的软件。在下文中，也将该应用称为“3d应用”。
[0097]
可以在3d应用中分发3d数据，或者当3d应用被执行时，显示终端10-1可以经由网络30接收(动态加载)来自诸如分发服务器20的外部服务器的3d数据。
[0098]
在显示终端10-1中，当从分发服务器20分发的3d应用被执行时，基于3d数据显示3d图像。
[0099]
类似于显示终端10-1，显示终端10-2至10-n被配置为诸如智能电话的移动终端。在显示终端10-2至10-n的每一个上，当从分发服务器20分发的3d应用被执行时，显示3d图像。
[0100]
注意，在下面的描述中，在不特别需要将显示终端彼此区分的情况下，也将显示终端10-1至10-n简称为“显示终端10”。
[0101]
分发服务器20包括用于分发3d应用并且被安装在数据中心等中的一个或多个服务器。分发服务器20由提供诸如3d图像分发服务的内容服务作为业务的业务运营商等提供。
[0102]
分发服务器20响应于来自显示终端10的分发请求，经由网络30发送(分发)3d应用。此外，在3d应用中不包括3d数据的情况下，分发服务器20响应于来自显示终端10的分发请求，经由网络30发送(分发)3d数据。
[0103]
(显示终端的配置)
[0104]
图8示出了图7中的显示终端10的硬件配置的示例。
[0105]
在图8中，显示终端10包括：控制单元101、存储器102、传感器103、图像处理单元104、存储单元105、显示单元106、输入单元107和通信单元108。在显示终端10中，显示单元106和输入单元107构成触摸面板110。
[0106]
控制单元101包括诸如中央处理单元(cpu)的处理器。控制单元101是主控制装置(处理装置)，其控制每个单元的操作并且执行各种算术处理，以及控制显示终端10的每个单元的操作。
[0107]
存储器102包括诸如随机存取存储器(ram)的半导体存储器。存储器102临时存储由控制单元101处理的各种数据。
[0108]
传感器103包括各种传感器装置。传感器103执行对用户、其附近等的感测，并且向控制单元101提供作为感测结果而获得的传感器数据。控制单元101基于从传感器103提供的传感器数据执行各种处理。
[0109]
传感器103的示例包括测量三维角速度和加速度的惯性测量单元(imu)等。惯性测量单元(imu)可以通过三轴陀螺仪和三向加速度计获得三维角速度和加速度。
[0110]
注意，传感器103可以包括：测量接近的事物的接近传感器、测量诸如心率、体温或生物的姿势的信息的生物传感器、测量磁场(磁场)的大小或方向的磁传感器等。
[0111]
图像处理单元104包括诸如图形处理单元(gpu)的处理器。图像处理单元104在控
制单元101的控制下对3d数据等执行预定图像处理。将通过图像处理获得的显示数据提供给显示单元106。
[0112]
存储单元105是包括诸如非易失性存储器的半导体存储器的辅助存储装置。存储单元105可以被配置为内部存储装置，或者可以是诸如存储卡的外部存储装置。
[0113]
存储单元105在控制单元101的控制下记录3d应用或诸如3d数据的各种数据。控制单元101可以读取和执行记录在存储单元105中的3d应用(中的数据)。
[0114]
显示单元106和输入单元107构成触摸面板110。显示单元106是诸如液晶面板或有机发光二极管(oled)面板的显示装置。输入单元107是安装在显示单元106的表面上的位置输入装置。
[0115]
显示单元106在控制单元101的控制下显示与来自图像处理单元104的显示数据对应的3d图像或各种信息。
[0116]
当用户的手指接触(触摸)显示单元106的表面时，输入单元107向控制单元101提供与接触位置(预定点的位置)对应的操作数据。控制单元101基于从输入单元107提供的操作数据来执行各种处理。
[0117]
通信单元108被配置为支持诸如无线局域网(lan)或蜂窝通信(例如，lte-高级、5g等)的无线通信或有线通信的通信装置(通信模块)。通信单元108在控制单元101的控制下经由网络30与另一设备通信。
[0118]
通信单元108经由网络30向分发服务器20发送对3d应用或3d数据的分发请求。通信单元108经由网络30接收从分发服务器20分发的3d应用或3d数据。将3d应用或3d数据提供给图像处理单元104并且进行处理，或者提供给存储单元105并且被记录。
[0119]
图9示出了被配置为应用本技术的图像处理装置的显示终端10(图8)的功能配置的示例。
[0120]
在图9中，显示终端10包括：终端倾斜检测单元121、屏幕触摸检测单元122、图像处理单元123和显示控制单元124。
[0121]
终端倾斜检测单元121与包括惯性测量单元(imu)等的传感器103(图8)对应。终端倾斜检测单元121检测显示终端10的屏幕的倾斜，并且将检测结果提供给图像处理单元123。
[0122]
屏幕触摸检测单元122与构成触摸面板110的输入单元107(图8)对应。屏幕触摸检测单元122检测用户的手指在显示单元106的表面上的接触(触摸)，并且将检测结果提供给图像处理单元123。
[0123]
图像处理单元123与控制单元101(图8)和图像处理单元104(图8)对应。图像处理单元123基于由通信单元108接收的3d数据执行预定的图像处理，并且将通过图像处理获得的显示数据提供给显示控制单元124。
[0124]
显示控制单元124对应于控制单元101(图8)。显示控制单元124执行在显示单元106上显示3d图像的控制，3d图像与从图像处理单元123提供的显示数据对应。
[0125]
此处，通过在虚拟空间中设置虚拟摄像装置并且执行图像处理以生成与背景图像和虚拟对象对应的显示数据，将包括背景图像和虚拟对象的3d图像显示在显示单元106的屏幕上。
[0126]
此外，将来自终端倾斜检测单元121的屏幕倾斜的检测结果以及来自屏幕触摸检
测单元122的屏幕触摸的检测结果提供给图像处理单元123。
[0127]
图像处理单元123基于屏幕倾斜的检测结果或屏幕触摸的检测结果中的至少一个来设置用于移动设置在虚拟空间中的虚拟摄像装置的参数。通过设置该参数，使虚拟摄像装置在虚拟空间中移动。
[0128]
如上所述配置3d图像显示系统1。
[0129]
注意，上述配置是3d图像显示系统1或显示终端10的配置的示例，并且可以添加另一部件(例如设备或功能)或者可以去除上述部件(例如设备或功能)。
[0130]
例如，尽管上面已经描述了其中将分发服务器20提供为3d图像显示系统1中的分发侧的设备(图7)的配置，但是可以单独提供用于图像处理的服务器，并且经受服务器的图像处理的3d数据可以由分发服务器20分发。此外，显示终端10可以不仅基于从分发服务器20分发的3d应用或3d数据，还基于记录在存储单元105中的3d应用或3d数据来显示3d图像。
[0131]
此外，例如，尽管上面已经描述了其中将图像处理单元104提供为除了控制单元101之外的显示终端10(图8)的配置，但是通过集成控制单元101和图像处理单元104(被配置为片上系统等)，可以将图像处理单元104的功能包括在控制单元101的功能中。
[0132]
此外，例如，可以包括扬声器、摄像装置、近场无线通信单元等作为显示终端10(图8)的组件。具体地，在显示终端10中，扬声器在控制单元101的控制下输出与对应于3d数据的3d图像有关的音频(声音)。
[0133]
摄像装置包括光学系统、图像传感器、信号处理电路等，并且向控制单元101提供通过捕获诸如用户的被摄体的图像而获得的成像数据。控制单元101基于来自摄像装置的成像数据执行各种处理。近场无线通信单元被配置为支持诸如蓝牙(注册商标)的近场无线通信的通信装置。近场无线通信单元在控制单元101的控制下执行与另一设备的近场无线通信。
[0134]
(显示处理的流程)
[0135]
接下来，将参照图10中的流程图描述与由显示终端10执行的与新系统兼容的显示处理的流程。
[0136]
在步骤s1中，图像处理单元123基于3d数据执行预定的图像处理，并且在三维虚拟空间中设置虚拟摄像装置。
[0137]
在步骤s2中，显示控制单元124基于图像处理的结果，控制表示三维虚拟空间的背景图像以及设置在背景图像中的虚拟对象的显示。
[0138]
利用该布置，显示终端10在显示单元106的屏幕上显示当从与用户的视点的位置对应的虚拟摄像装置位置观看时背景图像作为背景的包括虚拟对象的3d图像。
[0139]
在步骤s3中，图像处理单元123执行与用户的操作对应的图像处理。在该图像处理中，在与用户的屏幕触摸操作或屏幕倾斜操作对应的位置处设置用于在虚拟空间中移动虚拟摄像装置位置的参数，并且根据该参数来移动虚拟摄像装置位置。
[0140]
此处，参照图11中的流程图，将描述与图10中的步骤s3中的处理对应的响应于用户操作的图像处理的流程。
[0141]
注意，在该图像处理中使用的坐标系包括世界坐标和虚拟摄像装置坐标，世界坐标是表示虚拟空间内三维空间中的世界自身的坐标，虚拟摄像装置坐标是对虚拟摄像装置唯一的坐标。图12示出了世界坐标与虚拟摄像装置坐标之间的关系。
[0142]
在图12中，假设虚拟摄像装置50在包括虚拟摄像装置坐标y轴和虚拟摄像装置坐标z轴的虚拟摄像装置y-z平面上、以虚拟摄像装置坐标中的xyz轴的原点作为旋转中心在俯仰方向上旋转的情况。在这种情况下，在世界坐标中的xyz轴中，世界坐标y轴由在附图中从下侧朝向上侧的方向上的虚线表示。
[0143]
也就是说，作为虚拟空间中唯一的绝对坐标(不受虚拟摄像装置位置(用户的视点的位置)影响的坐标)，世界坐标用作虚拟对象等的显示位置(坐标)的索引。因此，世界坐标不必与对虚拟摄像装置唯一的虚拟摄像装置坐标一致，并且在图12的示例中，世界坐标y轴和虚拟摄像装置坐标y轴具有不同的轴取向。
[0144]
返回到图11中的描述，首先，图像处理单元123基于由屏幕触摸检测单元122检测到的检测结果来执行与用户接触显示单元106的屏幕的手指的数目对应的屏幕触摸操作处理。
[0145]
在步骤s11的确定处理中确定由屏幕触摸检测单元122检测到的手指的数目为1的情况下，执行步骤s12、s13中的处理。
[0146]
也就是说，图像处理单元123根据δt期间指尖在x方向上移动的移动量来设置在偏摆方向上的旋转量(下文中描述为“yaw 1”)(s12)。
[0147]
此外，图像处理单元123根据δt期间指尖在y方向上移动的移动量来设置世界坐标系中在y轴方向上的移动量(下文中描述为“y1”)(s13)。
[0148]
在步骤s11的确定处理中确定由屏幕触摸检测单元122检测到的手指的数目为2的情况下，执行步骤s14至s16中的处理。
[0149]
也就是说，图像处理单元123根据δt期间两个指尖之间的中点在x方向上的移动量来设置虚拟摄像装置坐标中的x方向上的移动量(下文中描述为“x2”)(s14)。
[0150]
此外，图像处理单元123根据δt期间两个指尖之间的中点在y方向上的移动量来设置虚拟摄像装置坐标中的y方向上的移动量(下文中描述为“y2”)(s15)。
[0151]
此外，图像处理单元123根据δt期间两个指尖之间距离的增大或减小来设置旋转半径的改变量(下文中描述为“r2”)(s16)。
[0152]
当步骤s13或s16中的处理结束时，处理进行至步骤s17。此外，在步骤s11中的确定处理中确定检测到的手指的数目为零的情况下，与指尖的数目对应的屏幕触摸操作处理是不必要的，并且因此处理进行到步骤s17。
[0153]
接下来，图像处理单元123基于由终端倾斜检测单元121检测到的检测结果来执行与显示终端10的屏幕的当前倾斜对应的屏幕倾斜操作处理。
[0154]
也就是说，图像处理单元123根据显示终端10在偏摆方向上的当前倾斜来设置偏摆方向上的旋转量(下文中描述为“yaw 3”)(s17)。
[0155]
此外，图像处理单元123根据显示终端10在俯仰方向上的当前倾斜来设置俯仰方向上的旋转量(下文中称为“pitch 3”)(s18)。
[0156]
图像处理单元123将虚拟摄像装置50的旋转半径设置为r2(s19)。此外，图像处理单元123将虚拟摄像装置50在偏摆方向上绕虚拟对象的旋转量以及虚拟摄像装置50在俯仰方向上绕虚拟对象的旋转量分别设置为yaw 1 yaw 3和pitch 3(s20)。
[0157]
图像处理单元123设置虚拟摄像装置50的旋转中心从当前位置移动x2、y1 y2的移动量(s21)。然而，此时将虚拟摄像装置坐标(x2,y2)转换为世界坐标，然后在y1和坐标系匹
配之后执行加法。
[0158]
以这样的方式，图像处理单元123设置与以下有关的参数：虚拟摄像装置的旋转半径和旋转中心以及虚拟摄像装置在俯仰方向和偏摆方向上的旋转(旋转半径r2、旋转中心(x2,y1 y2)、俯仰方向上的旋转量(pitch 3)、偏摆方向上的旋转量(yaw 1 yaw 3))，由此根据这些参数来移动虚拟摄像装置位置。
[0159]
当步骤s21中的处理结束时，处理返回至图10中的步骤s3，并且执行随后的处理。
[0160]
上面已经描述了与新系统兼容的显示处理的流程。在该显示处理中，通过在用户执行屏幕触摸操作的情况下使虚拟摄像装置50在偏摆方向上旋转，并且通过在用户执行屏幕倾斜操作的情况下使虚拟摄像装置50在俯仰方向和偏摆方向上旋转，响应于用户的操作来改变虚拟摄像装置50的位置。注意，此时，显示终端10在真实空间中的实际位置不反映在虚拟摄像装置50的移动中。
[0161]
利用该布置，可以避免由于具有与显示终端10的屏幕的倾斜不同的倾斜的屏幕显示而出现的颠倒等使用户混淆，并且可以执行使虚拟摄像装置绕虚拟对象移动的更直观的操作。
[0162]
此处，如图13所示，总结了上述新系统中的屏幕触摸操作和屏幕倾斜操作与虚拟摄像装置50的移动之间的对应关系。
[0163]
在显示终端10的屏幕的倾斜是通过屏幕倾斜操作的偏摆旋转的情况下，设置在虚拟空间中的虚拟摄像装置50根据屏幕的倾斜在偏摆方向上绕虚拟对象旋转(图11中的s17、s20)。
[0164]
此外，在显示终端10的屏幕的倾斜是通过屏幕倾斜操作的俯仰旋转的情况下，虚拟摄像装置50根据屏幕的倾斜在俯仰方向上绕虚拟对象旋转(图11中的s18、s20)。
[0165]
在利用一个手指通过屏幕触摸操作在屏幕上执行横向方向(水平方向)上的拖拽操作的情况下，虚拟摄像装置50根据指尖的移动量在偏摆方向上绕虚拟对象旋转(图11中的s12、s20)。
[0166]
此外，在利用一个手指通过屏幕触摸操作在屏幕上执行竖直方向(垂直方向)上的拖拽操作的情况下，虚拟摄像装置50的旋转中心根据指尖的移动量在世界坐标中的y轴方向上移动(图11中的s13、s21)。
[0167]
在利用两个手指通过屏幕触摸操作执行横向方向(水平方向)上的拖拽操作的情况下，虚拟摄像装置50的旋转中心根据指尖的移动量在虚拟摄像装置坐标中的x轴方向上移动(图11中的s14、s21)。
[0168]
此外，在利用两个手指通过屏幕触摸操作执行竖直方向(垂直方向)上的拖拽操作的情况下，虚拟摄像装置50的旋转中心根据指尖的移动量在虚拟摄像装置坐标中的y轴方向上移动(图11中的s15、s21)。
[0169]
在利用两个手指通过屏幕触摸操作来执行捏合操作的情况下，虚拟摄像装置的50旋转半径增大(图11中的s16、s19)。同时，在利用两个手指通过屏幕触摸操作来执行张开操作的情况下，虚拟摄像装置50的旋转半径减小(图11中的s16、s19)。
[0170]
《2.修改》
[0171]
(配置的其他示例)
[0172]
尽管上面已经描述了显示终端10执行与用户的操作对应的图像处理(图11)，由此
实现了在新系统中虚拟摄像装置50的与屏幕触摸操作和屏幕倾斜操作对应的移动的情况，但是与用户的操作对应的图像处理(图11)可以由诸如分发服务器20的另一设备来执行。
[0173]
具体地，在显示终端10中，通信单元108经由网络30将终端倾斜检测单元121和屏幕触摸检测单元122的检测结果发送至诸如分发服务器20的外部服务器，由此在外部服务器中生成考虑到检测结果的显示数据(或3d数据)。然后，当外部服务器发送(分发)显示数据(或3d数据)时，显示终端10可以基于显示数据(或3d数据)显示与用户的操作对应的3d图像。
[0174]
此外，以上例示了显示终端10通过所分发的3d应用被执行来显示与3d数据对应的3d图像的情况，显示终端10仅需要以某种方式获取3d数据或显示数据，并且不一定需要3d应用。
[0175]
注意，在本公开内容中，系统意指一组多个部件(装置、模块(部分)等)，而不考虑所有部件是否在同一壳体中。因此，容纳在单独的壳体中并且经由网络30连接的多个装置以及在一个壳体中容纳多个模块的一个装置都是系统。
[0176]
(输入接口的示例)
[0177]
尽管上面已经描述了将测量三维角速度和加速度的惯性测量单元(imu)用作用于屏幕倾斜操作的输入接口的情况，但是可以使用诸如压敏传感器的另一输入接口。
[0178]
具体地，压敏传感器可以用于开启/关闭屏幕倾斜的检测，并且当通过与用户的手指的接触对应的压力等按下压敏传感器时，虚拟摄像装置50可以在偏摆方向或俯仰方向上旋转。
[0179]
此外，尽管上面已经描述了通过使用触摸面板110作为用于屏幕触摸操作的输入接口来检测用户在横向方向或竖直方向上的拖拽操作等的情况，但是可以使用诸如控制器或遥控器的另一输入接口。
[0180]
具体地，可以将控制器等连接至显示终端10，并且根据用户对控制器等的操作(例如左键操作/右键操作或者上键操作/下键操作)，可以在偏摆方向上旋转虚拟摄像装置，或者可以在世界坐标系中在y轴方向上移动虚拟摄像装置的旋转中心。
[0181]
注意，当屏幕触摸由于在屏幕触摸操作时触摸面板110的损坏等而处于不稳定状态时，可以将输入接口从触摸面板110切换到控制器等。
[0182]
(初始值和限制的示例)
[0183]
尽管未在上述描述中特别描述关于虚拟摄像装置50的初始值和限制，但也可以针对虚拟摄像装置50的旋转半径或旋转中心的移动区域、旋转量、旋转速率等设置初始值或限制。
[0184]
具体地，关于旋转半径或旋转中心的旋转量和移动区域，可以预先设置可以由用户使用的区域，例如作为观察目标的虚拟对象的尺寸或移动区域，可以从其获取三维数据的区域或观察禁止角度。
[0185]
此外，当旋转半径、旋转中心、旋转量等超过预定限值时，通过改变显示单元106的屏幕上的预定区域(例如，屏幕的左端或右端或上端或下端)的显示(例如，以红色显示)，可以以不同于正常操作的显示模式的显示模式来执行反馈。注意，此处，不仅可以通过显示而且可以通过声音、振动等来执行反馈。
[0186]
此外，在显示终端10中，在检测到在正常操作时无意的屏幕的突然晃动、倾斜等的
情况下，可以在晃动、倾斜等不是由用户输入的操作的假设下忽略检测结果。具体地，尽管假设诸如智能电话的显示终端10在使用显示终端10的用户在诸如汽车或火车的交通工具上的情况下，检测到某种振动，但显示终端10可以忽略该振动。
[0187]
(屏幕触摸操作的示例)
[0188]
作为上述屏幕触摸操作，在利用两个手指执行竖直方向上的拖拽操作，并且虚拟摄像装置的旋转中心根据指尖的移动量在虚拟摄像装置的y轴方向上移动的情况下，可以将虚拟摄像装置在俯仰方向上的角度设置为0度(虚拟摄像装置面向前方的状态)或-90度(虚拟摄像装置面向正下方的状态)，以强制转换到预定状态。
[0189]
利用该布置，虚拟摄像装置坐标中的y轴方向与世界坐标中的y轴方向一致，由此虚拟摄像装置的旋转中心在世界坐标中的竖直方向上移动，或者虚拟摄像装置坐标中的y轴方向平行于x-z平面，由此虚拟摄像装置的旋转中心在世界坐标中的水平方向上移动，并且因此，用户可以容易地理解虚拟摄像装置的旋转中心移动的方向。注意，可以通过例如此时虚拟摄像装置在俯仰方向上的角度更接近0度还是-90度来确定将虚拟摄像装置在俯仰方向上的角度设置为0度还是-90度。
[0190]
此外，作为上述屏幕触摸操作，当利用一个手指在竖直方向上执行拖拽操作时，虚拟摄像装置可以(暂时地)在俯仰方向上旋转，并且然后由拖拽操作引起的俯仰方向上的旋转可以在预定的定时(例如在拖拽操作之后用户从屏幕释放手指的时刻)恢复到原始状态。利用该布置，可以通过利用一个手指在竖直方向上的拖拽操作来大幅度地减少虚拟摄像装置在俯仰方向上的旋转。
[0191]
此外，可以在显示终端10的屏幕上提供用于改变由用户观察到的观察目标的虚拟对象(旋转中心)的按钮ui，并且当按下按钮ui时，可以选择在另一位置处的预定虚拟对象作为观察目标以移动旋转中心。具体地，当在用户的视点聚焦在某一运动员上的情况下按下按钮ui时，视点移动至另一运动员的位置。
[0192]
如上所述，在与新系统兼容的图像处理装置(例如显示终端10或分发服务器20)中的图像处理单元(图像处理单元123)中，基于由显示终端10测量的测量信号(例如通过测量三维角速度和加速度而获得的imu信号)来确定显示终端10的俯仰旋转和偏摆旋转，基于显示终端10的俯仰旋转和偏摆旋转的确定结果，虚拟摄像装置在俯仰方向或偏摆方向中的至少一个方向上绕虚拟对象旋转，确定显示终端10的触摸面板110上的触摸操作，并且基于触摸操作的确定结果(例如，利用一个手指在水平方向上拖拽操作)，虚拟摄像装置在虚拟空间中在偏摆方向上绕虚拟对象旋转。
[0193]
也就是说，与新系统兼容的图像处理装置的图像处理单元不将触摸操作的确定结果(例如，利用一个手指在垂直方向上的拖拽操作)反映在虚拟摄像装置在虚拟空间中在俯仰方向上的旋转中。此外，此时显示终端10在真实空间中的实际位置不反映在虚拟摄像装置的移动中。
[0194]
利用该布置，在显示终端10中，通过在屏幕触摸操作时触摸屏幕的操作，使虚拟摄像装置在偏摆方向上旋转，并且通过在屏幕倾斜操作时屏幕的倾斜，使虚拟摄像装置在俯仰方向和偏摆方向上旋转，由此改变虚拟摄像装置相对于虚拟对象的位置。因此，可以防止具有与屏幕的倾斜不同的倾斜的屏幕显示，以避免用户由于出现颠倒等而混淆，并且执行使虚拟摄像装置绕观察目标(虚拟对象)移动的更直观的操作。
[0195]
因此，可以提高用户的可操作性。此外，通过利用诸如倾斜显示终端10或触摸屏幕的直观操作来移动虚拟摄像装置，用户可以享受将虚拟对象作为观察目标进行观察。
[0196]
注意，上述专利文献1公开了一种用于在加速度和每个速度超过预定阈值的情况下移动虚拟摄像装置的技术。此外，上述专利文献2公开了一种显示与壳体的倾斜对应的摄像装置视点视频的游戏系统。然而，专利文献1和专利文献2没有公开与屏幕触摸操作有关的技术。
[0197]
此外，上述专利文献3公开了一种用于根据xyz轴的位移(imu信号)来移动虚拟摄像装置的技术。然而，尽管公开了使用xyz轴的位移的虚拟摄像装置的移动，但是专利文献3没有公开与屏幕触摸操作组合的操作方法。
[0198]
同时，存在一种通过用于全向视频观看和收听的应用(现有的混合应用)等实现的混合操作方法，该混合操作方法是屏幕倾斜操作与屏幕触摸操作的组合。
[0199]
然而，利用现有的混合应用，在通过屏幕触摸操作时在竖直方向上的拖拽操作使虚拟摄像装置在俯仰方向上旋转的情况下，即使用户在水平方向上握持显示终端(例如智能电话)，上方的天空或下方的地面也可能不可避免地可视。因此，用户可能会混淆视点面对哪个方向。
[0200]
注意，利用现有混合应用，在显示终端的屏幕的倾斜是通过屏幕倾斜操作的偏摆旋转或俯仰旋转的情况下，虚拟摄像装置根据屏幕的倾斜在偏摆方向或俯仰方向上旋转。此外，利用现有混合应用，在利用一个手指通过屏幕触摸操作在屏幕上在横向方向或竖直方向上执行拖拽操作的情况下，虚拟摄像装置根据指尖的移动量在偏摆方向或俯仰方向上旋转。
[0201]
《3.计算机的配置》
[0202]
可以由硬件执行或可以由软件执行上述一系列处理(例如图10中的显示处理)。在由软件执行一系列处理的情况下，将在软件中包括的程序安装在每个装置中的计算机上。
[0203]
图14是示出通过程序执行上述一系列处理的计算机的硬件配置的示例的框图。
[0204]
在计算机中，中央处理单元(cpu)1001、只读存储器(rom)1002和随机存取存储器(ram)1003通过总线1004相互连接。此外，输入/输出接口1005连接至总线1004。输入单元1006、输出单元1007、存储单元1008、通信单元1009和驱动器1010连接至输入/输出接口1005。
[0205]
输入单元1006包括麦克风、键盘、鼠标等。输出单元1007包括扬声器、显示器等。存储单元1008包括硬盘、非易失性存储器等。通信单元1009包括网络接口等。驱动器1010驱动可移除记录介质1011，例如磁盘、光盘、磁光盘或半导体存储器。
[0206]
在如上所述配置的计算机中，上述一系列处理由cpu 1001经由输入/输出接口1005和总线1004将记录在rom 1002或存储单元1008中的程序加载到ram 1003中并且执行程序来执行。
[0207]
例如，可以通过将由计算机(cpu 1001)执行的程序记录在作为封装介质等的可移除记录介质1011上来提供该程序。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
[0208]
在计算机中，可以通过将可移除记录介质1011附接至驱动器1010，经由输入/输出接口1005将程序安装在存储单元1008上。此外，程序可以经由有线或无线传输介质被通信
单元1009接收并且安装在存储单元1008上。此外，可以将程序预先安装在rom 1002或存储单元1008上。
[0209]
此处，在本说明书中，由计算机根据程序执行的处理不一定必须按照流程图中描述的顺序按时间序列执行。也就是说，由计算机根据程序执行的处理还包括并行或单独执行的处理(例如，并行处理或对象处理)。此外，程序可以由一个计算机(处理器)处理，或者可以经受由多个计算机进行的分布式处理。
[0210]
注意，本技术的实施方式不限于上述实施方式，并且在不脱离本技术的范围的情况下可以进行各种修改。
[0211]
此外，显示处理(图10)和图像处理(图11)中的每个步骤可以由一个装置执行，或者可以通过由多个装置共享来执行。此外，在一个步骤中包括多个处理的情况下，除了由一个装置执行之外，可以通过由多个装置共享来执行在一个步骤中包括的多个处理。
[0212]
注意，以下配置可以用于本技术。
[0213]
(1)
[0214]
一种图像处理装置，包括：
[0215]
图像处理单元，所述图像处理单元：
[0216]
在三维虚拟空间中设置指定所述虚拟空间中的区域的虚拟摄像装置，所述区域由显示终端显示，
[0217]
执行控制使得所述显示终端显示表示所述虚拟空间的背景图像以及设置在所述背景图像中的虚拟对象，
[0218]
基于由所述显示终端测量的测量信号来确定所述显示终端的俯仰旋转，
[0219]
基于所述显示终端的俯仰旋转的确定结果，使所述虚拟摄像装置在俯仰方向上绕所述虚拟对象旋转，
[0220]
确定所述显示终端的触摸面板上的触摸操作，以及
[0221]
基于所述触摸操作的确定结果，使所述虚拟摄像装置在所述虚拟空间中在偏摆方向上绕所述虚拟对象旋转。
[0222]
(2)
[0223]
根据(1)所述的图像处理装置，
[0224]
其中，所述图像处理单元不将所述触摸操作的确定结果反映在所述虚拟摄像装置在所述虚拟空间中在所述俯仰方向上的旋转中。
[0225]
(3)
[0226]
根据(1)或(2)所述的图像处理装置，
[0227]
其中，所述背景图像包括具有至少180度的视角或更宽视角的广角图像，并且
[0228]
所述图像处理单元不将所述显示终端在真实空间中的实际位置反映在所述虚拟摄像装置的移动中。
[0229]
(4)
[0230]
根据(1)所述的图像处理装置，
[0231]
其中，所述虚拟摄像装置在所述俯仰方向和所述偏摆方向上的旋转包括所述虚拟摄像装置绕所述虚拟对象的转动。
[0232]
(5)
[0233]
根据(1)至(4)中任一项所述的图像处理装置，
[0234]
其中，所述图像处理单元：
[0235]
基于由所述显示终端测量的测量信号，确定所述显示终端的俯仰旋转和偏摆旋转，并且
[0236]
基于所述显示终端的所述俯仰旋转和偏摆旋转的确定结果，使所述虚拟摄像装置在所述俯仰方向或所述偏摆方向中的至少一个方向上绕所述虚拟对象旋转。
[0237]
(6)
[0238]
根据(2)所述的图像处理装置，
[0239]
其中，在所述触摸面板上执行水平方向上的预定操作作为所述触摸操作的情况下，所述图像处理单元使所述虚拟摄像装置在所述虚拟空间中在所述偏摆方向上绕所述虚拟对象旋转。
[0240]
(7)
[0241]
根据(6)所述的图像处理装置，
[0242]
其中，在所述触摸面板上执行垂直方向上的预定操作作为所述触摸操作的情况下，所述图像处理单元不将所述触摸操作反映在所述虚拟摄像装置在所述虚拟空间中在所述俯仰方向上的旋转中。
[0243]
(8)
[0244]
根据(7)所述的图像处理装置，
[0245]
其中，在所述触摸面板上执行垂直方向上的预定操作的情况下，所述图像处理单元从当前位置起在世界坐标中的y轴方向上移动所述虚拟摄像装置的旋转中心。
[0246]
(9)
[0247]
根据(7)或(8)所述的图像处理装置，
[0248]
其中，所述预定操作包括用户的手指的拖拽操作。
[0249]
(10)
[0250]
根据(1)至(3)中任一项所述的图像处理装置，
[0251]
其中，所述测量信号包括与三维角速度和加速度有关的信号，所述三维角速度和加速度是当所述用户执行使所述显示终端倾斜的操作时测量的。
[0252]
(11)
[0253]
根据(1)至(10)中任一项所述的图像处理装置，所述图像处理装置被配置为所述显示终端。
[0254]
(12)
[0255]
根据(1)至(11)中任一项所述的图像处理装置，
[0256]
其中，所述显示终端包括移动终端。
[0257]
(13)
[0258]
一种图像处理方法，包括：
[0259]
由图像处理装置：
[0260]
在三维虚拟空间中设置指定所述虚拟空间中的区域的虚拟摄像装置，所述区域由显示终端显示；
[0261]
执行控制使得所述显示终端显示表示所述虚拟空间的背景图像以及设置在所述
背景图像中的虚拟对象；
[0262]
基于由所述显示终端测量的测量信号来确定所述显示终端的俯仰旋转；
[0263]
基于所述显示终端的俯仰旋转的确定结果，使所述虚拟摄像装置在俯仰方向上绕所述虚拟对象旋转；
[0264]
确定所述显示终端的触摸面板上的触摸操作；以及
[0265]
基于所述触摸操作的确定结果，使所述虚拟摄像装置在所述虚拟空间中在偏摆方向上绕所述虚拟对象旋转。
[0266]
(14)
[0267]
一种使计算机用作图像处理装置的程序，所述图像处理装置包括：
[0268]
图像处理单元，所述图像处理单元：
[0269]
在三维虚拟空间中设置指定所述虚拟空间中的区域的虚拟摄像装置，所述区域由显示终端显示，
[0270]
执行控制使得所述显示终端显示表示所述虚拟空间的背景图像以及设置在所述背景图像中的虚拟对象，
[0271]
基于由所述显示终端测量的测量信号来确定所述显示终端的俯仰旋转，
[0272]
基于所述显示终端的俯仰旋转的确定结果，使所述虚拟摄像装置在俯仰方向上绕所述虚拟对象旋转，
[0273]
确定所述显示终端的触摸面板上的触摸操作，以及
[0274]
基于所述触摸操作的确定结果，使所述虚拟摄像装置在所述虚拟空间中在偏摆方向上绕所述虚拟对象旋转。
[0275]
(15)
[0276]
一种记录有程序的记录介质，该程序用于使计算机用作图像处理单元，所述图像处理单元：
[0277]
在三维虚拟空间中设置指定所述虚拟空间中的区域的虚拟摄像装置，所述区域由显示终端显示，
[0278]
执行控制使得所述显示终端显示表示所述虚拟空间的背景图像以及设置在所述背景图像中的虚拟对象，
[0279]
基于由所述显示终端测量的测量信号来确定所述显示终端的俯仰旋转，
[0280]
基于所述显示终端的俯仰旋转的确定结果，使所述虚拟摄像装置在俯仰方向上绕所述虚拟对象旋转，
[0281]
确定所述显示终端的触摸面板上的触摸操作，以及
[0282]
基于所述触摸操作的确定结果，使所述虚拟摄像装置在所述虚拟空间中在偏摆方向上绕所述虚拟对象旋转。
[0283]
附图标记列表
[0284]
1 3d图像显示系统
[0285]
10、10-1至10-n 显示终端
[0286]
20 分发服务器
[0287]
30 网络
[0288]
50 虚拟摄像装置
[0289]
60 虚拟对象
[0290]
101 控制单元
[0291]
102 存储器
[0292]
103 传感器
[0293]
104 图像处理单元
[0294]
105 存储单元
[0295]
106 显示单元
[0296]
107 输入单元
[0297]
108 通信单元
[0298]
110 触摸面板
[0299]
121 终端倾斜检测单元
[0300]
122 屏幕触摸检测单元
[0301]
123 图像处理单元
[0302]
124 显示控制单元
[0303]
1001 cpu