实现虚拟家居产品布局场景的方法及虚拟现实系统与流程

1.本发明涉及图像处理领域，特别是涉及一种实现虚拟家居产品布局场景的方法及虚拟现实系统。


背景技术：

2.现阶段的家居布局主要依靠用户购入家居产品后在家中通过实际摆放进行布局或依靠设计师出具的设计图纸进行布局，第一种方式不仅耗费过多的人力，而且购入的家居产品很有可能难以实现合理的搭配，用户满意度低，而第二种方式花费较多且用户参与度较低。综合考虑，在设计上需要一种可实现虚拟家居产品布局场景的方法及虚拟现实系统。


技术实现要素：

3.本发明第一方面的一个目的是要克服现有技术中的至少一个技术缺陷，提供一种实现虚拟家居产品布局场景的方法。
4.本发明第一方面的一个进一步的目的是要使得操作简便。
5.本发明第一方面的另一个进一步的目的是要更加准确地识别用户意图。
6.本发明第二方面的一个目的是要提供一种虚拟现实系统。
7.根据本发明的第一方面，提供了一种实现虚拟家居产品布局场景的方法，包括：
8.创建背景图像；
9.在所述背景图像上叠加待布局的至少一个元素模型，所述至少一个元素模型至少包括按照实际尺寸等比例绘制的家居产品三维模型；
10.获取体感装置捕捉的用户动作，使所述元素模型以响应于所述用户动作的姿态布置于所述背景图像中。
11.可选地，所述获取体感装置捕捉的用户动作，使所述元素模型以响应于所述用户动作的姿态布置于所述背景图像中的步骤包括：
12.在所述至少一个元素模型中确定目标元素模型，并将所述用户动作与所述目标元素模型关联。
13.可选地，所述在所述至少一个元素模型中确定目标元素模型，并将所述用户动作与所述目标元素模型关联的步骤包括：
14.获取所述体感装置与位于头戴式显示器的视野中心的元素模型的虚拟距离；
15.若所述虚拟距离小于等于预设距离阈值，将该元素模型确定为所述目标元素模型。
16.可选地，在所述将所述用户动作与所述目标元素模型关联的步骤之后还包括：
17.将所述目标元素模型的显示状态变更为激活状态，所述激活状态的视觉效果区别于其他元素模型。
18.可选地，所述体感装置配置为捕捉用户的手部动作，其中，在所述将所述用户动作
与所述目标元素模型关联的步骤之后还包括：
19.将所述目标元素模型配置为响应于用户的第一手部动作而缩小尺寸并吸附于所述背景图像中的用户的手部位置；和/或
20.将所述目标元素模型配置为响应于用户的第二手部动作而恢复尺寸并以当前姿态放置在所述背景图像中的用户的手部位置；和/或
21.将所述目标元素模型配置为响应于用户的第三手部动作而旋转。
22.可选地，所述体感装置配置为捕捉用户的手部动作，其中，所述根据所述用户动作的动作特征修饰所述用户动作的步骤包括：
23.若用户手部的动作速度小于等于预设速度阈值或用户手部的动作加速度大于等于预设加速度阈值，使所述目标元素模型以小于用户手部的动作速度响应于所述手部动作。
24.可选地，所述体感装置配置为捕捉用户的手部动作，其中，所述根据所述用户动作的动作特征修饰所述用户动作的步骤包括：
25.若用户手部在某一位置或某一姿态的停顿时间大于等于预设时间阈值，使所述目标元素模型直接以第一速度运动至该位置或变化至该姿态。
26.可选地，根据所述用户动作的动作特征修饰所述用户动作，所述动作特征为速度、加速度、同一位置的保持时间、同一姿态的保持时间中的至少一项。
27.可选地，所述创建背景图像的步骤包括：
28.获取用户输入的房间信息，所述房间信息包括房间尺寸、房间背景中的至少一种；
29.根据所述房间信息创建背景图像。
30.根据本发明的第二方面，提供了一种虚拟现实系统，包括：
31.头戴式显示器，用于输出虚拟图像；
32.体感装置，用于捕捉用户的动作；
33.处理器；以及
34.存储器，存储有计算机程序，所述计算机程序被所述处理器执行时用于实现根据以上任一所述的实现虚拟家居产品布局场景的方法。
35.本发明通过捕捉用户动作在虚拟背景图像中布置家居产品的三维模型，可简单、方便地实现用户对家居产品的自由布置，充分发挥了用户的想象力，摆脱了人力物力等外部条件的限制，提高了用户体验。
36.进一步地，本发明通过体感装置与位于头戴式显示器的视野中心的元素模型的虚拟距离确定目标元素模型，无需用户发布指令，便可自动地确定目标元素模型进而进行该模型的布置，提高了虚拟现实系统的智能化。
37.进一步地，本发明根据用户动作的速度、加速度、同一位置或同一姿态的保持时间对用户动作进行修饰，可更加准确地识别用户意图，避免目标元素模型不期望地重复运动，进一步地提高了虚拟现实系统的智能化，提高了用户体验。
38.根据下文结合附图对本发明具体实施例的详细描述，本领域技术人员将会更加明了本发明的上述以及其他目的、优点和特征。
附图说明
39.后文将参照附图以示例性而非限制性的方式详细描述本发明的一些具体实施例。附图中相同的附图标记标示了相同或类似的部件或部分。本领域技术人员应该理解，这些附图未必是按比例绘制的。附图中：
40.图1是根据本发明一个实施例的虚拟现实系统的示意性结构图；
41.图2是根据本发明一个实施例的实现虚拟家居产品布局场景的方法的示意性流程图；
42.图3是根据本发明一个实施例的实现虚拟家居产品布局场景的方法的示意性详细流程图。
具体实施方式
43.图1是根据本发明一个实施例的虚拟现实系统100的示意性结构图。参见图1，本发明的虚拟现实系统100可包括头戴式显示器110、体感装置120、处理器130以及存储器140。
44.头戴式显示器110可被用户穿戴于头部，并向用户输出真实对象或虚拟对象的虚拟图像。头戴式显示器110可以为虚拟显示头盔或者智能眼镜的显示设备。
45.体感装置120可配置为捕捉用户动作，进而使用户与头戴式显示器110输出的虚拟图像进行互动。体感装置120可为采用惯性感测、光学感测、触觉感测及其组合等手段捕捉用户动作的感测设备，例如数据手套。
46.在一些实施例中，体感装置120可配置为捕捉用户的手部动作，以便于更加灵活地预置指令动作，使得小幅度的用户动作便可实现与虚拟图像互动。在另一些实施例中，体感装置120也可配置为捕捉用户的手臂动作。
47.存储器140可存储有计算机程序141。计算机程序141可被处理器130执行时用于实现本发明实施例的实现虚拟家居产品布局场景的方法。
48.特别地，处理器130可配置为创建背景图像，并在背景图像上叠加待布局的至少一个元素模型，获取体感装置120捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中。其中，至少一个元素模型至少包括按照实际尺寸等比例绘制的家居产品三维模型。例如家用电器、家具等。在本发明中，至少一个为一个、两个或两个以上的更多个。
49.本发明的虚拟现实系统100通过捕捉用户动作在虚拟背景图像中布置家居产品的三维模型，可简单、方便地实现用户对家居产品的自由布置，充分发挥了用户的想象力，摆脱了人力物力等外部条件的限制，提高了用户体验。
50.在一些实施例中，处理器130可配置为获取用户输入的房间信息，并根据该房间信息创建背景图像。房间信息包括房间尺寸、房间背景中的至少一种，以提高虚拟现实系统100的实用性。
51.在一些实施例中，在获取体感装置120捕捉的具体的用户动作之前，处理器130可配置为在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联，以逐个布置元素模型。
52.具体地，处理器130可配置为获取体感装置120与位于头戴式显示器110的视野中心的元素模型的虚拟距离，并在虚拟距离小于等于预设距离阈值时将该元素模型确定为目标元素模型，并进一步将用户动作与该元素模型关联，关联过程无需用户发布指令，便可自
动地确定目标元素模型进而进行该模型的布置，提高了虚拟现实系统100的智能化。
53.在将用户动作与目标元素模型关联之后，处理器130还可配置为将目标元素模型的显示状态变更为激活状态，以提示用户可对该元素模型进行布置操作。其中，激活状态的视觉效果可区别于其他元素模型，例如，变更目标元素模型的显示颜色或透明度。
54.在体感装置120配置为捕捉用户的手部动作的实施例中，预置指令动作可至少包括第一手部动作、第二手部动作和第三手部动作。
55.在将用户动作与目标元素模型关联之后，处理器130可配置为将目标元素模型配置为响应于用户的第一手部动作而缩小尺寸并吸附于背景图像中的用户的手部位置，以使目标元素模型随用户的手部在背景图像中移动。在一些示例性的实施例中，第一手部动作可为抓取动作。
56.处理器130可配置为将目标元素模型配置为响应于用户的第二手部动作而恢复尺寸并以当前姿态放置在背景图像中的用户的手部位置，以将目标元素模型放置在期望的虚拟位置。在一些示例性的实施例中，第二手部动作可为展开手掌或抛出动作。
57.处理器130可配置为将目标元素模型配置为响应于用户的第三手部动作而旋转，以变换目标元素模型的姿态。在一些示例性的实施例中，第三手部动作可为转动手腕动作。
58.在一些实施例中，处理器130可配置为根据用户动作的动作特征修饰用户动作，可使目标元素模型的相应运动更符合用户的真实意图。动作特征可为速度、加速度、同一位置的保持时间、同一姿态的保持时间中的至少一项。
59.具体地，若用户手部的动作速度小于等于预设速度阈值或用户手部的动作加速度大于等于预设加速度阈值，使目标元素模型以小于用户手部的动作速度响应于手部动作，以避免目标元素模型不期望的运动。在本发明中，动作速度和动作加速度均为标量。
60.若用户手部在同一位置或同一姿态的保持时间大于等于预设时间阈值，使目标元素模型直接以第一速度运动至该位置或变化至该姿态，以提高响应速度。
61.若用户手部动作速度大于预设速度阈值且加速度小于预设加速度阈值、或用户手部在同一位置且同一姿态的保持时间均小于预设时间阈值，使目标元素模型以第二速度运动至背景图像中的用户手部位置，再以与用户手部的动作速度相同的速度响应于手部动作，以避免过度的动作延迟。
62.换句话说，在出现用户手部动作速度大于预设速度阈值且加速度小于预设加速度阈值的情况、或用户手部在同一位置且同一姿态的保持时间均小于预设时间阈值的情况时，若该时刻目标元素模型的运动滞后于用户的手部动作，先使目标元素模型以第二速度实现与用户手部动作的同步，在以相同的速度进行响应；若该时刻目标元素模型的运动与用户的手部动作已经为实时响应，则使目标元素模型继续以相同的速度进行响应。
63.在该实施例中，第一速度和第二速度可均大于用户手部在该时刻的动作速度，且在用户手部在该时刻的动作速度相同的情况下，第一速度可大于第二速度。
64.在一些实施例中，处理器130可配置为在背景图像中显示用户为全部可见或部分可见，以提高用户体验，并为用户修正自己的动作提供参考。在体感装置120配置为捕捉用户的手部动作的实施例中，处理器130可配置为在背景图像中仅显示用户的手部为可见。
65.图2是根据本发明一个实施例的实现虚拟家居产品布局场景的方法的示意性流程图。参见图2，本实施例的实现虚拟家居产品布局场景的方法可以由上述任一实施例的虚拟
现实系统100实现，该方法可包括如下步骤：
66.步骤s202：创建背景图像。背景图像可用于展现待布局的场景。
67.步骤s204：在背景图像上叠加待布局的至少一个元素模型。其中，至少一个元素模型至少包括按照实际尺寸等比例绘制的家居产品三维模型。家居产品可以包括但不限于电视，空调，冰箱，洗衣机，厨电，热水器等家电产品。
68.步骤s206：获取体感装置120捕捉的用户动作，使元素模型以响应于用户动作的姿态布置于背景图像中。
69.本发明的方法通过捕捉用户动作在虚拟背景图像中布置家居产品的三维模型，可简单、方便地实现用户对家居产品的自由布置，充分发挥了用户的想象力，摆脱了人力物力等外部条件的限制，提高了用户体验。
70.在一些实施例中，步骤s204可包括如下步骤：
71.根据用户输入的至少一个产品编号或选择的至少一个产品图片，从服务器下载对应的产品图纸；
72.将产品图纸转换为元素模型，并为元素模型增加碰撞体、刚体、摩擦力等属性。
73.在另一些实施例中，至少一个元素模型可预先存储在存储器140中，以供用户选择。
74.在一些实施例中，在步骤s206中，可在至少一个元素模型中确定目标元素模型，并将用户动作与目标元素模型关联，以逐个布置元素模型。
75.在一些实施例中，在步骤s206中，用户动作可具体为用户的手部动作，以便于更加灵活地预置指令动作，使得小幅度的用户动作便可实现与虚拟图像互动。
76.步骤s206可进一步包括如下步骤：
77.若获取到体感装置120捕捉的第一手部动作，将目标元素模型配置为响应于用户的第一手部动作而缩小尺寸并吸附于背景图像中的用户的手部位置，以使目标元素模型随用户的手部在背景图像中移动。
78.若获取到体感装置120捕捉的第二手部动作，将目标元素模型配置为响应于用户的第二手部动作而恢复尺寸并以当前姿态放置在背景图像中的用户的手部位置，以将目标元素模型放置在期望的虚拟位置。
79.若获取到体感装置120捕捉的第三手部动作，将目标元素模型配置为响应于用户的第三手部动作而旋转，以变换目标元素模型的姿态。
80.上述第一手部动作、第二手部动作、第三手部动作可以根据虚拟现实的用户交互习惯进行配置，例如第一手部动作对应于手部的抓取动作，第二手部动作对应于释放动作(展开手掌或抛出等)，第三手部动作对应于手部的翻转动作(转动手腕等)。
81.在一些实施例中，在步骤s206中，可根据用户动作的动作特征修饰用户动作，可使目标元素模型的相应运动更符合用户的真实意图。动作特征可为速度、加速度、同一位置的保持时间、同一姿态的保持时间中的至少一项。
82.具体地，若用户手部的动作速度小于等于预设速度阈值或用户手部的动作加速度大于等于预设加速度阈值，使目标元素模型以小于用户手部的动作速度响应于手部动作，以避免目标元素模型不期望的运动。在本发明中，动作速度和动作加速度均为标量。也就是说在出现用户手部动作速度大于预设速度阈值且加速度小于预设加速度阈值的情况、或用
户手部在同一位置且同一姿态的保持时间均小于预设时间阈值的情况时，若该时刻目标元素模型的运动滞后于用户的手部动作，先使目标元素模型以第二速度实现与用户手部动作的同步，在以相同的速度进行响应；若该时刻目标元素模型的运动与用户的手部动作已经为实时响应，则使目标元素模型继续以相同的速度进行响应。在该实施例中，第一速度和第二速度可均大于用户手部在该时刻的动作速度，且在用户手部在该时刻的动作速度相同的情况下，第一速度可大于第二速度。
83.图3是根据本发明一个实施例的实现虚拟家居产品布局场景的方法的示意性详细流程图。参见图3，本发明的实现虚拟家居产品布局场景的方法可包括如下详细步骤：
84.步骤s302：获取用户输入的房间信息以及用户选取的至少一个元素模型。在该步骤中，房间信息包括房间尺寸、房间背景中的至少一种，以提高虚拟现实系统100的实用性。
85.步骤s304：根据房间信息创建背景图像。
86.步骤s306：在背景图像上叠加待布局的至少一个元素模型。
87.步骤s308：获取体感装置120与位于头戴式显示器110的视野中心的元素模型的虚拟距离。
88.步骤s310：判断该虚拟距离是否小于等于预设距离阈值。若是，执行步骤s312；若否，返回步骤s308。
89.步骤s312：将该待关联元素模型确定为目标元素模型，将用户动作与目标元素模型关联并将目标元素模型的显示状态变更为激活状态，以提示用户可对该元素模型进行布置操作。
90.步骤s314：获取体感装置120捕捉的用户手部动作。
91.步骤s316：判断用户手部动作的动作速度是否小于等于预设速度阈值或手部动作的动作加速度是否大于等于预设加速度阈值。若是，执行步骤s318；若否，执行步骤s320。
92.步骤s318：使目标元素模型以小于用户手部的动作速度响应于手部动作，以避免目标元素模型不期望的运动。执行步骤s326。
93.步骤s320：判断用户手部在同一位置或在同一姿态的保持时间是否大于等于预设时间阈值。若是，执行步骤s322；若否，执行步骤s324。
94.步骤s322：使目标元素模型直接以第一速度运动至该位置或变化至该姿态，以提高响应速度。执行步骤s326。
95.步骤s324：使目标元素模型以第二速度运动至背景图像中的用户的手部位置，再以与用户手部的动作速度相同的速度响应于手部动作，以避免过度的动作延迟。执行步骤s326。
96.步骤s326：判断是否收到保存或退出指令。若是，结束虚拟图像的输出；若否，返回步骤s314，继续获取体感装置120捕捉的用户手部动作。
97.在上述虚拟布局的过程中，背景图像中可显示用户为全部可见或部分可见，以提高用户体验，并为用户修正自己的动作提供参考。
98.在一个具体实施例中，可以通过htc vive vr头盔及其配套定位器和leap motion手势识别设备来构建本实施例的虚拟现实系统。该实施例的虚拟现实系统的搭建过程可以包括：
99.获取家电设备的三维图纸，每种家电设备可以具有大中小三种型号的图纸，绘制
过程可以使用ug(unigraphics nx)。
100.绘制的图纸导入三维动画渲染软件(例如三维动画渲染3dsmax)，转换为家电设备的三维元素模型。
101.对于其他的三维元素模型，可以直接使用三维动画渲染软件进行设计。例如床，茶几，沙发，瓷砖等家具或装修材料可以通过3dsmax进行设计。
102.将家电设备以及其他的三维元素模型导入虚拟开发平台(例如unity3d)
103.在htc vive虚拟现实头盔的sdk(软件开发工具包)中接入虚拟开发平台(unity3d)中，调整头盔的定位设备，搭建虚拟场景。
104.leap motion手势识别设备与htc vive虚拟现实头盔连接。在unity3d中建立手部属性，放入虚拟场景后，加入碰撞体和刚体等属性。leap motion识别手部信息，读取手部状态。
105.编写脚本对手部与各零件进行关联，加入碰撞、摩擦力等属性。通过数据采集算法，对手部移动信息进行采集计算。
106.在使用虚拟现实系统时，通过leap motion手势识别设备以及htc vive虚拟现实头盔获取手部与待布置的三维元素模型的虚拟距离，当虚拟距离符合布置条件时，激活目标元素模型(例如将目标元素模型变更为绿色)。然后通过检测用户的手部动作，使目标元素模型相应动作，例如通过定义手势弯曲抓取可将目标元素模型吸附在手中，改变目标元素模型的属性，完成布局操作。
107.此外，本实施例的实现虚拟家居产品布局场景的方法，还可以对待布局的元素模型进行布局条件的设置，例如设置布局的优先级，指示用户按照元素模型的优先级依次进行布局，从而指示用户逐步完成布局。另外，本实施例的方法，还可以自动根据用户完成布局生成后续元素模型的限制条件，例如可以从空间大小、整体造价、空间功能、视觉统一性方面限制后续可以选用的元素模型。
108.例如在用户在背景图像上布置瓷砖及壁纸后，可以优先推荐用户对尺寸较大的沙发、床等家具进行布局，然后根据布局后的空间大小，将不符合尺寸要求的家居配置成不可操作状态。
109.又例如，在某一虚拟空间布局有茶几沙发后，可以认为该空间可能被布局为客厅环境，可以将符合客厅功能的元素模型优先展现。
110.又例如，在布局前，可以获取用户设定的布局总价，在布局过程中，根据已布局的产品价格，限制后续可利用的元素模型。
111.再例如，在布局过程中，可以根据已布局的视觉效果推荐合适外观的家电产品。
112.本发明的实现虚拟家居产品布局场景的方法，可更加准确地识别用户意图，提高了虚拟现实系统100的智能化，避免目标元素模型不期望地重复运动，且无需用户进行复杂的动作，缩短了用户的学习过程，用户体验极佳。
113.至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。