一种MR/AR/VR留言和创作场景控制方法、移动终端与可读存储介质与流程

一种mr/ar/vr留言和创作场景控制方法、移动终端与可读存储介质
技术领域
1.本技术涉及增强现实技术领域，具体涉及一种mr/ar/vr留言和创作场 景控制方法、移动终端与可读存储介质。


背景技术：

2.目前，vr眼镜的相关研究和开发迎来了一波热潮，越来越多的公司和 企业宣布加入研发行列进行相关产品的研发。vr眼镜作为主流产品主打沉浸 式和全虚拟，但该类产品由于打造的是全虚拟的世界平台容易让使用者沉迷虚 拟世界，逃离现实世界，易于产生降低人均生产效率和生产价值的不良影响， 不利于社会发展。
3.同时，在现实生活中经常出现构想或设计的实际复现成本较大且建设周期 较长的情况，并且由于现实世界中缺少互动性和趣味性而让越来越多的人选择 在网上畅游，并且在现实世界中的行动成本和检索成本较高而让越来越多的人 选择在网上购物、点外卖，上述现象都是由于现实世界与虚拟世界还未实现互 联互通所导致的。
4.因此，将虚拟世界与现实世界在同一个平台上进行融合的系统和方法不仅 能预防用户沉浸于虚拟世界，而且降低了现实世界的实现成本提高了现实世界 的趣味性、互动性和针对性，该项技术、系统与应用能够真正让人们在体验真 实生活的同时享受虚拟生活的便利。


技术实现要素：

5.一种mr/ar/vr留言场景控制方法包括如下步骤：
6.s1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；
7.s2.通过智能眼镜上的定位模块和感知模块获取实时gps信息和图像信 息；
8.s3.将gps信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中语音数据和文字数据所附带的gps信息和图像信息进行匹配；
9.s4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行 数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置 进行数据呈现。
10.一种mr/ar/vr创作场景控制方法包括如下步骤：
11.s5.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实展示层 界面；
12.s6.通过智能眼镜上的定位模块和感知模块获取实时gps信息和图像信 息；
13.s7.将gps信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中三维图像数据和二维图像数据所附带的gps信息和图像信息进 行匹配；
14.s8.匹配成功后服务器将历史数据中对应匹配的三维图像数据、二维图像 数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的 成像装置进行数据呈现。
15.所述的历史数据的预处理包括如下步骤：
16.s9.根据历史数据中相关数据所附带的gps信息和图像信息中的一个或多 个信息进行园区的划分，确定对应园区gps信息和图像信息中的一个或多个 信息范围；
17.s10.将历史数据中相关数据根据划定的范围进行归类，完成以园区为主体 的数据划分。
18.所述的园区的划分包括如下步骤：
19.s11.根据gps信息对园区进行初步划分，每个园区分别对应一个gps范 围；
20.s12.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量 或标志物进行识别和提取，对每个园区特征量或标志物完成标注。
21.经过所述的预处理的数据进行匹配的方法如下：
22.s13.将服务器历史数据中相关数据根据其所附带的gps信息和图像信息 与园区的各区块的gps信息和图像信息进行匹配；
23.s14.若完成匹配，则将该数据迁移至匹配园区区块内；
24.s15.将智能眼镜上的实时gps信息和实时图像信息与园区的各区块的 gps信息和图像信息进行匹配；
25.s16.若完成匹配，则将该园区区块中的相关数据虚拟成像至该智能眼镜 上。
26.所述的三维图像数据、二维图像数据通过如下步骤进行获取：
27.s17.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实创作 层界面；
28.s18.用户通过智能眼镜的操作手柄构建三维图像数据或二维图像数据，通 过成像装置将构建的实时三维图像数据或实时二维图像数据成像在智能眼镜 的镜片上，根据智能眼镜的定位模块获取当下的gps信息，根据智能眼镜的 感知模块获取当下实景的图像信息，将gps信息和图像信息附带在所述的三 维图像数据或二维图像数据中；
29.s19.将上述打包后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输至gps信息和图像信息与所上传的三维图像数 据或二维图像数据附带的gps信息和图像信息相同的智能眼镜上，通过成像 装置进行成像展示。
30.所述的三维图像数据、二维图像数据通过如下步骤进行多次创作：
31.s20.通过智能眼镜的操作手柄在历史数据中的三维图像数据和二维图像 数据上进行数据的更改和添加，通过成像装置将实时三维图像数据或实时二维 图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块更新当下的gps 信息，根据智能眼镜的感知模块更新当下实景的图像信息，将gps信息和图 像信息附带在所述的三维图像数据或二维图像数据中；
32.s21.将上述更新后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输至gps信息和图像信息与所上传的三维图像数 据或二维图像数据附带的gps信息和图像信息相同的智能眼镜上，通过成像 装置进行成像展示。
33.一种移动终端，包括处理器、存储器及存储在所述存储器上并可在所述处 理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现所述的控 制方法的步骤。
34.一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序， 所述计算机程序被处理器执行时实现所述的控制方法的步骤。
的主题性场景即为上述的切片，所述的若干切片可以叠加，以特定数量组合成 新的切片，即所述的主题性场景可以单独在智能眼镜上进行可视化呈现，也可 以组合在智能眼睛上进行可视化呈现。若所述的主题性场景有n个，则用户 可切换的主题性场景的个数上限为：(2
n-1)。
48.如图3所示，实施例一中基于增强现实的智能眼镜系统硬件包括智能眼镜 本体101、交互操控装置102，所述的智能眼镜本体101与所述的交互操控装 置102建立数据连接，用户可通过交互操控装置102完成智能眼镜本体101 上虚拟场景的切换，其中在所述的智能眼镜本体101上的虚拟成像包含场景标 签：场景一201、场景二202、场景三203、场景四204
……
，实现场景间的可 视化切换，更进一步地，所述的场景标签可具备下级标签，用以展开某一场景 下的下分场景，通过所述的交互操控装置102实现场景的切换与下钻。
49.更进一步地，在数据后台中每一种场景对应有使用率、至少一个特征标准 及一组ar参数。其中所述的场景一、场景二、场景三、场景四
……
的排序方 式根据每一种场景的对应使用率进行从高到低的排序。其中，所述的使用率计 算公式可以为：式中，t(i)为第i个场景的使用时长，为 用户使用智能眼镜的总时长。
50.更进一步地，为了逐步适应用户习惯进行数据更新服务，具体方法如下：
51.s52.建立用户数据库存储用户的特征数据，例如对每一种场景的使用时 长，或对每一种场景的使用率，或对每一种场景的使用频次；
52.s53.每经过一段时间更新一次用户的特征数据，根据特征数据进行场景由 高到低的排序。
53.更进一步地，为了更加匹配用户需求进行个性化定制服务，具体方法如下：
54.s54.对后台所有用户的特征数据进行归类；
55.s55.根据归类后的用户特征数据建立用户画像，每一类用户画像对应于某 一用户特征数据的区间，同时对应于某一种场景排序；
56.s56.根据新用户操作完成该用户在用户画像上的归类，执行该类用户画像 对应的场景排序。
57.更进一步地，可实现场景的自主切换与选择，具体方法如下：
58.s57.分析检测周围环境数据以取得周围环境的至少一个主体特征；
59.s58.将每一场景的特征标准与该主体特征进行比对，若完成匹配则将场景 自主切换至与主体特征匹配的特征标准所对应的场景。
60.在所述的场景的自主切换与选择中，其特征标准可设定为人像占全图像比 例的三分之一及以上，也可以是其他比例，例如四分之一、五分之一等，由厂 家自行设定。
61.实施例二，如图4所示，一种基于增强现实的智能眼镜系统在留言功能下 的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加语音数据和 文字数据的可视化成像，实现留言功能的智能眼镜系统硬件如图5所示，包括 智能眼镜本体一301、成像装置一401、感知模块一402、语音输入装置一403、 文字输入装置一404、定位模块一405、通信模块一406以及服务器一407。 其中所述的成像装置一401、感知模块一402、语音输入装置一403、文字输 入装置一404、定位模块一405、通信模块一406分别与所述的智能眼镜本体 一301建立数据连接，所述的通信模块一406与所述的服务器一407采用远程 通信方式建立数
据连接。其中，感知模块一402可以为摄像头，也可以为激光 雷达。
62.如图6所示，实施例二中控制具备留言功能的基于增强现实的智能眼镜系 统的方法如下：
63.s1.通过在智能眼镜上的界面切换或选择进入留言场景的增强现实界面；
64.s2.通过智能眼镜上的定位模块和感知模块获取实时gps信息和图像信 息；
65.s3.将gps信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中语音数据和文字数据所附带的gps信息和图像信息进行匹配；
66.s4.匹配成功后服务器将历史数据中对应匹配的语音数据、文字数据进行 数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的成像装置 进行数据呈现。
67.更进一步地，为了使历史数据和实时数据在匹配过程中减少匹配次数提升 匹配速度，对历史数据进行预处理，方法如下：
68.s5.根据历史数据中语音数据、文字数据所附带的gps信息和图像信息中 的一个或多个信息进行园区的划分，确定对应园区gps信息和图像信息中的 一个或多个信息范围；
69.s6.将历史数据中语音数据、文字数据根据划定的范围进行归类，完成以 园区为主体的数据划分。
70.其中s5中所述的园区的划分具体可以为：
71.s51.根据gps信息对园区进行初步划分，园区1、园区2、园区3、园区4 分别对应一个gps范围；
72.s52.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征量 或标志物进行识别和提取，对每个园区特征量或标志物完成标注，园区1—标 记点1、园区1—标记点2、园区1—标记点3，园区2—标记点1、园区2—标 记点2、园区2—标记点3，园区3—标记点1、园区3—标记点2、园区3—标 记点3。
73.对完成预处理的数据进行匹配的方法如下：
74.s7.将服务器历史数据中语音数据、文字数据根据其所附带的gps信息和 图像信息与园区的各区块的gps信息和图像信息进行匹配；
75.s8.若完成匹配，则对该条语音数据或文字数据迁移至匹配园区区块内；
76.s9.将智能眼镜上的实时gps信息和实时图像信息与园区的各区块的gps 信息和图像信息进行匹配；
77.s10.若完成匹配，则将该园区区块中的语音数据和文字数据虚拟成像至该 智能眼镜上。
78.更进一步地，为了完成历史数据的更新，对实时数据进行捕捉，方法如下：
79.s11.通过智能眼镜的语音输入装置和文字输入装置获取语音数据和文字 数据，包括语音数据和文字数据所附带的gps信息和图像信息，通过定位模 块和感知模块获取实时信息；
80.s12.将语音数据和文字数据以及其附带的gps信息和图像信息上传至服 务器的历史数据库。
81.实施例三，如图7所示，一种基于增强现实的智能眼镜系统在创作功能下 的可视化场景叠加态可在实景通过所述的智能眼镜的镜片时叠加图像数据的 可视化成像，实现
创作功能的智能眼镜系统硬件如图8所示，包括智能眼镜本 体二501、操作手柄502、成像装置二504、感知模块二503、定位模块二505、 通信模块二506以及服务器二507。其中，所述的操作手柄502、成像装置二 504、感知模块二503、定位模块二505、通信模块二506分别与所述的智能眼 镜本体二501建立数据连接，所述的通信模块二506与所述的服务器二507 采用远程通信方式建立数据连接。其中，感知模块二503可以为摄像头，也可 以为激光雷达。
82.实施例三中控制具备创作功能的基于增强现实的智能眼镜系统的方法包 括展示层与创作层，如图9所示，其中展示层的方法基本与实施例二相同，如 下：
83.s13.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实展示 层界面；
84.s14.通过智能眼镜上的定位模块和感知模块获取实时gps信息和图像信 息；
85.s15.将gps信息和图像信息通过通信模块上传至服务器，与服务器所存储 的历史数据中三维图像数据和二维图像数据所附带的gps信息和图像信息进 行匹配；
86.s16.匹配成功后服务器将历史数据中对应匹配的三维图像数据、二维图像 数据进行数据回传，通过智能眼镜的通信模块进行数据接收，通过智能眼镜的 成像装置进行数据呈现。
87.更进一步地，为了使历史数据和实时数据在匹配过程中减少匹配次数提升 匹配速度，对历史数据进行预处理，方法如下：
88.s17.根据历史数据中三维图像数据、二维图像数据所附带的gps信息和图 像信息中的一个或多个信息进行园区的划分，确定对应园区gps信息和图像 信息中的一个或多个信息范围；
89.s18.将历史数据中三维图像数据、二维图像数据根据划定的范围进行归 类，完成以园区为主体的数据划分。
90.其中s17中所述的园区的划分具体可以为：
91.s171.根据gps信息对园区进行初步划分，园区1、园区2、园区3、园区 4分别对应一个gps范围；
92.s172.根据感知模块所获取的图像信息对园区进行二次划分，对图像特征 量或标志物进行识别和提取，对每个园区特征量或标志物完成标注，园区1— 标记点1、园区1—标记点2、园区1—标记点3，园区2—标记点1、园区2 —标记点2、园区2—标记点3，园区3—标记点1、园区3—标记点2、园区3 —标记点3。
93.对完成预处理的数据进行匹配的方法如下：
94.s19.将服务器历史数据中三维图像数据、二维图像数据根据其所附带的gps信息和图像信息与园区的各区块的gps信息和图像信息进行匹配；
95.s20.若完成匹配，则将三维图像数据、二维图像数据迁移至匹配园区区块 内；
96.s21.将智能眼镜上的实时gps信息和实时图像信息与园区的各区块的 gps信息和图像信息进行匹配；
97.s22.若完成匹配，则将该园区区块中的三维图像数据和二维图像数据虚拟 成像至该智能眼镜上。
98.如图10所示，其中创作层的方法如下：
99.s23.通过在智能眼镜上的界面切换或选择进入创作场景的增强现实创作 层界
面；
100.s24.用户通过智能眼镜的操作手柄构建三维图像数据或二维图像数据，通 过成像装置将构建的实时三维图像数据或实时二维图像数据成像在智能眼镜 的镜片上，根据智能眼镜的定位模块获取当下的gps信息，根据智能眼镜的 感知模块获取当下实景的图像信息，将gps信息和图像信息附带在所述的三 维图像数据或二维图像数据中；
101.s25.将上述打包后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输给其他智能眼镜进行成像展示。
102.为了有针对性地将数据展示给特定人群，可在s24和s25之间设置选择公 开类型的选项，根据公开类型在s25中有选择性地选择gps信息/图像信息匹 配且涵盖在公开范围内的智能眼镜进行三维图像数据或二维图像数据的成像。
103.为了保护著作性的创作，在尊重创作者意愿的同时不排除二次创作的可能 性，可在s24和s25之间设置选择是否锁定的选项，若选择锁定，则其他端口 不能对其进行二次创作；若选择不锁定，则其他端口可对其进行二次、三次
……ꢀ
多次创作；若选择锁定和不锁定，则在服务器中建立副本，在原空间不能对其 进行二次创作，在副本中可对其进行二次、三次
……
多次创作。
104.其中，所述的多次创作具体可以为，在s13～s16之后添加下述步骤：
105.s27.通过智能眼镜的操作手柄在历史数据中的三维图像数据和二维图像 数据上进行数据的更改和添加，通过成像装置将实时三维图像数据或实时二维 图像数据成像在智能眼镜的镜片上，根据智能眼镜的定位模块更新当下的gps 信息，根据智能眼镜的感知模块更新当下实景的图像信息，将gps信息和图 像信息附带在所述的三维图像数据或二维图像数据中；
106.s28.将上述更新后的数据通过通信模块上传至服务器，通过服务器将三维 图像数据或二维图像数据传输给其他智能眼镜进行成像展示。
107.为了找到作品的适应场景和增加场景的多样性，可在s24和s25之间设置 选择是否在公共域内呈现以及在哪个公共域内呈现的选项，若选择不在公共域 内进行呈现则该端口创作的三维图像数据或二维图像数据在没有其他端口创 作的三维图像数据和二维图像数据的独立场景进行呈现，若选择在公共域内进 行呈现则该端口创作的三维图像数据或二维图像数据在所选择的公共域内与 选择在该公共域内呈现的其他端口创作的三维图像数据和二维图像数据进行 叠加呈现。
108.其中，实施例三中的三维图像数据和二维图像数据是通过智能眼镜结合操 作手柄完成，也可通过其他端口完成三维图像数据和二维图像数据的构建，如 pc端、移动端等。该三维图像数据和二维图像数据所对应的位置也可通过输 入位置坐标完成图像的放置，也可通过客户端打开位置信息图像，拖动三维图 像数据和二维图像数据至信息图像的位置完成图像的放置。更进一步地，三维 图像数据和二维图像数据可存储于开源创作库，在端口进行创作时可拖动复 制，便于端口的二次创作。
109.其中，智能眼镜系统接入的服务器可以是中心部署的服务器，也可以是边 缘部署的分布式服务器，服务器的数量不限。若服务器为分布式服务器，则可 以布置在各个位置，智能眼镜可通过gps感应、网络感应、雷达感应等多种 空间感应方式完成对分布式服务器的访问，分布式服务器可以布置在如公交 车、店铺、学校、医院、事业单位、企业等公共空间
内。
110.实施例四，一种基于增强现实的分布式服务器智能眼镜系统包括若干布置 于不同位置的分布式服务器和若干可接入网络的ar/mr/vr智能眼镜。一种 控制分布式服务器智能眼镜系统的控制方法如下：
111.s59.ar/mr/vr智能眼镜通过网络或gps或雷达或图像访问布置于该空 间区域的分布式服务器；
112.s60.被访问的分布式服务器通过数据通信将存储的二/三维图像/视频数 据、音频数据、文字数据传输至访问的ar/mr/vr智能眼镜；
113.s61.ar/mr/vr智能眼镜通过成像装置将所接收到的二/三维图像/视频数 据、音频数据、文字数据进行可视化呈现。
114.其中，ar/mr/vr智能眼镜通过网络访问布置于该空间区域的分布式服务 器具体可以为：ar/mr/vr智能眼镜通过接入分布式服务器的无线局域网络 完成访问。
115.其中，ar/mr/vr智能眼镜通过gps访问布置于该空间区域的分布式服 务器具体可以为：
116.s591.分布式服务器上传所属区块的gps信息至云端；
117.s592.云端将ar/mr/vr智能眼镜实时上传的gps信息与分布式服务器 上传所属区块的gps信息进行比对；
118.s593.若比对时完成匹配，由云端连接ar/mr/vr智能眼镜对对应匹配的 分布式服务器进行访问。
119.其中，上述实施例中通过设备获取人为操作的装置可以是图像传感器、雷 达传感器、触摸传感器、按键传感器、语音传感器等可以获取人类行为的装置。
120.其中，上述实施例中进入某一场景是通过人为选择完成，也可以通过识别 该区域是否设有场景来自动进入该场景，更进一步地，若识别到有多个场景， 通过算法获取用户习惯完成场景选择并自动进入该场景。
121.其中，本发明所保护的智能眼镜可以是只具备单独功能/单独场景的单一 功能智能眼镜，也可以是具备多种功能/多种场景的多种功能智能眼镜，多种 功能智能眼镜可以是单独功能/单独场景的两个及两个以上组合，包括硬件的 组合和功能的组合。
122.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、
ꢀ“
具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特 征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明 书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且， 描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以 合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本 说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和 组合。
123.尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例 是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的 范围内可以对上述实施例进行变化、修改、替换和变型。