一种基于增强现实技术和全景视频技术的毕业留念系统及使用方法与流程

1.本发明涉及图像处理领域，尤其涉及一种基于增强现实技术和全景视频技术的系统及使用方法。


背景技术：

2.对于即将告别校园的学子来说，毕业留念有着非常重要的意义，它是时光、友谊和记忆的纽带，是青春时光最好的怀念。在现有的毕业留念系统中，大部分采用二维照片和视频进行毕业留念，用户只能借助电脑和手机屏幕观看留念照片和视频，无法实现身临其境的效果，缺少沉浸感和互动性。随着科技的发展，增强现实技术和全景视频技术为毕业留念系统注入了高新科技元素，如何基于增强现实技术和全景视频技术，解决上述毕业留念系统中存在的缺陷，是一件亟待解决的问题。


技术实现要素：

3.本发明提供一种基于增强现实技术和全景视频技术的毕业留念系统，以克服现有毕业留念系统中沉浸感薄弱和互动性较差的技术问题。
4.为了实现上述目的，本发明的技术方案是：
5.一种基于增强现实技术和全景视频技术的毕业留念系统，其特征在于，包括：ar任意门按钮、ar照片按钮、退出按钮、增强现实任意门模块和增强现实照片识别模块；
6.其中增强现实任意门模块包括地面识别模块、全景视频模块、虚拟场景加载模块；
7.地面识别模块调用vuforia插件中的地面识别技术，识别现实中的真实水平地面虚拟三维网格模型，将真实水平地面虚拟三维网格模型显示在手机或平板电脑的屏幕上，并调用数字图像处理技术和unity游戏引擎技术将获取的真实水平地面虚拟三维网格模型传输给虚拟场景加载模块；
8.全景视频模块调用unity游戏引擎中的视频播放技术将毕业留念全景视频与虚拟场景相结合形成毕业留念全景视频，并将毕业留念全景视频显示在手机或平板电脑的屏幕上；
9.虚拟场景加载模块用于控制由三维建模软件制作的三维场景虚拟模型的加载并将三维场景虚拟场景与真实水平地面虚拟三维网格模型通过调用的图像处理技术合成后显示到手机或平板电脑的屏幕上；
10.其中加载的三维场景虚拟模型包括通过三维建模软件制作的三维任意门模型和播放全景视频所需的三维球状模型，通过调用图像合成技术和 unity游戏引擎技术，将摄像机拍摄的现实场景与加载的真实水平地面虚拟三维网格模型场景合成，并显示在手机或平板电脑的屏幕上；
11.增强现实照片识别模块调用vuforia插件中的图片识别功能和unity 游戏引擎中的音视频播放技术，用于识别摄像头拍摄到的照片，并将与照片相匹配的声音素材、三维模
型素材和图片素材播放或显示出来。
12.进一步的，一种基于增强现实技术和全景视频技术的毕业留念系统的使用方法，其特征在于：
13.步骤1、在手机或者平板电脑上打开基于增强现实技术和全景视频技术的毕业留念系统，用户选择ar任意门按钮进入增强现实任意门模块，增强现实任意门模块采集真实水平地面虚拟三维网格模型和毕业留念全景视频，并利用三维任意门模型和三维球状模型与摄像机拍摄的真实场景进行图像合成，显示在手机或平板电脑的屏幕上；
14.步骤2、用户选择ar照片按钮进入增强现实照片识别模块，用户开启手机或平板电脑的摄像头，使用摄像头扫描拍好的照片，增强现实照片识别模块识别摄像头拍到的照片，通过调用vuforia插件中的图片识别功能和unity游戏引擎中的音视频播放技术，加载通过unity游戏引擎制作的与照片相关的同学留言影像视频素材，用户点击视频播放，在手机或平板电脑的屏幕上观看视频；
15.步骤3、用户在手机或平板电脑上点击退出按钮，关闭毕业留念系统应用。
16.进一步的，步骤1具体为：
17.步骤1.1、在手机或者平板电脑上打开毕业留念系统；
18.步骤1.2、用户选择ar任意门按钮进入增强现实任意门模块；
19.步骤1.3、用户使用摄像头扫描所站位置的水平地面，系统调用unity 游戏引擎和vuforia插件，利用vuforia插件的地面识别技术，识别到真实水平地面信息，并产生虚拟三维网格模型，通过调用图像处理技术将虚拟三维网格模型在手机或平板电脑的屏幕上显示出来；
20.步骤1.4、用户在手机或平板电脑屏幕上识别出虚拟三维网格模型后，调用unity游戏引擎技术和vuforia地面识别技术，在识别的地面位置的中心点上自动生成由三维建模软件制作的三维任意门模型、播放全景视频所需的三维球状模型，此时球状模型隐藏，三维任意门模型和摄像机拍摄的真实场景通过图像合成技术，显示在手机或平板电脑的屏幕上；
21.步骤1.5、用户拿着手机或平板电脑，向手机或平板电脑中三维任意门模型方向移动，此时用户拿着的开启摄像头的手机或平板电脑，调用 vuforia插件中的地面检测功能控制unity游戏引擎中的摄像机对象运动，当游戏引擎中的摄像机对象与游戏引擎中三维场景里的任意门位置接近时，通过游戏引擎中的碰撞检测技术发生碰撞，碰撞检测触发后调用 setactive代码将三维场景中的球状模型由隐藏转为显示，并调用游戏引擎中的视频播放技术，在球状模型显示时自动在球状模型上播放全景视频，用户拿着手机或平板电脑走入全景视频场景，手机或平板电脑屏幕上将显示全景视频，用户可以通过手机或平板电脑360度全方位观看全景视频。
22.有益效果：
23.本发明能把校园学习生活的影像更加生动形象的展现出来，尤其是现实空间和虚拟场景相结合，在现实空间中走入虚拟场景任意门，观看全景影像，给人一种穿越时空任意门的新型体验。
24.本发明融入了增强现实技术和全景视频技术，科技感十足。
25.本发明的照片识别模块，可以将虚拟模型和语音与照片结合，丰富了留念系统的
形式。
附图说明
26.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
27.图1为本发明系统示意图；
28.图2为本发明使用流程图；
29.图3为本发明地面识别技术实现的流程图；
30.图4为本发明虚拟场景加载实现的流程图；
31.图5为本发明增强现实照片识别流程图；
32.图6为本发明系统开启任意门应用界面附图；
33.图7为本发明系统识别地面显示虚拟任意门模型界面附图；
34.图8为本发明系统中虚拟任意门模型内显示全景视频界面附图；
35.图9为本发明任意门与真实场景合成后示意图；
36.图10为本发明穿过任意门合成后示意图。
具体实施方式
37.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本实施例1提供了一种基于增强现实技术和全景视频技术的毕业留念系统，如图1、图3
‑
图10，包括：ar任意门按钮、ar照片按钮、退出按钮、增强现实任意门模块和增强现实照片识别模块；其中任意门是一种基于游戏引擎和增强现实技术，制作出当用户拿着ar相机穿过增强现实场景中的三维门模型时，三维门模型另一侧的虚拟场景在显示端展现出来的技术。
39.其中增强现实任意门模块包括地面识别模块、全景视频模块、虚拟场景加载模块；
40.地面识别模块调用vuforia插件中的地面识别技术，识别现实中的真实水平地面虚拟三维网格模型，将真实水平地面虚拟三维网格模型显示在手机或平板电脑的屏幕上，并调用数字图像处理技术和unity游戏引擎技术将获取的真实水平地面虚拟三维网格模型传输给虚拟场景加载模块；
41.全景视频模块调用unity游戏引擎中的视频播放技术将毕业留念全景视频与虚拟场景相结合形成毕业留念全景视频，并将毕业留念全景视频显示在手机或平板电脑的屏幕上；
42.虚拟场景加载模块用于控制由三维建模软件制作的三维场景虚拟模型的加载并将三维场景虚拟场景与真实水平地面虚拟三维网格模型通过调用的图像处理技术合成后显示到手机或平板电脑的屏幕上；
43.其中加载的三维场景虚拟模型包括通过三维建模软件制作的三维任意门模型和播放全景视频所需的三维球状模型，通过调用图像合成技术和 unity游戏引擎技术，将摄像机拍摄的现实场景与加载的真实水平地面虚拟三维网格模型场景合成，并显示在手机或平板电脑的屏幕上；
44.增强现实照片识别模块调用vuforia插件中的图片识别功能和unity 游戏引擎中的音视频播放技术，用于识别摄像头拍摄到的照片，并将与照片相匹配的声音素材、三维模型素材和图片素材播放或显示出来。其中，声音素材是指毕业班级同学的毕业寄语录音，毕业生对大学生活的总结和对同学们的祝福语音。图片素材是指同学的毕业照片。三维模型是指使用三维建模软件制作的毕业学校建筑模型，穿学士服角色模型，毕业证书等等。
45.同样的目的，如图2，本发明还提供实施例2：一种基于增强现实技术和全景视频技术的毕业留念系统的使用方法，其特征在于：
46.步骤1、在手机或者平板电脑上打开基于增强现实技术和全景视频技术的毕业留念系统，用户选择ar任意门按钮进入增强现实任意门模块，增强现实任意门模块采集真实水平地面虚拟三维网格模型和毕业留念全景视频，并利用三维任意门模型和三维球状模型与摄像机拍摄的真实场景进行图像合成，显示在手机或平板电脑的屏幕上；在这一步骤中，通过调用地面识别模块中的vuforia地面识别技术，获取真实地面信息生成虚拟三维网格模型。通过全景视频模块中的全景视频拍摄技术获取全景视频素材，并调用游戏引擎unity中的视频播放技术，将全景视频与虚拟场景合成。通过虚拟场景加载模块中的三维模型制作技术和图像处理技术，将三维任意门模型与全景视频播放球状模型和真实地面生成的虚拟三维网格模型与摄像机拍摄的真实场景进行合成，并现实在手机或平板电脑的屏幕上。
47.步骤2、用户选择ar照片按钮进入增强现实照片识别模块，用户开启手机或平板电脑的摄像头，使用摄像头扫描拍好的照片，增强现实照片识别模块识别摄像头拍到的照片，通过调用vuforia插件中的图片识别功能和unity游戏引擎中的音视频播放技术，加载通过unity游戏引擎制作的与照片相关的同学留言影像视频素材，用户点击视频播放，在手机或平板电脑的屏幕上观看视频；
48.如图5，基于unity游戏引擎和vuforia插件开发的基于增强现实技术和全景视频技术的毕业留念系统具备照片识别功能，用户使用安装有毕业留念系统的移动设备(手机，平板电脑)摄像头扫描毕业留念照片，当照片识别后，手机或平板电脑的屏幕上将播放毕业留言视频。基于 unity vuforia的照片识别技术的实现步骤：
49.步骤2.1、在unity的项目中导入vuforia engine sdk；
50.步骤2.2、登录vuforia官网，找到vuforia engine开发人员门户中的“目标管理器”，并在“目标管理器”中添加数据库，将需要识别的照片上传数据库；
51.步骤2.3、将数据库中的照片信息下载下来，并导入unity中；
52.步骤2.4、在unity项目的层级面板中创建arcamera游戏对象，选择 arcamera游戏对象在其vuforia引擎配置组件中输入vuforia许可证秘钥；
53.步骤2.5、在unity项目的层级面板中，通过vuforia engine
‑
> imagetarget，创建imagetarget对象，将从数据库下载的照片的信息与 imagetarget对象的image target behavior组件关联；
54.步骤2.6、在imagetarget对象下创建一个plane对象作为子节点，在plane对象上
添加videoplayer组件，将拍摄好的毕业留言视频素材与videoplayer组件关联；
55.步骤2.7、当摄像头识别到imagetarget对象所对应的照片后，子节点plane激活，videoplayer组件播放毕业留言视频。
56.步骤3、用户在手机或平板电脑上点击退出按钮，关闭毕业留念系统应用。
57.在具体实施例2中，步骤1具体为：
58.步骤1.1、在手机或者平板电脑上打开毕业留念系统；
59.步骤1.2、用户选择ar任意门按钮进入增强现实任意门模块；
60.步骤1.3、用户使用摄像头扫描所站位置的水平地面，系统调用unity游戏引擎和vuforia插件，利用vuforia插件的地面识别技术，识别到真实水平地面信息，并产生虚拟三维网格模型，通过调用图像处理技术将虚拟三维网格模型在手机或平板电脑的屏幕上显示出来；
61.如图3，基于unity游戏引擎的vuforia的地面识别技术的实现步骤为：
62.步骤1.3.1、在unity游戏引擎中新建一个项目，并导入vuforiaenginesdk；
63.步骤1.3.2、在unity项目的层级面板中创建arcamera游戏对象，选择arcamera游戏对象在其vuforia引擎配置组件中输入vuforia许可证秘钥；
64.步骤1.3.3、在unity项目的层级面板中，通过vuforiaengine
‑
>groundplane>groundplanestage，创建groundplanestage游戏对象，将场景模型作为groundplanestage游戏对象的子节点，识别地面后，子节点的场景模型会显示在屏幕上；
65.步骤1.3.4、在unity项目的层级面板中，通过vuforiaengine
‑
>groundplane>planefinder，创建planefinder游戏对象；
66.planefinder游戏对象有三个功能：
67.a.输入监听功能：监听用户输入(例如，在设备屏幕上的触控)。
68.b.平面查找器功能：尝试找到合适的平面并将虚拟内容放置在手机或平板中。
69.c.内容定位功能:将要展示的模型内容定位到现实世界的地面上。
70.步骤1.3.5、将groundplanestage游戏对象拖拽到planefinder游戏对象的内容定位功能组件中。摄像头识别地面后，手机或平板电脑能呈现groundplanestage游戏对象中的三维模型或场景。
71.步骤1.4、用户在手机或平板电脑屏幕上识别出虚拟三维网格模型后，调用unity游戏引擎技术和vuforia地面识别技术，在识别的地面位置的中心点上自动生成由三维建模软件制作的三维任意门模型、播放全景视频所需的三维球状模型，此时球状模型隐藏，三维任意门模型和摄像机拍摄的真实场景通过图像合成技术，显示在手机或平板电脑的屏幕上；
72.如图4，生成虚拟任意门三维模型和球状模型是基于3dmax三维建模软件，包括任意门模型和作为展示全景视频媒介的球状模型，并将制作好的任意门模型和球状模型保存为fbx格式，导入unity游戏引擎中，并将其作为地面识别模块中groundplanestage游戏对象的子节点，当地面识别模块planefinder识别到水平地面时,通过内容定位组件将作为groundplanestage子节点的任意门三维模型场景和球状模型在屏幕上显现出来，完成虚拟场景的加载。通过程序中的setactive代码控制球状模型隐藏。
73.步骤1.5、用户拿着手机或平板电脑，向手机或平板电脑中三维任意门模型方向移
动，此时用户拿着的开启摄像头的手机或平板电脑，调用 vuforia插件中的地面检测功能控制unity游戏引擎中的摄像机对象运动，当游戏引擎中的摄像机对象与游戏引擎中三维场景里的任意门位置接近时，通过游戏引擎中的碰撞检测技术发生碰撞，碰撞检测触发后调用 setactive代码将三维场景中的球状模型由隐藏转为显示，并调用游戏引擎中的视频播放技术，在球状模型显示时自动在球状模型上播放全景视频，用户拿着手机或平板电脑走入全景视频场景，手机或平板电脑屏幕上将显示全景视频，用户可以通过手机或平板电脑360度全方位观看全景视频。
74.将具备多个摄像头全景摄像机放置在教室中心位置，拍摄毕业生在教室学习的视频，通过视频拼接软件如detustitch，完成全自动的vr全景影像拼接，制作360
°
全景视频，并将全景视频素材导入unity游戏引擎。在游戏引擎中给三维建模制作的球状模型添加videoplay组件，通过 videoplayer组件，将全景视频素材与虚拟场景关联。当用户走进任意门，全景视频模块中的摄像机与门通过collider组件发生碰撞检测，如果没有发生碰撞球状模型不显现，如果发生碰撞执行ontriggerenter函数中的setactive代码，控制球状模型显现出来，并基于videoplayer组件中的playonawake属性控制以球状模型为载体自动播放全景视频，用户可以使用手机或平板电脑设备观看全景视频。
75.最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。