一种虚拟现实3D牙体动态模型教学系统及方法

一种虚拟现实3d牙体动态模型教学系统及方法
技术领域
1.本发明涉及3d虚拟现实技术应用于口腔医学教学领域，特别涉及一种虚拟现实3d牙体动态模型教学系统及方法。


背景技术：

2.在口腔医学生的培养过程中，口腔解剖生理学与牙体牙髓病学的实验教学是口腔医学生巩固理论知识，提升临床实践技能，训练和掌握牙体牙髓病学基本操作能力的主要方式。但传统的教学方式一般通过文字描述或模型展示，受到文字不直观、模型易耗损、缺乏师生互动等诸多因素的限制，学生难以理解抽象的牙体解剖形态与窝洞预备的操作要点，影响教学效果。因此，口腔医学实验教学亟需从教学模型入手，借助信息化技术，辅助传统实验教学，培养学生主动思考、发现问题、提出问题、创造性的构思解决方案、沟通交流等能力，推动口腔医学教学改革。
3.传统的口腔实验教学方式采用教材插图、挂图、断层标本进行学习，以多媒体教学的方式向学生展示，这些资料都是二维资料，而人体为三维结构，与二维图像相比，三维重建图像直观性较强，解剖结构的空间位置一目了然，而且通过对重建后的模型中的不同解剖结构附加不同的颜色，可以从视觉刺激上吸引学生，方便学生化整为零地学习系统结构，提高学生全面掌握知识。教学工作者们普遍呼吁在口腔医学教学方面进行改革，将现代信息技术，特别是三维立体模型引入教学，从而使学生对要学习的知识有更为直观的认识，并满怀兴趣投入口腔医学的学习。
4.为此，国内外多名研究人员探究提出多种改革方式，力求将口腔实践教学与现代化信息技术相结合，以提高教学质量。如将3d打印技术应用于教学、将虚拟现实技术与教学相结合等。目前国外开发出的一款软件——“3d tooth”虽然已被用于牙周病学、齿生成、人类学、牙胚胎学及临床，但是软件的运行需要特定操作系统，使其使用受到了设备的限制。另一方面，该软件费用高昂，未能惠及大部分口腔医学院的学生。目前，三维设计软件3d max已经广泛用于建筑设计、工业设计、三维动画等领域，也曾有学者尝试将其应用于临床。z brush已经应用于电影、视频和游戏的设计与开发中，但将此类三维设计软件与口腔教学教具的设计有机结合的成熟产品尚未出现。为适应口腔医学本科教学的改革及发展，将口腔医学临床诊断和治疗与三维设计软件结合，并将其应用于口腔医学教育领域也将成为一种发展趋势。


技术实现要素：

5.为解决上述现有技术中所存在的问题，本发明提供一种虚拟现实3d牙体动态模型教学系统及方法，实现了基于3d虚拟现实技术的动态交互，可在浏览3d牙体解剖结构的过程中点击热点及热区查看标注的知识点信息，能够更加准确地为使用者呈现教学要点，更加立体直观地展示牙体结构；相对于实时渲染的3d技术，通过图片差值处理、图像压缩处理和图像预加载，大大提升了使用者的操作体验；通过将3d虚拟现实技术、移动互联网技术应
用于口腔教学领域，大大提升了使用者的现实感知能力。
6.为了实现上述技术目的，本发明提供了一种虚拟现实3d牙体动态模型教学系统，包括：构建模块、知识点标注模块、虚拟现实素材模块、虚拟现实文件模块和发布模块；
7.所述构建模块用于构建3d牙齿模型；
8.所述知识点标注模块用于基于所述3d牙齿模型，标注知识点；
9.所述虚拟现实素材模块用于将所述3d牙齿模型转换为虚拟现实素材；
10.所述虚拟现实文件模块用于基于所述知识点，得到虚拟现实文件；
11.所述发布模块用于基于所述虚拟现实素材和所述虚拟现实文件，生成教学页面文件。
12.可选的，所述构建模块包括：牙体单元、模型单元和贴图单元；
13.所述牙体单元用于获取牙齿外观解剖结构；
14.所述模型单元用于基于所述牙齿外观解剖结构，采用3d建模软件，得到所述3d牙齿模型；
15.所述贴图单元用于基于所述3d牙齿模型制作牙齿外观和内部的展开贴图。
16.可选的，所述知识点标注模块采用三维空间打点的方式标注所述知识点。
17.可选的，采用标准h5生成所述虚拟现实文件。
18.本发明还提供了一种虚拟现实3d牙体动态模型教学方法，包括以下步骤：
19.s1、构建3d牙齿模型；
20.s2、基于所述3d牙齿模型，标注知识点；
21.s3、将所述3d牙齿模型转换为虚拟现实素材；
22.s4、基于所述知识点，得到虚拟现实文件；
23.s5、基于所述虚拟现实素材和所述虚拟现实文件，生成教学页面文件。
24.可选的，所述3d牙齿模型的构建过程包括：
25.获取牙齿外观解剖结构；
26.基于所述牙齿外观解剖结构，采用3d建模软件，得到所述3d牙齿模型。
27.可选的，采用三维空间打点的方式标注所述知识点。
28.可选的，采用标准h5生成所述虚拟现实文件。
29.本发明具有如下技术效果：
30.1.本发明实现了基于3d虚拟现实技术的动态交互，可在浏览3d牙体解剖结构的过程中点击热点及热区查看标注的知识点信息，能够更加准确地为使用者呈现教学要点，更加立体直观地展示牙体结构；
31.2.本发明相对于实时渲染的3d技术，通过图片差值处理、图像压缩处理和图像预加载，大大提升了使用者的操作体验，通过html5等通用承载技术，可帮助使用者更加便捷地在手机、pc等无插件环境中便捷使用；
32.3.本发明通过将3d虚拟现实技术、移动互联网技术应用于口腔教学领域，大大提升了使用者的现实感知能力。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所
需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明实施例一虚拟现实3d牙体动态模型教学系统示意图；
35.图2为本发明实施例一中三维划分示意图；
36.图3为本发明实施例一中图片差值处理流程图；
37.图4为本发明实施例一教学页面文件使用效果图；
38.图5为本发明实施例二虚拟现实3d牙体动态模型教学方法流程图。
具体实施方式
39.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
40.实施例一
41.如图1所示，本发明公开一种虚拟现实3d牙体动态模型教学系统，包括：构建模块、知识点标注模块、虚拟现实模块和发布模块；构建模块、知识点标注模块、虚拟现实文件模块和发布模块依次连接，虚拟现实素材模块分别与构建模块和发布模块连接；
42.构建模块用于构建3d牙齿模型；构建模块包括：牙体单元、模型单元和贴图单元；
43.在本实施例中，单个牙齿的3d牙齿模型构建过程包括：首先牙体单元对单个牙齿外观进行5个角度(五面观：颊面、舌面、近中面、远中面、合面)的拍照，然后对单个牙齿进行解剖切面，呈现单个牙齿的内部构造和细节组成，接着模型单元采用3d建模软件(3dmax、maya等软件)对单个牙齿进行1:1整体建模，最后模型单元对整个口腔的所有牙齿按照单个牙齿的上述建模流程进行3d建模，通过3d建模软件实现3d牙齿模型的数字化建模，最终输出标准3d交互模型文件(.obj格式)，完成3d牙齿模型的构建。
44.完成3d牙齿模型的构建后，对3d牙齿模型赋予材质和颜色，贴图单元基于3d牙齿模型制作牙齿外观和内部的uv展开贴图。
45.知识点标注模块用于基于3d牙齿模型，标注知识点；
46.为实现3d牙齿模型在旋转过程中(即学生在操作的过程中)能够进行交互和显示知识点内容，采用在三维空间中打点(热点)的方式实现，当学生旋转3d牙齿模型到某个角度或者某个侧面的时候，能够自动显示对应的热点或者热区，点击即可显示该知识点的具体内容。
47.为了实现与承载网页进行javascript交互，采用javascript:showmessage('近中颊根','近中颊根','0601')的方式对热点的点击动作进行定义。
48.进一步地，3d牙齿模型的展示交互页面呈现有：模型名称、3d牙齿模型、3d牙齿模型的标注点、3d牙齿模型交互控制栏，交互页面包含标题栏、模型区域和控制栏。点击标注的知识点，会显示该标注点相关的详细信息，所述详细信息包含该标注点的名称信息，该标注点的视图信息、知识点信息、更详细的介绍信息等。图片支持放大、缩小操作。
49.虚拟现实素材模块用于将3d牙齿模型转换为虚拟现实素材。
50.在完成3d牙齿模型的构建并对3d牙齿模型的材质和颜色进行贴图之后，将3d牙齿模型转换为虚拟现实素材：为了教学中在3d牙齿模型旋转时能够实时、动态、立体地显示不同点位的名称、对应的知识点，具有3d交互的效果，本实施例提供了可动态交互的3d展示技术方案，具体包括：
51.可以把牙齿理解为一个球体，对球体进行三维划分(本实施例通过一系列实验最终确定三维划分的方式为：在水平方向对所述球体12等分、垂直方向进行3等分)，通过多图均布球面变换及差值渲染算法实现虚拟现实素材的拼接，得到牙齿的三维展示。
52.多图均布球面变换及差值渲染算法的基本思想是沿着物体周围多层均匀拍摄或者渲染12张图片，再将图片拼接到一起贴在球体外表面，以球心作为固定点横向纵向旋转球体，实现三维实时渲染使得物体能够立体呈现给浏览者。为了从图像中提取球面每个位置的像素信息，需要知道球面上的坐标对应到的图片序列以及图片上的位置。对于球心坐标参考系中的任意一点(x,y,z)，对应的三维转换为r(x,y,z)，其中r为三维单位正交矩阵，由图片序号决定。
53.以一个图片为0点，每个图片的旋转角度为30度，假设当前浏览的仰角为α，偏转角度为β，旋转角度为γ，则r可以表示为：
54.r＝[cosγ sinγ 0][cosβ 0 sinβ]
[0055]
[-sinβ cosβ 0][sinαsinβ cosβ
ꢀ‑
sinαsinβ]
[0056]
[0 0 1][-sinα sinβ sinα cosα cosβ]
[0057]
假设当前浏览者的视角焦距为f，半径为r，则球面上的一点(x,y,z)在平面图片中的坐标(x,y)的对应关系为：
[0058]
[x]＝[f0 r][x]
[0059]
[y] [0 f y] [y]
[0060]
[1] [0 0 1] [z]
[0061]
假设当前浏览者的浏览角度对应的图片序列是k，则渲染的像素的坐标点的表示变换是：
[0062]
[x] [f 0 r][x] r[x]
[0063]
[y]＝[0f r][y]*r[y]
[0064]
[z] [0 0 1][z] r[z]
[0065]
由于渲染或者拍摄的图存在重复的像素区域，在渲染的时候，通过像素差值算法对重复的部分进行处理，处理原理是对相邻的2张图片进行线性四个邻象素的灰度在两个向上作线性差值处理，例如：对于(i,j v)，f(i,j)到f(i,j 1)的灰度变化为线性关系，则有：f(i,j v)＝[f(i,j 1)-f(i,j)]*v f(i,j)；
[0066]
对于(i 1,j v)则有：f(i 1,j v)＝[f(i 1,j 1)-f(i 1,j)]*v f(i 1,j)从f(i,j v)到f(i 1,j v)的变化也为线性关系，由此可推导出待求象素灰度的计算式如下：
[0067]
f(i u,j v)＝(1-u)*(1-v)*f(i,j) (1-u)*v*f(i,j 1) u*(1-v)*f(i 1,j) u*v*f(i 1,j 1)，通过上述计算，去掉临近的重复像素。
[0068]
根据以上变换矩阵和像素差值计算，即可实现图片的球面渲染，实现无缝旋转三维呈现，将12张图片依次按照序号k贴在球面上。
[0069]
图2为本实施例三维划分示意图。按照图2所示的三维划分方式，对3d牙齿模型配
置摄影机视角进行3d图片渲染，一周渲染12张图，总共渲染36张图，3d图片渲染完成后，将3d图片按照渲染顺序编号，将编号完成的3d图片导入到图片转虚拟现实软件中，并按照文件名称自动序列载入。
[0070]
虚拟现实文件模块用于基于知识点，得到虚拟现实文件；
[0071]
在知识点标注模块对3d牙齿模型完成知识点标注后，采用标准h5的方式生成虚拟现实文件，包括：
[0072]
图片差值处理：如图3所示，以更像的第0位3d图片为基础，对3d图片按顺序进行差值处理(第一张3d图片已经包含的元素不再在第二个3d图片中出现，依次处理到最后一张3d图片，保存差值3d图片)，处理后可大大缩小素材加载速度；
[0073]
图片预加载：为提升使用的体验感和便于在网络上进行加载，生成3d差值图片的时候，会生成过渡素材，便于在旋转过程中进行补偿加载；
[0074]
图片压缩处理：对原文件中3d图片进行压缩和自动比例剪裁，最小化存储所述虚拟现实文件。
[0075]
所述发布模块用于基于虚拟现实素材和虚拟现实文件，生成教学页面文件；
[0076]
虚拟现实素材模块将3d牙齿模型转换为虚拟现实素材后，结合虚拟现实文件，系统可自动打包并生成承载html的教学页面文件，并且可直接在服务器环境上进行解压部署，例如apache、nginx等环境。教学使用中可通过chrome等浏览器打开使用，教学效果如图4所示。
[0077]
实施例二
[0078]
如图5所示，本发明实施例还提供一种虚拟现实3d牙体动态模型教学方法，包括以下步骤：
[0079]
s1、构建3d牙齿模型；3d牙齿模型的构建过程包括：获取牙齿外观解剖结构；基于牙齿外观解剖结构，采用3d建模软件，得到3d牙齿模型。
[0080]
s2、基于3d牙齿模型，采用三维空间打点的方式标注知识点；
[0081]
s3、将3d牙齿模型转换为虚拟现实素材；
[0082]
s4、将知识点进行立体显示，采用标准h5生成虚拟现实文件；
[0083]
s5、基于虚拟现实素材和虚拟现实文件，生成教学页面文件。
[0084]
以上显示和描述了本发明的基本原理、主要特征和优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。