基于虚拟现实交互的口腔数字孪生模型系统及建立方法与流程

1.本发明涉及基于虚拟现实交互的口腔数字化模型领域，具体为基于虚拟 现实交互的口腔数字孪生模型系统及建立方法。


背景技术：

2.随着经济发展和人们生活水平的不断提高，医疗卫生问题逐渐成为了社 会关注的焦点。近年来，数字孪生、物联网和大数据等信息技术逐步应用于 医疗行业，传统医疗正在向数字医疗、智慧医疗方向转型。智慧医疗是指通 过互联网与传统医疗相结合，运用大数据、物联网等相关技术，将医疗数据 信息化，实现患者与医护人员、医疗设备之间的信息共享，构建信息化的医 疗服务体系。
3.随着人们生活水平提高，选择正畸治疗的患者也越来越多。准确的测量 正畸过程中矫治器作用于牙齿的正畸力与力矩是分析正畸治疗过程中生物力 学机制的关键，形象直观的观察、预见不同矫治力加载方式对最终面型以及 牙齿排列效果，是提高正畸治疗的效果、缩短治疗周期、训练临床医生的操 作技能具有十分重要的价值。
4.目前在正畸治疗前，医生也会通过使用typodont模型(蜡形牙模)来演 示和观察牙齿在石蜡中的移动过程。在typodont模拟颌架上，我们可以通过 在模型上进行拥挤度、bolton指数、spee曲度等相关分析，从而制定出合适 的正畸治疗方案，做出进行拔牙矫治还是非拔牙矫治的判断，制定出整个矫 治过程所用的技术以及各个阶段所需的弓丝。通过该模型还可以进行托槽、 带环粘贴、安放和固定结扎弓丝等的训练和学习。将typodont正畸模型模拟 颌架浸入水浴箱，就可以把整个临床矫治的过程浓缩在一起，在较短的时间 内就可以清楚的观察到牙齿随着弓丝形变后而进行的移动，这会对模拟患者 的矫治过程起到非常重要的作用，从而寻找出临床矫治的一些问题。typodont 模型是一种可在体外真实模拟正畸诊断、设计和治疗的方法，可以在体外真 实模拟各类垂直向、矢状向或横向错牙合畸形，通过粘结固定矫治器，弯制 安放弓丝，形象直观的观察不同矫治力对牙齿的作用，在短时间内完成牙齿 2-3年的移动过程。typodont是正畸学习的重要辅助工具，是国际公认最佳 的正畸教学培训的手段。有较多学者使用不同类型的typodont进行正畸牙齿 移动的模拟及研究，例如前牙整体后退的模拟、托槽槽沟和弓丝之间摩擦力 大小研究、舌侧矫治的研究等，都得到了较满意的研究结果。与人体实验相 比，采用typodont模型模拟矫治过程进行科研研究的初始条件得到了严格 的控制，使得研究组间的可比性大大提高，弥补了临床研究时由于年龄、性 别、不良习惯、口腔卫生、机体反应等个体差异带来的干扰，更好地展示力 学系统在模拟牙弓上的分布及牙齿移动的趋势。
5.传统typodont装置利用水浴加热使蜡变软，从而模拟正畸牙齿移动。一 般水浴温度为45-50℃左右，由于typodont装置是利用水浴从外部加热，不 能很好的模拟口腔内牙齿实际移动的情况。之前已有学者报道改良typodont， 该方法通过连接线将仪器与金属牙根进行连接从而控制牙根的加热，使加热 方式从由外向内加热变为由内向外，但此类型typodont实际使用较不方便。 但typodont模型中的蜡堤没有真正的牙周组织，与口腔内真
实的生物环境相 差较大，typodont模型实验中与口内实际条件相比，也缺乏咀嚼和咬合压力 的模拟。因此研发可替代typodont的模型具有重要的临床意义，其中数字孪 生正畸typodont的模型具有重要的研究潜力。
6.数字孪生(digital twin)是以数字化的方式建立物理实体的多维、多 时空尺度、多学科、多物理量的动态虚拟模型来仿真和刻画物理实体在真实 环境中的属性、行为、规则等。数字孪生的概念最初于2003年由grieves教 授在美国密歇根大学产品生命周期管理课程上提出，早期主要被应用在军工 及航空航天领域。如美国空军研究实验室、美国国家航空航天局(nasa)基 于数字孪生开展了飞行器健康管控应用。由于数字孪生具备虚实融合与实时 交互、迭代运行与优化、以及全要素/全流程/全业务数据驱动等特点，目前 已被应用到产品生命周期各个阶段，包括产品设计、制造、服务与运维等。 数字孪生在制造业应用广泛，最早应用于航空航天，随着研究的深入，在不 同的研究方向中都得到了广泛的应用，电力、通信、汽车制造等领域均具有 报道和实用案例。
7.近年来，数字孪生研究领域逐渐拓展至医疗行业，陶飞等人提出数字孪 生医疗的概念，将数字孪生五维模型应用于医疗健康系统，实现人体疾病的 预判、远程治疗的实施等功能，还可进行虚拟人体训练和医护人员的培训， 可有效改变医疗卫生现状；人工智能、机器学习、大数据等方法已在医学领 域甚至正畸领域广泛应用。如人工智能应用于头部测量分析系统，人工智能 用于ct扫描数据中牙齿的自动识别与分割，及人工智能在预测牙齿矫正效果 的研究。但这类研究只能数字化预测分析牙齿的矫正效果，并不能与实际的 石膏或者石蜡模型相结合。
8.近年来，虚拟现实技术与增强现实技术得到快速发展，逐渐融入到医疗 健康领域。虚拟现实就是把虚拟的世界呈现到你眼前，让你以为是真实的。 增强现实就是把把虚拟世界叠加到现实世界。
9.在传统的三维有限元模型分析中，只能分析正畸力加载后牙齿某一部位 的受力大小，并不能很好的模拟牙齿的移动效果。有限元分析的方法是创建 数字孪生模型的重要方法之一。因此，基于有限元分析、大数据、虚拟现实、 增强现实、人工智能分析所创建的数字孪生模型，具有替代传统typodont装 置的潜力。


技术实现要素：

10.本发明的目的在于提供基于虚拟现实交互的口腔数字孪生模型系统及建 立方法，以解决上述背景技术中提出的问题。
11.为实现上述目的，本发明提供如下技术方案：基于虚拟现实交互的口腔 数字孪生模型系统，包括数据采集模块，用于采集患者的牙颌面颈部软硬组 织影像数据、牙齿扫描、面部图像数据、呼吸数据、发音数据、唾液数据、 血液数据、基因数据以及全身疾病数据，且面部图像包括二维面部照片、三 维、静态、动态图像；数据处理模块，用于对采集的图像及数据进行处理， 处理过程包括图像分割、面部提取、呼吸数据处理、发音分析处理、唾液处 理、全身疾病数据处理，数据处理模块包括牙颌面颈部数据处理单元、面部 图像处理单元、呼吸数据处理单元、发音数据处理单元、唾液数据处理单元、 血液数据处理单元以及基因数据处理单元；虚拟现实交互模块，用于模拟拔 牙正畸和非拔牙正畸过程，虚拟现实交互模块获取分割后的牙颌面颈部信息， 并生成交互模型，且该牙齿交互模型上有托槽和安装
弓丝、隐形牙套设计安 装、附件粘结、种植支抗植入；力学分析模块，用于将所分割后的牙齿结构 进行三维有限元分析处理，并生成三维有限元模型，牙齿三维模型包含牙齿、 牙周膜、牙槽骨部件；力反馈模型模块，用于模拟真实的操作中的压感及触 感，且手感及触感包括持针器、镊子、结扎丝、橡皮圈、推簧、拉簧、支抗 钉、正畸钳的握持感以及触感；数字孪生模块，用于将数据采集信息、处理 信息、虚拟现实交互模块中安装的托槽、弓丝、隐形牙套、附件信息、力学 分析等信息进行统一整合，并构建数字孪生模型及运算处理；输出模块，用 于输出牙齿矫治(包括：口腔正畸固定矫治器、隐形矫治器及附件加载)后 的软硬组织变化情况，预测发育变化，治疗风险提示以及需要改进的治疗点。
12.优选的，数据采集模块的采集过程包括：基于ct采集患者的颌骨、面部、 颈部数据，口内扫描仪扫描口内牙齿数据，面部扫描仪扫描面部软组织轮廓； 基于相机拍摄二维、三维面部照片与视频，包括静态、动态的面部轮廓及表 情变化；基于麦克风传感器采集呼吸的发音特征、频率、深浅；基于麦克风 采集患者自述一段语句的发音特征，包括翘舌音、平舌音、元音、鼻音，自 述语句包括但不限于普通话、方言、外语；基于唾液检测仪检测唾液的分泌 量、粘稠度、分泌的蛋白分子成分与含量；基于血液采集分析仪采集血液中 的蛋白分子成分与含量；基于口腔检测过程分析筛查牙根吸收、牙槽骨壁基 因；基于全身疾病采集过程筛查是否患有癫痫、风湿病、肝炎、肾炎、结核 病、糖尿病、心脏病、血友病、佝偻病。
13.优选的，数据处理模块处理过程中的图像分割包括分离牙齿、牙周膜、 颌骨、牙位及拥挤度、上下颌牙列关系，牙齿中线位置，气道的宽度；面部 图像处理单元的处理过程包括面部轮廓及表情特征的提取，鼻唇距离，面部 中线位置；呼吸数据处理单元的处理过程包括分析呼吸的发音特征、频率、 深浅，是否有呼吸暂停综合征；发音数据处理单元的处理过程包括提取分析 翘舌音、平舌音、元音、鼻音特征点，及普通话、方言、外语语音特征点， 以及唇腭裂语音的特征点，并进行发音数据分析处理；唾液数据处理单元的 处理过程包括分析唾液的分泌量、粘稠度、分泌的蛋白分子成分与含量；血 液数据处理单元的处理过程包括分析血液中的蛋白分子成分与含量；基因数 据处理单元的处理过程包括对易于导致牙根吸收、牙槽骨壁基因的进行筛查 及分析；全身疾病数据的处理过程包括分析全身采集影像正畸治疗效果的疾 病，评估是否能进行正畸治疗。
14.优选的，数字孪生模块用于将上述所采集的信息基于人工智能和/或虚拟 现实和/或增强现实和/或大数据进行统一整合，并将其输出至matlab中，由 simulink模块构建数字孪生模型，并进行运算处理。
15.优选的，输出模块输出的牙齿矫治后的软硬组织变化情况包括牙列的排 列变化，面部表情变化，呼吸语音变化，并预测发育变化，及牙根、牙槽骨 壁、颞下颌关节软骨吸收风险预警，唾液、血液中的蛋白分子变化，输出模 块输出需要改进的治疗点，包括托槽的粘接位置、弓丝的粗细及形状的改变， 以及隐形牙套设计、隐形牙套附件安装、及隐形牙套的力学变化。
16.优选的，虚拟现实交互模块包括虚拟现实模拟单元与数据处理单元，数 据处理单元获取牙颌面颈部信息并对该数据信息进行预处理了，由虚拟现实 模拟单元基于信息进行拔牙正畸虚拟现实以及非拔牙正畸虚拟现实模拟。
17.优选的，力反馈模型模块包括力反馈单元与处理单元，力反馈单元用于 根据用户手部的操作动作信息计算用户手部预施加的力量数据，并根据所述 力量数据向用户手部
模拟真实反馈，并将上述操作动作信息反馈至处理单元， 由处理单元进行动作数据分析处理。
18.本发明还提供了上述一种口腔牙颌面颈部数字孪生模型的建立方法，包 括如下步骤：
19.s1：采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描、面部图像数 据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾病数 据；
20.s2：对采集的图像及数据进行处理；
21.s3：有限元模型生成，虚拟现实交互模型建立；
22.s4：将数据采集信息、处理信息、虚拟现实交互信息、力学分析信息进 行统一整合，并构建数字孪生模型及运算处理；
23.s5：输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提 示以及需要改进的治疗点，并基于面部变化、矫治效果、发育变化等建立个 性化虚拟现实交互模型。
24.与现有技术相比，本发明的有益效果是：
25.1、本发明的系统模型充分考虑了不同个体的三维模型数据、生化数据、 语言、呼吸、面部表情变化的差异性，并整合了各种方式的优势，可以提高 临床医生的操作水平、筛选最佳的治疗方案、可视化的遇见治疗的效果。
26.2、本发明的系统模型还集成有虚拟现实交互模块、力反馈模型模块，通 过虚拟现实交互模块可以实现拔牙正畸虚拟现实以及非拔牙正畸虚拟现实的 模拟，而且力反馈模型模块可以模拟以及进行力学分析，从而使得系统能达 到提高康复治疗以及手术临床技能培训的目的。
附图说明
27.图1为本发明的系统模块框图；
28.图2为本发明的系统建立实施流程图。
29.图中：1、数据采集模块；2、数据处理模块；3、虚拟现实交互模块；4、 力学分析模块；5、力反馈模型模块；6、数字孪生模块；7、输出模块。
具体实施方式
30.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行 清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而 不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做 出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
31.具体实施例：
32.请参阅图1-2，本发明提供一种技术方案：基于虚拟现实交互的口腔数字 孪生模型系统，包括：
33.数据采集模块1，用于采集患者的牙颌面颈部软硬组织影像数据、牙齿扫 描、面部图像数据、呼吸数据、发音数据、唾液数据、血液数据、基因数据 以及全身疾病数据，且面部图像包括二维面部照片、三维、静态、动态图像；
34.数据处理模块2，用于对采集的图像及数据进行处理，处理过程包括图像 分割、面
部提取、呼吸数据处理、发音分析处理、唾液处理、全身疾病数据 处理，数据处理模块2包括牙颌面颈部数据处理单元、面部图像处理单元、 呼吸数据处理单元、发音数据处理单元、唾液数据处理单元、血液数据处理 单元以及基因数据处理单元；
35.虚拟现实交互模块3，用于模拟拔牙正畸和非拔牙正畸过程，虚拟现实交 互模块3获取分割后的牙颌面颈部信息，并生成交互模型，且该牙齿交互模 型上有托槽和安装弓丝、隐形牙套设计安装、附件粘结、种植支抗植入；
36.力学分析模块4，用于将所分割后的牙齿结构进行三维有限元分析处理， 并生成三维有限元模型，牙齿三维模型包含牙齿、牙周膜、牙槽骨部件；
37.力反馈模型模块5，用于模拟真实的操作中的压感及触感，且手感及触感 包括持针器、镊子、结扎丝、橡皮圈、推簧、拉簧、支抗钉、正畸钳的握持 感以及触感；
38.数字孪生模块6，用于将数据采集信息、处理信息、虚拟现实交互模块3 中安装的托槽、弓丝、隐形牙套、附件信息、力学分析等信息进行统一整合， 并构建数字孪生模型及运算处理；
39.输出模块7，用于输出牙齿矫治后的软硬组织变化情况，预测发育变化， 治疗风险提示以及需要改进的治疗点。
40.在本实施例中，数据采集模块1的采集过程包括：基于ct采集患者的颌 骨、面部、颈部数据，口内扫描仪扫描口内牙齿数据，面部扫描仪扫描面部 软组织轮廓；基于相机拍摄二维、三维面部照片与视频，包括静态、动态的 面部轮廓及表情变化；基于麦克风传感器采集呼吸的发音特征、频率、深浅； 基于麦克风采集患者自述一段语句的发音特征，包括翘舌音、平舌音、元音、 鼻音，自述语句包括但不限于普通话、方言、外语；基于唾液检测仪检测唾 液的分泌量、粘稠度、分泌的蛋白分子成分与含量；基于血液采集分析仪采 集血液中的蛋白分子成分与含量；基于口腔检测过程分析筛查牙根吸收、牙 槽骨壁基因；基于全身疾病采集过程筛查是否患有癫痫、风湿病、肝炎、肾 炎、结核病、糖尿病、心脏病、血友病、佝偻病。
41.在本实施例中，数据处理模块2处理过程中，使用dgcnn对口扫数据进 行临床牙冠数据的分离，再使用人工标记的ct样本对unet神经网络特征函 数进行有监督训练，使用作为 损失函数，对ct图像资料进行分割，建立包括分离牙齿、牙周膜、颌骨的模 型文件，并在模型文件基础上进行牙位及拥挤度、上下颌牙列关系，牙齿中 线位置；使用深度卷积神经网络cnn对x光侧位片等医学影像进行特征点定 位和回归分析，计算气道定量分析指标，确定气道的宽度；面部图像处理单 元的处理过程包括使用sift特征子对面部轮廓及表情特征的提取，并在特征 子确定的基础上计算鼻唇距离，面部中线位置；
42.呼吸数据处理单元的处理过程包括分析呼吸的发音特征、频率、深浅， 是否有呼吸暂停综合征；发音数据处理单元的处理过程包括提取分析翘舌音、 平舌音、元音、鼻音特征点，及普通话、方言、外语语音特征点，以及唇腭 裂语音的特征点，使用lstm循环神经网络对语音信号进行特征提取，并进行 发音数据分析处理；唾液数据处理单元的处理过程包括分析唾液的分泌量、 粘稠度、分泌的蛋白分子成分与含量；
43.血液数据处理单元的处理过程包括分析血液中的蛋白分子成分与含量； 基因数
据处理单元的处理过程包括对易于导致牙根吸收、牙槽骨壁基因的进 行筛查及分析；全身疾病数据的处理过程包括分析全身采集影像正畸治疗效 果的疾病，评估是否能进行正畸治疗。
44.在本实施例中，数字孪生模块6用于将上述所采集的信息基于人工智能 和/或虚拟现实和/或大数据进行统一整合，并将其输出至matlab中，由 simulink模块构建数字孪生模型，并进行运算处理。
45.在本实施例中，输出模块7输出的牙齿矫治后的软硬组织变化情况包括 牙列的排列变化，面部表情变化，呼吸语音变化，并预测发育变化，及牙根、 牙槽骨壁、颞下颌关节软骨吸收风险预警，唾液、血液中的蛋白分子变化， 输出模块7输出需要改进的治疗点，包括托槽的粘接位置、弓丝的粗细及形 状的改变。
46.在本实施例中，虚拟现实交互模块3包括虚拟现实模拟单元与数据处理 单元，数据处理单元获取牙颌面颈部信息并对该数据信息进行预处理了，由 虚拟现实模拟单元基于信息进行拔牙正畸虚拟现实以及非拔牙正畸虚拟现实 模拟。
47.在本实施例中，力反馈模型模块5包括力反馈单元与处理单元，力反馈 单元用于根据用户手部的操作动作信息计算用户手部预施加的力量数据，并 根据所述力量数据向用户手部模拟真实反馈，并将上述操作动作信息反馈至 处理单元，由处理单元进行动作数据分析处理。虚拟现实交互模块3、力反馈 模型模块5可以实现拔牙正畸虚拟现实以及非拔牙正畸虚拟现实的模拟，而 且力反馈模型模块5可以模拟以及进行力学分析，从而使得系统能达到提高 康复治疗以及手术临床技能培训的目的。
48.上述基于虚拟现实交互的口腔数字孪生模型的建立方法，包括如下步骤：
49.s1：采集患者的牙颌面颈部软硬组织影像数据、牙齿扫描、面部图像数 据、呼吸数据、发音数据、唾液数据、血液数据、基因数据以及全身疾病数 据；
50.s2：对采集的图像及数据进行处理；
51.s3：有限元模型生成，虚拟现实交互模型建立；
52.s4：将数据采集信息、处理信息、虚拟现实交互信息、力学分析信息进 行统一整合，并构建数字孪生模型及运算处理；
53.s5：输出牙齿矫治后的软硬组织变化情况，预测发育变化，治疗风险提 示以及需要改进的治疗点，并基于面部变化、矫治效果、发育变化等建立个 性化虚拟现实交互模型。
54.尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而 言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行 多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限 定。