虚拟三维模型与实体模型匹配的方法、系统、设备及介质与流程

1.本技术涉及虚拟现实技术领域，属于人工智能领域，特别是涉及一种虚拟三维模型与实 体模型匹配的方法、系统、设备及介质。


背景技术：

2.虚拟现实(virtual reality)，是利用计算机技术为用户模拟产生一个视觉、听觉、触觉 等感官构成的三维空间虚拟世界，用户借助特殊的输入/输出设备，与虚拟世界进行交互。
3.增强现实(augmented reality)，是一种实时计算摄影机影像位置及角度，并辅以相应 图像的技术，通过虚拟三维模型，在镜片的显示屏幕中将虚拟世界与现实世界叠加，操作者 可以通过设备互动。
4.混合现实(mix reality)，是结合真实世界和虚拟世界创造了新的环境和可视化三维世界， 物理实体和数字对象共存、并实时相互作用，用来模拟真实物体，是虚拟现实技术的进一步 发展。
5.目前，混合现实这种人工智能技术被广泛应用于等医疗领域，在辅助病变定位、手术治 疗、手术前后沟通、案例分享学习以及术后记录总结等与人类密切相关的方面带来革命性的 变化。然而，在实际应用中，如何精准匹配虚拟三维模型与实体模型一直是一个难以攻克的 难题，例如，现实中mr通常利用vuforia插件扫描特定识别图将两者放大进行匹配，匹配 精度与识别图大小及特征相关，被识别的图越小精度就越差，难以满足高精度匹配的需求。


技术实现要素：

6.鉴于以上所述现有技术的缺点，本技术的目的在于提供一种虚拟三维模型与实体模型匹 配的方法、系统、设备及介质，用于解决现有技术在虚拟现实场景中，实现虚拟三维模型与 实体模型匹配时，无法确保匹配精度的问题。
7.为实现上述目的及其他相关目的，本技术提供一种虚拟三维模型与实体模型匹配的方法， 包括：
8.采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标记点的位置 信息不在同一直线；
9.根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐标系下的虚 拟三维模型；
10.采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的位置信息；
11.当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所述实体模型 各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关系，利用所 述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个
标记点的位置 进行重合，实现虚拟三维模型与实体模型的融合。
12.于本技术的一实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应 的位置信息的步骤，还包括：配置与mr设备无线信号连接的信号笔；采集所述信号笔垂直 于所述实体模型各个标记点中心区域的信号强度值，通过多次变换mr设备的位置信息分别 采集所述实体模型每个标记点对应的信号强度值；利用三点定位原理结合不同位置所对应的 信号强度值计算每个所述标记点的位置信息。
13.于本技术的一实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应 的位置信息的步骤，还包括：
14.利用与mr设备无线信号连接的蓝牙笔，获取mr设备在虚拟现实坐标系下的位置信息； 利用mr设备在不同位置信息采集同一标记点的所述mr设备所对应的惯性数据，根据所述 惯性数据计算mr设备位置变换后的位姿变化数据；同时，利用蓝牙笔与标记点中心位置重 合收发信号，通过多次变换mr设备的位置信息分别采集所述实体模型每个标记点对应的信 号强度值；根据所述mr设备位置变换后的位姿变化数据以及在位置变换前后所接收的信号 强度值进行计算，得到目标对象中标记点的位置信息。
15.于本技术的一实施例中，所述根据所述实体模型各标记点的位置信息与虚拟三维模型各 标记点的位置信息之间对应的三维变换关系，还包括：
16.获取目标对象的同一标记点分别在真实坐标系下、虚拟现实坐标系下各自对应的第一位 置坐标与第二位置坐标；
17.以所述真实坐标系与虚拟现实坐标系平移变换矩阵和旋转变换矩阵作为自变量，基于所 述第一位置坐标和所述第二位置坐标构建经平移变换矩阵和旋转变换矩阵之后所对应的目标 函数；
18.对所述目标函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩阵之间的三 维变换关系。
19.于本技术的一实施例中，还包括：
20.获取穿戴mr设备的用户的手势动作；
21.当检测到用户的手势动作时，识别所述手势动作所代表的的操作指令，并根据所述操作 指令在虚拟现实场景中所对应的目标对象，指定所述目标对象按照所述操作指令完成动作； 其中，所述手势动作根据手指触摸或映射到目标匹配相应的目标对象，所述操作指令包括旋 转、放大、缩小和差异显示。
22.于本技术的一实施例中，若所述目标对象发生了位置移动，所述方法还包括：
23.获取所述目标对象的当前目标图像和历史目标图像，所述历史目标图像为在所述当前目 标图像之前若干时间拍摄的图像；
24.分别提取所述当前目标图像和历史目标图像的特征信息，将两幅图像中的特征信息匹配 的每一对特征点确定为匹配点对，所述特征信息包括形状、颜色、纹理中至少一种；
25.根据每一对匹配点对中的两个特征点各自的位置信息来确定当前目标图像和历史目标图 像的位置变化信息；利用所述位置变化信息来判断所述目标对象是否发生位置移动；若所述 目标对象发生了位置移动，确定位置变化信息；
26.根据所述位置变化信息调整所述虚拟三维模型，以实现将所述虚拟三维模型显示在发生 位置移动后的所述目标对象的对应位置。
27.于本技术的一实施例中，还包括：当目标对象为待测用户躯体的某个部位或组织时，通 过在所述实体模型设有标记点，利用医学影像检查设备或核磁共振成像设备扫描所述实体模 型得到带有标记点的检查数据，利用刚体变换基于所述检查数据与标记点构建属于目标对象 的虚拟三维模型；其中，所述标记点在实体模型表面时，所述标记点为用户特殊的纹理特征、 胎记、痣、贴有的标签或涂抹的标记中的至少一种。
28.在本技术的另一目的在于提供一种虚拟三维模型与实体模型匹配的系统，包括：
29.第一采集模块，用于采集设有标记点的目标对象的三维信息，所述标记点至少为三个， 且所述标记点的位置信息不在同一直线；
30.虚拟模型构建模块，用于根据所述目标对象的三维信息按照刚体变换构建所述所述目标 对象在真实坐标下的虚拟三维模型；
31.第二采集模块，用于采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点 所对应的位置信息；
32.模型匹配模块，用于当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型， 根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维 变换关系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的 各个标记点的位置进行重合，实现虚拟三维模型与实体模型的融合。
33.在本技术的另一目的在于提供一种电子设备，包括：
34.一个或多个处理装置；
35.存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理装置 执行，使得所述一个或多个处理装置执行所述虚拟三维模型与实体模型匹配的方法。
36.在本技术的还一目的在于提供一种计算机可读存储介质，其上存储有计算机程序，所述 计算机程序用于使所述计算机执行所述虚拟三维模型与实体模型匹配的方法。
37.如上所述，本技术的虚拟三维模型与实体模型匹配的方法、系统、设备及介质，具有以 下有益效果：
38.在混合虚拟现实中，通过将虚拟三维模型显示在虚拟现实场景内，利用标记定位方式， 将同一目标对象的虚拟三维模型精准的匹配到虚拟现实场景内目标对象所对应的实体模型， 不会随着目标对象逐渐减小，出现虚拟三维模型与实体模型之间的匹配精度下降的现象，保 证了各种不同物体在不同应用场景的正常使用。
附图说明
39.图1显示为本技术提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程 图；
40.图2显示为本技术提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程 图；
41.图3显示为本技术提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的流程 图；
42.图4显示为本技术提供的一种虚拟三维模型与实体模型匹配的系统在一实施例中的完整 结构框图；
43.图5显示为本技术提供的一种虚拟三维模型与实体模型匹配的设备在一实施例中的结构 框图。
具体实施方式
44.以下通过特定的具体实例说明本技术的实施方式，本领域技术人员可由本说明书所揭露 的内容轻易地了解本技术的其他优点与功效。本技术还可以通过另外不同的具体实施方式加 以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本技术的精 神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征 可以相互组合。
45.需要说明的是，以下实施例中所提供的图示仅以示意方式说明本技术的基本构想，遂图 式中仅显示与本技术中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实 际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复 杂。
46.通常而言，全息投影技术也称虚拟成像技术，是利用干涉和衍射原理记录并在线物体真 实的三维图像的技术。全息投影技术可应用于舞台，不仅可产生立体三维图像，还可以使三 维图像与表演者产生互动，一起完成表演，产生令人震撼的演出效果。全息投影可划分为光 全息技术、数字全息技术、计算全息技术、微波全息技术、反射全息技术、声全息技术等等， 利用全息投影技术生产目标对象的虚拟三维模型。另外，在本技术实施例中，还包括利用ar 设备、mr设备所产生的目标对象的虚拟3d模型。
47.将虚拟的3d模型应用到真实场景，实现虚拟现实的混合使用，其被广泛应用于文化、 教育、艺术、军事、娱乐等多个领域，在产品展示、人工智能、图像仿真、模拟训练等与人 类密切相关的方面带来革命性的变化。例如，针对现实中mr设备通常利用vuforia插件扫 描特定识别图生成虚拟模型，将虚拟模型与实体模型放大进行匹配，匹配精度与识别图大小 及特征相关，被识别的图越小精度就越差，难以满足高精度匹配的需求，因此，亟需一种可 在任何领域任何场景针对不同尺寸大小的虚拟模型与实体模型实现匹配，且匹配精度不会随 着尺寸大小改变的匹配方式。
48.为说明本技术的虚拟三维模型与实体模型匹配的方法的不同实现方式，本技术还提供了 以下实施例。
49.请参阅图1，为本技术提供的一种虚拟三维模型与实体模型匹配的方法在一实施例中的 流程图，包括：
50.步骤s101，采集设有标记点的目标对象的三维信息，所述标记点至少为三个，且所述标 记点的位置信息不在同一直线；
51.其中，目标对象包括但不限于人、人身体某一部位或组织、物品、以及某些虚拟场景的 模型，例如，树木、个人、汽车等。三维信息指目标对象通过医学影像检查设备或核磁共振 成像设备扫描所述实体模型得到带有标记点的检查数据，例如，反映目标对象的构造体的三 维模型和构造体的三维测量值，从连接关系、形状特征、形状信息以及姿势等多个角度有助 于生成虚拟三维模型的参数。
52.目标对象的标记点至少为三个，其中，三个标记点可以在实体模型的表面或内部，且三 个标记点不在一条直线上，通过三个标记点构成一个视觉坐标系，在该视觉坐标系上
每个标 记点对应有一个坐标，通过上述标记不仅能够准确反映物体的形状、结构与朝向，还有利于 计算真实的视觉坐标系与虚拟世界的虚拟现实坐标系之间的关系。
53.步骤s102，根据所述目标对象的三维信息按照刚体变换构建所述所述目标对象在真实坐 标系下的虚拟三维模型；
54.具体地，通过刚体变换，将设有标记点的目标对象的三维信息构建目标对象在真实坐标 系下所对应的虚拟三维模型，例如，利用刚体变换得到所述实体模型所对应的虚拟三维模型， 其中，变换前后两点间的距离依旧保持不变则被称为刚体变换，刚体变换可分解为平移变换、 旋转变换和镜像变换，例如，通过刚体变换的形状和大小不发生变化的物体；刚体不仅有位 置、还有自身的姿态，姿态是指物体的朝向。
55.例如，三个标记点分别为标记点a、标记点b与标记点c，其中，标记点a的坐标为(x1、 y1、z1)、标记点b的坐标为(x2、y2、z2)与标记点c的坐标为(x3、y3、z3)，通过标记 点a与标记点b构成一个xoy的平面，在此基础上，结合标记点c构建一个三维坐标系 xyz，通过确定三个标记点的位置信息，能够迅速确定实体模型的三维结构。
56.又例如，当目标对象为患者的牙齿时，可以使用口腔医学里传统的制取印模、翻制石膏 模型的方法制作患者的牙齿模型，再使用仓式扫描仪扫描得到所述患者的牙齿三维模型，从 而得到牙齿的三维模型；也可采用手持式数字口内扫描仪直接扫描患者口腔，即可直接获取 所述患者的牙齿的三维模型，从而得到牙齿的三维模型。
57.步骤s103，采集虚拟现实坐标系下所述目标对象对应的实体模型的各个标记点所对应的 位置信息；
58.具体地，一方面，目标对象在真实坐标系有对应的实体模型，有对应的三维关系，能够 反映实体模型的长、宽、高以及具体的结构关系；另一方面，在虚拟现实坐标系下，由于虚 拟现实坐标系相对于真实坐标系本身发生了改变，两个坐标系之间存在矩阵变换关系，通过 计算两者之间的矩阵变换关系，计算实体模型标记点的坐标转换。
59.步骤s104，当监测到虚拟三维模型与实体模型匹配指令时，加载虚拟三维模型，根据所 述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对应的三维变换关 系，利用所述三维变换关系反向变换所述虚拟三维模型各标记点，向所述实体模型的各个标 记点的位置进行重合，实现虚拟三维模型与实体模型的融合。
60.具体地，实体模型的标记点的位置信息在虚拟现实场景内初始是固定的，在输入虚拟三 维模型之后，从虚拟三维模型当前所处的原点出发，将虚拟三维模型的各个标记点与实体模 型的标记点进行匹配，通过矩阵变换关系反向计算出虚拟三维模型的各个标记点的平移、翻 转的位置姿态矩阵，从而得到虚拟三维模型的各个标记点的匹配轨迹。
61.通过上述方式，避免虚拟三维模型与实体模型间的匹配精度随着目标对象的尺寸结构减 小而引发的匹配精度下降的现象，保证了各种不同物体在不同应用场景的正常使用。
62.在某一些实施例中，所述步骤s102中所述采集虚拟现实坐标系下所述目标对象中各个标 记点所对应的位置信息的步骤，还包括：
63.配置与mr设备近距离无线信号连接的信号笔；采集所述信号笔垂直于所述实体模型各 个标记点中心区域的信号强度值，通过多次变换mr设备的位置信息分别采集所述实体模型 每个标记点对应的信号强度值；利用三点定位原理结合不同位置所对应的信号强
度值计算每 个所述标记点的位置信息。
64.其中，信号笔可以通过红外线笔、zigbee笔、蓝牙笔等发出无线信号，将信号笔垂直于 所述实体模型各个标记点中心区域，其中，信号笔以纽扣形式粘贴重合在实体模型的标记点 上，用户通过穿戴mr设备，通过切换用户穿戴mr设备的后的位置信息，从多个维度对同 一个标记点进行信号收发，通过不同距离得到一个标记点对应不同信号强度值，通过三点定 位原理反向计算标记点的位置坐标，再结合收发特殊数据封包的信号强度值的信号相位差优 化计算标记点的位置信息，从而准确定位到实体物体所对应的实体模型的标记点的位置信息。
65.可选的，信号笔还可为使用超宽带定位技术的定位设备，其数据传输是通过收发纳秒级 别的窄脉冲来实现，可以在室内定位中保证ghz级的数据带宽，超宽带定位技术的优点在 于具有厘米级别的精度，且功耗低，并具有较强的抗干扰能力。
66.在另一些实施例中，所述采集虚拟现实坐标系下所述目标对象中各个标记点所对应的位 置信息的步骤，还包括：
67.利用与mr设备无线信号连接的蓝牙笔，获取mr设备在虚拟现实坐标系下的位置信息； 利用mr设备在不同位置信息采集同一标记点的所述mr设备所对应的惯性数据，根据所述 惯性数据计算mr设备位置变换后的位姿变化数据；同时，利用蓝牙笔与标记点中心位置重 合收发信号，通过多次变换mr设备的位置信息分别采集所述实体模型每个标记点对应的信 号强度值；根据所述mr设备位置变换后的位姿变化数据以及在位置变换前后所接收的信号 强度值进行计算，得到目标对象中标记点的位置信息。
68.可选的，在不同位置信息采集同一标记点的所述mr设备所对应的惯性数据，同时，利 用mr设备内惯性测量单元采集mr设备内的摄像装置所对应的惯性数据(线性加速度与旋 转矢量)，由惯性数据确定mr设备的运动轨迹，根据所述运动轨迹确定mr设备位置变换 后的位姿变化数据；例如，惯性测量单元是测量物体三轴姿态角(或角速率)以及加速度的装 置。包括三个单轴的加速度计和三个单轴的陀螺，加速度计检测物体在载体坐标系统独立三 轴的加速度信号，而陀螺检测载体相对于虚拟现实坐标系的角速度信号，测量物体在三维空 间中的角速度和加速度，并以此解算出物体的姿态。
69.具体地，根据所述惯性数据计算mr设备位置变换后的位姿变化数据。
70.具体地，蓝牙笔发出蓝牙信号，将蓝牙笔垂直于所述实体模型各个标记点中心区域，其 中，蓝牙笔以纽扣形式粘贴重合在实体模型的标记点上，用户通过穿戴mr设备，通过切换 用户穿戴mr设备的位置信息，变换位置前后对同一个标记点进行蓝牙信号收发，通过不同 距离得到一个标记点对应不同信号强度值；获取mr设备在位置变换前的初始位置信息(虚 拟现实坐标系)，利用位置变换后所对应惯性数据计算所述mr设备的位置信息，即，位姿 变化数据；通过位置变换前后mr设备自身的位姿变化数据根据位置变换前后同一个标记点 的信号强度值的变化，利用三角定位原理与信号强度的变换差异借助定位算法得到该标记点 在虚拟现实坐标系下的位置信息。
71.在上述实施例的基础上，还包括：
72.利用与mr设备无线信号连接的蓝牙笔，在蓝牙笔末端设置二维码图像，通过识别二维 码图像得到二维码坐标位置信息，对二维码坐标信息进行变换得到虚拟现实坐标系下的第一 位置信息，通过蓝牙笔、二维码图像与标记点的关联关系得到该标记点的第一位
三维模型与实体模型融合时，大大提升虚拟三维模型与实体模型融合的准确率。
85.在某一些实施例中，请参阅图2，本技术提供的一种虚拟三维模型与实体模型匹配的方 法在一实施例中的流程图，还包括：
86.所述根据所述实体模型各标记点的位置信息与虚拟三维模型各标记点的位置信息之间对 应的三维变换关系，还包括：
87.步骤s201，获取目标对象的同一标记点分别在真实坐标系下、虚拟现实坐标系下各自对 应的第一位置坐标与第二位置坐标；
88.步骤s202，以所述真实坐标系与虚拟现实坐标系平移变换矩阵和旋转变换矩阵作为自变 量，基于所述第一位置坐标和所述第二位置坐标构建经平移变换矩阵和旋转变换矩阵之后所 对应的目标函数；
89.步骤s203，对所述目标函数进行最小化处理，得到所述平移变换矩阵和所述旋转变换矩 阵之间的三维变换关系。
90.可选的，由于上述目标函数中包含有两个自变量，为便于计算，可以先获取平移变换矩 阵和旋转变换矩阵之间的最优的变换关系，将上述目标函数转换为仅包含一个自变量的函数， 例如，仅包含旋转变换矩阵的函数，进而计算出使得上述函数值最小的最优旋转变换矩阵， 参照上述方式，再计算得到函数值最小的最优平移变换矩阵。
91.由此可知，根据目标函数取到最小值时，平移变换矩阵和旋转变换矩阵之间的变换关系， 作为最优的三维变换关系。例如，可以在得到最优旋转变换矩阵之后，采用最优旋转变换矩 阵对第一位置坐标(即：标记点在真实标系下的坐标向量)进行变换，得到变换后坐标向量， 然后将变换后坐标向量与第二位置坐标(即：标记点在虚拟现实坐标系下的坐标向量)之差， 确定为最优平移变换矩阵。又例如，在得到最优旋转变换矩阵之后，采用最优旋转变换矩阵 对第二位置坐标(即：标记点在虚拟现实坐标系下的坐标向量)进行变换，得到变换后坐标向 量，然后将变换后坐标向量与第一位置坐标(即：标记点在真实标系下的坐标向量)之差，确 定为最优平移变换矩阵。
92.采用上述方式，可以得到精度较高的三维变换关系，进而提高真实坐标系与虚拟现实坐 标系的坐标转换关系。
93.在另一些实施例中，还包括：
94.获取所述实体模型各个标记点分别在虚拟现实坐标系、真实坐标系各自对应的的位置信 息；
95.计算所述实体模型各个标记点在虚拟现实坐标系与真实坐标系之间的矩阵变换关系；
96.根据刚体变换利用所述虚拟三维模型的各个标记点与实体模型各个标记点之间的矩阵变 换关系，将所述虚拟三维模型的各个标记点通过反向变换与所述实体模型的各个标记点对应 重合，实现虚拟三维模型与实体模型之间的精准匹配。
97.具体地，实体模型的各个标记点相对于实体模型是保持不变的，在虚拟现实坐标系下， 各个标记点所处的位置坐标能够反映该标记点的位移与姿态，但是，当实体模型身处于虚拟 现实场景中的，由于实体模型的坐标系发生了变化，原有在真实坐标下的各个标记点在虚拟 现实中也随之发生改变，故而导致实体模型的标记点在虚拟现实坐标系下也发生改变。
98.例如，实体模型各个标记点在虚拟现实坐标系与真实坐标系之间的矩阵变换关系，计算 矩阵变换关系的步骤，具体包括：
99.其中，t＝(t,t,t,1)
t
为mr设备在真实坐标系的原点在真实坐标系中的坐标，r为虚拟现 实坐标系相对真实坐标系旋转的4
×
4正交矩阵，x
c
、y
c
、z
c
为真实坐标系下的坐标，x
r
、 y
r
、z
r
为虚拟现实坐标系下的坐标。
100.在具体方案中，可将真实坐标系与虚拟现实坐标系下之间的映射矩阵转换展开，对n个 在真实坐标系中的坐标已知的标识点，每个标识点都符合上式的方程，于是可得到3n个方程 构成的方程组：
[0101][0102]
将其改写为ar＝b，由于只有参数矩阵的秩和未知参数个数相等时才可以求解，即，最 少需要四个线性无关的标记点才能求解r、t，将n个标识点坐标带入ar＝b，其求解实际 上转换为最小二乘问题，此时r的解可用最小二乘线性回归求得：r＝(a
t
·
a
‑1)
·
a
t
·
b。
[0103]
根据n组初始拟合点绘制残差图；去除残差图中置信区间均不包含零点的m组离群点， 得到n
‑
m个目标拟合点；将n
‑
m组目标拟合点代入真实坐标系与虚拟现实坐标系之间的映射 矩阵，即可将得到真实坐标系与虚拟现实坐标系之间的矩阵变换关系，其中，n、m为大于零 的正整数，且n大于m。
[0104]
在某一些实施例中，请参阅图3，本技术提供的一种虚拟三维模型与实体模型匹配的方 法在一实施例中的流程图，若所述目标对象发生了位置移动，所述方法还包括：
[0105]
步骤s301，获取所述目标对象的当前目标图像和历史目标图像，所述历史目标图像为在 所述当前目标图像之前若干时间拍摄的图像；
[0106]
步骤s302，分别提取所述当前目标图像和历史目标图像的特征信息，将两幅图像中的特 征信息匹配的每一对特征点确定为匹配点对，所述特征信息包括形状、颜色、纹理、灰度中 至少一种；
[0107]
步骤s303，根据每一对匹配点对中的两个特征点各自的位置信息来确定当前目标图像和 历史目标图像的位置变化信息；利用所述位置变化信息来判断所述目标对象是否发生位置移 动；若所述目标对象发生了位置移动，确定位置变化信息；
[0108]
步骤s304，根据所述位置变化信息调整所述虚拟三维模型，以实现将所述虚拟三维模型 显示在发生位置移动后的所述目标对象的对应位置。
[0109]
可选的，当前目标图像和历史目标图像可以对目标对象拍摄视频的两个时刻的图像帧， 也可以是前后两个时刻所拍摄的图像。当前目标图像和历史目标图像可以是由同一拍摄设备 在同一位置拍摄的不同时刻的两张图像，也可以是由同一拍摄设备在不同位置拍摄的不同时 刻的两张图像。例如当前目标图像和历史目标图像可以是通过观察对象所佩戴的辅助观察设 备所采集的，由于观察对象可能存在走动、转头等动作，使得其所采集到的当前目标图像和 历史目标图像的图像采集位置并不相同，此时可以通过借助某一固定参照物的坐标进行坐标 系的转换，以确定当前位置信息和历史位置信息。
[0110]
可选的，利用sift算法、小波算法或者采用特征信息获取模块根据每一幅图像(当前目 标图像和历史目标图像)所包含的像素点的诸如颜色、灰度等信息来确定特征点，获取特征 点的特征信息。例如，当所述当前目标图像和历史目标图像中任一幅图像中预定尺寸的子图 像块的特征信息与该子图像块相邻的子图像块的特征信息之差超过预设阈值范围时，则所述 确定该个子图像块为特征点，并获取该个特征点的特征信息等。预定尺寸的子图像块包括但 不限于包括2*2个像素点、3*3个像素点等的子图像块。
[0111]
可选的，当前目标图像中的特征点的特征信息与历史目标图像中的特征点的特征信息是 否相同；或者，通过位置变化信息来判断，例如，当前目标图像中的特征点的特征信息与历 史目标图像中的特征点的特征信息之间的欧式距离是否小于预定阈值；又例如，先确定每一 对匹配点对中的两个特征点各自的位置信息的差值，再基于每一对匹配点对所对应的差值来 求取平均值，将该平均值作为当前目标图像中的特征点的特征信息与历史目标图像中的特征 点的特征信息之间的位置变化信息，从而精准的判断目标对象是否发生了位置移动。
[0112]
通过上述方式可以实现在目标对象发生移动时，使得三维模型及时进行跟随移动，且在 目标对象发生移动过程中不进行模型的移动，防止模型显示图像晃动，客户体验度下降。相 比于重新确定新的空间转化关系，该方式更加简单方便，计算量相对较少，匹配效率更高。
[0113]
在另一些实施例中，还包括：
[0114]
获取所述实体模型各个标记点在虚拟现实坐标下的位置信息；获根据刚体变换计算所述 实体模型各个标记点与虚拟三维模型各个标记点之间一一对应的矩阵变换关系；按照所述矩 阵变换关系将所述虚拟三维模型的各个标记点通过反向变化与所述实体模型的各个标记点对 应重合，实现虚拟三维模型与实体模型之间的精准匹配。
[0115]
具体地，在虚拟模型的虚拟三维模型和实际物体对应的相同位置各获取n个标记点(n 为大于等于3的自然数，由标记点求解r、t时的自由度决定)，由于刚体变换可以分解为旋 转变换和平移变换，因此，将虚拟模型和实际物体的刚体变换转变成求解由源点对到目标点 对的r(旋转矩阵)、t(平移矩阵)变换关系，即满足p
target
＝r*p
calibration
t。
[0116]
其中，求解标记点对a到b(a和b为3 x n数组，每一列表示一个坐标点)之间r、 t变换矩阵的方法是，通过求解标记点a、标记点b对的平均中心将a、b分别平移到旋转中 心，再求得r，带入刚体变换公式求得t。
[0117]
获得虚拟模型和实体标记物实际坐标的方法是，在hololens里通过放置虚拟点获得标记 点坐标，通过ct图像重建获得带有标记点的三维模型(虚拟三维模型)，将两种特征点进 行匹配，以达到模型匹配效果。
[0118]
在某一些实施例中，还包括：当目标对象为用户身体某个部位时，通过在所述部位相应 位置设有标记点得到实体模型，利用ct或核磁共振扫描所述实体模型得到检查数据，基于 所述检查数据与标记点构建虚拟三维模型。
[0119]
其中，所述标记点在实体模型的表面时，所述标记点为用户特殊的纹理特征、胎记、痣、 贴有的标签或涂抹的标记中至少一种。例如，由于针对的目标对象为患者，当为患者的身体 某个部分或某个器官组织时(头部、手部、腿部等)，在人体的表面有些特殊纹理，例如： 纹身或疤痕，胎记、以及痔等特别凸显的特征信息，一方面，上述特征信息位于人体
表面， 特征信息不会轻易发生位置改变以及轻易掉落；另一方面，上述特征信息相对于人体表面， 即使拍照或采集成像后能够轻易识别，特别显目。
[0120]
当用户使用微软的hololens眼镜的空间映射功能，采集当前场景的内部结构信息，例如， 用户操作hololens眼镜，设定单次扫描范围阈值；用户穿戴hololens眼镜在当前手术室内 行走，采用hololens眼镜扫描手术室的内部环境，得到一组手术室内部结构信息网格和坐标 进行存储；使用hololens眼镜按照以上方法采集离散的小空间，采集多组用手术室内部结构 信息用于后续拼接处理构成完整的手术室内部3d模型，实现三维场景的重建。例如，使用 建模软件制作上述信息面板并导入unity3d中；在所述unity3d中使用hololens插件为上述 信息面板绑定脚本，添加空间锚点定位功能；使用预制体调用环境感知摄像头和深度感知摄 像头定期进行对周围环境进行扫描，更新环境信息数据；三维场景重建，将具有空间锚点定 位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。
[0121]
例如，当用户扫描的目标对象(即，目标对象)为患者的腿部时，由于腿部为虚拟现实 场景内的实体模型，该实体模型上设有标记点，用户通过hololens眼镜能够在虚拟现实场景 中，清晰完整的观察患者的腿部，以及腿部表面的标记点。而在此之前，用户通过ct或核 磁共振扫描患者腿部得到检查数据，获悉该腿部三维结构，基于所述检查数据与标记点构建 含有标记点的虚拟三维模型，该虚拟三维模型从骨架、肌肉、血管、病灶以及标记等多个维 度多颜色进行区别显示，通过匹配全息影像与腿部之间对应的标记点，实现3d重建后的全 息影像与人体精准重合，使医生能够更直观、真实地观察人体组织结构，从而提高手术精准 度、方便与患者沟通，同时，也能增加年轻医生的手术参与率。
[0122]
通过上述三维可视化技术，在腿部的实体模型上叠加虚拟的虚拟三维模型，以彩色三维 可透明的立体结构展现，不仅可辅助临床医生解决目前所遇到的各种复杂疑难病症，还能为 治疗提供手术模拟、风险评估、精准测量及术中导航，从而提高手术成功率。
[0123]
在另一些实施例中，还包括：
[0124]
获取穿戴mr设备的用户的手势动作；
[0125]
当检测到用户的手势动作时，识别所述手势动作所代表的的操作指令，并根据所述操作 指令在虚拟现实场景中所对应的目标对象，指定所述目标对象按照所述操作指令完成动作； 其中，所述手势动作根据手指触摸或映射到目标匹配相应的目标对象，所述操作指令包括旋 转、放大、缩小和差异显示。
[0126]
可选的，通过穿戴的mr设备中的摄像装置来扑捉用户的手势动作，该手势动作可采用 同一穿戴设备中多个摄像装置采集手势动作，通过采用至少两帧的图像来获取手势动作，对 从不同摄像装置或者不同时间或者不同角度获得的多幅手势动作图像进行最佳匹配，得到待 融合图像，对待融合图像进图像融合与边界平滑处理，得到当前拼接图像(融合方法有his 融合法、高通滤波融合法、小波变换融合法等)，通过拼接融合手势这一特征信息获取到用 户手势变化的运动轨迹与位姿变化信息，从而确保手势动作采集的准确性。
[0127]
可选的，通过将手势动作与预设的手速动作进行比较，若两者的比较结果大于预设阈值 时，则认为实现了某个特定操作指令；另外，在手势动作发生之前，通过点击或长按等方式 关联映射到某个目标对象时，则后续该目标对象按照识别的操作指令完成指定动作即可。
动器等的输出装置507；包括例如磁带、硬盘等的存储装置508；以及通信装置509。通信装 置509可以允许电子设备500与其他设备进行无线或有线通信以交换数据。虽然图5示出了 具有各种装置的电子设备500，但是应理解的是，并不要求实施或具备所有示出的装置。可 以替代地实施或具备更多或更少的装置。
[0139]
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程 序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计 算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中， 该计算机程序可以通过通信装置509从网络上被下载和安装，或者从存储装置508被安装， 或者从rom 502被安装。在该计算机程序被处理装置501执行时，执行本公开实施例的方法 中限定的上述功能。
[0140]
上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入 该电子设备中。
[0141]
上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备 执行时，使得该电子设备参照上述虚拟三维模型与实体模型匹配的方法。
[0142]
可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代 码，上述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ，还包括 常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地 在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用 户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程 计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特 网连接)。
[0143]
综上所述，在混合虚拟现实中，通过将虚拟三维模型显示在虚拟现实场景内，利用标记 定位方式，将同一目标对象的虚拟三维模型精准的匹配到虚拟现实场景内目标对象所对应的 实体模型，不会随着目标对象逐渐减小，出现虚拟三维模型与实体模型之间的匹配精度下降 的现象，保证了各种不同物体在不同应用场景的正常使用。
[0144]
上述实施例仅例示性说明本技术的原理及其功效，而非用于限制本技术。任何熟悉此技 术的人士皆可在不违背本技术的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡 所属技术领域中具有通常知识者在未脱离本技术所揭示的精神与技术思想下所完成的一切等 效修饰或改变，仍应由本技术的权利要求所涵盖。