一种基于生物不变特征的数字物理耦合方法和系统与流程

1.本发明涉及增强现实环境下的数字物理耦合方法领域，尤其是涉及一种基于生物不变特征的数字物理耦合方法和系统。


背景技术：

2.ar(active reality)，即增强现实显示技术，综合了计算机图形技术，计算机仿真技术、传感器技术、显示技术等多种科学技术，它在多维信息空间上创建一个虚拟信息环境，能使用户具有身临其境的沉浸感，具有与环境完善的交互作用能力，并有助于启发构思。
3.随着增强现实(ar)与3d建模技术的发展，将ar技术与医疗应用结合的尝试也越来越多。沉浸式医疗ar系统是其中一个重要的研究方向，它的主要功能就是将数字模型与患者对应部位进行耦合，以提高医生的空间感知能力。为了实现数字物理耦合，国内外研究针对不同的手术场景提出了多种解决方案。
4.增强现实(ar)技术目前大多集成在头戴式设备中进行使用，如公开号为cn106526860a的发明公开的一种头戴式ar设备。
5.第一种解决方案是手动耦合。手动耦合直接利用头戴式设备提供的与数字模型交互的功能，移动数字模型直到肉眼认为模型已经与人体耦合。手动耦合操作较为简单，但是依靠肉眼分辨会带来不小的误差，比如当模型处于肉眼与人体之间时，肉眼无法判断模型的具体位置，为了解决这一问题，有人在手动耦合之前先进行粗略的轮廓匹配，再进行手动耦合，一定程度上减小了误差。
6.第二种解决方案是借助vuforia的识别技术进行耦合。vuforia可以识别特定的图像或规则物体，并在该图像或规则物体附近的位置呈现数字模型，这对图像或规则物体的摆放位置有一定的要求，导致其应用范围十分狭窄。
7.第三种解决方案需要借助光学跟踪器和额外的光学标记。光学跟踪器往往作为固定的现实坐标系，利用光学跟踪器和对应的光学标记，可以精准的建立虚拟世界与现实世界的联系，实现误差较小的耦合并且可以实时跟踪患者。但是该方案需要在患者和相应器材上固定光学标记，对手术环境有较高的要求，难以普及。
8.第四种解决方案是无标记的耦合方法。有人利用头戴式设备自有的空间映射和凝视交互功能，通过迭代最近点算法耦合表面，将两个头戴式设备配准在同一世界坐标中，利用锥形束ct坐标可知的特点实现数字物理耦合，这属于特定场景的耦合方法，也有人利用头戴式设备的深度相机数据和神经网络实现的面部特征检测，通过面部点云和模型点云的配准实现数字物理耦合，但该方法只能用于头部的耦合，无法应用于其他部位。


技术实现要素：

9.本发明的目的就是为了克服上述现有技术存在应用范围十分狭窄的缺陷而提供一种基于生物不变特征的数字物理耦合方法和系统。
10.本发明的目的可以通过以下技术方案来实现：
11.一种基于生物不变特征的数字物理耦合方法，包括以下步骤：
12.对人体部位的数字模型进行预处理；
13.在预处理后的所述数字模型上标记第一数字特征点；
14.通过头戴式设备的相机，在现实中的所述人体部位上标记第二数字特征点，所述第一数字特征点与所述第二数字特征点一一对应，且位于同一虚拟世界坐标系下，所述虚拟世界坐标系为相机的虚拟世界坐标系；
15.根据一一对应的所述第一数字特征点与所述第二数字特征点，对所述数字模型的位置进行变换，实现数字模型与人体部位的数字物理耦合。
16.进一步地，所述第一数字特征点的标记具体为：
17.利用头戴式设备的远射线或凝视交互与数字模型表面形成焦点，根据该焦点的坐标生成所述数字模型上的第一数字特征点。
18.进一步地，通过远射线在数字模型上形成焦点的过程具体为：
19.利用ar软件开发工具，将远射线与数字模型形成的焦点位置保存在远指针对象中，通过触发指针事件获取当前远指针的坐标，作为焦点坐标。
20.进一步地，所述第二数字特征点的标记具体为：
21.在现实中的所述人体部分上设定可识别标记，利用计算机视觉识别所述可识别标记，并根据识别出的可识别标记计算出该可识别标记相对于相机的坐标位置，将该坐标位置作为所述第二数字特征点。
22.进一步地，对数字模型的位置进行变换具体为：
23.根据所述虚拟世界坐标系中一一对应的至少两组第一数字特征点与第二数字特征点的坐标点集，利用奇异值分解法计算出旋转矩阵，利用计算得到的旋转矩阵和至少两组所述坐标点集的中心点计算出平移矩阵，将所述旋转矩阵与平移矩阵组合得到4x4的转换矩阵，利用该转换矩阵改变所述数字模型的位置。
24.进一步地，所述对人体部位的数字模型进行预处理具体为：
25.将所述数字模型导入头戴式设备中的unity3d软件中，调整所述数字模型单位与unity3d软件的单位一致；
26.将所述数字模型的中心与所述头戴式设备的相机的虚拟世界坐标系中心对齐。
27.进一步地，所述对人体部位的数字模型进行预处理还包括：
28.对所述unity3d软件中的所述数字模型添加meshcollider组件。
29.进一步地，所述数字物理耦合方法包括：在头戴式设备的相机标记第二数字特征点前，对头戴式设备的相机进行校准。
30.进一步地，所述相机为头戴式设备的前置摄像头。
31.本发明还提供一种基于生物不变特征的数字物理耦合系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。
32.与现有技术相比，本发明具有以下优点：
33.(1)本发明仅需要少量标记点，可以在无准备的手术室中直接工作，局限性较小。
34.(2)本发明可用于多个人体部位，普适性较强。
附图说明
35.图1为本发明实施例中提供的一种基于生物不变特征的数字物理耦合方法的流程框图。
具体实施方式
36.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
37.因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
39.实施例1
40.参考图1所示，本实施例提供一种基于生物不变特征的数字物理耦合方法，包括以下步骤：
41.s1：对人体部位的数字模型进行预处理；
42.具体为，将所述数字模型导入头戴式设备中的unity3d软件中，调整所述数字模型单位与unity3d软件的单位一致；
43.将所述数字模型的中心与所述头戴式设备的相机的虚拟世界坐标系中心对齐；
44.对所述unity3d软件中的所述数字模型添加meshcollider组件。
45.s2：在预处理后的所述数字模型上标记第一数字特征点；
46.s3：通过头戴式设备的相机，在现实中的所述人体部位上标记第二数字特征点，所述第一数字特征点与所述第二数字特征点一一对应，且位于同一虚拟世界坐标系下，所述虚拟世界坐标系为相机的虚拟世界坐标系；
47.所述第一数字特征点的标记具体为：
48.利用头戴式设备的远射线或凝视交互与数字模型表面形成焦点，根据该焦点的坐标生成所述数字模型上的第一数字特征点。
49.通过远射线在数字模型上形成焦点的过程具体为：
50.利用ar软件开发工具，将远射线与数字模型形成的焦点位置保存在远指针对象中，通过触发指针事件获取当前远指针的坐标，作为焦点坐标。
51.所述第二数字特征点的标记具体为：
52.在现实中的所述人体部分上设定可识别标记，利用计算机视觉识别所述可识别标记，并根据识别出的可识别标记计算出该可识别标记相对于相机的坐标位置，将该坐标位置作为所述第二数字特征点。
53.s4：根据一一对应的所述第一数字特征点与所述第二数字特征点，对所述数字模型的位置进行变换，实现数字模型与人体部位的数字物理耦合。
54.对数字模型的位置进行变换具体为：
55.根据所述虚拟世界坐标系中一一对应的至少两组第一数字特征点与第二数字特征点的坐标点集，利用奇异值分解法计算出旋转矩阵，利用计算得到的旋转矩阵和至少两组所述坐标点集的中心点计算出平移矩阵，将所述旋转矩阵与平移矩阵组合得到4x4的转换矩阵，利用该转换矩阵改变所述数字模型的位置。
56.本实施例采用的头戴式设备是hololens2。
57.一般建模软件生成的数字模型，都是以毫米为单位，而unity3d以米为单位，如果直接将数字模型导入unity3d，模型会被放大1000倍。另外，一般建模软件生成的数字模型中心，与unity3d自动计算得到的中心会有一定的偏差，如果不进行调整，对系统的开发有一定的影响。所以在进行耦合之前对数字模型进行预处理是必要的。因此步骤s1具体包括：
58.s1模型导入：将数字模型导入unity3d，调整数字模型单位与unity3d一致；
59.s2中心对齐：将数字模型中心与虚拟世界坐标系中心对齐；
60.s3给数字模型对象添加meshcollider组件。
61.添加meshcollider组件是为了让数字模型表面在逻辑上具有实体，只有逻辑上具有实体的模型，才能在ar环境中交互，包括数字模型的移动、远射线与模型表面形成焦点等。
62.步骤s2具体为：利用hololens2的远射线或凝视交互与数字模型表面形成焦点，让焦点移动到选定的特征点，在焦点位置生成特征点对象，该特征点对象与数字模型绑定，生成后会随着数字模型移动而移动；
63.获取焦点坐标的具体方法为：利用mrtk软件开发工具，其将远射线与其它对象形成的焦点位置保存在远指针对象中，通过触发指针事件获取当前远指针的坐标，利用该坐标生成数字特征点；
64.步骤s3具体为：将可识别标记放置在人体对应的特征点位置上，用计算机视觉识别可识别标记并计算出相机相对于标记的位置和角度，将位置转换为坐标，并在当前坐标位置生成特征点对象。
65.标记点识别使用的工具为：hololensartoolkit软件开发工具和hololens2的前置摄像头。
66.选择的可识别标记是与hololensartoolkit软件开发工具相匹配的40mmx40mm的方形黑白标记。
67.为了使特征点准确的在标记中心生成，需要对hololens2的前置摄像头进行一次校准操作，计算出真实的摄像头参数并配置到hololensartoolkit软件开发工具中。
68.数字模型上的特征点和人体模型上的特征点一一对应且在同一虚拟世界坐标系下，该虚拟世界坐标系由hololens2自动建立并维持稳定。
69.步骤s4具体为：根据同一坐标系下一一对应的两组坐标点集，利用奇异值分解法计算出旋转矩阵，利用计算得到的旋转矩阵和两组点集的中心点计算出平移矩阵，组合得到4x4的转换矩阵，利用转换矩阵改变数字模型的位置，实现数字物理耦合。
70.本实施例还提供一种基于生物不变特征的数字物理耦合系统，包括存储器和处理器，所述存储器存储有计算机程序，处理器调用所述计算机程序执行如上所述的方法的步骤。
71.以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。