一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像显示方法、装置、设备及存储介质与流程

2021-11-15 15:30:00 来源:中国专利 TAG:


1.本发明涉及图像处理技术领域,尤其涉及一种图像显示方法、装置、设备及存储介质。


背景技术:

2.随着科技的进步,智能眼镜也随之发展。智能眼镜像智能手机一样,具有独立的操作系统,可以由用户安装软件、游戏等软件服务商提供的程序。智能眼镜可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能,并可以通过移动通讯网络来实现无线网络接入。
3.目前,智能眼镜广泛应用于机械、物流、军事、教育、消防和行政执法等行业。智能眼镜通常单独被使用,只能对其获取到的信息进行有限的处理。


技术实现要素:

4.本发明实施例提供一种图像显示方法、装置、设备及存储介质,能够将三维摄像头采集到的针对目标物体的目标图像和目标物体对应的三维模型的匹配结果显示在智能眼镜中,降低手术风险。
5.一方面,本发明实施例提供了一种图像显示方法,包括:
6.获取利用三维摄像头采集到的针对目标物体的目标图像;其中,目标物体包括:器官、组织或手术器械;
7.利用目标图像对目标物体对应的三维模型进行匹配;
8.根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示。
9.在本发明的一个实施例中,在根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示之前,本发明实施例提供的图像显示方法还包括:
10.修正三维摄像头与智能眼镜的空间位置关系。
11.在本发明的一个实施例中,本发明实施例提供的图像显示方法还包括:
12.根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的待显示信息利用智能眼镜进行显示;
13.其中,待显示信息包括以下所列项中的至少一种:
14.三维内部结构信息、术前手术规划路径的标注信息、形态信息和姿态信息。
15.在本发明的一个实施例中,三维摄像头设置于智能眼镜上。
16.另一方面,本发明实施例提供了一种图像显示装置,包括:
17.第一获取模块,用于获取利用三维摄像头采集到的针对目标物体的目标图像;其中,目标物体包括:器官、组织或手术器械;
18.匹配模块,用于利用目标图像对目标物体对应的三维模型进行匹配;
19.显示模块,用于根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智
能眼镜进行显示。
20.在本发明的一个实施例中,本发明实施例提供的图像叠加装置还包括:
21.修正模块,用于修正三维摄像头与智能眼镜的空间位置关系。
22.在本发明的一个实施例中,显示模块,还用于:
23.根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的待显示信息利用智能眼镜进行显示;
24.其中,待显示信息包括以下所列项中的至少一种:
25.三维内部结构信息、术前手术规划路径的标注信息、形态信息和姿态信息。
26.在本发明的一个实施例中,三维摄像头设置于智能眼镜上。
27.再一方面,本发明实施例提供一种图像显示设备,设备包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序;
28.处理器执行计算机程序时实现本发明实施例提供的图像显示方法。
29.再一方面,本发明实施例提供一种计算机可读存储介质,计算机可读存储介质上存储有计算机程序,计算机程序被处理器执行时实现本发明实施例提供的图像显示方法。
30.本发明实施例的图像显示方法、装置、设备及存储介质,能够将三维摄像头采集到的针对目标物体的目标图像和目标物体对应的三维模型的匹配结果显示在智能眼镜中,降低手术风险。
附图说明
31.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图作简单地介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
32.图1示出了本发明实施例提供的图像显示方法的流程示意图;
33.图2示出了本发明实施例提供的图像显示的场景示意图;
34.图3示出了本发明实施例提供的三维摄像头与智能眼镜的空间位置关系的示意图;
35.图4示出了本发明实施例提供的图像显示装置的结构示意图;
36.图5示出了能够实现根据本发明实施例的图像显示方法及装置的计算设备的示例性硬件架构的结构图。
具体实施方式
37.下面将详细描述本发明的各个方面的特征和示例性实施例,为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本发明,并不被配置为限定本发明。对于本领域技术人员来说,本发明可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本发明的示例来提供对本发明更好的理解。
38.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖
非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
39.为了解决现有技术问题,本发明实施例提供一种图像显示方法、装置、设备及存储介质。下面首先对本发明实施例提供的图像显示方法进行说明。
40.图1示出了本发明实施例提供的图像显示方法的流程示意图。图像显示方法可以包括:
41.s101:获取利用三维摄像头采集到的针对目标物体的目标图像。
42.其中,目标物体包括:器官、组织或手术器械。
43.s102:利用目标图像对目标物体对应的三维模型进行匹配。
44.s103:根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示。
45.在本发明实施例的一些可能实现中,智能眼镜包括但不限于虚拟现实(virtual reality,vr)眼镜、增强现实(augmented reality,ar)眼镜以及混合现实(mixed reality,mr)眼镜。
46.在本发明实施例的一些可能实现中,三维摄像头可以设置于智能眼镜上。
47.对于器官或组织可以利用电子计算机断层扫描(computed tomography,ct)、磁共振成像(magnetic resonance imaging,mri)和正电子发射型计算机断层扫描(positron emission computedtomography,pet)等仪器测量方式建立器官或组织对应的三维模型。
48.下面结合图2对本发明实施例提供的图像显示方法进行说明。图2示出了本发明实施例提供的图像显示的场景示意图。其中,图2中三维摄像头通过支架设置于智能眼镜上。
49.首先,利用三维摄像头对目标物体进行图像采集,得到目标图像。其中,目标物体可以为器官,也可以为组织,还可以为手术器械等。
50.然后,利用该目标图像对目标物体对应的三维模型进行匹配,得到匹配结果。
51.本发明实施例并不对图像与三维模型的匹配方式进行限定,任何可用的方式均可以应用于本发明实施例中。
52.根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示。可以理解的是,由于三维摄像头设置于智能眼镜上,使得三维摄像头与智能眼镜的空间位置关系已知。
53.图3示出了本发明实施例提供的三维摄像头与智能眼镜的空间位置关系的示意图。
54.其中,图3中o1为三维摄像头位置,三维坐标系xyz的y轴的正方向为三维摄像头的图像采集方向。o2为智能眼镜位置,三维坐标系x

y

z

的y

轴的正方向为智能眼镜的朝向。其中,图3中箭头的指向为坐标轴的正方向。
55.假设三维摄像头与智能眼镜的空间位置关系为:o1的高度较o2的高度高5厘米,o1相对于三维坐标系x

y

z

绕x

轴的偏转角度为α,绕y

轴的偏转角度为β。三维坐标系xyz和三维坐标系x

y

z

的单位坐标长度为1厘米。
56.假设针对目标物体的某一点a在三维坐标系xyz中的坐标为(x
a
,y
a
,z
a
),则该点a在
三维坐标系x

y

z

中的坐标为:([(y
a
0)sinα (z
a
5)cosα]sinβ (x
a
0)cosβ,(y
a
0)cosα-(z
a
5)sinα,[(y
a
0)sinα (z
a
5)cosα]cosβ-(x
a
0)sinβ)。即为([y
a
sinα (z
a
5)cosα]sinβ x
a
cosβ,y
a
cosα-(z
a
5)sinα,[y
a
sinα (z
a
5)cosα]cosβ-x
a
sinβ)。在计算出点a在三维坐标系x

y

z

中的坐标后,将目标物体对应的三维模型中与点a匹配的点显示在三维坐标系x

y

z

中点a对应的坐标处。对于目标物体对应的三维模型中与其他点匹配的点,可以参考点目标物体对应的三维模型中与点a匹配的点的显示过程,将目标物体对应的三维模型中与其他点匹配的点显示在三维坐标系x

y

z

中相应的坐标处,完成利用智能眼镜对目标物体的目标图像和目标物体对应的三维模型的匹配结果的显示。
[0057]
本发明实施例的图像显示方法,能够将三维摄像头采集到的针对目标物体的目标图像和目标物体对应的三维模型的匹配结果显示在智能眼镜中,降低手术风险。
[0058]
在实际应用中,虽然三维摄像头设置于智能眼镜上,但有可能三维摄像头与智能眼镜的空间位置关系发生变化。比如设置不牢固,使得三维摄像头与智能眼镜的空间位置关系发生改变。基于此,在本发明的一个实施例中,可以对三维摄像头与智能眼镜的空间位置关系进行修正。
[0059]
具体的,可以基于一个校准点,利用三维摄像头与智能眼镜分别对该校准点进行图像采集,得到该校准点在三维摄像头对应的三维坐标系xyz中的坐标,以及该校准点在三维摄像头对应的三维坐标系x

y

z

中的坐标,基于上述两个坐标进行坐标转换的逆运算,求解o1相较于o2的高度、o1相对于三维坐标系x

y

z

绕x

轴的偏转角度以及绕y

轴的偏转角度。
[0060]
将求解得到的o1相较于o2的高度、o1相对于三维坐标系x

y

z

绕x

轴的偏转角度以及绕y

轴的偏转角度,作为三维摄像头与智能眼镜的空间位置关系。
[0061]
然后,利用三维摄像头对目标物体进行图像采集,得到目标图像。
[0062]
再然后,根据修正后的空间位置关系,将目标物体的目标图像和目标物体对应的三维模型的匹配结果利用智能眼镜进行显示。
[0063]
本发明实施例的图像显示方法,能够对三维摄像头与智能眼镜的空间位置关系进行修正,进而能够提高图像显示的准确性,进一步的可以降低手术风险。
[0064]
在本发明的一个实施例中,在利用目标图像对目标物体对应的三维模型进行匹配时,还可以得到目标物体的形态、姿态、三维内部结构以及实时形变。基于此,还可以根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的形态信息、姿态信息、三维内部结构信息和实时形变信息等利用智能眼镜进行显示。
[0065]
在本发明的一个实施例中,还可以根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的术前手术规划路径的标注信息利用智能眼镜进行显示。
[0066]
基于上述,在本发明的一个实施例中,可以根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的待显示信息利用智能眼镜进行显示。
[0067]
其中,待显示信息包括以下所列项中的至少一种:
[0068]
三维内部结构信息、术前手术规划路径的标注信息、形态信息和姿态信息。
[0069]
根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的待显示信息利用智能眼镜进行显示的过程与根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示的过程类似,本发明实施例在此不对其进行赘述,具体可参考上述根据
三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示的过程。
[0070]
与上述的方法实施例相对应,本发明实施例还提供一种图像叠加装置。如图4所示,图4示出了本发明实施例提供的图像叠加装置的结构示意图。
[0071]
图像叠加装置可以包括:
[0072]
第一获取模块401,用于获取利用三维摄像头采集到的针对目标物体的目标图像;其中,目标物体包括:器官、组织或手术器械;
[0073]
匹配模块402,用于利用目标图像对目标物体对应的三维模型进行匹配;
[0074]
显示模块403,用于根据三维摄像头与智能眼镜的空间位置关系,将匹配结果利用智能眼镜进行显示。
[0075]
在本发明的一个实施例中,本发明实施例提供的图像叠加装置还可以包括:
[0076]
修正模块,用于修正三维摄像头与智能眼镜的空间位置关系。
[0077]
在本发明的一个实施例中,显示模块403,还可以用于:
[0078]
根据三维摄像头与智能眼镜的空间位置关系,将目标物体对应的待显示信息利用智能眼镜进行显示;
[0079]
其中,待显示信息包括以下所列项中的至少一种:
[0080]
三维内部结构信息、术前手术规划路径的标注信息、形态信息和姿态信息。
[0081]
在本发明的一个实施例中,三维摄像头设置于智能眼镜上。
[0082]
对于本发明实施例的图像显示装置实施例而言,由于其基本相似于本发明实施例的图像显示方法实施例,所以描述的比较简单,相关之处参见本发明实施例的图像显示方法实施例的部分说明即可。本发明实施例在此不对其进行赘述。
[0083]
图5示出了能够实现根据本发明实施例的图像显示方法及装置的计算设备的示例性硬件架构的结构图。如图5所示,计算设备500包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505、以及输出设备506。其中,输入接口502、中央处理器503、存储器504、以及输出接口505通过总线510相互连接,输入设备501和输出设备506分别通过输入接口502和输出接口505与总线510连接,进而与计算设备500的其他组件连接。
[0084]
具体地,输入设备501接收来自外部的输入信息,并通过输入接口502将输入信息传送到中央处理器503;中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息,将输出信息临时或者永久地存储在存储器504中,然后通过输出接口505将输出信息传送到输出设备506;输出设备506将输出信息输出到计算设备500的外部供用户使用。
[0085]
也就是说,图5所示的计算设备也可以被实现为图像显示设备,该图像叠加设备可以包括:存储有可在处理器上运行的计算机程序的存储器;以及处理器,该处理器在执行计算机程序时可以实现本发明实施例提供的图像显示方法和装置。
[0086]
本发明实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序;该计算机程序被处理器执行时实现本发明实施例提供的图像显示方法。
[0087]
需要明确的是,本发明并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本发明的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本发明的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺
序。
[0088]
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本发明的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(rf)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
[0089]
还需要说明的是,本发明中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本发明不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
[0090]
以上所述,仅为本发明的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献