一种超声三维重建方法及系统与流程

1.本发明涉及超声图像处理技术领域，尤其涉及一种超声三维重建方法及系统。


背景技术：

2.医学图像的三维重建是医学可视化重要的研究方向。超声诊断具有无创伤,快速安全等特点,但是传统的二维超声图像不能准确观察到组织的三维结构，诊断结果很大程度上依赖于医生经验知识。所以,医学超声图像三维重建成为医学图像处理领域的研究热点，医学超声图像的三维重建技术在临床诊断和手术规划等方面中发挥着重要的作用。
3.现有的三维重建技术多应用于工业领域，并且是使用多个固定的摄像头结合双目视觉来展开，但在医疗超声图像领域中，使用扫查探头的成像方式与传统的双目视觉没法很好结合，并且依赖于人工辅助，存在精度较低的情况和存在重建失败的风险。


技术实现要素：

4.针对现有技术中存在的问题，本发明提供一种超声三维重建方法，预先设置一机械臂，以通过所述机械臂的末端夹持一超声探头；
5.则所述超声三维重建方法包括：
6.步骤s1，所述机械臂带动所述超声探头对一扫查对象的一目标器官区域进行扫查，并在所述超声探头的扫查过程中，记录每次扫查时所述超声探头的扫查位置数据、扫查方向矢量和对应的超声扫查图像；
7.步骤s2，在所述目标器官区域扫查完成后，根据扫查得到的各所述扫查位置数据、各所述扫查方向矢量和各所述超声扫查图像进行超声三维重建得到所述目标器官区域的三维超声图像。
8.优选的，所述扫查对象位于预设的一超声扫查区域，所述超声扫查区域的上方预设有一双目视觉设备；
9.则执行所述步骤s1之前，还包括一定位过程，包括：
10.步骤a1，采用所述双目视觉设备拍摄得到所述扫查对象的位置图像，并根据所述位置图像处理得到所述目标器官区域对应的表皮轮廓在预先构建的一空间坐标系中的目标位置坐标集合；
11.步骤a2，获取所述超声探头在所述空间坐标系中的初始三维坐标，并根据所述初始三维坐标和所述目标位置坐标集合处理得到相应的控制信号；
12.所述步骤s1中，所述机械臂根据所述控制信号带动所述超声探头对所述目标器官区域进行扫查。
13.优选的，所述步骤a1包括：
14.步骤a11，采用所述双目视觉设备拍摄得到所述扫查对象的位置图像；
15.步骤a12，根据所述位置图像对所述目标器官区域对应的表皮轮廓进行三维重建得到表皮轮廓三维图像，并根据所述表皮轮廓图像处理得到所述目标器官区域对应的表皮
轮廓在所述空间坐标系中的所述目标位置坐标集合。
16.优选的，所述步骤s2包括：
17.步骤s21，在所述目标器官区域扫查完成后，针对每次扫查得到的所述扫查位置数据和所述扫查方向矢量处理得到所述对应的所述超声扫查图像在所述空间坐标系中的所属平面位置；
18.步骤s22，根据所述扫查位置数据、所述所属平面位置和对应的所述超声扫查图像处理得到所述超声扫查图像中的每个像素点在所述空间坐标系中的空间坐标；
19.步骤s23，分别获取各所述超声扫查图像中的每个像素点的像素值，并将所述像素值映射到对应的所述空间坐标，得到所述目标器官区域的所述三维超声图像。
20.优选的，所述扫查位置数据包括所述超声探头的末端的一左侧点和一右侧点在所述空间坐标系中对应的左侧三维坐标和右侧三维坐标，所述左侧点和所述右侧点分别对应于所述超声扫查图像中的左上角像素点和右上角像素点；
21.则所述步骤s22包括：
22.步骤s221，获取所述超声扫查图像中的各像素点的像素坐标；
23.步骤s222，根据所述左上角像素点的所述像素坐标和对应的所述左侧三维坐标，以及所述右上角像素点的所述像素坐标和对应的所述右侧三维坐标，以及所述所属平面位置进行坐标转换，以处理得到对应的所述超声扫查图像中的每个所述像素点在所述空间坐标系中的所述空间坐标。
24.优选的，所述步骤s1中，在每次扫查时，根据所述目标位置坐标集合中对应的目标位置坐标和预先获取的所述机械臂和所述超声探头的尺寸数据，处理得到所述超声探头的末端的所述左侧点和所述右侧点在所述空间坐标系中对应的所述左侧三维坐标和所述右侧三维坐标，并作为所述扫查位置数据。
25.优选的，所述步骤s1中，在每次扫查时，获取所述机械臂的最后一节的方向作为所述扫查方向矢量。
26.本你发明还提供一种超声三维重建系统，应用上述的超声三维重建方法，所述超声三维重建系统包括：
27.机械臂，所述机械臂的末端夹持一超声探头，所述机械臂带动所述超声探头对一扫查对象的一目标器官区域进行扫查；
28.控制模块，分别连接所述机械臂和所述超声探头，所述控制模块包括：
29.数据获取单元，用于在所述超声探头的扫查过程中，记录每次扫查时所述超声探头的扫查位置数据、扫查方向矢量和对应的超声扫查图像；
30.三维重建单元，连接所述数据获取单元，用于在所述目标器官区域扫查完成后，根据扫查得到的各所述扫查位置数据、各所述扫查方向矢量和各所述超声扫查图像进行超声三维重建得到所述目标器官区域的三维超声图像。
31.优选的，还包括一双目视觉设备，设置于一超声扫查区域的上方，所述扫查对象位于所述超声扫查区域，所述双目视觉设备用于在扫查之前拍摄得到所述扫查对象的位置图像并输出；
32.所述控制模块连接所述双目视觉设备，所述控制模块还包括：
33.图像处理单元，用于获取并根据所述位置图像处理得到所述目标器官区域对应的
表皮轮廓在预先构建的一空间坐标系中的目标位置坐标集合；
34.扫查控制单元，连接所述图像处理单元，用于获取所述超声探头在所述空间坐标系中的初始三维坐标，并根据所述初始三维坐标和所述目标位置坐标集合处理得到相应的控制信号，以控制所述机械臂带动所述超声探头对所述目标器官区域进行扫查。
35.优选的，所述图像处理单元包括：
36.重建子单元，用于根据所述位置图像对所述目标器官区域对应的表皮轮廓进行三维重建得到表皮轮廓三维图像；
37.处理子单元，连接所述重建子单元，用于根据所述表皮轮廓图像处理得到所述目标器官区域对应的表皮轮廓在所述空间坐标系中的所述目标位置坐标集合。
38.上述技术方案具有如下优点或有益效果：
39.1)通过控制机械臂带动超声探头进行超声扫查，并在超声扫查完成后自动进行超声图像的三维重建，无需人工参与，有效提升三维重建得到的三维超声图像的精度；
40.2)通过双目视觉设备实现目标器官区域的定位，结合超声探头的位置信息，实现自动控制机械臂带动超声探头进行超声扫查，避免由于采用人工扫查导致的可能存在的扫查角度或位置等偏差造成的精度低甚至三维重建失败的现象。
附图说明
41.图1为本发明的较佳的实施例中，一种超声三维重建方法的流程示意图；
42.图2为本发明的较佳的实施例中，定位过程的流程示意图；
43.图3为本发明的较佳的实施例中，获取目标位置坐标集合的流程示意图；
44.图4为本发明的较佳的实施例中，三维超声图像的生成过程的流程示意图；
45.图5为本发明的较佳的实施例中，机械臂及超声探头的结构示意图；
46.图6为本发明的较佳的实施例中，超声扫查图像中的每个像素点在空间坐标系中的空间坐标的获取过程的流程示意图；
47.图7为本发明的较佳的实施例中，一种超声三维重建系统的结构示意图。
具体实施方式
48.下面结合附图和具体实施例对本发明进行详细说明。本发明并不限定于该实施方式，只要符合本发明的主旨，则其他实施方式也可以属于本发明的范畴。
49.本发明的较佳的实施例中，基于现有技术中存在的上述问题，现提供一种超声三维重建方法，如图5所示，预先设置一机械臂1，以通过机械臂1的末端夹持一超声探头2；
50.如图1所示，则超声三维重建方法包括：
51.步骤s1，机械臂带动超声探头对一扫查对象的一目标器官区域进行扫查，并在超声探头的扫查过程中，记录每次扫查时超声探头的扫查位置数据、扫查方向矢量和对应的超声扫查图像；
52.步骤s2，在目标器官区域扫查完成后，根据扫查得到的各扫查位置数据、各扫查方向矢量和各超声扫查图像进行超声三维重建得到目标器官区域的三维超声图像。
53.具体地，本实施例中，上述扫查位置数据、扫查方向矢量和对应的超声扫查图像的记录过程以及超声三维重建过程可以通过预先配置的一上位机实现。
54.在超声探头对目标器官区域进行扫查之前，需要获取超声探头的位置信息以及目标器官区域的位置信息，进而能够将超声探头的位置信息作为起始点，将目标器官区域的位置信息作为终点，以控制机械臂带动超声探头由起始点向终点移动，实现自动扫查，基于此，在执行步骤s1之前，还包括一定位过程，其中，扫查对象位于预设的一超声扫查区域，该超声扫查区域的上方预设有一双目视觉设备；如图2所示，该定位过程包括：
55.步骤a1，采用双目视觉设备拍摄得到扫查对象的位置图像，并根据位置图像处理得到目标器官区域对应的表皮轮廓在预先构建的一空间坐标系中的目标位置坐标集合；
56.步骤a2，获取超声探头在空间坐标系中的初始三维坐标，并根据初始三维坐标和目标位置坐标集合处理得到相应的控制信号；
57.步骤s1中，机械臂根据控制信号带动超声探头对目标器官区域进行扫查。
58.具体地，本实施例中，在上位机获取双目视觉设备拍摄得到的位置图像后，可以根据扫查需求，在位置图像上框选出需要扫查的目标器官区域，如甲状腺区域或腹部区域等。进而根据框选有目标器官区域的位置图像中，对该目标器官区域进行三维重建，这里的三维重建为重建出目标器官区域的表皮轮廓，进而基于位置图像中包含的各像素点与双目视觉设备之间的距离，以及预先构建的空间坐标系处理得到目标器官区域对应的表皮轮廓的目标位置坐标集合。进一步具体地，如图3所示，步骤a1包括：
59.步骤a11，采用双目视觉设备拍摄得到扫查对象的位置图像；
60.步骤a12，根据位置图像对目标器官区域对应的表皮轮廓进行三维重建得到表皮轮廓三维图像，并根据表皮轮廓图像处理得到目标器官区域对应的表皮轮廓在空间坐标系中的目标位置坐标集合。
61.本实施例中，该目标位置坐标集合中包含的目标位置坐标可以理解为是扫查时超声探头应该对应放置的位置，即上述终点。其中，上述空间坐标系优选以双目视觉设备的所在位置作为原点o，以双目视觉设备的正前方作为x轴的正方向，以面朝双目视觉设备的正前方且位于双目视觉设备右侧的方向作为y轴的正方向，将垂直于xoy平面的方向作为z轴。可以理解的是，上述空间坐标系的构建方式并不以此进行限定。
62.进一步地，由于双目视觉设备和机械臂的初始位置之间的相对位置通常是固定的，因此可以基于预先获取的相对位置信息获取超声探头在空间坐标系中的初始三维坐标，进而将初始三维坐标作为起始点，根据初始三维坐标和目标位置坐标集合处理得到相应的控制信号，以控制机械臂根据控制信号带动超声探头到达目标器官区域并进行扫查。
63.在记录得到每次扫查对应的超声探头的扫查位置数据、扫查方向矢量和对应的超声扫查图像之后，本发明的较佳的实施例中，如图4所示，步骤s2包括：
64.步骤s21，在目标器官区域扫查完成后，针对每次扫查得到的扫查位置数据和扫查方向矢量处理得到对应的超声扫查图像在空间坐标系中的所属平面位置；
65.步骤s22，根据扫查位置数据、所属平面位置和对应的超声扫查图像处理得到超声扫查图像中的每个像素点在空间坐标系中的空间坐标；
66.步骤s23，分别获取各超声扫查图像中的每个像素点的像素值，并将像素值映射到对应的空间坐标，得到目标器官区域的三维超声图像。
67.本发明的较佳的实施例中，如图5所示，扫查位置数据包括超声探头2的末端的一左侧点21和一右侧点22在空间坐标系中对应的左侧三维坐标和右侧三维坐标，左侧点21和
右侧点22分别对应于超声扫查图像中的左上角像素点和右上角像素点；
68.如图6所示，则步骤s22包括：
69.步骤s221，获取超声扫查图像中的各像素点的像素坐标；
70.步骤s222，根据左上角像素点的像素坐标和对应的左侧三维坐标，以及右上角像素点的像素坐标和对应的右侧三维坐标，以及所属平面位置进行坐标转换，以处理得到对应的超声扫查图像中的每个像素点在空间坐标系中的空间坐标。
71.具体地，本实施例中，针对每次扫查得到的扫查位置数据和扫查方向矢量，可以通过构建方程组的方式处理得到相应的扫查平面方程式，以表征对应的超声扫查图像在空间坐标系中的所属平面位置。该扫查平面方程式的表达式如下：
72.ax by cz d＝0
73.其中，(x,y,z)用于表示扫查位置数据，即左侧三维坐标和右侧三维坐标，a,b,c,d为待求解参数，通过左侧三维坐标和右侧三维坐标以及平行于扫查平面的扫查方向矢量，对应构建方程组即可求解得到上述各待求解参数，进而获取表征超声扫查图像在空间坐标系中的所属平面位置的扫查平面方程式。
74.进一步具体地，由于左侧点21和右侧点22分别对应于超声扫查图像中的左上角像素点和右上角像素点，则能够同时获取左侧点21和右侧点22在空间坐标系的左侧三维坐标和右侧三维坐标，以及在像素坐标系中的左上角像素坐标和右上角像素坐标，进而能够结合所属平面位置建立空间坐标系和像素坐标系之间的坐标转换关系，从而处理得到对应的超声扫查图像中的每个像素点在空间坐标系中的空间坐标。
75.在获取各超声扫查图像中的每个像素点的像素值以及空间坐标后，将像素值映射到对应的空间坐标，即可得到目标器官区域的三维超声图像。
76.本发明的较佳的实施例中，步骤s1中，在每次扫查时，根据目标位置坐标集合中对应的目标位置坐标和预先获取的机械臂和超声探头的尺寸数据，处理得到超声探头的末端的左侧点和右侧点在空间坐标系中对应的左侧三维坐标和右侧三维坐标，并作为扫查位置数据。
77.本发明的较佳的实施例中，步骤s1中，在每次扫查时，获取机械臂的最后一节的方向作为扫查方向矢量。
78.本你发明还提供一种超声三维重建系统，应用上述的超声三维重建方法，如图7所示，超声三维重建系统包括：
79.机械臂1，机械臂1的末端夹持一超声探头2，机械臂1带动超声探头2对一扫查对象的一目标器官区域进行扫查；
80.控制模块3，分别连接机械臂1和超声探头2，控制模块3包括：
81.数据获取单元31，用于在超声探头的扫查过程中，记录每次扫查时超声探头的扫查位置数据、扫查方向矢量和对应的超声扫查图像；
82.三维重建单元32，连接数据获取单元31，用于在目标器官区域扫查完成后，根据扫查得到的各扫查位置数据、各扫查方向矢量和各超声扫查图像进行超声三维重建得到目标器官区域的三维超声图像。
83.本发明的较佳的实施例中，还包括一双目视觉设备4，设置于一超声扫查区域的上方，扫查对象位于超声扫查区域，双目视觉设备4用于在扫查之前拍摄得到扫查对象的位置
图像并输出；
84.控制模块3连接双目视觉设备4，控制模块3还包括：
85.图像处理单元33，用于获取并根据位置图像处理得到目标器官区域对应的表皮轮廓在预先构建的一空间坐标系中的目标位置坐标集合；
86.扫查控制单元34，连接图像处理单元44，用于获取超声探头在空间坐标系中的初始三维坐标，并根据初始三维坐标和目标位置坐标集合处理得到相应的控制信号，以控制机械臂带动超声探头对目标器官区域进行扫查。
87.本发明的较佳的实施例中，图像处理单元33包括：
88.重建子单元331，用于根据位置图像对目标器官区域对应的表皮轮廓进行三维重建得到表皮轮廓三维图像；
89.处理子单元332，连接重建子单元331，用于根据表皮轮廓图像处理得到目标器官区域对应的表皮轮廓在空间坐标系中的目标位置坐标集合。
90.以上所述仅为本发明较佳的实施例，并非因此限制本发明的实施方式及保护范围，对于本领域技术人员而言，应当能够意识到凡运用本说明书及图示内容所作出的等同替换和显而易见的变化所得到的方案，均应当包含在本发明的保护范围内。