一种基于多Kinect的远程医疗场景的动态可视化控制方法与流程

一种基于多kinect的远程医疗场景的动态可视化控制方法
技术领域
1.本发明涉及三维场景重建技术领域，尤其是涉及一种基于多kinect的远程医疗场景的动态可视化控制方法。


背景技术：

2.目前，基于深度传感器获取rgb
‑
d数据生成三维场景数据往往是针对静态的，即便是动态的场景重建，例如dynamicfusion，也是用单个深度相机针对非刚性物体的三维实时重建，无法完全复原出待重建场景的全部三维信息，也不能有效应对拓扑结构改变的问题。而在手术室内，目前较为传统的手术直播方式是“视频手术”，通过二维大屏幕直播手术全过程，仅为家属和医院医护人员提供的是二维场景信息，单角度的二维画面无法让家属和医护人员更全方位、多角度地观看手术全过程。


技术实现要素：

3.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于多kinect的远程医疗场景的动态可视化控制方法，实现多视图融合和动态可视化，提高远程医疗场景的全面性和实时性。
4.本发明的目的可以通过以下技术方案来实现：
5.一种基于多kinect的远程医疗场景的动态可视化控制方法，具体包括以下步骤：
6.s1、获取单个kinect设备采集的目标医疗场景的彩色图和深度图并进行配准生成点云数据；
7.s2、获取多个kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；
8.s3、检测所述初始彩色图像中的棋盘格角点，根据预设的误差阈值进行筛选完成二次标定，计算得到kinect设备之间的初始旋转平移矩阵；
9.s4、根据所述初始旋转平移矩阵对kinect设备的点云数据并进行粗配准，通过sac
‑
ia icp算法对完成粗配准的点云数据进行精配准，经迭代更新得到最优旋转平移矩阵，通过最优旋转平移矩阵将粗配准的点云数据进行融合，实现目标医疗场景的动态可视化场景重建。
10.所述深度图具体为经过双边滤波器进行平滑的深度图。
11.所述kinect设备的数量具体为两个。
12.所述两个kinect设备之间的夹角的取值范围为40
°
～80
°
。
13.进一步地，所述两个kinect设备之间的夹角优选为60
°
。
14.所述初始旋转平移矩阵的公式具体如下所示：
[0015][0016]
其中，r1为旋转参数矩阵，t1为平移参数矩阵，r
ij
为旋转参数矩阵元素，i的取值范围为1～3的整数，j的取值范围为1～3的整数，t
x
、t
y
和t
z
为平移参数矩阵元素。
[0017]
所述步骤s4中精配准的过程具体包括以下步骤：
[0018]
s401、对完成粗配准的点云数据进行下采样，得到多个采样点；
[0019]
s402、计算完成下采样的点云数据的特征量；
[0020]
s403、根据所述特征量对完成粗配准的点云数据之间进行配对，计算配对的采样点之间的旋转平移矩阵中误差函数值最小的旋转平移矩阵；
[0021]
s404、利用基于svd的icp算法将误差函数值最小的旋转平移矩阵作为初始参数，经迭代更新得到最优旋转平移矩阵。
[0022]
进一步地，采样点之间特征量的值不相同。
[0023]
进一步地，所述点云数据的特征量具体为快速点特征直方图。
[0024]
进一步地，所述误差函数值具体为huber误差函数的函数值，具体公式如下：
[0025][0026][0027]
其中，h(l
i
)为huber误差函数的函数值，l
i
为第i组对应点变换之后的距离差，m
i
为预先设置的临界值。
[0028]
所述步骤s4中进行精配准的点云数据具体为完成粗配准的点云数据中的单帧点云。
[0029]
与现有技术相比，本发明具有以下有益效果：
[0030]
1.本发明单个kinect设备配准生成点云数据时使用的是经过双边滤波器进行平滑的深度图，起到降噪平滑、保持边缘信息的效果，同时经滤波生成的点云数据去除了部分离散点，既满足动态可视化的要求，也能去除部分离散孤立点云，提高了远程医疗场景重建的精确度和全面性。
[0031]
2.本发明在点云配准阶段通过粗配准和精配准，在融合之前预先生成好最优旋转平移矩阵，减少了两个视图点云进行多视图融合的时间，同时以粗配置为过渡再实现sac
‑
ia icp算法的精配准，不仅避免陷入局部最优，而且满足动态重建中画面每秒传输帧数的要求，提高了远程医疗场景重建的实时性。
附图说明
[0032]
图1为本发明的流程示意图。
具体实施方式
[0033]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0034]
实施例
[0035]
如图1所示，一种基于多kinect的远程医疗场景的动态可视化控制方法，包括数据采集和处理、多kinect标定、点云配准3个阶段，具体包括以下步骤：
[0036]
s1、获取单个kinect设备采集的目标医疗场景的彩色图和深度图，并进行配准生成点云数据，本实施例中，彩色图的数量为12张；
[0037]
s2、获取多个kinect设备通过棋盘格标定法采集的目标医疗场景的带有棋盘格的初始彩色图像；
[0038]
s3、通过matlab的camera calibration toolbox检测初始彩色图像中的棋盘格角点，根据预设的误差阈值进行筛选完成二次标定，计算得到kinect设备之间的初始旋转平移矩阵；
[0039]
s4、根据初始旋转平移矩阵对kinect设备的点云数据并进行粗配准，通过sac
‑
ia icp算法对完成粗配准的点云数据进行精配准，经迭代更新得到最优旋转平移矩阵，通过最优旋转平移矩阵将粗配准的点云数据进行融合，实现目标医疗场景的动态可视化场景重建。
[0040]
本实施例中，步骤s1中通过libfreenect2将深度图映射到彩色图实现像素点的一一对应，最后将三维坐标信息和rgb信息存储到pcl的点云数据结构中，得到单视图下的三维点云数据。
[0041]
深度图具体为经过opencv的双边滤波器进行平滑的深度图。
[0042]
kinect设备的数量具体为两个。
[0043]
两个kinect设备之间的夹角的取值范围为40
°
～80
°
。
[0044]
本实施例中，两个kinect设备之间的夹角为60
°
。
[0045]
初始旋转平移矩阵的公式具体如下所示：
[0046][0047]
其中，r1为旋转参数矩阵，t1为平移参数矩阵，r
ij
为旋转参数矩阵元素，i的取值范围为1～3的整数，j的取值范围为1～3的整数，t
x
、t
y
和t
z
为平移参数矩阵元素。
[0048]
步骤s4中精配准的过程具体包括以下步骤：
[0049]
s401、对完成粗配准的点云数据进行下采样，得到多个采样点，采样点之间特征量的值不相同；
[0050]
s402、计算完成下采样的点云数据的特征量；
[0051]
s403、根据特征量对完成粗配准的点云数据之间进行配对，计算配对的采样点之间的旋转平移矩阵中误差函数值最小的旋转平移矩阵；
[0052]
s404、利用基于svd的icp算法将误差函数值最小的旋转平移矩阵作为初始参数，
经迭代更新得到最优旋转平移矩阵。
[0053]
点云数据的特征量具体为快速点特征直方图。
[0054]
误差函数值具体为huber误差函数的函数值，具体公式如下：
[0055][0056][0057]
其中，h(l
i
)为huber误差函数的函数值，l
i
为第i组对应点变换之后的距离差，m
i
为预先设置的临界值。
[0058]
本实施例中，最终得到的最优旋转平移矩阵如下所示：
[0059][0060]
步骤s4中进行精配准的点云数据具体为完成粗配准的点云数据中的单帧点云。
[0061]
此外，需要说明的是，本说明书中所描述的具体实施例，所取名称可以不同，本说明书中所描述的以上内容仅仅是对本发明结构所做的举例说明。凡依据本发明构思的构造、特征及原理所做的等小变化或者简单变化，均包括于本发明的保护范围内。本发明所属技术领域的技术人员可以对所描述的具体实例做各种各样的修改或补充或采用类似的方法，只要不偏离本发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。