一种交互式2D与3D医学图像配准参数自动生成方法

技术特征：
1.一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，包括以下步骤：11)载入三维图像数据：获取交互式医学图像待配准的三维图像数据；12)在窗口上实现三维模型渲染重建、对三维模型进行二维映射、实时映射后的图像与待配准的x光图像对齐显示；13)载入待配准的二维图像以二维纹理的形式绘制在窗口上：读取相应的二维图像，利用纹理映射的方法将其转换成二维纹理数据，将纹理空间中的纹理像素映射到窗口空间中的像素，将图像绘制在渲染窗口上；14)拖动鼠标实现三维模型与二维图像的对齐从而获得合适的配准参数：利用鼠标交互，拖动三维模型进行旋转平移操作，使三维模型能与二维图像在视觉观察下达到对齐的程度，从而自动生成一组配准参数打印输出。2.根据权利要求1所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述在窗口上实现三维模型渲染重建、对三维模型进行二维映射、实时映射后的图像与待配准的x光图像对齐显示包括以下步骤：21)将三维图像数据处理成适用于opengl渲染管线的数据：针对输入的若干个三维切片图像序列即dicom数据，利用python的pydicom库编写python脚本，将dicom数据转换成适用于系统的二进制文件，然后利用c 的容器存储二进制文件中的其余dicom数据；22)将数据加载到实时渲染绘制的管线中：将二进制数据通过opengl的相应函数和固定的渲染流程存储到渲染管线中；23)二维窗口的绘制：利用最大密度投影算法将相应的三维ct图像进行投影从而以体绘制的形式显示在窗口上；24)利用arcball算法设计三维模型的旋转交互方式：采取arcball的思想，将每次鼠标交互模型旋转的信息存储到四元数中，通过四元数转换成欧拉角和旋转矩阵的形式控制模型旋转；25)设置鼠标平移三维模型的交互方式：通过qt的窗口坐标计算以及鼠标交互设置模型的平移交互方式；26)利用交互结果控制模型进行实时渲染并且显示。3.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述的将三维图像数据处理成适用于opengl渲染管线的数据包括以下步骤：31)利用python脚本读取release文件夹下的dicom数据；打开cmd控制台，通过在cmd输入命令将dicom数据转换成特定格式的二进制bin文件，以便后续渲染流程使用，并且将二进制bin文件存在相应的文件夹下；32)for循环遍历所有切片数据，利用c 的sprintf_s函数将数据路径格式化输出到字符串，读取路径下的数据，利用c 的fopen_s函数打开二进制文件；33)利用c 的fread_s函数读取二进制bin文件内信息，其包括切片在图像序列中的位置、切片图像像素沿x轴方向的间距、切片图像像素沿y轴方向的间距、切片的宽度和切片的高度，将其余dicom数据用一个容器存储起来，调整容器的大小防止数据溢出；34)读取数据后，基于切片的位置对所有切片数据进行排序；35)通过读取的二进制文件信息加载三维体积数据的dicom形式数据。4.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征
在于，所述的将数据加载到实时渲染绘制的管线中包括以下步骤：41)渲染管线调用函数生成一个三维纹理对象，并在管线中绑定三维纹理；42)进行三维纹理映射，映射函数的参数为每个二维切片图像的宽度高度以及数据的深度，并对映射后的三维纹理进行纹理过滤；43)生成并设置顶点数据属性，并且在渲染管线中绑定顶点数据；44)编写opengl的着色器、编写顶点着色器，对于发送给gpu的每一个顶点vertex，都执行一次顶点着色，其功能是把每个顶点在虚拟空间中的三维坐标变换为在窗口上显示的二维坐标，并带有用于z-buffer的深度信息；编写片元着色器，计算每个像素的颜色和其他属性；对编写的着色器进行编译链接，结束后删除着色器；45)将读取的三维纹理传入着色器，通过纹理采样，进行三维模型的纹理绘制，结束加载。5.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述二维窗口的绘制包括以下步骤：51)通过基于最大密度投影的原理，对光线投射算法进行修改从而实现最大密度投影功能的着色器；52)利用opengl的getuniformlocation函数获取最大密度投影着色器中最大密度值的位置标签、纹理加载的位置标签、相机位置参数的位置标签以及模型视图投影变换矩阵mvp矩阵的位置标签；53)将体数据在空间中的位置参数通过对应的位置标签一一载入，随后加载三维纹理贴图；54)调用最大密度投影着色器，对加载的三维体数据进行投影，从而将最大密度投影后的模型绘制在二维窗口上。6.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述利用arcball算法设计三维模型的旋转交互方式包括以下步骤：61)对鼠标交互后的二维窗口坐标进行映射，想象成一个单位半球位于窗口中心，把二维窗口坐标的范围调整到[-1....1]区间内，公式：pt.x＝(pt.x*adjustwidth)-1.0f,pt.y＝1.0f-(pt.y*adjustheight)；其中pt为定义的三维坐标，adjustwidth为宽度的缩放因子，adjustheight为长度的缩放因子；adjustwidth＝1.0f/((newwidth-1.0f)*0.5f)，newwidth和newheight为二维窗口的宽度和高度；adjustheight＝1.0f/((newheight-1.0f)*0.5f)；62)通过映射公式把窗口两点的坐标单位化为半球面上的两点，如果二维窗口坐标不在以窗口中心为圆心的单位半球上时，则将二维坐标缩放到半球上，缩放因子设定为norm＝1.0/funcsqrt(length),其中length＝(pt.x*pt.x) (pt.y*pt.y)；将二维坐标映射转换成为半球空间上的两点，若二维坐标在单位半球上，则根据x方向轴坐标pt.x和y方向坐标pt.y算出z方向坐标pt.z,计算公式为pt.z＝funcsqrt(1.0f-length),其中length＝(pt.x*pt.x) (pt.y*pt.y)；63)设定当鼠标左键按下时，产生起始点，按下时的坐标值通过之前坐标映射成三维坐标以向量形式存储起来；当鼠标松开时，产生结束点，将松开时的坐标值也通过坐标映射成三维坐标以向量形式存储起来，得到旋转交互过程中起始点和结束点的方向向量；
64)设定一个联合的四元数q＝[v,w]＝[x,y,z,w]由两个部分组成，一个是数量w，它等于cosθ/2，其中θ是旋转的角度，一个是向量v，它等于沿着旋转轴的向量的sinθ/2倍；两个四元数运算的结果就是它们旋转组合的结果，这样旋转组合操作采用四元数叉乘来表示；两个旋转向量的叉积记录了旋转的轴的方向，两个向量的点积记录了旋转的角度；65)调用相应函数将之前计算的叉积和点积以四元数的形式保存起来，两个旋转的方向向量为op1和op2，即先求两个向量的内积s：s＝op1
·
op2，再求两个向量的外积v：v＝op1
×
op2，记四元数q＝[s,v]，将其单位化，此时q为旋转四元数；66)四元数转换成旋转矩阵，公式为tm＝quattomatrix(q)，tm矩阵为相应的旋转矩阵，旋转矩阵作用在opengl渲染的模型变换矩阵上，从而操控模型进行旋转操作；67)四元数转换成欧拉角，公式为rotate＝quattoeulerangles(q)，rotate为对应的欧拉角，可以显示模型实时交互过程中绕三个坐标轴的旋转角度；68)通过鼠标对模型进行旋转交互操作，得到每次旋转交互的四元数；通过四元数累乘持续对旋转信息进行存储显示。7.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述设置鼠标平移三维模型的交互方式包括以下步骤：71)当鼠标右键按下时，记录当前的二维窗口坐标，即起始点，当鼠标停止滑动时，记录此时的二维窗口坐标，即结束点；72)调用qt的qpointf函数计算两个二维窗口坐标之间在x轴方向和y轴方向之间的差值，从而确定模型在x轴方向上的平移和y轴方向上的平移；73)调用qt的鼠标滚轮机制控制模型在z轴上的平移变换效果，当鼠标滚轮向上滑动时，模型向着z轴正方向移动，当鼠标滚轮向下滑动时，模型向着z轴负方向移动；74)模型在x轴方向、y轴方向以及z轴方向上的平移参数带入平移矩阵，将计算后的平移矩阵带入模型变换矩阵，从而实时控制模型的平移操作。8.根据权利要求2所述的一种交互式2d与3d医学图像配准参数自动生成方法，其特征在于，所述利用交互结果控制模型进行实时渲染并且显示包括以下步骤：81)将保存旋转信息的四元数转换成旋转矩阵，将保存平移信息的向量转换成平移矩阵；82)设置模型变换矩阵为平移矩阵、旋转矩阵、缩放矩阵的乘积；模型变换矩阵作用在模型上，控制模型在世界坐标系变换，把物体从模型坐标系转化到世界坐标系；83)设置视图矩阵，把物体从世界坐标系转化到视点坐标系；84)设置投影矩阵，对物体模型进行投影变换，将物体从视点坐标系转化到裁剪坐标系；85)设置视口变换，将物体从裁剪坐标系转化到窗口坐标系，从而将绘制结果实时渲染在窗口上。

技术总结
本发明涉及一种交互式2D与3D医学图像配准参数自动生成方法，与现有技术相比解决了初始配准参数搜索精度差、搜索效率低的缺陷。本发明包括以下步骤：载入三维图像数据；在窗口上实现三维模型渲染重建、对三维模型进行二维映射、实时映射后的图像与待配准的X光图像对齐显示；载入待配准的二维图像以二维纹理的形式绘制在窗口上；拖动鼠标实现三维模型与二维图像的对齐从而获得合适的配准参数。本发明综合考虑了三维体数据在经过最大密度投影后，绘制在窗口上的图像质量与需要配准的X光图像质量的差异，可以较高质量的完成两幅图像的对齐，能够得到一组合适的初始配准参数并且在控制台打印输出。制台打印输出。制台打印输出。


技术研发人员：屈磊 丁鹏 吴军 苗永春 邹恒东 尚宏伟
受保护的技术使用者：安徽大学
技术研发日：2022.01.19
技术公布日：2022/4/29