三维模型和二维图像的融合误差的确定方法及电子设备与流程

技术特征：
1.一种三维模型和二维图像的融合误差的确定方法，其特征在于，所述方法包括：将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓；确定所述第一外轮廓和所述第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。2.根据权利要求1所述的方法，其特征在于，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离，包括：基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对；基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差作为所述第一外轮廓和所述第二外轮廓之间的像素距离。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一外轮廓和所述第二外轮廓，确定所述第一外轮廓和所述第二外轮廓中用于描述同一位置的像素点对，包括：计算所述第一外轮廓和所述第二外轮廓中每个像素点对应的上下文信息；所述上下文信息为所述像素点的邻域结构；计算所述第一外轮廓和所述第二外轮廓中任意两个像素点的花费值；使用匈牙利算法统计出所述第一外轮廓和所述第二外轮廓的总体花费值最低的一组像素点对；其中所述一组像素点对包括多个同一位置的像素点对。4.根据权利要求2所述的方法，其特征在于，所述基于所述像素点对，确定所述第一外轮廓和所述第二外轮廓的平均像素距离误差，包括：在同一坐标系下，确定所述第一外轮廓和所述第二外轮廓中每个像素点的坐标；所述同一坐标系包括x轴坐标和y轴坐标；将所述第一外轮廓和所述第二外轮廓中每个像素点对的x轴上的坐标相减，得到x轴上所有像素点对的像素距离误差；将所述x轴上所有像素点对的像素距离误差除以x轴上像素点对的数量，得到所述x轴上的平均像素距离误差；将所述第一外轮廓和所述第二外轮廓中每个像素点对的y轴上的坐标相减，得到y轴上所有像素点对的像素距离误差；将所述y轴上所有像素点对的像素距离误差除以y轴上像素点对的数量，得到所述y轴上的平均像素距离误差。5.根据权利要求4所述的方法，其特征在于，确定所述单位像素距离和物理距离之间的对应关系，具体包括：在世界坐标系中确定所述生物组织在三维模型中的三维坐标最小值和三维坐标最大值；在所述虚拟相机的同一视角下，将所述三维坐标最小值和三维坐标最大值投影到二维平面，得到所述三维坐标最小值和所述三维坐标最大值对应的二维坐标；
基于所述世界坐标系中三维坐标最小值和三维坐标最大值的世界坐标，计算得到三维坐标最小值和三维坐标最大值之间的物理距离；基于所述三维坐标最小值和三维坐标最大值对应的二维坐标，计算得到两个三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离；基于所述三维坐标最小值和三维坐标最大值之间的物理距离和所述三维坐标最小值和三维坐标最大值对应的二维坐标之间的像素距离，确定二维坐标系中x轴上的单位像素距离对应的物理距离、以及y轴上的单位像素距离对应的物理距离。6.根据权利要求5所述的方法，其特征在于，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离，具体包括：将所述x轴上的平均像素距离误差乘以所述x轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述x轴上的像素距离对应的物理距离；将所述y轴上的平均像素距离误差乘以所述y轴上的单位像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间在所述y轴上的像素距离对应的物理距离；基于所述第一外轮廓和所述第二外轮廓之间在所述x轴上的像素距离对应的物理距离和在所述y轴上的像素距离对应的物理距离，得到所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离；将所述第一外轮廓和所述第二外轮廓之间的像素距离对应的物理距离作为所述融合误差。7.根据权利要求1所述的方法，其特征在于，所述获取二维图像中所述生物组织的第一外轮廓，并获取所述生物组织的三维模型投影到二维平面得到的参考二维图像中所述生物组织的第二外轮廓，具体包括：利用人工智能算法，获取二维图像中所述生物组织的第一外轮廓；创建一个视频播放尺寸与所述二维图像播放尺寸一致的虚拟窗口，使用所述虚拟相机在所述虚拟窗口上，将所述生物组织的三维模型在所述虚拟相机的同一视角下，投影到二维平面；获取所述二维平面的二维图像，得到所述参考二维图像；在所述参考二维图像中对所述生物组织进行边缘检测，得到所述生物组织的第二外轮廓。8.根据权利要求7所述的方法，其特征在于，所述确定所述第一外轮廓和所述第二外轮廓之间的像素距离之前，所述方法还包括：利用曲线数据压缩算法，对所述第一外轮廓和所述第二外轮廓进行下采样处理，得到像素点数量相同的第一外轮廓和第二外轮廓。9.一种电子设备，其特征在于，包括处理器和存储器：所述存储器，用于存储可被所述处理器执行的计算机程序；所述处理器与所述存储器连接，被配置为执行所述指令以实现如权利要求1-8中任一项所述的三维模型和二维图像的融合误差的确定方法。10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备执行时，使得所述电子设备能够实现如权利要求1-8中任一项所述的三维模型和二维图像的融合误差的确定方法。

技术总结
本申请公开了一种三维模型和二维图像的融合误差的确定方法及电子设备，用以解决现有技术不能准确计算出生物组织的三维模型与腹腔镜视频中生物组织的二维图像的实际融合误差的问题。本申请通过将生物组织的二维图像和三维模型在虚拟相机的视角下使用配准算法进行配准后融合显示；获取二维图像中生物组织的第一外轮廓和生物组织的三维模型投影到二维平面得到的参考二维图像中生物组织的第二外轮廓；确定第一外轮廓和第二外轮廓之间的像素距离；采用预先确定的单位像素距离和物理距离之间的对应关系，确定第一外轮廓和第二外轮廓之间的像素距离对应的物理距离作为融合误差，由此可以准确的计算出生物组织的三维模型和二维图像的实际融合误差。二维图像的实际融合误差。二维图像的实际融合误差。


技术研发人员：吴乙荣 李南哲 陈永健 杨欣荣
受保护的技术使用者：青岛海信医疗设备股份有限公司
技术研发日：2022.01.20
技术公布日：2022/5/17