一种基于多模态三维高斯表示的脊柱区域分割方法及系统

本发明属于医学图像处理及三维视觉计算，具体涉及一种基于多模态图像融合的脊柱区域三维重建与分割方法。该方法结合可见光与红外热成像数据，通过联合重建生成融合温度信息的高斯点云，并结合点云分割网络实现对人体背部脊柱区域的精准识别与分割，可应用于无接触式脊柱无创筛查、健康评估及辅助诊断场景。

背景技术：

1、脊柱结构的形态与功能状态对人体健康具有重要意义，脊柱侧弯及姿态异常等问题在青少年及成人群体中较为常见。若不能及时发现与干预，可能进一步引发肌肉失衡、慢性疼痛及功能障碍。因此，实现对脊柱区域的准确检测与分析，对于早期筛查、康复评估及临床辅助诊断具有重要价值。

2、目前，临床上常用的脊柱检测方法主要包括x射线成像、计算机断层扫描（ct）以及磁共振成像（mri）等。其中，x射线及ct虽能较为清晰地反映骨骼结构，但存在电离辐射风险，不适用于高频检测场景；mri虽无辐射，但设备成本高、检测周期长，难以满足大规模筛查及日常监测需求。因此，发展无辐射、低成本的脊柱检测方法具有重要现实意义。

3、为此，研究人员提出了基于光学三维测量的无创检测方法，如利用结构光、双目视觉或多视图重建技术获取人体背部的三维几何形态。该类方法能够较准确地重建背部表面结构，但由于脊柱位于皮下组织内部，单纯依赖体表几何信息难以真实反映其实际位置。背部肌肉分布不均、局部脂肪堆积及骨性结构的自然突起等因素，均可能对三维形态产生干扰，从而导致基于几何特征的分割结果出现偏差。

4、另一方面，红外热成像技术能够反映人体表面的温度分布信息，在一定程度上可体现组织代谢及血液循环特征。脊柱区域在特定生理条件下具有一定的温度分布规律，将红外信息引入脊柱检测有助于提供补充的判别依据。然而，红外图像通常存在分辨率较低、空间结构表达能力不足的问题，难以单独完成精细的区域定位与分割任务。

5、随着深度学习技术的发展，点云分割方法已应用于三维人体分析领域。然而，现有点云分割方法多以空间坐标及颜色信息作为主要输入特征，缺乏对多模态信息的融合能力。在人体背部这类几何变化平缓、纹理特征不明显的场景中，传统方法难以提取具有判别力的特征，易出现分割边界模糊及识别精度不足的问题。此外，现有三维表示方式对附加生理信息（如温度特征）的表达能力有限，也制约了分割性能的提升。

6、综上所述，现有技术在脊柱区域检测与分割方面仍存在如下不足：

7、(1)现有医学影像方法存在辐射风险或成本较高的问题，难以满足高频、无创检测需求；

8、(2)基于单一模态（可见光或红外）的检测方法信息维度有限，易受外界因素干扰，鲁棒性不足；

9、(3)现有三维重建与点云分割方法主要依赖几何或颜色特征，缺乏对温度等生理信息的有效融合，导致在复杂体表条件下分割精度较低；

10、(4)现有三维表示方式多为离散点或网格结构，对多模态连续属性（如温度信息）的表达能力有限，难以实现多源信息的统一建模与高效融合。

11、针对上述问题，现有技术尚缺乏一种能够在三维空间中有效融合几何信息与温度信息，并同时兼顾重建精度与分割准确性的技术方案。因此，亟需提出一种融合可见光与红外信息的三维重建方法，并结合新型点云表示与分割技术，实现对脊柱区域的高精度、非接触式三维分割与定位，以满足实际应用需求。

技术实现思路

0、 技术实现要素：

1、针对现有技术中存在的医学影像检测具有辐射风险、单一可见光三维重建缺乏生理信息且易受体表形貌干扰、单一红外热成像缺乏空间结构信息以及现有点云分割方法对多模态特征利用不足等问题，本发明的目的在于提供一种基于多模态三维重建的脊柱区域分割方法及系统。通过融合可见光图像与红外热成像数据，在三维空间中引入温度信息，并结合改进的点云表示与分割方法，实现对脊柱区域的高精度、无辐射、非接触式三维分割。

2、为实现上述目的，本发明提供了一种基于多模态三维重建的脊柱区域分割方法，所述方法包括如下步骤：

3、步骤 s1多模态数据采集:同时获取目标对象背部体表的三维几何信息及温度分布信息，对数据采集过程的时间同步性与空间一致性进行约束；

4、步骤 s2多模态图像配准与映射：通过可见光相机与红外相机的联合标定建立两种模态图像之间的像素级映射关系；

5、步骤 s3前景掩码提取与三维重建初始化：对可见光图像进行前景分割，获得目标区域的前景掩码，并利用所述前景掩码对三维重建过程中提取的特征点进行筛选，仅保留位于前景区域内的特征点以生成初始稀疏点云；

6、步骤 s4多模态三维高斯建模与联合优化：以所述稀疏点云为基础，构建包含温度属性的多模态三维高斯点云模型，并基于引入前景掩码约束的联合损失函数，通过可微渲染对所述高斯点云模型进行迭代优化；

7、步骤 s5点云优化处理：对优化后的高斯点云模型，基于各高斯单元的协方差矩阵计算统计距离，并依据所述统计距离剔除异常高斯单元，获得结构一致的点云数据；

8、步骤 s6多模态特征融合与点云分割：将优化后的多模态高斯点云输入预先训练的点云分割网络，通过融合空间几何特征与温度特征，获得脊柱区域的三维分割结果。

9、步骤 s2 中，基于可见光相机与红外相机的联合标定参数，构建依赖于深度参数的跨模态映射模型；通过预设深度范围内的候选搜索与多视角统计优化，确定最优深度参数，实现红外温度信息向可见光图像坐标系的像素级对齐;最优全局深度参数的确定包括：计算各候选深度下红外投影边缘与可见光边缘之间的倒角距离以及梯度方向一致性误差，并对多视角图像对的误差进行统计优化，选取使综合误差最小的深度值作为最优全局深度。

10、步骤s2中,对于每一候选深度，通过计算投影变换后的红外边缘与可见光边缘之间的空间匹配程度，以及两者梯度方向的一致性，构建综合误差评价指标,

11、其中，为可见光边缘集合，为基于深度进行投影映射后的红外边缘集合；与为对应的梯度方向场；用于评估边缘点集的几何距离误差；用于评估梯度方向分布的差异，例如基于余弦相似度或角度偏差计算；为平衡超参数。

12、步骤 s4 中，所述多模态三维高斯点云模型中的每一高斯单元包括空间位置参数、协方差参数、颜色属性、不透明度参数以及温度属性。

13、步骤 s4 中，所述联合损失函数由基于渲染颜色图与真实可见光图像的光度一致性损失，以及基于渲染温度图与真实红外热成像图像的温度一致性损失加权求和构成，且所述损失函数中引入步骤 s3 生成的前景掩码作为权重因子，以抑制背景区域的干扰。

14、步骤 s4 中，所述联合损失函数满足如下关系：

15、

16、其中，和分别为真实的可见光和红外图像；和分别为渲染的可见光和红外图像；为真实可见光与渲染可见光的光度误差;，为用于平衡颜色损失与温度损失贡献度的预设权重系数;m2d为前景掩码。

17、步骤 s5 中，所述统计距离为基于两高斯单元协方差矩阵的马氏距离，具体定义为：其中，、为高斯单元的空间位置均值向量，、为对应的协方差矩阵。

18、步骤 s6 中，所述点云分割网络采用多分支结构分别提取空间几何特征与温度特征，并通过注意力机制对所述特征进行加权融合后输出脊柱区域的分割掩码。所述点云分割网络基于 pointnet++、dgcnn 或 pointtransformer架构构建。

19、一种基于多模态三维高斯表示的脊柱区域分割系统，其特征在于，用于执行上述的方法，所述系统包括：

20、多模态数据同步采集模块：配置有单节点多模态成像模块、电控转台及同步触发控制单元，用于同步采集目标对象背部在多视角下的可见光图像序列与红外热成像图像序列；

21、配准与三维重建初始化模块：存储有可见光相机与红外相机的内外参标定参数，配置为执行基于全局最优深度的多模态图像配准与映射，并利用运动恢复结构算法生成初始稀疏点云；

22、多模态三维高斯建模与联合优化模块：配置为以所述稀疏点云为基础，实例化包含空间位置、协方差、颜色、不透明度及温度属性的多模态高斯单元；基于可微渲染机制计算渲染颜色图与渲染温度图，并根据基于前景掩码约束的联合损失函数，通过反向传播对各高斯单元的参数进行迭代优化，获得多模态三维高斯模型；

23、点云清洗与降噪模块：配置为对所述多模态三维高斯模型中的高斯单元，采用基于协方差感知的统计距离度量进行邻域一致性判断，剔除孤立异常高斯单元，输出优化后的高斯点云；

24、多模态特征融合与点云分割模块：内部预载有预先训练的点云分割网络，配置为对优化后的高斯点云提取空间几何特征与生理特征，并利用注意力机制进行特征融合，输出脊柱区域的三维分割掩码；

25、可视化输出模块：配置为将所述脊柱区域分割结果结合温度属性生成三维可视化模型，并通过显示设备进行呈现。

26、与现有技术相比，本发明具有如下有益效果：

27、（1）本发明通过融合可见光与红外热成像数据，在三维空间中引入温度信息，克服了单一模态信息维度有限的缺陷，提高了脊柱区域识别的准确性。

28、（2）本发明通过构建多模态三维高斯点云模型，实现了几何信息与生理信息的统一表达，增强了模型对复杂体表结构的表征能力，解决了现有表示方式对多模态连续属性表达能力有限的问题。

29、（3）本发明通过引入基于前景掩码的联合优化机制，有效抑制背景干扰，提高三维重建精度。

30、（4）本发明通过协方差感知的点云优化方法，利用马氏距离对各向异性结构进行自适应感知，在去除噪声点的同时保持点云结构的连续性，克服了传统欧氏距离滤波易误删有效结构点的缺陷。

31、（5）本发明通过多模态特征融合的点云分割方法，使网络能够自适应调整几何信息与温度信息的贡献权重，提高了脊柱区域分割的鲁棒性与精度；

32、（6）本发明采用非接触式检测方式，无需使用具有辐射的医学成像设备，具有安全性高、成本低、适用于大规模筛查等优点。

33、以下结合附图和具体实施方式对本发明作进一步说明。