基于深度相机和红外热成像的脊柱侧弯检测方法与系统与流程

本发明涉及医学影像处理与人工智能辅助诊断，具体为基于深度相机和红外热成像的脊柱侧弯检测方法与系统。

背景技术：

1、脊柱侧弯（scoliosis）是指脊柱在冠状面上发生侧方弯曲、在矢状面上伴有椎体旋转的三维畸形，是青少年最常见的脊柱畸形之一。若未及时发现和干预，脊柱侧弯可导致体态异常、慢性疼痛、心肺功能受损甚至神经功能障碍。

2、中国发明专利申请公布号为cn121059145a公布了一种基于三维成像的青少年脊柱侧弯检测方法，该方法通过深度摄像头、红外成像设备、imu传感器及足底压力分布传感器获取被检测者背部深度图、温度分布、姿态角及足底压力矩阵等多模态数据；云平台生成三维点云并采用泊松表面重建算法获得背部三维曲面模型，结合姿态角与压力重心偏移进行整体姿态修正，并基于热力图构建局部形变的热力修正模型；通过深度学习算法自动识别脊柱节段标志点，拟合脊柱中线并计算cobb角，判断脊柱侧弯程度并输出分析报告；该发明无需x光成像，检测安全性高，能够融合姿态、力学及热力信息，减少人为姿态干扰，适用于青少年的早期筛查与动态复查。

3、上述方法中，红外热成像数据仅作为三维几何模型的单向修正项，未能实现特征层面的深度融合。其将热力图温度数据投影并插值到背部三维曲面模型的顶点，在异常区域定义温度驱动的法向形变，本质上是一种“温度→几何”的单向映射，红外数据仅被动地作为几何模型的局部校正工具。该方案无法根据输入数据的特点自适应调整不同模态的贡献权重，当表面形貌差异不明显的轻度侧弯场景下，红外热成像所蕴含的椎旁肌代谢不对称信息难以被有效利用；此外，该方案仅以局部温差超过1.5℃作为异常判定阈值，未建立系统性的双侧温度不对称性量化指标体系，温度数据的分析维度单一；同时其检测任务仅输出cobb角，无法提供侧弯类型分类结果，难以满足临床对全面诊断信息的需求；且该方案需佩戴imu传感器并配合足底压力垫，操作流程复杂，不适用于大规模快速筛查场景。

技术实现思路

1、本发明的目的在于提供了基于深度相机和红外热成像的脊柱侧弯检测方法与系统，其引入多头双向交叉注意力机制，实现了深度形态特征与红外热学特征的自适应融合，对轻度侧弯检出灵敏度较高，整体降低了漏诊率和误诊率。

2、为实现上述目的，本发明提供如下技术方案：

3、第一方面，本发明提供了基于深度相机和红外热成像的脊柱侧弯检测方法，包括以下步骤：

4、步骤s1：获取被检者背部的深度图像数据和红外热成像数据；深度图像数据由深度相机在预设拍摄距离处采集，红外热成像数据由红外热像仪同步采集；

5、步骤s2：对深度图像数据进行预处理，生成背部三维点云，并基于所述背部三维点云提取背部表面形貌特征；

6、步骤s3：对红外热成像数据进行预处理，提取背部双侧温度分布特征，并计算双侧温度不对称性指标；

7、步骤s4：将背部表面形貌特征与双侧温度不对称性指标进行多模态特征融合，构建融合特征向量；

8、步骤s5：将融合特征向量输入预设的脊柱侧弯分类检测模型中，输出脊柱侧弯检测结果；

9、步骤s6：根据脊柱侧弯检测结果，生成包含侧弯类型、侧弯程度评估等级及建议措施的检测报告。

10、优选的，所述步骤s1中，同步采集具体为：预先标定深度相机和红外热像仪之间的空间变换矩阵，在采集时，由同步触发信号控制深度相机和红外热像仪同步曝光。

11、优选的，所述步骤s2中，对深度图像数据进行预处理，生成背部三维点云，具体包括：

12、对深度图像数据进行去噪处理，采用双边滤波算法去除深度图像中的伪影和噪声点；

13、利用深度相机的内参矩阵将去噪后的深度图像转换为三维点云；

14、采用基于ransac的平面分割算法，从三维点云中分割出背景平面并去除，保留背部区域点云；

15、对背部区域点云进行体素下采样，得到均匀密度的背部三维点云。

16、优选的，所述步骤s2中，基于所述背部三维点云提取背部表面形貌特征，具体包括：

17、从背部三维点云计算背部表面曲率特征，包括高斯曲率和平均曲率；

18、采用基于对称性分析的方法提取背部正中矢状线，以正中矢状线为基准将背部分为左侧区域和右侧区域；

19、计算左侧区域与右侧区域的表面形貌差异指标，包括：左侧与右侧的表面高度差均值、左侧与右侧的最大高度差以及左侧与右侧的投影面积不对称比；

20、提取肩胛骨区域的相对高度特征和旋转角度特征，通过曲率极值点定位肩胛骨区域，计算左右肩胛骨在yz冠状面上的垂直高度差和相对于正中矢状线的旋转角度差。

21、优选的，所述步骤s3中，提取背部双侧温度分布特征具体包括：

22、基于预先标定的深度相机与红外热像仪之间的空间变换矩阵，将获取的二维温度数据映射至背部三维点云空间中，使每一个背部三维表面点均具有对应的温度属性值；

23、在配准后的背部三维点云上，以正中矢状线为基准划分左侧温度区域和右侧温度区域；

24、分别计算左侧温度区域和右侧温度区域的统计温度特征，包括：左侧平均温度和右侧平均温度、左侧温度标准差和右侧温度标准差、左侧最大温度和右侧最大温度、左侧最小温度和右侧最小温度；

25、沿正中矢状线方向将背部划分为多个横向带状区域，分别计算每个带状区域内左侧与右侧的温度梯度值。

26、优选的，所述步骤s3中，计算双侧温度不对称性指标，具体为：

27、构建双侧温度不对称性指标，计算公式为：

28、；

29、其中，为带状区域数量，为第个带状区域左侧平均温度；为第个带状区域右侧平均温度；的取值范围为[0, 1]；

30、同时计算双侧温差熵，计算公式为：

31、；

32、其中，为第个像素点处左右对应点温度差的绝对值；为温差分布的归一化概率密度；为防止对数运算中取值为0的小常数；为温差直方图的区间数。

33、优选的，所述步骤s4中，多模态特征融合具体包括：

34、构建第一特征向量，包含：表面高度差均值、最大高度差、面积不对称比、左肩胛骨相对高度、右肩胛骨相对高度、肩胛骨相对正中线的旋转角度差；

35、构建第二特征向量，包含：双侧温度不对称性指标、双侧温差熵、各带状区域的局部温差指标；

36、对和分别进行z-score归一化处理，使其均值为0、标准差为1；

37、采用多头注意力机制对和进行交叉注意力计算：以作为query查询向量，作为key键向量和value值向量计算注意力权重；同时以作为query查询向量，作为key键向量和value值向量计算反向注意力权重，将双向注意力输出与原始特征进行残差连接和层归一化，最终通过全连接层投影得到融合特征向量。

38、优选的，所述步骤s5中，脊柱侧弯分类检测模型为基于transformer编码器架构的多任务分类回归网络，其结构包括：

39、输入层：接收融合特征向量；

40、位置编码层：对特征维度增加可学习的位置编码；

41、2-4层transformer编码器层，每层包含多头自注意力子层和前馈神经网络子层；

42、分类头：输出正常、c型胸段、c型腰段、s型四种侧弯类型概率分布；

43、回归头：输出cobb角估计值。

44、优选的，模型的训练采用分类损失和回归损失的加权和作为总损失函数，计算公式为：

45、；

46、其中，和为权重系数，且，其中分类损失采用交叉熵损失函数，回归损失采用平滑l1损失函数。

47、第二方面，本发明提供了基于深度相机和红外热成像的脊柱侧弯检测系统，包括：

48、数据采集模块，包括深度相机和红外热像仪，用于同步采集被检者背部的深度图像数据和红外热成像数据；

49、深度数据处理模块，用于对所述深度图像数据进行预处理生成背部三维点云，并提取背部表面形貌特征；

50、红外数据处理模块，用于对所述红外热成像数据进行预处理，提取背部双侧温度分布特征并计算双侧温度不对称性指标；

51、多模态融合模块，用于将所述背部表面形貌特征与所述双侧温度不对称性指标进行多模态特征融合，构建融合特征向量；

52、分类检测模块，内置经过训练的脊柱侧弯分类检测模型，用于根据所述融合特征向量输出脊柱侧弯检测结果；

53、报告生成模块，用于根据所述脊柱侧弯检测结果生成包含侧弯类型、侧弯程度评估等级及建议措施的检测报告。

54、与现有技术相比，本发明的有益效果如下：

55、1、本发明通过在脊柱侧弯检测中引入多头双向交叉注意力机制，以作为query，作为key和value计算注意力权重；同时以作为query，作为key和value计算反向注意力权重。双向注意力机制使两种模态在特征层面实现平等的、双向的信息交互，模型能够根据输入数据的特点自适应调整不同模态的贡献权重：当表面形貌差异显著时自动增大深度形态特征的权重，当表面形貌差异不明显（如轻度侧弯）时自动增大红外热学特征的权重。

56、2、本发明提出了温度不对称指数和双侧温差熵两个量化指标，通过沿脊柱方向多带状区域的双侧温差归一化加权，定量表征双侧温度不对称的整体程度；通过温差分布的概率密度熵值，定量刻画温度分布的不均匀程度。二者结合使用，能够较为全面量化椎旁肌代谢不对称的程度及其与侧弯严重程度的关联，有助于早期发现脊柱侧弯。

57、3、本发明采用transformer编码器作为共享主干网络，并行设置分类头和回归头，分类头输出正常、c型胸段、c型腰段、s型四类侧弯类型概率分布，回归头输出cobb角估计值，两者共享transformer编码器，采用分类损失和回归损失加权求和的方式联合训练，可同时获得分类和回归结果。

58、4、本发明采用深度相机与红外热像仪两种非接触式光学传感器，无需在被检者体表佩戴任何设备，无需足底压力传感器等配合，单次检测仅需数秒至十数秒，简化了检测流程，适用于校园普筛、社区体检等大规模快速筛查场景。

59、5、本发明从数据采集、姿势引导、特征提取、多模态融合到结果输出实现全流程自动化，无需医师人工读数，消除了主观判断差异，检测结果具有良好的可复现性。同时，系统内置姿势引导模块和数据质量控制模块，确保采集数据的标准化和一致性。