一种基于语义三角形表征的毛发镜影像统一量化分析方法

本发明属于计算机视觉与医学影像分析，具体涉及一种基于语义三角形表征的毛发镜影像统一量化分析方法。

背景技术：

1、毛发镜作为一种无创、可重复的皮肤镜检查手段，被广泛应用于脱发症的定量评估。在常规诊断和纵向随访中，毛发镜能够提供高分辨率的头皮影像，支持对毛发密度、毛干直径分布与微型化程度、毛囊单位特征以及治疗相关变化的评估。然而，这些定量评估仍然主要依赖于人工逐根计数和测量，结合主观临床判断完成。该工作流程耗时费力，存在显著的观察者间和观察者内变异性，因此难以扩展至大规模随访队列或实现标准化疗效比较。随着患者数量和影像数据的快速增长，临床上对高效、精准、可审计的自动化定量分析方法的需求日益迫切。

2、在现有的毛发镜影像智能分析方法中，常采用深度学习技术对毛发相关结构进行检测或分割，并进一步估计临床相关指标（如毛干方向、粗细和密度）。现有的表征与推理范式可大致分为三类：基于轴对齐矩形框或旋转矩形框的目标检测方法、基于线段或关键点的几何回归方法，以及基于语义分割或实例分割的像素级建模方法。尽管自动化程度不断提高，但毛发镜中的精细定量分析仍面临若干关键挑战。第一，毛干纤细且常呈弯曲状，遮挡和交叉现象普遍存在，简单的矩形框与真实结构存在几何失配。轴对齐矩形框无法稳定对应毛囊开口，也无法充分表征近端毛干的临床相关几何信息。第二，镜面高光、鳞屑、毛发覆盖、成像伪影以及极细的毳毛等因素会模糊边界或缩短可见毛段，导致仅从可见片段估计方向和宽度时产生较大波动。第三，许多方法将毛囊开口定位和毛干属性估计分解为独立子任务或多阶段流水线，误差会逐级累积，且缺乏统一的、可解释的、适于可视化的几何约束来保证语义和几何一致性。第四，从可视化展示角度，旋转矩形框容易遮挡毛囊位置并产生视觉杂乱，无法直观传达毛发的真实走向，与临床医生对细长、方向为主结构的感知直觉之间存在差距。第五，现有旋转目标检测方法通常通过修改角度编码或损失函数来缓解0°和180°边界处的角度回归不连续问题，但底层的旋转矩形表征仍固有地具有180°旋转对称性。对于毛发分析而言，毛囊开口天然定义了起始点和生长方向，需要一种具有内在方向性的几何基元，而非中心对称的矩形框。

技术实现思路

1、本发明的目的在于针对解决背景技术中提出的问题，提出一种基于语义三角形表征的毛发镜影像统一量化分析方法。

2、为实现上述目的，本发明所采取的技术方案为：

3、本发明提出的一种基于语义三角形表征的毛发镜影像统一量化分析方法，包括：

4、获取待量化分析的毛发镜影像，输入训练好的语义三角形毛发网络；

5、所述语义三角形毛发网络包括依次连接的编码器和毛发三角融合模块，以及两个并列的第一分支、第二分支和第三分支，所述第一分支为热力图头，第二分支为参数头，所述第三分支包括依次连接的上下文模块、方向感知三角编码模块和参数适配器；

6、热力图头的输出用于定位参数头的输出，将参数头的输出与参数适配器的输出进行相加，得到待量化分析的毛发镜影像中每个毛囊点精细化的三个参数，作为语义三角形毛发网络的输出，且三个参数分别为方向角、半径和宽度；

7、其中，以每个毛囊点为中心点，以三个参数中的半径画圆形，圆形与对应毛发的毛干的两侧形成两个交点，则两个交点与中心点构成三角形，且两个交点之间的连线构成三角形的底边，底边的长度即为宽度，中心点到底边中点的方向即为方向角；

8、将待量化分析的毛发镜影像中各毛囊点对应的精细化三个参数作为量化分析的结果。

9、优选地，所述编码器采用convnext-small网络，且convnext-small网络中的第一个阶段、第二个阶段、第三个阶段和第四个阶段依次输出第一特征图、第二特征图、第三特征图和第四特征图。

10、优选地，所述毛发三角融合模块包括三个分支，每个分支包括依次连接的可变形卷积、cbam模块和可变形卷积，且三个分支分别为第三分支、第四分支和第五分支，第四特征图经过上采样后与第三特征图相加后，作为第五分支的输入，第三特征图经过上采样后与第二特征图相加后，作为第四分支的输入，第二特征图经过上采样后与第一特征图相加后，作为第三分支的输入，将第三分支、第四分支和第五分支的输出进行加权求和，得到融合特征。

11、优选地，所述热力图头包括依次连接的三个串联的卷积层、sigmoid映射和双线性上采样操作；

12、将融合特征作为热力图头的输入，得到热力图和偏移图，其中热力图中的每个毛囊点表示为二维高斯分布的峰值，偏移图中的每个点为热力图中每个毛囊点的偏移量；

13、利用偏移图对热力图中的每个毛囊点的坐标进行校正，得到校正后的热力图。

14、优选地，所述参数头包括依次连接三个卷积层，且将融合特征作为参数头的输入，并将校正后的热力图作为参数头的输出定位，参数头输出校正后的热力图中每个毛囊点的三个粗略参数，即为粗略的方向角、半径和宽度。

15、优选地，在所述上下文模块中，融合特征图分别经过三个不同膨胀率的膨胀卷积模块，得到近环特征、中环特征和远环特征，校正后的热力图依次经过卷积层、第一激活层、卷积层和softmax层，得到第一权重、第二权重和第三权重，将近环特征、中环特征和远环特征依次一一对应与第一权重、第二权重和第三权重相乘，得到三个相乘的结果，并进行相加后依次经过卷积层和批归一化层，得到第五特征图，将第五特征图与融合特征图进行拼接后，再依次经过卷积层和第二激活层，将第五特征图与第二激活层的输出相乘后，再与融合特征图相加，得到上下文模块的输出；

16、其中，各膨胀卷积模块包括依次连接的空洞卷积层、批归一化层和第三激活层。

17、优选地，在所述方向感知三角编码模块中，上下文模块的输出分别经过水平卷积分支、垂直卷积分支和方向场模块，得到水平响应、垂直响应和方向场，将方向场经过卷积模块，分别得到水平方向和垂直方向的方向场，将水平方向的方向场和垂直方向的方向场依次一一对应与水平响应和垂直响应相乘，得到两个相乘的结果，并进行相加后依次经过卷积模块、卷积层和批归一化层，得到第六特征图，将第六特征图与上下文模块的输出进行相加，得到方向感知三角编码模块的输出；

18、其中，各所述卷积分支包括依次连接的卷积层、批归一化层和第四激活层，所述方向场模块包括依次连接的卷积层、批归一化层、第五激活层和卷积层；

19、所述卷积模块包括依次连接的卷积层、第六激活层、卷积层和softmax层。

20、优选地，在所述参数适配器中，以每个毛囊点为中心，按照预设大小从方向感知三角编码模块的输出中提取各毛囊点的局部特征块，且按照各毛囊在方向感知三角编码模块输出的特征图中的位置关系，将所有毛囊点的局部特征块进行拼接成一个roi特征图，再将roi特征图依次经过卷积层、第七激活层、全局平均池化层和多层感知机，得到各毛囊点三个参数的残差量，即为方向角、半径和宽度的残差量，将各毛囊点方向角、半径和宽度的残差量依次一一对应与粗略的方向角、半径和宽度相加，得到各毛囊点精细化的方向角、半径和宽度。

21、优选地，以输入到语义三角形毛发网络的输入图像中的其中一点为基准，建立直角坐标系；

22、在训练过程中，得到语义三角形毛发网络的输出后，利用各毛囊点的位置和精细化的方向角、半径和宽度计算各三角形底边两个点的预测坐标以及底板中点的预测坐标；

23、所述语义三角形毛发网络的总损失函数的计算公式如下：

24、；

25、其中，为热力图头的顶点定位损失，为参数头的回归损失，为底边两个点的几何一致性损失，为方向感知三角编码模块和参数适配器的监督损失。

26、优选地，所述基于语义三角形表征的毛发镜影像统一量化分析方法还包括基于语义三角形毛发网络输出的精细化宽度，以及结合毛发镜的放大倍数和成像标定关系计算毛发真实的宽度，基于真实的宽度，区分毛发为终毛或毳毛，并统计预设区域内终毛和毳毛比例，通过终毛和毳毛比例得到毛囊微型化程度和脱发分级的评估结果，并且评估结果也作为量化分析的结果。

27、与现有技术相比，本发明的有益效果为：

28、本基于语义三角形表征的毛发镜影像统一量化分析方法通过构建语义三角形毛发网络待量化分析的毛发镜影像中每个毛囊点精细化的三个参数，进而实现对毛发镜影像的量化分析，并且在训练过程中先针对毛发镜影像设计三角形标注协议，将毛囊开口位置、毛干宽度和生长方向统一编码为一个三角形几何结构，从表征层面根本性地消除了旋转矩形框固有的0°/180°方向歧义；

29、本语义三角形毛发网络中通过毛发三角融合模块利用可变形卷积和cbam模块对纤细弯曲毛发结构进行多级特征聚合增强，并引入上下文模块、方向感知三角编码模块和参数适配器，对遮挡、高光等干扰条件下的毛发几何参数进行引导增强与一致性约束，显著提升了半径、方向和宽度估计的鲁棒性；

30、本语义三角形毛发网络是端到端框架，同时输出毛发镜影像中每个毛囊点精细化的三个参数，避免了多阶段误差累积并减少了后处理依赖。