基于图注意力网络的非对齐多模态皮肤病变分类系统

本发明属于医学影像智能诊断、多模态深度学习、图神经网络，具体涉及一种基于图注意力网络的非对齐多模态皮肤病变分类系统。

背景技术：

1、皮肤癌是全球发病率增长较快的恶性肿瘤之一，其中恶性黑色素瘤虽占比不高，但致死风险较高，早期精准分类对改善患者预后具有重要意义。临床诊断中，临床图像能够呈现病灶整体轮廓、颜色分布及周围皮肤背景等宏观信息，皮肤镜图像能够放大呈现色素网络、蓝白幕、血管结构等微观病理特征。两类图像信息具有互补性，但在成像视角、尺度和语义粒度上天然存在非对齐关系。现有多模态皮肤病变分类技术主要存在以下缺陷：

2、1、特征提取模块缺乏适配不规则病灶形态的能力：

3、现有研究普遍采用 resnet 等通用卷积网络完成特征提取，标准卷积采用固定矩形采样网格，无法适配皮肤病灶形态不规则、边界模糊的特点；同时毛发、油光、皮肤褶皱等常见伪影会严重干扰特征提取过程，通用网络难以聚焦病灶有效区域，造成关键诊断特征丢失。

4、2、多模态融合机制存在明显局限性：

5、临床图像与皮肤镜图像存在双重非对齐特性：其一，空间非对齐，两类图像拍摄视角和关注区域不同，缺乏像素级或区域级的空间对应关系；其二，语义非对齐，皮肤镜通过光学放大聚焦亚表层微观结构，临床图像呈现病灶宏观形态，两者语义粒度存在尺度差异。现有融合方法多通过注意力或对抗学习强制建立对齐关系，在空间几何失配和语义尺度差异的情况下易引入冗余匹配和噪声传递。此外，患者元数据通常仅在分类器前浅层拼接，未深度参与特征交互过程。

6、综上，现有技术难以满足真实临床非对齐多模态场景下高精度、低漏诊误诊的皮肤病变分类需求，亟需一种能够增强病灶相关视觉表征、适应临床图像与皮肤镜图像非对齐关系，并使患者元数据深度参与结构化融合的智能分类系统。

技术实现思路

1、本发明的主要目的在于提供一种基于图注意力网络的非对齐多模态皮肤病变分类系统，用于解决现有多模态皮肤病变分类方法中病灶特征提取抗干扰能力不足、临床图像与皮肤镜图像非对齐融合效果差、患者元数据利用浅层化等技术问题。本发明通过病灶感知显著增强和异构图注意力融合，在无需显式空间或语义对齐的条件下实现多源信息自适应融合，提升七点检查清单判据分类和皮肤病变综合诊断的准确性。

2、为达到以上目的，本发明提供一种基于图注意力网络的非对齐多模态皮肤病变分类系统，包括病灶感知显著增强特征提取模块、多模态异构图拓扑构建模块、双层图注意力动态融合模块和多任务分类预测模块，其中：

3、所述病灶感知显著增强特征提取模块，配置双分支视觉骨干网络，分别接收临床图像和皮肤镜图像，在骨干网络的多个卷积阶段后嵌入模块lase，通过病灶感知通道筛选、可变形卷积偏移采样和空间-通道显著门控增强病灶相关视觉表征，并将两路图像特征统一映射为512维视觉特征向量；

4、所述多模态异构图拓扑构建模块，用于构建包含多个节点的异构图，多个节点包括a个临床图像节点、a个皮肤镜图像节点和b个元数据节点；

5、所述双层图注意力动态融合模块，采用两层多头图注意力网络对多个节点初始特征进行自适应聚合融合，输出融合后的各节点512维特征；

6、所述多任务分类预测模块，将同语义的临床图像节点、皮肤镜图像节点融合特征拼接，输入并行独立双层全连接分类头，同步输出检查清单子任务分类结果与皮肤病变综合诊断分类结果。

7、作为上述技术方案的进一步优选的技术方案，所述 lase 模块内部处理流程具体包括：

8、病灶感知通道筛选单元，对输入特征进行通道压缩与筛选，降低冗余通道响应，并保留与病灶纹理、色素网络、血管模式相关的关键特征；

9、可变形卷积偏移采样单元，学习卷积采样点的空间偏移量，构建自适应采样网格，以匹配边界模糊、形态不规则的皮肤病灶区域；

10、空间-通道显著门控单元，基于空间位置和通道响应生成显著门控权重，将所述显著门控权重作用于原始输入特征，以强化病灶区域响应，并抑制毛发、油光、皮肤褶皱及背景噪声。

11、作为上述技术方案的进一步优选的技术方案，对于所述多模态异构图拓扑构建模块：

12、各图像节点以病灶感知显著增强特征提取模块输出的512维视觉特征向量作为初始节点特征；所述临床图像节点与皮肤镜图像节点一一对应，分别对应病理特征节点与综合诊断diag节点；所述元数据节点用于编码患者年龄、性别、病灶解剖部位临床元数据。

13、作为上述技术方案的进一步优选的技术方案，所述多模态异构图拓扑构建模块构建三类有向边：模态内判据汇聚边、跨模态补充边和元数据交互边，三类有向边的构建规则为：

14、模态内判据汇聚边：单模态的综合诊断diag节点作为中心节点，与本模态内病理特征节点建立双向连接；

15、跨模态补充边：皮肤镜图像全部节点，向临床图像中语义相同的对应节点建立单向连接，传递微观纹理细节信息；

16、元数据交互边：元数据节点向全部图像节点建立单向连接，将流行病学临床先验知识注入所有视觉特征节点。

17、作为上述技术方案的进一步优选的技术方案，对于所述双层图注意力动态融合模块：

18、第一层gat采用8个注意力头，每个注意力头输出8维特征，多头特征拼接后得到64维中间特征表征；

19、第二层gat采用单注意力头，将64维中间特征映射回与初始节点特征相同维度的全局融合特征；

20、通过可学习权重计算节点间注意力系数，对强关联病灶节点分配高融合权重，自动屏蔽非对齐弱关联噪声节点；多头聚合后采用elu激活函数缓解梯度消失。

21、作为上述技术方案的进一步优选的技术方案，所述多任务分类预测模块工作流程：

22、将临床图像、皮肤镜图像中同一语义类别的节点融合特征拼接，生成多组等长融合特征向量；

23、设置8组相互独立的双层全连接网络作为分类头，第一层对拼接后的融合特征进行维度压缩并采用relu激活，第二层输出对应分类任务概率分布；

24、联合全部检查清单子任务、综合诊断任务的交叉熵损失作为总损失函数，端到端统一训练全部网络模块参数。

25、作为上述技术方案的进一步优选的技术方案，系统的工作整体流程为：

26、步骤s1：数据预处理：将输入临床图像、皮肤镜图像统一缩放归一化，患者元数据独热编码并映射至与512维视觉特征向量匹配的维度；

27、步骤s2：病灶感知显著增强特征提取：双分支视觉骨干网络结合嵌入的模块lase分别处理临床图像和皮肤镜图像，经全局平均池化或特征向量化后输出512维标准化视觉特征向量；

28、步骤s3：异构图表征构建：以标准化视觉特征向量初始化图像节点，元数据编码向量初始化元数据节点，按照模态内、跨模态、元数据三类边构建动态图拓扑；

29、步骤s4：图注意力自适应融合：双层多头gat网络完成节点消息传递与特征聚合，实现非对齐多模态信息融合；

30、步骤s5：多任务分类输出：拼接同语义双模态节点特征，通过并行分类头输出检查清单子任务包含的七点检查清单病理特征，以及皮肤病变综合诊断结果；

31、步骤s6：模型训练与推理：基于多任务联合损失优化网络参数，训练完成后输入患者多模态数据完成自动化皮肤病变分类诊断。

32、本发明的有益效果在于：

33、1、将 lase 病灶感知显著增强机制应用于皮肤病变多模态分类，通过病灶感知通道筛选、可变形卷积偏移采样和空间-通道显著门控，自适应增强不规则病灶区域表征并抑制毛发、油光等伪影干扰；

34、2、构建包含独立元数据节点的 17 节点异构图，通过模态内判据汇聚边、跨模态补充边和元数据交互边建模局部判据、综合诊断和临床先验之间的关系，解决传统方法中元数据浅层拼接的问题；双层 gat 能够动态调整不同模态和不同节点的融合权重，无需显式空间或语义对齐；

35、3、在公开spc数据集7pc多任务平均准确率高，大幅降低漏诊与误诊；

36、4、双分支和异构图架构解耦特征提取与多模态融合，适配真实临床图像、皮肤镜图像天然非对齐场景，鲁棒性强，具备临床落地价值。