一种脑网络GNN可解释性三维可视化方法及系统

摘要: 本发明涉及基于图神经网络的脑功能网络分析与可视化领域,具体涉及一种基于节点嵌入激活强度的脑网络gnn可解释性三维可视化方法及系统,用于将图神经网络对自闭症谱系障...
一种脑网络GNN可解释性三维可视化方法及系统

本发明涉及基于图神经网络的脑功能网络分析与可视化领域,具体涉及一种基于节点嵌入激活强度的脑网络gnn可解释性三维可视化方法及系统,用于将图神经网络对自闭症谱系障碍脑功能网络的分类决策依据,以显著性热力图的形式在三维标准脑空间中进行直观展示。

背景技术:

1、图神经网络在脑功能网络分类任务中取得了良好的性能,但其“黑盒”特性严重限制了在辅助分析中的实际应用。研究者不仅需要知道模型“判断为asd还是正常”,更需要知道“模型依据哪些脑区做出了这个判断”——即模型的可解释性。

2、现有技术存在以下技术缺陷:

3、1、可解释性方法计算量大,不适合在线推理:现有的gnn可解释性方法(如gnnexplainer、grad-cam变体)通常需要反向传播或多次前向传播来计算每个节点的重要性,计算开销大,难以嵌入到在线推理系统中实时输出解释结果。

4、2、解释结果缺乏空间解剖语义:多数方法仅输出节点级别的显著性数值或掩码,但这些节点(roi)在真实大脑中的空间位置、所属脑区名称、功能网络归属等信息缺失。医生面对一串数字编号的roi,无法直接理解其临床意义。

5、3、可视化展示方式单一,交互性差:现有解释结果多以二维矩阵热力图或静态图片展示,缺乏在三维脑图谱上进行交互式探索的能力,无法支持旋转、缩放、悬停查看细节等操作,降低了信息的可感知性和可用性。

技术实现思路

1、因此,为了解决上述不足,本发明在此提供一种脑网络gnn可解释性三维可视化方法及系统。本发明所要解决的技术问题是:

2、针对现有技术中gnn可解释性方法计算量大、解释结果缺乏空间解剖语义、以及可视化展示交互性差的技术缺陷,提供一种轻量级的、适合在线推理的、能将模型决策依据映射到标准脑空间并以三维交互方式展示的可解释性可视化方法。

3、本发明是这样实现的,构造一种脑网络gnn可解释性三维可视化方法,其特征在于,包括以下步骤:

4、步骤s1:获取图神经网络在全局平均池化层之前输出的节点嵌入矩阵h,其中h∈ℝ^(n×d),n为感兴趣区域(roi)节点数,d为嵌入维度;对于第i个roi节点,计算其嵌入向量的平均绝对激活强度作为显著性得分sᵢ,计算公式为:

5、;

6、其中hᵢk为第i个节点在第k个隐藏维度上的激活值;对单个样本内所有roi的显著性得分进行归一化处理,得到归一化得分;

7、步骤s2:基于功能分区图谱,获取每个roi在标准脑空间中的质心坐标;将所述质心坐标转换为三维显示坐标;关联解剖图谱,为每个roi生成包含解剖脑区名称、半球信息、脑叶归属和/或功能网络标签的元数据;

8、步骤s3:在浏览器端渲染三维脑图谱,将每个roi以球体表示,节点位置基于所述三维显示坐标;根据所述归一化得分对节点颜色进行映射,以颜色深浅表示显著性高低;筛选top-k个显著性得分最高的roi作为关键脑区,并在界面中展示其元数据及得分信息;支持鼠标悬停查看单个roi的详细信息;

9、步骤s4:提供交互式分析功能,支持用户在不同受试者之间切换,和/或在不同图神经网络模型之间切换,以观察关键脑区的差异;支持三维脑图谱的旋转、缩放操作。

10、进一步的;所述方法的所述步骤s1中,所述归一化处理为min-max归一化,将显著性得分映射至[0,1]区间;归一化后,根据图神经网络模型类型对归一化得分施加单调变换以增强视觉对比度,所述单调变换包括:对于gcn模型,对大于0.05的得分增加0.35并截断至1.0;对于gat模型,采用s^2.5增强;对于gatv2模型,采用s^3.0增强,其中s为归一化得分。

11、进一步的;所述方法的所述步骤s2中,所述功能分区图谱为craddock 2012功能分区图谱,所述标准脑空间为mni152标准空间;所述解剖图谱为harvard-oxford皮层和下皮层概率图谱,通过计算每个roi与各解剖图谱区域的重叠体积,选择重叠体积最大的解剖区域作为该roi的近似解剖脑区名称。

12、进一步的;所述方法的所述步骤s2中,所述三维显示坐标的转换公式为:

13、x_display = x_mni/4,

14、y_display = z_mni/4,

15、z_display = y_mni/4,

16、其中(x_mni, y_mni, z_mni)为mni152标准空间坐标;所述元数据包括roi编号、mni坐标、显示坐标、半球、解剖脑区名称、脑叶归属和候选功能网络标签,并以json格式存储供前端加载。

17、进一步的;所述方法的所述步骤s3中,所述颜色映射为:得分0对应深蓝色,得分1对应红色,中间得分通过线性插值获得;具体采用hsl颜色空间,从色相240°渐变至0°,饱和度固定为100%,亮度固定为50%。

18、进一步的;所述方法的所述步骤s3中,所述鼠标悬停查看单个roi的详细信息包括:悬停时该节点放大并高亮显示,并在屏幕上方弹出信息卡片,展示该roi的编号、显著性得分、mni坐标、解剖脑区名称、半球、脑叶和候选功能网络标签;所述top-k中k=10,列表展示roi编号、得分、脑区名称和候选功能网络标签,并支持点击列表项使相机自动聚焦到对应节点。

19、进一步的;所述方法的所述步骤s4中,所述不同受试者之间切换通过受试者选择组件实现,该组件支持按受试者id或标签进行搜索和筛选;所述不同图神经网络模型包括gcn、gat和gatv2,通过模型切换组件选择;切换时重新调用后端推理接口获取新模型下的分类结果和显著性得分,并更新三维脑图谱。

20、进一步的;所述方法的所述步骤s3和s4中,三维脑图谱基于react three fiber渲染,采用全局悬停状态管理,将悬停状态统一为单个状态变量hoverednodeid,以避免多个节点独立状态带来的渲染性能瓶颈,将渲染帧率稳定在60fps。

21、一种脑网络gnn可解释性三维可视化系统,其特征在于,包括:

22、显著性计算模块,用于执行所述可视化方法的步骤s1的操作;

23、空间语义映射模块,用于执行所述可视化方法的步骤s2的操作;

24、三维可视化渲染模块,用于执行所述可视化方法的步骤s3的操作;

25、交互分析模块,用于执行所述可视化方法的步骤s4的操作。

26、本发明公开了一种脑网络gnn可解释性三维可视化方法及系统,属于脑功能网络分析与可视化领域,旨在解决现有图神经网络可解释性方法计算量大、缺乏空间解剖语义及可视化交互性差的问题。该方法包括:截取图神经网络在全局池化前的节点嵌入矩阵,计算每个感兴趣区域(roi)嵌入向量的平均绝对激活强度作为显著性得分,并进行归一化与模型自适应增强;基于craddock功能分区图谱获取roi在mni152标准空间的质心坐标,关联harvard-oxford解剖图谱生成脑区名称、半球、脑叶及功能网络标签等语义元数据;在浏览器端使用webgl渲染三维脑图谱,以球体表示roi,按显著性得分从蓝到红映射颜色,并展示top-k关键脑区信息,支持鼠标悬停查看详情;提供受试者与模型切换、旋转缩放等交互功能。本发明仅需一次前向计算即可获得可解释性结果,适用于在线推理,且将抽象节点映射为可理解的解剖结构,显著提升了辅助分析的参考价值与可用性。

27、本发明具有如下优点:

28、1、轻量级在线可解释性:仅需截取模型中间层的节点嵌入,进行一次前向计算即可得到显著性得分,无需反向传播或多次迭代,计算开销极小,适合嵌入在线推理系统实时输出解释结果。

29、2、解释结果具备空间解剖语义:通过将roi映射至mni152标准空间并关联harvard-oxford解剖图谱,将抽象的节点编号转化为具有神经科学意义的脑区名称、半球信息和功能网络标签,使解释结果对研究者可直接理解。

30、3、三维交互式可视化:基于webgl的三维脑图谱渲染,支持旋转、缩放、悬停等交互操作,用户可以从任意角度观察关键脑区的空间分布,显著提升了信息的可感知性和可用性。