一种类脑目标识别推理链的可视化方法与流程

本发明涉及图像识别，尤其涉及一种类脑目标识别推理链的可视化方法。

背景技术：

1、近年来，基于深度神经网络的视觉目标识别技术取得了显著进展，被广泛应用于自动驾驶、安防监控、机器人导航等场景。然而，传统目标识别模型普遍采用端到端的黑盒架构，其内部决策过程高度非线性且难以解析。

2、现有缺乏有效的对目标识别模型的推理中间过程进而可视化呈现手段，导致模型的可解释性停留在知晓模型输出了什么的表面层次，而无法实现理解模型为何这样输出的深层认知。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种类脑目标识别推理链的可视化方法，用以解决现有缺乏对推理中间过程进而可视化呈现的问题。

2、一方面，本发明实施例提供了一种类脑目标识别推理链的可视化方法，包括以下步骤：

3、得到训练好的类脑目标识别模型；所述类脑目标识别模型包括多个低级专家lora和一个总专家lora；每个低级专家lora对应一个低级视觉认知任务，所述总专家lora用于激活低级专家lora并进行特征交互；

4、将待识别图像和指令输入所述类脑目标识别模型；在类脑目标识别模型对输入图像进行推理的过程中，捕获类脑目标识别模型内部生成的中间状态数据；所述中间状态数据包括：认知锚点序列、每个时间步不同网络层上各低级专家lora的激活权重以及各专家lora间的交互权重；

5、基于所述中间状态数据生成可视化图形，所述可视化图像包括专家交互有向图和/或专家激活强度时空热力图。

6、基于上述方法的进一步改进，所述专家交互有向图用于展示在生成每个锚点时所有激活专家间的信息流动方向和交互强度；

7、所述专家交互有向图的节点表示激活的专家lora，节点的大小或颜色表征专家lora的交互影响力，有向边表示激活的专家lora间的信息交互；边的宽度或颜色表示专家lora间的总交互权重。

8、基于上述方法的进一步改进，采用以下方式得到专家lora间的总交互权重：

9、

10、其中，l表示类脑目标识别模型的层数，表示第t个时间步，第i个专家lora到第j个专家lora在第层的交互权重，表示第t个时间步第层激活的专家lora集合，表示第k个锚点包含的token数量，表示生成第k个锚点的时间步集合，表示指示函数，表示与关系。

11、基于上述方法的进一步改进，所述专家激活强度时空热力图用于展示各专家lora在不同时间步和/或不同网络层上的激活强度；

12、专家激活强度时空热力图包括锚点-专家热力图和网络层-专家热力图；

13、所述锚点-专家热力图为二维矩阵图，纵轴表示低级专家lora，横轴表示锚点；矩阵中的元素表示生成第k个锚点时第i个低级专家lora的激活强度；

14、所述网络层-专家热力图为二维矩阵图，纵轴表示低级专家lora，横轴表示类脑目标识别模型的网络层，矩阵中的元素表示第i个低级专家lora在第层的激活强度。

15、基于上述方法的进一步改进，其特征在于，采用以下方式得到训练好的类脑目标识别模型：

16、在预训练基底模型上引入多个低级专家lora，每个低级专家lora对应一个低级视觉认知任务，基于每个低视觉认知任务对应的训练数据集分别训练对应的低级专家lora；

17、在预训练基底模型上引入一个总专家lora；所述总专家lora用于提取潜特征，基于潜特征动态激活低级专家lora，基于激活的低级专家lora进行特征交互生成增强特征；

18、构建过程监督训练数据集；在过程监督训练数据集上对总专家lora进行训练；得到训练好的类脑目标识别模型。

19、基于上述方法的进一步改进，基于潜特征动态激活低级专家lora，基于激活的低级专家lora进行特征交互生成增强特征，包括：

20、对于预训练基底模型的每一层：

21、基于总专家lora与每个低级专家lora在该层的潜特征间的相似度判断在该层是否激活该低级专家lora；

22、在被激活的低级专家lora和总专家lora的潜特征间进行特征交互生成该层的增强特征。

23、基于上述方法的进一步改进，在被激活的低级专家lora和总专家lora的潜特征间进行特征交互生成增强特征，包括：

24、基于激活的专家lora在该层的升维矩阵对激活的专家lora的潜特征进行特征交互得到交互特征；

25、对交互特征进行动态权重分配得到交互特征的交互权重；

26、将预训练基底模型在该层的输出特征与基于交互权重加权的交互特征相加得到该层的增强特征。

27、基于上述方法的进一步改进，基于激活的专家lora在该层的升维矩阵对激活的专家lora的潜特征进行交互得到交互特征，包括：

28、以每个激活的专家lora为源专家，以除源专家自身之外的其他每个激活的专家lora为目标专家；

29、将源专家的潜特征通过可训练的交互矩阵进行特征变换；

30、将变换后的特征通过目标专家的升维矩阵进行投影，得到源专家和目标专家对应的交互特征。

31、基于上述方法的进一步改进，对交互特征进行动态权重分配得到交互特征的交互权重，包括：

32、以总专家lora的潜特征作为查询向量；

33、对于每个交互特征，以该交互特征对应的源专家的升维矩阵计算键向量；

34、基于查询向量和键向量计算该交互特征的交互权重。

35、基于上述方法的进一步改进，每个低级专家lora包括多组可训练的低秩矩阵对，每组可训练的低秩矩阵对设置在预训练基底模型的每个层中，用于对基底模型的各层中的原始权重进行低秩更新。

36、与现有技术相比，本发明至少可实现如下有益效果之一：

37、1、本发明通过捕获类脑目标识别模型在推理过程中生成的认知锚点序列、专家交互权重及激活强度数据，并生成专家交互有向图和激活强度时空热力图，将原本隐藏在模型内部的推理链以直观的图形化方式呈现。用户可清晰看到模型在生成每个认知锚点时所依赖的专家类型、专家之间的信息流动方向与强度，以及不同推理步骤中专家激活强度的动态变化。这突破了传统黑盒模型只给结果、不给理由的局限，使模型的决策依据变得可追溯、可验证。

38、2、在自动驾驶、医疗影像等高风险应用场景中，用户需要确认模型的判断依据是否合理。本发明提供的可视化允许用户检查模型在识别目标时所关注的视觉属性，使用户能够基于可理解的推理链做出是否采纳模型结果的决策，从而建立人机互信。

39、3、通过分布式预训练各低级专家lora，每个低级专家lora负责特定功能，类似大脑分区执行某个认知层次的任务，低级专家lora的特征提取与最终目标类别解耦，使得模型在不同域下，依然能够依靠对颜色、方向等低级属性的稳定感知进行推理，而不过度依赖特定领域的统计模式。

40、4、在预训练基底模型和训练好的低级专家lora的基础上引入总专家lora，模型在预测过程中动态激活一部分与当前任务相关的低级专家lora，使得它们能充分融合交互，模拟人脑的自上而下调制和并行处理，展现出类似大脑分区协同和认知层次交互协作的工作机理，这种方式契合人脑认知过程，在提供解释性的同时充分利用预训练模型的推理能力，提高模型的识别准确率。

41、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。