一种融合推理链置信度评估的类脑目标识别方法与流程

本发明涉及图像识别，尤其涉及一种融合推理链置信度评估的类脑目标识别方法。

背景技术：

1、目标识别是计算机视觉领域的核心任务之一，其输出置信度分数对于实际部署中的决策具有关键指导意义。在自动驾驶、安防监控、工业质检等安全关键场景中，模型不仅需要提供目标类别和位置信息，还需要输出一个能够反映预测可靠程度的置信度分数，以供下游系统进行风险判断和决策。当前主流的目标识别方法主要关注最终检测结果的置信度评估，通常以分类概率与定位精度的乘积作为置信度指标，并采用温度缩放、plattscaling等后处理校准技术提升预测置信度与真实准确率之间的一致性。

2、然而，现有技术在置信度评估方面存在以下缺陷：第一，置信度评估的对象局限于最终的检测输出（即目标类别和检测框），无法对模型在生成推理链条中各中间环节的可靠性进行量化——例如，当模型通过多步骤逻辑推理来识别目标时，中间步骤的正确性直接影响最终判断的可信度，但现有方法缺乏对中间推理结果的置信度度量手段。

技术实现思路

1、鉴于上述的分析，本发明实施例旨在提供一种融合推理链置信度评估的类脑目标识别方法，用以解决现有缺乏对中间推理结果的置信度度量手段的问题。

2、一方面，本发明实施例提供了一种融合推理链置信度评估的类脑目标识别方法，其特征在于，包括以下步骤：

3、构建包括预训练基底模型、混合专家系统及不确定量化模块的类脑层次认知模型；所述混合专家系统包括多个低级专家lora和一个总专家lora；每个低级专家lora对应一个低级视觉认知任务，所述总专家lora用于激活低级专家lora并进行特征交互；所述不确定量化模块用于预测模型推理结果的置信度；

4、基于每个低视觉认知任务对应的训练集对每个低视觉认知任务对应的低级专家lora进行训练；

5、构建过程监督训练数据集；基于过程监督训练数据集对总专家lora和不确定量化模块进行联合训练；得到训练好的类脑层次认知模型；

6、将待识别图像和指令输入训练好的类脑层次认知模型，得到目标识别结果及推理置信度结果。

7、基于上述方法的进一步改进，模型推理结果的置信度包括锚点的置信度和整体推理的置信度；

8、所述不确定量化模块基于每个锚点的推理统计量预测每个锚点的置信度；所述推理统计量包括锚点生成过程中的专家激活熵、专家激活时序变化度和平均最大概率；

9、基于每个锚点的置信度、逻辑一致性得分和最终类别预测概率得到整体推理的置信度。

10、基于上述方法的进一步改进，采用以下方式计算专家激活熵：

11、

12、

13、其中，表示第i个锚点的token的数量，表示生成第i个锚点的第t个token时第k个低级专家lora的激活权重，表示生成第i个锚点时第k个低级专家lora的平均激活权重，k表示低级专家lora的数量，表示生成第i个锚点的专家激活熵。

14、基于上述方法的进一步改进，采用以下方式计算逻辑一致性得分：

15、

16、其中，表示当前样本的锚点总数，表示当前样本的第i个锚点的置信度，表示当前样本的第j个锚点的置信度，表示当前样本的第i个锚点和第j个锚点的逻辑矛盾指示值。

17、基于上述方法的进一步改进，采用以下方式计算锚点生成过程的专家激活时序变化度：

18、

19、其中，表示第i个锚点的专家激活时序变化度，表示第i个锚点的token数量，表示第i个锚点的第t-1个token的专家激活向量，表示第i个锚点的第t个token的专家激活向量，表示计算相似度。

20、基于上述方法的进一步改进

21、每个低级专家lora包括多组可训练的低秩矩阵对，每组可训练的低秩矩阵对设置在预训练基底模型的每个层中，用于对基底模型的各层中的原始权重进行低秩更新。

22、基于上述方法的进一步改进，所述总专家lora包括多组可训练的低秩矩阵对，每组可训练的低秩矩阵对设置在预训练基底模型的每个层中；总专家lora的可训练的低秩矩阵对与各低级专家lora的低秩矩阵对并列设置。

23、基于上述方法的进一步改进，所述总专家lora采用以下方式激活低级专家lora并进行特征交互：

24、对于预训练基底模型的每一层：

25、基于总专家lora与每个低级专家lora在该层的潜特征间的相似度判断在该层是否激活该低级专家lora；

26、在被激活的低级专家lora和总专家lora的潜特征间进行特征交互生成该层的增强特征。

27、基于上述方法的进一步改进，在被激活的低级专家lora和总专家lora的潜特征间进行特征交互生成增强特征，包括：

28、基于激活的专家lora在该层的升维矩阵对激活的专家lora的潜特征进行特征交互得到交互特征；

29、对交互特征进行动态权重分配；

30、将预训练基底模型在该层的输出特征与加权交互特征相加得到该层的增强特征。

31、基于上述方法的进一步改进，基于激活的专家lora在该层的升维矩阵对激活的专家lora的潜特征进行交互得到交互特征，包括：

32、以每个激活的专家lora为源专家，以除源专家自身之外的其他每个激活的专家lora为目标专家；

33、将源专家的潜特征通过可训练的交互矩阵进行特征变换；

34、将变换后的特征通过目标专家的升维矩阵进行投影，得到源专家和目标专家对应的交互特征。

35、与现有技术相比，本发明至少可实现如下有益效果之一：

36、1、通过引入不确定量化模块，在推理时能提供每个推理步骤及整体的置信度，显著提升了模型的可信度和安全性，便于用户根据置信度进行后续决策。

37、2、通过分阶段训练多个低级专家lora，低级专家lora的特征提取与最终目标类别解耦，使得模型在不同域（如光照变化、场景风格差异）下，依然能够依靠对颜色、方向等低级属性的稳定感知进行推理。

38、3、通过动态激活与当前局部特征相关的低级专家，模型能够在信息不完整时依然做出合理推断。同时，多个低级专家的输出经过注意力融合，相当于实现了多视角特征的软选择，对尺度变化和部分遮挡具有更好的鲁棒性。

39、本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。

1.一种融合推理链置信度评估的类脑目标识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，模型推理结果的置信度包括锚点的置信度和整体推理的置信度；

3.根据权利要求2所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，采用以下方式计算专家激活熵：

4.根据权利要求2所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，采用以下方式计算逻辑一致性得分：

5.根据权利要求2所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，采用以下方式计算锚点生成过程的专家激活时序变化度：

6.根据权利要求1所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，

7.根据权利要求1所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，所述总专家lora包括多组可训练的低秩矩阵对，每组可训练的低秩矩阵对设置在预训练基底模型的每个层中；总专家lora的可训练的低秩矩阵对与各低级专家lora的低秩矩阵对并列设置。

8.根据权利要求1所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，所述总专家lora采用以下方式激活低级专家lora并进行特征交互：

9.根据权利要求8所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，在被激活的低级专家lora和总专家lora的潜特征间进行特征交互生成增强特征，包括：

10.根据权利要求9所述的融合推理链置信度评估的类脑目标识别方法，其特征在于，基于激活的专家lora在该层的升维矩阵对激活的专家lora的潜特征进行交互得到交互特征，包括：