基于权重矩阵卷积的参数高效微调目标检测方法及系统与流程

本发明涉及计算机视觉与深度学习模型微调技术，特别涉及基于权重矩阵卷积的参数高效微调目标检测方法。

背景技术：

1、随着深度学习技术快速发展，预训练 transformer 模型凭借强大通用表征能力，被广泛应用于图像目标检测等计算机视觉任务。为降低全量微调带来的算力与存储消耗，参数高效微调（peft）技术成为预训练模型迁移落地的主流方案，其中以 lora 为代表的低秩微调方法应用最为普遍。

2、现有低秩类微调方法通过分解得到两组低维矩阵构造权重更新残差，仅少量参数参与训练，能够有效控制微调成本，在图像分类、基础检测等任务中取得了稳定效果。但该类方法将所有权重更新操作限制在低维子空间内，对预训练权重矩阵本身存在的二维局部空间关联特征挖掘不足。目标检测任务存在多尺度目标、复杂背景遮挡、目标形态多变等特点，对权重更新的表征丰富度要求更高，传统低秩约束会一定程度限制模型适配潜力。此外，也有少量现有方案将卷积结构嵌入低秩微调框架内完成特征适配，但其卷积运算依旧依托压缩后的低维空间开展，无法完整保留原始权重矩阵的空间结构信息，微调过程中易产生特征损耗。

3、综上所述，目前迫切需要提出一种解决上述问题的基于权重矩阵卷积的参数高效微调目标检测方法。

技术实现思路

1、有鉴于此，本发明的主要目的在于提供基于权重矩阵卷积的参数高效微调目标检测方法，能够解决针对现有lora类低秩微调方案将权重更新约束在低维子空间，压缩预训练权重原生二维空间关联信息，面向多尺度、遮挡复杂目标检测场景时特征适配能力不足的问题。

2、为达到上述目的，按照本发明的第一个方面，提供了基于权重矩阵卷积的参数高效微调目标检测方法，该方法包括：

3、第一步骤，加载预训练transformer目标检测骨干网络，冻结网络全部原始权重矩阵，仅初始化小型二维可学习卷积核作为待训练参数；采用 he 初始化方式对卷积核赋值；

4、第二步骤，对原始卷积核执行同尺寸零填充，得到填充卷积核；

5、第三步骤，将填充卷积核与原始权重矩阵做二维空间卷积运算，生成同尺寸的权重增量；

6、第四步骤，引入固定缩放系数约束增量幅度，根据原始权重矩阵和权重增量，获取经过空间卷积权重适配后的增强特征；

7、第五步骤，将增强特征输入检测头，执行目标分类、边界框回归；基于检测损失反向梯度，仅更新卷积核参数，主干权重全程冻结，循环迭代至模型收敛；

8、第六步骤，训练完成后将增量权重合并至预训练主干，消除推理额外计算分支；输入待检测图像，输出目标类别与坐标检测结果。

9、其中，所述第一步骤包括：

10、训练集、验证集与测试集获取步骤，载入通用图像目标检测数据集，按照预设比例将全部样本划分为训练集、验证集与测试集，训练集用于模型参数更新，验证集用于监控模型收敛状态，测试集用于最终性能评估；

11、原始权重矩阵获取步骤，加载已经完成预训练的 transformer 骨干网络，并将主干网络全部权重设置为冻结状态，读取所有原始权重矩阵；初始化尺寸为的小型可学习卷积核，采用he初始化方法完成卷积核参数赋值，其中、分别表示权重矩阵的行数与列数，即当前层的输出维度和输入维度，表示卷积核尺寸，。

12、进一步地，所述卷积核尺寸的取值范围为13～19。

13、所述第二步骤包括：对原始卷积核进行同尺寸零填充处理，生成与权重矩阵维度一致的填充卷积核：，其中、分别表示权重矩阵的行索引、列索引，表示可学习卷积核在第行第列的元素。

14、所述第三步骤包括：将填充后的卷积核与原始权重矩阵执行二维滑动卷积运算，生成维度完全匹配的权重增量，其中表示二维空间卷积算子。

15、所述第四步骤包括：设置固定缩放系数约束权重增量幅值，根据原始权重矩阵和权重增量，得到经过空间卷积权重适配后的增强特征，其中代表 transformer 层输入图像特征，即经过主干网络预处理之后得到的图像张量。

16、进一步地，所述固定缩放系数的取值范围为 0.05～0.2。

17、所述第五步骤包括：将增强特征送入检测头模块，检测头完成目标类别分类与目标边界框回归，分别计算分类损失以及边界框回归损失，加权求和得到整体检测损失；在损失反向传播过程中，仅更新小型卷积核参数，主干网络所有权重固定不变，以此大幅降低需要训练的参数量，减少显存占用；训练集用于模型参数更新：按照设置的批次大小循环读取训练集中的样本，前3轮执行学习率预热，之后执行线性衰减；验证集用于监控收敛状态：每完成一轮完整训练，在验证集上计算目标检测相关指标，并据此判断是否触发早停；重复批次迭代训练，直至验证集检测指标不再提升，判定模型收敛，结束训练流程。

18、所述第六步骤包括：测试集用于最终性能评估：训练完成后，将卷积生成的权重增量融合至预训练主干原始权重中，把增量直接合并进主干权重参数内部，推理阶段不再保留额外计算分支，推理计算量和原始预训练模型保持一致；向模型输入待检测图像，图像经过主干网络特征提取之后，直接输出目标类别、边界框坐标以及置信度，完成图像目标检测任务。

19、按照本发明的另一个方面，提供了基于权重矩阵卷积的参数高效微调目标检测系统，该系统包括：

20、模型参数初始化模块，用于加载预训练transformer目标检测骨干网络，冻结网络全部原始权重矩阵，仅初始化小型二维可学习卷积核作为待训练参数；采用 he 初始化方式对卷积核赋值；

21、卷积核填充模块，用于对原始卷积核执行同尺寸零填充，得到填充卷积核；

22、权重增量获取模块，用于将填充卷积核与原始权重矩阵做二维空间卷积运算，生成同尺寸的权重增量；

23、增强特征获取模块，用于引入固定缩放系数约束增量幅度，根据原始权重矩阵和权重增量，获取经过空间卷积权重适配后的增强特征；

24、模型训练模块，用于将增强特征输入检测头，执行目标分类、边界框回归；基于检测损失反向梯度，仅更新卷积核参数，主干权重全程冻结，循环迭代至模型收敛；

25、目标检测和结果输出模块，用于训练完成后将增量权重合并至预训练主干，消除推理额外计算分支；输入待检测图像，输出目标类别与坐标检测结果。

26、与现有的目标检测技术相比，本发明的基于权重矩阵卷积的参数高效微调目标检测方法的优点在于：摒弃矩阵低秩分解操作，直接在完整原始参数空间通过轻量化卷积生成权重修正量，完整保留权重内部局部结构特征，以极少可训练参数量实现预训练transformer 骨干的高效微调，提升各类复杂场景下目标检测精度。

1.基于权重矩阵卷积的参数高效微调目标检测方法，其特征在于，该方法包括：

2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：

3.如权利要求2所述的方法，其特征在于，所述第二步骤包括：对原始卷积核进行同尺寸零填充处理，生成与权重矩阵维度一致的填充卷积核：，其中、分别表示权重矩阵的行索引、列索引，表示可学习卷积核在第行第列的元素。

4.如权利要求3所述的方法，其特征在于，所述第三步骤包括：将填充后的卷积核与原始权重矩阵执行二维滑动卷积运算，生成维度完全匹配的权重增量，其中表示二维空间卷积算子。

5.如权利要求4所述的方法，其特征在于，所述第四步骤包括：设置固定缩放系数约束权重增量幅值，根据原始权重矩阵和权重增量，得到经过空间卷积权重适配后的增强特征，其中代表 transformer 层输入图像特征，即经过主干网络预处理之后得到的图像张量；

6.如权利要求1所述的方法，其特征在于，所述第五步骤包括：将增强特征送入检测头模块，检测头完成目标类别分类与目标边界框回归，分别计算分类损失以及边界框回归损失，加权求和得到整体检测损失；在损失反向传播过程中，仅更新小型卷积核参数，主干网络所有权重固定不变，以此大幅降低需要训练的参数量，减少显存占用；训练集用于模型参数更新：按照设置的批次大小循环读取训练集中的样本，前3轮执行学习率预热，之后执行线性衰减；验证集用于监控收敛状态：每完成一轮完整训练，在验证集上计算目标检测相关指标，并据此判断是否触发早停；重复批次迭代训练，直至验证集检测指标不再提升，判定模型收敛，结束训练流程。

7.如权利要求1所述的方法，其特征在于，所述第六步骤包括：测试集用于最终性能评估：训练完成后，将卷积生成的权重增量融合至预训练主干原始权重中，把增量直接合并进主干权重参数内部，推理阶段不再保留额外计算分支，推理计算量和原始预训练模型保持一致；向模型输入待检测图像，图像经过主干网络特征提取之后，直接输出目标类别、边界框坐标以及置信度，完成图像目标检测任务。

8.如权利要求2所述的方法，其特征在于，所述卷积核尺寸的取值范围为13～19。

9.基于权重矩阵卷积的参数高效微调目标检测系统，其特征在于，该系统包括：