目标检测方法、装置及电子设备与流程
本技术涉及目标检测,特别是涉及一种目标检测方法、装置及电子设备。
背景技术:
1、目前,目标检测算法多面向服务器级图形处理器设备设计,网络整体参数量庞大,模型存储占用通常为数兆字节至数十兆字节。一些资源受限的边缘嵌入式设备通常存储空间极小,仅支持数百千字节量级的轻量化模型部署,因此很多目标检测模型无法部署在边缘设备上。
2、相关技术中,一般采用全局统一缩放方式压缩模型文件,这种压缩方式无法无法兼顾模型参数量与检测精度,极易出现精度衰减、图像特征丢失的问题。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种目标检测方法、装置及电子设备,能够使得目标检测模型适配各种容积受限的边缘设备,并保障目标检测模型的检测精度。
2、第一方面,本技术提供了一种目标检测方法,应用于边缘设备,包括:
3、根据所述边缘设备的存储容积,确定与所述边缘设备适配的目标检测模型的模型参数量;
4、基于所述模型参数量,获取用于调整所述目标检测模型的宽度调控参数和深度调控参数;
5、基于所述宽度调控参数,调控所述目标检测模型中特征图的通道数量,其中,不同层级的特征图采用的宽度调控参数不同;
6、基于所述深度调控参数,调控所述目标检测模型中特征模块的重复堆叠次数;
7、采用调控后的目标检测模型,对待检测图像进行目标检测,得到目标检测结果。
8、在其中一个实施例中,所述宽度调控参数包含浅层调控参数、深层调控参数和颈部调控参数,所述基于所述宽度调控参数,调控所述目标检测模型中特征图的通道数量,包括:
9、基于所述浅层调控参数,调控所述目标检测模型的浅层特征层中特征图的通道数量,所述浅层特征层表示所述目标检测模型的低尺度特征输出层级,对应输入图像的浅层细节特征尺度;
10、基于所述深层调控参数,调控所述目标检测模型的深层语义层中特征图的通道数量,所述深层语义层表示所述目标检测模型的高尺度特征输出层级,对应输入图像的高级语义特征尺度;
11、基于所述颈部调控参数,调控所述目标检测模型的颈部特征融合网络中特征图的通道数量。
12、在其中一个实施例中,所述基于所述模型参数量,获取用于调整所述目标检测模型的宽度调控参数和深度调控参数,包括:
13、在由所述宽度调控参数和所述深度调控参数构成的参数搜索空间中,获取满足所述模型参数量约束条件的候选参数组合;
14、从所述候选参数组合中选取所述宽度调控参数和所述深度调控参数。
15、在其中一个实施例中,所述基于所述深度调控参数,调控所述目标检测模型中特征模块的重复堆叠次数,包括:
16、基于所述深度调控参数,对所述目标检测模型中目标瓶颈模块的基础重复堆叠次数进行倍率换算;
17、对换算结果通过向下取整运算得到所述目标瓶颈模块的实际重复堆叠层数;
18、保持所述目标检测模型中初始卷积下采样层、空间金字塔池化模块、颈部特征融合网络和检测头的结构层数固定。
19、在其中一个实施例中,所述目标瓶颈模块为所述目标检测模型的主干网络中设置的瓶颈模块,所述目标瓶颈模块中配置并行的瓶颈分支与残差分支;
20、所述瓶颈分支采用逐点卷积、深度可分离卷积、逐点卷积的串联排布结构,所述瓶颈分支中的各卷积层均匹配设置归一化层与非线性激活层,所述瓶颈分支采用固定的通道缩放比例配置;
21、所述残差分支采用恒等映射结构,用于直接传导模块输入特征;
22、所述瓶颈分支的输出特征与所述残差分支的输出特征通过通道维度拼接方式融合,形成所述目标瓶颈模块的整体输出特征。
23、在其中一个实施例中,所述目标检测模型配置有颈部特征融合网络,所述颈部特征融合网络采用路径聚合网络结构,所述颈部特征融合网络接收主干网络输出的多尺度特征图,
24、所述路径聚合网络内部的卷积结构被替换为深度可分离卷积的卷积结构,所述路径聚合网络配置有自顶向下的特征传递路径与自底向上的特征传递路径;
25、所述自顶向下的特征传递路径为:对高层特征执行上采样操作后,与低层特征进行拼接融合,生成多组中间特征图;
26、所述自底向上的特征传递路径为:对低层特征执行下采样操作后,与高层特征进行拼接融合,生成多组最终融合特征图;
27、所述颈部特征融合网络的目标特征分支上独立增设深度可分离卷积增强模块,所述深度可分离卷积增强模块包含至少一层深度可分离卷积,
28、其中,经所述深度可分离卷积增强模块处理后的特征图,与原始特征图保持相同的空间分辨率。
29、在其中一个实施例中,所述目标检测模型集成有通道注意力模块,所述通道注意力模块的配置及执行步骤包括:
30、将所述通道注意力模块分别嵌入主干网络的多级特征输出层以及颈部特征融合网络的多级特征输出层;
31、对各层级输入特征图执行全局平均池化运算,以压缩特征图空间维度,得到各通道对应的统一维度特征;
32、通过两级级联卷积层对所述统一维度特征进行运算处理,拟合通道之间的非线性关联关系,生成对应各特征通道的权重向量;
33、基于所述各特征通道权重向量对所述原始输入特征图进行通道权重重标定,得到校正后的特征图。
34、在其中一个实施例中,所述采用调控后的目标检测模型,对所述待检测图像进行目标检测,得到目标检测结果,包括:
35、获取单通道灰度图像作为待检测图像;
36、将所述待检测图像输入调控完成的目标检测模型;
37、通过所述目标检测模型主干网络的目标瓶颈模块对所述待检测图像逐级完成多尺度特征提取,输出多层级特征图;
38、通过所述目标检测模型中的空间金字塔池化模块对主干网络最高层级特征图进行多尺度感受野特征聚合,得到全局增强特征图;
39、通过所述目标检测模型中的通道注意力模块对包含所述全局增强特征图在内的各层级特征图完成通道权重重标定,得到校正后的特征图;
40、通过所述目标检测模型中的颈部特征融合网络对所述校正后的特征图进行双向特征融合与特征增强处理,得到最终融合特征图;
41、通过所述目标检测模型中的检测头对所述最终融合特征图执行分类与边界框回归运算,输出对应的目标检测结果。
42、第二方面,本技术还提供了一种目标检测装置,包括:
43、确定模块,用于根据所述边缘设备的存储容积,确定与所述边缘设备适配的目标检测模型的模型参数量;
44、获取模块,用于基于所述模型参数量,获取用于调整所述目标检测模型的宽度调控参数和深度调控参数;
45、第一调控模块,用于基于所述宽度调控参数,调控所述目标检测模型中特征图的通道数量,其中,不同层级的特征图采用的宽度调控参数不同;
46、第二调控模块,用于基于所述深度调控参数,调控所述目标检测模型中特征模块的重复堆叠次数;
47、检测模块,用于采用调控后的目标检测模型,对待检测图像进行目标检测,得到目标检测结果。
48、第三方面,本技术还提供了一种电子设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时用于实现第一方面所述方法的步骤。
49、第四方面,本技术还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时用于实现第一方面所述方法的步骤。
50、第五方面,本技术还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时用于实现第一方面所述方法的步骤。
51、上述目标检测方法、装置、电子设备、计算机可读存储介质和计算机程序产品,根据所述边缘设备的存储容积,确定与所述边缘设备适配的目标检测模型的模型参数量,基于所述模型参数量,获取用于调整所述目标检测模型的宽度调控参数和深度调控参数,基于所述宽度调控参数,调控所述目标检测模型中特征图的通道数量,其中,不同层级的特征图采用的宽度调控参数不同,基于所述深度调控参数,调控所述目标检测模型中特征模块的重复堆叠次数,采用调控后的目标检测模型,对待检测图像进行目标检测,得到目标检测结果。由此,能够根据边缘设备存储容积动态确定模型参数量,确保模型能够完整加载至设备存储空间中,避免因模型过大导致加载失败或频繁的存储交换带来的性能损耗,实现目标检测模型参数量与设备硬件资源的适配,不同层级采用不同宽度缩放系数,浅层缩放系数大于深层缩放系数,使得浅层保持高分辨率特征提取能力,深层减少冗余计算。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com