一种边缘终端低资源图像识别模型轻量化优化方法
本发明涉及图像数据处理,具体为一种边缘终端低资源图像识别模型轻量化优化方法。
背景技术:
1、边缘终端设备在运行图像识别模型时,通常需要处理高分辨率图像所产生的大规模像素矩阵,这对设备的计算能力和存储空间提出了严苛要求。为适配资源受限的边缘环境,常见的处理思路是对图像进行降采样或均匀压缩,以减小输入数据体量。
2、现有的降采样方式多采用固定比例的缩放或均匀网格划分,将原始图像压缩至统一的低分辨率尺度。这类方案忽略图像内容本身的差异性,对纹理丰富区域与平坦背景区域施加相同的压缩强度,导致关键视觉特征被无差别舍弃。同时,均匀压缩策略无法根据边缘终端实际可用的计算资源进行动态调整,当设备剩余算力波动时,仍需按照预设的固定压缩率执行,容易在资源充裕时造成信息浪费,在资源紧张时引发模型识别精度骤降。
3、另一种方式利用特征提取网络直接对高分辨率图像进行初步处理,但这类网络本身会消耗大量乘法运算和内存带宽,难以部署在低资源终端上。还有一些方案通过轻量化模型结构设计来降低运算量,但模型结构的修改通常需要重新训练,且无法与前端图像数据的自适应性压缩形成联动。
4、边缘终端图像识别任务中,如何在保留空间结构信息的同时,依据当前可用资源实时决定非均匀采样策略,并将采样后的稀疏像素点以带位置编码的形式送入识别模型,是需要解决的问题。
技术实现思路
1、本发明提供一种边缘终端低资源图像识别模型轻量化优化方法,目的在于解决现有图像压缩策略无法根据边缘终端实时可用资源动态调整压缩粒度,以及均匀压缩丢失空间位置信息导致识别精度下降的问题,实现资源自适应的非均匀像素采样与空间位置感知的轻量化描述,在低资源条件下维持图像识别效率。
2、为了实现上述目的,本发明提供如下技术方案:本发明提供了一种边缘终端低资源图像识别模型轻量化优化方法,在获取边缘终端的可用计算资源量和待识别图像的初始像素矩阵后,根据可用计算资源量确定像素分割尺度,并基于该像素分割尺度将初始像素矩阵划分为多个像素块。提取每个像素块内所有像素点的颜色通道值并计算通道均值向量,通过计算相邻像素块之间的向量差反映图像局部区域的纹理变化强度。以向量差和可用计算资源量为依据生成动态采样模板,利用该动态采样模板对初始像素矩阵进行非均匀像素采样,保留高纹理变化区域的像素点而压缩低纹理变化区域的像素点,得到压缩像素矩阵。对压缩像素矩阵进行空间位置编码,将保留像素点的颜色通道值与归一化后的空间坐标拼接,生成轻量化图像描述子,并以此作为边缘终端图像识别模型的输入数据。该方法在维持图像识别关键特征的同时,显著降低了输入数据量,使得图像识别模型能够在资源受限的边缘终端上高效运行。
3、作为本发明的一个技术方案,根据可用计算资源量确定像素分割尺度时,读取初始像素矩阵的总像素行数和总像素列数,将可用计算资源量映射为基准分割基数,分别将总像素行数和总像素列数除以基准分割基数并向上取整,得到行分割数量和列分割数量,以此构成像素分割尺度。以行分割数量作为行跨距、列分割数量作为列跨距,在初始像素矩阵的纵向和横向依次划分出行像素区间和列像素区间,交叉组合形成多个像素块,并将边缘处不足跨距的剩余像素并入相邻像素块,从而确保图像信息的完整覆盖。
4、在该技术方案中,对每个像素块分别提取红色通道值、绿色通道值和蓝色通道值,求取各通道的平均值构建通道均值向量。以当前像素块为中心,确定上、下、左、右四个方向的相邻像素块,分别计算通道均值向量之间的欧氏距离,并经预设的方向权重系数加权后求和,得到当前像素块的总向量差。方向权重系数优选的与当前像素块到图像中心点的方向距离成反比设置,使得对图像中心区域的结构变化更为敏感。遍历所有像素块后,将各像素块按总向量差从大到小排序,根据可用计算资源量计算采样比例系数,将序列中前n个像素块标记为高保留像素块、其余标记为低保留像素块,并以不同的模板值构建与初始像素矩阵尺寸匹配的动态采样模板。
5、在进行非均匀像素采样时,将动态采样模板与初始像素矩阵逐元素对应,对模板值为第一数值的位置保留该像素点的全部颜色通道值,对模板值为第二数值的位置以空值替换颜色通道值,之后删除所有空值位置并保留有效像素点,按原空间顺序重新排列为压缩像素矩阵。由此实现的非均匀压缩去除了大量低信息量像素,直接降低了后续模型处理的浮点运算规模。
6、对压缩像素矩阵进行空间位置编码时,获取每个保留像素点在原初始像素矩阵中的原始行坐标和原始列坐标,分别除以总行数和总列数得到行归一化坐标和列归一化坐标,构成二维空间编码。作为一个优选的拼接方式,将二维空间编码作为前缀附加在每个保留像素点的颜色通道值之前,生成轻量化图像描述子。该描述子既保留了像素的原始颜色信息,又嵌入了其在全局图像中的精确空间关系,使得轻量化输入不会因为像素非均匀采样而损失结构理解能力,保障了图像识别模型在低资源条件下的识别精度。
7、在上述技术方案中,本发明提供的技术效果和优点:
8、根据可用计算资源量确定像素分割尺度,将资源量映射为基准分割基数并据此划分像素块,使得图像分割粒度与终端当前算力直接关联。当可用资源较少时,分割尺度增大、像素块总数减少,后续采样模板的粒度随之变粗,整体计算量下降;当可用资源充足时,分割尺度细化,能够保留更多图像细节。基于像素块通道均值向量计算相邻像素块的向量差,并根据向量差大小将所有像素块排序,结合由可用计算资源量得到的采样比例系数,将排序靠前的像素块标记为高保留像素块、其余标记为低保留像素块,生成与初始像素矩阵尺寸匹配的动态采样模板。该模板在纹理突变剧烈的区域分配高保留采样密度,在平滑区域降低采样密度,形成非均匀采样布局。由此,在任意资源状态下,压缩像素矩阵均能优先保留视觉显著区域的信息,抑制背景平坦区域的冗余像素,避免固定压缩率引发的关键特征丢失或资源利用不充分。
9、将非均匀采样后得到的压缩像素矩阵与原像素矩阵的空间位置建立显式关联,提取每个保留像素点的原始行坐标和列坐标,分别除以总行数和总列数获得归一化二维空间编码,再将归一化坐标与对应像素点的颜色通道值拼接,形成轻量化图像描述子。该描述子直接替代原始像素矩阵作为识别模型的输入,使得模型无需依赖密集的网格结构即可获知每个像素在画面中的相对位置,稀疏采样带来的空间拓扑信息损失被归一化编码补足。识别模型输入数据规模大幅缩减,矩阵乘法运算次数和中间特征图内存占用同步降低,且模型原有的训练参数和推理结构无需修改,直接兼容轻量化描述子格式。
1.一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,所述方法包括:
2.根据权利要求1所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,根据所述可用计算资源量确定所述初始像素矩阵的像素分割尺度,具体包括:
3.根据权利要求2所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,基于所述像素分割尺度将所述初始像素矩阵划分为多个像素块,具体包括:
4.根据权利要求1所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,提取每个像素块内所有像素点的颜色通道值,计算每个像素块的通道均值向量,具体包括:
5.根据权利要求4所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,根据每个像素块的通道均值向量计算相邻像素块之间的向量差,具体包括:
6.根据权利要求5所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,基于所述向量差和所述可用计算资源量生成动态采样模板,具体包括:
7.根据权利要求6所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,通过所述动态采样模板对所述初始像素矩阵进行非均匀像素采样,得到压缩像素矩阵,具体包括:
8.根据权利要求7所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,对所述压缩像素矩阵进行空间位置编码,生成轻量化图像描述子,具体包括:
9.根据权利要求5所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,所述方向权重系数分别与当前像素块到图像中心点的方向距离成反比设置。
10.根据权利要求8所述的一种边缘终端低资源图像识别模型轻量化优化方法,其特征在于,将所有保留像素点的颜色通道值与各自的二维空间编码进行拼接时,将所述二维空间编码作为前缀附加在每个保留像素点的颜色通道值之前。
版权声明:本站专利文献数据主要来源于国家知识产权局等公开渠道,由 技术新讯 进行整理汇编。页面设计及数据汇编的著作权归本站所有。全部内容仅供个人学习、科研评估与技术交流参考,严禁用于任何商业用途(包括但不限于直接生产制造、技术转让、倒卖数据等)。
免责条款:专利技术具有时效性,本站不对资料的绝对准确性、完整性和可实施性提供任何明示或暗示的担保。因参考本站内容造成的直接或间接损失,本站不承担相关法律责任。若您认为本站内容有侵权问题,请及时提供权属证明与我们联系,本站将在核实后依法处理。反馈意见:yyfuon@163.com