一种残膜回收机防缠绕挑膜装置的制 一种秧草收获机用电力驱动行走机构

图像去雾方法及系统与流程

2022-02-25 21:59:54 来源:中国专利 TAG:
1.本发明涉及图像处理
技术领域
:,尤其是涉及一种图像去雾方法及系统。
背景技术
::2.雾霾环境对图像/视频质量有较大影响,通过对图像/视频进行去雾处理可以增加图像/视频的可见度,从而提升图像/视频质量。目前,相关技术中提出基于软件算法的图像去雾方案和基于硬件的图像去雾方案。其中,基于软件算法的图像去雾方案多采用基于暗通道先验基础原理,该方案虽然可以达到较好地去雾效果,但是其运算过程较为复杂,导致该方案的执行主体的运行负担较大;基于硬件的图像去雾方案则需要耗费大量硬件资源,导致图像去雾的成本较大。技术实现要素:3.有鉴于此,本发明的目的在于提供一种图像去雾方法及系统,不仅可以简化图像去雾运算过程的复杂度,还可以充分发挥硬件资源的计算优势,达到较好的去雾效果。4.第一方面,本发明实施例提供了一种图像去雾方法,所述方法应用于图像去雾系统包括图像处理芯片和数据处理器,所述数据处理器配置有图像去雾算法,所述方法包括:通过所述图像处理芯片读取待处理图像对应的前一帧图像,并生成所述前一帧图像对应的灰度图像和暗通道图像;通过所述数据处理器基于所述图像去雾算法、所述灰度图像和所述暗通道图像计算第一去雾参数;通过所述图像处理芯片读取所述第一去雾参数和所述待处理图像,并根据所述第一去雾参数对所述待处理图像进行去雾处理得到目标图像。5.在一种实施方式中,所述生成所述前一帧图像对应的灰度图像和暗通道图像的步骤,还包括:启动第一线程对所述前一帧图像进行第一下采样处理得到第一下采样图像,并将所述第一下采样图像转换为灰度图像;以及,启动第二线程对所述前一帧图像进行第二下采样处理得到第二下采样图像,并基于所述第二下采样图像计算暗通道图像。6.在一种实施方式中,所述图像去雾系统还包括缓存单元;所述方法还包括:通过所述图像处理芯片将所述灰度图像和所述暗通道图像存储至所述缓存单元。7.在一种实施方式中,所述基于所述图像去雾算法、所述灰度图像和所述暗通道图像计算第一去雾参数的步骤,包括:从所述缓存单元处读取所述灰度图像和所述暗通道图像;基于所述图像去雾算法和所述灰度图像计算灰度映射值,以及基于所述图像去雾算法和所述暗通道图像计算暗通道映射值;其中,所述第一去雾参数包括灰度映射值和暗通道映射值。8.在一种实施方式中,所述方法还包括:通过所述数据处理器将所述第一去雾参数存储至所述缓存单元;所述通过所述图像处理芯片读取所述第一去雾参数的步骤,包括:通过所述图像处理芯片从所述缓存单元中读取所述第一去雾参数。9.在一种实施方式中,所述根据所述第一去雾参数对所述待处理图像进行去雾处理得到目标图像的步骤,包括:根据所述第一去雾参数计算所述待处理图像中每个像素点对应的第二去雾参数;根据每个所述像素点对应的第二去雾参数对所述待处理图像进行去雾处理得到目标图像。10.在一种实施方式中,所述根据所述第一去雾参数计算所述待处理图像中每个像素点对应的第二去雾参数的步骤,包括:对所述第一去雾参数进行上采样处理,确定所述待处理图像中每个像素点对应的第一去雾参数;根据每个所述像素点对应的第一去雾参数查找每个所述像素点对应的第二去雾参数。11.在一种实施方式中,所述根据每个所述像素点对应的第二去雾参数对所述待处理图像进行去雾处理得到目标图像的步骤,包括:获取所述待处理图像对应的雾强度参数;基于所述雾强度参数和每个所述像素点对应的第二去雾参数,对所述待处理图像进行去雾处理得到目标图像。12.在一种实施方式中,在根据每个所述像素点对应的第一去雾参数查找每个所述像素点对应的第二去雾参数之前,所述方法还包括:对所述待处理图像和所述第一去雾参数进行对齐处理。13.第二方面,本发明实施例还提供一种图像去雾系统,包括图像处理芯片和数据处理器,所述数据处理器配置有图像去雾算法;其中,所述图像处理芯片用于读取待处理图像对应的前一帧图像,并生成所述前一帧图像对应的灰度图像和暗通道图像;所述数据处理器用于基于所述图像去雾算法、所述灰度图像和所述暗通道图像计算第一去雾参数;所述图像处理芯片还用于读取所述第一去雾参数和所述待处理图像,并根据所述第一去雾参数对所述待处理图像进行去雾处理得到目标图像。14.本发明实施例提供的一种图像去雾方法及系统,应用于图像去雾系统包括图像处理芯片和数据处理器,数据处理器配置有图像去雾算法,首先通过图像处理芯片读取待处理图像对应的前一帧图像,并生成前一帧图像对应的灰度图像和暗通道图像,然后通过数据处理器基于图像去雾算法、灰度图像和暗通道图像计算第一去雾参数,最后通过图像处理芯片读取第一去雾参数和待处理图像,并根据第一去雾参数对待处理图像进行去雾处理得到目标图像。上述方法提出一种硬件与软件结合实现图像去雾,利用数据处理器配置的图像去雾算法计算第一去雾参数,再利用图像处理芯片发挥硬件优势基于该第一去雾参数对待处理图像进行去雾处理,可以得到去雾效果更佳的目标图像,本发明实施例能够使用较少的硬件资源实现图像去雾,同时简化图像去雾运算过程的复杂度,并达到较好的去雾效果。15.本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。16.为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。附图说明17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。18.图1为本发明实施例提供的一种图像去雾方法的流程示意图;19.图2为本发明实施例提供的一种图像去雾框架;20.图3为本发明实施例提供的另一种图像去雾方法的流程示意图;21.图4为本发明实施例提供的一种图像去雾系统的结构示意图。具体实施方式22.为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合实施例对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。23.目前,基于软件算法的图像去雾方案存在运算过程较为复杂的问题,而基于硬件的图像去雾方案存在图像去雾成本较大的问题,基于此,本发明实施提供了一种图像去雾方法及系统,不仅可以简化图像去雾运算过程的复杂度,还可以充分发挥硬件资源的计算优势,达到较好的去雾效果。24.为便于对本实施例进行理解,首先对本发明实施例所公开的一种图像去雾方法进行详细介绍,方法应用于图像去雾系统包括图像处理芯片和数据处理器,图像处理芯片可以简称硬件侧,数据处理器(cpu,centralprocessinguni)可以简称软件侧,数据处理器配置有图像去雾算法,参见图1所示的一种图像去雾方法的流程示意图,该方法主要包括以下步骤s102至步骤s106:25.步骤s102,通过图像处理芯片读取待处理图像对应的前一帧图像,并生成前一帧图像对应的灰度图像和暗通道图像。可选的,可以将在雾霾环境下采集的视频作为待处理视频,并将该视频中的每帧图像均作为待处理图像。其中,灰度图像用于表征前一帧图像的灰度信息,暗通道图像用于表征前一帧图像的雾浓度信息。在一种实施方式中,硬件侧可以对前一帧图像进行两路下采样处理后分别得到灰度图像和暗通道图像,从而可以降低后级缓存整体读写的数据量。26.步骤s104,通过数据处理器基于图像去雾算法、灰度图像和暗通道图像计算第一去雾参数。其中,第一去雾参数也即map映射结果,可以包括灰度映射值和暗通道映射值。在一种实施方式中,软件侧可以利用图像去雾算法分别对灰度图像和暗通道图像进行迭代运算,以计算得到灰度映射值和暗通道映射值。27.步骤s106,通过图像处理芯片读取第一去雾参数和待处理图像,并根据第一去雾参数对待处理图像进行去雾处理得到目标图像。在一种实施方式中,硬件侧可以对灰度映射值和暗通道映射值进行两路上采样处理,以将灰度映射值和暗通道映射值恢复至与待处理图像大小一致的尺寸,以保证图像精度,然后利用上采样处理后的灰度映射值和暗通道映射值计算第二去雾参数(也即,去雾系数),最后根据该第二去雾参数对待处理图像进行去雾处理。28.本发明实施例提供的上述图像去雾方法,提出一种硬件与软件结合实现图像去雾,利用数据处理器配置的图像去雾算法计算第一去雾参数,再利用图像处理芯片发挥硬件优势基于该第一去雾参数对待处理图像进行去雾处理,可以得到去雾效果更佳的目标图像,本发明实施例能够使用较少的硬件资源实现图像去雾,同时简化图像去雾运算过程的复杂度,并达到较好的去雾效果。29.对于前述步骤s102,本发明实施例提供了一种生成前一帧图像对应的灰度图像和暗通道图像的实施方式,(1)启动第一线程对前一帧图像进行第一下采样处理得到第一下采样图像,并将第一下采样图像转换为灰度图像;(2)启动第二线程对前一帧图像进行第二下采样处理得到第二下采样图像,并基于第二下采样图像计算暗通道图像。其中,下采样处理可以采用窗口滤波。在一种实施方式中,可以预先配置采样系数,诸如以4*4的窗口进行滤波,从而得到下采样图像,然后通过诸如平均法、最大最小平均法、加权平均法、二值图像法等将第一下采样图像转换为灰度图像,以及从第二下采样图像中提取暗通道信息并生成暗通道图像。30.在实际应用中,图像去雾系统还包括缓存单元,缓存单元可以采用memory缓存,图像处理芯片可以实时将灰度图像和暗通道图像存储至缓存单元,同时软件侧与缓存单元交互,读取上述灰度图像和暗通道图像。31.基于此,本发明实施例提供了一种基于图像去雾算法、灰度图像和暗通道图像计算第一去雾参数的实施方式,可以从缓存单元处读取灰度图像和暗通道图像,然后基于图像去雾算法和灰度图像计算灰度映射值,以及基于图像去雾算法和暗通道图像计算暗通道映射值。其中,图像去雾算法可以采用guidedfilter算法(引导滤波算法)。在一种实施方式中,软件侧可以利用图像去雾算法分别对灰度图像和暗通道图像进行迭代运算,从而得到上述灰度映射值和暗通道映射值。32.在具体实现时,软件侧可以将第一去雾参数存储至缓存单元,可选的,可以将灰度映射值和暗通道映射值存储到memory缓存的固定位置中,等待硬件侧从该固定位置处读取灰度映射值和暗通道映射值。硬件侧在读取待处理图像时即可从缓存单元中读取第一去雾参数。33.对于前述步骤s106,本发明实施例提供了一种根据第一去雾参数对待处理图像进行去雾处理得到目标图像的实施方式,参见如下步骤1至步骤2:34.步骤1,根据第一去雾参数计算待处理图像中每个像素点对应的第二去雾参数。在一种实施方式中,可以按照如下步骤1.1至步骤1.3确定每个像素点对应的第二去雾参数:35.步骤1.1,对第一去雾参数进行上采样处理,确定待处理图像中每个像素点对应的第一去雾参数。在一种实施方式中,可以设置上采样参数,从而按照该上采样参数分别对灰度映射值和暗通道映射值进行上采样处理,以使灰度映射值和暗通道映射值均恢复至待处理图像的大小。36.步骤1.2,对待处理图像和第一去雾参数进行对齐处理。考虑到实际应用中可能存在延迟引起的不对齐偏差,因此对待处理图像和第一去雾参数进行对齐处理,以消除不对齐偏差。可选的,可以基于像素点分析对待处理图像和第一去雾参数进行对齐处理。37.步骤1.3,根据每个像素点对应的第一去雾参数查找每个像素点对应的第二去雾参数。在一种实施方式中,每个像素点均对应有灰度映射值和暗通道映射值,通过查表法查找与灰度映射值和暗通道映射值对应的第二去雾参数。其中,查表法可以采用lut(look-up-table,计算机用语-显示查找表)查表。38.步骤2,根据每个像素点对应的第二去雾参数对待处理图像进行去雾处理得到目标图像。在一种实施方式中,可以按照如下步骤2.1至步骤2.2对待处理图像进行去雾处理得到目标图像:39.步骤2.1,获取待处理图像对应的雾强度参数。在一种实施方式中,可以预先设置雾强度参数。40.步骤2.2,基于雾强度参数和每个像素点对应的第二去雾参数,对待处理图像进行去雾处理得到目标图像。在一种实施方式中,可以将待处理图像与雾强度参数相减得到差值,再将该差值与第二去雾参数相乘得到乘积,再将该乘积与雾强度参数求和得到和值,即可得到目标图像。41.为便于对上述实施例提供的图像去雾方法进行理解,本发明实施例还提供了一种图像去雾方法的应用示例,参见图2所示的一种图像去雾框架,包括:(1)图像下采样部分:用于得到前一帧图像的灰度图像和暗通道图像;(2)图像缓存部分:用于存储前一帧图像的灰度图像和暗通道图像;(3)软件计算部分:用于进行map映射结果的计算;(4)图像上采样部分:用于将map映射结果恢复到与原图对应大小的映射值;(5)缓存对齐部分:用于消除待处理图像与系数不对齐;(6)系数计算部分:用于进行流水处理;(7)去雾处理部分:用于进行去雾处理得到去雾后图像(也即,上述目标图像)。42.基于上述图2,本发明实施例提供了如图3所示的另一种图像去雾方法的流程示意图,该方法主要包括以下步骤s302至步骤s314:43.步骤s302,硬件侧对去雾前的前一帧图像picture进行两路下采样后分别得到灰度图像picture0和暗通道图像picture1。本发明实施例通过对前一帧图像picture进行下采样处理,可以显著降低后级缓存整体读写的数据量。44.步骤s304,硬件侧将灰度图像picture0和暗通道图像picture1实时存入memory缓存中,软件侧从memory缓存中读取灰度图像picture0和暗通道图像picture1。45.步骤s306,软件侧针对灰度图像picture0和暗通道图像picture1进行参数运算得到两路map映射结果,并将map映射结果存储到memory缓存的固定位置,等待硬件侧读取map映射结果。其中,参数运算主要包括迭代运算,map映射结果包括灰度映射值a[i]和暗通道映射值b[i]。[0046]步骤s308,硬件侧在下一帧从memory缓存中读取灰度映射值a[i]和暗通道映射值b[i],并分别对灰度映射值a[i]和暗通道映射值b[i]进行上采样处理,得到下一帧图像pic[i-1]对应的灰度映射值a[i-1]和暗通道映射值b[i-1]。通过对灰度映射值a[i]和暗通道映射值b[i]进行上采样处理,可以使其恢复成与原图像大小一致的尺寸,从而提高了图像去雾精度。[0047]步骤s310,硬件侧通过cache缓存待处理图像、灰度映射值a[i-1]和暗通道映射值b[i-1],并对待处理图像、灰度映射值a[i-1]和暗通道映射值b[i-1]进行对齐处理。通过对齐处理可以消除延迟引起的不对齐偏差。[0048]步骤s312,硬件侧利用硬件流水线操作方式,实时计算待处理图像的去雾系数1/t(x)。其中,去雾系数也即前述第二去雾参数。在一种实施方式中,1/t(x)=gray*a[i-1] b[i-1],gray表示灰度值,考虑到在硬件中进行运算比较浪费资源,因此通过lut查表方式确定去雾系数1/t(x)。[0049]步骤s314,硬件侧利用去雾系数对待处理图像进行去雾处理得到目标图像。在一种实施方式中可以按照如下公式进行去雾处理:[0050][0051]其中,j(x)表示目标图像,i(x)表示待处理图像,a表示雾强度参数。[0052]综上所述,本发明实施例提出的硬件实现图像去雾架构,通过硬件与软件相结合的图像去雾参数计算方式对待处理图像进行去雾处理,可以在实现复杂的迭代运算同时,充分发挥硬件并行计算优势,流水线处理图像/视频的去雾处理,并取得了较好的去雾效果。[0053]对于前述实施例提供的图像去雾方法,本发明实施例提供了一种图像去雾系统,参见图4所示的一种图像去雾系统的结构示意图,该系统包括:图像处理芯片100和数据处理器200,数据处理器200配置有图像去雾算法。[0054]图像处理芯片100用于读取待处理图像对应的前一帧图像,并生成前一帧图像对应的灰度图像和暗通道图像;[0055]数据处理器200用于基于图像去雾算法、灰度图像和暗通道图像计算第一去雾参数;[0056]图像处理芯片100还用于读取第一去雾参数和待处理图像,并根据第一去雾参数对待处理图像进行去雾处理得到目标图像。[0057]本发明实施例提供的上述图像去雾系统,提出一种硬件与软件结合实现图像去雾,利用数据处理器配置的图像去雾算法计算第一去雾参数,再利用图像处理芯片发挥硬件优势基于该第一去雾参数对待处理图像进行去雾处理,可以得到去雾效果更佳的目标图像,本发明实施例能够使用较少的硬件资源实现图像去雾,同时简化图像去雾运算过程的复杂度,并达到较好的去雾效果。[0058]在一种实施方式中,图像处理芯片100还用于:启动第一线程对前一帧图像进行第一下采样处理得到第一下采样图像,并将第一下采样图像转换为灰度图像;以及,启动第二线程对前一帧图像进行第二下采样处理得到第二下采样图像,并基于第二下采样图像计算暗通道图像。[0059]在一种实施方式中,图像去雾系统还包括缓存单元;图像处理芯片100还用于:将灰度图像和暗通道图像存储至缓存单元。[0060]在一种实施方式中,数据处理器200还用于:从缓存单元处读取灰度图像和暗通道图像;基于图像去雾算法和灰度图像计算灰度映射值,以及基于图像去雾算法和暗通道图像计算暗通道映射值;其中,第一去雾参数包括灰度映射值和暗通道映射值。[0061]在一种实施方式中,数据处理器200还用于:将第一去雾参数存储至缓存单元;图像处理芯片100还用于:从缓存单元中读取第一去雾参数。[0062]在一种实施方式中,图像处理芯片100还用于:根据第一去雾参数计算待处理图像中每个像素点对应的第二去雾参数;根据每个像素点对应的第二去雾参数对待处理图像进行去雾处理得到目标图像。[0063]在一种实施方式中,图像处理芯片100还用于:对第一去雾参数进行上采样处理,确定待处理图像中每个像素点对应的第一去雾参数;根据每个像素点对应的第一去雾参数查找每个像素点对应的第二去雾参数。[0064]在一种实施方式中,图像处理芯片100还用于:获取待处理图像对应的雾强度参数;基于雾强度参数和每个像素点对应的第二去雾参数,对待处理图像进行去雾处理得到目标图像。[0065]在一种实施方式中,图像处理芯片100还用于:对待处理图像和第一去雾参数进行对齐处理。[0066]本发明实施例所提供的系统,其实现原理及产生的技术效果和前述方法实施例相同,为简要描述,系统实施例部分未提及之处,可参考前述方法实施例中相应内容。[0067]本发明实施例提供了一种电子设备,具体的,该电子设备包括处理器和存储装置;存储装置上存储有计算机程序,计算机程序在被所述处理器运行时执行如上所述实施方式的任一项所述的方法。[0068]最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本
技术领域
:的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。当前第1页12当前第1页12
再多了解一些

本文用于企业家、创业者技术爱好者查询,结果仅供参考。

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表

相关文献