图像是否去雾的检测方法、装置和智能设备与流程

1.本技术涉及图像处理技术领域，特别是涉及一种图像是否去雾的检测方法、装置和智能设备。


背景技术：

2.随着图像编辑技术的飞速发展，图像的原始性越来越难以依靠人眼辨认。例如，一副从现实世界中拍摄的有雾图像，经过去雾算法处理后，得到的去雾图像几乎和未经过去雾编辑操作的原始图像一致，仅仅依靠人眼通常无法辨认图像的原始性和真实性，即难以辨认哪个图是原始图像，哪个图是经过了图像去雾操作得到的。
3.图像去雾是一种图像后处理操作，目前在很多图像编辑软件或者app中都集成了图像去雾功能。用户能便利地将有雾图像通过去雾功能进行编辑，再将去雾操作之后的图像借助移动互联网等渠道发布到社交网络或者短视频网站等。尽管大多数情况下图像去雾能够使图像内容变得更加清晰，即改善了含雾图像的视觉质量，但去雾图像也可能被用于恶意目的，例如，一个场景是，某地由于污染严重引发雾霾天气，当拍摄当地的含雾图像后，若利用去雾软件/算法进行去雾处理，从而得到了去雾图像，进行网络发布作不真实的宣传，显然，这将有可能误导关注空气污染情况的社会公众，属于发布虚假信息的行为；另外一个场景是，在雾霾天气下的交通事故及交通红绿灯违章情况下，记录事实真相的图像，也有可能存在图像去雾操作而引起争议，不利于反应事实真相。针对上述需要原始图像的场景中，当前还没有针对图像是否进行了去雾操作进行检测的方法。因此，亟需要开发一种图像是否去雾的检测方法，以判断图像的原始性，即是否经过了图像去雾操作。


技术实现要素：

4.基于此，有必要针对上述技术问题，提供一种能够判断图像是否经过了图像去雾操作的图像是否去雾的检测方法、装置和智能设备。
5.第一方面，提供了一种图像是否去雾的检测方法，所述方法包括：
6.处理待检测图像，获取rgb流和iic流；
7.将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
8.根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
9.若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
10.若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
11.在其中一个实施例中，所述将所述rgb流和iic流输入图像分类深度学习模型进行特征融合包括：
12.根据输入的所述rgb流和iic流，通过图像分类网络分别提取rgb流的特征和iic流的特征；
13.将所述rgb流的特征和iic流的特征按照图像分类深度学习模型的当前融合权重
值进行特征融合，输出特征融合结果。
14.在其中一个实施例中，所述图像分类网络包括双流基石网络，所述双流基石网络包括efficinet
‑
b0、resnet和mobilenet
‑
v2的任意两种组合。
15.在其中一个实施例中，所述处理待检测图像，获取rgb流和iic流之前，所述方法还包括：
16.处理若干去雾图像，获取若干rgb流和iic流；
17.根据若干所述rgb流和iic流进行特征提取；
18.根据一个去雾图像的rgb流的特征和iic流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。
19.在其中一个实施例中，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。
20.在其中一个实施例中，当选择自适应特征融合方式时，在将所述rgb流和iic流输入图像分类深度学习模型进行特征融合之后，所述方法还包括：
21.根据所述rgb流的损失值和iic流的损失值，对应的更新所述当前融合权重值。
22.在其中一个实施例中，当选择自适应特征融合方式时，所述特征融合结果为：
[0023][0024][0025][0026]
其中,i、j为特征的宽度和高度，d为特征的通道数，ω
rgb
为rgb流的特征对应的融合权重值，ω
iic
为iic流的特征对应的融合权重值，是rgb流的特征，是iic流的特征，l
rgb
为rgb流的损失值，l
iic
为iic流的损失值。
[0027]
在其中一个实施例中，所述rgb流的损失值以rgb流做样本代入交叉熵损失函数获得；所述iic流的损失值以iic流做样本代入交叉熵损失函数获得，所述损失值l具体为：
[0028][0029]
其中，n为的是总的样本数量，y
t
表示样本t的标签，正确类为1，错误类为0，p
t
表示样本t预测正确类的概率。
[0030]
第二方面，提供了一种图像是否去雾的检测装置，所述装置包括：
[0031]
第一处理单元，用于处理待检测图像，获取rgb流和iic流；
[0032]
特征融合单元，用于将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0033]
检测判断单元，用于根据特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0034]
第三方面，提供了一种智能设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0035]
处理待检测图像，获取rgb流和iic流；
[0036]
将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0037]
根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
[0038]
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
[0039]
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0040]
第四方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0041]
处理待检测图像，获取rgb流和iic流；
[0042]
将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0043]
根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
[0044]
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
[0045]
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0046]
上述图像是否去雾的检测方法、装置和智能设备，通过处理待检测图像，获取rgb流和iic流；将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像，本发明能够快速、自动地判别一幅图像是否经历过图像去雾操作，在例如验证证据图像或验证是否未去雾的原始图像等场景下，可有效地检验图像是否被去雾操作，填补了图像去雾验证技术的空白。
附图说明
[0047]
图1为一个实施例中图像是否去雾的检测方法的流程示意图；
[0048]
图2为一个实施例中图像是否去雾的检测装置的结构框图；
[0049]
图3为一个实施例中智能设备的内部结构图。
具体实施方式
[0050]
为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
[0051]
在一个实施例中，如图1所示，提供了一种图像是否去雾的检测方法，以该方法应
用于智能设备为例进行说明，包括以下步骤：
[0052]
步骤s11，处理待检测图像，获取rgb流和iic流。
[0053]
在本发明实施例中，待检测图像是将要被检测是否经过去雾操作的图像rgb流为通过待检测图像获取的rgb图像，iic流为通过rgb图像获取的iic图像。智能设备接收到待检测图像并获得其对应的rgb图像样本，从rgb图像样本中提取反映待检测图像的光照一致性特征的iic图像样本。iic图像可反映因抑制图像内容，并突出去雾操作痕迹，该痕迹为反映损失光照一致性的异常颜色块。经过了去雾操作后的去雾图像，其在iic流与原始图像有较为明显的区别，去雾图像和原始图像表现在rgb图像上较为平滑的区域，而去雾图像上有一些异常的颜色块，这些异常的颜色快在原始图像中不存在，这表示了去雾图像在光照一致性上遭受了破坏，使图像呈现出此特征。
[0054]
步骤s12，将所述rgb流和iic流输入图像分类深度学习模型进行特征融合。
[0055]
在本发明实施例中，将所述rgb流和iic流输入图像分类深度学习模型进行特征融合具体包括：
[0056]
根据输入的所述rgb流和iic流，通过双流基石网络分别提取rgb流的特征和iic流的特征；
[0057]
将所述rgb流的特征和iic流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果。
[0058]
其中，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。所述双流基石网络为包括efficinet
‑
b0、resnet和mobilenet
‑
v2的任意两种组合，包括相同的两个或者不同的两个网络组合。将所述rgb流和iic流分别输入efficinet
‑
b0进行特征提取，获得rgb流的特征和iic流的特征，将所述rgb流的特征和iic流的特征按照当前融合权重值进行特征融合，输出特征融合结果。当前融合权重值为图像分类深度学习模型的当前融合权重值，当选择自适应特征融合方式时，每次检测后，都要根据本次检测图像对应的rgb流的损失值和iic流的损失值，对应的更新该当前融合权重值，从而使得检测结果更准确。这使得特征融合方式优于常见的最小特征融合方式、最大特征融合方式和级联特征融合方式。下表分别通过最大特征融合方式(maxfusion)、求和融合方式(sumfusion)、最小特征融合方式(minfusion)、级联特征融合方式(concatfusion)和自适应特征融合方式(oursfusion)进行特征融合的实验效果：
[0059][0060]
其中，自适应特征融合方式获得检测效果更准确。
[0061]
步骤s13，根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
[0062]
步骤s14，若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
[0063]
步骤s15，若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0064]
上述图像是否去雾的检测方法中，通过处理待检测图像，获取rgb流和iic 流；将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像，本发明能够快速、自动地判别一幅图像是否经历过图像去雾操作，在例如验证证据图像或验证是否未去雾的原始图像等场景下，可有效地检验图像是否被去雾操作，填补了图像去雾验证技术的空白。
[0065]
在本发明的另一个实施例中，提供了一种图像是否去雾的检测方法，以该方法应用于智能设备为例进行说明，包括以下步骤：
[0066]
需要说明的是，本实施例以特征融合方式为自适应特征融合方式时进行说明。
[0067]
步骤s21，处理若干去雾图像，获取若干学习rgb流和学习iic流；
[0068]
步骤s22，根据若干学习rgb流和学习iic流进行自适应特征提取；
[0069]
步骤s23，根据一个去雾图像的学习rgb流的特征和学习iic流的特征按照对应的当前融合权重值进行特征融合，根据一个去雾图像对应的学习爱rgb 流的损失值和学习iic流的损失值，对应的更新所述当前融合权重值，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。上述步骤通过机器学习建立了图像分类深度学习模型。
[0070]
完成图像分类深度学习模型之后就可以用于检测图像是否经过去雾操作，具体如下：
[0071]
步骤s24，处理待检测图像，获取检测rgb流和检测iic流；
[0072]
步骤s25，将所述检测rgb流和检测iic流输入图像分类深度学习模型进行自适应特征融合；
[0073]
步骤s26，根据所述rgb流的损失值和iic流的损失值，对应的更新所述当前融合权重值；
[0074]
在本发明实施例中，所述rgb流的损失值以rgb流做样本代入交叉熵损失函数获得；所述iic流的损失值以iic流做样本代入交叉熵损失函数获得，所述损失值l具体为：
[0075][0076]
其中，n为的是总的样本数量，y
t
表示样本t的标签，正确类为1，错误类为0，p
t
表示样本t预测正确类的概率。当rgb流的损失值越大时，其在特征融合中对应的融合权重值就越小；反之，则越大。同理，当iic流的损失值越大时，其在特征融合中对应的融合权重值就越小；反之，则越大。本步骤，对应的更新各自的当前融合权重值，使得图像分类深度学习模型后面的检测结果更加准确。
[0077]
步骤s27，根据获得特征融合结果，判断所述检测iic流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图
像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。其中，所述特征融合结果为：
[0078][0079][0080][0081]
其中,i、j为特征的宽度和高度，d为特征的通道数，ω
rgb
为rgb流的特征对应的融合权重值，ω
iic
为iic流的特征对应的融合权重值，是rgb流的特征，是iic流的特征，l
rgb
为rgb流的损失值，l
iic
为iic流的损失值，e是通用的符号，优选的，e＝2.71828。
[0082]
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
[0083]
在一个实施例中，如图2所示，提供了一种图像是否去雾的检测装置，包括：第一处理单元21、特征融合单元22和检测判断单元23，其中：
[0084]
第一处理单元21，用于处理待检测图像，获取rgb流和iic流；
[0085]
特征融合单元22，用于将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0086]
检测判断单元23，用于根据特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0087]
进一步地，所述特征融合单元22包括：
[0088]
特征提取子单元，用于根据输入的所述rgb流和iic流，通过图像分类网络分别提取rgb流的特征和iic流的特征；
[0089]
特征融合子单元，用于将所述rgb流的特征和iic流的特征按照图像分类深度学习模型的当前融合权重值进行特征融合，输出特征融合结果。
[0090]
进一步地，所述图像分类网络包括双流基石网络，所述双流基石网络包括 efficinet
‑
b0、resnet和mobilenet
‑
v2的任意两种组合。
[0091]
进一步地，所述装置还包括：
[0092]
第二处理单元，用于处理若干去雾图像，获取若干rgb流和iic流；
[0093]
学习提取单元，用于根据若干所述rgb流和iic流进行特征提取；
[0094]
学习融合单元，用于根据一个去雾图像的rgb流的特征和iic流的特征按照当前融合权重值进行特征融合，接着进行下一个去雾图像的特征融合，直至所有去雾图像全部融合完成，则获得图像分类深度学习模型。
[0095]
进一步地，所述特征融合包括求和融合方式、最小特征融合方式、最大特征融合方式、级联特征融合方式和自适应特征融合方式的任一项或者多项组合。
[0096]
进一步地，当选择自适应特征融合方式时，所述装置还包括：
[0097]
模式更新单元，用于根据所述rgb流的损失值和iic流的损失值，对应的更新所述当前融合权重值。
[0098]
进一步地，当选择自适应特征融合方式时，所述特征融合结果为：
[0099][0100][0101][0102]
其中,i、j为特征的宽度和高度，d为特征的通道数，ω
rgb
为rgb流的特征对应的融合权重值，ω
iic
为iic流的特征对应的融合权重值，是rgb流的特征，是iic流的特征，l
rgb
为rgb流的损失值，l
iic
为iic流的损失值，e是通用的符号，优选的，e＝2.71828。
[0103]
进一步地，所述rgb流的损失值以rgb流做样本代入交叉熵损失函数获得；所述iic流的损失值以iic流做样本代入交叉熵损失函数获得，所述损失值 l具体为：
[0104][0105]
其中，n为的是总的样本数量，y
t
表示样本t的标签，正确类为1，错误类为0，p
t
表示样本t预测正确类的概率。
[0106]
关于图像是否去雾的检测装置的具体限定可以参见上文中对于图像是否去雾的检测方法的限定，在此不再赘述。上述图像是否去雾的检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于智能设备中的处理器中，也可以以软件形式存储于智能设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0107]
在一个实施例中，提供了一种智能设备，该智能设备可以是服务器、计算机、ipad、平板、手机或其他智能设备，其内部结构图可以如图3所示。该智能设备包括通过系统总线连接的处理器和存储器。其中，该智能设备的处理器用于提供计算和控制能力。该智能设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环
境。该计算机程序被处理器执行时以实现一种图像是否去雾的检测方法。
[0108]
本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的智能设备的限定，具体的智能设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0109]
在一个实施例中，提供了一种智能设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
[0110]
处理待检测图像，获取rgb流和iic流；
[0111]
将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0112]
根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
[0113]
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
[0114]
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0115]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
[0116]
处理待检测图像，获取rgb流和iic流；
[0117]
将所述rgb流和iic流输入图像分类深度学习模型进行特征融合；
[0118]
根据获得特征融合结果，判断所述iic流中是否存在包含反映损失光照一致性的颜色块；
[0119]
若包含反映损失光照一致性的颜色块，则所述待检测图像为去雾图像；
[0120]
若不包含反映损失光照一致性的颜色块，则所述待检测图像为原始图像。
[0121]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram (esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
[0122]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0123]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。