基于直方图灰度特征对的图像显著性检测方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种基于直方图灰度特征对的图像显著性检测方法及装置。


背景技术：

2.如何快速高效地检测出图像中的显著性区域，研究成果将对银行中的账单自动化处理，人脸检测，目标跟踪与识别，非显著区域植入logo等有很大的价值，检测出图像中的显著区域，能够有效地对图像或者视频做预处理。
3.图像的显著性检测可以分为自上而下的学习模型，以及自下而上的特征搜索模型。在自上而下的学习模型中，通过获得对图像显著区域的定义的先验知识，训练模型，然后检测图像中的显著区域，该方法有很强的主观性，并且训练模型的时间比较长。在自下而上的特征搜索模型中，通过提取图像中的底层特征，根据显著性区域的定义，满足定义的底层特征对应的图像区域即为图像中的显著区域。在自下而上的模型中，一般分为局部的以及全局的计算方法，局部的方法中有将图像分割成块，对分割得到的块计算显著性，显著性的准确率与块的大小很有关系，也有对图像应用滑动窗口，计算每个窗口区域的特征和其它窗口区域的特征的对比度，对比度大的一般为图像的显著区域的可能性比较大，还有对图像先进行自适应的分割，对分割的块统计直方图的特征，从而根据分割块的直方图特征计算图像的显著性等。
4.综上所述，现有的图像显著性检测方法存在准确度不高的问题。


技术实现要素：

5.本发明实施例提出一种基于直方图灰度特征对的图像显著性检测方法，用以实现图像的显著性检测，准确度高，该方法包括：
6.生成原始图像的四个对抗色通道图像；
7.对原始图像进行去噪处理，得到去噪后的灰度图像；
8.生成每个对抗色通道图像的特征图；
9.组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图；
10.对显著度图进行分割，得到原始图像中的显著物体。
11.本发明实施例提出一种基于直方图灰度特征对的图像显著性检测装置，用以实现图像的显著性检测，准确度高，该装置包括：
12.图像预处理模块，用于生成原始图像的四个对抗色通道图像；
13.去噪处理模块，用于对原始图像进行去噪处理，得到去噪后的灰度图像；
14.特征图生成模块，用于生成每个对抗色通道图像的特征图；
15.显著度图获得模块，用于组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图；
16.显著物体获得模块，用于对显著度图进行分割，得到原始图像中的显著物体。
17.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于直方图灰度特征对的图像显著性检测方法。
18.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于直方图灰度特征对的图像显著性检测方法。
19.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于直方图灰度特征对的图像显著性检测方法。
20.在本发明实施例中，生成原始图像的四个对抗色通道图像；对原始图像进行去噪处理，得到去噪后的灰度图像；生成每个对抗色通道图像的特征图；组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图；对显著度图进行分割，得到原始图像中的显著物体。在上述过程中，生成了灰度图像和四个对抗色通道图像，通过去噪、获得特征图，进而组合得到显著图，可显著提高显著物体检测的效果。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
22.图1为本发明实施例中基于直方图灰度特征对的图像显著性检测方法的流程图；
23.图2为本发明实施例中相邻八像素的示意图；
24.图3为本发明实施例中从二维灰度直方图中找到bin中灰度特征对个数最大值的迭代循环算法示意图；
25.图4为本发明实施例中本发明实施例提出的方法得到的显著度图与其他方法得到的显著度图的对比；
26.图5为不同方法得到的显著物体检测准确率p、召回率q结果示意图；
27.图6为本发明实施例中采用自适应阈值分割显著度图获得的显著性检测的结果示意图；
28.图7为本发明实施例中基于直方图灰度特征对的图像显著性检测装置的示意图；
29.图8为本发明实施例中计算机设备的示意图。
具体实施方式
30.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
31.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
32.首先，对本发明实施例中涉及到的术语进行解释。
33.图像显著性：图像显著性与计算机视觉结合，同时又以生物神经学和心理学为支撑，有研究结果的不确定性和相对主观性，在视觉显著性分析中将生物视觉机制和机器视觉融合，那些明显突出于平均值能吸引人眼注意的区域是显著区域。
34.对抗色：颜色对抗色通道能够保留图像中灰度值比较大的区域，而这些区域对应在原始图像中，很容易吸引人眼注意。
35.图像去噪：是指减少数字图像中噪声的过程。
36.图1为本发明实施例中基于直方图灰度特征对的图像显著性检测方法的流程图，如图1所示，包括：
37.步骤101，生成原始图像的四个对抗色通道图像；
38.步骤102，对原始图像进行去噪处理，得到去噪后的灰度图像；
39.步骤103，生成每个对抗色通道图像的特征图；
40.步骤104，组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图；
41.步骤105，对显著度图进行分割，得到原始图像中的显著物体。
42.在步骤101中，生成原始图像的四个对抗色通道图像。
43.原始图像可以是账单，视频截图图像等任意图像。
44.在一实施例中，生成原始图像的四个对抗色通道，包括：
45.获得原始图像的r、g、b灰度值；
46.根据原始图像的r、g、b灰度值，生成四个对抗色通道图像。
47.在上述实施例中，四个对抗色通道图像可表示为：
[0048][0049][0050][0051][0052]
其中，为四个对抗色通道图像。
[0053]
在步骤102中，对原始图像进行去噪处理，得到去噪后的灰度图像。
[0054]
在一实施例中，对原始图像进行去噪处理，得到去噪后的灰度图像，包括：
[0055]
对原始图像的灰度图像低通高斯滤波操作，得到去噪后的灰度图像。
[0056]
其中，低通高斯滤波能够模拟人眼视觉感知，消除灰度图像中的噪声区域，保留灰度图像中的显著区域，公式如下：
[0057]
i1＝i
×gδ1(i)[0058]
i2＝i1‑×gδ2(i)[0059]
i3＝i
2-0.02
×gδ2
(i2)
[0060]
其中，g
δ1
(i)表示对灰度图像i经过低通高斯平滑后的图像，g
δ2
(i)表示对灰度图像i经过高斯平滑操作。以上操作重复三次，可得到较好去噪效果的灰度图像。
[0061]
在步骤103中，生成每个对抗色通道图像的特征图。
[0062]
在一实施例中，生成每个对抗色通道图像的特征图，包括：
[0063]
计算每个对抗色通道图像中每个像素与该像素相邻八像素的灰度特征对，获得每个对抗色通道图像的多组灰度特征对，构建每个对抗色通道图像的二维灰度直方图；
[0064]
根据每个对抗色通道图像的二维灰度直方图，计算中每个对抗色通道图像中每组灰度特征对的权重；
[0065]
根据每个对抗色通道图像中多组灰度特征对的权重和二维灰度直方图，生成每个对抗色通道的特征图。
[0066]
在一实施例中，该像素相邻八像素包括在该像素[0
°
,45
°
,90
°
,135
°
,180
°
,225
°
,315
°
，360
°
]方向上的像素。图2为本发明实施例中相邻八像素的示意图。对一幅大小为m
×
n的图像，每组灰度特征对数的大小为(1,m
×n×
8)。用二维数组表示一幅图像的灰度特征对，其中，第一维表示图像中以左上角为原点，按每行依次排列的像素的灰度值，第二维表示与第一维中每个像素对应的该像素八像素的灰度值。因此，这个二维数组的大小为[2,m
×n×
8]，统计该二维数组的二维灰度直方图，用h表示该二维灰度直方图，h(i,j)表示(i,j)范围内的灰度特征对的个数。
[0067]
假设图像中某个灰度特征对中的像素的灰度值差异比较大，并且该灰度特征对所在二维灰度直方图h中的bin值很大(也就是说二维直方图h中灰度值差异很大的像素的个数比较多)，那么，这个灰度特征对中的像素成为显著区域像素的可能性就比较大，根据这个假设，在得到每个对抗色通道图像的二维灰度直方图以后，计算每个灰度特征对的权重。
[0068]
在一实施例中，根据每个对抗色通道图像的二维灰度直方图，计算中每个对抗色通道图像中每组灰度特征对的权重，包括：
[0069][0070]
w＝w1 w2[0071]
其中，i和j为灰度值，h(i,j)为在(i,j)内灰度特征对的个数，m表示二维直方图的bin值；n为i和j的差异值。
[0072]
这里的i和j为灰度值，也是二维灰度直方图h中的一个bin值，为了统计二维灰度直方图h与bin＝i的灰度值在整幅对抗色通道图像中的差异权重，i和j的差异越大，并且该h(i,j)的值越大，那么这个权重因子就会越大。在本发明实施例中，认为|i-j|＝3是有较大差异的灰度值，所以，n＝3。因为，灰度特征对的计算集合了像素分布的空间性，及像素灰度值的差异性，因此，上述权重计算方法能够检测出相邻相异像素，尤其对显著区域的边界的检测效果明显。
[0073]
图像中的显著区域与整幅图像相比一般所占比例较小，并且显著区域中的像素与图像中其它区域的像素比较，灰度对比度很大，根据这个先验知识和前面所计算的灰度特
征对的权重，可生成显著区域的像素灰度分布图，即特征图。
[0074]
在一实施例中，根据每个对抗色通道图像中多组灰度特征对的权重和二维灰度直方图，生成每个对抗色通道的特征图，包括：
[0075]
根据多组灰度特征对的权重，从每个对抗色通道图像中二维灰度直方图中找到bin中灰度特征对个数最大值；
[0076]
根据每个对抗色通道图像中二维灰度直方图中bin中灰度特征对个数最大值，确定显著区域的所有像素；
[0077]
当显著区域的像素与相邻区域的像素的灰度值差异小于设定阈值时，将相邻区域的像素也纳入显著区域，所述显著区域的像素构成每个对抗色通道的特征图。
[0078]
用表示二维灰度直方图中bin中灰度特征对个数最大值，用表示对应的灰度特征对的权重，用图map(i,j)表示二维灰度直方图的转化图。首先，初始化map(h)：
[0079][0080][0081][0082]
其中，表示对自变量“·”求最大值，表示对自变量“·”求最小值，表示二维灰度直方图中bin中灰度特征对个数最大值，表示最大值对应的bin的x维坐标，表示对灰度特征对f中的灰度值求最小值，表示灰度值最小值的x维坐标。其余函数意义类似。
[0083]
在初始化完成后，接着做循环迭代，图3为本发明实施例中从二维灰度直方图中找到bin中灰度特征对个数最大值的迭代循环算法示意图。其中，getmaxvalue(h)表示每次循环从二维灰度直方图h中找到公式表示当前(i,j)距离对应的bin的坐标的欧式距离，d表示了当前像素的灰度与对抗色通道图像中像素个数最多的区域的灰度对比度，d越大，对比度越大，v值越大，当前像素越显著，w(j)表示当前像素的对应的灰度特征对的权重。其中，getmaxvalue(h)需要用到d和v。
[0084]
在找到每个对抗色通道图像中二维灰度直方图中bin中灰度特征对个数最大值后，其最大值对应的灰度特征对就找到了，从而形成了显著区域的像素灰度分布图，里面包括了多个像素。
[0085]
接着需要突出于显著区域有相似灰度值的区域，当显著区域的像素与相邻区域像素的灰度值差异小于设定阈值时，将相邻区域的像素也纳入显著区域。
[0086]
|e
x-ey|≤e
[0087]
其中，e
x
表示显著区域的像素，ey表示与显著区域的像素的灰度值临近的像素。
[0088]
在一实施例中，组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图，包括：
[0089]
将四个特征图归一化处理后进行组合，获得显著区域；
[0090]
从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图。
[0091]
在上述实施例中，去噪后的灰度图像中找到与所述显著区域对应的区域，即为真实的图像显著区域，也就是形成了显著度图。
[0092]
在一实施例中，对显著度图进行分割，得到原始图像中的显著物体，包括：
[0093]
采用mean-shift方法分割显著度图，获得显著度图中的显著物体。mean-shift算法在模式检测，聚类，图像分割及目标跟踪等方面的应用非常广泛，另外，mean-shift方法具有计算简单，收敛速度快和对噪声鲁棒性强等特点，是一种高效的非参迭代算法。
[0094]
在一实施例中，对显著度图进行分割，得到目标图像中的显著物体，包括：
[0095]
分割显著度图，获得多个块；
[0096]
对每个块，计算该块的二维灰度直方图中bin中灰度特征对个数最大值对应的灰色特征对中的像素的灰度值，若所述灰度值大于分割阈值，确定该块中的像素点均为显著像素点；
[0097]
确定显著度图中的所有显著像素点构成显著物体。
[0098]
图4为本发明实施例中本发明实施例提出的方法得到的显著度图与其他方法得到的显著度图的对比，其中，o为原始图像，hi为本发明实施例提出的方法得到的显著度图。
[0099]
需要说明的是，分割阈值也可以为动态值，在一实施例中，所述分割阈值采用如下公式计算：
[0100][0101]
其中，ta为分割阈值；w和h分别为显著度图的宽和高；s(i,j)为二维灰度直方图中bin中灰度特征对个数最大值对应的灰色特征对中的像素(i,j)的灰度值。上述ta即为动态值，也称为自适应阈值。
[0102]
上述分割阈值与显著性图的宽和高有关，不是定值，精确度更高。
[0103]
下面给出一个具体实施例，来说明本发明实施例提出的方法的具体应用。
[0104]
在1000幅图像上做实验，比较本发明实施例提出的方法和其它方法(包括it,mz,gb,sr)，并且做了两组对比实验。
[0105]
第一组实验是固定的分割阈值下的图像分割实验，分割阈值t在[0,255]的范围内取值，t每取一个值便得到一个二值化后的分割结果，然后与g(人工标注的显著区域二值化结果)比较，用准确率p和召回率q评估结果，定义p和q分别为：
[0106][0107][0108]
其中，s表示对显著度图二值化后的分割结果。在[0,255]范围内，不断地改变分割阈值t，得到准确率vs.召回率的曲线。如图5所示：在准确率vs.召回率的曲线中，当t的取值很小时，得到的准确率的值比较低，这是因为，取值很小时对应的图像的显著区域并不准
确，可以不考虑阈值t的值很小时的情况，因此，本发明实施例提出的方法hi要优于其它方法。
[0109]
在第二组实验中，通过自适应阈值分割显著度图中的显著区域，分割后的结果比较如图6所示，可见本发明实施例提出的方法(hi)的结果更优。
[0110]
综上所述，本发明实施例提出的方法具有以下有益效果：
[0111]
本发明实施例基于直方图计算图像的显著度图，是一种基于像素与周围像素对比度从而求得显著度图的方法。对对抗色通道图像计算局部像素的灰度特征对，根据这些灰度特征对计算图像的显著性，从而获得图像的显著区域避免了全局灰度对比度计算方法的弊端，能够清晰检测出图像中显著区域的边界区域。
[0112]
本发明还提出一种基于直方图灰度特征对的图像显著性检测装置，其原理与基于直方图灰度特征对的图像显著性检测方法相同，这里不再赘述。
[0113]
图7为本发明实施例中基于直方图灰度特征对的图像显著性检测装置的示意图一，如图7所示，包括：
[0114]
图像预处理模块701，用于生成原始图像的四个对抗色通道图像；
[0115]
去噪处理模块702，用于对原始图像进行去噪处理，得到去噪后的灰度图像；
[0116]
特征图生成模块703，用于生成每个对抗色通道图像的特征图；
[0117]
显著度图获得模块704，用于组合四个特征图，获得显著区域，从去噪后的灰度图像中找到与所述显著区域对应的区域，形成显著度图；
[0118]
显著物体获得模块705，用于对显著度图进行分割，得到原始图像中的显著物体。
[0119]
在一实施例中，图像预处理模块具体用于：
[0120]
获得原始图像的r、g、b灰度值；
[0121]
根据原始图像的r、g、b灰度值，生成四个对抗色通道图像。
[0122]
在一实施例中，去噪处理模块具体用于：
[0123]
对原始图像的灰度图像低通高斯滤波操作，得到去噪后的灰度图像。
[0124]
在一实施例中，特征图生成模块具体用于：
[0125]
计算每个对抗色通道图像中每个像素与该像素相邻八像素的灰度特征对，获得每个对抗色通道图像的多组灰度特征对，构建每个对抗色通道图像的二维灰度直方图；
[0126]
根据每个对抗色通道图像的二维灰度直方图，计算中每个对抗色通道图像中每组灰度特征对的权重；
[0127]
根据每个对抗色通道图像中多组灰度特征对的权重和二维灰度直方图，生成每个对抗色通道的特征图。
[0128]
在一实施例中，特征图生成模块具体用于：
[0129]
根据每个对抗色通道图像的二维灰度直方图，计算中每个对抗色通道图像中每组灰度特征对的权重，包括：
[0130][0131]
w＝w1 w2[0132]
其中，i和j为灰度值，h(i,j)为在(i,j)内灰度特征对的个数，m表示二维直方图的
bin值；n为i和j的差异值。
[0133]
在一实施例中，特征图生成模块具体用于：
[0134]
根据多组灰度特征对的权重，从每个对抗色通道图像中二维灰度直方图中找到bin中灰度特征对个数最大值；
[0135]
根据每个对抗色通道图像中二维灰度直方图中bin中灰度特征对个数最大值，确定显著区域的所有像素；
[0136]
当显著区域的像素与相邻区域的像素的灰度值差异小于设定阈值时，将相邻区域的像素也纳入显著区域，所述显著区域的像素构成每个对抗色通道的特征图。
[0137]
在一实施例中，该像素相邻八像素包括在该像素[0
°
,45
°
,90
°
,135
°
,180
°
,225
°
,315
°
,360
°
]方向上的像素。
[0138]
在一实施例中，显著度图获得模块具体用于：
[0139]
将四个特征图归一化处理后，与去噪后的灰度图像组合，获得显著度图。
[0140]
综上所述，本发明实施例提出的装置具有以下有益效果：
[0141]
本发明实施例基于直方图计算图像的显著度图，是一种基于像素与周围像素对比度从而求得显著度图的方法。对对抗色通道图像计算局部像素的灰度特征对，根据这些灰度特征对计算图像的显著性，从而获得图像的显著区域避免了全局灰度对比度计算方法的弊端，能够清晰检测出图像中显著区域的边界区域。
[0142]
本发明实施例还提供一种计算机设备，图8为本发明实施例中计算机设备的示意图，所述包括存储器810、处理器820及存储在存储器810上并可在处理器820上运行的计算机程序830，所述处理器820执行所述计算机程序830时实现上述基于直方图灰度特征对的图像显著性检测方法。
[0143]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于直方图灰度特征对的图像显著性检测方法。
[0144]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述基于直方图灰度特征对的图像显著性检测方法。
[0145]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0146]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0147]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特
定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0148]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0149]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。