图像显著性检测方法及装置与流程

1.本发明涉及人工智能技术领域，尤其涉及一种图像显著性检测方法及装置。


背景技术：

2.如何快速高效地检测出图像中的显著性区域，研究成果将对银行中的账单自动化处理，人脸检测，目标跟踪与识别，非显著区域植入logo等有很大的价值，检测出图像中的显著区域，能够有效地对图像或者视频做预处理。
3.近些年国内外学者提出的检测图像显著区域的方法，有基于生物视觉的“中心-周围差”机制，基于全概率图的模型，基于滑动窗口，图像块的特征差异模型，一般都会有计算复杂度高，反应慢的特点，基于crf条件概率模型或者基于准则的svm线性判别器方法，基于最大熵的信息论模型，基于点熵率模型，这些方法计算复杂并依赖于很强的数学背景，而忽略了显著性最本质的定义
‑‑‑
突出于一般的物体而存在的物体即为显著物体，另外这些研究中得到的显著图会出现显著物体轮廓不清晰，背景噪声也较多的缺点。
4.因此，目前缺乏一种针对图像显著性检测方法。


技术实现要素：

5.本发明实施例提出一种图像显著性检测方法，用以实现图像的显著性检测，方法简单，效果好，该方法包括：
6.获取目标图像；
7.生成目标图像的四个对抗色通道；
8.从四个对抗色通道中，找出显著对比度最高的对抗色通道；
9.基于所述显著对比度最高的对抗色通道，获得显著度图；
10.对显著度图进行分割，得到目标图像中的显著物体。
11.本发明实施例提出一种图像显著性检测装置，用以实现图像的显著性检测，方法简单，效果好，该装置包括：
12.目标图像获取模块，用于获取目标图像；
13.对抗色通道生成模块，用于生成目标图像的四个对抗色通道；
14.筛选模块，用于从四个对抗色通道中，找出显著对比度最高的对抗色通道；
15.显著度图获得模块，用于基于所述显著对比度最高的对抗色通道，获得显著度图；
16.显著物体获得模块，用于对显著度图进行分割，得到目标图像中的显著物体。
17.本发明实施例还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述跨境撮合系统的自动登录方法。
18.本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述跨境撮合系统的自动登录方法。
19.本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程
序，所述计算机程序被处理器执行时实现上述跨境撮合系统的自动登录方法。
20.在本发明实施例中，获取目标图像；生成目标图像的四个对抗色通道；从四个对抗色通道中，找出显著对比度最高的对抗色通道；基于所述显著对比度最高的对抗色通道，获得显著度图；对显著度图进行分割，得到目标图像中的显著物体。在上述过程中，生成了四个对抗色通道，相比于现有的三个通道表示的显著度图，可显著提高显著物体检测的效果，且整体方法简单，易于操作。
附图说明
21.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
22.图1为本发明实施例中图像显著性检测方法的流程图；
23.图2为本发明实施例中图2为本发明实施例中图像显著性检测结果；
24.图3为本发明实施例中不同方法得到的显著物体检测准确率p、召回率q结果示意图；
25.图4为本发明实施例中不同方法得到显著物体分割结果示意图；
26.图5为本发明实施例中采用自适应阈值得到的准确率p、召回率q和f
β
的结果比较示意图；
27.图6为本发明实施例中图像显著性检测装置的示意图；
28.图7为本发明实施例中计算机设备的示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。
30.在本说明书的描述中，所使用的“包含”、“包括”、“具有”、“含有”等，均为开放性的用语，即意指包含但不限于。参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”等的描述意指结合该实施例或示例描述的具体特征、结构或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。各实施例中涉及的步骤顺序用于示意性说明本技术的实施，其中的步骤顺序不作限定，可根据需要作适当调整。
31.首先，对本发明实施例中涉及到的术语进行解释。
32.图像显著性：图像显著性与计算机视觉结合，同时又以生物神经学和心理学为支撑，有研究结果的不确定性和相对主观性，在视觉显著性分析中将生物视觉机制和机器视觉融合，那些明显突出于平均值能吸引人眼注意的区域是显著区域。
33.对抗色：颜色对抗色通道能够保留图像中灰度值比较大的区域，而这些区域对应在原始图像中，很容易吸引人眼注意。
34.发明人发现，神经元在初级阶段能够处理简单的视觉特征，例如灰度对比度，梯度方向，物体移动等，这些特征能够引起人眼不同反应。其中，颜色分量对检测场景中的显著物体有很大影响。人眼的视觉人眼的视觉细胞包含了大量的视杆细胞和视锥细胞，视锥细胞对三种不同的光线(r，g，b)敏感。人眼视觉系统(hvs)不能等效地处理进入人眼的所有信息，颜色对比度(cc)对图像中的显著区域检测有很重要的影响。osberger提出，当一个区域的颜色与周围区域的颜色有明显不同时更能吸引人眼的注意。基于这些理论，本发明实施例提出了颜色对抗色理论，以进行图像显著性检测。在本发明实施例提出的方法中，从显著性的基本定义出发，人眼总是首先关注图像中与背景有明显灰度对比度的区域，提出了全局的检测方法
‑‑‑‑
基于对抗色通道的显著物体检测模型，该模型首先生成了四个对抗色通道，然后根据视觉性准则自适应地选择一个对抗色通道，计算与均值有明显颜色差异的图像区域，即为图像中的显著区域，该方法基于全局的颜色特征，以显著性的基本定义为原则，简单，高效。
35.图1为本发明实施例中图像显著性检测方法的流程图，如图1所示，包括：
36.步骤101，获取目标图像；
37.步骤102，生成目标图像的四个对抗色通道；
38.步骤103，从四个对抗色通道中，找出显著对比度最高的对抗色通道；
39.步骤104，基于所述显著对比度最高的对抗色通道，获得显著度图；
40.步骤105，对显著度图进行分割，得到目标图像中的显著物体。
41.在本发明实施例中，生成了四个对抗色通道，相比于现有的三个通道表示的显著度图，可显著提高显著物体检测的效果，且整体方法简单，易于操作。
42.在步骤101中，获取目标图像。
43.目标图像可以是账单，视频截图图像等任意图像。
44.在步骤102中，生成目标图像的四个对抗色通道。
45.在一实施例中，生成目标图像的四个对抗色通道，包括：
46.获得目标图像的r、g、b灰度值；
47.根据目标图像的r、g、b灰度值，生成四个对抗色通道。
48.在上述实施例中，四个对抗色通道可表示为：
[0049][0050][0051][0052][0053]
其中，为四个对抗色通道。
[0054]
在步骤103中，从四个对抗色通道中，找出显著对比度最高的对抗色通道。
[0055]
因为生物视觉系统总是对具有显著对比度的视觉信号有较强的敏感性，因此，生物视觉系统对来自不同颜色通道的显著视觉信息也有视觉趋向。相应地，在本发明实施例中首先选择一个具有强颜色对比度的通道，然后，确定信息量最大的通道作为显著对比度最高的对抗色通道。
[0056]
在一实施例中，从四个对抗色通道中，找出显著对比度最高的对抗色通道，包括：
[0057]
根据每个对抗色通道的灰度值，计算每个对抗色通道的颜色对比度；
[0058]
基于每个对抗色通道的颜色对比度，计算每个对抗色通道的信息量；
[0059]
确定信息量最大的对抗色通道为显著对比度最高的对抗色通道。
[0060]
上述是一种自适应方法，其中，用方差σk表示每个对抗色通道的颜色对比度：
[0061][0062]
其中，表示对抗色通道k的颜色均值，w和h表示目标图像的宽和高。
[0063]
每个对抗色通道的信息量采用如下公式表示：
[0064]
c＝arg maxk{σk}
[0065]
在步骤104中，基于所述显著对比度最高的对抗色通道，获得显著度图。
[0066]
在一实施例中，基于所述显著对比度最高的对抗色通道，获得显著度图，包括：
[0067]
根据所述显著对比度最高的对抗色通道中每个像素点的像素灰度值，确定每个像素点的第一显著度；
[0068]
对每个像素点的第一显著度进行灰度拉伸，获得每个像素点的灰度拉伸值；
[0069]
根据每个像素点的灰度拉伸值，计算每个像素点的第二显著度，其中，所述显著对比度最高的对抗色通道对应的图像的所有像素点的第二显著度构成了显著度图。
[0070]
在上述实施例中，在选择的对抗色通道c中，像素点值与颜色均值有明显不同的像素点来自于显著区域，并且假设像素点值与值相近的像素点值来自于背景区域，因此，在一实施例中，根据所述显著对比度最高的对抗色通道中每个像素点的像素灰度值，确定每个像素点的第一显著度，包括：
[0071]
计算所述显著对比度最高的对抗色通道中每个像素点的像素灰度值，以及通道像素均值；
[0072]
根据每个像素点的像素灰度值以及通道像素均值，确定每个像素点的第一显著度。
[0073]
像素点(i,j)的第一显著度可表示为：
[0074][0075]
其中，s(i,j)为像素点(i,j)的第一显著度；表示对抗色通道c的颜色均值；ic(i,j)为像素点(i,j)的像素灰度值。
[0076]
进行灰度拉伸，是为了将第一显著度的值表示在[0，255]范围内，因此，采用如下公式进行对每个像素点的第一显著度进行灰度拉伸：
[0077][0078]
其中，s'(i,j)为像素点(i,j)的灰度拉伸值，s
min
,s
max
分别表示对抗色通道c对应图像中的像素灰度值的最小值和最大值，通过对对抗色通道c对应图像做灰度拉伸，使得对抗色通道c对应图像中的所有像素的灰度值在[0，255]的范围内都有分布。
[0079]
在一实施例中，根据每个像素点的灰度拉伸值，计算每个像素点的第二显著度，包
括：
[0080]
计算每个像素点的空间注意力函数值；
[0081]
根据每个像素点的灰度拉伸值和空间注意力函数值，计算每个像素点的第二显著度。
[0082]
需要说明的是，人眼的中央凸结构指引人眼在一个场景中趋向于注意前方中心范围的事物，另外，人眼总是关注于图像的中心区域，而忽略图像中的周围区域，因此，本发明实施例定义了一个空间注意函数f(i,j)来表示人眼看物体的“中心
–
周围”效应：
[0083][0084]
其中，d(i,j)表示像素点(i,j)距离对抗色通道c对应图像中心的距离，l表示图像对角线长度的一半。并且，f(i,j)∈[1/2,1]，空间距离函数反映了人眼注意的中心
–
周围递减规律。
[0085]
因此，采用如下公式，计算每个像素点的第二显著度：
[0086]
s(i,j)＝s'(i,j)
×
f(i,j)
[0087]
其中，s(i,j)为像素点(i,j)的第二显著度。
[0088]
在步骤105中，对显著度图进行分割，得到目标图像中的显著物体。
[0089]
该显著物体一般是人眼关注的物体或者数字等。
[0090]
在一实施例中，对显著度图进行分割，得到目标图像中的显著物体，包括：
[0091]
分割显著度图，获得多个块；
[0092]
对每个块，计算该块的所有像素点的第二显著度的平均值，若所述平均值大于分割阈值，确定该块中的像素点均为显著像素点；
[0093]
确定显著度图中的所有显著像素点构成显著物体。
[0094]
在一实施例中，分割显著度图，获得多个块，包括：
[0095]
采用mean-shift算法分割显著度图，获得多个块。mean-shift算法在模式检测，聚类，图像分割及目标跟踪等方面的应用非常广泛，另外，mean-shift方法具有计算简单，收敛速度快和对噪声鲁棒性强等特点，是一种高效的非参迭代算法。
[0096]
需要说明的是，分割阈值可为定值，可以是在[0,255]范围内取到的值，也可以为动态值，在一实施例中，所述分割阈值采用如下公式计算：
[0097][0098]
其中，ta为分割阈值；w和h分别为显著性图的宽和高；s(i,j)为像素点(i,j)的第二显著度。上述ta即为动态值，也称为自适应阈值。
[0099]
上述分割阈值与显著性图的宽和高有关，不是定值，精确度更高。下面给出一个实施例来说明本发明提出的方法的效果。
[0100]
在r.achanta等人提供的1000幅图像上做实验，比较本发明实施例提出的方法和其它六种方法(包括it,mz,gb,sr,ca,ac)，并且做了两组对比实验。
[0101]
第一组实验是固定的分割阈值下的图像分割实验，图2为本发明实施例中图像显著性检测结果。分割阈值t在[0,255]的范围内取值，t每取一个值便得到一个二值化后的分割结果，然后与groundtruth(人工标注的显著区域二值化结果)比较，用准确率p和召回率q
评估结果，定义p和q分别为：
[0102][0103][0104]
其中，s表示对显著度图二值化后的分割结果。在[0,255]范围内，不断地改变分割阈值t，得到准确率vs.召回率的曲线。如图3所示：在准确率vs.召回率的曲线中，当t的取值很小时，得到的准确率的值比较低，这是因为，取值很小时对应的图像的显著区域并不准确，可以不考虑阈值t的值很小时的情况，因此，本发明实施例提出的方法se要优于其它六种方法。
[0105]
在第二组实验中，通过自适应阈值分割显著度图中的显著区域，得到二值化的显著物体区域，用mean-shift方法对图像自适应地分割对分割得到的块zi计算所有像素的平均显著度如果在区域zi中的像素都被标为显著像素点，用这种方法对it,mz,gbsr,ca,ac方法得到的显著度图分割，分割后的结果比较如图4所示，可见本发明实施例提出的方法的结果更优。
[0106]
自适应阈值分割显著物体的结果除了用准确率vs.召回率曲线比较以外，本发明还定义了f-measure方法：
[0107][0108]
其中，f
β
越大，效果越好，在本发明实施中，为了强调准确率的重要性，选择了β2＝0.3，这样对于分割后的二值化图像计算准确率和召回率的值以及对应的f
β
，得到图5的柱状图，可见，本发明实施例提出的方法效果均比其他六种方法好。
[0109]
综上所述，本发明实施例提出的方法具有以下有益效果：根据四个对抗色通道，自适应选择有信息量的通道，即显著对比度最高的对抗色通道，从全局化的角度对图像中的显著物体进行自适应分割，并结合人眼的视觉机制和中心-周围观察机制对显著度图进行像素化处理，提高了准确性和效率。在图像处理领域，为图像中的文字识别，人脸识别，物体跟踪，广告处理等提供了有效的预处理方法。
[0110]
本发明还提出一种图像显著性检测装置，其原理与图像显著性检测方法相同，这里不再赘述。
[0111]
图6为本发明实施例中图像显著性检测装置的示意图一，如图6所示，包括：
[0112]
目标图像获取模块601，用于获取目标图像；
[0113]
对抗色通道生成模块602，用于生成目标图像的四个对抗色通道；
[0114]
筛选模块603，用于从四个对抗色通道中，找出显著对比度最高的对抗色通道；
[0115]
显著度图获得模块604，用于基于所述显著对比度最高的对抗色通道，获得显著度图；
[0116]
显著物体获得模块605，用于对显著度图进行分割，得到目标图像中的显著物体。
[0117]
在一实施例中，对抗色通道生成模块602具体用于：
[0118]
获得目标图像的r、g、b灰度值；
[0119]
根据目标图像的r、g、b灰度值，生成四个对抗色通道。
[0120]
在一实施例中，筛选模块603具体用于：
[0121]
根据每个对抗色通道的灰度值，计算每个对抗色通道的颜色对比度；
[0122]
基于每个对抗色通道的颜色对比度，计算每个对抗色通道的信息量；
[0123]
确定信息量最大的对抗色通道为显著对比度最高的对抗色通道。
[0124]
在一实施例中，显著度图获得模块604具体用于：
[0125]
根据所述显著对比度最高的对抗色通道中每个像素点的像素灰度值，确定每个像素点的第一显著度；
[0126]
对每个像素点的第一显著度进行灰度拉伸，获得每个像素点的灰度拉伸值；
[0127]
根据每个像素点的灰度拉伸值，计算每个像素点的第二显著度，其中，所述显著对比度最高的对抗色通道对应的图像的所有像素点的第二显著度构成了显著度图。
[0128]
在一实施例中，显著度图获得模块604具体用于：
[0129]
计算所述显著对比度最高的对抗色通道中每个像素点的像素灰度值，以及通道像素均值；
[0130]
根据每个像素点的像素灰度值以及通道像素均值，确定每个像素点的第一显著度。
[0131]
在一实施例中，显著度图获得模块604具体用于：
[0132]
计算每个像素点的空间注意力函数值；
[0133]
根据每个像素点的灰度拉伸值和空间注意力函数值，计算每个像素点的第二显著度。
[0134]
在一实施例中，显著物体获得模块605具体用于：
[0135]
分割显著度图，获得多个块；
[0136]
对每个块，计算该块的所有像素点的第二显著度的平均值，若所述平均值大于分割阈值，确定该块中的像素点均为显著像素点；
[0137]
确定显著度图中的所有显著像素点构成显著物体。
[0138]
在一实施例中，显著物体获得模块605具体用于：
[0139]
采用mean-shift算法分割显著度图，获得多个块。
[0140]
在一实施例中，所述分割阈值采用如下公式计算：
[0141][0142]
其中，ta为分割阈值；w和h分别为显著性图的宽和高；s(i,j)为像素点(i,j)的第二显著度。
[0143]
综上所述，本发明实施例提出的装置具有以下有益效果：根据四个对抗色通道，自适应选择有信息量的通道，即显著对比度最高的对抗色通道，从全局化的角度对图像中的显著物体进行自适应分割，并结合人眼的视觉机制和中心-周围观察机制对显著度图进行像素化处理，提高了准确性和效率。在图像处理领域，为图像中的文字识别，人脸识别，物体跟踪，广告处理等提供了有效的预处理方法。
[0144]
本发明实施例还提供一种计算机设备，图7为本发明实施例中计算机设备的示意图，所述计算机设备700包括存储器710、处理器720及存储在存储器710上并可在处理器720
上运行的计算机程序730，所述处理器720执行所述计算机程序730时实现上述消息收发方法。
[0145]
本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述消息收发方法。
[0146]
本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现上述消息收发方法。
[0147]
本发明的实施例还提供一种计算机可读存储介质，能够实现上述实施例中的消息收发中全部步骤，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中的消息收发的全部步骤。
[0148]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0149]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0150]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0151]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0152]
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。