基于由粗到细匹配的跨视角拼接检测方法

1.本发明涉及数字图像取证技术领域，尤其涉及基于由粗到细匹配的跨视 角拼接检测方法。


背景技术：

2.随着图像编辑软件的发展，人们逐渐开始使用图像编辑软件对图像进行 编辑之后再上传至社交网络等平台。图像编辑技术为人们的生活带来了诸多 便利的同时也具有潜在的危险因素，一旦被恶意篡改的图像用于新闻报道、 学术造假和恶意诽谤等用途，将带来不可估量的严重危害，轻则对个人产生 不良影响，重则有损国家安全。因此，数字图像取证技术应运而生。
3.同源拼接是数字图像篡改方式中最为常见的篡改类型之一。同源拼接指 的是对图像中的部分区域进行复制，之后再将其粘贴到同一张图像中的其它 区域，其目的在于对某些特定目标的强调或者掩盖。经过同源拼接操作，篡 改图像中会出现至少一处的高度相似的区域，两处高度相似的区域会给人带 来很强的不自然感。一般情况下，通过同源拼接产生的伪造图片可以被一眼 识破。所以伪造者为了提升篡改的逼真程度，将源目标以跨视角下的形态进 行拼接，相比于以往的同源拼接篡改，跨视角拼接产生的伪造图片具有更强 的欺骗性。
4.针对跨视角拼接产生的伪造图片的图像拼接检测方案根据拼接类型大致 可以分为两种，一种是同源拼接检测，另一种是异源拼接检测。同源拼接篡 改检测可以分为三种。
5.第一种是基于图像块特征的检测算法，使用dct系数作为图像块特征， 并利用字典排序进行特征匹配，使用pca、kpca以及svd来减少特征维度， 利用高斯金字塔分解图像并使用hu矩作为图像块特征。然而基于图像块特征 匹配的方法具有一定的局限性，其一是图像块特征一般是对重叠块进行提 取，由于重叠块数量较大，导致特征数量庞大，计算量较大；其二是图像块 特征对于缩放等后处理操作的鲁棒性较差，难以有效检测经过后处理的图 像。第二种是基于关键点特征的检测算法。由于关键点的提取是依靠图像中 的熵值较高的点，所以，关键点在图像中的分布是较为稀疏的。实验证明基 于关键点特征的检测算法具有较低的计算复杂度。第三类是基于深度特征的 检测算法。这种端到端的检测网络可以实现对拼接目标和源目标进行区分。
6.对于异源拼接篡改检测，根据特征类型可以分为两种。第一种是基于传 统统计特征的检测算法，统计特征有噪声模式、cfa去马赛克特征以及操作 相关的篡改痕迹特征。第二种是基于深度学习的检测方法。早期的基于深度 学习的方法是对图像划分成不同的块，并通过学习不同块之间的差异性进行 篡改检测。最近几年，国内外的研究学者提出将图像拼接检测当作一种分割 任务来处理。
7.通过对同源拼接篡改检测方法和异源拼接篡改检测分析，可以发现同源 拼接篡改检测方法是通过对图像的相似区域进行搜索完成检测，但在视角有 所变化的情况下，两处区域的相似度受到限制，特征的鲁棒匹配较为困难。 而异源拼接篡改检测是基于篡改区
域与原始区域统计特征的差异性完成检 测，然而在跨视角拼接中拼接目标与源目标属于具有一定的相似性，二者的 统计特征不具备较大差异，无法进行精确度较高的跨视角拼接检测。


技术实现要素：

8.本发明的实施例提供了一种基于由粗到细匹配的跨视角拼接检测方法， 以克服现有技术的缺陷。
9.为了实现上述目的，本发明采取了如下技术方案。
10.一方面，本发明提供一种基于由粗到细匹配的跨视角拼接检测方法，包 括：
11.对待测图像进行特征提取，得到特征点；
12.设置粗匹配阈值，对特征点进行匹配，得到粗匹配集合，粗匹配集合包 括正确匹配对和错误匹配对；
13.对粗匹配集合进行建模，得到混合模型，对混合模型进行最大后验概率 估计，对正确匹配对和错误匹配对进行区分，得到正确匹配对集合；
14.根据正确匹配对集合，对待测图片的拼接篡改区域定位，得出检测结 果。
15.可选地，对待测图片的拼接篡改区域定位，包括：
16.对待测图像进行超像素分割，筛选包含正确匹配集合中的匹配点的图像 块；
17.以图像块内的全部元素为基础，构建凸包；
18.对凸包进行图像分割，细化拼接篡改区域。
19.可选地，特征点的特征描述子包括手工设计特征和cnn提取特征。
20.可选地，手工设计特征包括sift、surf，cnn提取特征包括： contextdesc、r2d2。
21.可选地，多个特征点的匹配方法包括：
22.通过计算一个特征点si与其余的所有特征点之间的欧式距离得到距离集 合d＝{d1，...，d
n-1
}；
23.计算距离集合中相邻两个距离的比值r，若满足rk小于粗匹配阈值，且 r
k 1
大于粗匹配阈值，则{d1,d2,...,dk}对应的特征点与特征点si匹配，得到粗匹配 集合，粗匹配集合为{q1，q2}。
24.可选地，基于下式计算得到距离集合中相邻两个距离的比值r：
[0025][0026]
式中，di为距离集合中的一个距离，d
i 1
为距离集合中与di相邻的下一个距 离。
[0027]
可选地，细匹配模型中，正确匹配的坐标服从均值为0方差为σ的高斯分 布，错误匹配服从参数为c的均匀分布，并为正确匹配和错误匹配的关联隐变 量hn∈{0，1}，1代表正确匹配，0代表错误匹配。混合模型的似然函数为：
[0028]
[0029]
式中p为后验概率，q
1n
、q
2n
为匹配点坐标，θ＝{f，σ，α}为未知参数集合，α 为混合系数，b为距离，f为向量场。
[0030]
可选地，基于下式计算距离b：
[0031][0032]
式中，q
1n
、q
2n
为匹配点坐标，b为距离，f为向量场。
[0033]
可选地，f由对粗匹配集合插值得到，用于拟合正确匹配。
[0034]
可选地，基于下式对f施加平滑约束：
[0035][0036]
式中，p(f)为f的概率分布函数，为再生核hilbert空间，λ为正实数。
[0037]
本发明有益效果：通过由粗到细的匹配策略来提升匹配的鲁棒性，粗匹 配通过适当扩大匹配阈值从而保留下更多的匹配对，细匹配则是通过对含有 错误匹配的粗匹配样本进行向量场插值，使得向量场可以拟合潜在的正确匹 配样本。本发明通过对包含错误匹配的粗匹配样本插值出一个平滑的向量场 来保留下更多的跨视角区域匹配对，并通过图割的方式实现篡改区域的像素 级定位，有效提升了跨视角拼接检测的性能。
[0038]
本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的 描述中变得明显，或通过本发明的实践了解到。
附图说明
[0039]
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所 需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前 提下，还可以根据这些附图获得其他的附图。
[0040]
图1为本发明实施例提供的一种基于由粗到细匹配的跨视角拼接检测方法 的流程示意图；
[0041]
图2为本发明实施例提供的迭代更改被判为错误匹配类别的示意图；
[0042]
图3为本发明实施例提供的鲁棒性实验折线图。
具体实施方式
[0043]
下面详细描述本发明的实施方式，实施方式的示例在附图中示出，其中 自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的 元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本发明， 而不能解释为对本发明的限制。
[0044]
本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式
ꢀ“
一”、“一个”、
“”
和“该”也可包括复数形式。应该进一步理解的是，本发明的 说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组 件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元 件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一 元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此 外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞
ꢀ“
和/
或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0045]
本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语 (包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一 般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该 被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一 样定义，不会用理想化或过于正式的含义来解释。
[0046]
为便于对本发明实施例的理解，下面将结合附图以几个具体实施例为例 做进一步的解释说明，且各个实施例并不构成对本发明实施例的限定。
[0047]
实施例
[0048]
如图1所示，本实施例提供一种基于由粗到细匹配的跨视角拼接检测方 法，包括如下步骤：
[0049]
步骤1：对待测图像进行特征提取，得到特征点。
[0050]
具体地，特征提取对待测图像提取大量的特征点用于后续的匹配，特征 描述子可以包括两种：一种是通过手工设计的特征，例如sift和surf；另一 种是通过cnn提取的特征，例如contextdesc和r2d2。
[0051]
步骤2：设置粗匹配阈值，对特征点进行匹配，得到粗匹配集合，粗匹配 集合包括正确匹配对和错误匹配对。
[0052]
具体地，粗匹配为所提取的特征点设置一个较为合适的阈值t
mat
进行匹 配，为每一个特征点si与其余的所有特征点之间的欧式距离得到距离集合 d＝{d1，...，d
n-1
}，令当前距离与下一距离的比值为：
[0053][0054]
若满足rk＜t
mat
且r
k 1
＞t
mat
，则{d1，d2，...，dk}对应的特征点与si匹配，经过粗匹配后 得到匹配集合{q1，q2}，qi同时也代表了特征点的初始类别。
[0055]
步骤3：对粗匹配集合进行建模，得到混合模型，对混合模型进行最大后 验概率估计，对正确匹配对和错误匹配对进行区分，得到正确匹配对集合。
[0056]
具体地，细匹配是对包含错误匹配的粗匹配集合插值出一个向量场 f：q1→
q2尽可能地拟合潜在的正确匹配。建模后，假设正确匹配的坐标服从 均值为0方差为σ的高斯分布，错误匹配服从参数为c的均匀分布，并为所有 匹配对关联隐变量hn∈{0，1}，1代表正确匹配，0代表错误匹配。模型的似然函 数为：
[0057][0058]
其中，θ＝{f，σ，α}为未知参数集合，α为混合系数，距离度量公式选用余弦 距离：
[0059][0060]
另外，对f施加平滑约束：
[0061][0062]
其中，p(f)为f的概率分布函数，代表再生核hilbert空间，λ是正实数。 通过em算法求最大后验解可以实现对参数的估计，进而区分正确匹配与错误 匹配。
[0063]
虽然粗匹配后每一个特征点都被分配了一个初始类别，但是并不能保证 所有坐标落于拼接区域的特征点的初始类别一致，这会导致一些匹配对被误 判为错误匹配。本实施例中采用迭代更改被判为错误匹配类别的方法。如图2 所示，为每次被指示为错误匹配的匹配对调换类别之后再重新对参数进行估 计，直至匹配点的类别趋于稳定，得到匹配对集合{v1，v2}。为了进一步对删除 错误匹配，使用基于空间坐标的方法进行聚类，将孤立的匹配判为错误匹 配。
[0064]
具体地，包括：
[0065]
建立空集u1并取出v1中的任意一个元素放入u1，v1中其余元素并入u1的条件 为：
[0066][0067]
式中，k为u1内的元素数，ω为比例因子，若待并元素与u1内的所有元素的 欧式距离小于γ，则ξi＝1，反之为0。其次，将并入u1中元素从v1中移除，并建 立新的集合重复上一步骤，直至v1变为空集。最后，将元素数小于3的集合所 对应的的匹配对判为孤立匹配进行删除，得到正确匹配集合
[0068]
步骤4：根据正确匹配对集合，对待测图片的拼接篡改区域定位，得出检 测结果，包括如下子步骤：
[0069]
步骤4.1：对待测图像进行超像素分割，筛选包含正确匹配集合中的匹配 点的图像块。具体地，对待测图像进行超像素分割，选出包含匹配点的图像 块pai。
[0070]
步骤4.2：以图像块内的全部元素为基础，构建凸包。具体地，以pai内的 所有元素为基础构建凸包。
[0071]
步骤4.3：对凸包进行图像分割，细化拼接篡改区域。具体地，对凸包进 行图割进一步细化篡改区域，提升篡改区域在像素级别的定位准确度。
[0072]
本实施例中的待测图像使用了两个数据集，第一个数据集为手工制作的 跨视角拼接数据集cvcmd，收集了6600个含有各种攻击的图像，正例和负例 各占一半。第二个数据集为comofod，包含200张正例样本和200张负例样 本，分别率为512
×
512。
[0073]
对于不同特征的描述子，本实施例中选用五种特征进行了对比，结果如
[0074]
表1所示。
[0075][0076]
表1 cvcmd数据集上使用不同特征的检测性能
[0077]
从表1中可以看出，选用的特征描述子有sift、surf、brisk、r2d2和 contextdesc。
通过对比两种匹配方式的性能，一种是coarse ransac，另一 种是本实施例中所提出的由粗到细的匹配策略，可以看出，对于所有的特征 描述子，无论是在inner ratio还是f1-image，由粗到细匹配都要比 coarse ransac的性能有所提升。sift特征在f1-image上获得最佳性能， contextdesc在inner ratio上获得最佳性能，由于sift特征的综合表现最好，因 此选用sift特征应用于特征提取部分。
[0078]
本实施例通过消融实验，使用五种方法进行对比：“coarse”表示粗匹配；
ꢀ“
coarse ransac”表示对粗匹配样本进行ransac删除误匹配；
ꢀ“
coarse field”表示对粗匹配样本进行光滑向量场插值删除误匹配；
ꢀ“
coarse field isolate”表示对粗匹配样本进行光滑向量场插值并删除孤立匹配 对；“coarse field category”表示在“coarse field”的基础上进行类别调整，对 比结果如表2所述。
[0079][0080]
表2 cvcmd数据集上的消融实验
[0081]
从表2中可以看出，由粗到细匹配的匹配策略取得了95.80％inner ratio、 100.00％precision和96.77％f1的最优综合性能，能够进一步说明本实施例提供 的基于由粗到细匹配的跨视角拼接检测方法的优异效果。
[0082]
本实施例在cvcmd数据集上与同源拼接检测方法进行对比，对比结果如
[0083]
表3所示。
[0084][0085]
表3 cvcmd数据集上与同源拼接检测方法对比
[0086]
从表3可以看出，本实施例提供的基于由粗到细匹配的跨视角拼接检测方 法达到了96.77％f1-image和77.39％f1-pixel的最佳性能。
[0087]
另外，为了进一步验证本实施例提供的基于由粗到细匹配的跨视角拼接 检测方法的鲁棒性，本实施例中进行了四组鲁棒性实验，鲁棒性实验折线图 如图3所示。四组鲁棒性实验分别为jpeg压缩、加噪、旋转和缩放。对于 jpeg压缩，本实施例提供的基于由粗到细匹配的跨视角拼接检测方法对于压 缩质量因子为50-100具有较好的鲁棒性，当质量因为大于50性能略有下降。对 于加噪，大部分的对比方法的性能都比较稳定。对于旋转和缩放， segmentation的性能波动较为明显。综合来看，本实施例提供的基于由粗到细 匹配的跨视角拼接检测方法对这四种攻击具有较好的鲁棒性。
[0088]
另外，本实施例使用comofod数据集与同源拼接算法进行对比，对比结 果如表4所示。
[0089][0090]
表4 comofod数据集上与同源拼接检测方法对比
[0091]
如表4所示，hierarchical与本实施例提供的基于由粗到细匹配的跨视角拼 接检测方法分别在f1-pixel和f1-image指标上取得最高的检测准确率，说明本 实施例提供的基于由粗到细匹配的跨视角拼接检测方法对于传统复制粘贴篡 改的优异检测性能。
[0092]
最后，本实施例与异源拼接算法进行对比，对比结果如表5所示。
[0093][0094]
表5 cvcmd数据集上与异源拼接检测方法对比
[0095]
考虑到异源拼接算法理论上无法定位出源目标区域，因此，在计算像素 级定位准准确率时只对拼接区域进行统计。从表5中可以看出，本实施例提供 的基于由粗到细匹配的跨视角拼接检测方法的虚警率最低，篡改区域定位准 确率最高，证明了由粗到细匹配策略的有效性。
[0096]
综上所述，本发明实施例通过由粗到细的匹配策略来提升匹配的鲁棒 性，粗匹配通过适当扩大匹配阈值从而保留下更多的匹配对，细匹配则是通 过对含有错误匹配的粗匹配样本进行向量场插值，使得向量场可以拟合潜在 的正确匹配样本。本发明通过对包含错误匹配的粗匹配样本插值出一个平滑 的向量场来保留下更多的跨视角区域匹配对，并通过图割的方式实现篡改区 域的像素级定位，有效提升了跨视角拼接检测的性能。
[0097]
本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中 的模块或流程并不一定是实施本发明所必须的。
[0098]
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同 相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同 之处。尤其，对于方法或系统实施例而言，由于其基本相似于方法实施例， 所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描 述的方法及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以 是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不 是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可 以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目 的。本领域
普通技术人员在不付出创造性劳动的情况下，即可以理解并实 施。
[0099]
以上，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限 于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易 想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保 护范围应该以权利要求的保护范围为准。