英文题目：《Image Copy-Move Forgery Detection via Deep
PatchMatch and Pairwise Ranking Learning》

中文题目：《通过深度 PatchMatch 和成对排序学习检测图像复制/移动伪造》

论文作者：Yuanman Li; Yingjie He; Changsheng Chen; Li Dong; Bin Li; Jiantao Zhou

发布于：IEEE Transactions on Image Processing

发布时间：2024-08-25

级别：CCF-A

论文链接：10.1109/TIP.2024.3482191

论文代码：暂无

摘要

深度学习算法的最新进展在图像复制移动伪造检测 (CMFD) 方面取得了令人瞩目的进展。然而，这些算法在实际场景中缺乏通用性，例如训练图像中不存在复制区域，或者克隆区域是背景的一部分。此外，这些算法利用卷积运算来区分源区域和目标区域，当目标区域与背景融合良好时，结果并不理想。为了突破这些局限性，本研究提出了一种新颖的端到端 CMFD 框架，该框架融合了传统方法和深度学习方法的优势。具体而言，本研究开发了一种专为 CMFD 定制的深度跨尺度 PatchMatch (PM) 方法，用于定位复制移动区域。与现有的深度模型不同，我们的方法利用从高分辨率尺度提取的特征，在源区域和目标区域之间寻求明确可靠的点对点匹配。此外，我们还提出了一种新颖的成对排序学习框架来分离源区域和目标区域。该框架利用点对点匹配的强大先验，即使目标区域与背景融合良好，也能识别细微差异并有效区分源区域和目标区域。我们的框架完全可微分，并且可以进行端到端训练。全面的实验结果突显了我们方案在各种复制移动场景中卓越的通用性，显著优于现有方法。

本文聚焦的问题

该文章聚焦于**图像复制-移动伪造检测（Copy-Move Forgery Detection, CMFD）**问题，尤其是现有深度学习方法在以下方面的局限性：

  • 泛化能力差：当训练图像中未出现被复制区域，或复制区域属于背景时，现有方法表现不佳；
  • 缺乏显式匹配：现有方法难以建立源区域与目标区域之间的显式点对点匹配，导致检测结果缺乏可解释性；
  • 源/目标区域判别困难：尤其在目标区域与背景融合良好时，现有方法难以区分源区域与目标区域。

本文提出的方法

论文提出了一个 端到端的检测框架 D2PRL（Deep PatchMatch and Pairwise Ranking Learning），它包含两大核心模块：

(1) Deep PatchMatch 分支 (DFM) —— 找到相似的区域

  • 目标：确定图中哪些地方可能是复制-粘贴的。
  • 方法：
    1. 提取高分辨率特征（不同尺度、CNN + Zernike 矩特征结合，能抵抗旋转和缩放）。
    2. 用 可微分的 PatchMatch 算法 做点对点匹配：即对每个像素找它在图中“最像的像素”，并通过传播+随机搜索快速找到对应关系。
    3. 如果某些区域的像素都能匹配到另一块区域，并且整体呈现平移/旋转/缩放关系 → 很可能就是复制-粘贴。
    4. 最后生成一张 伪造区域掩码图（告诉你哪些地方被复制过）。

👉 直观理解：就像在找“谁和谁长得几乎一模一样”，并把成片的相似区域圈出来。

(2) Pairwise Ranking 分支 (STD) —— 区分“源区域”和“目标区域”

  • 目标：不仅要知道哪些地方被复制，还要区分 谁是“原始区域”（source）谁是“粘贴区域”（target）。
  • 方法：
    1. 借助 DFM 找到的匹配点对。
    2. 对每对匹配像素，比较它们的特征差异，判断谁更可能是“粘贴的”。
    3. 这里引入 排序学习（Pairwise Ranking Learning）：
      • 如果点A是源，点B是目标，那么网络就学习让 Score(A) > Score(B)。
      • 这样网络会逐渐学会抓住很细微的差别（比如边界伪影、插值痕迹），即使目标区域和背景融为一体，也能把它分出来。
    4. 最终输出三通道结果：蓝色 = 背景，绿色 = 源区域，红色 = 粘贴区域。

capture_20250907214123574

阅读总结

  1. 优点：

    • 高鲁棒性几何变换建模
      多尺度特征 + 跨尺度匹配 + Zernike 矩旋转不变特征，使网络对大角度旋转、大倍率缩放、JPEG/噪声/模糊等后处理均表现出 SOTA 级别的稳健性（CoMoFoD 全攻击平均 F1 领先 10% 以上）。

    • 背景 & 非物体伪造检测能力突出
      依靠低层纹理而非物体语义，显著缓解“深度模型只看得见物体”的过拟合通病；在纯背景草地、水面复制等场景下，仍能保持 >0.8 F1，而对比方法普遍低于 0.3。

  2. 缺点：

    • 对密集重复纹理仍易出现虚警
      当图像天然存在大量相似纹理（如砖墙、密集窗格）时，偏移场同样呈现低拟合误差，可能把真实纹理误判为复制-移动；论文未见专门抑制这类虚警的机制。