英文题目：《Attentive and Contrastive Image Manipulation Localization With Boundary Guidance》

中文题目：《边界引导下的专注对比图像处理定位》

论文作者：Wenxi Liu , Member, IEEE, Hao Zhang , Xinyang Lin , Qing Zhang , Qi Li , Xiaoxiang Liu , Ying Cao

发布于：IEEE Transactions on Information Forensics and Security

发布时间：2024-07-08

级别：CCF-A

论文链接：10.1109/TIFS.2024.3424987

论文代码：暂无

摘要

近年来，图像生成技术的快速发展导致篡改图像被广泛滥用，引发了信任危机，并影响了社会公平。因此，我们的工作目标是检测并定位图像中的篡改区域。许多基于深度学习的方法来解决这个问题，但它们难以处理那些经过手动微调以融入图像背景的篡改区域。通过观察篡改区域的边界对于区分篡改部分和非篡改部分至关重要，我们提出了一种新颖的边界引导图像篡改检测方法，该方法引入了一种固有的偏好，倾向于利用篡改区域的边界信息。我们的模型遵循编码器-解码器架构，具有多尺度定位掩码预测，并通过注意力机制和对比学习来引导利用先验边界知识。具体来说，我们的模型的独特之处在于：

1）我们在网络解码器中提出了一个边界感知注意模块，它可以预测篡改区域的边界，并将其用作关键的上下文线索来辅助定位；
2）我们提出了一种多尺度对比学习方案，并采用了一种新颖的边界引导采样策略，从而获得更具判别性的定位特征。我们在多个公开基准测试中取得的卓越性能证明了我们的模型优于先前的研究成果。

本文聚焦的问题

在图像篡改行为中，篡改区域与未篡改区域的边界是区分二者的关键所在。这些边界信息对于准确定位篡改区域至关重要，应当予以充分重视并加以明确利用。然而，目前如何有效地利用这些边界信息来提升篡改区域检测性能，仍是一个亟待深入探索和解决的问题。

本文提出的方法

  1. 边界感知注意力模块（Boundary-Aware Attention Module）：这个模块主要帮助模型特别关注图像中篡改区域的边界。在图像篡改中，篡改区域和未篡改区域的边界往往是区分二者的关键线索。这个模块通过从模型的编码器和解码器中提取特征，利用一系列操作（如平均池化、卷积和激活函数）来提取边界信息。然后，它将这些边界信息反馈给模型，让模型在定位篡改区域时更加专注于这些边界区域。这样，模型可以更准确地识别和定位篡改区域，即使这些区域的篡改痕迹非常细微。
  2. 边界引导的对比学习（Boundary-Guided Contrastive Learning）：这个模块的目标是让模型学习区分篡改区域和未篡改区域。对比学习是一种让模型学习区分不同类别数据的方法。在这个模块中，模型会在解码器的每一层从篡改区域和未篡改区域中采样特征点。通过对比这些特征点，模型可以学习到篡改区域和未篡改区域在特征空间中的差异。为了提高学习效果，这个模块采用了一种新的采样策略，专门从篡改区域的边界附近采样。这样可以让模型更专注于边界区域的特征差异，从而更好地识别篡改区域。通过这种方式，模型可以学习到更强大的特征表示，提高篡改检测的准确性。

framework

论文提出的框架基于编码器-解码器结构，以实现图像篡改检测与定位。首先，输入图像通过ResNet-50骨干网络进行特征提取，获取多尺度的视觉特征。这些特征随后被传递至混合注意力模块，该模块融合通道注意力与空间注意力，对特征进行增强，以便更精准地定位潜在篡改区域。进入解码器部分，边界感知注意力模块在每一层被激活，它结合编码器与解码器的特征，预测篡改区域的边界，并利用这些边界信息引导篡改区域掩码的生成。同时，边界引导的对比学习损失在解码器的每一层被应用，通过从篡改区域及其边界附近采样特征点，并对比这些点，促使模型学习区分篡改与未篡改区域的特征差异，从而增强模型的区分能力。最终，模型输出篡改区域的掩码，直观地展示出图像中被篡改的部分，实现对篡改区域的精准定位与检测。

阅读总结

本文提出了一种新的图像篡改检测和定位方法，通过引入边界感知注意力模块和边界引导的对比学习，充分利用篡改区域的边界信息来提高检测和定位的准确性。实验结果表明，该方法在多个公共基准数据集上都取得了最先进的性能，证明了其有效性。**然而，该方法在处理一些边界痕迹被精心擦除或篡改区域与未篡改区域边界相似的情况时可能会遇到困难。**未来的工作将致力于进一步提高模型在这些复杂情况下的性能，并探索将模型应用于图像级检测任务的可能性。