英文题目：《DMFF-Net: Double-stream multilevel feature fusion network for image forgery localization》
中文题目：《DMFF-Net：用于图像伪造定位的双流多级特征融合网络》
发布于：Engineering Applications of Artificial Intelligence
级别：中科院1区
论文链接：ScienceDirect

摘要

随着图像处理技术的快速发展，图像操作变得越来越容易，这对人们生活的稳定性和安全性构成了威胁。最近的 方法提出了RGB和噪声特征的融合来揭示篡改痕迹。然而，这些方法忽略了不同层次特征的特征，导致特征融合 不足。为了解决这个问题，本文提出了一种双流多级特征融合网络（DMFF‑Net）。与传统的特征融合方法不同， DMFF‑Net采用分级特征融合策略。它将特征分为初级、中级和高级水平，并引入初级特征融合模块（PFFM） 和高级特征融合模块（AFFM）以实现更优的融合结果。此外，采用多监督策略将融合特征解码为特定级别的掩 码，包括边界、常规和精细掩码。DMFF‑Net在公开数据集上进行了验证，包括CASIA、哥伦比亚、 COVERAGE和NIST16，以及一个真实生活的图像操作数据集IMD20，分别达到了84.7%、99.6%、86.6%、 87.4%和82.8%的AUC。大量实验表明，我们的DMFF‑Net在图像操作定位精度方面优于最先进的方法，并表现出更好的鲁棒性。

本文聚焦的问题

本文聚焦于图像伪造定位问题，特别是如何通过特征融合来检测和定位图像中的篡改区域。现有的方法虽然能够融合RGB和噪声特征，但未能充分利用不同层次特征的特性，导致特征融合效果不佳，进而影响篡改定位的准确性。

本文提出的方法

本文提出了一种双流多级特征融合网络（DMFF-Net），其核心贡献包括：

  1. 分级特征融合策略：将特征分为初级、中级和高级三个层次，并分别设计了初级特征融合模块（PFFM）和高级特征融合模块（AFFM）来处理不同层次的特征。
  2. 多监督策略：通过多监督策略将融合后的特征解码为不同级别的掩码（边界掩码、常规掩码和精细掩码），以提高定位精度。
  3. 特征融合模块：
    • PFFM：用于融合浅层特征，增强边界细节，更好地捕捉边界伪影。
    • AFFM：用于融合深层特征，学习长期上下文信息，更关注伪造区域的特征。

DMFF-Net

该论文提出的DMFF-Net框架首先接收原始图像和对应的噪声图像作为输入，通过双流结构分别提取RGB特征和噪声特征；接着利用初级特征融合模块（PFFM）和高级特征融合模块（AFFM）对不同层次的特征进行融合；然后通过ASPP模块进一步提取多尺度特征；最后，通过三个解码器分别输出常规掩码、精细掩码和边界掩码，并通过多监督策略优化网络，以实现精确的图像篡改检测和定位。

阅读总结

本文通过提出一种创新的双流多级特征融合网络（DMFF-Net），有效地解决了现有图像伪造定位方法中特征融合不足的问题。通过分级特征融合策略和多监督策略，DMFF-Net能够更准确地定位图像中的篡改区域，并在多个数据集上取得了优异的性能。该方法不仅提高了图像伪造定位的准确性，还增强了模型对不同图像操作类型的鲁棒性。未来的研究可以进一步优化特征融合模块，以提高对复杂场景和噪声干扰的适应能力。