Identification of image global processing operator chain based on feature decoupling

英文题目：《Identification of image global processing operator chain based on feature decoupling》

中文题目：《基于特征解耦的图像全局处理算子链识别》

论文作者：Jiaxin Chen , Xin Liao a, Wei Wang b, Zheng Qin

发布于：Information Sciences

发布时间：2023-08-23

级别：中科院二区

论文链接：https://doi.org/10.1016/j.ins.2023.118961

论文代码：暂无

摘要

图像真实性验证是一个重要的问题，近年来受到了越来越多的关注。大多数现有的取证方法都是针对检测特定的篡改。然而，由于使用不同的操作伪造图像导致的叠加处理伪影，由多个按一定顺序执行的全局操作组成的图像全局处理算子链识别仍然是一个挑战。在本文中，我们专注于检测多个操作并识别这些操作的顺序。通过分析盲源信号分离和算子链识别之间的关系，我们发现当图像被多个操作处理时，不同操作的自分源特征将会耦合，这与盲源信号分离中的情况类似。因此，用盲源信号分离来构建算子链识别问题是合理的。然后，提出了一种特征解耦方法，通过优化解耦矩阵从耦合特征中估计源特征。这些估计的解耦特征是算子链识别的有效证据。对于图像以JPEG格式保存的现实场景，与一些最先进的方法相比，所提出的方法在算子链识别方面表现出更好的性能。

本文聚焦的问题

多全局操作串联后，操作痕迹会互相污染，传统伪造取证方法无法直接识别。

本文提出的方法

原来伪造取证方法，大家习惯直接对“混叠特征”做识别，而本文逻辑是：先做特征解耦，再识别。也就是说伪造取证不再直接对污染特征做判断，而是先恢复干净、独立的每个操作痕迹，再分类。

为了得到训练图像和测试图像，我们先用M张原始图像执行

特征解耦

在多全局操作串联后，图像中提取到的特征本质上已经不再是单一操作的痕迹，而是多个操作痕迹线性叠加后的“混合特征”，这种混合特征与盲信号分离（BSS）中多源信号混合后的数学形式一致。因此，本研究将每种独立操作所对应的特征视为“源信号”，将最终的混合特征视为“混合观测”。在此类比基础上，可以将操作链识别问题转化为一个求解“分离矩阵”的过程：即学习一个解耦矩阵，使混合特征能够投影回独立操作特征空间。换句话说，特征解耦的目标就是学习这个分离矩阵，使被多次 tampering 污染、互相叠加的 forensics 特征重新分离成各自独立干净的操作痕迹，从而取证过程不再在污染特征空间做判断，而是回到 clean feature space 下再进行识别与顺序判定。

如何识别操作 & 操作顺序？

解耦之后，先有了每个操作的独立源特征，再用监督分类直接学习“每个操作对应什么特征”和“不同操作在不同顺序下的差异模式”，即可完成图像篡改链的识别。

阅读总结

不足

这篇论文能识别的篡改链最长为2步操作。具体原因：在做“特征解耦”时，是把问题当成“盲信号混合”在做（像把混在一起的声音拆开一样）。这种方法有一个硬规则：想分几种来源特征，就至少要有对应数量的不同“观察角度/通道”。但是一张图片本身只有一个角度，所以论文只能通过“旋转等方式去人为多造几张图”当不同角度的通道使用。可问题就是：通道造太多，会带来新的伪影，会把取证线索搞坏，所以他们最后只在安全范围内做两步操作。