英文题目：《Theoretical Analysis of Relative Errors in Gradient Computations for Adversarial Attacks with CE Loss
》

中文题目：《CE损失对抗攻击梯度计算相对误差的理论分析》

发布于：arxiv

级别：

论文链接： http://arxiv.org/abs/2507.22428

摘要

基于交叉熵（CE）损失的恶意攻击通常会由于浮点运算引起的梯度计算的相对误差而受到高估。本文对这些错误进行了严格的理论分析，首次全面研究了四种不同场景下基于梯度的攻击中的浮点计算错误：（i）不成功的非目标攻击，（ii）成功的非目标攻击，（iii）不成功的目标攻击，以及（iv）成功的目标攻击。我们建立了理论基础，描述了不同攻击条件下相对数值误差的行为，揭示了梯度计算不稳定性中以前未知的模式，并将浮点下溢和舍入确定为关键因素。基于这一见解，我们提出了理论MIFPE（T-MIFPE）损失函数，它包含了一个最佳缩放因子T = t*，以最大限度地减少浮点错误的影响，从而提高对抗攻击中梯度计算的准确性。在MNIST、CIFAR-10和CIFAR-100数据集上的大量实验表明，在攻击效力和鲁棒性评估准确性方面，T-MIFPE优于现有的损失函数，包括CE、C&W、DLR和MIFPE。

本文聚焦的问题

深度学习模型在对抗攻击中由于浮点运算误差导致的梯度计算相对误差问题，特别是在使用交叉熵（Cross-Entropy，CE）损失函数时，这种误差会使得基于梯度的对抗攻击方法（如PGD）高估模型的鲁棒性。

本文提出的方法

提出了一种新的损失函数——理论最小化浮点误差（Theoretical Minimize the Impact of Floating Point Error，T-MIFPE）损失函数，用于提高对抗攻击中梯度计算的准确性，并减少浮点运算误差的影响。分析了浮点运算中的下溢（underflow）和舍入误差（rounding errors），这些误差会导致梯度计算中的相对误差，从而影响对抗攻击的效果。通过理论分析，提出了一个最优缩放因子 t∗，用于调整损失函数中的梯度计算。该因子能够最小化浮点误差对梯度计算的影响，从而提高攻击的准确性和鲁棒性评估的准确性。

阅读总结

T-MIFPE 基于严格的理论分析，能够系统地最小化浮点误差对梯度计算的影响；通过动态调整最优缩放因子 t∗，T-MIFPE 能够适应不同攻击场景和模型输出的变化；在有限的迭代次数（如100次）内，T-MIFPE 能够达到接近最优的攻击效果，显著提高了对抗攻击的效率