英文题目：《CONTRASTIVE ECOC: LEARNING OUTPUT CODES FOR ADVERSARIAL DEFENSE》

中文题目：《ECOC：学习输出代码以进行抗辩》

发布于：arxiv

级别：

论文链接：

摘要

虽然独热编码通常用于多类分类，但它并不总是最有效的编码机制。纠错输出码（ECOC）通过将每个类映射到用作标签的唯一码字来解决多类分类问题。传统的ECOC方法依赖于手动设计或随机生成的码本，这是劳动密集型的，并且可能会产生次优的、与数据集无关的结果。本文介绍了三种基于对比学习的自动码本学习模型，允许码本直接自适应地从数据中学习。在四个数据集上，与两个基线相比，我们提出的模型对对抗性攻击表现出上级鲁棒性。

本文聚焦的问题

传统ECOC方法依赖人工设计或随机生成的码本，这不仅耗时费力，而且生成的码本可能与数据集特性不匹配，导致性能次优；现有对抗防御机制（如对抗训练）与ECOC方法并非互斥，但如何自动学习适合特定数据集的码本，并兼顾类别间区分性（行分离）与编码维度独立性（列分离），仍是一个未充分解决的问题；传统one-hot编码将类别视为正交，忽略了类别间关系，缺乏灵活性，在对抗攻击下鲁棒性较差。

本文提出的方法

本文针对上述问题，提出了三种基于对比学习（Contrastive Learning）的自动化码本学习（Automated Codebook Learning, ACL）方法，分别称为：

  1. ACL-PF（ACL by Pretraining & Finetuning）
    核心思想：通过两阶段策略（预训练+微调）实现码本的自动学习。
    具体步骤：
    预训练阶段：利用SimCLR框架进行表示学习，同时引入ECOC编码器将类别映射为码字，并通过列分离损失（Column Separation Loss, Lcsl）降低不同分类器输出间的相关性。
    微调阶段：固定预训练得到的特征提取器与ECOC编码器，利用标注数据生成码本，并通过行分离损失（Row Separation Loss, Lrsl）最大化不同类别码字间的距离，同时结合交叉熵损失（Lce）与Hinge损失（Lhl）优化模型。
    特点：码本在预训练结束后一次性生成，微调阶段不再更新。

  2. ACL-CFPC（Co-Fine-tuning Model and Codebook with Pretrained Codebook）
    核心思想：在ACL-PF基础上，动态调整码本以更好地适应数据分布。
    具体步骤：
    在微调阶段，每批次动态更新码本，而非使用固定码本。
    引入最大余弦相似度最小化损失（Maximum Cosine Similarity Minimization Loss, Lmcsm），进一步增强类别间码字的区分度。
    特点：码本与模型参数联合优化，适应性强，鲁棒性进一步提升。

  3. ACL-TFC（Training with Finetuned Codebook）
    核心思想：利用ACL-CFPC预训练得到的固定码本，从头训练模型参数。
    具体步骤：
    先用ACL-CFPC训练得到最优码本，然后固定该码本，重新初始化模型参数（随机权重），从头开始训练模型。
    特点：通过固定结构化码本，引导模型学习更鲁棒的特征表示，尤其适用于对抗攻击场景。

阅读总结

1、自动化与数据自适应性
摆脱人工设计：传统 ECOC 需要人工或随机生成码本，费时费力且难以针对特定数据集优化；ACL 系列方法首次端到端地从数据中自动学习码本，无需人工干预。
数据集专属码本：通过对比学习引导，码本结构能够自适应地贴合具体数据集的类别分布与特征空间，避免“一刀切”的通用码本带来的性能损失。

2、鲁棒性显著提升
对抗攻击表现突出：在 FGSM、PGD 等白盒攻击下，ACL 方法相较 Standard 和 SimCLR 基线，鲁棒准确率大幅提高。例如：
CIFAR-10：PGD 攻击下 Standard 直接降为 0%，ACL-CFPC 仍保持 3.21%，ACL-TFC 高达 14.51%。
Fashion-MNIST：PGD 攻击下 ACL-TFC 达到 35.09%，远超基线的 3.77%。
错误容忍度增强：通过最大化码字间距离（行分离）与最小化分类器相关性（列分离），即使部分 bit 被攻击扰动，整体仍能正确纠错。

3、灵活的三级策略
ACL-PF：预训练后固定码本，实现简单、训练稳定，适合资源受限场景。
ACL-CFPC：微调阶段动态更新码本，实时对齐模型状态，鲁棒性与干净准确率兼顾。
ACL-TFC：利用固定“最优码本”从头训练，在强攻击场景下鲁棒性最强，为安全关键应用提供了高保障方案。