【CVPR 2025】A3：不可学习样本的少样本提示学习，跨模态对抗特征对齐｜从数据保护与AI安全视角

摘要

本文解读 CVPR 2025 论文《A3: Few-shot Prompt Learning of Unlearnable Examples with Cross-Modal Adversarial Feature Alignment》。该论文提出自适应不可学习样本框架与跨模态对抗特征对齐（A3）防御，通过融合图像增强、文本增强与元网络（meta-net），系统评估了不可学习样本（UE）在少样本提示学习场景下的有效性，其特别之处在于首次把 UE 攻防双方同时迁移到预训练视觉语言模型（CLIP）的提示学习设置中。实验表明A3 在全部 6 种 UE 攻击下把 Caltech-101 精度恢复到 93–94（相对 CoCoOp 基线最高 +32.5 个百分点），base-to-novel 调和均值最高提升 33%，为数据保护与多模态模型安全提供了重要借鉴。

视频讲解：点击观看 B 站视频

论文基本信息

背景与动机

不可学习样本（Unlearnable Examples, UE）是一种数据保护技术：给图片加上人眼不可感知的微小扰动，使机器学习模型无法从这些数据中有效学到泛化特征，从而阻止未经授权的模型训练，保护内容创作者的版权与个人隐私。与传统数据投毒（backdoor poisoning）不同，UE 不追求恶意后门，而是让数据对训练"不可用"。

然而，已有 UE 方法普遍隐含两个假设：训练者大量接触毒化数据、模型从零开始训练（如 EM、REM 用 ResNet-18 从头训练做代理）。这两个假设在现实中越来越不成立——大量训练者改用预训练的视觉语言模型（CLIP），通过提示学习（Prompt Learning, PL）仅用每类几张样本就能适配新类别。那么一个核心问题随之而来：UE 在少样本提示学习下是否仍然有效？

这对攻防双方都有深刻含义： - 对内容创作者：需要知道最少修改多少数据才能维持保护效果；创作者通常只掌握有限数量的数据，自然落入 few-shot 场景。 - 对未经授权的训练者：PL 利用预训练编码器的泛化能力，可能绕过原本让从头训练失效的扰动；且 PL 还能通过文本增强（不只是图像增强）提升鲁棒性。

已有防御（对抗训练 AT、灰度/JPEG 捷径挤压 ISS、随机增强 UEraser）都面向从头训练模型设计，在少样本 PL 场景下缺乏系统评估。这正是 A3 论文的出发点。

研究主线：从问题到结论

图 3：研究主线（Mermaid 流程图）——问题→动机→设计→方法→实验→结论的完整链条。

基准/方法设计

A3 的工作分为攻击侧与防御侧两块，形成攻防一体的完整框架。

攻击侧：自适应 UE 生成。 代理型 UE 方法（EM、REM、HYPO）原本用从头训练的 ResNet 作代理模型生成扰动。A3 把它们全部改写为以提示学习器为代理：用与防御方相同的 CLIP 和相同的 PL 方法（如 CoCoOp）作为代理，生成对 PL 更强的 UE。实验证明"攻防同假设"是 UE 有效性的关键——自适应 EM 让 CoCoOp 精度从 80+ 跌到 61–70。无代理型方法（LSP、AR、OPS）则直接施加到 PL 训练数据上。

防御侧：跨模态对抗特征对齐。 为每个图像-类别对采样 $K_{im}$ 个图像增强和 $K_{tx}$ 个文本增强，形成 $K_{im}\times K_{tx}$ 个增强对；然后优化提示嵌入 $V$ 与元网络权重，对齐相似度最低（即损失最大）的图像-文本增强对，而不是平均对齐。

图 1：A3 总览——图像与文本增强各自采样 $K_{im}$/$K_{tx}$ 条流水线，冻结的 CLIP 双编码器提取特征，跨模态对抗特征对齐以"最小相似度对"为目标优化提示嵌入 $V$ 与 meta-net $m_\psi$。

分类全景

图 4：UE 方法分类全景（Mermaid 流程图）——代理型与无代理型攻击，以及 AT/ISS/UEraser/A3 防御。

方法细节

A3 的跨模态对抗特征对齐用 min-max 目标实现：对毒化数据集 $\mathcal{D}{ue}$，最小化期望下的最大损失对 $\min{\phi} \mathbb{E}{(\mathbf{x},y)\sim\mathcal{D}{ue}}[\max_{(i,j)} \mathcal{L}(S(\tilde{\mathbf{x}}i, \tilde{\mathbf{t}}_j), y)]$， $S$ 为余弦相似度矩阵，$\tilde{\mathbf{x}}_i = a{im}(\mathbf{x})$ 是采样图像增强后的图像，$\tilde{\mathbf{t}}j = a{tx}([\mathbf{v}_{j \bmod M}, \mathbf{c}_y])$ 是采样文本增强后的文本嵌入（提示嵌入 $V$ 与类别嵌入 $c_y$ 拼接）。

四个核心设计要素：

1. 跨模态 min-max 目标：聚焦最不相似的增强对，而非平均对齐——"最难对齐的那一对"驱动学习。
2. 图像增强池：UEraser 风格，包括裁剪/旋转、分形变换（Tormentor）、TrivialAugment 等。
3. 文本增强池（A3 独有优势）：离散 token 空间的掩码与重排，加上文本嵌入空间的微旋转。图像增强抑制 UE 扰动但有语义保真度权衡，文本增强不受此限制——这正是 A3 显著强于 UEraser 的根源。
4. Meta-net：$m_\psi(f_{im}(\tilde{\mathbf{x}}))$ 从增强图像特征生成额外 prompt 嵌入，进一步扩大文本增强覆盖。

自适应攻击侧，REM 目标被改写为 $\min_{(\delta, V, \dots)} \max_{\eta} \mathbb{E}[\mathcal{L}(h_\phi(\mathbf{x}i+\delta_i+\eta), y_i)]$；EM 变体去掉内层 $\max\eta$，HYPO 变体进一步固定 $V$ 为手工初始 prompt。

实验设计与结果

评测协议：7 个数据集（ImageNet、Caltech-101、Oxford-Pets、Flowers-102、Food-101、SUN397、UCF-101），覆盖通用/细粒度/场景/动作识别；两种协议——Standard（全类训练）与 Base-to-Novel（基类训练、新类测试，报告 $\alpha_b/\alpha_n/\alpha_h$ 调和均值）；少样本设定默认每类 16 样本；CLIP 骨干 ResNet-50 / ViT-B/16，上下文长度 $T{=}4$，提示嵌入 $M{=}1$。

主结果（Caltech-101，16 shots）——不同 UE 攻击下各防御的干净测试精度：

基类到新类（Base-to-Novel）——A3 相对 CoCoOp 的 $\alpha_h$ 提升：代理型 UE（EM/REM/HYPO）下高 15%–33%，无代理型（LSP/AR/OPS）下高 6%–30%；以 HYPO 为例，A3 把 $\alpha_b$ 从 52.01 提升到 85.08（Δ=+33.07）。

图 2：部分投毒（$R\in{\frac18,\frac14,\frac12,1}$）——A3（右列）各指标（$\alpha_{unlearn}/\alpha_{original}/\alpha_{test}/\alpha_{train}$）稳定，CoCoOp（左列）随投毒率升高明显退化。

结果对比总结

图 5：结果对比总结（Mermaid 流程图）——从基线到完整 A3 的精度提升路径。

关键发现

1. 少样本 PL 天然对抗传统 UE：面向 ResNet-18 从零训练的原版 EM（EM-0）在提示学习下几乎失效（$S{=}2$ 时 CoCoOp 仍有 78.23 平均精度），说明预训练 VLM 的泛化能力部分绕过 UE 扰动。
2. "攻防同假设"是关键：把提示学习器当作代理模型后，自适应 EM 让 CoOp/CoCoOp/ProDA/KgCoOp 精度大幅下降（EM 自适应下 CoCoOp 仅 61.78–64.13），证明 UE 有效性强烈依赖训练范式匹配。
3. 双模态缺一不可：以 EM (8/255) 为例，仅文本增强 84.69、仅图像增强 92.51、两者组合 94.28——图像增强抑制扰动，文本增强补足语义保真度权衡。
4. 大扰动预算下依然稳健：EM 扰动从 8/255 翻倍到 16/255，A3 仍有 91.86，比基线 59.36 高 32.5 个百分点。
5. 部分投毒鲁棒性：投毒率从 1/8 到 100% 变化时，A3 各精度指标稳定，能学习到底层特征；CoCoOp 随投毒率升高明显退化——更贴近真实混合数据场景。
6. 新类泛化大幅领先：7 数据集 base-to-novel 全胜，$\alpha_h$ 较 CoCoOp 高 15%–33%，说明 A3 学到的是任务级特征而非记忆毒化样本。

局限性

• 代理一致性假设：自适应 UE 假设攻击者知道防御方用哪款 CLIP 与 PL 方法——现实中代理不匹配时攻击强度下降，这既是局限也是防御方的潜在优势。
• 扰动预算敏感：$\ell_\infty$ 16/255 预算下即使 A3 也明显回落（HYPO 从 93.21 到 89.33）；对抗训练 AT 在 $\ell_2$/$\ell_0$ 攻击（LSP/AR/OPS）上基本无能为力。
• 任务范围有限：主要评估图像分类；视频、音频等模态与检测、分割等任务尚未验证。
• 评估成本：攻防两端都依赖 CLIP 特征提取，$K_{im}\times K_{tx}$ 个增强对带来额外训练开销。

常见问题（FAQ）

什么是不可学习样本（UE）？

UE 是给图片加上人眼不可感知的微小扰动、让机器学习模型无法从中有效学习的数据。它不同于恶意后门投毒，是内容创作者保护版权与隐私的手段——数据对模型"不可学"，但对人依然可用。

A3 和 UEraser 有什么区别？

两者都是 UE 防御，但 UEraser 只用图像增强，且增强策略要在"语义保真度"与"抑制扰动"之间权衡。A3 在图像增强之外新增了文本增强（token 掩码/重排、嵌入微旋转）与 meta-net，文本侧不受图像语义权衡限制，因此双模态组合显著更强（EM 8/255 下 94.28 vs UEraser 90.37）。

为什么原版 EM 在提示学习下失效？

原版 EM 用 ResNet-18 从头训练合成扰动，假设训练者也从头训练。但提示学习使用预训练 CLIP 的冻结编码器，其零样本泛化能力让扰动无法有效抑制特征学习——预训练知识"绕过"了 UE。

什么是 base-to-novel 协议？

把数据集的类别分成两个不重叠的组：基类（base）用于训练提示学习模型，新类（novel）只用于测试。报告基类精度 $\alpha_b$、新类精度 $\alpha_n$ 与调和均值 $\alpha_h$，用来验证模型的泛化能力。

A3 能用在真实场景吗？

论文用部分投毒实验模拟真实场景：数据集中只有一部分被毒化（1/8 到全部）时，A3 依然稳定学到特征，而 CoCoOp 明显退化。这对应现实中训练者从多渠道收集数据的场景，A3 的实用价值更突出。

这个论文有代码或 arXiv 吗？

该论文没有 arXiv 预印本，仅以 CVPR 2025 官方版本发布，目前没有公开项目网站或代码仓库。

参考链接

• CVPR 2025 官方论文集（openaccess.thecvf.com）
• Unlearnable Examples: Making Personal Data Unexploitable (EM, ICLR 2021, arXiv:2101.04898)
• Learning the Unlearnable: Adversarial Augmentations Suppress Unlearnable Example Attacks (UEraser, arXiv:2303.15127)
• Learning to Prompt for Vision-Language Models (CoOp, arXiv:2109.01134)
• Learning Transferable Visual Models From Natural Language Supervision (CLIP, arXiv:2103.00020)

给大家推荐一款自用写文献综述、无虚构文献的 AI：

🌟 复旦大学 FudanNLP 团队自研 切问学术

官网：qiewenpaper.com

覆盖 3.6 亿篇可溯源真实中英文文献，能自动整合文献观点生成规范综述

还能挖掘研究创新点、复现实验，配合视频教学，新手快速上手文献综述写作

🍀后记🍀

博客的关键词集中在编程、算法、机器人、人工智能、数学等等，持续高质量输出中。

🌸讨论QQ群：白拾的小屋 (750365700)

⭐B站账号：白拾的物理AI组会（活跃于知识区和动画区）

✨GitHub主页：YhbCode000（工程文件）