Anthropic Safety + Frontier Red Team¶
更新日期：2026-04-26
Anthropic 的"Frontier Red Team"是公开的 4 大研究 team 之一，专做前沿能力下的 safety：jailbreak 防御、bio/cyber 风险、autonomous system 风险、scaling safety。本篇梳理已公开的工程方法。
主要参考：
- Constitutional Classifiers (2025)
- Responsible Scaling Policy (RSP)
- Claude Opus 4 / Sonnet 4 System Card (2025)
- Claude Sonnet 4.5 System Card (2025.09)
- Frontier Red Team blog posts
一、Safety 多层防御栈¶
Anthropic 公开的 safety 工程是多层组合，不是单一手段：
flowchart LR
pretrain["Pretrain<br/>过滤"]
cai["CAI<br/>训练"]
cc["Constitutional<br/>Classifiers"]
out["Output<br/>classifiers"]
rt["Red Team<br/>持续监测"]
pretrain --> cai --> cc --> out --> rt
classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
class pretrain,cai,cc,out,rt stage| 层 | 时机 | 内容 |
|---|---|---|
| Pretrain filter | 训练数据预处理 | 移除 CSAM / bioweapons 制造 / 极端 PII |
| CAI 训练 | Post-train | 通过 constitution 内化拒绝行为 |
| Constitutional Classifiers | 推理前 prompt | SAE-based prompt filter |
| Output classifiers | 生成后 | 响应内容 safety scan |
| Red Team / 持续 jailbreak 检测 | 持续运营 | 人工 + LLM-driven 攻击测试 |
每层都不是 100% 可靠，但组合起来覆盖率高。
二、Constitutional Classifiers（2025）¶
Constitutional Classifiers paper / blog (2025.02)：用 mech interp 工具做生产级 jailbreak 防御。
2.1 设计¶
flowchart LR
prompt["User prompt"]
sae["SAE encoder<br/>(Claude residual stream)"]
feats["Activated<br/>features"]
classifier["Constitutional<br/>Classifier"]
decision["Allow / Block /<br/>Rewrite"]
prompt --> sae --> feats --> classifier --> decision
classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
class prompt,sae,feats,classifier,decision stage关键 trick：classifier 跑在 SAE features 上，不是 raw text 上。
2.2 为什么 SAE-based 比 keyword filter 好¶
| 维度 | Keyword filter | Concept classifier (BERT-style) | Constitutional Classifiers (SAE) |
|---|---|---|---|
| 同义词攻击 | ❌ 易绕过 | ⚠️ 部分识别 | ✅ concept-level 捕获 |
混淆字符（b1omb 等） |
❌ 全失效 | ⚠️ 部分识别 | ✅ |
| 多语言 | ❌ 需要 per-lang | ⚠️ 训练成本高 | ✅ feature 跨语言激活 |
| 可解释性 | 无 | 弱 | 强（"激活了 [Jailbreak] feature"） |
| 训练成本 | 极低 | 中（多语种数据） | 中（SAE + 标注） |
2.3 性能（Anthropic 公开声明）¶
"Universal jailbreak attacks succeeded only 4.4% of the time, down from 86% on baseline."
- Jailbreak 成功率从 86% 降到 4.4%
- False-block 率从 ~20% 降到 ~2%
具体方法：
- SAE 在 Claude residual stream 上预训
- 找 ~50 个 "red-flag features"（jailbreak / weapons / PII / suicide etc）
- Linear classifier 在 SAE feature 空间学 binary（safe / not-safe）
- 推理时：encode prompt → 看 red-flag features 是否激活 → 决定
2.4 复现度¶
- SAE 训练：开源（sae_lens）
- Feature 分类：需要自己标 + 训 classifier
- Production-grade：需要 Claude 同级别的 base model（公开权重模型如 Llama-3 / Qwen-3 都可以替代）
三、Responsible Scaling Policy (RSP)¶
RSP (2023, 多次更新)：定义不同能力等级（ASL）下的 deployment safeguard 要求。
3.1 ASL 等级¶
| 级别 | 描述 | 例子 |
|---|---|---|
| ASL-1 | 几乎无危害（小模型 / 工具） | 早期 GPT-2 等级 |
| ASL-2 | 有 baseline misuse 风险 | 当前 frontier model（Claude 4 等） |
| ASL-3 | 显著增加 catastrophic 风险 | （ASL-3 触发条件 = 例如能 meaningfully uplift bioweapon design） |
| ASL-4 | 自主 cyber-criminal 能力 / 大规模 autonomous 行动 | 未达到 |
3.2 触发评估¶
每个 ASL 由 capability evaluation 触发：
- Bioweapons：能否给 actor 提供"从 0 到能造 weapon"的 uplift
- Cyberweapons：能否实现 zero-day 漏洞利用
- Autonomous capability：能否独立运行多 day-long 任务
如果模型在某个 capability 达到 next ASL 阈值 → 必须实施 next ASL 的 safeguard 后才能 deploy。
3.3 ASL-3 safeguard 例子（Anthropic 公开）¶
- 模型权重严格保护（双因素 access）
- 推理 API 增加 monitoring
- 每个 deployment 需要 internal review board 批准
- Red team 持续测试 + 立即 patch
3.4 跟 OpenAI Preparedness Framework 对比¶
OpenAI 的等价框架：Preparedness Framework。两者结构非常类似（capability tier + safeguard mapping），是行业 emerging standard。
四、Frontier Red Team 工作¶
Anthropic 4 大 team 之一。专做：
4.1 Jailbreak / Misuse 测试¶
- 内部 red team + 外部 red teamer（学者 + 安全公司）
- System Card 中给 quantitative 数字（jailbreak success rate / refusal rate / false-positive 等）
- Universal jailbreak（如 "Do Anything Now" / DAN）的对抗实验
4.2 Bio / Chemical / Nuclear 风险¶
- 跟领域专家合作设计 capability eval
- 评估"模型能否给攻击者足够 uplift 真实造出 bioweapon"
- 当前 Claude 4 评估结果：有 marginal uplift but not catastrophic（Sonnet 4 System Card §4）
4.3 Cyber 风险¶
- 模型生成 zero-day exploit 能力
- Autonomous penetration testing
- Reverse engineering 能力
4.4 Autonomous Agent 风险¶
- 模型独立运行多步任务的能力
- 自我复制 / 资源获取 / 隐蔽行为
- 跟 agent 工程团队（agents.md）协同评估
五、System Card 透明度¶
每代 Claude 发布时 Anthropic 出 Model Card + System Card。System Card 涵盖：
- Capability evals：MMLU / HumanEval / SWE-Bench / 等
- Safety evals：jailbreak / bias / harmful content
- Red team findings：bio/cyber/autonomous 风险定量
- ASL classification：当前模型在 RSP 中的 tier
- Mitigation in deployment：API rate limit / content policy / monitoring
System Card 比单纯 paper 信息密度高，是研究 frontier model safety 的重要一手材料。
六、Refusal 行为的内部机制¶
跟 interpretability.md §九 关联：Scaling Monosemanticity paper 在 Claude 3 Sonnet 找到了明确的 "refusal" feature。
6.1 Steering 实验¶
- 激活该 feature → 模型在不需要拒绝的 prompt 上拒绝（over-refusal）
- 抑制该 feature → 模型在该拒绝的 prompt 上响应（jailbreak）
6.2 工程意义¶
- Constitutional 训练确实在 weight 里塑造了一个明确的拒绝机制
- Refusal 不是分散在多个 component，是 localized
- 这给了 interpretability-driven 的 safety 工程基础（Constitutional Classifiers 就是这个方向）
6.3 Failure mode¶
- Over-refusal：模型学会了 "stay safe by refusing" 通用策略，对正常请求也拒
- Refusal hijacking：jailbreak attack 通过修改 prompt 让 refusal feature 不激活
- Refusal in reasoning：reasoning model 的 thinking 中暴露 "I should refuse" 让用户绕过
Anthropic 持续跟踪 refusal 行为的 calibration。
七、复现度自评¶
| 组件 | 公开度 | 复现路线 |
|---|---|---|
| 多层防御栈架构 | 公开 | 直接套用 |
| Constitutional Classifiers | 高层描述 | 需自己训 SAE + label features |
| RSP / Preparedness 框架 | 完全公开 | 直接套用 |
| Bio / Cyber capability eval | 部分（System Card 给方法） | 需要专业 red team |
| Refusal feature 干预 | 论文公开 | 需要 model 内部 access |
实操路径：
- 多层防御：keyword filter + classifier + LLM judge 三层是 baseline 起点
- SAE-based safety：训 SAE → label red-flag features，1-2 周可起步
- RSP-style 内部规则：参考 Anthropic / OpenAI 公开框架直接套
- Red team：内部 + 外部专家结合，没有专业 red team 不要 deploy frontier-level 模型
总结¶
- 多层防御 > 单层：pretrain filter + CAI + classifier + output check + red team 组合
- Constitutional Classifiers 是 SAE 的产业落地：从研究工具变成 production safety
- RSP / Preparedness 是行业新标准：能力 tier × deployment safeguard 矩阵
- System Card 是研究 frontier safety 的核心一手材料，值得逐代 diff
- Refusal 是 localized feature，给了 interpretability-driven safety 工程基础
参考文献¶
- Anthropic. Constitutional Classifiers. 2025.02. anthropic.com/research/constitutional-classifiers
- Anthropic. Responsible Scaling Policy. 2023. anthropic.com/news/anthropics-responsible-scaling-policy
- Anthropic. Claude Opus 4 / Sonnet 4 System Card. 2025.05. PDF
- Anthropic. Claude Sonnet 4.5 System Card. 2025.09. anthropic.com/claude-sonnet-4-5-system-card
- OpenAI. Preparedness Framework. 2023. openai.com/safety/preparedness
- Templeton et al. Scaling Monosemanticity. 2024. (refusal feature)
↑ 上级 · Anthropic