Claude / GPT / DeepSeek 训练方法论还原¶
更新日期：2026-04-15
本文基于公开论文、泄露的源码（Claude Code）、技术博客、员工访谈、社区逆向分析。涉及大量推测，具体细节以官方为准。
三、Anthropic Claude 路线¶
3.1 Constitutional AI¶
Claude 系列的核心差异化：从人类反馈学 → 从宪法原则学。参考 Constitutional AI (Bai et al., 2022)。
flowchart LR
sft["Helpful SFT<br/>(初步对齐)"]
sl_ai["SL-CAI<br/>AI 自评 + 改写"]
rm["训 Preference Model<br/>(用 AI 标注)"]
rl_ai["RL-CAI / RLAIF<br/>用 PM 做 RL"]
final["Helpful + Harmless<br/>Claude"]
sft --> sl_ai --> rm --> rl_ai --> final
classDef stage fill:#fff,stroke:#cc785c,color:#1a1a1a;
class sft,sl_ai,rm,rl_ai,final stage核心：用宪法（一组原则）取代部分人类标注——AI 根据原则自我批评 + 改写，再用 AI-as-judge 训 PM。可扩展性远超 RLHF。
3.2 宪法原则¶
Anthropic 公开的部分宪法原则：
-
"Choose the response that is most helpful, harmless, and honest"
-
"Choose the response that a wise, ethical, polite and friendly person would likely say"
-
"Choose the response that is less manipulative, deceptive, or unclear"
-
更多详见 Claude Constitution
3.3 Claude 4 系列（2025-2026）¶
从 Claude Code 泄露代码推测：
-
模型代号：Fennec (Opus 4.6), Capybara (新族), Numbat (未发布)
-
Extended Thinking：延伸思维链能力（类似 o1，但透明）
-
1M 上下文窗口
-
强 Agent / Tool Use 能力
-
可能使用了 Constitutional Classifiers（将 jailbreak 率从 86% 降至 4.4%）