大语言模型/多模态大模型 LLM/MLLM

从理论到训练基建到对齐到多模态再到推理部署的完整栈，含前沿实验室深读子章节（Anthropic / OpenAI / DeepSeek）。

章节

• A. 基础理论

  ---

  Attention / MoE / RoPE / Scaling Laws

• B. 数据工程

  ---

  爬取 → 去重 → 配比 → 合成数据

• C. 分布式训练

  ---

  6D 并行 / Kernel / 万卡运维

• D. 预训练 Recipe

  ---

  Optimizer / 精度 / Dense / MoE

• E. 后训练对齐

  ---

  SFT / DPO / RLHF / RLVR

• F. 多模态 VLM

  ---

  架构 / 三阶段 Recipe / 视频

• G. 推理部署

  ---

  量化 / PD 分离 / vLLM / SGLang

• H. 应用层

  ---

  RAG / Agent / Coding / 安全

• I. 评测与安全

  ---

  Benchmark / Constitutional AI / 治理

• J. 推理行为

  ---

  长 ctx / Thinking / 幻觉

• K. 前沿实验室

  ---

  Anthropic / OpenAI / DeepSeek 深读

• Z. 附录

  ---

  速查表 / 术语 / 参考文献

A→D 是预训练栈，E→J 是后训练 / 推理 / 应用相关，K 是横切 frontier labs 案例。

---

↑ 上级 · Studies