【极致中配】2026年最新版 Stanford CS336: 从头构建大语言模型
斯坦福CS336系统讲解从零构建大语言模型的全流程：分词、架构、注意力、GPU内核、并行训练、扩展定律、推理、评测、数据、后训练与对齐。
- 难度
- 难度 5/5 — 研究生级，需从零实现LLM，涉及并行、内核与扩展定律
- 适合人群
- 有深度学习基础、想亲手从零构建大模型的研究生或AI工程师
- 前置要求
- Python与PyTorch（熟练掌握张量运算与自动微分）、深度学习基础（了解神经网络与反向传播）、Transformer与注意力机制（理解基本架构）、线性代数与概率（扩展定律与优化所需）
- 课程规模
- 35 讲 · 3.9 万播放
主题覆盖
分词PyTorch与einops模型架构注意力变体GPU与TPUTriton内核并行训练扩展定律推理优化评测数据集构建后训练与RLVR对齐
课程大纲（35 讲）
- P1 · Lecture 1: Overview, Tokenization61 分钟
- P2 · Lecture 2: PyTorch(einops) 重制版55 分钟
- P3 · Lecture 3: Architectures 重制版74 分钟
- P4 · Lecture 4: Attention Alternatives 重制版71 分钟
- P5 · Lecture 5: GPUs, TPUs 重制版66 分钟
- P6 · Lecture 6: Kernels, Triton, XLA 重制版63 分钟
- P7 · Lecture 7: Parallelism 重制版60 分钟
- P8 · Lecture 8: Parallelism 重制版64 分钟
- P9 · Lecture 9: Scaling Laws 重制版67 分钟
- P10 · Lecture 10: Inference 重制版67 分钟
- P11 · Lecture 11: Scaling Laws 重制版66 分钟
- P12 · Lecture 12: Evaluation 重制版59 分钟
- P13 · Lecture 13: Data (Sources, Datasets) 重制版64 分钟
- P14 · Lecture 14: Data 重制版57 分钟
- P15 · Lecture 15: Mid/Post-Training 重制版70 分钟
- P16 · Lecture 16: Post-Training - RLVR 重制版51 分钟
- P17 · Lecture 17: Alignment - Multimodality 重制版52 分钟
- P18 · Lecture 18: Guest Lecture Dan Fu 重制版46 分钟
- P19 · Lecture 2: PyTorch (einops)55 分钟
- P20 · Lecture 3: Architectures74 分钟
- P21 · Lecture 4: Attention Alternatives71 分钟
- P22 · Lecture 5: GPUs, TPUs66 分钟
- P23 · Lecture 6: Kernels, Triton, XLA63 分钟
- P24 · Lecture 7: Parallelism60 分钟
- P25 · Lecture 8: Parallelism64 分钟
- P26 · Lecture 9: Scaling Laws67 分钟
- P27 · Lecture 10: Inference67 分钟
- P28 · Lecture 11: Scaling Laws66 分钟
- P29 · Lecture 12: Evaluation59 分钟
- P30 · Lecture 13: Data (Sources, Datasets)64 分钟
- P31 · Lecture 14： Data57 分钟
- P32 · Lecture 15: Mid/Post-Training70 分钟
- P33 · Lecture 16: Post-Training - RLVR51 分钟
- P34 · Lecture 17： Alignment - Multimodality52 分钟
- P35 · Guest Lecture: Dan Fu46 分钟
本课程卡由 AI 生成，可能存在误差，欢迎反馈。