语言模型课程
按神经网络、分词、GPT 和训练实践的顺序学习，含中文讲解、官方视频和练习。
观看第一课官方视频 · Andrej Karpathy
读取学习位置…
模型究竟怎样学会：从梯度开始能读基础 Python；概念实验可直接在浏览器完成
目标：从基础开始 · 本次 30 分钟
这是本次学习预算；代码实验和完整训练可以分几次完成。
- 读讲解，或按观看问题看一段演示
- 试一个概念实验或本地小例子
- 提交自测，记录结果和疑问
课程目录
5 个章节 · 15 节课程神经网络基础
从一个梯度，到第一个语言模型
- 01
模型究竟怎样学会：从梯度开始
用一个只有两个参数的例子，把预测、损失、反向传播与参数更新连起来。
- 02
语言模型的第一个任务：预测下一个 token
从名字字符的相邻计数入手，理解条件概率、负对数似然和自回归生成。
- 03
从查表到 MLP：让模型看见上下文
把离散 token 变成向量，再把多个位置的向量组成一个可训练的上下文模型。
稳定训练与分词
看懂梯度，准备模型的输入
- 04
训练为什么会不稳定：激活与梯度
通过激活分布和梯度范数，区分饱和、梯度过小、学习率过大与数据问题。
- 05
亲手反向传播：把自动微分拆开
逐项推导乘法、加法和广播的梯度，理解 autograd 替你做了什么。
- 06
文本怎样变成输入：Tokenizer 与 BPE
从字节与重复片段开始，区分字符、token、词表以及可逆编码的边界。
一步步实现 GPT
从注意力，到完整训练循环
- 07
因果注意力：每个位置应该看见谁
用三个位置的小矩阵，把 Q/K/V、缩放、softmax 和因果遮罩一步步算清楚。
- 08
把组件拼成 GPT：从输入到 logits
把 token/位置表示、注意力、前馈网络、残差和输出层放进同一个前向过程。
- 09
写好训练循环：训练、验证、检查点
从梯度清零到保存状态，建立一个可中断、可恢复、可评估的小模型训练流程。
预训练与微调
让模型学习数据，适应具体任务
- 10
跑一次预训练：让实验可以复现
确定语料、切分方式和计算预算，用固定留出集解释一个小模型学到了什么。
- 11
指令微调：把样本变成学习目标
用一条指令样本说明格式化、目标对齐和损失掩码，设计微调前后的公平比较。
- 12
LoRA：少更新一些参数，改变什么
从一个低秩矩阵更新理解 LoRA，区分训练目标、参数效率和实际显存预算。
数据与工程实践
把小实验，变成可复现的项目
- 13
先把数据做好：过滤、去重与污染
按文档和来源处理数据，发现训练/评估交叉重复，并为清洗规则留下证据。
- 14
先测再优化：时间、显存与吞吐
固定硬件和输入，正确测量异步 GPU 计算，再决定要优化哪一个真实瓶颈。
- 15
结课项目：交付你的第一个语言模型实验
把数据、实现、训练、评估和复现说明组成一份别人能检查的小项目。
学习记录
完成记录、自测结果和笔记分别保存，可导出报告或备份。
读取学习记录…
记录保存在当前浏览器，不会自动跨设备同步。导入文件在浏览器内处理；笔记与具体答案不用于网站统计。
课程参考资料
本站用中文讲解把知识点连起来，视频使用作者官方嵌入。章节与练习为本站编排，可按目录直接学习，也可以到原始资料继续深入。