03 / 跑通训练闭环 · 源码实践

nanoGPT

Andrej Karpathy·英文·训练源码

读一套紧凑的 GPT 模型与训练循环，在小数据集上完成准备数据、训练、保存和采样的完整流程。

训练循环验证损失检查点采样CPU 小模型

前置知识

能读懂 GPT 结构、PyTorch 训练循环和配置参数；建议完成模型实现后再来。

官方 README 给出 CPU 缩小配置；大规模 GPT-2 复现需要远高于入门实验的算力。

代码公开；算力和数据下载成本由所选实验决定。

READ WITH A QUESTION

— / 3 已完成

完成下面的实验并检查结果后，再勾选任务。你可以随时取消勾选。

按 quick start 准备数据，记录来源、词表大小和训练 / 验证划分。

完成标准能重新生成数据文件；清楚验证文本不参与训练。

按设备缩小模型，记录配置、环境、训练损失和验证损失，保存检查点。

完成标准实验能按同一配置重跑；记录真实损失，不将教程示例耗时当成本机结果。

从检查点生成文本，只调整一个采样参数，比较输出差异。

完成标准提交参数与至少三组输出；说明采样变化不等于模型能力提升。

勾选记录仅保存在当前浏览器，不会同步到账号或其他设备。

来源与版本

作者已将 nanoGPT 标为旧项目（deprecated），并推荐 nanochat。这里保留它用于阅读简洁源码与小模型实验；新项目可查看作者的新仓库。

官方资料核对于 2026-10-13 · 实践任务与完成标准为本站原创整理