01
实现因果注意力
给一个小批次写出注意力计算与遮罩，测试当前位置无法看到后续 token。
完成标准记录输入和输出形状；改变未来 token 时，前面位置的输出保持一致。
前置知识
会使用 Python 和 PyTorch 张量，理解梯度下降；可先补仓库的 PyTorch 附录。
设备与环境
先用小张量和小模型在 CPU 验证；较大模型的预训练与微调按章节配置 GPU。
获取与费用
代码公开可访问；配套书籍另行购买，代码仓库不等于免费提供整本书。
READ WITH A QUESTION
本站建议 · 可按已有能力跳读推荐阅读顺序
LEARN BY BUILDING
— / 3 已完成给学习一个完成标准
完成下面的实验并检查结果后，再勾选任务。你可以随时取消勾选。
02
拼出可训练的 GPT
实现模型前向过程，跑通一个小批次的损失计算、反向传播和参数更新。
完成标准输出形状为 batch × sequence × vocabulary；梯度有限，参数在更新后发生变化。
03
设计一份微调对照
选择分类或指令微调，固定留出样本，比较微调前后在同一组样本上的表现。
完成标准提交数据格式、实验设置和前后结果；区分训练样本与评估样本。
勾选记录仅保存在当前浏览器，不会同步到账号或其他设备。
来源与版本说明
按第 2–7 章及 PyTorch 附录组织阅读。建议选择一条主线，避免重复从头学习相同内容。
官方资料核对于 2026-10-13 · 实践任务与完成标准为本站原创整理