01
画一张中文概念图
用自己的话连接 Tokenizer、Embedding、Attention、Transformer 与训练目标。
完成标准每个概念都有输入、输出和用途；能沿着一段文本说明它如何通过模型。
前置知识
有 Python 基础；进入实现章节前，先熟悉 PyTorch、矩阵乘法与概率概念。
设备与环境
原理阅读和部分调试可用 CPU；模型训练按章节使用 GPU，并为不同章节准备独立环境。
获取与费用
教程公开免费；模型训练、云 GPU 或后续章节的外部服务可能产生费用。
READ WITH A QUESTION
本站建议 · 可按已有能力跳读推荐阅读顺序
LEARN BY BUILDING
— / 3 已完成给学习一个完成标准
完成下面的实验并检查结果后，再勾选任务。你可以随时取消勾选。
02
跟踪一次模型前向
跟随第五章的小规模实现，记录从 token ID 到 logits 的张量形状。
完成标准提交形状记录和一次可运行的前向结果，解释预测与目标如何对应。
03
整理训练方法对照
阅读训练章节，用同一张表比较预训练、SFT 与 LoRA 的数据、参数更新范围和评估目标。
完成标准表中有具体数据格式和适用场景；能解释 LoRA 与训练目标的关系。
勾选记录仅保存在当前浏览器，不会同步到账号或其他设备。
来源与版本说明
重点选取第 1–6 章。中文伴读可与英文主线配合，也可以先独立完成原理与实现部分。
官方资料核对于 2026-10-13 · 实践任务与完成标准为本站原创整理