04 / 走向工程进阶 · 工程进阶

Stanford CS336

斯坦福大学·英文·公开课 + 编程作业

从模型与分词器实现,深入训练性能、规模规律和数据处理。通过编程作业,把语言模型做成可测量的系统。

系统优化数据清洗分布式训练Scaling Laws模型评估

前置知识

熟练 Python 和 PyTorch,掌握微积分、线性代数、概率与机器学习基础,并了解计算机系统。

设备与环境

先在 CPU 调试正确性;性能、分布式和较大训练实验需按作业安排 GPU。

获取与费用

公开课资料与作业;自学不等于斯坦福学籍或课程证书,算力另计。

READ WITH A QUESTION

推荐阅读顺序

本站建议 · 可按已有能力跳读
  1. 01

    Assignment 1:基本组件

    独立实现分词器、模型和优化器,并训练最小语言模型。

  2. 02

    Assignment 2–3:性能与规模

    先测量性能瓶颈,再研究优化和扩展规律。

  3. 03

    Assignment 4–5:数据与对齐

    把数据质量、训练目标和评价连接起来,按需继续深入。

LEARN BY BUILDING

给学习一个完成标准

— / 3 已完成

完成下面的实验并检查结果后,再勾选任务。你可以随时取消勾选。

01

完成基础作业检查

从 2025 课程链接进入基础作业,按说明实现组件,并运行该版本提供的测试。

完成标准保存测试结果和最小模型训练记录;资料、代码与作业要求属于同一版本。
02

写一份性能实验

选一个瓶颈,固定硬件、模型和批次,对比修改前后的耗时与内存占用。

完成标准保留测量方法、重复实验和正确性校验;结论只适用于记录的实验条件。
03

评估一次数据处理

选取可合法使用的小语料,对比过滤或去重前后的规模,并固定评估集。

完成标准提交处理规则、样本数量和留出集指标,能复现过程并说明局限。

勾选记录仅保存在当前浏览器,不会同步到账号或其他设备。

来源与版本

来源与版本说明

此链接是 Spring 2025 归档页,按该版本的课程与作业整理。跟练时保持资料和作业版本一致;新版入口以课程官网为准。

斯坦福 2025 春季课程查看课程官网最新入口
官方资料核对于 2026-10-13 · 实践任务与完成标准为本站原创整理