关键知识
- 从零实现 BPE 分词器和一个小型 Transformer 语言模型
- 理解训练效率、扩展律与数据质量如何决定模型效果
- 了解 SFT 与强化学习在提升推理能力中的作用
前置知识
熟练 Python 与 PyTorch;深度学习基础。 访问说明:英文;讲座视频在 YouTube,需能访问;完整完成作业需要 GPU 算力。
建议练习
先只做作业一中的分词器部分:在一小段中英混合文本上训练一个 BPE 分词器,统计同一句话的中文版和英文版各被切成多少个 token,并解释差异。
依据与出处
编辑整理,依据已获取的简介或片段。请结合原始资料核对技术细节。
上下文实操:让 AI 接着做项目,减少忘记约定和乱补信息
用一段会议记录建立工作记忆,练习筛选材料、保留冲突、换会话交接与输入预算,附完整提示和可运行预算示例。
打开站内手册 →来源与内容说明
Stanford University · Stanford University
保留作者与原始链接,第三方资料的权利属于原作者。
收录:2026年10月19日
核对原始资料待核验公开版本 1
适用范围:2026-10-09 核对:课程站为 Spring 2026 版(2026-03-30 至 2026-06-03);站内链接的 YouTube 播放列表经 oEmbed 确认为 Spring 2026 版;当期讲义仓库 stanford-cs336/lectures 最近提交 2026-09-12。
人工核验:尚无核验记录