karpathy/nanoGPT
打开原仓库 nanoGPT
经典 GPT 训练实现：聚焦注意力、批次和验证循环。
深入MIT学习估计 6–10 小时尚未记录
本次学习产物
对一个小规模训练配置做可复现的消融实验。
开始前
PyTorch、张量运算、注意力基础。
运行环境完整训练需要较多算力；阅读与小规模 CPU 实验可先行。
上游已标注 deprecated，并推荐 nanochat。本课保留为经典源码阅读，不作为新生产系统选型建议。
STEP 01 / 04
读懂源码
先读 model.py 的 CausalSelfAttention 与 GPT.forward，再在 train.py 找 get_batch、estimate_loss 和优化步骤。
从这两个入口读起
先在纸上画出输入 → 处理 → 输出，再用断点或日志验证调用顺序。记录你读到的函数名与行号，不要求通读整个仓库。
准备自己的源码副本
git clone https://github.com/karpathy/nanoGPT.git
cd nanoGPT
git checkout 3adf61e154c3fe3fca428ad6bc3818b27a3b8291
git switch -c study/nanogpt在新的学习目录运行；固定提交用于对应源码导读，不承诺它是最新稳定发行版。
留下这一步的学习依据
访客手记仅保存在此浏览器；登录后可主动导入到账号，原件保留。清除浏览器数据前请导出。不保存密钥或敏感资料。
修订历史 0 版
保存会追加历史，保留之前的失败与修订依据；访客最多 50 版，不自动清理。
还没有保存记录。可以先记录一个问题，再慢慢修订。