minbpe

直接阅读 BPE 实现，观察文本怎样变成 token。

入门MIT学习估计 3–5 小时尚未记录

本次学习产物

给真实分词器补上中文和 emoji 的往返测试。

开始前

Python 字典、循环；了解 UTF-8 字节。

运行环境

CPU；Python；小语料本地训练，无模型下载。

STEP 01 / 04

对照 basic.py 的 train、encode、decode，再看 regex.py 为什么先分块。跟踪一次相邻字节合并。

先在纸上画出输入 → 处理 → 输出，再用断点或日志验证调用顺序。记录你读到的函数名与行号，不要求通读整个仓库。

git clone https://github.com/karpathy/minbpe.git
cd minbpe
git checkout 1acefe89412b20245db5a22d2a02001e547dc602
git switch -c study/minbpe

在新的学习目录运行；固定提交用于对应源码导读，不承诺它是最新稳定发行版。

访客手记仅保存在此浏览器；登录后可主动导入到账号，原件保留。清除浏览器数据前请导出。不保存密钥或敏感资料。

读懂源码记录我已按要求自查这一步（不代表平台验收）

保存会追加历史，保留之前的失败与修订依据；访客最多 50 版，不自动清理。

还没有保存记录。可以先记录一个问题，再慢慢修订。