关键知识
- 理解从词向量到 Transformer 的演进脉络
- 跟着教程手写一个简化版的大模型结构
- 了解 LoRA、量化等微调与部署技术的基本取舍
前置知识
Python、基础 PyTorch;深度学习与线性代数、概率基础。 访问说明:仓库在 GitHub,国内访问可能较慢,可改用在线阅读站;部分章节需要 GPU。
建议练习
读完 Transformer 相关章节后,不看教程手写一个单头自注意力的前向计算(NumPy 或 PyTorch 均可),用 3 个词的小例子打印注意力权重,并确认每行之和为 1。
依据与出处
编辑整理,依据已获取的简介或片段。请结合原始资料核对技术细节。
上下文实操:让 AI 接着做项目,减少忘记约定和乱补信息
用一段会议记录建立工作记忆,练习筛选材料、保留冲突、换会话交接与输入预算,附完整提示和可运行预算示例。
打开站内手册 →来源与内容说明
Datawhale · Datawhale
保留作者与原始链接,第三方资料的权利属于原作者。
收录:2026年10月19日
核对原始资料待核验公开版本 1
适用范围:2026-10-09 核对:仓库最近提交 2026-09-30;在线阅读站 datawhalechina.github.io/base-llm 可访问。
人工核验:尚无核验记录