AIScope · 每天一点，持续进阶

你会学到什么

文档过长时需要分块。块太小容易失去上下文，块太大则会引入无关信息并占用模型上下文。优先按标题和段落划分，再限制长度；重叠只能缓解断裂，不能代替合理结构。

先建立一个按段落合并的基线分块器，为块保存文档 ID、块序号与字符位置。用定义段落、长代码段和跨段说明测试。不要假设字符数等于 token 数，应以实际模型计数或保守上限控制。

比较两种块长度，对同一组问题观察是否能取回完整证据。

本单元为 AIScope 原创学习说明，外部资料用于继续阅读。涉及第三方 API 的示例请以提供商当前文档为准。